KR102662027B1

KR102662027B1 - 데이터 캡처 및 전송 컴플라이언스를 실행하기 위한 시야 및 키 코드 제한된 증강 현실

Info

Publication number: KR102662027B1
Application number: KR1020227015059A
Authority: KR
Inventors: 리차드 엠. 핀티; 샘 모한; 그렉 파이퍼; 존 에이. 코글리안드로; 모니카 엘. 지핀
Original assignee: 레이던 컴퍼니
Priority date: 2017-10-20
Filing date: 2018-09-25
Publication date: 2024-04-30
Also published as: PL3920007T3; IL278756A; JP2021177398A; CA3076505A1; AU2018351858A1; AU2018351858B2; WO2019079003A1; US20190122437A1; US10679425B2; PL3698230T3; IL278756B; JP7258084B2; EP3698230A1; IL273497A; KR20200068651A; CA3076505C; EP3698230B1; US10403046B2; EP3920007A1; ES2957809T3

Abstract

기술자로부터 팔의 길이에서 객체의 카메라 FOV 내의 비디오 신호를 캡처하기 위해 비디오 카메라의 포인팅 방향이 필드 기술자 동작에 종속되고, 객체의 조작을 위한 원격으로-생성된 핸드 제스처들이 객체에 대한 조작에 대해 기술자를 지시하기 위해 비디오 신호 상에 오버레이되는 AR 환경에서, 고객-정의 키 코드 및 FOV 제한들은 데이터 캡처 및 전송 컴플라이언스를 위한 장면의 부분들을 배제하기 위해 사용된다. 비디오 카메라 포인팅 방향이 장면 내의 마커에 대한 정렬 조건을 만족하지 않으면, 카메라는 비디오 신호 내의 캡처로부터 사용자-정의 허용가능 FOV 외부에 놓이는 카메라 FOV의 적어도 일부를 배제하도록 제어된다. 키 코드는 기술자가 FOV 배제를 제어하게 하여, 기술자가 고객 또는 국가 정책 또는 법적 요건을 위반할 수 있는 장면에서 데이터를 캡처 및/또는 전송하지 못하도록 보호할 수 있다.

Description

데이터 캡처 및 전송 컴플라이언스를 실행하기 위한 시야 및 키 코드 제한된 증강 현실 {Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance}

본 출원은 참조로 전체 내용이 포함된 2017년 10월 20일 출원된 "시야(FOV: Field of View) 제한 기술 및 증강 현실(AR: Augmented Reality) 데이터 전송 컴플라이언스(Compliance)를 위한 키 제어(Key Control)"라는 명칭의 미국 가출원 제 62/575, 204호에 대하여 35 U.S.C. 119(e) 하에서 우선권을 주장한다.

본 발명은 증강 현실(AR)에 관한 것으로, 보다 구체적으로 제한된 환경 데이터 캡처 및 전송 컴플라이언스에서의 보안 사용자 상호작용(secure user interaction)을 위한 시야(FOV) 및 키 코드 제한(key code limited) AR에 관한 것이다.

증강 현실(AR: Augmented Reality)은 3 차원(3D: three dimensional) 비디오 그래픽 또는 다른 미디어의 생성을 지칭하며, 이들은 환경 내의 주변 객체들로 오버레이되고 등록된다. AR 시스템은 실세계(real world)와 동일한 공간에 공존할 것으로 보이는 가상 (컴퓨터 생성) 객체들로 실세계(real world)를 보완하는(supplements)" 시스템으로 아즈마(Azuma)및 동료들에 의해 공식적으로 정의되었다. 이들 시스템은 다음과 같은 3 개의 정의 특성을 갖는다: (1) 그것들은 실제 환경에서 실제 및 가상 객체를 조합하고, (2) 그것들은 상호작용으로(interactively) 실행되며(run); (3) 그것들은 실제 및 가상 객체를 서로 등록(register)(정렬(align))한다. 2001년 IEEE 컴퓨터 그래픽 및 애플리케이션 21(6) pp. 34-37에서 알. 아즈마 외의 "증강 현실의 최근 발전(Recent Advances)", 및 플로리다 오를란도의 2009년 10월 19-22일 혼합 및 증강 현실 2009 과학 기술 프로시딩의 IEEE 국제 심포지엄에서 에스. 헨더슨 외의 "병사 수송 군용 차량 터릿(Turret)의 유지 보수에서 작업 지역화에 대한 증강 현실의 이점 평가"를 참조한다.

사용자가 팔(arm)의 길이에서 객체를 조작하는(manipulates) 작업에 AR을 적용하는 것은, 개별 페이퍼(separate paper) 또는 전자 주문(electronic orders)을 참조하거나 또는 그 분야의 전문가가 사용자에게 지시할 필요 없이 사용자가 이들 작업에 대해 훈련될(trained) 수 있게 하고 그것들의 수행 동안 능동적으로 도움을 받게 할 수 있다. 다른 텍스트, 형상 및 오디오 명령뿐만 아니라 핸드 제스처는 관심 객체(object of interest)에 오버레이되고(overlaid) 등록될 수 있다. 작업 도메인(overlaid) 내에 명령 및 보조를 직접 통합하고, 사용자가 보고 및 조작하는 객체를 직접 참조하는 것은, 개인이 작업과 그 개별적인 문서화(documentation) 사이의 관심의 포커스를 계속적으로 스위칭하는(switch) 현재의 필요를 제거할 수 있다. 이러한 AR 시스템은 산업 장비 또는 무기 시스템을 조립, 유지 또는 서비스하고, 환자들에 대한 의료 절차들을 수행하고, 전투 부상 피해자를 재훈련하고, 뇌졸중 피해자를 재훈련하고, 서비스를 애완동물에게 가르치고, 허약자가 제한적이지만 보다 현실적인 부분 체험으로 스포츠에 "참여(participate)" 하는 것을 가능하게 하고, 공장 검사들을 보조하고, 의대생들의 훈련에서 의사를 보조하는 등을 하도록 사용될 수 있다.

엑스엠리얼리티(XMReality Inc.)는 "가이드(guide)"가 원격 "팔로워(follower)"에게 장비의 일부를 조립, 유지 또는 제공하도록(service) 지시하는 증강 현실 플랫폼(platform) 주위의 원격 전문 안내(remote expert guidance)를 위한 솔루션(solution)을 제공한다. 일부 산업에서, "가이드"의 바람직한 정의는 "전문가(expert)"이고, "팔로워(follower)"의 바람직한 정의는 "필드 기술자(field technician)"이다. 엑스엠리얼리티 소프트웨어(XMReality software)를 실행하는 엑스엠서버(XMServer)는 2 명의 클라이언트(예를 들어, 전문가 및 필드 기술자) 간의 연결 "핸드쉐이크(handshake)"를 담당한다. 필드 기술자는 비디오 카메라 및 디스플레이 모두를 포함하고 엑스엠리얼리티 소프트웨어를 실행하는 태블릿 또는 휴대폰(cell-phone)과 같은 핸드-헬드 유닛(hand-held unit)을 보유하거나 또는 비디오 고글(video goggles)을 착용한다. 필드 기술자는 비디오 신호를 캡처하고, 통신 링크를 통해 원격 전문가(remote expert)에게 비디오 신호를 전송하기 위해 장면 내의 객체(object)에서 카메라를 포인팅한다(points). 전문가는 엑스엠리얼리티 소프트웨어를 또한 실행하는 컴퓨터 워크 스테이션(computer work station) 또는 비디오 고글에서 비디오 신호를 볼 수 있다. 비디오 신호에 응답하여, 전문가는 직접 또는 도구를 통해 객체를 조작하기 위해 핸드 제스처를 수행한다. 이러한 핸드 제스처들은 캡처되고, 컴퓨터 생성된 핸드 오버레이들(hand overlays)은 필드 기술자에 다시 전송되어(핸드 오버레이들이 등록되고 필드 기술자의 디스플레이 상에 오버레이되는(증강되는) 경우), 동작(action) 또는 방법을 설명하는 것을 돕는다. 추가적인 텍스트 또는 오디오 정보가 생성되고, 디스플레이 상에 오버레이될 수 있다. 2015년 엑스엠리얼리티 4.4 매뉴얼(Manual)을 참조하라.

고유하고 용이하게 식별 가능한 서명을 갖는 인공(Man-made) "마커(markers)"("소스(sources)"라고도 알려짐)는, 사용자에 위치될 수 있고, 객체 상에 또는 장면에 위치되어 다양한 목적으로 사용될 수 있다. 이들 마커는 특정 객체를 식별하고 위치시키거나, 컴퓨터 생성 미디어(media)의 디스플레이를 트리거링하거나(trigger), 또는 사용자의 위치 및 포즈(pose)를 결정하기 위해 사용되었다. 헨더슨 외; 2001년 5 월 28-19 일본 후쿠오카 소프트 리서치 파크 제4회 협회 및 과제 계획에 대한 IEEE 국제 심포지엄(IEEE International Symposium on Assembly and Task Planning)의 프로시딩에서 제이. 몰린로스 외의 "매뉴얼 어셈블리 가이드를 위한 컴퓨터 비전(Computer Vision for Guiding Manual Assembly)"; 1998년 11월 샌프란시스코 제1 증강 현실에 대한 국제 워크숍(IWAR '98)에서 디. 라인러스 외의 "건축 작업(Construction Tasks)을 위한 증강 현실: 도어록 어셈블리(Doorlock Assembly)" pp, 31-46; 및 "산업 증강 현실(Industrial Augmented Reality)"이라는 명칭의 미국 특허 제7, 126, 558 호를 참조하라.

AR 애플리케이션에 현재 이용가능한 비디오 카메라는 카메라의 고유(native) FOV에 대응하는 대략 100 도의 최대 시야(FOV: field-of-view)를 갖는다. 2018 소비자 전자제품 쇼(Consumer Electronics Show)에서, 리얼맥스(Realmax)라는 회사는 100.8도 FoV를 이끄는(leading) 쇼를 자랑했으며, 이는 100 도를 가지는 드림월드(Dreamworld)의 드림 글라스 헤드셋(Dream Glass headset)과 90도를 가지는 가장 가까운 라이벌 메타 사(Meta Company)의 메타 2(Meta 2)와 경쟁이 치열했다. 전체 몰입형 환경(fully immersive environment)을 넘어 또는 인간의 시각(human vision)에 가까운 주변 시력을 제공하기 위해 FOV를 넓히기 위한 상당한 노력이 기울여지고 있다. 일반적으로, FOV를 증가시키는 것은 전문가/필드 기술자 명령 환경에서 포함하는 더 좋은 AR 경험을 제공할 것이라고 수용된다.

이러한 영역에서 산업은 앞으로 계속 발전한다. 하나의 산업 전문가 데빈드라 하다와르(Devindra Hardawar)는, 온라인 매거진 엔가젯(Engadget)의 3-12-17에서 "메타 2는 또한 홀로렌즈(HoloLens)에 비해 더 완전한 AR 경험과 같이 느끼게 된다. 그에 대한 큰 이유는 다음과 같다: 이는 넓은 90 도 시야를 특징으로 하는 반면, 홀로렌즈는 얇은 30도 FOV만을 제공한다. 그것은 증강 비젼(augmented vision)의 슬라이버(sliver)를 단지 제공하기보다는, 메타 2로부터의 이미지가 당신의 시야(vision)보다 훨씬 더 많이 채워진다는 것을 의미한다"라고 썼다. 미국 정부에 의해 운영되는 SBIR 프로그램(소규모 비즈니스 혁신 리서치(Small Business Innovative Research))은, 군사 또는 정부 기관에서 궁극적인 사용을 위해 본 발명의 사업 및 성장을 촉진하기 위해 기술적 발명들에서 최신의 것을 장려하고(encourage) 펀딩하고(fund) 코칭하도록(coach) 설계된다. 이는 그 헌장(charter) 및 정의(definition)에 의해, 선도적으로 경쟁력있는 정부 R&D 프로모터(promoter)이며, 수년 동안 매일 수많은 혁신을 장려할 책임이 있다. 2017년 8 월에, SBIR은 "120 도 몰입형 가상 현실(VR: virtual reality) 디스플레이에서 360 도 시야 정보"라는 제목의 토픽 번호(topic number) A17-1135의 광범위 카테고리 DoD 3-2017 하에서의 제안을 위해 전화하였다. 제안에 대한 이러한 요청은 AR 및 VR FOV 윈도우들(windows)을 더 밀어내고(pushing out), FOV를 증가시키기 위한 노력으로 산업을 합하는 것과 마찬가지로 많이 합하였다.

어떤(certain) AR 환경에서, 주로 클라이언트에 대해 FOV 를 최대화하기 위해 푸시(push)에 의해 높아진 것(concern)은, 사용자(필드 기술자 또는 전문가이지만, 주로 필드 기술자)가 의도적으로 또는 의도하지 않게 관심 객체로부터 떨어져 나갈 수 있고, 캡처되거나 전송되지 않아야 하는 장면의 다른 부분의 비디오를 캡처할 수 있다는 것이다. 데이터 캡처 및 전송 컴플라이언스의 어떤 레벨은 의도하지 않거나 의도적인 광범위 FOV 전송을 피하기 위해, 고객 요구, 산업 규정, 국가 보안 또는 국가 특정 법에 의해 요구될 수 있다. 현재의 기술은 비디오 신호에서의 캡처를 방지하기 위해 관심 객체 주위의 영역을 천 또는 방수포로 물리적으로 드레이핑하는 것, 또는 전송 전에 비디오를 격리하는(sequestering) 것, 및 보안-해제 도메인 전문 검토(security-cleared domain expert review)를 가지는 것을 포함하고, 비디오 신호 포스트-캡처(post-capture)를 편집한다(edit). 장면 내에 외부 아이템들이 존재하지 않도록 빈 차고(garage) 또는 행거(hanger)와 같은 특정 보안 공간에 대한 문제의 장비의 제거는 보다 더 일반적이고 비용이 더 많이 든다. 많은 경우에, 장비 제거, 물리적 드레이핑 또는 포스트-캡처 편집은 컴플라이언스 요건(compliance requirements)을 충족시키기에 충분하지 않거나, 유사(quasi) 실시간 상호작용 상황에서 구현하는데 비실용적이고 비용이 많이 든다. 일부 상황들에서, 국가 보안과, 국제 교통 및 무기 규제(ITAR: International Traffic and Arms Regulations) 사유에 대한 포스트-캡처 편집을 방지할 국가 법들이 존재한다.

다음은 본 발명의 일부 측면들에 대한 기본적인 이해를 제공하기 위한 본 발명의 요약이다. 이러한 요약은 본 발명의 핵심 또는 중요 요소를 식별하거나 본 발명의 범위를 서술하는 것으로 의도되지 않는다. 그 유일한 목적은 이후에 제시되는 상세한 설명 및 정의하는 청구항들에 대한 서두로서 본 발명의 일부 개념들을 간략화된 형태로 제시하는 것이다.

본 발명은 데이터 캡처(data capture) 및 전송 컴플라이언스(transmission compliance)를 실행하는 증강 현실 시스템(augmented reality system)에서 사용자-정의(user-defined) 시야 (FOV: Field of View)에 대한 이미지 캡처를 제한하기 위한 시스템 및 방법을 제공한다.

AR 환경에서, 비디오 카메라의 포인팅 방향(pointing direction)은 필드 기술자 동작(field technician motion)(예를 들어, 고글(goggles)의 경우 기술자의 머리, 또는 핸드헬드 유닛(hand-held unit)의 경우 핸드(hands))에 종속된다(slaved). 비디오 신호는 기술자로부터 팔(arm)의 길이에서의 로컬 장면(local scene)에서 객체(object)에 대하여 캡처된다. 필드 기술자는 원격 위치에서 전문가로부터 객체의 조작을 위한 핸드 제스처를 수신하고, 이는 객체를 조작하여 기술자를 안내하기(guide) 위한 증강 현실을 생성하도록 비디오 신호 상에 등록되고(registered) 오버레이된다(overlaid).

일 실시예에서, 사용자가 필드 기술자, 고객 및/또는 마스터일 수 있는 경우 비디오 카메라 FOV가 마커(marker)에 대한 사용자-정의 허용가능(user-defined allowable) FOV 내에 완전히 있도록(lies), 시스템 또는 방법은 상기 비디오 카메라 포인팅 방향이 상기 장면 내의 마커에 대한 정렬 조건(alignment condition)을 만족시켰는지 여부를 결정한다. 상기 정렬 조건이 만족되지 않으면, 상기 비디오 신호 내의 캡처로부터 사용자-정의 허용가능 FOV 외부에(outside) 있는 카메라 FOV의 적어도 일부를 배제하도록(exclude) 상기 카메라가 제어된다. 정렬 조건은 카메라의 포인팅 방향과 마커 사이의 오정렬(misalignment)의 특정 각도(certain degree)를 효과적으로 허용한다. 허용가능한 오정렬(또는 카메라 FOV)은 "버퍼(buffer)"를 생성하기 위해 감소될 수 있다. 예를 들어, 최대 허용가능한 오정렬이 5 도인 경우, 이는 2 도 버퍼를 생성하도록 3 도로 감소될 수 있다.

다른 실시예들에서, 기술자 또는 마스터는 장면 내에서 마커를 위치시키고, 사용자-정의 허용가능 FOV의 외부 경계(outer boundary)를 설정하는(sets) 마커에 대한 거리를 정의한다. 시스템은 그 외부 경계 내의 형상(imagery)만 캡처되도록 교정된다(calibrated). 정렬 조건이 위반되면(violated), 비디오 카메라는 꺼진다(turned off). 비디오 카메라는 정렬 조건이 만족될 때 다시 켜질(turned back on) 수 있거나, 또는 마스터에 의한 재교정 및 허가(authorization)를 요구할 수 있다.

다른 실시예들에서, 비디오 카메라 이외의 센서는 마커에 대한 카메라 포인팅 방향의 정렬을 실행하도록(enforce) 구성된다. 일 실시예에서, 센서는 마커가 센서 FOV 내에서 보이는지(seen) 여부에 기초하여 바이너리(binary) 예(yes)/아니오(no) 탐지 이벤트(detection event)를 생성하고, 이는 오정렬의 허용가능한 각도(degree)를 정의한다. 다른 실시예에서, 센서는 카메라 포인팅 방향에 관한 마커의 위치를 생성한다. 예를 들어, 사용자 모션을 캡처하고 미디어를 등록하고 오버레이하기 위한 카메라 포즈(pose)를 제공하는데 통상적으로 사용되는 온-보드(on-board) 자이로스코프(gyroscope)/가속도계(accelerometer)가 또한 정렬 조건을 실행하기(enforce) 위해 사용된다. 자이로스코프 및 카메라 포즈는 마커에 대해 교정되고, 자이로스코프에 의해 출력된 각도들은 마커에 대한 정렬 조건이 만족되는지 여부를 결정하기 위해 모니터링된다. 후자의 경우, 카메라 포인팅 방향이 정렬 조건을 위반(violating)하는 것에 가까워지고 있을 때, 경고 신호(warning signal)(예를 들어, 오디오, 비디오 또는 물리적 진동)가 발행될 수 있다.

다른 실시예들에서, 마커는 객체(object) 상의 위치 또는 로컬 장면(local scene) 내의 위치, 촬영(filmed) 중인 객체의 고유한 특성들(예를 들어, 파장, 형상, 온도 등), 기술자의 핸드(hands)(예를 들어, 온도 시그니처(signature))를 구성할(constitute) 수 있거나, 또는 마커는 기술자의 핸드, 객체 또는 객체 근처의 장면에 배치된 고유한 특성들을 갖는 인공 태그(man-made tag)일 수 있다. 캡처(capture)를 가능하게(enable) 하기 위해 발생해야 하는 2 차 페어링(secondary pairing)을 제공하거나, 또는 캡처(capture)를 디스에이블하는(disable) 경우 효과적으로 배제 영역(exclusion zone)을 생성하도록, 추가적인 마커들이 객체, 주변 장면 또는 필드 기술자의 핸드에 배치될 수 있다.

다른 실시예들에서, 적어도 기술자 식별(identification), 마커 페어링 및 지정 공차 필드(specified tolerance fields)를 포함하는 사용자 키 코드(user key code)는 고객 또는 국가 정책 또는 법적 요건을 위반할 수 있는 장면 내의 데이터를 캡처 및/또는 전송하는 것으로부터 시스템을 보호하기 위해 FOV 배제를 제어하는데 사용된다. 마커 페어링은 카메라/센서를 하나 이상의 마커에 고유하게 페어링한다. 지정 공차는 허용가능 FOV를 직접적으로 정의하는 마커에 대한 거리, 또는 허용가능 FOV 를 간접적으로 정의하는 카메라 포인팅 방향에 대한 오정렬(misalignment) 공차 (각도)를 제공할 수 있다. 추가적인 보안 레벨 필드는, 마스터, 국가 코드 등에 의한 것과 같은 지정 공차에 대한 최소 제한, 우선순위 또는 오버라이드(overrides)의 정의를 고려할 수 있다. 비-컴플라잉 데이터(non-complying data)가 원격 위치에서 전송되고 수신되지 않도록 보장하는 원격 전문 식별자(remote expert identifier), 마커 페어링(marker pairing) 및 지정 공차 필드(specified tolerance fields)를 포함하여 다른 전문 키 코드가 원격 필드 위치에 제공될 수 있다. 이러한 키 코드는 고객의 AR 시스템에서 시행된다.

다른 실시예들에서, 사용자-정의 허용가능(used-defined allowable) FOV, 카메라 FOV, 및 정렬 조건을 함께 정의하는 허용된 포인팅 방향 오정렬을 설정하기(establish) 위해, 사용 전에 카메라/마커 또는 카메라/센서/마커는 교정된다. 일 실시예에서, 기술자는 키 코드에서 지정된 마커 페어링을 검증하기 위해 마커에서 카메라(및 센서) 포인팅 방향을 지시한다(directs). 시스템은 허용가능 FOV를 정의하는 사용자 지정 공차를 판독하고 처리한다. 카메라 및 센서의 고유(native) FOV, 최소 카메라 FOV, 최소 오정렬 공차, 카메라/센서로부터 마커까지의 거리(말하자면 통상적인 팔의 길이 16-18")로부터의 공칭 거리(nominal distance), 및 장면 내의 임의의 추가적인 마커들과 같은 다른 입력들에서 팩토링(Factoring)하여, 시스템은 세션 FOV 및 오정렬 공차들을 생성하고, 정렬 조건을 실행하기 위한 카메라, 센서 및 프로세싱을 구성한다.

본 발명의 이러한 특징 및 다른 특징과 이점은 다음과 같이 첨부된 도면을 함께 참조하여 바람직한 실시예를 상세히 설명함으로써 본 기술 분야의 당업자에게 명백할 것이다.

도 1은 데이터 캡처 및 전송 컴플라이언스에 대한 시야(FOV) 및 키 코드 제한 AR 시스템에 대한 도면이다.
도 2는 포인팅 방향이 장면 내 객체에 대한 팔의 길이에서 사용자 모션에 종속되는 고글 또는 핸드-헬드 유닛(hand-held unit)과 같은 비디오 캡처 및 디스플레이 유닛의 실시예에 대한 블록도이다.
도 3은 키 코드 및 FOV 제한 AR의 실시예에 대한 흐름도이다.
도 4는 키 코드 요건, 프로그래밍 및 시스템 검증/개시에 대한 블록 흐름도이다.
도 5는 정렬 조건을 만족시키기 위한 카메라 포인팅 방향에 대한 카메라 FOV 및 정렬 공차의 예시이다.
도 6a 및 도 6b는 각각 바이너리(binary) 센서/마커 페어링을 사용하여 AR 시스템을 자동으로 교정하기 위한 실시예의 흐름도 및 예시이다.
도 7a 내지 도 7b는 비디오가 캡처되고 전송되는 동안의 "그린(green)" 조건, 경고가 발행되는"옐로우(yellow)" 조건, 및 비디오 카메라가 꺼지는 "레드(red)" 조건에서의 교정 AR 시스템의 동작을 도시한다.

본 발명은 어떤 레벨의 데이터 캡처(capture) 및 전송 컴플라이언스(transmission compliance)가 고객 요구, 산업 규정, 국가 보안 또는 국가 특정 법에 의해 요구될 수 있는 AR 환경에 관한 것이다. 특정 경우들에서, 컴플라이언스는 장면 또는 특별히 태그된(tagged) 객체들의 부분이 디스플레이 또는 전송을 위해 비디오 카메라에 의해 출력된 비디오 신호 내에 포함될 수 없다고 요구할 수도 있다. 다른 보다 엄격한 환경에서, 컴플라이언스는 장면 또는 태그된 객체의 부분이 비디오 카메라 자체, 비디오 신호로의 적은 출력에 의해 캡처될(탐지될) 수 없다고 요구할 수 있다. 컴플라이언스의 요구되는 레벨은 복수의 상이한 인자들에 의해 결정될 수 있고, AR의 애플리케이션(application) 사이에서 또는 심지어 그 동안에도 변할 수 있다. 많은 경우에, 장비의 제거, 물리적 드레이핑(draping) 또는 포스트-캡처 편집(post-capture editing)은, 컴플라이언스 요건을 충족시키기에 충분하지 않거나, 또는 유사 실시간 상호작용 상황(quasi real-time interactive situation)에서 구현하는데 실용적이지 않다.

이러한 AR 환경에서, 비디오 카메라의 포인팅 방향은 필드 기술자 모션(field technician motion)(예를 들어, 고글의 경우에 기술자의 머리 또는 핸드-헬드 유닛(hand-held unit)의 경우에 핸드)에 종속된다. 기술자로부터 팔의 길이에서 로컬 장면 내의 객체의 FOV 내에 비디오 신호가 캡처된다. 기술자는 원격 위치에서 전문가로부터 객체의 조작을 위한 핸드 제스처(hand gestures)를 수신하고, 이는 비디오 신호 상에 등록되고 오버레이되어, 객체의 조작으로 사용자에게 지시하기(instruction) 위한 증강 현실(augmented reality)을 생성한다. 다른 구현들에서, 핸드 제스처들은 전문가가 보고(views) 실시간으로 기술자의 비디오 카메라에 의해 원격 필드 위치로 캡처되고 전송된 비디오 신호에 응답할 때, 전문가가 실시간으로 객체의 레플리카(replica)와 상호작용할 때, 또는 전문가가 비디오에 응답하거나 또는 객체의 레플리카와 상호작용하는 것에 의해 오프라인으로 "준비된(canned)" 명령을 생성할 때 제공된다.

문제는 기술자가 의도적으로 또는 의도하지 않게 관심 객체로부터 떨어질 수 있고, 캡처되거나 전송되지 않아야 하는 장면 또는 객체의 다른 부분의 비디오를 캡처할 수 있다는 것이다. 본 발명은, 객체의 조작으로 기술자를 지시하는 AR 오버레이와 간섭하지(interfering) 않는 전송 컴플라이언스 및 데이터 캡처를 위한 장면의 부분들을 배제하는 이러한 제한된 AR 환경에서 비디오 카메라를 제어하는 기술자/고객/마스터("사용자")제어 하에서와 자동적으로 제어하기 위한 시스템 및 방법을 제공한다.

도 1을 참조하면, AR 시스템(10)의 실시예는, 한 쌍의 비디오 고글 또는 포인팅 방향(14)이 기술자 모션에 종속되는(예를 들어, 필드 기술자(16)가 유닛을 보거나 또는 포인팅하는 경우) 핸드-헬드 유닛(hand-held unit)(예를 들어, 태블릿 또는 휴대폰)과 같은 비디오 캡처 및 디스플레이 디바이스(12)를 포함한다. 필드 기술자(16)는 로컬 장면(local scene)(20)내의 객체(18)를 조작하여, 예를 들어, 객체에 대한 유지보수를 수행하거나, 또는 객체를 동작시키는 방법에 대한 명령을 수신한다. 이러한 예에서, 객체(18)는 액세스 패널(access panel)이고, 로컬 장면은 트랙터(tractor)를 포함한다.

디바이스(12)는 로컬 필드 장면(20)에서 객체(18)의 형상(imagery)을 캡처하고, 가능하게는 상이한 국가에서 통신 링크(28)를 통해 원격 사이트(site)로 비디오 신호(26)를 전송한다. 비디오 신호(26)는 컴퓨터 워크스테이션(computer workstation)(32) 상의 전문가(expert)(30)에게 제공되고, 컴퓨터 워크스테이션(32)에는 전문가의 핸드 제스처를 캡처하기 위한 디바이스(34)가 제공된다. 전문가(30)는 그의 핸드(hands)를 이용하여(또는 툴(tool)을 통해) 비디오에서 객체를 조작하여 작업(task)을 수행한다. 디바이스(34)는 핸드 제스처들을 캡처하고, 핸드 제스처들은 애니메이션화된(animated) 핸드 제스처들(36)로 변환되고, 디스플레이 상에 등록되고 오버레이되는 경우에 통신 링크(28)를 통해 사용자(16)에게 다시 전송된다. 전문가(30)는 AR 환경을 증강시키기 위해 오디오, 텍스트 또는 다른 미디어의 형태로 추가적인 명령들을 제공할 수 있다. AR 환경 자체는 원격 및 로컬 컴퓨터 시스템(32, 12) 및 서버(46) 상의 애플리케이션 소프트웨어(40) 및 설정 파일(settings files)(42 및 44)로 구현된다.

본 발명에 따라, AR 시스템 또는 방법은 로컬 비디오 캡처 및 디스플레이 디바이스(12)의 포인팅 방향(14)이 장면 내의 마커(52)(예를 들어, 거리 또는 각도)에 대한 정렬 조건(50)을 만족시키는지 여부를 결정하여, 카메라 FOV(54)는 마커(52)에 대한 사용자-정의 허용가능 FOV(56) 내에 놓인다. 마커(52)는, 인공(man-made) 태그, 객체의 고유한 특성(예를 들어, 파장, 형상, 온도 등), 또는, 객체 자체 상에, 객체 근처의 로컬 장면에, 또는 사용자의 핸드 상에서 배치된 고유한 특성을 갖는 인공(man-made) 태그로 가능한 지정된 객체 또는 장면 상의 위치를 구성할 수 있다. 정렬 조건이 만족되지 않으면, 비디오 캡처 및 디스플레이 디바이스(12)는 비디오 신호 내의 캡처로부터 허용가능 FOV(56) 외부에 놓이는 카메라 FOV(54)의 적어도 일부를 배제하도록(exclude) 제어된다. 예를 들어, 비디오 카메라가 꺼져서(turned off), 정렬 조건이 만족될 때까지 비디오 신호(26)를 블랭크할(blanking) 수 있다. 비디오 카메라는 정렬 조건이 수동 정렬, 카메라 포인팅 방향의 트래킹(tracking) 또는 개별 센서에 의한 마커의 재캡처(re-capture)와 같이 재설정될(re-established) 때 다시 켜질(turned back on) 수 있다. 카메라 포인팅 방향이 정렬 조건을 위반하는 것에 가까워지고 있을 때 경고 신호(예를 들어, 오디오, 비디오 또는 물리적 진동)가 발행될(issued) 수 있다. 이러한 시나리오는 또한 센서, 마커, 공차(tolerances) 및 한도를 전문가 측 전송에 적용하는 것을 포함하도록 양 단부(ends)에 복제될(duplicated) 수 있거나 스와핑될(swapped) 수 있다는 것으로 이해된다. 명확화를 위해, 이러한 대안은 논의되지 않으나, 나머지 논의 및 청구항에서 암시된다.

하나 이상의 기술자/고객, 마스터 또는 전문 키 코드(60)는 기술자/마스터/전문가를 식별하고, 마커의 페어링을 정의하고, 허용가능 FOV(56)를 정의하는 공차를 구체화하는데(specify) 사용된다. 키 코드는 필드 기술자/고객/마스터를 허용하거나, 또는 고객 또는 국가 정책 또는 법적 요건을 위반하는 장면에서 필드 기술자가 데이터를 캡처 및/또는 전송하지 못하게 보호하도록 전문가가 비디오 카메라를 제어할 수 있게 한다. 공차는 장면에 위치된 키 코드에서 식별된 입력된 값들 또는 추가적인 마커들을 구성할 수 있다. 예를 들어, 사용자는 24" 거리를 지정할 수 있으며, 이는 허용가능 FOV로 마커에 대한 24" 반경(radius)을 갖는 원을 생성한다. 대안적으로, 사용자는 포인팅 방향에 대하여 플러스(plus)/마이너스(minus) 5 도의 오정렬을 지정할 수 있으며, 이는 공칭 팔(nominal arm)의 길이 작업 거리(length working distance)가 예를 들어 12" 반경을 갖는 원을 생성할 수 있을 것이다. 거리 또는 각도를 지정하는 것 대신에 또는 추가하여, 사용자는 허용가능 FOV의 외부 경계(outer boundary)를 정의하는(define) 마커에 대하여 장면 내에 추가적인 마커들을 지정하고 배치할 수 있다. 비디오 캡처 및 디스플레이 디바이스(12)의 활성화는 적어도 1차 마커 및 가능하게는 추가적인 마커들과 성공적인 페어링을 요구할 것이다. 다른 전문 제어 키 코드는 원격 위치에서 필드 기술자에게 제공되어 비-컴플라잉 데이터(non-complying data)가 원격 위치에서 전송되고 수신되지 않는 것을 보장할 수 있다. 이러한 키 코드는 필드 기술자의 AR 시스템에서 실행된다.

정렬 조건(50)은 마커에 대해 시선(LOS: line-of-sight)(55)으로 카메라 포인팅 방향(14)을 관련시킨다. 2 개는 마커에 대한 각도 또는 거리로서 주어진 지정된 오정렬(57)로 유지해야 한다. 오정렬(57)은 픽스될(fixed)(예를 들어 플러스 또는 마이너스 5 도) 수 있고, 사용자에 의해 설정되거나 사용자-정의 허용가능 FOV(56) 및 카메라 FOV(54) 사이의 차이에 대한 함수(function)로 계산될 수 있으며, 이는 그 자체가 조정가능할 수 있다.

카메라 FOV(54)와 오정렬(57) 사이의 허용가능 FOV(56)의 할당(apportionment)은, 최소 카메라 FOV 또는 최소 오정렬에 대한 시스템 요건, 카메라의 고유(native) FOV, 카메라의 고유 FOV가 조정 가능한지 여부, 센서의 고유 FOV, 및 센서 FOV 가 조정가능한지 여부, 센서/마커 페어링이 바이너리 탐지 또는 카메라 포인팅 방향에 관한 마커의 또는 위치를 제공하는지 여부 등을 포함하는 다양한 인자들에 의해 영향을 받거나 또는 결정될 수 있다. 일반적으로, 카메라 FOV(54)가 클수록 허용가능 FOV(56)를 실행하기 위한 허용가능한 오정렬(57)은 더 작아지며, 그 반대도 마찬가지이다.

상이한 실시예들에서, 카메라/마커 또는 카메라/센서/마커는 사용자-정의 허용가능 FOV, 카메라 FOV, 및 정렬 조건을 함께 정의하는 허용된 포인팅 방향 오정렬을 설정하기 위해 사용 전에 교정된다. 일 실시예에서, 기술자는 키 코드에서 지정된 마커 페어링을 검증하기 위해 마커에서 카메라(및 센서) 포인팅 방향을 지시한다. 시스템은 허용가능 FOV를 정의하는 사용자 지정 공차를 입력시키고(reads in) 처리한다. 카메라 및 센서의 고유 FOV, 최소 카메라 FOV, 최소 오정렬 공차, 카메라/센서로부터 마커까지의 공칭 거리(말하자면 16-18"의 팔 길이), 및 장면 내의 임의의 추가적인 마커들과 같은 다른 입력들에서 팩토링하여(Factoring), 시스템은 세션 FOV 및 오정렬 공차들을 생성하고, 카메라, 센서 및 정렬 조건을 실행하기 위한 처리(processing)를 구성한다.

도 2를 참조하면, 일 실시예에서, 비디오 캡처 및 디스플레이 디바이스(100)는 비디오 카메라(102), 자이로스코프(103), 센서(104), 비디오 디스플레이(106) 및 FOV 프로세서(130)를 포함한다. 비디오 카메라(102)는 전원(power source)(107), 마커에 대해 주어진 초점 길이(focal length)(f1)에서 카메라 FOV(112)를 정의하는 뷰 각도(view angle)(111)를 통해 광(광자)를 수용하도록(accept) 구성된 광학계(optics)(110)를 갖는 카메라 탐지기(camera detector)(108), 및 비디오 프로세서(140)를 포함한다. 탐지기(108)는, 예를 들어 본 명세서에서 사용되는 CMOS 센서 또는 셀룰로이드 필름(celluloid film)일 수 있다. 카메라 FOV(112)는 카메라의 고유 FOV에 의해 고정(fix)될 수 있고, 시야각을 감소시키기 위해 광학계(110) 상에 장착되는(mounts) 애프터마켓 광학 소자(aftermarket optical element)에 의해 감소될 수 있거나, 또는 조정가능한 포커스(focus)(114)로 설정될(set) 수 있다. 카메라 탐지기(Camera detector)(108)는 카메라 FOV(112) 내의 광을 캡처하고, 이는 비디오 프로세서(140)로 전달되어(passed) 원격 전문가에게 전송되는 비디오 신호(142)를 형성하고 출력한다. 자이로스코프(103)에 의해 제공된 카메라 포즈 정보(camera pose information)를 사용하여, 비디오 프로세서(140)는 핸드 제스처(144) 및 다른 텍스트(textual) 또는 형상 정보 또는 오디오를 원격 전문가로부터의 비디오 신호(142) 상에 오버레이하고(overlays), 비디오를 제공하여(presents) 객체의 조작에 대해 사용자에게 지시한다(instruct).

이러한 실시예에서, 디바이스(100)는, 하나 이상의 필드 기술자, 전문 및 마스터 시스템 키 코드들(132, 134 및 136)을 수신하고, 카메라 포인팅 방향(118)에서 정렬 조건을 실행하기 위해 카메라 FOV(112) 및 오정렬 공차를 구성하기 위한 FOV 프로세서(130) 및 센서(104)로 더 구성된다. 정렬 조건이 충족되면, FOV 프로세서(140)는 비디오 카메라가 자신의 FOV 내에서 형상을 캡처하고 평상시처럼 진행하도록 할(enables) 수 있게 한다. 정렬 조건이 충족되지 않으면, FOV 프로세서(140)는 비디오 카메라를 제어하여, 비디오 신호(142) 내의 캡처로부터 허용가능 FOV(116) 외부에 있는 카메라 FOV(112)의 적어도 일부를 배제한다. 특정 실시예에서, 정렬 조건이 충족되지 않으면, 비디오 프로세서(140)는 예를 들어 탐지기(detector) 또는 전체 카메라로부터의 전력을 디스에이블(disabling)함으로써 기록(recording)을 디스에이블한다. 다른 실시예들에서, 비디오 카메라는, 재시작하는 마스터 시스템 오버라이드(override)를 가능한 요구하는 마커에 대해 카메라를 수동으로 재정렬(re-aligning)함으로써 또는 마커의 센서 회복(reacquisition)에 의해 다시 켜질 수 있다.

센서(104)는 적외선 센서/마커와 같은 카메라 FOV와 중첩하는(overlaps) 센서 FOV(122)를 갖는 특정 마커 시그니처(signature)에 튜닝된(tuned) 센서 탐지기(120)를 포함하며, 적외선 방사(radiation)가 가시(visible) 영역과 마이크로파(microwave) 영역 사이에서 발견될 수 있다. 적외선 파(infrared waves)는 전형적으로 0.75 내지 1000μm 사이의 파장을 갖는다. VWD - 가변 파장 탐지기(Variable wavelength detector) - , 온도 센서 등과 같은 다른 센서가 사용될 수 있다. 센서 FOV(122)를 설정하기 위해 조정 가능한 포커스(123)가 포함될 수 있다. 센서 프로세서(124)는 센서(104)로의 전력을 제어하고, 마커를 추적하고, 이벤트(event)가 발생한 FOV 프로세서(130)를 시그널링한다(signals). "이벤트"는 마커의 탐지가 없거나 있을 경우 바이너리(binary) 0/1일 수 있고, 더한 트라이너리(trinary) -1/0/1는 센서가 마커를 잃는 것에 가깝거나 또는 센서 FOV에서 마커의 관련(relative) 위치에 가까울 때 신호에 성능을 더할 수 있다. 특정 구성들에서, 센서 프로세서(124)의 기능들(functions)은, 그 자체가 비디오 카메라에 통합될 수도 있는 FOV 프로세서(130)로 통합될 수도 있다.

특정 실시예에서, 자이로스코프(gyroscope)(103)는 정렬 조건을 실행하기 위해 센서(104) 대신에 또는 대신으로 추가로 사용될 수 있다. 비디오 카메라 포인팅 방향은, 자이로스코프에 의해 생성된 포즈 각도에 대해 FOV 프로세서를 교정하기 위해 마커에 대해 정렬된다. 그에 따라, FOV 프로세서는 정렬 조건을 실행하기 위해 자이로스코프에 의해 출력된 포즈 각도의 시퀀스(sequence)를 모니터링한다. 각도들이 오정렬 공차 내로 유지되는 경우, 카메라는 형상을 캡처하고, 몰입형 AR 환경을 형성하고 디스플레이한다. 각도가 정렬 조건을 위반하면(violate), FOV 프로세서는 전원(107)이 카메라를 끄도록 지시한다. 만약 각도가 정렬 조건을 위반하는 것에 가까워지면, 경고 신호가 발행된다. 이러한 접근법은, 정렬 조건을 실행하기 위해 비디오 카메라 이외의 개별(separate) 센서를 사용하지만, 전형적으로 AR 디바이스 상에 상주하는 다른 하드웨어(즉, 자이로스코프)를 사용한다는 점에서 매력적이다. 사용자-정의 허용가능 FOV를 카메라 포인팅 방향에 대한 각도 공차(angular tolerance)로서 나타내고, 시스템을 마커에서 향하는 카메라 포즈에 대해 교정하고, 자이로스코프에 의해 출력된 각도들을 모니터링하는 것이 모두 요구된다. 시스템의 견고성(robustness)을 개선하기 위해, 자이로스코프는 카메라 탐지기(108)의 센서(104)와 같은 다른 센서와 함께 사용될 수 있다.

센서의 기능이, 이에 따른 개별 탐지기 및 광학계에서 추가적인 하드웨어에 대한 필요성을 제거하는 카메라 탐지기 또는 자이로스코프 및 FOV 프로세서에 통합될 수도 있지만, 개별 센서의 사용은 특정한 이점들을 제공할 수도 있다. 카메라를 간단히 켜거나/꺼서 정렬 조건을 실행하도록 구성된 개별 센서를 이용하여 기존의 AR 시스템을 개조하는(retrofit) 것이 더 쉬울 수 있다. 또한, 센서 및 마커는 페어링을 위해 특별히 설계될 수 있다. 마커는 센서가 탐지하도록 구성되는 고유의 식별가능한 신호를 갖는 인공 태그일 수 있다. 저렴하고 견고한 센서/마커 쌍이 이미 존재하며, AR 시스템에서 다른 목적을 위해 사용되었다. 또한, 센서 FOV는 카메라 FOV와 상이할 수 있고, 정렬 조건을 직접 실행하도록 설정될 수 있다. 예를 들어, 센서가 정렬 조건이 직접 실행된 오정렬 공차와 동일한 FOV를 설정하는 바이너리 탐지 이벤트를 생성하도록 구성되는 경우이다. 마커가 탐지되면 조건이 만족된다. 마커가 탐지되지 않으면, 조건은 위반된다.

도 3 및 도 4를 참조하면, 엑스엠리얼리티(XMReality)의 시스템과 같은 AR 시스템, 및 관심 객체 상의 작업의 성능으로 필드 기술자를 지시하도록 필드 기술자의 디스플레이 상에서 애니메이션화된 핸드 제스처를 오버레이하는 방법은, 데이터 캡처 및 전송 컴플라이언스를 위해 수정되거나 재구성될 수 있다. 설명된 바와 같이, 하드웨어에 대한 수정은, 임의의 키 코드를 처리하고, 마커 페어링을 수행하여 비디오 카메라 및 기존의 AR 시스템의 하드웨어 또는 소프트웨어에 대해 거의 변화가 없이 비디오 카메라를 켜거나/끄는 마커 페어링을 수행하는 "FOV 프로세서"를 포함하는 "센서"를 추가하는 것으로부터, 센서를 추가하지만 비디오 카메라에서 FOV 프로세서로 소프트웨어 제어를 구축하는 것까지 범위가 미칠 수 있으며, 이는 기존의 자이로 스코프(gyro scope)를 사용하고 카메라 포즈를 모니터링하기 위해 소프트웨어 제어를 구축하는 것, 기존의 카메라 탐지기를 사용하고 비디오 카메라에서 FOV 프로세서로 소프트웨어 제어를 구축하는 것까지일 수 있다.

데이터 캡처 및 전송 컴플라이언스를 보장하기 위한 부가적인 엘리먼트들에 관계없이, 필드 기술자 식별, 로컬 AR 시스템에 대한 국가 코드, 보안 코드, 1차 마커 페어링 정보(primary marker pairing information), 고객-정의(customer-defined) FOV 제한(limitations), 2 차 마커와 같은 필드-측 우선순위 설정(field-side priority settings)을 정의하는 단계(단계 200), 및 키 코드로 이러한 설정(settings)을 프로그래밍하는 단계(단계 202)를 포함한다. 필드 기술자 키 코드는, 고객 식별, 특정 사용자 식별, 발신국(country of origin), 보안 레벨, 우선순위, 1 차 센서/마커 페어링, 마커에 대한 시선(LOS)으로부터 카메라 포인팅 방향/초점(focal point)까지의 최대 거리 및/또는 각도의 관점에서의 공차, 2차(secondary) 센서/마커 페어링 및 공차, 보안 사이퍼(cypher) 등에 대한 필드를 포함할 수 있다. 이제, 기술자 식별은 AR 시스템의 전문가 측과의 핸드쉐이크(handshake)/검증(validate)뿐만 아니라 사용자-정의 FOV 제한의 구성을 허용하도록 요구된다. 국가 코드 및 보안 코드는 특정 FOV 제한들로 변환될 수 있으며, 이는 보안 코드의 현재 레벨에 따라 변할 수 있다. 유사한 우선순위 설정 및 키 코드 프로그래밍은 로컬 필드 사용자에게 전송된 전문 키 코드를 이용하여 전문가 측에서 수행될 수 있다. 전문 키 코드는 전문가가 거주하는 국가의 상이한 요건을 반영할 수 있고, 사용자가 적절한 보호를 제공하지 않는다면 리던던시(redundancy)를 제공할 수 있다. 다른 실시예에서, 키 코드는 V-룩업 테이블(V-Look-up table)에 종속된 단일 또는 감소된 명령이 되며, 테이블은 간단한 사용자 입력 또는 키 코드에 링크된(linked) 보다 광범위한(extensive) 명령을 나타낸다. 이러한 방법은 복수의 입력 명령(multiple input commands), FOV 제한, 국가 법, CONOPS(많은 제한들이 완화될 때의 응급 상황 또는 전쟁시와 같거나, 또는 매우 민감한 연구가 제한되는 것 같이 더 제한됨)에 대응하는 우선순위 레벨 1, 2, 3 등과 같은 하나의 파라미터에 놓이는 것만 필요한 키 코드 또는 사용자 입력을 제공한다.

시스템은 전문가와 사용자 식별에 대한 페어링을 검증하고, 센서/마커 페어링을 동기화하기 위한 복수의"핸드쉐이크(handshake)"를 포함할 수 있는 검증/개시(initiation) 단계(204)를 수행한다(undergoes). 전술한 바와 같이, 이러한 FOV 및 키 코드 제어의 미러 이미지(mirror image)는 전문가에 의한 데이터 캡처 및 전송 컴플라이언스를 보장하기 위해 시스템의 전문가 측에 적용될 수 있다.

일단 검증되면, 시스템은 정렬 조건이 만족되는 조건들을 설정하기 위해 카메라/센서/마커(들)의 자동화된 교정을 수행한다(단계 206). 예를 들어, 기술자는 1차 마커에서의 비디오 카메라(및 센서)의 포인팅 방향을 정렬하고 "교정(calibration)"을 개시하도록 요구될 수 있다. FOV 프로세서는, 비디오 카메라 및 센서에 대한 FOV 및 초점 길이 정보, FOV에 대한 제한, 및 비디오 카메라의 포인팅 방향이 정렬 조건을 위반하는 조건들을 설정하기 위한 키 코드 또는 다른 기준 자료(reference material) 또는 기술자 입력으로부터의 지정된 공차를 차례로 판독할 수 있다. FOV 프로세서는 이러한 입력에 기초하여 제한 및 제어를 계산하고, 이러한 제한 및 제어에 영향을 미치는 시스템의 나머지와 상호작용한다. 교정 동안 추가적인 선택적 반복에서, 시스템은 FOV 프로세서에 의한 계산에서 카메라의 고유 FOV의 일부를 사용함으로써 카메라 FOV를 더 제한하기 위해 추가적인 계산 단계를 수행한다.

일단 교정되면, 시스템은 비디오 신호 내의 캡처로부터 사용자-정의 허용가능 FOV 외부에 놓인 비디오 카메라의 FOV의 적어도 이들 일부를 배제함으로써 키 코드에 지정된 바와 같이 데이터 캡처 및 전송 컴플라이언스를 실행하기 위해 사전-캡처 동기화 FOV(pre-capture synchronized FOV)를 구현한다(단계 208). 바람직한 실시예에서, 마커에 대한 비디오 카메라의 정렬 조건이 만족되지 않을 때, 비디오 카메라는 꺼진다. 이는 사용자-정의 허용가능 FOV 외부의 형상이 디스플레이되어 가능하게 전송되는 출력 비디오 신호에 훨씬 덜 포함되어 비디오 카메라에 의해 캡처되지 않도록 보장한다.

일반적인 시스템 교정을 위한 실시예가 도 5에 도시된다. 개별 센서와 페어링하는 바이너리 마커 페어링에 대한 교정 프로세스의 보다 상세한 설명이 도 6a 내지 6c에 도시된다.

도 5에 도시된 바와 같이, 사용자-지정 공차(300)(마커에 대한 거리, 작업 거리 또는 추가 마커를 통해 투사되는(projected) 포인팅 방향에 대한 각도 공차)는 마커(304)에 대한 사용자-정의 허용가능 FOV(AFOV: allowable FOV)를 정의한다. 일반적으로, FOV = 2 (Tan (뷰의 각도(Angle of view)/2) X 거리(Distance)이며, 거리는 초점(306)과 마커(304)사이의 거리이다. 이러한 애플리케이션에서, 거리는 약 16-18"의 기술자의 공칭 작업 거리 "d1"(308)인 것으로 가정된다. 따라서, FOV는 마커로부터 실제 계산된 거리"d2"(310) 또는 뷰의 각도(312)로서 동등하게 지칭될 수 있다.

카메라 FOV(CFOV: camera FOV)(314)는 AFOV(302)보다 작아야 한다. 만약 그렇지 않다면, 포인팅 방향(316)이 마커(304)에 완전하게 정렬될 때에도, 카메라는 허용되지 않는 AFOV(302)의 경계 또는 외부에서 형상을 캡처할 것이다. AFOV(302) 및 CFOV(314) 사이의 차이는 카메라 포인팅 방향의 정렬 공차(318)이다. 거리 또는 각도 중 어느 하나로 다시 간주될 수 있는 정렬 공차는 정렬 조건을 만족하는 마커(304)에 대한 카메라의 포인트 방향(316)의 공차 또는 허용 에러(allowed error)이다. 카메라 FOV(314)가 클수록 정렬 공차(318)는 작아지고, 그 반대도 마찬가지이다. 정렬 공차(또는 카메라 FOV)는 "버퍼" 또는 "안전 영역(safety zone)"을 생성하기 위해 감소될 수 있다. 예를 들어, 말하자면 5 도의 최대 정렬 공차는 2 도의 버퍼를 생성하기 위해 3 도로 감소될 수 있다. 시스템 또는 사용자 입력들은 카메라 FOV 및 정렬 공차 중 하나 또는 둘 모두에 대한 최소 또는 세트 요건들을 지정할 수 있고, 이에 따라 하나 또는 둘 모두를 조정할 수 있다.

대안적이지만 비슷한 접근법으로, 마스터/고객/기술자가 마커에 대한 카메라 포인팅 방향의 공차를 지정하도록 하는 것이 있다. 비디오 카메라 자체 또는 별도의 센서는 마커에 관한 카메라의 포인팅 방향이 지정된 공차 내에 있는지 여부를 모니터링할 것이다. 정렬 조건이 만족되는 한, 카메라는 켜진 상태(on)로 유지된다. 정렬 조건이 위반되면, 카메라는 꺼질 것이다. 시스템은 특정 최대 카메라 FOV를 요구하거나, 또는 작업 거리가 비교적 짧다는 가정 하에서 카메라 FOV 를 수용할 수 있고, 이에 따라 기술자가 객체를 보고 있는 경우, 컴플라이언스에 대한 문제가 없어야 한다. 컴플라이언스 문제는, 보정 방향으로 포인팅되는 경우 카메라 FOV가 너무 크기 때문이 아니라, 기술자가 그의 머리를 돌리거나 또는 카메라를 잘못된 방향으로 포인팅할 때 일반적으로 발생한다. 이러한 경우, 지정된 공차 더하기(plus) 카메라 FOV는 사용자-정의 허용가능 FOV를 제공한다. 어느 경우라도, 마스터/고객/기술자는 사용자-정의 허용가능 FOV를 설정하는 공차를 제공한다. 이러한 접근법은 가장 엄격한 데이터 캡처 및 컴플라이언스 환경에 적합하지 않을 수 있지만, 특정 상업적 응용(applications)에 매우 적합할 수 있다.

전술한 바와 같이, 정렬 조건을 실행하기 위한 많은 상이한 구성이 있다. 센싱 기능(sensing function)은 비디오 카메라, 자이로스코프 또는 추가적인 센서 또는 조합에 의해 수행될 수 있다. 센싱 기능은 정렬 조건이 만족되는지 여부를 나타내는 마커의 바이너리 탐지 이벤트(binary detection event), 또는 정렬 조건의 만족이 결정될 수 있는 카메라 포인팅 방향에 관한 마커의 위치를 제공하는 아날로그 탐지 이벤트(analog detection event)를 생성할 수 있다.

마커를 탐지하기 위해 비디오 카메라를 사용하는 것은 일부 제한을 부과한다. 바이너리 경우에, 카메라 FOV는 카메라 포인팅 방향에 대한 정렬 공차(alignment tolerance)이다. 따라서, 카메라 FOV는 정렬 조건을 실행하기 위해 허용가능 FOV의 크기(size)의 절반으로 (또는 더 작게) 제한된다. 아날로그 경우에, 카메라 FOV는 적어도 정렬 공차의 크기이어야 한다. 이러한 구성은 카메라 FOV가 작고 정렬 공차가 큰 정렬 조건을 실행할 수 없다.

정렬 조건을 실행하기 위해 바이너리 센서/마커 페어링을 위한 1차 마커(404)에 대한 센서(402) 및 비디오 카메라(400)의 자동화된 교정 프로세스의 실시예가 도 6a 및 6b에 도시된다. 키 코드는 마커(404)에 대한 사용자-정의 허용가능 FOV(406)를 정의한다. 이러한 실시예에서, 비디오 카메라(400)는 허용가능 FOV(406)보다 큰 고유 FOV(405)를 갖는다. 고유 FOV는 카메라 렌즈 및 CMOS 센서 폭, 높이 및 뷰의 각도의 탄젠트(tangent) 및 객체에 대한 거리로 정의된다. 전형적인 AR 시스템은 몰입형 환경을 제공하기 위해 전체 고유 FOV를 최대화 및 사용하고자 한다. 센서(402)는 또한 물리적으로 또는 알고리즘적으로(algorithmically) 조정가능한 FOV를 갖는다.

구상된 바와 같이, 기술자(407)는 1차 마커(404)(및 조작될 객체(409))로부터 팔의 길이, 명목상 16-18"의 위치로 이동하고, 마커에서 카메라(400)를 포인팅하고, 교정을 개시할 수 있으며, 이는 자율적으로 진행될 것이다. 일단 교정되면, 기술자는 진행하기 위해 "그린 라이트(green light)"를 획득할 것이다.

단계(500)에서, 카메라 및 센서 및 센서 초점(414)의 포인팅 방향(410 및 412)은 정렬되어 1 차 마커(404)에 대해 조정된다. 일단 정렬되면, 시스템은 센서(402)가 마커에 페어링되고 인증되는 동안의 필드-기술자 또는 마스터 시스템 키 코드(416)로 개시된다(단계 502).

단계(504)에서, FOV 프로세서는 허용가능 FOV, 카메라의 고유 FOV, 센서의 고유 FOV 및 초점, 공칭 "팔의 길이"를 정의한 지정된 공차(거리, 각도 또는 추가적인 마커(417))를 입력으로 수신하고 처리하여, 카메라 FOV(418) 및 센서 FOV(420)(오정렬 공차(422)와 동일함)를 계산한다. 많은 경우에, 카메라 및/또는 센서의 고유 FOV는 감소될 필요가 있을 것이다. 카메라 또는 센서 FOV가 고정되면, FOV 프로세서는 그에 따라 계산들을 조정할 것이다. 사용자-정의 허용가능 FOV 및 정렬 조건이 실행되는 것을 보장하기 위해 필요에 따라 카메라 또는 센서 중 어느 하나의 FOV 를 제한하기 위해 다양한 애프터 마켓 광학 소자(after market optical elements)가 사용될 수 있다. FOV 프로세서는 또한 추가적인 마커, 경고 신호를 생성하기 위한 조건 등에 기초하여 보충적인 정렬 조건들을 계산할 수 있다. 특정 경우에, 마커가 장면의 특히 민감한 영역에 배치되는 전용 센서/마커 페어링은 그 영역의 형상이 캡처되지도 않고 전송되지도 않는다는 것을 보장하는 페일 세이프(fail safe)로서 사용된다. 전용 센서가 이러한 전용 마커를 탐지하면, AR 시스템은 셧다운되고(shut down) 마스터 키 코드에 의해 재시작될(re-started) 수만 있다.

단계(506)에서, 필요에 따라, FOV 프로세서는 카메라 FOV(418)로 카메라의 고유 FOV를 감소시키고, 카메라 FOV와 관련된 센서/마커 페어링에 대한 공차 거리들 중에서 최소(min)/최대(max)를 설정하기 위해 센서의 FOV(420)를 조정한다. 센서의 FOV(420)는 버퍼 영역을 생성하기 위해 최대 오정렬 공차 또는 감소된 오정렬 공차에서 설정될 수 있다.

작업 카메라 FOV가 허용가능 FOV보다 작도록 원시 FOV 미만을 사용하는 것은 이점을 가지며, 광자 (이미지)가 결코 기록되지 않는 객체 주위에 버퍼 영역(buffer zone)을 제공하도록 구성될 수 있다. 고(Go)/노-고(no-go) 라인의 실제 경계(border)는 어떤 사용자에 관한 것이다. 실제로, 경계 영역을 매우 정확하게 정의하는 것은 거의 불가능하고 비용이 많이 들어, 장면으로부터의 광자는 허용된 영역을 지나 1 밀리미터로 카메라 CMOS 상에서 캡처되지 않는다. 전형적인 촬영(photography) 방법들은 전체 FOV를 사용하여 전체 장면을 캡처하고, 원하지 않는 풋티지(footage)/장면/픽셀들을 편집, 차단(block), 자르거나(snip) 또는 흐리게(obfusate) 할 것이다. 광자의 캡처 이전에 시야를 감소시킴으로써, 시스템의 버퍼 구역의 계산, 경고 알람, 센서 공차, 소스(source) 마커에 링크된 온(on)/오프(off) 스위치의 온/오프 스위치(on/off switch)는, 허용된 영역 외부에서 심지어 허용된 영역의 경계에서도 캡처를 방지하기 위한 안전 마진(margin of safety)을 이미 갖는다. 이는 훨씬 더 실용적인 방법이며, 경계의 실제 라인이 이미지를 손상시킬(또는 캡처할) 염려없이 경계 영역들에서 카메라를 켜고-끄는 작고 저렴한 센서-마커 방법들의 사용을 허용한다.

일 실시예에서, 비디오 고글에서의 자이로스코프는 센서(402)로서 또는 센서(402)에 부가하여 사용된다. 가속도계는 XYZ 각도 방향들에서의 모션을 감지하고, 포즈 각도(예를 들어, 요(yaw), 피치(pitch) 및 롤(roll))를 출력한다. 포즈 각도는 1 차 마커(404)에 대한 LOS로 보정된다. FOV 프로세서는 정렬 조건이 만족되는지 여부를 결정하기 위해 포즈 각도를 모니터링한다. 이는 사용자-정의 허용가능 FOV를 정의하는 마커로부터의 거리를 각도로 변환(translating)함으로써, 또는 작업 거리를 통해 포즈 각도를 마커에 대한 거리로 변환함으로써 수행될 수 있다.

단계(510)에서, 시스템은 카메라 및 센서 FOV, 경고 등이 적절하게 계산되고 구현되었음을 검증하기 위해 빌트인 테스트(BIT: built-in test)를 실행하기 위해 카메라 및 센서를 선택적으로 켤(power up) 수 있다.

도 7a 내지 도 7c에 도시된 바와 같이, 일단 교정되면 기술자(407)가 객체를 조작하며, 원격 사용자에게 비디오를 전송하고 AR 고글 상에 오버레이된 핸드 제스처들을 수신하여 기술자가 사용자에게 객체를 서비스 또는 유지하도록 지시한다. 기술자가 마커의 방향을 보고 있는 한(예를 들어, 카메라 포인팅 방향 또는 포즈 각도는 마커(404)에 대한 공차 내에 있음), 마커는 센서 FOV(420)에서 캡처되고 정렬 조건이 만족되고("그린"), 그에 의해 카메라가 카메라 FOV(418)에서 형상을 캡처할 수 있게 한다. 기술자의 눈(카메라)은 벗어나도록(wander) 시작함에 따라, 마커는 센서 FOV(420)의 에지에 근접하게 되어("옐로우"), 이에 의해 경고 신호(오디오, 비디오, 진동)가 기술자에게 리마인더로서 발행되어, 그의 포커스를 객체 및 핸드에서의 작업 상에 유지할 수 있다. 카메라는 사용가능하게(enabled) 되고 비디오는 전송 및 디스플레이를 위해 캡처된다. 기술자의 LOS가 너무 멀리 벗어나면, 센서 FOV는 마커(404)와의 페어링을 상실하여("레드"), 이에 의해 정렬 조건을 위반하고 비디오 카메라가 디스에이블되게(disabled) 한다. 일부 경우에, 카메라는 정렬 조건을 만족시키도록 마커를 단순히 다시 보는 것으로 다시 켜질 수 있다. 다른 경우에, 마스터는 시스템을 초기화할(initialize) 필요가 있을 수 있다.

사용자가 AR 고글이 제공되는 하나의 예에서, 사용자가 그의 핸드를 보고 있는 경우, 그는 객체를 보고 있다고 가정하에 사용자의 핸드(또는 글러브(gloves)) 상에 1차 마커가 위치될 수 있다. 2차 마커는 관심 객체 상에 배치(또는 관심 객체로부터 추출(extracted)될 수 있다. 포지티브(positive) 페어링은 1차 또는 2차 메이커 중 하나의 획득, 또는 1차 또는 2차 마커 모두를 요구할 수 있다.

다른 예에서, 2 차 센서 및 2차 마커는 강화된 보안성의 경우에 사용되고, 바람직한 경우 2차 키 코드에 의해 제어될 수 있다. 2 차 마커(들)은 장면에서 특히 문제가 있는 객체 또는 영역에 배치된다. 2 차 마커(들)은 고유하며(unique) 필드 고객(field customer)에게만 제공된다. 2차 센서가 2차 마커를 획득하면, 비디오 카메라는 즉시 꺼지고, 아마도 절차적 검토의 기간이 개시된다는 것을 고객이 확신할 수 있다. 최소한, 비디오 카메라는 2차 마커가 획득되는 한 다시 켜질 수 없다. 대안적으로, 고객 개입(customer intervention)이 AR 시스템에 반응하도록(reactive) 요구될 수 있다.

다른 실시예에서, 센서는 카메라 FOV보다 더 크고 카메라 FOV를 전체적으로 둘러싸는 FOV를 갖는다. 예를 들어, 카메라 FOV는 30 도이고, 센서 FOV는 34 도이다. 카메라 및 센서를 정렬하는 것은 카메라 FOV의 어느 한 측에 2 도의 센서 FOV를 제공한다. 정렬 조건은 객체 상의 1차 마커 및 물체 주위 및 물체에서 이격된 복수의 2차 마커에 의해 이제 정의되며, 이는 허용가능 FOV의 외부 경계를 필수적으로 정의한다. 정렬 조건의 만족은 센서 FOV가 1차 마커를 보고(포지티브 페어링) 2차 마커 중 임의의 것을 보지 않는(네거티브(negative) 페어링) 것을 요구한다. 카메라 포인팅 방향이 허용가능 FOV 내에서 돌아감(slews)에 따라, 센서 FOV의 외부 에지들은 그들이 카메라 FOV로 들어가기(enter) 전에 추가적인 2차 마커들을 볼 것이고, 이에 의해 카메라 FOV를 끄게 한다. 이론적으로, 이는 센서 FOV를 더 좁게 설정하고 1차 마커에 대한 포지티브 페어링만을 필요로 하는 것과 동등하다. 그러나, 특정 상황들에서, 기술자/고객/마스터는 이러한 방식으로 허용가능 FOV의 경계를 정의하기 위해 2 차 마커들을 배치하는 것을 보증하는 것(assurance)을 좋아할 수 있다.

본 발명의 여러가지 예시적인 실시예들이 도시되고 설명되었지만, 기술 분야의 당업자에게는 다양한 변형 및 대안적인 실시예가 발생할 것이다. 이러한 변형 및 대안적인 실시예가 고려되고, 첨부되는 청구항에 정의된 바와 같이 본 발명의 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims

데이터 캡처 및 전송 컴플라이언스를 위한 증강 현실(AR:Augmented Reality) 환경 내 비디오 신호로부터 장면의 부분들(portions)을 배제(exclude)하는 방법에 있어서,
사용자 모션에 대한 비디오 카메라의 포인팅 방향을 종속시키는(slaving) 단계;
로컬 장면 내 객체(object)의 상기 비디오 카메라의 시야(FOV: Field of View) 내의 비디오 신호를 캡쳐하는 단계;
원격 위치로부터, 상기 객체를 조작하기 위한, 오디오, 텍스트, 또는 비디오 미디어 형태의 지시들(instructions)을 수신하는 단계;
상기 비디오 신호에 대한 상기 지시들을 등록하고, 상기 객체의 조작에서 사용자를 지시하기 위해 상기 사용자에게 증강 현실을 디스플레이하는 단계;
상기 비디오 카메라의 포인팅 방향이 상기 로컬 장면 내 마커(marker)에 대한 정렬(alignment) 조건을 만족하는지 결정하여, 상기 마커에 대해 사용자-정의(user-defined) 허용가능(allowable) FOV 내에 상기 비디오 카메라의 시야(FOV)가 위치하도록 하는 단계; 및
상기 정렬 조건을 만족하지 않는 경우, 상기 비디오 신호 내 캡쳐로부터 상기 사용자-정의 허용가능 FOV 외부에 있는 상기 비디오 카메라의 시야(FOV)의 적어도 일부를 배제하도록 상기 비디오 카메라를 제어하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 로컬 장면은 배제된 데이터를 포함하고, 상기 비디오 카메라는 상기 배제된 데이터의 캡쳐를 방지하기 위해서 상기 사용자-정의 허용가능 FOV 내로부터의 형상(imagery) 만이 상기 비디오 카메라에 의해 캡쳐되도록 제어되는,
방법.
제2항에 있어서.
상기 비디오 카메라의 시야(FOV)가 상기 사용자-정의 허용가능 FOV 내에 유지되더라도 상기 정렬 조건이 만족되지 않는 버퍼 존(buffer zone)을 형성하도록 상기 비디오 카메라의 시야(FOV)를 감소시키는 단계
를 더 포함하는, 방법.
제2항에 있어서,
상기 정렬 조건을 만족시키기 위해 센서 FOV 내 상기 마커의 존재를 감지하도록 구성된 별도(separate) 센서를 더 포함하고, 상기 비디오 카메라의 시야(FOV)가 상기 사용자-정의 허용가능 FOV 내에 유지되더라도 상기 정렬 조건이 만족되지 않는 버퍼 존을 생성하도록 상기 센서 FOV를 감소시키는 단계
를 더 포함하는, 방법.
제1항에 있어서,
상기 마커는 사용자 모션에 종속되는 포인팅 방향을 갖는 별도 센서에 페어링되는, 방법.
제1항에 있어서,
상기 비디오 카메라의 포인팅 방향이 상기 정렬 조건을 위반하는 것에 가까워지는 경우 상기 사용자에게 경고 신호를 발행(issue)하는 단계
를 더 포함하는, 방법.
제1항에 있어서,
배제 존(exclusion zone)을 생성하기 위한 센서 FOV를 갖는, 상기 로컬 장면 내 추가(additional) 마커의 존재를 감지하도록 구성된 센서
를 더 포함하는, 방법.
제7항에 있어서,
상기 추가 마커의 감지는 상기 비디오 카메라를 디스에이블(disable) 시키는,
방법.
데이터 캡처 및 전송 컴플라이언스를 위한 증강 현실(AR:Augmented Reality) 환경 내 비디오 신호로부터 배제된 데이터를 포함하는 로컬 장면의 부분들(portions)을 배제(exclude)하는 방법에 있어서,
상기 로컬 장면에서 비디오 카메라의 시야(FOV) 내 비디오 신호를 캡쳐하는 단계;
원격 위치로부터, 오디오, 텍스트, 또는 비디오 미디어 형태의 지시들(instructions)을 수신하는 단계;
상기 비디오 신호에 대한 상기 지시들을 등록하고, 사용자를 지시하기 위해 상기 사용자에게 증강 현실을 디스플레이하는 단계;
상기 비디오 카메라의 포인팅 방향이 상기 로컬 장면 내 마커에 대한 정렬(aligment) 조건을 만족하는지 결정하여, 상기 마커에 대해 사용자-정의 허용가능 FOV 내에 상기 비디오 카메라의 시야(FOV)가 위치하도록 하는 단계; 및
상기 정렬 조건을 만족하지 않는 경우, 상기 배제된 데이터의 캡쳐 및 전송을 방지하기 위해서 상기 비디오 신호 내 캡쳐로부터 상기 사용자-정의 허용가능 FOV 외부에 있는 상기 비디오 카메라의 시야(FOV)의 적어도 일부를 배제하도록 상기 비디오 카메라를 제어하는 단계
를 포함하는, 방법.
제9항에 있어서,
상기 비디오 카메라는 상기 배제된 데이터의 캡쳐를 방지하기 위해서 상기 사용자-정의 허용가능 FOV 내로부터의 형상(imagery) 만이 상기 비디오 카메라에 의해 캡쳐되도록 제어되는,
방법.
제10항에 있어서,
상기 비디오 카메라의 시야(FOV)가 상기 사용자-정의 허용가능 FOV 내에 유지되더라도 상기 정렬 조건이 만족되지 않는 버퍼 존(buffer zone)을 생성하도록 상기 비디오 카메라의 시야(FOV)를 감소시키는 단계
를 더 포함하는, 방법.
제10항에 있어서,
상기 정렬 조건을 만족시키기 위해 센서 FOV 내 상기 마커의 존재를 감지하도록 구성된 별도(separate) 센서를 더 포함하고, 상기 비디오 카메라의 시야(FOV)가 상기 사용자-정의 허용가능 FOV 내에 유지되더라도 상기 정렬 조건이 만족되지 않는 버퍼 존을 생성하도록 상기 센서 FOV를 감소시키는 단계
를 더 포함하는, 방법.
제9항에 있어서,
상기 마커는 별도 센서와 페어링되는,
방법.
제9항에 있어서,
상기 비디오 카메라의 포인팅 방향이 상기 정렬 조건을 위반하는 것에 가까워지는 경우 상기 사용자에게 경고 신호를 발행(issue)하는 단계
를 더 포함하는, 방법.
제9항에 있어서,
배제 존(exclusion zone)을 생성하기 위한 센서 FOV를 갖는, 상기 로컬 장면 내 추가(additional) 마커의 존재를 감지하도록 구성된 센서
를 더 포함하는, 방법.
제15항에 있어서,
상기 추가 마커의 감지는 상기 비디오 카메라를 디스에이블(disable) 시키는,
방법.
데이터 캡처 및 전송 컴플라이언스를 위한 비디오 신호로부터 배제된 데이터를 포함하는 로컬 장면의 부분들(portions)을 배제(exclude)하는 방법에 있어서,
상기 로컬 장면에서 비디오 카메라의 시야(FOV) 내 비디오 신호를 캡쳐하는 단계;
상기 비디오 카메라의 포인팅 방향이 상기 로컬 장면 내 마커에 대한 정렬(aligment) 조건을 만족하는지 결정하여, 상기 마커에 대해 사용자-정의(user-defined) 허용가능(allowable) FOV 내에 상기 비디오 카메라의 시야(FOV)가 위치하도록 하는 단계; 및
상기 정렬 조건을 만족하지 않는 경우, 상기 배제된 데이터의 캡쳐 및 전송을 방지하기 위해서 상기 비디오 신호 내 캡쳐로부터 상기 사용자-정의 허용가능 FOV 외부에 있는 상기 비디오 카메라의 시야(FOV)의 적어도 일부를 배제하도록 상기 비디오 카메라를 제어하는 단계
를 포함하는, 방법.
제17항에 있어서,
상기 비디오 카메라는 상기 배제된 데이터의 캡쳐를 방지하기 위해서 상기 사용자-정의 허용가능 FOV 내로부터의 형상(imagery) 만이 상기 비디오 카메라에 의해 캡쳐되도록 제어되는,
방법.
제18항에 있어서,
상기 비디오 카메라의 시야(FOV)가 상기 사용자-정의 허용가능 FOV 내에 유지되더라도 상기 정렬 조건이 만족되지 않는 버퍼 존(buffer zone)을 생성하도록 상기 비디오 카메라의 시야(FOV)를 감소시키는 단계
를 더 포함하는, 방법.
제18항에 있어서,
상기 정렬 조건을 만족시키기 위해 센서 FOV 내 상기 마커의 존재를 감지하도록 구성된 별도(separate) 센서를 더 포함하고, 상기 비디오 카메라의 시야(FOV)가 상기 사용자-정의 허용가능 FOV 내에 유지되더라도 상기 정렬 조건이 만족되지 않는 버퍼 존을 생성하도록 상기 센서 FOV를 감소시키는 단계
를 더 포함하는, 방법.
제17항에 있어서,
상기 마커는 별도 센서와 페어링되는,
방법.
제17항에 있어서,
상기 비디오 카메라의 포인팅 방향이 상기 정렬 조건을 위반하는 것에 가까워지는 경우 상기 사용자에게 경고 신호를 발행(issue)하는 단계
를 더 포함하는, 방법.
제17항에 있어서,
배제 존(exclusion zone)을 생성하기 위한 센서 FOV를 갖는, 상기 로컬 장면 내 추가(additional) 마커의 존재를 감지하도록 구성된 센서
를 더 포함하는, 방법.
제23항에 있어서,
상기 추가 마커의 감지는 상기 비디오 카메라를 디스에이블(disable) 시키는,
방법.