KR20220106217A - 3차원(3d) 모델링 - Google Patents

3차원(3d) 모델링 Download PDF

Info

Publication number
KR20220106217A
KR20220106217A KR1020227023396A KR20227023396A KR20220106217A KR 20220106217 A KR20220106217 A KR 20220106217A KR 1020227023396 A KR1020227023396 A KR 1020227023396A KR 20227023396 A KR20227023396 A KR 20227023396A KR 20220106217 A KR20220106217 A KR 20220106217A
Authority
KR
South Korea
Prior art keywords
roi
active scanning
uav
coordinate system
activating
Prior art date
Application number
KR1020227023396A
Other languages
English (en)
Inventor
쿠헤스타니 아미르호세인 타헤르
볼로디야 그란카로프
Original Assignee
텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레폰악티에볼라겟엘엠에릭슨(펍) filed Critical 텔레폰악티에볼라겟엘엠에릭슨(펍)
Publication of KR20220106217A publication Critical patent/KR20220106217A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

하나 이상의 관심 영역의 3D 모델링을 위한 방법(500). 상기 방법은 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 단계(s502)를 포함한다. 유리하게, 상기 방법은, 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 것에 응답하여, 관심 영역(ROI)의 능동 스캐닝을 시작하는 단계(s504)를 더 포함하며, 여기서 상기 ROI는 사람의 시선이 향하는 영역이다.

Description

3차원(3D) 모델링
하나 이상의 관심 영역의 3D 모델링과 관련된 실시예들이 개시된다.
많은 산업에 있어서, 공장, 셀 사이트, 전력망 등과 같은 물리적 엔티티(일명, "관심 영역(ROI; region of interest)")의 디지털 복제물을 생성하는 것이 점점 더 중요해지고 있다. 그와 같은 디지털 복제물을 "디지털 트윈(digital twin)"이라고 한다. 그와 같은 디지털 트윈의 기반은 정확한 규모의 물리적 엔티티의 3D 모델로 구성되며, 이를 통해 개체들 간의 치수와 거리, 및 그들의 공간 관계를 측정할 수 있다.
물리적 엔티티의 3D 모델을 생성하는 첫 번째 단계는 통상적으로 각기 다른 각도에서 엔티티를 수동적으로 및/또는 능동적으로 스캐닝하는 것을 포함하는 구조화된 데이터 획득 프로세스이다. 비접촉 능동 스캐닝 시스템은 통상적으로 일종의 전자기 방사선(예컨대, 레이저 광, 적외선 등)을 방출하는 방출기 및 스캐닝되는 엔티티에서 방출된 방사선의 반사를 검출하는 검출기를 포함한다. 대조적으로, 비접촉 수동 스캐닝 시스템은 자체적으로 어떠한 종류의 방사선도 방출하지 않지만, 대신 반사된 주변 방사선을 검출하는 데 의존한다. 이러한 타입의 대부분의 솔루션은 쉽게 사용할 수 있는 주변 방사선이기 때문에 가시광선을 검출한다. 적외선과 같은 다른 타입의 방사선도 사용될 수 있다. 수동 스캐닝 방법은 대부분의 경우 기존의 디지털 카메라(예컨대, RGB 카메라)만 필요하기 때문에 저렴할 수 있다.
3D 모델링의 두 번째 단계는 수집된 데이터에 SfM(Structure-from-Motion) 또는 SLAM(Simultaneous Localization and Mapping)을 전개하는 것이다. 이러한 프로세스에서, 시각(및 잠재적으로 추가의 감각 데이터)은 관심의 3D 엔티티를 나타내는 포인트 클라우드를 생성하는 데 사용된다.
특정 과제가 존재한다. 예를 들어, 능동 스캐닝을 사용하면, 일반적으로 수동 스캐닝을 사용하는 것보다 훨씬 더 높은 정확도(~1 mm 해상도)로 3D 모델이 생성되지만, 수동 스캐닝 시스템에 비해 능동 스캐닝 시스템은 더 비싸고 더 많은 에너지를 소비하는 장비가 필요하다. 관심의 엔티티가 원격 위치에 있고 능동 스캐닝 시스템이 배터리로 실행되는 경우 이는 크나큰 장애물이 될 수 있다. 적외선(IR) 기반 스테레오 카메라 또는 라이더는 몇 와트의 전력을 소비한다. 예를 들어, Intel RealSense IR 기반 카메라는 최대 3.5 와트를 소비할 수 있고 MicroVision Consumer Lidar는 최대 성능에서 최대 6 와트를 소비할 수 있다. 그와 같은 깊이 센서를 시스템의 다른 센서와 함께 계속 실행하면 전력 소비가 크게 증가한다.
본 개시는 데이터 획득 단계의 개선을 제공한다. 일 양태에서, 사람의 시선이 추적되어 더 높은 정확도로 스캐닝되어야 하는 ROI를 결정하는 데 사용된다. 이를 통해 장면의 관련 부분으로부터 더 많은 우수한 데이터를 집계할 수 있어, 3D 모델에서 ROI를 더 잘 표현할 수 있다. 이는 영역의 3D 모델을 생성하기 위한 보다 정확하고 에너지 효율적인 프로세스를 제공한다.
따라서, 일 양태에서, 하나 이상의 관심 영역의 3D 모델링을 위한 방법이 제공된다. 상기 방법은 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 단계를 포함한다. 유리하게, 상기 방법은, 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 것에 응답하여, ROI의 능동 스캐닝을 시작하는 단계를 더 포함하며, 여기서 상기 ROI는 사람의 시선이 향하는 영역이다. 일부의 실시예에서, 상기 방법은 사람의 시선이 더 이상 고정되어 있지 않음을 나타내는 정보를 획득하는 단계, 및 상기 사람의 시선이 더 이상 고정되어 있지 않음을 나타내는 정보를 획득한 결과에 따라, 상기 ROI의 능동 스캐닝의 중지를 시작하는 단계를 더 포함한다.
다른 양태에서, 하나 이상의 관심 영역의 3차원(3D) 모델링을 위한 장치가 제공된다. 상기 장치는 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하도록 구성된다. 상기 장치는 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 것에 응답하여 ROI의 능동 스캐닝을 시작하도록 더 구성된다. 상기 ROI는 사람의 시선이 향하는 영역이다.
다른 양태에서, 3차원(3D) 모델링을 위한 무인 항공기(UAV)가 제공된다. 상기 UAV는 모터; 상기 모터에 연결된 적어도 하나의 프로펠러; 처리 회로; 능동 스캐닝 시스템의 하나 이상의 구성 요소; 및 상기 능동 스캐닝 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하기 위한 활성화 메시지를 수신하기 위한 수신기를 포함한다. 상기 활성화 메시지는 제1 좌표계에서 ROI의 위치를 식별하는 정보를 포함한다. 상기 처리 회로는 상기 UAV의 포즈와 관련하여 사람의 머리의 포즈를 결정하고, 상기 제1 좌표계의 ROI의 위치를 제2 좌표계의 위치로 변환하고, 상기 능동 스캐닝 시스템의 센서를 상기 ROI 쪽으로 향하게 하며, 상기 센서를 활성화하여 상기 ROI 내의 개체로부터 반사된 전자기 방사선을 감지하도록 구성된다.
본 발명에 따르면, 3차원 모델링 방법 및 장치를 제공할 수 있다.
본 명세서에 포함되고 명세서의 일부를 형성하는 첨부 도면은 다양한 실시예를 예시한다.
도 1은 일 실시예에 따른 머리-장착 시스템(HMS)을 예시한다.
도 2는 수동 스캐닝 시나리오를 예시한다.
도 3은 능동 스캐닝 시나리오를 예시한다.
도 4는 UAV 및 HMS를 포함하는 스캐닝 시스템을 예시한다.
도 5는 일부 실시예에 따른 프로세스를 예시하는 흐름도이다.
도 6은 일 실시예에 따른 머리-장착 시스템(HMS)을 예시하는 블록도이다.
도 7은 일 실시예에 따른 UAV를 예시하는 블록도이다.
I. 머리-장착 시선 추적 장치
보는 과정은 고정과 시선 이동의 두 가지 주요 부분으로 구성된다. 고정은 한 지점에서의 시선의 유지이고 시선 이동은 눈의 움직임에 해당한다. 눈 시선 추적기는, 즉 시각적 장면의 관점에서 "사람이 어디에 초점을 맞추고 있는가"라는 질문에 대한 답을 제공한다. 즉, 눈의 움직임은 크게 1) 고정과 2) 단속(시선 이동)의 두 그룹으로 분류될 수 있다. 그러한 고정 단계에서, 눈은 움직임 중에 정지한다. 이러한 단계는 사용자의 집중과 관심에 해당한다. 단속(시선 이동)은 고정 중에 발생하는 빠른 눈의 움직임이다. 대부분의 최신 시선 추적 시스템은 근적외선(NIR) LED와 함께 하나 이상의 카메라를 사용한다. 가장 일반적으로 사용되는 방법은 카메라가 눈의 이미지를 캡처하는 동안 NIR LED가 눈을 비추어 눈의 각막 표면에 반짝임을 생성하는 동공 중심 각막 반사(PCCR)이다. 시선은 동공 중심과 반짝임 위치 사이의 상대적인 움직임으로 추정된다. 상기 고정 및 단속 단계는 추정된 시선의 연속성과 변화에 기초하여 계산된다.(참고 [1] 참조)
최근 웨어러블 시선 추적기(시선 추적 안경) 분야에서 상당한 진전이 있었다. 몇 가지의 예는 다음에서 찾을 수 있다: Tobii Pro Eye Tracking Glasses(www.tobiipro.com/product-listing/tobii-pro-glasses-2), Pupil Labs Glasses (pupil-labs.com), Argus Science ETMobile Eye Tracking Glasses( www.argusscience.com/ETMobile.html). 이들 중 가장 발전된 것이 Tobii 장치이다. 25fps에서 1080p 비디오를 레코드할 수 있으며 마이크, 자이로스코프 및 가속도계가 통합되어 있다. Tobii Pro Glasses 2 API는 안경으로부터 스트리밍된 라이브 데이터에 대한 액세스를 제공한다.
이러한 웨어러블 눈 시선 추적기는 사람 시선의 정확한 실시간 계산을 제공한다. 산업적인 시나리오에서는 기술자가 현장 임무에서 사용할 수 있다. 세 가지 시나리오(A, B, C)가 아래에 설명되어 있다.
II. 시나리오 A: 머리-장착 시스템(HMS)을 갖춘 사용자
이러한 시나리오에서, 영역을 스캐닝하는 사용자(101; 예컨대, 기술자)는 다음이 장착된 HMS(102)를 착용하고 있다: i) 능동 스캐닝(예컨대, LiDAR)을 위한 적어도 하나의 센서를 갖추고 전자기 방사선(예컨대, 광)을 방출하기 위한 적어도 하나의 방출기(예컨대, 레이저)를 갖춘 능동 스캐닝(AS) 시스템(104), ii) 수동 스캐닝(예컨대, RGB 카메라)을 위한 적어도 하나의 센서를 갖춘 수동 스캐닝(PS) 시스템(106), 및 iii) 시선 추적기 ET(108; 일명, 시선 추적 장비). 제조 프로세스에서, 수동 및 능동 스캐닝 센서는 서로에 대해 보정되고 이들 사이의 변환 매트릭스가 공지되어 있다. 즉, 능동 스캐닝 센서에 대한 좌표계의 모든 지점은 수동 스캐닝 센서에 대한 좌표계의 대응하는 지점을 갖는다.
사용자(101)가 주변을 걷거나 그의 머리를 움직일 때, PS 시스템(106)의 RGB 카메라는 항상 온되어 있는 데, 예를 들어 해당 환경에서 장치의 로컬화와 맵핑 및/또는 영역의 3D 모델을 구축하는 데 사용될 수 있는 SfM에 대한 데이터를 수집하는 데 사용된다. 이것은 사용자의 시선이 고정되지 않고, 따라서 PS 시스템(106)만이 활성화되는 동안 사용자(101)를 나타내는 도 2에 예시되어 있다.
사용자(101)의 주요 관심은 정확하게 모델링되어야 하는 장비(도 2에서 ROI로 나타낸) 주변에 있기 때문에, AS 시스템(104)은 ET(108)에 의해 검출된 ROI를 스캐닝하도록 활성화된다. 이것은 ET(108)가 사용자(101)의 시선이 고정된 것을 검출하는 것에 응답하여 AS 시스템(104)이 사용자가 응시하고 있는 ROI(예컨대, 개체)를 스캐닝하도록 AS 시스템(104)이 활성화되는 것을 보여주는 도 3에 예시되어 있다. 이를 통해 시각적 장면의 ROI 주변에 더 높은 해상도 및 더 정확한 3D 모델을 구축할 수 있지만, 사용자의 ROI 외부 영역은 덜 집중하게 된다.
이러한 시나리오는 다음의 알고리즘 단계들로 설명될 수 있다:
단계 1: 사용자는 HMS에서 활성화된 수동 스캐닝 센서만 있는 환경에 들어간다.
단계 2: 사용자의 고정이 검출되면 능동 스캐닝을 위해 센서를 턴 온시킨다.
단계 3: 사용자의 시선 이동이 검출되면 능동 스캐닝을 위한 센서를 턴 오프시킨다.
III. 시나리오 B: 환경을 스캐닝하는 드론 및 시선 추적기를 갖춘 사용자
도 4에 예시된 이러한 시나리오에서, 사용자(101)는 PS 시스템(106) 및 ET(108)가 장착된 HMS(402)를 착용하고 있지만, AS 시스템(104)은 착용하고 있지 않다. HMS(402)는 AS 시스템(104)을 갖고 있지 않은 데, 왜냐하면, 이러한 시나리오에서, 사용자(101)는 환경의 3D 모델을 스캐닝하고 업데이트하기 위해 AS 시스템(104)을 포함하는 무인 항공기 UAV(404; 일명 "드론"(404))을 장착하기 때문이다. 이러한 시나리오에서, AS 시스템(104)은 UAV(404)에 내장되며, AS 시스템(104)의 센서들은 UAV(404)의 PS 시스템(406; 예컨대, RGB 카메라)에 대해 보정된다. 또한, 그러한 환경의 이전 3D 모델을 ET(108) 및 UAV(404)에서 모두 사용할 수 있다. 즉, ET(108)와 UAV(404)는 모두 제공된 3D 모델에서 자신을 로컬화할 수 있다.
이러한 시나리오는 다음의 알고리즘 단계들로 설명될 수 있다:
단계 1: 사용자는 UAV(404)로 환경에 들어가고 UAV(404)에서는 수동 스캐닝 센서만이 활성화된다.
단계 2: 사용자(101)의 시선이 고정된 것을 검출한 결과에 따라, 다음의 단계들이 수행된다:
단계 2a: ET(108)의 카메라의 좌표계에서 ROI의 좌표를 검색한다. 이들 좌표는 XGL, YGL, ZGL로 표시된다. 이러한 정보는 ET(108)에 의해 제공된다.
단계 2b: SLAM 알고리즘 또는 유사한 기술들을 사용하여 3D 모델의 좌표계에서 안경의 포즈(PGL)를 생성한다. PGL은 3D 모델의 좌표계에서 안경의 좌표와 방향을 모두 포함하는 6차원 벡터이다. 즉,
Figure pct00001
)이며, 여기서 처음 세 숫자는 좌표계의 오프셋을 정의하고 마지막 세 숫자는 회전 각도를 정의한다.
단계 2c: PGL을 사용하여 XGL, YGL, ZGL로부터 3D 모델 좌표계(X3D, Y3D, Z3D)의 ROI의 좌표를 계산한다. 예를 들어, 안경으로부터 3D 모델 좌표계로의 기준 변경은 다음과 같이 수행될 수 있다:
Figure pct00002
단계 2d: HMS(402)로부터 UAV(404)로 활성화 메시지를 전송한다. 그러한 활성화 메시지는 3D 모델 좌표계(X3D, Y3D, Z3D)에서 ROI의 좌표를 포함할 수 있다.
단계 2e: SLAM 알고리즘(예컨대, 참고 [2] 또는 유사한 기술들)을 사용하여 3D 모델의 좌표계에서 UAV(404)의 포즈(PUAV)를 생성한다. PUAV는 3D 모델의 좌표계에서 안경의 좌표와 방향을 모두 포함한다.
단계 2f: (X3D, Y3D, Z3D) 및 PUAV를 사용하여 UAV(404)의 좌표계(XUAV, YUAV, ZUAV)에서 ROI의 좌표를 계산한다.
단계 2g: ROI의 좌표(즉, 위치)를 획득한 후, UAV(404)는 ROI에 근접하게 비행하고, ROI 쪽으로 향하고, 능동 스캐닝 센서(들)를 턴 온시킨다.
단계 3: 사용자의 시선 이동이 검출되면, 수동 스캐닝으로 다시 전환한다.
IV. 시나리오 C: 영역의 사전 3D 모델 없이 환경을 스캐닝하는 드론 및 시선 추적기를 갖춘 사용자(처음 현장 방문)
이러한 시나리오는 시나리오 B와 유사하지만, 사용자(101)는 미리-계산된 3D 모델 없이 영역에 들어간다(예컨대, 사용자(101)는 처음으로 영역에 들어간다). 이러한 시나리오에서는 다음의 단계들이 수행된다:
단계 1: 사용자는 UAV(404)로 영역에 들어가지만, UAV(404)에서는 수동 스캐닝 센서만이 활성화된다.
단계 2: ET(108)가 사용자의 시선이 고정된 것을 검출한 결과에 따라, 다음의 단계들이 수행된다:
단계 2a: HMS(102)는 ET(108)가 사용자(101)가 고정 상태에 있다고 결정했음을 나타내는 정보를 포함하는 메시지를 UAV(404)에 전송한다. 그 메시지에는 ET(108)의 좌표계(XGL, YGL, ZGL)에서 ROI의 좌표도 포함되어 있다.
단계 2b: UAV(404)는 그 자체와 관련하여 ET(108)의 포즈를 결정한다(UAV의 RGB 카메라 좌표계). HMS(102)에는 UAV(404)가 추적하는 마커가 장착되어 있으며, ET(108)의 카메라에 대한 마커의 상대적 포즈는 고정되고 공지되어 있다.
단계 2c: 시선 추적 안경 좌표계(XGL, YGL, ZGL)의 ROI의 좌표를 UAV의 RGB 카메라 좌표계(XUAV, YUAV, ZUAV)로 변환한다.
단계 2d: (XUAV, YUAV, ZUAV) 생성 시, UAV(404)는 ROI에 근접하게 비행하고, ROI 쪽으로 향하고, 능동 스캐닝 센서(들)를 턴 온시킨다.
단계 3: 사용자의 시선 이동이 검출되면, 수동 스캐닝으로 다시 전환한다.
도 5: 고정 기간의 사용자. ROI가 검출되고 ROI 포즈가 UAV로 전송된다. UAV는 그 자체 좌표계에서 변환을 계산한다. UAV는 ROI 쪽으로 향하고 능동 스캐닝 센서(들)를 턴 온시킨다. 시선 추적기와 UAV 간의 통신은 장치의 포즈만이 전송되기 때문에 매우 작은 대역폭이 필요하다. 따라서, Bluetooth 또는 Wi-Fi를 통해 통신 채널이 구현될 수 있다.
도 5는 일 실시예에 따른 하나 이상의 관심 영역의 3D 모델링을 위한 프로세스(500)를 예시하는 흐름도이다. 프로세스(500)는 단계 s502에서 시작될 수 있다. 단계 s502는 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 단계를 포함한다. 단계 s504는, 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 것에 응답하여, 관심 영역(ROI)의 능동 스캐닝을 시작하는 단계를 포함하며, 여기서 상기 ROI는 사람의 시선이 향하는 영역이다. 일부의 실시예에서, 사람은 시선 추적 장비(108)를 착용하고 있고, 사람의 시선이 고정되어 있음을 나타내는 정보는 상기 시선 추적 장비(108)로부터 획득된다. 일부의 실시예에서, 사람은 AS 시스템(예컨대, AS 시스템(104))의 하나 이상의 구성 요소를 추가로 착용하고 있고, 상기 능동 스캐닝을 시작하는 단계는 상기 AS 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하는 단계를 포함한다. 일부의 실시예에서, 상기 AS 시스템의 하나 이상의 구성 요소는 방출기(예컨대, 레이저 또는 전자기 방사선의 소스) 및/또는 센서를 포함하고, 상기 AS 시스템의 하나 이상의 구성 요소 중 하나를 활성화하는 단계는 i) 방출기가 ROI를 향해 전자기 방사선을 방출하도록 방출기를 활성화하고 그리고/또 ii) 상기 센서를 활성화하는 단계를 포함한다
일부의 실시예에서, UAV(예컨대, UAV(404))는 AS 시스템을 포함하고, 능동 스캐닝을 시작하는 단계는 상기 UAV의 AS 시스템을 활성화하는 단계를 포함한다. 일부의 실시예에서, 상기 UAV의 AS 시스템을 활성화하는 단계는 상기 UAV에 활성화 메시지를 전송하는 단계를 포함한다. 일부의 실시예에서, 상기 UAV의 AS 시스템을 활성화하는 단계는 제1 좌표계에서 ROI의 좌표를 획득하는 단계; 및 3차원(3D) 모델의 좌표계에서 ROI의 위치를 유도하는 단계를 포함하며, 여기서 상기 활성화 메시지는 3D 모델의 좌표계에서 ROI의 위치를 식별하는 정보를 포함한다. 일부의 실시예에서, 상기 UAV는, 상기 활성화 메시지를 수신하는 것에 응답하여, 상기 UAV가: 상기 ROI에 근접한 위치로 비행하고, 상기 AS 시스템의 센서를 ROI 쪽으로 향하게 하며, 상기 센서를 활성화하도록 구성된다.
일부의 실시예에서, 상기 UAV의 AS 시스템을 활성화하는 단계는 제1 좌표계(예컨대, 시선 추적 장비의 좌표계)에서 ROI의 위치를 결정하는 단계를 더 포함하며, 활성화 메시지는 상기 제1 좌표계에서 상기 ROI의 위치를 식별하는 정보를 포함하고, 상기 UAV는, 상기 제1 좌표계에서 상기 ROI의 위치를 식별하는 정보를 포함하는 활성화 메시지를 수신하는 것에 응답하여, 상기 UAV가: 상기 UAV의 포즈와 관련하여 사람의 머리의 포즈를 결정하고, 상기 제1 좌표계의 ROI의 위치를 제2 좌표계(예컨대, UAV의 RGB 카메라 좌표계)의 위치로 변환하고, 상기 AS 시스템의 센서를 상기 ROI 쪽으로 향하게 하며, 상기 센서를 활성화하여 상기 ROI 내의 개체로부터 반사된 전자기 방사선(예컨대, 광 빔, 적외선 빔)를 감지하도록 구성된다.
일부의 실시예에서, 상기 UAV는, 제1 좌표계에서 ROI의 위치를 식별하는 정보를 포함하는 활성화 메시지를 수신하는 것에 응답하여, 추가로 상기 UAV가: AS 시스템의 방출기(예컨대, 레이저)를 상기 ROI 쪽으로 향하게 하고, 상기 방출기를 활성화하여 상기 ROI를 향해 전자기 방사선을 방출하도록 더 구성된다.
일부의 실시예에서, 프로세스(500)는 사람의 시선이 더 이상 고정되어 있지 않다는 것을 나타내는 정보를 획득하는 단계, 및 사람의 시선이 더 이상 고정되어 있지 않다는 것을 나타내는 정보를 획득한 결과에 따라, ROI의 능동 스캐닝의 중지를 시작하는 단계를 더 포함한다. 예를 들어, UAV(404)가 HMS(102) 대신 AS 시스템(104)을 포함하는 실시예에서, 시선 추적 장비(108)가 사람의 시선이 더 이상 고정되어 있지 않음을 검출할 때, HMS(102)는 UAV(404)에게 AS 시스템(104)을 비활성화하도록 지시하는 비활성화 메시지를 UAV(404)에 전송하여 ROI의 능동 스캐닝을 중단한다.
도 6은 일부의 실시예에 따른 HMS(102, 402)의 블록도이다. 도 6에 나타낸 바와 같이, HMS(102)는 하나 이상의 프로세서 P(655; 예컨대, 하나 이상의 범용 마이크로프로세서 및/또는 애플리케이션 특정 집적 회로(ASIC)와 같은 하나 이상의 다른 프로세서, 필드-프로그램 가능 게이트 어레이 등)를 포함할 수 있는 처리 회로(PC; 602); 시선 추적에 사용하기 위한 카메라(698)를 포함하는 ET(108); 하나 이상의 안테나를 포함하는 안테나 배열(649)에 결합되고 HMS가 데이터를 전송하고 데이터를 수신(예컨대, 데이터를 무선으로 전송/수신)할 수 있게 하는 전송기 Tx(645) 및 수신기 Rx(647)를 포함하는 통신 회로(648); 및 하나 이상의 비휘발성 저장 장치 및/또는 하나 이상의 휘발성 저장 장치를 포함할 수 있는 로컬 저장 유닛(일명 "데이터 저장 시스템"; 608)을 포함한다. 본원에 기술된 바와 같이, 상기 HMS는 또한 카메라(696)를 포함하는 PS 시스템(106), 및 방출기(693) 및 센서(694)를 포함하는 AS 시스템(104)을 포함할 수 있다. PC(602)가 프로그램 가능 프로세서를 포함하는 실시예에서, 컴퓨터 프로그램 제품 CPP(641)가 제공될 수 있다. CPP(641)는 컴퓨터 판독 가능 명령 CRI(644)를 포함하는 컴퓨터 프로그램 CP(643)를 저장하는 컴퓨터 판독 가능 매체 CRM(642)을 포함한다. CRM(642)은 자기 매체(예컨대, 하드 디스크), 광학 매체, 메모리 장치(예컨대, 랜덤 액세스 메모리, 플래시 메모리) 등과 같은 비일시적 컴퓨터 판독 가능 매체일 수 있다. 일부의 실시예에서, 컴퓨터 프로그램(1043)의 CRI(644)는, PC(602)에 의해 실행될 때, CRI가 HMS로 하여금 본원에 기술된 단계들을 수행하게 하도록 구성된다. 다른 실시예에서, 상기 HMS는 코드 없이 본원에 설명된 단계들을 수행하도록 구성될 수 있다. 즉, 예를 들어, PC(602)는 단지 하나 이상의 ASIC로 구성될 수 있다. 따라서, 본원에 설명된 실시예들의 기능은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
도 7은 일부의 실시예에 따른 UAV(404)의 블록도이다. 도 7에 나타낸 바와 같이, UAV(404)는: 하나 이상의 프로세서 P(755; 예컨대, 하나 이상의 범용 마이크로프로세서 및/또는 애플리케이션 특정 집적 회로(ASIC)와 같은 하나 이상의 다른 프로세서, 필드-프로그램 가능 게이트 어레이 등)를 포함할 수 있는 처리 회로(PC); PS 시스템(106); AS 시스템(104); 하나 이상의 안테나를 포함하는 안테나 배열(749)에 연결되고 UAV(404)가 데이터를 전송하고 데이터를 수신(예컨대, 데이터를 무선으로 전송/수신)할 수 있게 하는 전송기 Tx(745) 및 수신기 Rx(747)를 포함하는 통신 회로(748); 하나 이상의 비휘발성 저장 장치 및/또는 하나 이상의 휘발성 저장 장치를 포함할 수 있는 로컬 저장 유닛(일명 "데이터 저장 시스템"; 708); 모터(790); 및 상기 모터에 결합되는 프로펠러(791)를 포함한다. PC(702)가 프로그램 가능 프로세서를 포함하는 실시예에서, 컴퓨터 프로그램 제품 CPP(741)가 제공될 수 있다. CPP(741)는 컴퓨터 판독 가능 명령 CRI(744)를 포함하는 컴퓨터 프로그램 CP(743)를 저장하는 컴퓨터 판독 가능 매체 CRM(742)을 포함한다. CRM(742)은 자기 매체(예컨대, 하드 디스크), 광학 매체, 메모리 장치(예컨대, 랜덤 액세스 메모리, 플래시 메모리) 등과 같은 비일시적 컴퓨터 판독 가능 매체일 수 있다. 일부의 실시예에서, 컴퓨터 프로그램(743)의 CRI(744)는, PC(702)에 의해 실행될 때, CRI가 UAV(404)로 하여금 본원에 기술된 단계들을 수행하게 하도록 구성된다. 다른 실시예에서, UAV(404)는 코드 필요 없이 본원에 설명된 단계들을 수행하도록 구성될 수 있다. 즉, 예를 들어, PC(702)는 단지 하나 이상의 ASIC로 구성될 수 있다. 따라서, 본원에 설명된 실시예들의 기능은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
위에서 설명한 바와 같이, 사용자(110)의 시선에 기초하여 AS 시스템(104)을 활성화함으로써, ROI의 3D 모델이 정확하고 더 에너지 효율적인 방식으로 생성될 수 있으며, 이는 차례로 배터리 구동 장치만을 사용하여 원격 사이트를 성공적으로 스캐닝할 수 있게 한다.
다양한 실시예들이 본원에 기술되어 있지만, 그것들은 단지 예로서 제시되었을 뿐, 제한적이지 않다는 것을 이해해야 한다. 따라서, 본 개시내용의 폭 및 범위는 위에서 설명된 예시의 실시예들에 의해 제한되어서는 안 된다. 더욱이, 그 모든 가능한 변형에서 전술한 요소들의 임의의 조합은 문맥에서 달리 나타내거나 달리 명백하게 모순되지 않는 한 본 개시내용에 포함된다.
또한, 위에서 설명하고 도면에 예시된 프로세스들이 일련의 단계들로 나타나 있지만 이는 단지 예시를 위해 수행된 것이다. 따라서, 일부의 단계가 추가될 수 있고, 일부의 단계가 생략될 수 있고, 그러한 단계들의 순서가 재배열될 수 있으며, 일부의 단계가 병렬로 수행될 수 있음이 고려된다.
참고
[1] A. Kar and P. Corcoran, "A Review and Analysis of Eye-Gaze Estimation Systems, Algorithms and Performance Evaluation Methods in Consumer Platforms," in IEEE Access, vol. 5, pp. 16495-16519, 2017. doi: 10.1109/ACCESS.2017.2735633.
[2] J. Gutmann and K. Konolige, "Incremental Mapping of Large Cyclic Environments," in Proc. IEEE Int. Symp. Comput. Intell. Robot. Automat., 1999.

Claims (21)

  1. 하나 이상의 관심 영역의 3차원(3D) 모델링을 위한 방법(500)으로서, 상기 방법은:
    사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 단계(s502); 및
    상기 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 것에 응답하여, 관심 영역(ROI)의 능동 스캐닝을 시작하는 단계(s504)를 포함하며,
    상기 ROI는 사람의 시선이 향하는 영역인, 3차원 모델링 방법.
  2. 제1항에 있어서,
    사람은 시선 추적 장비(108)를 착용하고 있으며,
    사람의 시선이 고정되어 있음을 나타내는 정보는 상기 시선 추적 장비(108)로부터 획득되는, 3차원 모델링 방법.
  3. 제2항에 있어서,
    사람이 능동 스캐닝 시스템(104)의 하나 이상의 구성 요소를 추가로 착용하고 있고,
    능동 스캐닝을 시작하는 단계는 능동 스캐닝 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하는 단계를 포함하는, 3차원 모델링 방법.
  4. 제3항에 있어서,
    능동 스캐닝 시스템의 하나 이상의 구성 요소는 방출기(693) 및 센서(694) 중 적어도 하나를 포함하고,
    상기 능동 스캐닝 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하는 단계는 i) 방출기가 ROI를 향해 전자기 방사선을 방출하도록 방출기(693)를 활성화하고 그리고/또 ii) 센서가 ROI로부터 반사된 방사선을 검출할 수 있도록 센서(694)를 활성화하는 단계를 포함하는, 3차원 모델링 방법.
  5. 제1항 또는 제2항에 있어서,
    무인 항공기 UAV(404)는 능동 스캐닝 시스템(104)을 포함하고,
    능동 스캐닝을 시작하는 단계는 UAV의 능동 스캐닝 시스템을 활성화하는 단계를 포함하는, 3차원 모델링 방법.
  6. 제5항에 있어서,
    UAV의 능동 스캐닝 시스템을 활성화하는 단계는 활성화 메시지를 UAV에 전송하는 단계를 포함하는, 3차원 모델링 방법.
  7. 제6항에 있어서,
    UAV의 능동 스캐닝 시스템을 활성화하는 단계는:
    제1 좌표계에서 ROI의 좌표를 획득하는 단계; 및
    3차원(3D) 모델의 좌표계에서 ROI의 위치를 유도하는 단계를 더 포함하며,
    활성화 메시지는 3D 모델의 좌표계에서 ROI의 위치를 식별하는 정보를 포함하는, 3차원 모델링 방법.
  8. 제6항 또는 제7항에 있어서,
    UAV(404)는, 활성화 메시지를 수신하는 것에 응답하여, 상기 UAV가: ROI에 근접한 위치로 비행하고, 능동 스캐닝 시스템의 센서(694)를 상기 ROI 쪽으로 향하게 하며, 상기 센서(694)를 활성화하도록 구성되는, 3차원 모델링 방법.
  9. 제6항에 있어서,
    UAV의 능동 스캐닝 시스템을 활성화하는 단계는 제1 좌표계에서 ROI의 위치를 결정하는 단계를 더 포함하고,
    활성화 메시지는 상기 제1 좌표계에서 ROI의 위치를 식별하는 정보를 포함하며,
    상기 UAV는, 상기 제1 좌표계에서 ROI의 위치를 식별하는 정보를 포함하는 활성화 메시지를 수신하는 것에 응답하여, 상기 UAV가:
    상기 UAV의 포즈와 관련하여 사람의 머리의 포즈를 결정하고,
    상기 제1 좌표계의 ROI의 위치를 제2 좌표계의 위치로 변환하고,
    상기 능동 스캐닝 시스템의 센서(694)를 상기 ROI 쪽으로 향하게 하며,
    상기 센서를 활성화하여 상기 ROI 내의 개체로부터 반사된 전자기 방사선을 감지하도록 구성되는, 3차원 모델링 방법.
  10. 제9항에 있어서,
    UAV는, 제1 좌표계에서 ROI의 위치를 식별하는 정보를 포함하는 활성화 메시지를 수신하는 것에 응답하여, 추가로 상기 UAV가:
    능동 스캐닝 시스템의 방출기(693)를 상기 ROI 쪽으로 향하게 하고,
    상기 방출기를 활성화하여 상기 ROI를 향해 전자기 방사선을 방출하도록 더 구성되는, 3차원 모델링 방법.
  11. 하나 이상의 관심 영역의 3차원(3D) 모델링을 위한 장치(102, 402, 404)로서, 상기 장치는:
    사람의 시선이 고정되어 있음을 나타내는 정보를 획득하고;
    상기 사람의 시선이 고정되어 있음을 나타내는 정보를 획득하는 것에 응답하여, 관심 영역(ROI)의 능동 스캐닝을 시작하도록 구성되며,
    상기 ROI는 사람의 시선이 향하는 영역인, 3차원 모델링 장치.
  12. 제11항에 있어서,
    상기 3차원 모델링 장치는 사람의 시선이 고정되어 있음을 나타내는 정보를 생성하기 위한 시선 추적 장비(108)를 포함하는 머리-장착 시스템(102)을 포함하는, 3차원 모델링 장치.
  13. 제12항에 있어서,
    상기 3차원 모델링 장치는 능동 스캐닝 시스템(104)의 하나 이상의 구성 요소를 더 포함하고,
    상기 3차원 모델링 장치는 상기 능동 스캐닝 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하는 것을 포함하는 프로세스를 수행함으로써 능동 스캐닝을 시작하도록 구성되는, 3차원 모델링 장치.
  14. 제13항에 있어서,
    능동 스캐닝 시스템의 하나 이상의 구성 요소는 방출기(693) 및 센서(694) 중 적어도 하나를 포함하고,
    상기 3차원 모델링 장치는 i) 방출기가 ROI를 향해 전자기 방사선을 방출하도록 방출기를 활성화하고 그리고/또 ii) 상기 센서를 활성화하는 것을 포함하는 프로세스를 수행함으로써 상기 능동 스캐닝 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하도록 구성되는, 3차원 모델링 장치.
  15. 제11항 또는 제12항에 있어서,
    상기 3차원 모델링 장치는 능동 스캐닝 시스템(104)의 하나 이상의 구성 요소를 포함하는 무인 항공기 UAV(404)에 제어 메시지를 전송하기 위한 전송기(645)를 더 포함하고,
    상기 3차원 모델링 장치는 상기 능동 스캐닝 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하기 위한 활성화 메시지를 상기 UAV(404)에 전송하는 것을 포함하는 프로세스를 수행함으로써 능동 스캐닝을 시작하도록 구성되는, 3차원 모델링 장치.
  16. 제15항에 있어서,
    상기 3차원 모델링 장치는:
    제1 좌표계에서 ROI의 좌표를 획득하고;
    3차원(3D) 모델의 좌표계에서 ROI의 위치를 유도하도록 더 구성되며,
    활성화 메시지는 3D 모델의 좌표계에서 ROI의 위치를 식별하는 정보를 포함하는, 3차원 모델링 장치.
  17. 제15항에 있어서,
    상기 3차원 모델링 장치는 제1 좌표계에서 ROI의 위치를 결정하도록 더 구성되고,
    활성화 메시지는 상기 제1 좌표계에서 ROI의 위치를 식별하는 정보를 포함하는, 3차원 모델링 장치.
  18. 3차원(3D) 모델링을 위한 무인 항공기 UAV(404)로서, 상기 UAV(404)는:
    모터(790);
    상기 모터에 연결된 적어도 하나의 프로펠러(791);
    처리 회로(702);
    능동 스캐닝 시스템(104)의 하나 이상의 구성 요소; 및
    상기 능동 스캐닝 시스템의 하나 이상의 구성 요소 중 적어도 하나를 활성화하기 위한 활성화 메시지를 수신하기 위한 수신기(747)를 포함하며,
    상기 활성화 메시지는 제1 좌표계에서 관심 영역(ROI)의 위치를 식별하는 정보를 포함하고,
    상기 처리 회로:
    상기 UAV의 포즈와 관련하여 사람의 머리의 포즈를 결정하고,
    상기 제1 좌표계의 ROI의 위치를 제2 좌표계의 위치로 변환하고,
    상기 능동 스캐닝 시스템(104)의 센서(694)를 ROI 쪽으로 향하게 하며,
    상기 센서(694)를 활성화하여 상기 ROI 내의 개체로부터 반사된 전자기 방사선을 감지하도록 구성되는, 무인 항공기 UAV.
  19. 제18항에 있어서,
    상기 UAV는, 제1 좌표계에서 ROI의 위치를 식별하는 정보를 포함하는 활성화 메시지를 수신하는 것에 응답하여, 추가로 상기 UAV가:
    능동 스캐닝 시스템의 방출기를 ROI 쪽으로 향하게 하고,
    상기 방출기를 활성화하여 상기 ROI를 향해 전자기 방사선을 방출하도록 더 구성되는, 무인 항공기 UAV.
  20. 처리 회로(602, 702)에 의해 실행될 때, 상기 처리 회로(602, 702)가 제1항 내지 제10항 중 어느 한 항의 방법을 수행하게 하는 명령(644, 744)를 포함하는 컴퓨터 프로그램(643, 743).
  21. 제20항의 컴퓨터 프로그램을 포함하는 캐리어로서, 상기 캐리어는 전자 신호, 광학 신호, 무선 신호, 및 컴퓨터 판독 가능 저장 매체(642, 742) 중 하나인, 캐리어.
KR1020227023396A 2020-01-31 2020-01-31 3차원(3d) 모델링 KR20220106217A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/052502 WO2021151513A1 (en) 2020-01-31 2020-01-31 Three-dimensional (3d) modeling

Publications (1)

Publication Number Publication Date
KR20220106217A true KR20220106217A (ko) 2022-07-28

Family

ID=69411460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227023396A KR20220106217A (ko) 2020-01-31 2020-01-31 3차원(3d) 모델링

Country Status (5)

Country Link
US (1) US20230085970A1 (ko)
EP (1) EP4097622A1 (ko)
KR (1) KR20220106217A (ko)
CN (1) CN115004186A (ko)
WO (1) WO2021151513A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116292538B (zh) * 2023-05-23 2023-08-08 山东捷瑞信息技术产业研究院有限公司 一种基于数字孪生的油缸绑定方法、系统、装置及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193658A1 (en) * 2014-01-09 2015-07-09 Quentin Simon Charles Miller Enhanced Photo And Video Taking Using Gaze Tracking
EP3475785A4 (en) * 2016-04-22 2020-05-13 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR PROCESSING IMAGE DATA BASED ON A USER'S INTEREST
US20180077345A1 (en) * 2016-09-12 2018-03-15 Canon Kabushiki Kaisha Predictive camera control system and method
US10382699B2 (en) * 2016-12-01 2019-08-13 Varjo Technologies Oy Imaging system and method of producing images for display apparatus
US10606260B2 (en) * 2017-09-27 2020-03-31 Intel IP Corporation Ocular navigation of unmanned aerial vehicle

Also Published As

Publication number Publication date
EP4097622A1 (en) 2022-12-07
US20230085970A1 (en) 2023-03-23
WO2021151513A1 (en) 2021-08-05
CN115004186A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
US10483768B2 (en) Systems and methods of object detection using one or more sensors in wireless power charging systems
US9432593B2 (en) Target object information acquisition method and electronic device
JP2024045273A (ja) 非制約環境において人間の視線及びジェスチャを検出するシステムと方法
US11320536B2 (en) Imaging device and monitoring device
KR102380335B1 (ko) 주사 레이저 평면성 검출
US10327633B2 (en) Computational array camera with dynamic illumination for eye tracking
US8214082B2 (en) Nursing system
US11514207B2 (en) Tracking safety conditions of an area
KR101506525B1 (ko) 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체
US10169880B2 (en) Information processing apparatus, information processing method, and program
WO2003092291A1 (fr) Dispositif de detection d'objet, serveur de detection d'objet et procede de detection d'objet
CA2809888A1 (en) System and method for tracking
EP3252714A1 (en) Camera selection in positional tracking
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
US20180185210A1 (en) Seat, motion control method thereof and motion control system thereof
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Grewal et al. Autonomous wheelchair navigation in unmapped indoor environments
US11093031B2 (en) Display apparatus for computer-mediated reality
JP7166446B2 (ja) ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体
KR20220106217A (ko) 3차원(3d) 모델링
JP2015232771A (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP7375806B2 (ja) 画像処理装置、及び画像処理方法
CN112183271A (zh) 一种图像处理的方法及装置
US11858143B1 (en) System for identifying a user with an autonomous mobile device
WO2019047841A1 (zh) 一种解决3d视觉设备之间相互干扰的方法及装置