KR20220108146A

KR20220108146A - 멀티-드론 카메라 제어 방법

Info

Publication number: KR20220108146A
Application number: KR1020227022812A
Authority: KR
Inventors: 알렉산더 베레스토브; 류 청-이; 천 젠페이
Original assignee: 소니그룹주식회사
Priority date: 2020-06-30
Filing date: 2021-06-25
Publication date: 2022-08-02
Also published as: EP4136026A4; US11256257B2; US20210405637A1; CN114556257A; EP4136026A1; JP2023531958A; WO2022005904A1

Abstract

타겟의 이미지들을 캡처하는 카메라에 대한 카메라 제어 방법은 적어도 4개의 단계들의 시퀀스를 포함한다. 제1 단계는 드론의 위치 및 드론 상의 카메라의 포즈를 실시간으로 결정한다. 제1 단계 이전 또는 이후에 발생할 수 있는 제2 단계는 기준 객체의 위치를 실시간으로 결정하고, 기준 객체의 위치는 타겟의 위치에 대해 고정된 관계를 갖는다. 제3 단계는 결정된 위치들을 이용하여, 타겟과 드론 사이의, 크기 및 방향을 특징으로 하는 거리를 계산한다. 제4 단계는 계산된 거리를 이용하여, 카메라에 의해 캡처된 이미지가 타겟을 포함하도록 카메라의 포즈를 제어한다. 카메라의 포즈를 제어하는 것은 캡처된 이미지의 어떠한 분석도 요구하지 않는다.

Description

멀티-드론 카메라 제어 방법

관련 출원들에 대한 상호 참조들

본 출원은, 2020년 6월 30일자로 출원되고 발명의 명칭이 "METHOD OF MULTI-DRONE CAMERA CONTROL"인 미국 가특허 출원 일련 번호 제16/917,671호(020699-117000US)의 이익을 주장하며, 그러한 가특허 출원은 모든 목적을 위해 본 출원에서 전체가 개시된 것처럼 본 명세서에 참조로 포함된다.

드론 시네마토그래피(cinematography)에서, 드론-운반 카메라(drone-carried camera)는 영화 감독의 요구에 따라 각각의 이미지에서 타겟을 캡처하기 위해 정확한 위치 및 배향을 가져야 한다. 드론이 정확하게 위치되고 배향되는 경우에도, 드론 상의 카메라의 배향―본 개시내용의 목적들을 위해 포즈(pose)라고 정의됨―이 부정확한 경우, 또는 카메라 파라미터들(예를 들어, 초점 길이 설정 등)이 부적절한 경우, 캡처된 이미지가 타겟을 놓치거나 또는 적어도 품질이 최적이 아닐 수 있다(예를 들어, 초점이 맞지 않는 경우). 멀티-드론 시스템에서의 다수의 카메라들의 제어는 특히 복잡한데, 그 이유는 타겟, 예를 들어, 배우, 및 드론들 둘 다가 이동하고 있을 수 있고, 각각의 카메라의 포즈가, 이동할 때는 말할 것도 없이, 정적일 때에도 대응하는 드론의 포즈에 의해 완전히 결정되지 않을 수 있기 때문이다. 문제에 대한 현재의 접근법들은 타겟/배우의 계획된 움직임들을 상세화하는 이전에 준비된 스크립트, 및 시간에 걸쳐 그 타겟을 추적하고 양호한 사진들을 찍는데 필요한 드론 궤적들, 카메라 포즈들, 및 카메라 설정들(이미지 캡처 파라미터들)을 철저히 따르는 것을 수반한다.

일부 경우들에서, 하나보다 많은 관심 타겟이 있을 수 있으며, 하나 이상의 드론의 서브세트들이 이들 타겟들 중 상이한 타겟들을 이미징하도록 지향된다. 이미징될 관심 타겟은 배우가 아니라, 그 위치가 배우의 위치에 따라 변하는 일부 객체 또는 장면일 수 있다는 점에 유의해야 한다. 하나의 이러한 예는 배우의 그림자이다. 일부 경우들에서, 타겟은 다수의 상이한 뷰들로부터 이미징될 정적 장면일 수 있다.

고품질 이미지 시퀀스들을 캡처하는데 필요한 공간적 및 시간적 조정으로 그러한 복잡하고 시간-소모적인 작업들을 실행하는 것은 극도로 어렵다. 현재의 시스템들은 3개의 중요한 인자들: 타겟과 드론들을 위치파악(locating)하는데 있어서의 정확성, 타겟 위치의 변화에 대한 빠르고 정확한 드론 움직임 응답, 및 카메라 포즈와 이미지 캡처 파라미터들의 적응적 제어의 조합을 달성하기에 부적절하다.

따라서, 높은 정밀도의 "타겟 움직임-드론 궤적-카메라 포즈" 스크립트에 의존하지 않지만, 드론-운반 카메라들에 적합한, 실시간 타겟 로컬라이제이션, 카메라 포즈 제어, 및 이미지 캡처 파라미터 제어에 초점을 맞춘 개선된 시스템들 및 방법들에 대한 필요성이 존재한다. 이상적으로, 드론 집단 제어(drone swarm control)에 대한 특정한 접근법으로 제한되지 않고, 계산 집약적인 시각적 데이터 분석에 의존하지 않는 일반적인 솔루션이 발견될 것이다. 시스템들 및 방법들은, 드론들 및 카메라들을 제어하는 인간 오퍼레이터가, 예를 들어, 기본 동작들에 필수적이라기보다는, 예상치 못한 발생들에 대해 미세한 튜닝을 제공하거나 창조적으로 응답하는데 있어서, 선택사항이 되도록 충분히 자동화되는 것이 바람직할 수 있다.

실시예들은 일반적으로 타겟의 이미지들을 캡처하기 위한 카메라 제어를 위한 방법들 및 시스템들에 관한 것이다. 일 실시예에서, 방법은 적어도 4개의 단계들의 시퀀스를 포함한다. 제1 단계에서, 드론의 위치 및 드론 상의 카메라의 포즈를 실시간으로 결정하기 위해 제1 기술이 이용된다. 제1 단계 이전 또는 이후에 발생할 수 있는 제2 단계에서, 타겟의 위치를 실시간으로 결정하기 위해 제2 기술이 이용된다. 제3 단계에서, 타겟과 드론 사이의, 크기 및 방향을 특징으로 하는 거리를 계산하기 위해 결정된 위치들이 이용된다. 제4 단계에서, 카메라에 의해 캡처된 이미지가 타겟을 포함하도록 카메라의 포즈를 제어하기 위해 계산된 거리가 이용된다. 카메라의 포즈를 제어하는 것은 캡처된 이미지의 어떠한 분석도 요구하지 않는다.

일 양태에서, 제4 단계는 카메라의 하나 이상의 이미지 캡처 파라미터를 제어하고, 계산된 거리에 기초하여 적어도 하나의 이미지 캡처 파라미터를 조정함으로써, 이미지 품질을 최적화하는 것을 더 포함하고, 제어된 이미지 캡처 파라미터들은 초점 길이, 조리개, 셔터 속도 및 줌 중 적어도 하나를 포함한다.

다른 양태에서, 시퀀스는 제4 단계 이후의 제5 단계를 추가로 포함한다. 제5 단계는 이동하는 타겟의 예상된 다음 위치에 가까운 위치로 드론을 이동시키는 것을 포함한다. 예상은 미리 정의된 모션 스크립트에 기초하거나 임의의 실시간 모션 예측 방법들, 예를 들어, 칼만 필터 또는 그 변형들에 의한 것일 수 있다. 시퀀스는 이동하는 타겟의 일련의 이미지들의 카메라에 의한 실시간 캡처를 가능하게 하기 위해 반복적으로 그리고 충분히 빠르게 수행된다.

다른 실시예에서, 방법은 적어도 4개의 단계들의 시퀀스를 포함한다. 제1 단계에서, 복수의 드론에서의 각각의 드론에 대해, 그 드론의 위치, 및 그 드론 상의 카메라의 포즈를 실시간으로 결정하기 위해 제1 기술이 이용된다. 제1 단계 이전 또는 이후에 발생할 수 있는 제2 단계에서, 타겟의 위치를 결정하기 위해 제2 기술이 이용된다. 제3 단계에서, 복수의 드론 각각에 대해, 타겟과 그 드론 사이의, 크기 및 방향을 특징으로 하는 거리를 계산하기 위해 결정된 위치들이 이용된다. 제4 단계에서, 복수의 드론 각각에 대해, 그 카메라에 의해 캡처된 이미지가 타겟을 포함하도록 대응하는 카메라의 포즈를 제어하기 위해 대응하는 계산된 거리가 이용된다. 각각의 카메라의 포즈의 제어는 대응하는 캡처된 이미지의 어떠한 분석도 요구하지 않는다.

다른 실시예에서, 시스템은 하나 이상의 프로세서; 및 하나 이상의 프로세서에 의한 실행을 위해 하나 이상의 비일시적 매체에 인코딩된 로직을 포함하고, 로직은, 실행될 때, 적어도 4개의 단계들의 시퀀스를 수행함으로써 타겟의 이미지들을 캡처하도록 동작가능하다. 제1 단계에서, 복수의 드론에서의 각각의 드론에 대해, 그 드론의 위치, 및 그 드론 상의 카메라의 포즈를 실시간으로 결정하기 위해 제1 기술이 이용된다. 제1 단계 이전 또는 이후에 발생할 수 있는 제2 단계에서, 타겟의 위치를 결정하기 위해 제2 기술이 이용된다. 제3 단계에서, 복수의 드론 각각에 대해, 타겟과 그 드론 사이의 크기 및 방향을 특징으로 하는 거리를 계산하기 위해 결정된 위치들이 이용된다. 제4 단계에서, 복수의 드론 각각에 대해, 그 카메라에 의해 캡처된 이미지가 타겟을 포함하도록 대응하는 카메라의 포즈를 제어하기 위해 대응하는 계산된 거리가 이용된다. 각각의 카메라의 포즈의 제어는 대응하는 캡처된 이미지의 어떠한 분석도 요구하지 않는다.

본 명세서에 개시된 특정 실시예들의 본질 및 이점들에 대한 추가의 이해는 본 명세서의 나머지 부분들 및 첨부된 도면들을 참조함으로써 실현될 수 있다.

도 1은 일 실시예에 따라 동작가능한 카메라를 갖는 드론을 도시한다.
도 2는 일부 실시예들에 따른 시스템을 도시한다.
도 3은 일부 실시예들에 따른 시스템을 도시한다.
도 4는 일부 실시예들에 따른 방법의 흐름도이다.
도 5는 일부 다른 실시예들에 따른 방법의 흐름도이다.

본 개시내용 전체에 걸쳐, "위치", "배향" 및 "포즈"라는 용어들은 3차원 특성들에 관한 것이며, 따라서, 예를 들어, 위치를 결정하는 것은 3D 위치를 결정하는 것을 의미한다는 것을 이해해야 한다. "위치"라는 용어는 위치 및 배향 또는 포즈를 포괄하여 이를 6차원 특성으로 만드는데 이용된다. "거리"라는 용어는 크기 및 방향을 갖는 벡터량이다.

이하에서 설명되고 도면들에 도시된 많은 실시예들은 카메라들을 포함하는 무인 항공기(unmanned aerial vehicle)(UAV)들의 이용을 가정하지만, "드론"이라는 단어는, 본 개시내용의 목적을 위해서, 원격 동작가능 카메라를 포함하는 임의의 모바일 디바이스를 포함하는 것으로서 정의된다. 이는, 예를 들어, 지상 기반일 수 있거나, 수중으로 이동할 수 있다.

도 1은 본 발명의 일부 실시예들에서 이용되는 드론(100)을 도시한다. 드론(100)은 3차원 짐벌 배열(104)에 의해 카메라(102)를 지지한다. 카메라(102)에 의해 캡처된 이미지들은, 송신기(110)를 이용하여, 수신기(106)에 비디오 피드로서 전송(파선 참조)될 수 있다. 송신기(110)는, 이하에서 더 상세히 설명되는 바와 같이, 드론 위치를 결정하고, 드론 움직임, 드론 포즈, 및 카메라 포즈를 제어하기 위해 요구되는 무선 데이터 통신을 처리하는 트랜시버(간략화를 위해 도면에서 별도로 식별되지 않음)의 일부로서 포함되거나 이로부터 분리될 수 있다. 비디오 피드의 실시간 모니터링은 선택사항으로서 관찰자(108)에 의해 수행될 수 있다. 간략화를 위해, 도면은 짐벌 및 카메라 제어 양쪽 모두를 위한 통합된 드론 제어기를 예시한다. 다른 가능성들은, 2개의 별개의 제어기들의 이용을 포함하고, 양쪽 모두는 드론 상에 있거나, 지상 제어 스테이션에 있거나, 하나는 지상에 있으면서 드론을 제어하고 다른 하나는 드론 상에 있으면서 카메라를 제어한다.

일부 실시예들에서, 드론(100)은 하나보다 많은 카메라를 운반할 수 있다. 일부 실시예들에서, 짐벌 배열(104)은, 원격 또는 로컬 (드론) 제어기로부터 수신된 명령들에 응답하여 추적가능한 교정된 방식으로 카메라 포즈를 조정하는 동일한 기본 목적을 제공하는 일부 다른 제어가능한 모션 디바이스로 대체될 수 있다. 드론(100)은, 간략화를 위해 도면에서 생략된 IMU를 포함한다.

도 2는 본 발명의 일부 실시예들에 따른 시스템(200)의 요소들을 개략적으로 도시한다. 이 경우 타겟은, 3D 전역 좌표계에서, 사람의 위치가 매우 정확하게 결정될 수 있게 하는 수신기 모듈(204)을 착용하거나 운반하는 사람(202)이다. 다른 실시예들에서, 타겟은 동물 또는 다른 관심 객체일 수 있다. 위치를 결정하기 위한 하나의 기술은, 여기서는 RTK 기지국(210)에 의해 표현되는 실시간 운동학적 포지셔닝(real-time kinematic positioning)(RTK)과 조합하여, 여기서는 위성(208)의 존재에 의해 표현되는 전역 내비게이션 위성 시스템(global navigation satellite system)(GNSS)에 의존한다. 이 기술은 초기화 RTK-GNSS로 지칭된다. 출력은 전역 좌표계에서, 예를 들어, 위도, 경도 및 고도로서 표현된다.

다른 실시예들에서, 고품질 무선 송신을 이용하는 RTK-GNSS 기술 대신에, LiDAR, 스테레오 카메라, RGBD, 또는 전역 좌표계에 대한 알려진 교정 및 공간 변환들을 갖는 멀티-뷰 삼각측량과 같은 다른 잘 알려진 접근법들이 타겟의 위치를 결정하는데 이용될 수 있다. 또 다른 실시예들에서, RTK-GNSS-IMU 기술이 이용될 수 있는데, 이는 모듈(204)이 가속도계들, 틸트 센서들, RGBD 카메라들, 스테레오 카메라들 등과 같은 감지 디바이스들을 포함하는 관성 측정 유닛(inertial measurement unit)(IMU)을 포함한다는 것을 의미한다. 이 옵션은 6D 위치(3D 배향뿐만 아니라 3D 위치)가 측정되도록 허용하며, 이점들이 아래에 설명될 것이다.

도 2로 돌아가면, 3개의 드론(206)이 사람(202)의 부근에 도시되어 있지만, 다른 경우에는 드론 집단으로서 알려진 것을 구성하는 더 많거나 더 적은 드론들이 있을 수 있다. 드론들(206)은, 예를 들어, 도 1에서 드론(100)으로서 도시된 것과 동일한 설계의 것일 수 있다. 집단에서의 각각의 드론(206)의 위치는 타겟 위치에 관하여 전술한 기술들 중 임의의 하나를 이용하여 매우 정확하게 결정될 수 있다. 또한, 드론 상의 카메라의 포즈가 결정되어야 하고, 이것은 전형적으로 각각의 드론 상의 IMU(도시되지 않음)를 이용하여 이루어진다. 따라서, 드론 위치 및 카메라 포즈 양쪽 모두를 측정하기 위한 한 가지 편리한 옵션은 전술한 바와 같은 RTK-GNSS-IMU 시스템을 이용하는 것이다.

타겟 및 드론들이 위치되는 순서는 중요하지 않다는 점에 유의해야 한다; 어느 하나가 다른 하나 이전에 위치될 수 있다. 일부 경우들에서, 예를 들어, 캡처된 이미지에서 사람의 얼굴이 보이거나, 타겟의 어떤 다른 뷰가 특정한 상대적 각도로부터 캡처되기를 원한다면, 타겟의 포즈뿐만 아니라 타겟의 위치를 결정하는 것이 유용할 수 있다.

타겟 및 드론들의 위치들이 정확하게 결정되면, 각각의 드론과 타겟 사이의 거리를 계산하는 것은 비교적 간단한 작업이다. 도 2의 파선은 3개의 드론(206) 중 하나에 대한 거리 D를 나타낸다. 도면의 평면에서 2D 라인으로서 도시되어 있지만, 물론 거리는 실제로는 크기뿐만 아니라 타겟 위치에 대해 이용되는 동일한 전역 좌표계에서 표현될 수 있는 방향을 갖는 벡터이다.

그 다음, 각각의 계산된 거리, 또는 더 구체적으로는 주어진 드론과 타겟 사이의 각각의 계산된 거리의 방향은 대응하는 드론의 카메라의 포즈를 제어하는데 이용되어, 그 카메라에 의해 캡처된 이미지는 반드시 타겟을 포함할 것이다. 다른 잘 알려진 접근법들과는 달리, 본 발명에서 카메라의 포즈를 제어하는 것은, 위치 및 포즈 측정 및 연관된 계산에 기초하여 이미지 캡처 이전에 결정되는, 캡처된 이미지의 어떠한 분석도 요구하지 않는다는 점에 유의해야 한다. 이것은 시간 및 계산 자원들에 관한 요구를 감소시키고, 인간의 개입을 요구하지 않고 자동으로 구현되어, 실시간 멀티-이미지 캡처를 허용할 수 있다.

그 카메라의 포즈가 그 대응하는 드론의 포즈에 의해 완전히 결정되도록 드론이 설계되는 경우에, 카메라 포즈를 제어하는 것은 드론 포즈를 제어하는 것과 동등하다. 다른 경우들에서, 카메라 포즈를 제어하는 것은 드론 포즈를 제어하는 초기 단계를 포함할 수 있다. 이하에서 더 상세히 설명되는 바와 같이, 제어 명령들이 생성, 송신, 및 구현되는 정확한 방법 및 장소는, 한 극단에서의 중앙집중형 지상-기반의 제어 및 다른 극단에서의 순수 드론-중심의 고르게-분포된 시스템과 함께, 주어진 애플리케이션의 특정한 제어 및 통신 토폴로지에 따라 달라질 것이다.

타겟 위치를 결정하는 것, 드론들의 위치들 및 카메라 포즈들을 결정하는 것, 거리들을 계산하는 것, 및 그에 따라 카메라 포즈들을 제어하는 것의 시퀀스는, 타겟의 일련의 이미지들이 각각의 드론 카메라에 의해 캡처될 수 있게 하기 위해 반복적으로 수행될 수 있다.

도 2에 도시된 실시예들 및 이하에서 논의되는 다른 실시예들의 설명은, 편의상, 용어 "타겟"이 이미징될 관심 타겟, 예를 들어, 사람, 및 그 타겟과 함께 위치한 기준 객체(reference object)―기준 객체는, 앞서 상세히 설명된 바와 같이, 그 위치가 정확하게 결정되는 것을 허용함― 둘 다에 대해 이용되는 경우를 다룬다. 예시된 경우에서, 기준 객체는 사람이 착용한 수신기 모듈(240)이다. 다른 경우들에서, 기준 객체는 타겟으로부터 일부 거리에 위치할 수 있지만, 전자의 위치는 후자의 위치를 결정한다. 예를 들어, 기준 객체는 사람이 착용한 모자(cap)에 부착된 모듈일 수 있지만, 이미징될 관심 타겟은 사람에 의해 지면 상에 드리워진 그림자의 일부일 수 있다. 또는 기준 객체는, 아마도 드론 집단의 서브세트에 의해, 이미징될 경치적 시점 부근의 정적 마커일 수 있다. 본 발명의 시스템들 및 방법들은 이들 모든 경우들에 적용될 수 있다는 것을 이해해야 한다.

일부 실시예들에서, 카메라 포즈를 제어하는 것 이상으로 타겟(또는 기준 객체, 둘이 함께 위치되지 않는 경우)과 각각의 드론 사이의 계산된 거리가 추가로 이용된다. 이미지 품질에 강하게 영향을 미치는 몇몇 조정가능한 카메라 파라미터들은 이미지에서의 주요 관심 객체와 카메라 사이의 거리의 크기에 직접적으로 또는 간접적으로 의존한다. 이러한 타입의 하나의 파라미터는 객체를 선명한 초점으로 유지하도록 조정될 수 있는 카메라의 초점 길이이다. 다른 것들은, 제한적인 것은 아니지만, 조리개, 셔터 속도, 카메라 줌, 프레임 레이트, ISO 값들, 화이트 밸런스, 및 노출(EV)을 포함한다.

예를 들어, 줌은 객체의 특징들을 원하는 배율에서 볼 수 있게 유지하도록 조정될 수 있다. 따라서, 이미지 품질은 타겟-드론 분리에 따라 최적화될 수 있다. 포즈 제어에 관하여 앞서 언급된 바와 같이, 계산된 거리에 관한 카메라 파라미터들의 조정에 기초하는 것은 이미지 분석에 대한 의존성을 피하고, 자동화의 속도, 편리성, 및 용이성의 관점에서 대응하는 이점들을 제공한다. 또한, 앞서 언급된 바와 같이, 제어 명령들이 생성, 송신, 및 구현되는 정확한 방법 및 장소는, 이하에서 더 상세히 설명되는 바와 같이, 한 극단에서의 중앙집중형 지상-기반의 제어 및 다른 극단에서의 순수 드론-중심의 고르게-분포된 시스템과 함께, 주어진 애플리케이션의 특정한 제어 및 통신 토폴로지에 따라 달라질 것이다.

위에서 언급된 바와 같이, 일부 실시예들은 타겟(또는 위에서 설명된 바와 같은 기준 객체)에 대한 RTK-GNSS-IMU 기술의 이용을 포함하며, 이는 3D 배향뿐만 아니라 3D 위치가 측정된다는 것을 의미한다. 이러한 경우들에서, 카메라 포즈를 제어하여, 캡처된 이미지들에서 타겟의 일부 대표적인 포인트를 유지할 뿐만 아니라, 예를 들어, 타겟이 비틀어지거나 기울어지는 등으로 될 때, 뷰 내에 유지할 타겟의 특정 측면(facet)을 선택함으로써, 더 정교한 추적 및 캡처를 행하는 것이 가능하다.

간략화를 위해, 상기의 논의는, 타겟이 정적이고, 드론들의 초기 포지셔닝이 양호한 이미지 캡처에 적절한 비교적 간단한 상황들에 초점을 맞추었다. 그러나, 많은 관심의 경우에, 타겟은 이동하고 있을 수 있어서, 시간 경과에 따른 일련의 이미지들을 바람직하게 하고, 타겟은, 드론들의 집단 중 적어도 하나의 드론이 타겟을 뷰 내에 유지하도록 그 카메라를 위해 이동될 필요가 있을 정도로 충분히 지면을 커버할 수 있다. 이 기능은 수 개의 "집단 제어" 전략들 중 하나를 이용하여 구현될 수 있다.

도 2의 실시예에서, 인간 오퍼레이터(214)가 개별 드론 상태 모니터링 및 피드백, 집단 형성 계획, 개별 드론 비행 명령들, 개별 짐벌 제어 및 개별 카메라 제어의 기능들을 감독 및/또는 제어하는, 지상 제어 스테이션(212)이 존재한다. 예시된 "별(star)" 토폴로지 이외의 집단 통신 토폴로지들이 다른 실시예들에서 이용될 수 있고, 여기서, 지상 제어는 분산 제어에 의해 대체되고, 위치 데이터가 드론들 사이에서 직접 교환되며, 집단의 형성은 하나의 "마스터" 드론 또는 일부 또는 모든 드론들의 조합에 의해 결정된다.

도 3은 하나의 "별" 실시예에서의 드론 위치 및 포즈 모니터링을 개략적으로 도시하며, 여기서, 각각의 드론(306)에 대한 위치 및 포즈를 결정하는 것은, 각각의 드론에서의 드론 제어기(도시되지 않음)와 복수의 드론에 의해 공유되는 지상 제어 스테이션(GCS)(312) 사이의 데이터 교환을 포함한다. 타겟(또는 기준 객체)(302), GNSS 위성(308), RTK 기지국(312), 및 선택사항적 인간 오퍼레이터(314)가 또한 도시되어 있다. 일부 경우들에서, 복수의 드론 중의 드론들 중 하나는, 복수의 드론 중의 각각의 다른 드론과 직접 또는 간접 통신하는 제어기를 갖는 마스터 드론이다.

이동하는 타겟을 추적하기 위해 드론 집단의 이동이 요구되는 경우들을 고려하면, 일부 실시예들에서, GCS는 타겟의 현재 위치를 이용하여 생성될 다음 집단 형성을 결정할 수 있다. 그 다음, 그 형성 하에서 각각의 드론의 위치를 계산하고, 개개의 이동 명령을 각각의 드론에 전송한다. 다른 실시예들에서, 드론들은 단순히 집단 형성 및 비행 궤적들의 미리 정의된 스크립트에 따라 이동할 수 있지만, 위치들 및 포즈들이 RTK-GNSS-IMU 기술 또는 전술한 대안들 중 하나를 이용하여 지속적으로 모니터링되고 추적될 수 있기 때문에, (종래 기술의 시스템들과는 달리) 스크립트를 따르는 드론들의 모션에서의 임의의 부정확성이 수용될 수 있다는 점에 유의해야 한다. 지상 제어, 하나 이상의 인간 오퍼레이터, 드론 제어기들의 서브세트에 의한 전체 집단에 대한 자기-결정 등 중에서의 하나 또는 조합을 수반하는 집단 제어 및 개개의 드론 이동의 상이한 방법들로 다양한 실시예들이 용이하게 구상될 수 있다.

카메라 포즈 및 이미지 캡처 파라미터들의 제어를 위한 유사한 다양한 시나리오들이 물론 존재할 것이다.

이들 "이동하는 타겟" 경우들에서, (타겟(기준 객체) 위치를 결정하는 것, 드론의 위치들 및 포즈들을 결정하는 것, 거리들을 계산하는 것, 그에 따라 카메라 포즈들을 제어하는 것, 및 이미지들을 캡처하는 것의) 동작들의 시퀀스는 드론을 다음 예상된 타겟 위치로 이동시키는 것을 포함하도록 확장되어야 하고, 확장된 시퀀스는 이동하는 관심 타겟을 추적하는 일련의 이미지들이 각각의 드론 카메라에 의해 캡처될 수 있게 하기 위해 원하는 만큼 많은 횟수로 반복된다. 물론, 이동하는 관심 타겟을 적절히 추적하는 실시간 비디오 스트림을 구성하기 위해 일련의 이미지들에 대해 다양한 동작들이 충분히 신속하게 수행되어야 한다.

도 4 및 도 5는 전술한 바와 같은 정적 및 이동하는 타겟들에 각각 관련된 실시예들에 따른 방법들의 단계들을 나타내는 흐름도들이다.

도 4는, 초기화 단계(402)에서 시작하며, 드론이 관심 타겟 부근에 위치해 있는 방법(400)을 도시한다. 단계(404)에서, RTK-GNSS 기술과 같은 제1 기술을 이용하여 타겟(또는 기준 객체)의 위치의 정확한 결정이 이루어진다. RTK-GNSS 시스템으로 달성가능한 전형적인 정확도는 10km의 범위에서 2cm이다. 단계(406)에서, RTK-GNSS-IMU 기술과 같은 제2 기술을 이용하여 드론 위치 및 카메라 포즈의 정확한 결정들이 이루어진다. 일부 실시예들에서, 단계들(404 및 406)의 순서는 반대일 수 있다. 단계(408)에서, 타겟(또는 기준 객체)과 드론 사이의 거리는 이전의 2개의 단계들에서 이루어진 위치 결정들로부터 계산된다. 단계(410)에서, 드론 상의 카메라의 포즈는 계산된 거리에 따라 (또는 더 정확하게는 계산된 거리의 방향에 따라) 조정되어, 그 포즈에서 캡처된 이미지가 관심 타겟을 포함하게 한다.

도 4는 단일 드론 및 단일 이미지 캡처에 대한 경우를 도시하지만, 방법(400)은, 각각이 그 자신의 시점으로부터 이미지를 캡처하는 카메라를 갖는 복수의 드론이 수반되는 다른 실시예들을 커버하도록 명확하게 수정될 수 있다.

도 5는 이동하는 타겟을 갖는 실시예들에 대한 방법(500)을 도시한다. 단계들(502 내지 510)은 방법(410)의 단계들(402 내지 410)과 동일하지만, 단계(512)에서, 드론은 타겟의 예상된 다음 위치로 이동되고, 방법은 단계(504)로 되돌아간다. 새로운 드론 위치 및 카메라 포즈, 및 타겟(또는 기준 객체)의 (예상된 것과는 다른) 실제 위치는 (단계들(504 및 506)에서) 이전과 같이 정확하게 측정되고, 새로운 거리는 (단계(508)에서) 계산되고, 이에 대응하여 조정된 카메라 포즈는 (단계(510)에서) 새로운 이미지 캡처를 위해 이용된다. 이러한 방식으로, 이동하는 타겟의 일련의 이미지들이 실시간으로 캡처되어, 관심 타겟의 실제 캡처된 이미지들에 대한 임의의 이미지 분석과는 독립적으로, 위치 측정들에 기초하여, 필요에 따라 드론을 이동시키고 그 카메라 포즈를 조정할 수 있다.

도 5는 단일 드론에 대한 경우를 도시하지만, 방법(500)은, 각각이 그 자신의 시점으로부터 일련의 이미지들을 캡처하는 카메라를 갖는 복수의 드론이 수반되는 다른 실시예들을 커버하도록 명확하게 수정될 수 있다.

본 설명은 그 특정한 실시예들에 관하여 설명되었지만, 이들 특정한 실시예들은 예시적일 뿐이고 제한적이지 않다. 일부 실시예들에서, 앞서 언급된 바와 같이, 이미징될 관심 타겟은 인간 또는 동물일 수 있다. 정적이거나 지상 또는 공중에서 이동하는 다른 살아있는 또는 무생물 객체들도 역시 본 발명의 실시예들에 의해 추적 및 이미징될 수 있다는 점에 유의해야 한다. 또한, 한 번의 이미지 캡처 세션 동안에도, 한 타겟의 이미지들을 캡처하는 드론 집단이 상이한 타겟의 사진들을 촬영하도록 재배치 및 지향되거나, 집단이 서브그룹들로 분할되는 것이 바람직할 수 있고, 각각의 서브그룹은 상이한 타겟에 초점을 맞춘다. 본 개시내용에서 전술한 기술들 및 옵션들은 이들 상황들을 처리하도록 용이하게 적응될 수 있다.

본 발명의 다른 유리한 특징들은 다수의 시점으로부터 동시에 캡처된 이미지들을 효율적으로 합성함으로써, 모바일 타겟의 효과적인 3D 모델 또는 포인트 클라우드를 구축하고, 이미지 캡처링 시간을 단축하고, 물리적으로 불가능한 시점들로부터 장면들을 생성하는 가능성들을 포함한다.

본 발명의 사상으로부터 벗어나지 않고 많은 다른 가능성들이 쉽게 예상될 수 있다.

C, C++, 자바, 어셈블리 언어 등을 포함하는 특정 실시예들의 루틴들을 구현하기 위해 임의의 적합한 프로그래밍 언어가 이용될 수 있다. 절차 또는 객체 지향과 같은 상이한 프로그래밍 기술들이 사용될 수 있다. 루틴들은 단일 처리 디바이스 또는 다수의 프로세서들 상에서 실행될 수 있다. 단계들, 동작들 또는 계산들이 특정 순서로 제시될 수 있지만, 이 순서는 상이한 특정 실시예들에서 변경될 수 있다. 일부 특정 실시예들에서, 본 명세서에서 순차적인 것으로 도시된 다수의 단계들이 동시에 수행될 수 있다.

특정 실시예들은 명령 실행 시스템, 장치, 시스템, 또는 디바이스에 의해 또는 그와 관련하여 이용하기 위한 컴퓨터 판독가능 저장 매체에서 구현될 수 있다. 특정 실시예들은 소프트웨어 또는 하드웨어의 또는 이 둘의 조합에서의 제어 로직의 형태로 구현될 수 있다. 제어 로직은, 하나 이상의 프로세서에 의해 실행될 때, 특정 실시예들에서 설명되는 것을 수행하도록 동작가능할 수 있다.

프로그래밍된 범용 디지털 컴퓨터를 이용함으로써, 주문형 집적 회로들, 프로그래밍가능 로직 디바이스들, 필드 프로그래밍가능 게이트 어레이들, 광학, 화학, 생물학, 양자 또는 나노엔지니어링된 시스템들, 컴포넌트들 및 메커니즘들을 이용함으로써 구현될 수 있는 특정 실시예들이 이용될 수 있다. 일반적으로, 특정 실시예들의 기능들은 본 기술분야에 알려진 바와 같은 임의의 수단에 의해 달성될 수 있다. 분산, 네트워킹된 시스템들, 컴포넌트들, 및/또는 회로들이 이용될 수 있다. 데이터의 통신, 또는 전송은 유선, 무선, 또는 임의의 다른 수단에 의해 이루어질 수 있다.

또한, 그림들/도면들에 도시된 요소들 중 하나 이상은 특정 응용에 따라 유용한 바와 같이, 더 분리되거나 통합된 방식으로 또한 구현될 수 있거나, 심지어 특정 경우들에서는 제거되거나 동작불가능한 것으로 렌더링될 수 있다는 것을 알 것이다. 또한, 컴퓨터가 전술한 방법들 중 임의의 것을 수행할 수 있게 하기 위해 머신 판독가능 매체에 저장될 수 있는 프로그램 또는 코드를 구현하는 것도 사상 및 범위 내에 있다.

"프로세서"는 데이터, 신호들 또는 다른 정보를 처리하는 임의의 적합한 하드웨어 및/또는 소프트웨어 시스템, 메커니즘 또는 컴포넌트를 포함한다. 프로세서는 범용 중앙 처리 유닛, 다수의 처리 유닛들, 기능을 달성하기 위한 전용 회로, 또는 다른 시스템들을 갖는 시스템을 포함할 수 있다. 처리는 지리적 위치로 제한될 필요가 없거나, 시간적 제한들을 갖는다. 예를 들어, 프로세서는 "실시간", "오프라인", "배치 모드" 등에서 그 기능들을 수행할 수 있다. 처리의 부분들은 상이한 시간들에서 그리고 상이한 위치들에서, 상이한 (또는 동일한) 처리 시스템들에 의해 수행될 수 있다. 처리 시스템들의 예들은 서버들, 클라이언트들, 최종 사용자 디바이스들, 라우터들, 스위치들, 네트워킹된 스토리지 등을 포함할 수 있다. 컴퓨터는 메모리와 통신하는 임의의 프로세서일 수 있다. 메모리는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 자기 또는 광학 디스크, 또는 프로세서에 의한 실행을 위한 명령어들을 저장하기에 적합한 다른 비일시적 매체와 같은 임의의 적합한 프로세서 판독가능 저장 매체일 수 있다.

본 명세서에서의 설명에서 그리고 이하의 청구항들 전체에 걸쳐 이용되는 바와 같이, 단수 표현("a", "an", 및 "the")은, 문맥이 명확하게 달리 표시하지 않는 한, 복수의 참조를 포함한다. 또한, 본 명세서에서의 설명 및 이하의 청구항들 전체에 걸쳐 이용되는 바와 같이, "~에서"의 의미는, 문맥이 명확히 달리 표시하지 않는 한, "~에서" 및 "~상에"를 포함한다.

따라서, 특정 실시예들이 본 명세서에 설명되었지만, 수정, 다양한 변경들 및 대체들의 허용범위가 전술한 개시내용들에서 의도되며, 일부 예들에서는 특정 실시예들의 일부 특징들이 설명된 바와 같은 범위 및 사상으로부터 벗어나지 않고 다른 특징들의 대응하는 이용 없이 사용될 것이라는 점이 이해될 것이다. 따라서, 특정 상황 또는 재료를 본질적인 범위 및 사상에 적응시키기 위해 많은 수정들이 이루어질 수 있다.

Claims

타겟의 이미지들을 캡처하는 카메라에 대한 카메라 제어 방법으로서,
적어도 4개의 단계들의 시퀀스를 포함하고, 상기 시퀀스는,
제1 단계에서, 제1 기술을 이용하여, 드론의 위치 및 상기 드론 상의 카메라의 포즈를 실시간으로 결정하는 것;
상기 제1 단계 이전 또는 이후에 발생할 수 있는 제2 단계에서, 제2 기술을 이용하여, 기준 객체의 위치를 실시간으로 결정하는 것―상기 기준 객체의 상기 위치는 상기 타겟의 위치에 대해 고정된 관계를 가짐―;
제3 단계에서, 상기 결정된 위치들을 이용하여, 상기 기준 객체와 상기 드론 사이의, 크기 및 방향을 특징으로 하는 거리를 계산하는 것; 및
제4 단계에서, 상기 계산된 거리를 이용하여, 상기 카메라에 의해 캡처된 이미지가 상기 타겟을 포함하도록 상기 카메라의 상기 포즈를 제어하는 것을 포함하고;
상기 카메라의 상기 포즈를 제어하는 것은 상기 캡처된 이미지의 어떠한 분석도 요구하지 않는,
방법.
제1항에 있어서,
상기 제4 단계는 상기 카메라의 하나 이상의 이미지 캡처 파라미터를 제어하고, 상기 계산된 거리에 기초하여 적어도 하나의 이미지 캡처 파라미터를 조정함으로써, 이미지 품질을 최적화하는 것을 더 포함하고, 상기 제어된 이미지 캡처 파라미터들은 초점 길이, 조리개, 셔터 속도 및 줌 중 적어도 하나를 포함하는, 방법.
제1항에 있어서,
상기 시퀀스는 상기 제4 단계 이후의 제5 단계를 추가로 포함하고, 상기 제5 단계는 상기 타겟의 예상된 다음 위치에 가까운 위치로 상기 드론을 이동시키는 것을 포함하고;
상기 시퀀스는 이동하는 상기 타겟을 추적하는 일련의 이미지들의 상기 카메라에 의한 실시간 캡처를 가능하게 하기 위해 반복적으로 그리고 충분히 빠르게 수행되는, 방법.
제1항에 있어서,
상기 제1 기술은 RTK-GNSS-IMU 기술이고;
상기 제2 기술은 RTK-GNSS-IMU 기술, LiDAR, 스테레오 카메라의 이용, RGBD 카메라의 이용, 및 멀티-뷰 삼각측량 중 하나를 포함하는, 방법.
제1항에 있어서,
상기 드론의 상기 위치 및 포즈를 결정하는 것은 상기 드론에서의 드론 제어기와 지상 제어 스테이션 사이의 데이터 교환을 포함하는, 방법.
제1항에 있어서,
상기 카메라의 상기 포즈를 제어하는 것은 상기 드론에서의 통합 드론 제어기, 상기 드론에서의 전용 카메라 제어기, 및 외부 카메라 제어 스테이션 중 하나에 의해 제어되는 3D 짐벌을 이용하는 것을 포함하는, 방법.
타겟의 이미지들을 캡처하는 복수의 카메라에 대한 카메라 제어 방법으로서,
적어도 4개의 단계들의 시퀀스를 포함하고, 상기 시퀀스는,
제1 단계에서, 제1 기술을 이용하여, 복수의 드론에서의 각각의 드론에 대해, 그 드론의 위치 및 그 드론 상의 카메라의 포즈를 실시간으로 결정하는 것;
상기 제1 단계 이전 또는 이후에 발생할 수 있는 제2 단계에서, 제2 기술을 이용하여, 기준 객체의 위치를 결정하는 것―상기 기준 객체의 상기 위치는 상기 타겟의 위치에 대해 고정된 관계를 가짐―;
제3 단계에서, 상기 복수의 드론 각각에 대해, 상기 결정된 위치들을 이용하여, 상기 기준 객체와 그 드론 사이의, 크기 및 방향을 특징으로 하는 거리를 계산하는 것; 및
제4 단계에서, 상기 복수의 드론 각각에 대해, 대응하는 계산된 거리를 이용하여, 그 카메라에 의해 캡처된 이미지가 상기 타겟을 포함하도록 대응하는 카메라의 상기 포즈를 제어하는 것을 포함하고;
각각의 카메라의 상기 포즈의 제어는 대응하는 캡처된 이미지의 어떠한 분석도 요구하지 않는,
방법.
제7항에 있어서,
상기 제4 단계는 상기 카메라의 하나 이상의 이미지 캡처 파라미터를 제어하고, 상기 계산된 거리에 기초하여 적어도 하나의 이미지 캡처 파라미터를 조정함으로써, 이미지 품질을 최적화하는 것을 더 포함하고, 상기 제어된 이미지 캡처 파라미터들은 초점 길이, 조리개, 셔터 속도 및 줌 중 적어도 하나를 포함하는, 방법.
제7항에 있어서,
상기 시퀀스는 상기 제4 단계 이후의 제5 단계를 포함하고, 상기 제5 단계는, 상기 복수의 드론 중의 각각의 드론에 대해, 상기 타겟의 예상된 다음 위치에 가까운 위치로 상기 드론을 이동시키는 것을 포함하고;
상기 시퀀스는 이동하는 상기 타겟을 추적하는 일련의 이미지들의 상기 카메라에 의한 실시간 캡처를 가능하게 하기 위해 반복적으로 그리고 충분히 빠르게 수행되는, 방법.
제9항에 있어서,
상기 제1 기술은 RTK-GNSS-IMU 기술이고, 상기 제2 기술은 RTK-GNSS-IMU 기술, LiDAR, 스테레오 카메라, RGBD 카메라, 및 멀티-뷰 삼각측량 중 하나인, 방법.
제7항에 있어서,
각각의 드론의 상기 위치 및 포즈를 결정하는 것은 각각의 드론에서의 드론 제어기와 상기 복수의 드론에 의해 공유되는 지상 제어 스테이션 사이의 데이터 교환을 포함하는, 방법.
제7항에 있어서,
상기 복수의 드론 중의 상기 드론들 중 하나는, 상기 복수의 드론 중의 각각의 다른 드론과 직접 또는 간접 통신하는 제어기를 갖는 마스터 드론이고;
각각의 드론의 상기 위치 및 포즈를 결정하는 것은, 상기 마스터 드론에서의 상기 제어기와 지상 제어 스테이션(GCS) 사이의 데이터 교환을 포함하고, 상기 마스터 드론을 제외한 상기 복수의 드론 중의 임의의 다른 드론과 상기 GCS 사이에 통신이 발생하지 않는, 방법.
제9항에 있어서,
상기 이동하는 타겟의 예상된 다음 위치에 가까운 위치로 각각의 드론을 이동시키는 것은 상기 타겟에 대한 임의의 미리 결정된 모션 계획에 기초하여 상기 예상된 다음 위치를 계산하는 것에 의존하지 않는, 방법.
제9항에 있어서,
상기 이동하는 타겟의 예상된 다음 위치에 가까운 위치로 각각의 드론을 이동시키는 것은 인간 오퍼레이터에 의한 감독 하에서 부분적으로 수행되는, 방법.
제7항에 있어서,
상기 복수의 드론은 시간에 따라 변하는 패턴에 따라 공간 내에 분포되고, 상기 패턴의 변경들은, 각각의 드론과 직접 통신하는 지상 제어 스테이션, 및 상기 복수의 드론 중의 드론들 중 상이한 드론들 상의 제어기들 사이의 통신을 포함하는 분산형 제어 시스템 중 적어도 하나의 제어 하에서 발생하는, 방법.
제7항에 있어서,
각각의 카메라의 상기 포즈를 제어하는 것은, 대응하는 드론에서의 통합 드론 제어기, 상기 대응하는 드론에서의 전용 카메라 제어기, 및 상기 복수의 드론 중의 모든 드론들에 의해 공유되는 카메라 제어 스테이션 중 하나에 의해 제어되는 3D 짐벌을 이용하는 것을 포함하는, 방법.
타겟의 이미지들을 캡처하는 복수의 카메라에 대한 카메라 제어 시스템으로서,
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의한 실행을 위해 하나 이상의 비일시적 매체에 인코딩되고, 실행될 때, 적어도 4개의 단계들의 시퀀스를 수행함으로써 타겟의 이미지들을 캡처하도록 동작가능한 로직을 포함하고, 상기 시퀀스는,
제1 단계에서, 제1 기술을 이용하여, 복수의 드론에서의 각각의 드론에 대해, 그 드론의 위치 및 그 드론 상의 카메라의 포즈를 실시간으로 결정하는 것;
상기 제1 단계 이전 또는 이후에 발생할 수 있는 제2 단계에서, 제2 기술을 이용하여, 기준 객체의 위치를 결정하는 것―상기 기준 객체의 상기 위치는 상기 타겟의 위치에 대해 고정된 관계를 가짐―;
제3 단계에서, 상기 복수의 드론 각각에 대해, 상기 결정된 위치들을 이용하여, 상기 타겟과 그 드론 사이의, 크기 및 방향을 특징으로 하는 거리를 계산하는 것; 및
제4 단계에서, 상기 복수의 드론 각각에 대해, 대응하는 계산된 거리를 이용하여, 그 카메라에 의해 캡처된 이미지가 상기 타겟을 포함하도록 대응하는 카메라의 상기 포즈를 제어하는 것을 포함하고;
각각의 카메라의 상기 포즈의 제어는 대응하는 캡처된 이미지의 어떠한 분석도 요구하지 않는,
시스템.
제17항에 있어서,
상기 제4 단계는 상기 카메라의 하나 이상의 이미지 캡처 파라미터를 제어하고, 상기 계산된 거리에 기초하여 적어도 하나의 이미지 캡처 파라미터를 조정함으로써, 이미지 품질을 최적화하는 것을 더 포함하고, 상기 제어된 이미지 캡처 파라미터들은 초점 길이, 조리개, 셔터 속도 및 줌 중 적어도 하나를 포함하는, 시스템.
제17항에 있어서,
상기 시퀀스는 상기 제4 단계 이후의 제5 단계를 추가로 포함하고, 상기 제5 단계는, 상기 복수의 드론 중의 각각의 드론에 대해, 이동하는 타겟의 예상된 다음 위치에 가까운 위치로 상기 드론을 이동시키는 것을 포함하고;
상기 시퀀스는 이동하는 상기 타겟을 추적하는 일련의 이미지들의 상기 카메라에 의한 실시간 캡처를 가능하게 하기 위해 반복적으로 그리고 충분히 빠르게 수행되는, 시스템.
제17항에 있어서,
상기 제1 기술은 RTK-GNSS-IMU 기술이고, 상기 제2 기술은 RTK-GNSS-IMU 기술, LiDAR, 스테레오 카메라, RGBD 카메라, 및 멀티-뷰 삼각측량 중 하나인, 시스템.