KR20190055130A - 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 - Google Patents
이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20190055130A KR20190055130A KR1020197010057A KR20197010057A KR20190055130A KR 20190055130 A KR20190055130 A KR 20190055130A KR 1020197010057 A KR1020197010057 A KR 1020197010057A KR 20197010057 A KR20197010057 A KR 20197010057A KR 20190055130 A KR20190055130 A KR 20190055130A
- Authority
- KR
- South Korea
- Prior art keywords
- imaging device
- target
- zoom
- display
- zoom level
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 544
- 238000000034 method Methods 0.000 title claims abstract description 144
- 230000006854 communication Effects 0.000 claims description 99
- 238000004891 communication Methods 0.000 claims description 99
- 230000003287 optical effect Effects 0.000 claims description 47
- 230000009471 action Effects 0.000 claims description 28
- 230000033001 locomotion Effects 0.000 description 87
- 230000036544 posture Effects 0.000 description 47
- 230000008569 process Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 24
- 230000007246 mechanism Effects 0.000 description 23
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 16
- 230000008859 change Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 9
- 239000000969 carrier Substances 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000010079 rubber tapping Methods 0.000 description 6
- 241000712469 Fowl plague virus Species 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 239000003570 air Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282465 Canis Species 0.000 description 1
- 241000283073 Equus caballus Species 0.000 description 1
- 241000282324 Felis Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B64C2201/127—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Studio Devices (AREA)
- Aviation & Aerospace Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 이미지 캡처 제어와 관련된 시스템, 방법 및 장치를 제공한다. 예를 들어, 디스플레이 및 하나 이상의 프로세서를 포함하는 제어 기기가 제공되며, 상기 디스플레이는 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주도록 구성되고; 상기 프로세서는, (1) 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하고, (2) 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 이미징 기기의 줌 레벨 및 (b) 상기 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위해, 데이터를 생성하도록 구성된다.
Description
본 발명은 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법에 관한 것이다.
무인 항공기(unmanned aerial vehicle, UAV)와 같은 항공기는 항공 사진, 감시, 정찰 및 탐사 작업을 수행하는 데 사용될 수 있다. 그러한 항공기는 주변 환경의 이미지를 캡처하기 위한 이미징 기기를 가지고 있을 수 있다. 이미징 기기는, 항공기에 대해 하나 이상의 축을 중심으로 이미징 기기가 회전할 수 있게 해주는 캐리어의 도움으로 항공기에 지지될 수 있다.
종래의 UAV의 경우, 캐리어의 움직임의 제어 및 이미징 기기의 줌 기능의 제어가 별개의 독립적인 제어로서 제공된다. 이는 사용자가 이미징 기기의 자세 및 줌을 조정하기 위해 두 개의 개별 입력을 제공할 것을 요구한다.
이미징 기기에 의해 캡처된 이미지를 제어하기 위한 개선된 기기, 시스템 또는 방법에 대한 필요성이 존재한다. UAV가 가지고 있는 이미징 기기의 줌 기능(zoom function) 및 방위(orientation)를 제어함으로써 이미지를 제어할 수 있는 다른 필요성이 또한 존재한다. 제어 기기는, 사용자가 단순화된 사용자 조작으로 UAV로부터 원격으로 표시된 이미지에서 원하는 배율 및 위치에 타깃을 시각화할 수 있게 해주도록 구성될 수 있다.
UAV가 가지고 있는 이미징 기기에 의해 캡처된 이미지를 제어하기 위한 시스템 및 방법이 제공된다. 디스플레이상에 이미지를 보여주기 위한 기기들이 제공될 수 있으며. 여기서 이미지는 UAV가 가지고 있는 이미징 기기에 의해 캡처된다. UAV, 이미징 기기 및/또는 이미징 기기를 지지하는 캐리어는 이미지 내의 관심 대상을 나타내는 사용자 입력에 관한 정보를 수신하도록 구성될 수 있다. 사용자 입력은 디스플레이상에 보이는 관심 대상 위에 가볍게 톡특 두드리는 탭(tap)과 같은 단일의 사용자 행위일 수 있다. 정보에 응답하여, UAV의 방위 및/또는 위치, 캐리어 및 이미징 기기의 하나 이상의 파라미터(예: 주밍(zooming)는 조정될 수 있어, 이미지 또는 뷰에 대한 원하는 배율 및 위치에서 사용자에게 표시되도록 조정될 수 있다.
본 발명의 일 측면에 따르면, 제어 기기가 제공된다. 상기 제어 기기는 디스플레이 및 하나 이상의 프로세서를 포함하며, 상기 디스플레이는 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주도록 구성되고; 상기 프로세서는, (1) 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하고, (2) 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 이미징 기기의 줌 레벨 및 (b) 상기 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위해, 데이터를 생성하도록 구성된다.
어떤 실시예에서, 상기 제어 기기에 사용된 상기 디스플레이는 터치스크린이다. 상기 사용자 입력은 상기 디스플레이의 영역의 터치이다. 어떤 경우에, 상기 디스플레이의 영역은 상기 타깃을 표시한다. 어떤 실시예에서, 상기 타깃을 나타내는 사용자 입력은 단일 사용자 행위에 의해 제공된다. 어떤 실시예에서, 상기 사용자 입력에 관한 정보는 상기 타깃이 보이는 상기 디스플레이 내의 장소(location)를 포함한다. 어떤 실시예에서, 상기 디스플레이는 추가로 상기 이미징 기기의 줌 레벨을 제어하기 위한 하나 이상의 줌 제어를 보여준다.
어떤 경우에, 상기 하나 이상의 줌 제어는, (i) 상기 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어 및 (ii) 상기 이미징 기기의 줌 레벨을 감소시키도록 구성된 줌 아웃 제어를 포함한다. 어떤 경우에, 상기 하나 이상의 줌 제어는 상기 이미징 기기의 줌 레벨을 미리 설정된 줌 레벨로 설정하기 위한 디폴트 줌 제어(default zoom control)를 포함한다. 상기 미리 설정된 레벨은 사용자에 의해 구성 가능하다.
어떤 실시예에서, 상기 제어 기기에 사용된 상기 디스플레이는 추가로, 사용자가 상기 이미지 내에 보이는 타깃의 크기를 자동 조정하기 위한 미리 정해진 계수(factor)를 선택하는 메뉴를 보여준다.
어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나에 대해 상기 (a)와 (b)의 자동 제어를 실시하기 위한 명령을 포함한다. 어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체에 송신될, 상기 타깃을 보여주는 상기 디스플레이 내의 좌표를 포함한다. 어떤 경우에, 상기 좌표는 상기 캐리어 및/또는 상기 이동 가능한 객체의 하나 이상의 액추에이터에 대한 제어 커맨드를 생성하는 데 사용된다. 어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기에 송신될, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체의 줌 레벨을 자동으로 조정하기 위한 미리 정해진 계수를 포함한다.
어떤 실시예에서, 상기 이미징 기기의 줌 레벨은, 미리 정해진 계수에 의해 상기 이미징 기기의 줌 레벨을 자동 조정함으로써 자동 제어된다. 어떤 경우에, 상기 이미징 기기의 줌 레벨은 줌인을 실시하도록 자동 조정된다. 어떤 실시예에서, 상기 타깃에 대한 상기 이미징 기기의 자세는, 상기 이동 가능한 객체에 대한 상기 이미징 기기의 자세, 또는 상기 타깃에 대한 상기 이동 가능한 객체의 자세, 또는 상기 이미징 기기의 자세와 상기 이동 가능한 객체의 자세를 모두 조정함으로써 자동 조정된다. 어떤 실시예에서, 상기 타깃에 대한 상기 이미징 기기의 자세는 상기 타깃이 상기 디스플레이 내의 미리 정해진 장소(위치) 또는 그 부근에 표시되도록 자동으로 제어된다. 어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는 실질적으로 동시에 발생한다.
어떤 실시예에서, 상기 제어 기기는 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나와 통신하도록 구성된 통신 유닛을 더 포함한다. 어떤 경우에, 상기 통신 유닛은 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터를 무선으로 송신하도록 구성된다. 상기 이미징 기기는 상기 이동 가능한 객체에 대해 이동 가능하다. 예를 들어, 상기 이미징 기기는 캐리어의 도움으로 상기 이동 가능한 객체에 의해 지지되고, 상기 캐리어는 상기 이미징 기기가 둘 이상의 축을 중심으로 상기 이동 가능한 객체에 대해 회전할 수 있게 한다. 어떤 실시예에서, 상기 이동 가능한 객체는 무인 항공기(UAV)이다.
본 발명의 추가적인 측면은 이미지를 캡처하기 위한 프로그램 명령어를 포함하는, 컴퓨터 판독할 수 있는 비일적인 매체를 제공할 수 있다. 상기 컴퓨터 판독할 수 있는 비일적인 매체는 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주기 위한 프로그램 명령어; 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하기 위한 프로그램 명령어; 및 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 이미징 기기의 줌 레벨 및 (b) 상기 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위해, 데이터를 생성하기 위한 프로그램 명령어를 포함한다.
다른 측면에 따르면, 이미지를 캡처하는 방법이 제공된다. 상기 이미지를 캡처하는 방법은, 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주는 단계; 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하는 단계; 및 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 이미징 기기의 줌 레벨 및 (b) 상기 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위해, 데이터를 생성하는 단계를 포함한다.
다른 측면에서, 제어 기기가 제공된다. 상기 제어 기기는 디스플레이 및 하나 이상의 프로세서를 포함하며, 상기 디스플레이는 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주도록 구성되고; 상기 프로세서는, (1) 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하고, (2) 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 디스플레이상에 표시된 상기 타깃의 크기 (b) 상기 디스플레이상에 표시된 상기 타깃의 위치의 자동 제어를 실시하기 위한 데이터를 생성하도록 구성된다.
어떤 실시예에서, 상기 제어 기기에 사용된 상기 디스플레이는 터치스크린이다. 상기 사용자 입력은 상기 디스플레이의 영역의 터치이다. 어떤 경우에, 상기 디스플레이의 영역은 상기 타깃을 보여준다. 어떤 실시예에서, 상기 타깃을 나타내는 사용자 입력은 단일 사용자 행위에 의해 제공된다. 어떤 실시예에서, 상기 사용자 입력에 관한 정보는 상기 타깃이 보이는 상기 디스플레이 내의 장소를 포함한다. 어떤 실시예에서, 상기 디스플레이는 추가로 상기 이미징 기기의 줌 레벨을 제어하기 위한 하나 이상의 줌 제어를 보여준다. 어떤 경우에, 상기 하나 이상의 줌 제어는, (i) 상기 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어 및 (ii) 상기 이미징 기기의 줌 레벨을 감소시키도록 구성된 줌 아웃 제어를 포함한다. 어떤 경우에, 상기 하나 이상의 줌 제어는 상기 이미징 기기의 줌 레벨을 미리 설정된 줌 레벨로 설정하기 위한 디폴트 줌 제어를 포함한다. 상기 미리 설정된 줌 레벨은 사용자에 의해 구성 가능하다.
어떤 실시에에서, 상기 제어 기기에 사용된 디스플레이는 추가로, 사용자가 상기 이미징 기기의 줌 레벨을 자동으로 조정하기 위한 미리 정해진 계수를 선택하는 메뉴를 보여준다.
어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나에 대해 상기 (a)와 (b)의 자동 제어를 위한 명령을 포함한다. 어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체에 송신될, 상기 타깃을 표시하는 상기 디스플레이 내의 좌표를 포함한다. 어떤 경우에, 상기 좌표는 상기 캐리어 및/또는 상기 이동 가능한 객체의 하나 이상의 액체에이터에 대한 제어 커맨드를 생성하는 데 사용된다. 어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체에 송신될, 상기 이미징 기기의 줌 레벨을 자동 조정하기 위한 미리 정해진 계수를 포함한다.
어떤 실시예에서, 상기 이미징 기기의 줌 레벨은 상기 미리 정해진 계수에 의해 상기 이미징 기기의 줌 레벨을 자동으로 조정함으로써 자동으로 조정된다. 어떤 경우에, 상기 이미징 기기의 줌 레벨은 줌인을 실시하도록 자동으로 조정된다.
어떤 실시예에서, 상기 타깃에 대한 상기 이미징 기기의 자세는, 상기 이동 가능한 객체에 대한 상기 이미징 기기의 자세, 또는 상기 타깃에 대한 상기 이동 가능한 객체의 자세, 또는 상기 이미징 기기의 자세와 상기 이동 가능한 객체의 자세를 모두 조정함으로써 자동으로 조정된다. 어떤 실시예에서, 기 타깃에 대한 상기 이미징 기기의 자세는 상기 타깃이 상기 디스플레이 내의 미리 정해진 위치 또는 그 부근에 표시되도록 자동으로 제어된다. 어떤 실시예에서, 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는 실질적으로 동시에 발생한다.
어떤 실시예에서, 상기 제어 기기는 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나와 통신하도록 구성된 통신 유닛을 더 포함한다. 어떤 경우에, 상기 통신 유닛은 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터를 무선으로 송신하도록 구성된다. 상기 이미징 기기는 상기 이동 가능한 객체에 대해 이동 가능하다. 예를 들어, 상기 이미징 기기는 캐리어의 도움으로 상기 이동 가능한 객체에 의해 지지되고, 상기 캐리어는 상기 이미징 기기가 둘 이상의 축을 중심으로 상기 이동 가능한 객체에 대해 회전할 수 있게 한다. 어떤 실시예에서, 상기 이동 가능한 객체는 무인 항공기(UAV)이다.
별개이지만 관련된 측면에서, 이미지를 캡처하기 위한 프로그램 명령어를 포함하는, 컴퓨터 판독할 수 있는 비일적인 매체가 제공된다. 상기 컴퓨터 판독할 수 있는 비일적인 매체는, 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주기 위한 프로그램 명령어; 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하기 위한 프로그램 명령어; 및 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 디스플레이상에 보이는 상기 타깃의 크기 (b) 상기 디스플레이상에 표시된 상기 타깃의 위치의 자동 제어를 실시하기 위한 데이터를 생성하기 위한 프로그램 명령어를 포함한다.
다른 관련 측면에서, 이미지를 캡처하는 방법이 제공된다. 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주는 단계; 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하는 단계; 및 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 디스플레이상에 보이는 상기 타깃의 크기 (b) 상기 디스플레이상에 보이는 상기 타깃의 위치의 자동 제어를 실시하기 위한 데이터를 생성하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 제어 기기가 제공된다. 상기 제어 기기는 디스플레이 및 하나 이상의 프로세서를 포함하며; 상기 디스플레이는 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주도록 구성되고; 상기 프로세서는, (1) 상기 디스플레이상에 보이는 이미지의 줌 레벨을 미리 설정된 줌 레벨로 또는 미리 정해진 줌 계수에 의해 조정하는 것을 나타내는 단일 사용자 입력에 관한 정보를 획득하고, (2) 상기 단일 사용자 입력에 기초하여, (i) 상기 디스플레이상에 보이는 이미지가 상기 미리 설정된 줌 레벨에 있도록, 또는 (ii) 상기 디스플레이상에 보이는 이미지가 상기 미리 정해진 줌 계수에 의해 조정되도록, (a) 상기 이미징 기기의 줌 레벨, 또는 (b) 상기 이미지 내에 보이는 상기 타깃으로부터의 상기 이미징 기기의 거리, 또는 상기 이미징 기기의 줌 레벨과 거리 모두의 자동 제어를 실시하기 위한 명령을 생성하도록 구성된다.
어떤 실시예에서, 상기 미리 설정된 줌 레벨이 1x 광학 줌이다. 어떤 실시예에서, 상기 미리 설정된 줌 레벨은, 상기 이미징 기기가 이미지를 캡처하기 시작하는 원래의 줌 레벨이다. 어떤 실시예에서, 상기 이미지의 줌 레벨은, (1) 상기 이미징 기기가 주밍(zooming) 가능한, 또는 (2) 상기 타깃으로부터의 상기 이미징 기기의 거리가 변경 가능한, 또는 (1)과 (2)의 조합에서 가장 빠른 속도로 상기 미리 설정된 줌 레벨로 자동으로 조정된다. 어떤 실시예에서, 상기 단일 사용자 입력은 상기 디스플레이의 미리 정해진 영역의 터치이다. 어떤 실시예에서, 상기 디스플레이의 미리 정해진 영역은 상기 이미지를 상기 미리 설정된 줌 레벨로 줌하게 하는 디폴트 줌 제어를 보여준다.
어떤 실시예에서, 상기 디스플레이는 추가로, 사용자가 상기 줌 계수를 선택하는 메뉴를 보여준다. 어떤 경우에, 상기 메뉴는, 상기 사용자가 임계 시간 길이보다 긴 기간 동안 상기 디스플레이를 터치할 때 보이게 된다. 또는, 상기 메뉴는, 상기 사용자가 임계 압력보다 큰 압력으로 상기 디스플레이를 터치할 때 보이게 된다. 상기 메뉴는 줌 계수에 대한 복수의 옵션를 보여줄 수 있고, 상기 사용자는 복수의 옵션에서 옵션을 선택할 수 있다.
어떤 실시예에서, 상기 제어 기기에 사용된 상기 디스플레이는 터치스크린이다. 상기 디스플레이는 추가로, 상기 사용자가 상기 이미지의 줌인 또는 줌 아웃을 제어하도록, 하나 이상의 줌 제어를 더 보여준다. 예를 들어, 상기 하나 이상의 줌 제어는, (i) 상기 사용자가 줌인 영역을 접촉하고 있는 동안 상기 이미지를 확대시키는 상기 디스플레이의 줌인 영역 및 (ii) 상기 사용자가 줌 아웃 영역을 접촉하고 있는 동안 상기 이미지를 축소시키는 줌 아웃 영역을 포함한다.
어떤 실시예에서, 상기 (a), 또는 (b), 또는 (c)의 자동 조정을 실시하기 위한 명령은, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나에 대해 상기 (a), 또는 (b), 또는 (c)의 자동 조정을 위한 명령을 포함한다. 어떤 실시예에서, 상기 제어 기기는 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나ㄷ와 통시하도록 구성된 통신 유닛을 더 포함한다. 어떤 경우에, 상기 통신 유닛은 데이터를 무선으로 송신하도록 구성된다. 상기 이미징 기기는 상기 이동 가능한 객체에 대해 이동 가능하다. 예를 들어, 상기 이미징 기기는 캐리어의 도움으로 상기 이동 가능한 객체에 의해 지지되고, 상기 캐리어는 상기 이미징 기기가 둘 이상의 축을 중심으로 상기 이동 가능한 객체에 대해 회전할 수 있게 한다. 어떤 실시예에서, 상기 이동 가능한 객체는 무인 항공기(UAV)이다.
본 발명의 상이한 측면들은 개별적으로, 또는 집합적으로, 또는 서로 조합될 수 있다는 것을 이해할 것이다. 본 명세서에 기술된 본 발명의 다양한 측면은 이하에 기술되는 모든 구체적인 애플리케이션 또는 모든 다른 유형의 이동 가능한 객체에 적용될 수 있다. 무인 항공기와 같은, 항공기 대한 본 명세서에서의 모든 설명은, 모든 차량과 같은 이동 가능한 객체에 적용되고 사용될 수 있다. 부가적으로, 본 명세서에 개시된 공중 이동(예: 비행)과 관련하여 본 명세서에 개시된 시스템, 장치 및 방법은 또한, 지상 또는 물 위에서의 이동, 수중에서의 이동, 우주에서의 이동과 같은, 기타 유형의 운동과 관련하여 적용될 수 있다.
본 발명의 추가적인 측면들 및 이점들은, 본 발명을 실시하기 위해 의도된 최선의 형태를 예시함으로써 본 발명의 예시적인 실시예만을 도시하고 설명하는 이하의 상세한 설명으로부터 당업자에게 쉽게 명백해질 것이다. 이해될 것인 바와 같이, 본 발명은 다른 실시예가 가능하며, 모든 개시내용으로부터 벗어나지 않으면서, 여러 세부사항이 다양한 명백한 관점에서 수정될 수 있다. 따라서, 도면 및 설명은 본질적으로 예시적인 것이고, 제한적인 것은 아닌 것으로 간주되어야 한다.
참조에 의한 통합
각각의 개별 간행물, 특허 또는 특허출원이 구체적으로 그리고 개별적으로 인용에 의해 포함되도록 지시된 것처럼, 본 명세서에서 언급된 모든 간행물, 특허 및 특허출원은 참조에 의해 본 명세서에 포함된다.
본 발명의 신규한 특징은 첨부된 청구범위에서 상세히 설명된다. 본 발명의 특징 및 이점은 본 발명의 원리가 이용되는 예시적인 실시예를 설명하는 다음의 상세한 설명 및 첨부 도면을 참조하여 더 잘 이해할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 원격 제어기를 포함하는 예시적인 시스템을 나타낸다.
도 2는 본 발명의 실시예에 따라, 타깃에 관한 정보를 사용하여 이미징 기기의 자세를 제어하는 예를 나타낸다.
도 3은 원격 제어기로부터 이동 가능한 객체, 또는 캐리어, 또는 이미징 기기로의 데이터 송신에 대한 개략 블록도를 도시한다.
도 4는 실시예에 따라 이동 가능한 객체를 제어하기 위한 예시적인 원격 제어기를 나타낸다.
도 5는 본 발명의 실시예에 따라, 디스플레이상에 도시된 타깃의 위치 및 크기를 제어하기 위한 예를 나타낸다.
도 6은 실시예에 따라, 캐리어 및 페이로드를 포함하는 이동 가능한 객체를 나타낸다.
도 7은 실시예에 따라, 이미지 데이터를 캡처하는 예시적인 시스템을 나타낸다.
도 8은 실시예에 따라, 이미징 기기를 제어하기 위한 예시적인 프로세스를 나타낸다.
도 9는 실시예에 따라, 이미지 캡처하기 위한 다른 예시적인 프로세스를 나타낸다.
도 10은 전술한 바와 같은 이미지의 줌 레벨을 제어하기 위한 예시적인 프로세스를 나타낸다.
도 11은 카메라 이미징의 예시적인 기하학적 모델을 나타낸다.
도 1은 본 발명의 실시예에 따른 원격 제어기를 포함하는 예시적인 시스템을 나타낸다.
도 2는 본 발명의 실시예에 따라, 타깃에 관한 정보를 사용하여 이미징 기기의 자세를 제어하는 예를 나타낸다.
도 3은 원격 제어기로부터 이동 가능한 객체, 또는 캐리어, 또는 이미징 기기로의 데이터 송신에 대한 개략 블록도를 도시한다.
도 4는 실시예에 따라 이동 가능한 객체를 제어하기 위한 예시적인 원격 제어기를 나타낸다.
도 5는 본 발명의 실시예에 따라, 디스플레이상에 도시된 타깃의 위치 및 크기를 제어하기 위한 예를 나타낸다.
도 6은 실시예에 따라, 캐리어 및 페이로드를 포함하는 이동 가능한 객체를 나타낸다.
도 7은 실시예에 따라, 이미지 데이터를 캡처하는 예시적인 시스템을 나타낸다.
도 8은 실시예에 따라, 이미징 기기를 제어하기 위한 예시적인 프로세스를 나타낸다.
도 9는 실시예에 따라, 이미지 캡처하기 위한 다른 예시적인 프로세스를 나타낸다.
도 10은 전술한 바와 같은 이미지의 줌 레벨을 제어하기 위한 예시적인 프로세스를 나타낸다.
도 11은 카메라 이미징의 예시적인 기하학적 모델을 나타낸다.
여기에 본 발명의 바람직한 실시예를 보여주고 설명하지만, 당업자라면 이러한 실시예가 단지 예로서 제공된다는 것을 알 수 있을 것이다. 당업자라면 본 발명을 벗어나지 않으면서 본 발명에 대해 다양한 변형, 변경 및 대체를 할 수 있 것이다. 본 명세서에 기술된 본 발명의 실시예에 대한 다양한 대안이 본 발명을 실시하는 데 사용될 수 있음을 이해해야 한다.
본 발명은 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 제어하기 위한 시스템 및 방법을 제공한다. 본 명세서에 기술된 본 발명의 다양한 측면은 아래에 설명된 임의의 구체적인 애플리케이션에 적용될 수 있다. 본 발명은 무인 항공기(UAV) 또는 항공 사진 시스템의 일부로서 적용될 수 있다. 이해해야 할 것은, 본 발명의 상이한 측면들이 개별적으로, 또는 집합적으로, 또는 서로 조합하여 이해할 수 있다는 것이다.
여기에 제공된 시스템 및 방법을 사용하여, 사용자는 디스플레이상에 보이는 이미지를 제어할 수 있다. 이미지는 UAV에 의해 지지되는 이미징 기기를 사용하여 캡처할 수 있다. 타깃은 디스플레이상에 보일 수 있고, 간단한 사용자 조작으로 타깃이 원하는 배율 및 위치에서 보이도록 이미지가 제어될 수 있다. 사용자 입력은 디스플레이상에 표시된 타깃상의 탭(tap)과 같은 단일 사용자 행위일 수 있다. 어떤 실시예에서, 시스템 및 방법은 사용자가 디스플레이상에 보이는 이미지의 줌 레벨 및 디스플레이 중심에서 또는 그 부근에서 타깃의 위치를 제어하는 단일 행위를 수행하게 할 수 있다. 사용자는 디스플레이상에 보이는 이미지의 줌 레벨을 미리 설정된 줌 레벨 또는 미리 정해진 줌 계수에 의해 조정하는 것을 나타내는 단일 행위를 수행할 수 있다. 사용자 입력, UAV의 방위 및/또는 위치에 대한 정보에 응답하여, 이미징 기기를 지지하는 캐리어 및 이미징 기기의 하나 이상의 파라미터(예: 줌 레벨)이 조정되어 타깃이 표시된다. 이미지 또는 디스플레이에 대해 원하는 배율/크기 및/또는 위치에서 사용자에게 표시할 수 있다.
본 명세서에 제공된 시스템 및 방법은 유리하게도 사용자가 단일 사용자 행위로 종래에 여러 번의 입력을 요구하는 다수의 이미징 계수를 제어할 수 있게 한다. 예를 들어, 종래에는, 이미지를 주밍(zooming)하기 위해, 그리고 이미지 내의 타깃의 위치를 조정하기 위해 별개의 사용자 제어가 제공된다. UAV가 비행하는 동안에 이것은 시간이 걸리고 번거로울 수 있다. 종래의 제어는 줌과 위치를 동시에 제어할 수 없다. 또한, 사용자가 먼저 줌인하면, 타깃은 이미징 기기를 지지하는 UAV 및/또는 캐리어의 이동으로 쉽게 시야를 벗어날 수 있다. 사용자가 처음에 타깃을 대략 중심에 놓은 다음, 줌인하면 더 많은 시간이 필요할 수 있으며, 추가 줌 기능을 수행하기 전에 타깃을 다시 중심에 두거나 위치의 추가 조정이 발생할 수 있다. 이미지 내의 타깃의 줌 및 위치를 함께 제어하도록 허용함으로써, 이미징 기기 줌과 UAV 및/또는 캐리어의 행위 사이의 협력이 가능해진다. 이러한 단순화된 동작은 사용자가 UAV의 비행 및/또는 이미징 기기에 의해 캡처된 이미지를 제어할 때 유용하며, 이는 그러한 기능을 수행하는 데 사용자의 주의를 덜기 때문이다. 또한 동적 환경에서 유용한, 더 적은 시간을 요한다.
도 1은 본 발명의 실시예에 따른, 이미징 기기(130) 및 원격 제어기(120)를 포함하는 예시적인 이미지 제어 시스템(100)을 나타낸다. 이미징 기기는 이동 가능한 객체(110)에 의해 지지된다. 이미징 기기는 이동 가능한 객체에 의해 직접 지지될 수 있거나, 캐리어(140)를 통해 이동 가능한 객체에 의해 지지될 수 있다. 이미징 기기는 이미징 기기의 시야(170) 내의 이미지 데이터를 캡처하는 데 사용될 수 있다. 하나 이상의 타깃(160)은 이미징 기기의 시야 내에 있을 수 있다. 이동 가능한 객체(110)는 UAV로서 도시되었지만, 이 기재는 한정하려는 것이 아니며, 여기에 기재된 바와 같이, 임의의 적합한 유형의 이동 가능한 객체가 사용될 수 있다.
이동 가능한 객체(110)는 환경을 이동(횡단)할 수 있는 임의의 객체일 수 있다. 이동 가능한 객체는 공기, 물, 육지 및/또는 공간을 이동할 수 있다. 환경에는 움직이지 못하는 객체(고정 객체)와 이동 가능한 객체가 포함될 수 있다. 고정 객체의 예에는 지형지물, 식물, 명소, 건물, 단일체 구조물(monolithic structure) 또는 고정된 구조물(fixed structure)이 포함될 수 있다. 이동 가능한 객체의 예로는 사람, 차량, 동물, 발사체 등이 있다.
어떤 경우에, 환경은 관성 참조 프레임(inertial reference frame)수 있다. 관성 참조 프레임은 시간과 공간을 균일하게, 등방적으로, 시간에 독립적으로 설명하는 데 사용할 수 있다. 관성 참조 프레임은 이동 가능한 객체에 대해 설정되고 이동 가능한 객체에 따라 이동될 수 있다. 관성 참조 프레임에서의 측정치는 변환(예: 뉴턴 물리학에서의 갈릴레오 변환)에 의해 다른 참조 프레임(예: 글로벌 참조 프레임)에서의 측정치로 변환될 수 있다.
이동 가능한 객체(110)는 차량일 수 있다. 차량은 자기 추진형 차량(self-propelled vehicle)일 수 있다. 차량은 하나 이상의 추진 유닛(propulsion unit)을 사용하여 환경을 이동할 수 있다. 차량은 항공기, 육상 기반 차량(land-based vehicle), 수계 차량(water-based vehicle) 또는 우주 기반 차량(space-based vehicle)일 수 있다. 차량은 무인 차량일 수 있다. 차량은 탑승한 승객이 없는 환경을 이동할 수 있다. 또는 차량에 사람이 탑승할 수 있다. 어떤 실시예에서, 이동 가능한 객체는 무인 항공기(UAV)일 수 있다.
UAV 또는 임의의 다른 유형의 이동 가능한 객체에 대한 임의의 다른 설명은 임의의 다른 유형의 이동 가능한 객체 또는 일반적으로 다양한 카테고리의 이동 가능한 객체에 적용될 수 있으며, 또는 그 반대도 가능하다. 예를 들어, 무인 항공기의 모든 설명은 무인 육로(unmanned land-bound), 수계(water-based) 또는 우주계(space-based) 차량에 적용될 수 있다. 이동 가능한 객체의 다른 예는 본 명세서의 다른 곳에서보다 상세하게 제공된다.
상술한 바와 같이, 이동 가능한 객체는 환경을 횡단할 수 있다. 이동 가능한 객체는 3차원 내에서 비행할 수 있다. 이동 가능한 객체는 1개, 2개 또는 3개의 축을 따라 공간적으로 병진 운동(translation)이 가능할 수 있다. 1개, 2개 또는 3개의 축은 서로 직교할 수 있다. 축은 피치(pitch), 요우(yaw) 및/또는 롤축(roll axis) 따를 수 있다. 이동 가능한 객체는 1개, 2개 또는 3개의의 축을 중심으로 회전할 수 있다. 1개, 2개 또는 3개의의 축은 서로 직교할 수 있다. 축은 피치, 요유, 및/또는 롤 축일 수 있다. 이동 가능한 객체는 최대 6 자유도(degree of freedom)까지 이동할 수 있다. 이동 가능한 객체는 이동 가능한 객체의 이동을 보조할 수 있는 하나 이상의 추진 유닛(150)을 포함할 수 있다. 예를 들어, 이동 가능한 객체는 하나 이상의 추진 유닛을 갖는 UAV일 수 있다. 추진 유닛은 UAV를 위한 양력(lift)을 발생시키도록 구성될 수 있다. 추진 유닛은 로터(rotor)를 포함할 수 있다. 이동 가능한 객체는 멀티 로터(multi-rotor) UAV일 수 있다.
이동 가능한 객체는 임의의 물리적 구성을 가질 수 있다. 예를 들어, 이동 가능한 객체는 중앙 몸체(105)로부터 연장되는 하나 이상의 암(arm) 또는 브랜치(branch)를 갖는 중심체(105)를 가질 수 있다. 암은 중심체로부터 측 방향 또는 반경 방향으로 연장될 수 있다. 암은 중심체(central body)에 대해 이동 가능하거나 중심체에 대해 정지 상태일 수 있다. 암은 하나 이상의 추진 유닛을 지원할 수 있다. 예를 들어, 각 암은 하나, 둘 또는 그 이상의 추진 유닛을 지원할 수 있다.
이동 가능한 객체는 하우징을 가질 수 있다. 하우징은 단일 일체형, 2개의 일체형 부분 또는 다수의 부분으로 형성될 수 있다. 하우징은 하나 이상의 구성요소가 배치되는 공동(cavity)을 포함할 수 있다. 구성요소는 비행 제어기, 하나 이상의 프로세서, 하나 이상의 메모리 저장 유닛, 하나 이상의 센서(예: 하나 이상의 관성 센서 또는 본 명세서의 다른 곳에 기술된 임의의 다른 유형의 센서), 하나 이상의 센서 (GPS) 유닛), 하나의 통신 유닛 또는 임의의 다른 유형의 구성요소를 포함할 수 있다. 하나 이상의 센서는 하나 이상의 유형의 센서를 포함할 수 있다. 센서의 유형의 일부 예로는 위치 센서(예:GPS(Global Positioning System) 센서, 위치 삼각 측량을 가능하게 하는 이동 기기 송신기), 비전 센서(예: 카메라와 같이 가시광선, 적외선 또는 자외선을 감지할 수 있는 이미징 기기), 근접 또는 범위 센서(예: 초음파 센서, 라이더(lidar), 비행 시간 또는 깊이 카메라), 관성 센서(예: 관성 측정 유닛(inertial measurement unit, IMU)을 형성할 수 있는 가속도계, 자이로스코프 및/또는 중력 감지 센서), 고도 센서, 자세 센서(예: 컴퍼스), 압력 센서(예:기압계), 온도 센서, 습도 센서, 진동 센서, 오디오 센서 (예: 마이크) 및/또는 자계 센서(예: 자력계, 전자기 센서, 라디오 센서)를 포함할 수 있다. 하우징은 단일 캐비티 또는 복수의 캐비티를 가질 수 있다. 어떤 경우에, 비행 제어기는 하나 이상의 추진 유닛과 통신할 수 있고/있거나 하나 이상의 추진 유닛의 조작을 제어할 수 있다. 비행 제어기는 하나 이상의 전자 속도 제어(electronic speed control, ESC) 모듈의 도움으로 하나 이상의 추진 유닛의 조작을 통신 및/또는 제어할 수 있다. 비행 제어기는 ESC 모듈과 통신하여 추진 유닛의 조작을 제어할 수 있다.
어떤 실시예에서, 이동 가능한 객체는 캐리어(140)를 사용하여 페이로드(payload)를 지지하도록 구성될 수 있다. 페이로드는 하나 이상의 이미징 기기(130)를 포함할 수 있다. 캐리어는 페이로드가 이동 가능한 객체에 대해 이동할 수 있도록 해준다. 예를 들어, 캐리어는 페이로드가 약 1개, 2개, 3개 또는 그 이상의 회전축을 회전할 수 있도록 해준다. 다른 예에서, 캐리어는 페이로드가 1개, 2개, 3개 또는 그 이상의 축을 따라 선형 이동할 수 있도록 해준다. 회전 또는 병진 운동을 위한 축은 서로 직각이거나 직각이 아닐 수도 있다. 상대 이동은 하나 이상의 자유도 (예:, 1개, 2개, 3개의 축을 따른) 및/또는 하나 이상의 자유도(예: 대략 개, 2개, 3개의 축을 중심으로 회전) 또는 이들의 임의의 적절한 조합일 수 있다. 개, 2개, 3개의 축은 피치 축, 요우 축 또는 롤 축의 임의의 조합일 수 있다. 캐리어는 1축 짐벌(gimbal), 2축 짐벌 또는 3축 짐벌을 포함할 수 있다.
캐리어는 1개, 2개, 3개 또는 그 이상의 프레임 구성요소를 포함할 수 있다. 제1 프레임 구성요소는 페이로드를 지지하는 데 사용될 수 있다. 제1 프레임 구성요소는 페이로드의 중량을 견딜 수 있다. 페이로드는 제1 프레임 구성요소에 대해 고정될 수 있거나, 제1 프레임 구성요소에 대해 하나 이상의 축을 중심으로 회전할 수 있다. 선택적으로, 제2 프레임 구성요소는 제1 프레임 구성요소 및 페이로드를 지지할 수 있다. 제2 프레임 구성요소는 제1 프레임 구성요소 및 페이로드의 중량을 견딜 수 있다. 제1 프레임 구성요소는 제2 구성요소에 대해 축을 중심으로 회전할 수 있다. 선택적으로, 제3 프레임 구성요소는 제2 프레임 구성요소, 제1 프레임 구성요소 및 페이로드를 지지할 수 있다. 제3 프레임 구성요소는 제2 프레임 구성요소, 제1 프레임 구성요소 및 페이로드의 중량을 견딜 수 있다. 제2 프레임 구성요소는 제3 구성요소에 대하여 축을 중심으로 회전할 수 있다. 제3 프레임 구성요소는 이동 가능한 객체에 의해 지지될 수 있다. 선택적으로, 제3 프레임 구성요소는 진동 흡수 기기(vibration absorption device)에 의해 지지될 수 있다. 진동 흡수 기기는 하나 이상의 충격 흡수 기기를 포함할 수 있다. 충격 흡수 기기는 하나 이상의 축을 따라 진동을 감쇠시킬 수 있다. 제3 프레임 구성요소는 이동 가능한 객체 및/또는 진동 흡수 기기에 대해 고정될 수 있다. 또는, 제3 프레임 구성요소는 이동 가능한 객체 및/또는 진동 흡수 장치에 대해 축을 중심으로 회전할 수 있다.
캐리어는 1개, 2개, 3개, 4개 또는 그 이상의 액추에이터를 포함할 수 있다. 액추에이터는 모터일 수 있다. 액추에이터는 서로에 대해 및/또는 페이로드 또는 이동 가능한 객체에 대해 하나 이상의 프레임 구성요소의 움직임을 제어할 수 있다. 모터는 원격 제어기, 페이로드, 및/또는 모터의 동작을 제어할 수 있는 이동 가능한 객체로부터 하나 이상의 제어 신호를 수신하여, 하나 이상의 프레임 구성요소의 배치를 제어할 수 있다. 하나 이상의 프레임 구성요소의 배치를 제어하는 것은 이동 가능한 객체에 대한 페이로드의 자세를 제어할 수 있다. 이동 가능한 객체에 대한 페이로드의 자세 제어는 이동 물체에 대한 페이로드 자세를 변경 및/또는 유지하는 것을 포함할 수 있다. 이동 가능한 객체에 대한 페이로드의 자세는 1개, 2개 또는 3개의 축에 대해 제어(예: 변경 또는 유지)될 수 있다.
어떤 실시예에서, 하나 이상의 센서가 이동 가능한 객체, 캐리어 및/또는 페이로드 상에 제공될 수 있다. 센서는 캐리어의 1개, 2개, 3개 또는 그 이상의 프레임 구성요소 상에 제공될 수 있다. 센서는 캐리어의 1개, 2개, 3개 또는 그 이상의 액추에이터에 제공될 수 있고 및/또는 액추에이터의 일부일 수 있다. 센서는 1축, 2축 또는 3축에 대한 자세, 각속도 및/또는 각가속도, 및/또는 1축, 2축 또는 3축에 대한 위치, 선속도 및/또는 선가속도를 결정하는 데 유용할 수 있다. 센서는 관성 센서일 수 있다.
페이로드는 캐리어의 도움없이 이동 가능한 객체에 의해 선택적으로 지지될 수 있다. 페이로드는 캐리어의 도움없이 이동 가능한 객체에 대해 이동 가능하거나 불가능할 수 있다. 페이로드는 캐리어의 도움없이 1축, 2축 또는 3개의 축을 중심으로 회전할 수 있다. 어떤 실시예에서, 페이로드는 이동 가능한 객체에 대해 고정된 위치 및/또는 자세를 가질 수 있다. 이동 가능한 객체는 주변 환경 내의 타깃에 대해 페이로드의 자세를 조정하기 위해 움직이거나 움직이지 않을 수 있다.
어떤 실시예에서, 페이로드는 하나 이상의 이미징 기기(130)를 포함할 수 있다. 본 명세서에 설명된 이미징 기기는 이미지 캡처 기기로서 기능할 수 있다. 이미징 기기는 이미지 데이터를 캡처하는 데 사용할 수 있다. 어떤 실시예에서, 이미징 기기는 카메라일 수 있다. 카메라는 동적 이미지 데이터 (예: 비디오)를 캡처하는 영화 또는 비디오 카메라일 수 있다. 카메라는 정지 이미지(예:사진)를 캡처하는 스틸 카메라일 수 있다. 카메라는 동적 이미지 데이터와 정적 이미지를 모두 캡처할 수 있다. 카메라가 동적 이미지 데이터와 정적 이미지 캡처 사이를 전환할 수 있다. 본 명세서에 제공된 특정 실시예는 카메라와 관련하여 기술되었지만, 본 개시는 임의의 적합한 이미징 기기에 적용될 수 있으며, 카메라와 관련된 모든 설명은 임의의 적합한 이미징 기기에도 적용될 수 있으며, 임의의 설명 카메라와 관련하여 본 명세서에서 사용되는 용어는 다른 유형의 이미징 기기에도 적용될 수 있다. 카메라는 3D 장면(예: 환경, 하나 이상의 물체 등)의 2D 이미지를 생성하는 데 사용될 수 있다. 카메라에 의해 생성된 이미지는 2D 장면에 3D 장면의 투영을 나타낼 수 있다. 따라서, 2D 이미지의 각 포인트는 장면의 3D 공간 좌표에 해당한다. 카메라는 컬러 이미지, 그레이스케일 이미지 등을 캡처할 수 있다. 이미징 기기는 광학 이미징 기기, 적외선 이미징 기기, 자외선 이미징 기기 또는 열 이미징 기기일 수 있다. 이미징 기기는 환경에서 다양한 파장의 광(예: 가시 광선, 적외선 등)을 검출함으로써 환경을 이미지화할 수 있다.
이미징 기기는 광 파장에 응답하여 전기 신호를 생성하는 상보형 금속 산화물 반도체(CMOS) 센서를 포함할 수 있다. 그 결과로 생성된 전기 신호는 이미지 데이터를 생성하기 위해 처리될 수 있다. 이미징 기기에 의해 생성된 이미지 데이터는 정적 이미지(예:사진), 동적 이미지 (예: 비디오) 또는 이들의 적절한 조합일 수 있는 하나 이상의 이미지를 포함할 수 있다. 이미지 데이터는 다색(예: RGB, CMYK, HSV) 또는 단색(예: 회색 음영, 흑백, 세피아)이 될 수 있다. 이미징 기기는 이미지 센서 상에 광을 지향시키도록 구성된 렌즈를 포함할 수 있다. 화상 센서는 화상의 행 또는 열이 순차적으로 판독되고 리셋되는 롤링 셔터(rolling shutter)를 채용할 수 있다.
이미징 기기(130)는 원하는 줌 레벨로 이미지를 캡처하도록 구성될 수 있다. 어떤 실시예에서, 이미징 기기는 초점 길이 또는 시야각(angle of view)이 가변될 수 있는 줌 렌즈를 포함할 수 있다. 이미징 기기는 줌 렌즈의 초점 거리를 조정함으로써 광학 줌을 제공할 수 있다. 예를 들어, 설계된 줌 레벨 또는 배율 레벨이 달성될 수 있도록 하나 이상의 렌즈가 광축을 따라 슬라이딩하여 초점 길이를 조정할 수 있다. 줌 아웃 시에 초점 거리가 증가될 수 있고, 줌인 시 초점 거리가 감소될 수 있다. 초점 거리는 이미징 센서에 대해 광축을 따라 하나 이상의 렌즈를 이동시킴으로써 조정될 수 있다. 초점 거리는 하나 이상의 렌즈에 대해 광축을 따라 이미징 센서를 이동시킴으로써 조정될 수 있다. 초점 길이는 이미징 센서와 하나 이상의 렌즈를 이동시켜 이미징 센서와 렌즈 사이의 거리가 조정되도록 조정될 수 있다. 어떤 경우에, 초점 길이를 조정하기 위해 하나 이상의 요소(예: 렌즈, 이미징 센서)를 이동시키기 위해 하나 이상의 모터가 포함될 수 있다. 이미징 기기는 이미징 센서와 하나 이상의 렌즈 사이의 상대 거리를 조정할 수 있고, 및/또는 이미징 기기에 의해 캡처된 광의 광 경로에 영향을 줄 수 있는 임의의 다른 광학 요소를 이미징 센서에 대해 조정할 하나 이상의 줌 모터를 포함할 수 있다.
어떤 실시예에서, 이미징 기기는 디지털 줌을 제공할 수 있다. 예를 들어, 캡처된 이미지는 원본과 동일한 종횡비로, 중심 영역으로 이미지를 자르고, 원본의 화소 치수에 대해 결과를 보간하여 줌인할 수 있다. 어떤 실시예에서, 이미징 기기는 광학 줌, 디지털 줌 또는 이들의 조합을 사용하여 줌 레벨을 조정하도록 구성될 수 있다.
광학 줌, 디지털 줌 또는 이들의 조합 중 하나를 사용하여 다양한 줌 레벨이 달성될 수 있다. 어떤 경우에 줌 레벨은 현재 이미지와 기본 이미지 간의 줌 비율을 나타낼 수 있다. 기본 이미지는 이미징 기기가 디폴트 상태(예: 초점 거리가 최대) 일 때 캡처된 이미지 또는 원본 이미지일 수 있다. 어떤 경우에, 줌 계수는 현재 이미지와 이전 이미지(기본 이미지) 사이의 줌 비율로 정의될 수 있다.
줌 레벨 또는 줌 계수는, 예를 들어 1x, 1.5x, 1.8x, 2x, 3x, 4x, 7x, 24, 30x, 50x, 60x, 70x, 80, 90x, 120x 등이 될 수 있다. 이미지 해상도 또는 이미지 품질은 최대 줌 레벨에서 손실되거나 손실되지 않을 수 있다. 어떤 경우에, 특정 줌 레벨에서 이미지 저하가 발생할 수 있다. 어떤 경우에, 이미지 품질 저하없이 모든 줌 레벨 또는 줌 계수를 얻을 수 있다.
디지털 줌과 광학 줌은 다양한 방법으로 결합될 수 있다. 어떤 경우에 디지털 줌과 광학 줌이 동시에 수행될 수 있다. 예를 들어, 디지털 줌 계수 3x배 및 광학 줌 계수 4x가 동시에 수행되어 총 줌 계수 7x에 도달할 수 있다. 어떤 경우에 광학 줌을 사용하기 전에 디지털 줌을 수행할 수 있다. 예를 들어, 이미지의 줌 레벨은 디지털 줌에 의해 원하는 줌 레벨까지 증가될 수 있으며, 디지털 줌은 디지털 줌 효과를 대체하기 위해 광학 줌이 증가되는 동안 감소될 수 있다.
줌 레벨은 이미징 기기의 초점 거리를 조정함으로써 조정될 수 있다. 초점 길이는 렌즈의 중심에서 렌즈의 초점까지의 거리를 나타낼 수 있다. 물체가 이미징 기기로부터 먼 거리에 있을 때, 초점 거리는 렌즈로부터 이미지까지의 거리에 가깝다. 어떤 경우에, 거리를 변화시킴으로써 이미징 기기의 줌 레벨이 조정될 수 있도록 하나 이상의 렌즈와 이미지 센서 사이의 거리를 조정함으로써 초점 길이가 조정될 수 있다. 초점 거리가 길수록 이미지의 확대/줌인 레벨이 높아지고 좁은 시야를 초래할 수 있고; 반대로 초점 거리가 짧을수록 낮은 배율/줌인 레벨 및 더 넓은 시야에 대응할 수 있다. 어떤 경우에, 초점 거리 간의 비율은 줌 계수 또는 줌 비율에 해당할 수 있다. 예를 들어, 초점 길이가 55mm에서 18mm까지 변화하면, 줌 계수 또는 줌 비율이 55/18≒3x일 수 있다. 초점 거리와 줌 계수 사이의 관계는 선형일 수도 있고 아닐 수도 있다. 어떤 경우에는, 이미징 기기와 이미지화되는 물체 사이의 거리가 초점 거리보다 초점 거리보다 상당히 클 때 선형 관계를 갖는다. 어떤 경우에는, 초점 거리와 줌 계수는 비선형 관계일 수 있다.
주밍 속도는 광학 줌의 속도, 디지털 줌 또는 이들의 조합에 기초하여 결정될 수 있다. 주밍 속도는 이미지의 줌 레벨이 조정되는 것으로 인식되는 속도를 나타낼 수 있다. 주밍 속도는 디스플레이에 보이는 대로 타깃의 크기가 변하는 속도를 나타낼 수 있다. 속도는 선형 또는 비선형일 수 있다. 속도는 일정하거나 변할 수 있다. 주밍 속도는 줌 레벨의 조정 동안의 평균 속도를 나타낼 수 있다. 주밍 속도는 줌 계수에 의해 조정이 이루어지는 평균 속도를 나타낼 수 있다. 예를 들어, 어떤 경우, 줌 속도가 평균 속도일 때, 줌 속도는 적어도 1x/s, 2x/s, 4x/s, 10x/s, 20x/s, 30x/s, 40x/s, 50x/s, 60x/s, 70x/s, 80x/s, 100x/s 등일 수있다. 어떤 실시예에서, 광학 줌의 속도는 렌즈와 이미징 센서 사이의 거리가 조정될 수 있는 속도에 따라 달라질 수 있다. 광학 줌의 속도는 초점 거리를 조정하는 속도에 따라 달라질 수 있다. 렌즈와 이미징 센서 사이의 거리를 조정할 수 있는 속도는 줌 모터의 속도에 따라 달라질 수 있다. 어떤 실시예에서, 디지털 줌의 속도는 순간 또는 매우 빠를 수 있다. 디지털 줌의 속도는 약 5초 , 3초, 2초, 1초, 0.5초, 0.1초, 0.05초, 0.01초, 5 밀리초, 1 밀리초, 0.5 밀리초 또는 0.1 밀리초 미만일 수 있다. 디지털 줌의 속도는 이미지 데이터를 처리할 수 있는 하나 이상의 프로세서에 따라 달라질 수 있다. 주밍 속도는 또한 타깃에 대한 이미징 기기의 이동에 기초하여 결정될 수 있다. 타깃에 대한 이미징 기기의 이동 속도는 타깃에 대한 UAV와 같은 이동 가능한 객체의 속도에 따라 달라질 수 있다. 이것은 UAV가 얼마나 빨리 비행할 수 있는지에 따라 달라질 수 있다. 어떤 실시예에서, 바람과 같은 환경 요인(environmental factor)은 UAV가 얼마나 빨리 비행할 수 있는지에 영향을 줄 수 있다. 타깃에 대한 이미징 기기의 이동 방향도 또한 줌 속도에 영향을 줄 수 있다. 예를 들어, 이미징 기기가 줌인되는 동안에 이동 가능한 객체가 타깃으로부터 멀어지는 경우, 이동 가능한 객체의 이동은 이미징 기기의 줌인을 부분적으로 오프셋할 수 있고, 줌인 속도를 느리게할 수 있다. 주밍 속도는 이미징 기기의 줌 레벨(예: 광학 줌, 디지털 줌 또는 양자의 조합)과 타깃에 대한 이미징 기기의 이동의 조합에 기초하여 결정될 수 있다.
어떤 경우에, 주밍은 이미징 기기의 광학 줌 레벨 또는 디지털 줌 레벨을 조정함으로써 달성될 수 있다. 어떤 경우에, 주밍은 이미징 기기의 줌 레벨을 조정함과 동시에 이미징 기기를 타깃에 가깝게 또는 멀리 이동시킴으로써 달성될 수 있다. 어떤 경우에, 이미징 기기를 타깃에 더 가깝게 또는 멀리 이동시킴으로써 주밍을 달성할 수 있다.
이미징 기기는 특정 이미지 해상도로 이미지 프레임 또는 일련의 이미지 프레임을 캡처할 수 있다. 어떤 실시예에서, 이미지 프레임 해상도는 프레임의 화소 수에 의해 정의될 수 있다. 어떤 실시예에서, 이미지 해상도는 약 352x420 화소, 480x320 화소, 720x480 화소, 1280x720 화소, 1440x1080 화소, 1920x1080 화소, 2048x1080 화소, 3840x2160 화소, 4096x2160 화소, 7680x4320 화소 또는 15360x8640 화소 이상일 수 있다. 어떤 실시예에서, 카메라는 4K 카메라 또는 더 높은 해상도를 갖는 카메라일 수 있다. 카메라의 화소는 정사각형일 수 있다. 다른 실시예는 정사각형이 아닌 화소 또는 다른 광학 왜곡을 고려할 수 있다.
이미징 기기는 특정 캡처 속도(capture rate)로 이미지 프레임 시퀀스를 캡처할 수 있다. 어떤 실시예에서, 이미지의 시퀀스는 약 24p, 25p, 30p, 48p, 50p, 60p, 72p, 90p, 100p, 120p, 300p, 50i 또는 60i와 같은 표준 비디오 프레임 속도 (초당 프레임)로 캡처될 수 있다. 어떤 실시예에서, 이미지의 시퀀스는 0.0001초, 0.0002초, 0.0005초, 0.001초, 0.002초, 0.005초, 0.01초, 0.02초, 0.05초, 0.1초, 0.2초, 0.5초, 1초, 2초, 5초 또는 10초마다 약 하나의 이미지 이하의 속도로 캡처될 수 있다. 어떤 실시예에서, 캡처 속도는 사용자 입력 및/또는 외부 조건(예: 조명 밝기)에 따라 변할 수 있다.
이미지 센서에 의해 캡처된 이미지 데이터는 데이터 저장 장치에 저장될 수 있다. 데이터 저장 장치는 반도체 기술, 자기 기술, 광학 기술 또는 임의의 적합한 기술에 기초할 수 있으며, 플래시 메모리, USB 드라이브, 메모리 카드, SSD (Solid-State Drive), HDD()하드 디스크 드라이브(Hhard Disk Drive), 플로피 디스크, 광학 디스크, 자기 테이프 등을 포함할 수 있다. 예를 들어, 데이터 저장 기기는, PC 카드, 콤팩트플래시), 스마트 미디어, 메모리 스틱, 메모리 스틱 듀오, 메모리 스틱 프로 듀오, 미니어처 카드, 멀티미디어 카드(Multimedia Card, MMC), 소형 멀티미디어 카드(Reduced Size Multimedia Card, RS-MMC), MMCmicro(MMCmicro Card), PS2 카드, 보안 디지털(Secure Digital, SD) card, SxS, UFS Universal Flash Storage), miniSD, microSD, xD-Picture 카드, 지능형 스틱(Intelligent Stick, iStick), 직렬 플래시 모듈(Serial Flash Module, SFM), NT 카드, XQD 카드 등의, 임의의 적합한 포맷의 메모리 카드와 같은 이미징 기기에 탈착 가능하게 결합할 수 있다. 데이터 저장 기기는 또한 외부 하드 디스크 드라이브, 광 드라이브, 테이프 드라이브, 플로피 드라이브 및 이미징 기기에 작동 가능하게 연결될 수 있는 기타 적절한 저장 기기를 포함할 수 있다.
이미지 센서에 의해 캡처된 이미지 데이터는 이미지 송신 유닛에 의해 원격 제어기에 전송될 수 있다. 어떤 실시예에서, 이미지 데이터는 이미지 송신 유닛에 의해 송신되기 전에 압축되거나 처리될 수 있다. 다른 경우에, 이미지 데이터는 송신되기 전에 압축되거나 처리되지 않을 수 있다. 송신된 이미지 데이터는 원격 제어기상에 표시되어, 제어 단말기를 조작하는 사용자가 이미지 데이터를 볼 수 있고 및/또는 이미지 데이터에 기초하여 제어 단말기와 상호작용할 수 있다.
이미지 센서에 의해 캡처된 이미지 데이터는 전처리 유닛에 의해 전처리될 수 있다. 전처리 유닛은 임의의 하드웨어, 소프트웨어 또는 이들의 조합을 포함할 수 있다. 전처리 유닛의 예로는 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA)를 포함할 수 있다. 전처리 유닛은 특정 정보를 추출하기 위해 이미지 데이터가 처리되기 전에 미가공(raw) 이미지 데이터의 전처리를 위해 이미지 센서에 동작 가능하게 결합될 수 있다. 전처리 유닛에 의해 수행되는 태스크의 예는 이미지 좌표계의 정확성, 노이즈 감소, 콘트라스트 향상, 스케일 공간 표현 등을 보장하기 위한 재샘플링(re-sampling)을 포함할 수 있다.
이미징 기기는 이미지 데이터를 원격 제어기에 송신할 수 있다. 데이터는 이미징 기기에 탑재된 송신기의 도움으로 무선으로 송신될 수 있다. 데이터는 직접 통신을 사용하여 원격 제어기에 전송될 수 있다. 직접 통신은 이동 가능한 객체/이미징 기기와 원격 제어기 사이에 제공될 수 있다. 직접 통신은 중간 기기(intermediary devic) 또는 네트워크를 요구하지 않고 발생할 수 있다. 데이터는 간접 통신을 사용하여 원격 제어기에 전송될 수 있다. 간접 통신은 이동 가능한 객체/이미징 기기와 원격 제어기 사이에 제공될 수 있다. 간접 통신은 하나 이상의 중간 기기 또는 네트워크의 도움으로 일어날 수 있다. 예를 들어 간접 통신은 통신 네트워크를 이용할 수 있다. 간접 통신은 하나 이상의 라우터, 통신 타워, 위성 또는 기타 중간 기기 또는 네트워크의 도움으로 수행될 수 있다. 통신 유형의 예로는 인터넷, 근거리 통신망(Local Area Network, LAN), 광역 통신망(Wide Area Network, WAN), 블루투스, 근거리 무선 통신(Near Field Communication, NFC) 기술, 범용 패킷 무선 서비스(General Packet Radio Service, GPRS), GSM, EDGE (Enhanced Data GSM Environment), 3G, 4G 또는 LTE(Long Term Evolution) 프로토콜과 같은 이동 데이터 프로토콜을 기반으로 한 네트워크, IR(Infra-Red) 통신 기술 및/또는 Wi-Fi를 통한 통신을 포함할 수 있지만, 이에 한정되는 것은 아니며, 무선, 유선 또는 이들의 조합일 수 있다. 또는, 이미징 기기는 이미지 데이터를 이동 가능한 객체 및/또는 캐리어에 제공할 수 있다. 이미지 데이터는 유선 또는 무선 연결을 통해 제공될 수 있다. 이동 가능한 객체 및/또는 캐리어는 이미지 데이터를 원격 제어기로 송신할 수 있다.
타깃 객체(160)는 사용자에 의해 선택될 수 있다. 타깃은 이미지 내의 디스플레이상에 표시될 수 있고, 디스플레이 스크린과의 사용자 상호작용을 통해 사용자에 의해 선택될 수 있다. 타깃은 사용자가 추가의 정밀조사 또는 추적을 위해 선택할 수 있는 이미지의 영역(region) 또는 구역(area)일 수 있다. 타깃은 환경 내의 객체일 수 있다. 타깃은 환경의 영역 또는 지역일 수 있다. 타깃은 주위와 시각적으로 구별될 수도 있고 그렇지 않을 수도 있다. 타깃은 정지된 타깃 또는 이동하는 타깃일 수 있다. 정지된 타깃은 환경 내에서 실질적으로 정지 상태로 있을 수 있다. 정지된 타깃의 예로는 풍경 특징물(예: 나무, 식물, 산, 언덕, 강, 시내, 작은 골짜기, 골짜기, 바위, 암석 등) 또는 인공 특징물(예: 건물, 건물, 도로, 교량, 기둥, 울타리, 움직이지 않는 차량, 표지판, 조명등). 정지된 타깃에는 대형 타깃 또는 소형 타깃을 포함할 수 있다. 어떤 예에서, 정지된 타깃은 구조체 또는 물체의 선택된 부분에 대응할 수 있다. 예를 들어, 정지된 타깃은 고층 빌딩의 특정 섹션(예: 최상층)에 대응할 수 있다. 다양한 실시예에서, 이미징 기기에 의해 이미지화되는 타깃(160)은 지리적 풍경(예: 산, 초목, 골짜기, 호수 또는 강), 건물, 차량(예: 항공기, 선박, 자동차, 트럭, 버스, 밴 또는 오토바이)과 같은 임의의 자연 또는 인공의 객체 또는 구조체를 포함할 수 있다.
타깃은 이동하는 타깃일 수 있다. 이동하는 타깃은 환경 내에서 이동할 수 있다. 이동하는 타깃은 항상 이동하거나, 일정 시간 동안 이동할 수 있다. 이동하는 타깃은 상당히 안정된 방향으로 이동하거나 방향을 바꿀 수 있다. 이동하는 타깃은 공중, 육상, 지하, 물 위나 물 속, 및/또는 우주에서 이동할 수 있다. 이동하는 타깃은 생물인 이동하는 타깃(예: 사람, 동물)이거나 생물이 아닌 이동하는 타깃(예: 이동하는 차량, 이동하는 기계, 바람에 불리거나 물에 의해 운반되는 물체, 살아있는 타깃에 의해 운반되는 물체)일 수 있다. 이동하는 타깃은 단일 이동 객체 또는 이동 객체 그룹을 포함할 수 있다. 예를 들어, 이동하는 타깃은 단일 인간 또는 움직이는 인간의 집단을 포함할 수 있다. 이동하는 타깃은 대형 타깃이거나 소형 타깃일 수 있다. 사용자는 이동하는 타깃을 선택할 수 있다. 이동하는 타깃은 공중에서(예: 고정익(fixed-wing) 항공기, 회전익(rotary-wing) 항공기 또는 고정익 또는 회전익이 없는 항공기), 물에서(예: 선박 또는 잠수함), 지상에서(예: 자동차, 트럭, 버스, 밴, 오토바이와 같은 모터 차량; 스틱(stick), 낚시대와 같은 가동 구조체 또는 프레임; 또는 기차), 지하에서(예: 지하철), 우주에서(예: 우주선, 위성 또는 프로브), 또는 이들 환경의 임의의 조합과 같은, 임의의 적절한 환경에서 이동하도록 구성된 모든 객체일 수 있다.
이동하는 타깃은 6 자유도(six degrees of freedom)(예: 병진 운동에서의 3 자유도와 회전에서의 3 자유도)에 대해 환경 내에서 자유롭게 이동할 수 있다. 또는, 이동 타깃의 움직임은 미리 정해진 경로, 트랙 또는 방향과 같은 하나 이상의 자유도에 대해 제한될 수 있다. 이동은 엔진 또는 모터와 같은 임의의 적절한 작동 메카니즘에 의해 작동될 수 있다. 이동하는 타깃의 작동 메커니즘은 전기 에너지, 자기 에너지, 태양 에너지, 풍력 에너지, 중력 에너지, 화학 에너지, 원자력 에너지 또는 이들의 임의의 적절한 조합과 같은, 임의의 적합한 에너지원에 의해 동력을 공급받을 수 있다. 이동하는 타깃은 아래에서 더 설명되는 바와 같이 추진 시스템을 통해 자체 추진(self-propelled)될 수 있다. 추진 시스템은 선택적으로 전기 에너지, 자기 에너지, 태양 에너지, 풍력 에너지, 중력 에너지, 화학 에너지, 원자력 에너지 또는 이들의 임의의 적절한 조합과 같은, 에너지원으로 작동할 수 있다.
어떤 예에서, 이동하는 타깃은 원격 제어되는 차량과 같은, 차량일 수 있다. 적합한 차량은 수상 차량, 공중 차량, 우주 차량 또는 지상 차량을 포함할 수 있다. 예를 들어 공중 차량은 고정익 항공기(예: 비행기, 글라이더), 회전익 항공기(예: 헬리콥터, 항공기), 고정익과 회전익이 모두있는 항공기 또는 둘다 없는 항공기(예: 소형 연식 비행선, 열기구)일 수 있다. 차량은 자체 추진될 수 있다(예: 공기, 물 위나 물속, 우주, 또는 땅 위나 아래에서 자체 추진됨). 자체 추진 차량은 하나 이상의 엔진, 모터, 휠, 차축, 자석, 로터, 프로펠러, 블레이드, 노즐 또는 이들의 임의의 적절한 조합을 포함하는 추진 시스템과 같은, 추진 시스템을 이용할 수 있다. 어떤 예에서, 추진 시스템은 이동 가능한 객체가 표면으로부터 이륙하고, 표면 상에 착륙하고, 그 현재 위치 및/또는 방위(예: 하버(hover))를 유지하고, 방위를 변경하고, 및/또는 위치를 변경하는 데 사용될 수 있다.
타깃은 사람 또는 동물과 같은 살아있는 객체를 포함할 수 있다. 타깃은 임의의 적합한 참조 프레임에 대해 이동 또는 정지될 수 있다. 참조 프레임은 상대적으로 고정된 참조 프레임(예: 주변 환경 또는 지구)일 수 있다. 또는, 참조 프레임은 이동 참조 프레임(예: 이동하는 차량)일 수 있다. 다양한 실시예에서, 타깃은 수동 타깃(passive target) 또는 능동 타깃(active target)을 포함할 수 있다. 능동 타깃은 타깃의 GPS 위치와 같은 타깃에 관한 정보를 이동 가능한 객체에 전송하도록 구성될 수 있다. 정보는 능동 타깃의 통신 유닛으로부터 이동 가능한 객체의 통신 유닛에, 무선 통신을 통해 이동 가능한 객체에 송신될 수 있다. 능동 타깃의 예로는 아군 차량, 건물, 병력 등이 포함될 수 있다. 수동 타깃은 타깃에 대한 정보를 전송하도록 구성되어 있지 않다. 수동 타깃의 예로는 중립 또는 적군 차량, 건물, 병력 등이 있다.
하나 이상의 타깃이 시야(170)에 보일 수 있다. 몇몇 경우에, 이미지 내에 표시된 타깃의 장소를 조정하거나 줌 레벨을 조정하면, 시야 또는 시야각이 변경될 수 있다. 시야는 이미징 기기의 다양한 특성 및 이미징 기기와 이미지화될 타깃과의 상대 위치에 기초하여 결정될 수 있다. 예를 들어, 렌즈 초점 길이 및 이미지 센서 크기는 시야와 이미징 기기로부터 타깃까지의 거리와의 고정된 관계를 설정한다. 시야는 카메라의 이미지 센서에서 캡처한 뷰 영역이다. 어떤 예에서, 이미징 기기의 시야(170)는 타깃의 선택에 응답하여 조정될 수 있다. UAV 및/또는 이미징 기기의 방위은 선택된 타깃에 기초하여 조정될 수 있다. 예를 들어, UAV 및/또는 이미징 기기의 방위는 이미징 기기의 시야의 중앙 영역 내에 타깃을 제공하도록 선택될 수 있다. 예에서, 타깃 방향은 중심점에 있을 수 있거나, 또는 타깃이 이미지의 중심 영역이나 근처에 표시될 수 있도록, 시야의 가로 방향 및/또는 세로 방향의 중심선을 따를 수 있다.
시스템(100)은 정지된 타깃의 이미지를 캡처하도록 구성될 수 있다. UAV는 이미지를 캡처하는 동안 정지된 타깃에 상대적으로 이동하거나 이동하지 않을 수 있다. 이미징 기기는 이미지를 캡처하면서 UAV에 대해 (선택적으로 캐리어의 도움으로) 이동하도록 구성되거나 구성되지 않을 수 있다.
시스템(100)은 이동하는 타깃의 이미지를 캡처하도록 구성될 수 있다. 어떤 경우에는 UAV가 이동하는 타깃을 추적하도록 구성될 수 있다. 추적은 비전 기반 추적(vision-based tracking), GPS 기반 추적 또는 이와 유사한 것일 수 있다. 시스템은 타깃의 이미지를 캡처하기 위한 다양한 비행 제어 모드를 포함할 수 있다. 다양한 모드는 비행 모드(fly-to mode) 및 추적 모드를 포함할 수 있다. UAV가 비행 모드에 있을 때, UAV는 타깃을 향해 날아가도록 구성될 수 있다. UAV가 추적 모드에 있을 때 UAV는 타깃을 추적하도록 구성될 수 있다. 추적 모드에 있을 때, UAV는 타깃과의 소정 거리를 유지하거나 타깃을 시야 내에 유지할 수 있으며 타깃을 향하여 날아갈 수도 있고 그렇지 않을 수도 있다.
시스템(100)은 원격 제어기(120)를 포함할 수 있다. 원격 제어기는 이동 가능한 객체, 캐리어 및/또는 이미징 기기를 제어하기 위한 제어 기기일 수 있다. 제어 기기는 이동 가능한 객체, 캐리어 및/또는 이미징 기기와 통신할 수 있다. 통신은 단방향 통신 또는 양방향 통신일 수 있다. 제어 기기는 이동 가능한 객체, 캐리어 및/또는 이미징 기기에 제어 신호를 전송할 수 있다. 제어 신호는 이미징 기기의 줌 레벨 및/또는 이동 가능한 객체의 위치에 영향을 줄 수 있다. 제어 신호는 이동 가능 객체에 대한 이미징 기기의 방향을 조정 또는 유지하기 위해 캐리어에 영향을 미칠 수 있거나, 또는 이동 가능 객체의 위치 및/또는 방향에 영향을 미칠 수 있다. 이동 가능한 객체(110)는 원격 제어기(120)로부터 제어 데이터를 수신하도록 구성될 수 있다. 원격 제어기는 제어 데이터를 제공하도록 구성된 원격 제어 단말기일 수 있다. 제어 데이터는 이동 가능한 객체의 양상을 직접 또는 간접적으로 제어하는 데 사용될 수 있다. 어떤 실시예에서, 제어 데이터는 이동 가능한 객체의 위치, 속도, 방위 또는 자세와 같은 이동 가능한 객체의 네이게이션 파라미터를 제어하기 위한 네비게이션 명령을 포함할 수 있다. 제어 데이터는 UAV의 비행을 제어하는 데 사용될 수 있다. 제어 데이터는 UAV의 비행에 영향을 미칠 수 있는 하나 이상의 추진 유닛(150)의 작동에 영향을 줄 수 있다. 다른 경우에, 제어 데이터는 이동 가능한 객체의 개별 구성요소를 제어하기 위한 명령을 포함할 수 있다. 예를 들어, 제어 데이터는 캐리어(140)의 동작을 제어하기 위한 정보를 포함할 수 있다. 예를 들어, 제어 데이터는 캐리어의 작동 메커니즘을 제어하여 이동 가능한 객체(110)에 대해 페이로드 이미징 기기(130)의 각운동 및/또는 선형 운동을 하게 한다. 다른 예로서, 제어 데이터는 페이로드없이 캐리어의 이동을 제어하는데 사용될 수 있다. 다른 예로서, 제어 데이터는 정지 화상 또는 동화상 촬영, 줌인 또는 아웃, 켜기 또는 끄기, 이미징 모드 전환, 이미지 해상도 변경, 초점 변경, 피사계 심도 변경, 노출 시간 변경, 렌즈 속도 변경, 시야각 또는 시야 변경 등의 페이로드에 대한 하나 이상의 작동 파라미터를 조정하는 데 사용될 수 있다. 다른 실시예에서, 제어 데이터는 이동 가능한 객체의 감지 시스템(도시되지 않음), 통신 시스템(도시되지 않음) 등을 제어하는데 사용될 수 있다.
어떤 실시예에서, 제어 데이터는 사용자 입력에 관한 정보에 기초하여 생성될 수 있다. 사용자 입력은 원격 제어기(120)에 의해 획득될 수 있다. 어떤 실시예에서, 원격 제어기는 이동 가능한 객체(110), 캐리어(140) 및/또는 이미징 기기(130)로부터 떨어지거나 멀리있거나 먼 곳에 위치할 수 있다. 원격 제어기는 지지 플랫폼상에 배치되거나 플랫폼에 부착된다. 또는, 원격 제어기는 핸드헬드형 또는 웨어러블형(handheld or wearable) 기기일 수 있다. 예를 들어, 원격 제어기는 스마트폰, 태블릿, 랩톱, 컴퓨터, 안경, 장갑, 헬멧, 마이크로폰 또는 이들의 적절한 조합을 포함할 수 있다.
원격 제어기는 디스플레이를 통해 이동 가능한 객체로부터 수신된 데이터를 표시하도록 구성될 수 있다. 표시된 데이터는 이동 가능한 객체가 가지고 있는 이미징 기기에 의해 획득된 이미지(예: 정지 이미지 및 비디오)와 같은 감지 데이터를 포함할 수 있다.
어떤 실시예에서, 원격 제어기는 이미지 내에 도시된 타깃을 나타내는 사용자 입력에 관한 정보를 획득하도록 구성될 수 있다. 사용자 입력은 입력 장치를 통해 수신될 수 있다. 입력 장치는 터치 스크린일 수 있다. 입력 장치는 또한 이미지를 표시하기 위한 디스플레이 기기일 수 있다. 사용자는 터치 스크린상의 영역을 터치함으로써 이미지 내에 보이는 타깃을 나타낼 수 있다. 다양한 다른 입력 장치가 사용자 입력을 수신하는 데 사용될 수 있다. 예를 들어, 입력 장치는 조이스틱, 키보드, 마우스, 스타일러스, 마이크로폰, 이미지 또는 움직임 센서, 관성 센서 등을 포함할 수 있다.
여기에서 기술된 바와 같이, 원격 제어기는 이동 가능한 객체 및/또는 이동 가능한 객체에 결합된 다른 구성요소를 제어하기 위해 사용자 입력을 수신하도록 구성될 수 있다. 수동으로 입력된 명령, 음성 제어, 제스처 제어 또는 (예: 단말기의 이동, 위치 또는 기울기를 통한) 위치 제어와 같은, 임의의 적절한 사용자 입력이 원격 제어기와 상호작용하는 데 사용될 수 있다. 예를 들어, 원격 제어기는, 조이스틱을 조작하거나, 제어 단말기의 방위 또는 자세를 변경하거나, 키보드, 마우스, 손가락 또는 스타일러스를 사용하거나 다른 적절한 방법을 사용하여 그래픽 사용자 인터페이스와 상호작용함으로써, 사용자가 이동 가능한 객체, 캐리어, 페이로드 또는 임의의 구성요소의 상태를 제어할 수 있도록 구성될 수 있다.
어떤 실시예에서, 타깃을 나타내는 사용자 입력에 관한 정보가 획득될 수 있다. 정보는 타깃이 보이는 디스플레이 내의 장소를 포함할 수 있다. 정보는 사용자가 터치 스크린을 터치하거나 탭하는 디스플레이 내의 장소를 포함할 수 있다. 정보는 타깃의 장소로부터 디스플레이 내의 미리 정해진 장소까지의 오프셋을 포함할 수 있다. 예를 들어, 사용자가 선택한 타깃은 디스플레이의 중심으로부터 벗어난 장소에 표시될 수 있다. 이 경우, 정보는 디스플레이의 중심으로부터 타깃의 위치의 오프셋을 포함할 수 있다.
어떤 실시예에서, 제어 데이터는 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여 생성될 수 있다. 어떤 실시예에서, 제어 데이터는 줌 레벨 또는 줌 계수를 더 포함할 수 있다. 제어 데이터는 이미징 기기의 줌 레벨 및 타깃에 대한 이미징 기기의 자세의 자동 제어를 수행하는 데 사용될 수 있다.
이미지 내의 미리 정해진 장소로부터 타깃의 위치 또는 오프셋에 적어도 부분적으로 기초하여, 미리 정해진 줌 레벨로 또는 미리 정해진 줌 계수의 조정에 의해, 타깃이 디스플레이 내의 미리 정해진 장소에 또는 그 근처에 표시되도록 실질적으로 조정되게 하는 제어 신호가 (예를 들어, 이동 가능한 객체에 탑재된 하나 이상의 프로세서에 의해) 생성될 수 있다. 어떤 실시예에서, 조정은 이미징 기기가 하나 이상의 이미지를 캡처함에 따라 실질적으로 실시간으로 수행될 수 있다. 어떤 실시예에서, 조정은, 이동 가능한 객체가 사용자 제공 네비게이션 커맨드(예: 호버링(hovering) 또는 이동) 및/또는 미리 정해진 네비게이션 경로를 실행함에 따라, 실질적으로 실시간으로 수행될 수 있다. 어떤 실시예에서, 조정은 이동 가능한 객체에 탑재된 하나 이상의 센서(예: 근접 센서, 또는 GPS 센서)에 의해 획득된 감지 데이터와 같은 다른 정보에 기초하여 생성될 수 있다. 예를 들어, 추적되는 타깃의 위치 정보는 근접 센서에 의해 획득될 수 있고 및/또는 타깃 자체(예: GPS 위치)에 의해 제공될 수 있다. 이러한 위치 정보는 조정을 생성하기 위해, 이미지 내의 오프셋 또는 이미지 내의 타깃의 장소에 사용될 수 있다.
상기 조정은 상기 이동 가능한 객체, 캐리어 및/또는 이미징 기기에 관한 것일 수 있다. 예를 들어, 조정은 이동 가능한 객체 및/또는 이미징 기기가 그 위치, 자세, 방위, 각속도 및/또는 선속도, 등을 변경하도록 할 수 있다. 조정은 캐리어가 1개, 2개, 3개 또는 그 이상의 축을 중심으로 또는 그와 같은 이동 가능한 객체에 대해 이미징 기기를 이동하게 할 수 있다. 또한, 조정은 줌, 초점 또는 이미징 기기의 다른 동작 파라미터에 대한 조정을 포함할 수 있다.
다양한 실시예에서, 타깃을 디스플레이 내의 미리 정해진 장소 또는 그 부근에 디스플레이하게 하는 조정은, 이동 가능한 객체, 캐리어, 이동 기기 또는 이들의 조합과 같은 하나 이상의 제어 가능한 객체의 자세를, 제어 신호를 통해 제어함으로써 달성될 수 있다. 어떤 실시예에서, 제어 가능한 객체는 조정을 구현하도록 선택될 수 있고, 대응하는 제어 신호는 제어 가능한 객체의 구성 또는 설정에 적어도 부분적으로 기초하여 생성될 수 있다. 예를 들어, 이미징 기기가 이동 가능한 객체에 견고하게 결합되어 이동 가능한 객체에 대해 움직일 수 없는 경우, 2개의 축(예: 요우 및 피치)을 중심으로 하는 회전을 포함하는 조정은 2개의 축을 중심으로 하는 이동 가능한 객체의 대응하는 회전에 의해서만 달성될 수 있다. 이는 이미징 기기가 이동 가능한 객체에 직접 연결되는 경우 또는 이미징 기기와 이동 가능한 객체 사이의 상대적인 이동을 허용하지 않는 캐리어를 통해 이미징 기기가 이동 가능한 객체에 결합되는 경우일 수 있다. 캐리어가 이미징 기기가 이동 가능한 객체에 대해 적어도 하나의 축을 중심으로 회전하는 것을 허용하는 경우, 동일한 2축 조정이 이동 가능한 객체와 캐리어 모두에 대한 조정을 결합함으로써 달성될 수 있다. 이 경우, 캐리어는 조정에 필요한 두 개의 축 중 하나 또는 두 개를 중심으로 한 회전을 구현하도록 제어될 수 있으며, 두 개의 축 중 하나 또는 두 개를 중심으로 한 회전을 구현하도록 이동 가능한 객체가 제어될 수 있다. 예를 들어, 캐리어는 나머지 축을 중심으로 한 회전이 이동 가능한 객체에 의해 달성되는 동안 조정을 위해 필요한 2개의 축 중 하나를 중심으로 이미징 기기가 회전하게 하는 1축 짐벌(one-axis gimbal)을 포함할 수 있다. 또는, 캐리어가 이미징 기기가 이동 가능한 객체에 대해 2개 이상의 축을 중심으로 회전하는 것을 허용하는 경우, 동일한 2축 조정이 캐리어만에 의해 달성될 수 있다. 예를 들어, 캐리어는 2축 또는 3축 짐벌을 포함할 수 있다.
어떤 실시예에서, 이미지 데이터의 줌 레벨 또는 줌 계수의 조정은 (예를 들어 이미징 기기가 필요한 줌 레벨을 지원하는 경우), 이미지 데이터의 줌인/아웃 레벨을 제어함으로써 (예를 들어, 타깃에 가까워지거나 멀어지도록), 또는 이미징 기기의 줌인/아웃과 이동 가능한 객체의 이동의 조합에 의해 수행될 수 있다. 이동 가능한 객체에 탑재된 프로세서는 조정할 객체 또는 객체의 조합을 결정할 수 있다. 예를 들어, 줌 레벨이 이미징 기기의 줌인 능력을 초과하는 경우, 이미징 기기의 줌을 조정하는 것 이외에, 이동 가능한 객체가 타깃에 더 가깝게 이동하도록 제어될 수 있다. 다른 예에서, 타깃 또는 이미지는 이동 가능한 객체를 타깃으로부터 멀리 이동시킬뿐만 아니라 이미징 기기의 줌 아웃 기능을 수행함으로써 결정된 계수에 의해 줌 아웃될 수 있다. 다른 예에서, 이동 가능한 객체와 이미징 기기의 줌 사이의 거리 조정이 빠른 줌인/아웃 효과를 달성하기 위해 수행될 수 있다. 이미징 기기의 줌은 광학 줌, 디지털 줌 또는 이들의 조합일 수 있다.
어떤 실시예에서, 조정은 다른 제약사항을 고려하여 구현될 수 있다. 예를 들어, 이동 가능한 객체의 네비게이션 경로가 미리 정해진 경우, 조정은 이동 가능한 객체의 움직임에 영향을 미치지 않고 캐리어 및/또는 이미징 기기에 의해 구현될 수 있다. 예를 들어 원격 사용자가 제어 단말기를 통해 이동 가능한 객체의 네비게이션을 능동적으로 제어하고 있거나 또는 이동 가능한 객체가 (예를 들어, 자율적으로 또는 반자동으로) 네비게이션 중이면, 이동 가능한 객체의 네비게이션 경로는 미리 저장될 수 있다.
다른 제약사항의 예는 이동 가능한 객체, 캐리어, 및/또는 페이로드(예: 이밍 기기)에 대한, 회전 각도, 가속도 및/또는 선속도, 작동 파라미터 등의 최대 및/또는 최소 제한을 포함할 수 있다. 이러한 최대 및/또는 최소 임계 값은 조정 범위를 제한하는 데 사용될 수 있다. 예를 들어, 특정 축을 중심으로 한 이동 가능한 객체 및/또는 이미징 기기의 각속도는 이동가능한 객체, 캐리어 및/또는 페이로드 (예: 이미징 기기)에 허용되는 최대 각속도로 제한될 수 있다. 다른 예로서, 이동 가능한 객체 및/또는 캐리어의 선속도는 이동 가능한 객체, 캐리어 및/또는 페이로드(예: 이미징 기기)에 허용되는 최대 선속도에 의해 제한될 수 있다. 또 다른 예로서, 이미징 기기의 초점 길이에 대한 조정은 특정 이미징 기기에 대한 최대 및/또는 최소 초점 길이에 의해 제한될 수 있다. 어떤 실시예에서, 이러한 제한은 미리 정해질 수 있고, 이동 가능한 객체, 캐리어 및/또는 페이로드(예: 이미징 기기)의 특정 구성에 의존한다. 어떤 경우에 이러한 구성은 (예를 들어 제조업체, 관리자 또는 사용자별로) 구성할 수 있다.
어떤 실시예에서, 이동 가능한 객체가 제공하도록 구성될 수 있고, 원격 제어기는 이동 가능한 객체에 탑재된 센서에 의해 획득된 감지 데이터와 같은 데이터를 수신하도록 구성될 수 있다. 감지 데이터의 예는 이동 가능한 객체가 가지고 있는 이미징 기기에 의해 획득된 이미지 데이터 또는 다른 센서에 의해 획득된 다른 데이터를 포함할 수 있다. 예를 들어, 실시간 또는 거의 실시간 비디오는 이동 가능한 객체 및/또는 이미징 기기로부터 원격 제어기로 스트리밍될 수 있다. 감지 데이터는 또한 GP) 센서, 움직임 센서, 관성 센서, 근접 센서 또는 기타 센서에 의해 획득된 데이터를 포함할 수 있다. 다양한 실시예에서, 이동 가능한 객체로부터 원격 제어기에 의해 수신된 데이터는 미가공 데이터(예: 센서에 의해 획득된 원시 감지 데이터) 및/또는 처리된 데이터(예: 이동 가능한 객체상의 하나 이상의 프로세서에 의해 처리된 정보 등를 포함할 수 있다.
이동 가능한 객체는 원격 제어기와 통신할 수 있다. 원격 제어기는 이동 가능한 객체의 페이로드 및/또는 이동 가능한 객체의 캐리어와 통신할 수 있으며, 캐리어는 페이로드를 지지하는 데 사용된다. 본 명세서에서 이동 물체와의 통신에 대한 모든 설명은 또한 이동 가능한 객체의 페이로드, 이동 가능한 객체의 캐리어, 및/또는 이동 가능한 객체의 하나 이상의 개별 구성요소(예: 통신 유닛, 네비게이션 유닛, 추진 유닛, 전원, 프로세서, 메모리 저장 유닛 및/또는 액추에이터)와의 통신에 적용될 수 있다.
이동 가능한 객체와 원격 제어기 사이의 통신은 무선 통신일 수 있다. 직접 통신이 이동 가능한 객체와 원격 제어기 사이에 제공될 수 있다. 직접 통신은 중간 기기 또는 네트워크를 필요로 하지 않고 이루어질 수 있다. 간접 통신은 이동 가능한 객체와 원격 제어기 사이에 제공될 수 있다. 간접 통신은 하나 이상의 중간 기기 또는 네트워크의 도움으로 발생할 수 있다. 예를 들어 간접 통신은 통신 네트워크를 이용할 수 있다. 간접 통신은 하나 이상의 라우터, 통신 타워, 위성 또는 기타 중간 기기 또는 네트워크의 도움으로 수행될 수 있다. 다양한 유형의 통신은 본 명세서의 다른 곳에서 설명된 방법을 포함할 수 있다.
원격 제어기는 임의의 유형의 외부 기기일 수 있다. 원격 제어기의 예로는 스마트폰/휴대폰, 태블릿, 개인용 정보 단말기(PDA), 랩톱 컴퓨터, 데스크톱 컴퓨터, 미디어 콘텐츠 플레이어, 비디오 게임 스테이션/시스템, 가상 현실 시스템, 증강 현실 시스템, 웨어러블 기기(예: 시계, 안경, 장갑, 헤드기어(모자, 헬멧, 가상 현실 헤드셋, 증강 현실 헤드셋, 머리 장착형 기기(HMD), 머리밴드), 펜던트, 완장, 다리 밴드, 신발, 조끼), 제스처 인식 기기, 마이크로폰, 이미지 데이터를 제공하거나 렌더링할 수 있는 임의의 전자 기기 또는 기타 유형의 기기를 포함할 수 있다. 원격 제어기는 핸드헬드형 객체일 수 있다. 원격 제어기는 휴대 가능할 수 있다. 원격 제어기는 사람 사용자가 휴대할 수 있다. 어떤 경우에는, 원격 제어기는 사람 사용자로부터 원격지에 위치할 수 있고, 사용자는 무선 및/또는 유선 통신을 사용하여 원격 제어기를 제어할 수 있다. 다양한 예 및/또는 원격 제어기의 특성이 본 명세서의 다른 곳에서보다 상세하게 제공된다.
원격 제어기는 하나 이상의 동작에 대한 명령을 제공할 수 있는 컴퓨터로 판독할 수 있는 비일시적인 매체를 실행할 수 있는 하나 이상의 프로세서를 포함할 수 있다. 원격 제어기는 코드, 로직, 또는 하나 이상의 동작을 수행하기 위한 명령어를 포함하는, 컴퓨터로 판독할 수 있는 비일시적인 매체를 포함하는 하나 이상의 메모리 저장 기기를 포함할 수 있다. 원격 제어기는 원격 제어기가 이동 가능한 객체와 통신하고 이미지 데이터를 수신할 수 있게 하는 소프트웨어 애플리케이션을 포함할 수 있다. 원격 제어기는 이동 가능한 객체와의 통신을 가능하게 하는 통신 유닛을 포함할 수 있다. 어떤 예에서, 통신 유닛은 단일 통신 유닛 또는 복수의 통신 유닛을 포함할 수 있다. 어떤 예에서, 원격 제어기는 단일 통신 링크 또는 복수의 상이한 유형의 통신 링크를 사용하여 이동 가능한 객체와 상호작용할 수 있다.
원격 제어기는 디스플레이를 포함할 수 있다. 디스플레이는 스크린일 수 있다. 디스플레이는 터치스크린일 수도 있고 아닐 수도 있다. 디스플레이는 발광 다이오드(LED) 스크린, OLED 스크린, 액정 디스플레이(LCD) 스크린, 플라즈마 스크린 또는 임의의 다른 유형의 스크린일 수 있다. 디스플레이는 그래픽 사용자 인터페이스(GUI)를 표시하도록 구성될 수 있다. GUI는 사용자가 UAV의 동작을 제어할 수 있는 이미지를 나타낼 수 있다. 예를 들어, 사용자는 이미지로부터 타깃을 선택할 수 있다. 타깃은 정지된 타깃 또는 이동하는 타깃일 수 있다. 사용자는 타깃 및/또는 방향을 정의하기 위해 이미지의 일부분(예: 포인트, 영역 및/또는 객체)을 선택할 수 있다. 사용자는 스크린(예: 터치 스크린)을 직접 터치하여 타깃을 선택할 수 있다. 사용자는 화면의 일부를 터치할 수 있다. 사용자는 화면상의 한 점을 터치하여 화면의 일부를 터치할 수 있다. 사용자는 사용자 상호작용 기기(예: 마우스, 조이스틱, 키보드, 트랙볼, 터치 패드, 버튼, 음성 명령, 제스처 인식, 자세 센서, 열 센서, 터치 커패시티브 센서 또는 기타 기기)를 사용하여 이미지의 일부를 선택하여, 타깃 및/또는 방향을 선택할 수 있다. 터치 스크린은 사용자의 터치의 위치, 터치의 길이, 터치의 압력, 및/또는 터치 동작을 검출하도록 구성될 수 있으며, 터치 방식은 사용자로부터의 특정 입력 명령을 나타낼 수 있다.
디스플레이상의 이미지는 이동 가능한 객체의 페이로드의 도움으로 수집된 뷰를 보여줄 수 있다. 예를 들어, 이미징 기기에 의해 수집된 이미지가 디스플레이상에 보여질 수 있다. 이것은 1인칭 시점(first person view, FPV)으로 간주될 수 있다. 어떤 경우에는 단일 이미징 기기가 제공될 수 있으며 단일 FPV가 제공될 수 있다. 또는, 상이한 시야를 갖는 다수의 이미징 기기가 제공될 수 있다. 여러 FPV 사이에 보기가 전환되거나 여러 FPV가 동시에 표시될 수 있다. 복수의 FPV는 상이한 시야를 가질 수 있는 상이한 이미징 기기에 대응할 수 있다(또는 이들에 의해 생성될 수 있다). 원격 제어기의 사용자는 타깃을 특정하기 위해 이미징 기기에 의해 수집된 이미지의 일부를 선택할 수 있다.
다른 예에서, 디스플레이상의 이미지는 이동 가능한 객체의 페이로드로부터의 정보의 도움으로 생성될 수 있는 지도를 표시할 수 있다. 지도는 선택적으로 스테레오 매핑 기술을 이용할 수 있는 복수의 이미징 기기(예: 우측 카메라, 좌측 카메라 또는 더 많은 카메라)의 도움으로 생성될 수 있다. 어떤 예에서, 지도는 환경에 대한 UAV, 환경에 대한 이미징 기기 및/또는 이미징 기기에 대한 UAV에 관한 위치 정보에 기초하여 생성될 수 있다. 위치 정보는 자세 정보, 공간 위치 정보(spatial location information), 각속도, 선속도, 각가속도 및/또는 선가속도를 포함할 수 있다. 지도는 본 명세서의 다른 곳에서보다 상세하게 기술된 바와 같이, 하나 이상의 추가 센서의 도움으로 선택적으로 생성될 수 있다. 지도는 2차원 지도 또는 3차원 지도일 수 있다. 뷰는 2차원 지도 뷰와 3차원 지도 뷰 사이에서 토글될 수 있거나, 2차원 지도 뷰와 3차원 지도 뷰가 동시에 표시될 수 있다. 원격 제어기의 사용자는 타깃을 특정하기 위해 지도의 일부분을 선택할 수 있다. 뷰는 하나 이상의 FPV와 하나 이상의 지도 뷰 간에 전환되거나 하나 이상의 FPV와 하나 이상의 지도 뷰가 동시에 표시될 수 있다. 사용자는 임의의 뷰를 사용하여 타깃 또는 방향을 선택할 수 있다. 사용자에 의해 선택된 부분은 타깃 및/또는 방향을 포함할 수 있다. 사용자는 기술된 바와 같은 임의의 선택 기술을 사용하여 부분을 선택할 수 있다.
어떤 실시예에서, 이미지는 원격 제어기(예: 가상 현실 시스템 또는 증강 현실 시스템) 상에 디스플레이되는 3D 가상 환경에서 제공될 수 있다. 3D 가상 환경은 선택적으로 3D 지도에 대응할 수 있다. 가상 환경은 사용자에 의해 조작될 수 있는 복수의 지점 또는 객체를 포함할 수 있다. 사용자는 가상 환경에서 다양한 동작을 통해 지점이나 객체를 조작할 수 있다. 이러한 동작의 예로는 하나 이상의 지점이나 타깃 선택, 드래그앤드롭, 번역, 회전, 회전, 스핀, 푸시, 풀, 줌인, 줌 아웃 등이 있다. 지점 또는 객체의 모든 유형의 이동 동작 3차원 가상 공간에서의 가상 공간이 고려될 수 있다. 원격 제어기의 사용자는 UAV의 비행 경로 및/또는 UAV의 동작 특성을 제어하기 위해 가상 환경에서 지점 또는 객체를 조작할 수 있다.
사용자 입력에 관한 정보는 타깃이 표시된 디스플레이 내의 위치를 포함할 수 있다. 사용자 입력에 관한 정보는, 타깃이 디스플레이 내의 미리 정해진 장소에 보이는, 장소의 오프셋을 포함할 수 있다. 오프셋의 위치는 타깃이 디스플레이 내의 미리 정해진 장소 또는 그 부근에 표시되게 하기 위해 타깃에 대해 이미징 기기의 자세의 자동 제어를 실시하는 데 사용될 수 있다. 도 2는 본 발명의 실시예에 따라, 타깃에 관한 정보를 사용하여 이미징 기기(230)의 자세를 제어하는 예를 도시한다.
디스플레이는 이미징 기기(230)로부터 캡처된 이미지를 보여 주도록 구성될 수 있다. 디스플레이는 원격 제어기에 의해 구성될 수 있다. 어떤 실시예에서, 디스플레이는 터치 스크린일 수 있다. 디스플레이는 원격 제어기에 동작 가능하게 결연결된 외부 기기에 의해 제공될 수 있다. 예를 들어, 원격 제어기는 사용자로부터 입력을 수신하도록 구성될 수 있는 적합한 모바일 애플리케이션 소프트웨어("앱")이다. 애플리케이션(220)은 이동 가능한 객체에 대한 제어 명령을 생성하는 데 사용되는 사용자 입력에 관한 정보를 획득하도록 구성될 수 있다. 어떤 경우에는, 이미지를 표시하고 사용자 입력을 수신하기 위한 그래픽 사용자 인터페이스가 제공될 수 있다. GUI는 소프트웨어, 소프트웨어 애플리케이션, 웹 브라우저 등에 제공될 수 있다. 이미징 기기의 줌 레벨 제어 및 타깃에 대한 이미징 기기의 자세 제어는 소프트웨어, 하드웨어, 또는 이들의 조합을 사용하여 구현될 수 있다. 하드웨어 또는 소프트웨어를 하나 이상의 컴퓨팅 기기에 구현할 수 있다.
캐리어(240)를 통해 이동 가능한 객체에 의해 휴대되는 이미징 기기(230)에 의해 캡처된 이미지(210)가 사용자에게 표시될 수 있다. 사용자 입력은 이미지(210)에 표시된 타깃(221)을 나타내는 하나 이상의 사용자 행위일 수 있다. 예를 들어, 사용자는 사용자에게 관심이 있는 영역을 나타내는 터치 스크린상의 스폿을 탭하거나 터치할 수 있다. 어떤 경우, 디스플레이의 영역은 타깃(221)을 나타낼 수 있다. 타깃은 사용자가 더 자세히 보고 싶어하는 객체 또는 구조체일 수 있다. 타깃은 사용자가 집중하고자 하는 객체 또는 구조체의 일부일 수 있다. 어떤 경우에, 사용자가 터치 스크린을 탭하는 것과 같은 동작을 수행하면, 사용자가 이미지 내의 디스플레이를 터치하는 장소 또는 장소의 좌표가 타깃의 장소로서 기록될 수 있다. 어떤 경우에는 타깃의 다른 장소를 타깃 장소로 사용할 수 있다. 예를 들어, 타깃의 그래픽 형상이 인식될 수 있고 타깃의 중심이 타깃의 위치로서 사용될 수 있다. 다양한 좌표계를 사용하여 위치를 정의할 수 있다. 예를 들어 좌표계는 이미지 좌표 또는 디스플레이 스크린 좌표일 수 있다. 좌표계의 원점은 이미지의 중심, 디스플레이 스크린의 중심, 이미지의 왼쪽 위 모서리 또는 디스플레이 스크린의 왼쪽 위 모서리와 같은 다양한 방법으로 정의할 수 있다. 애플리케이션(220)에 의해 제공되는 디스플레이상의 이미지 좌표들 및 이미징 기기(230)의 카메라 좌표들은 공지된 관계(예: 변환 매트릭스)로 매핑될 수 있다. 예를 들어, 이미지 평면의 xy 좌표는 광학적 특성(예: 초점 거리), 기하학적 특성(예: 기하학적 왜곡) 및 디지털 특성(예: 화소 크기)을 포함하는 카메라의 다양한 고유 파라미터에 및 카메라의 외적 매개 변수(예: 세계 프레임에 대한 카메라의 위치 및 방위)에 기초하여 카메라 좌표 X-Y로 매칭될 수 있다. 어떤 경우에, 이미지 좌표에서 카메라 좌표로의 변환은 이미지 평면에서의 병진 오프셋이 이미징 기기의 자세 조정에 매핑되도록 실시간으로 계산될 수 있다.
타깃의 장소는 이미지의 어디에나 위치할 수 있다. 장소는 원하는 장소 (u0, v0)로부터 오프셋되거나 오프셋될 수 있다. 원하는 장소는 이미지의 중심 또는 디스플레이 스크린의 중심과 같은 미리 정해진 장소일 수 있다. 예를 들어, 이미지의 너비가 W 화소이고 높이가 H 화소라고 가정하면, 원하는 장소는 
, 및/또는 
과 같은 이미지 중심 근처일 수 있다. 원하는 장소는 이미지의 중심이 될 수도 있고 그렇지 않을 수도 있다. 원하는 장소는 사용자 정의될 수 있다. 예를 들어, 사용자는 사용자 선호도에 따라 타깃을 보기 위한 원하는 장소를 설정할 수 있다.
어떤 경우에는, 타깃 (u, v)의 장소와 원하는 장소 (u0, v0) 사이의 오프셋이 계산되고 이미징 기기의 자세를 제어하는 데 사용되어 디스플레이 스크린 내의 원하는 장소나 근처에 타깃을 가져올 수 있다. 어떤 실시예에서, 이미지 좌표에 있어 타깃 장소로부터 원하는 장소까지의 오프셋은 하나 이상의 축을 중심으로 이미징 기기의 하나 이상의 회전 운동을 도출하는 데 사용될 수 있다. 회전 운동은 회전 후에 타깃이 디스플레이 스크린상의 원하는 장소나그 근처에 위치되도록 타깃에 대해 이미징 기기의 자세를 조정할 수 있다. 타깃에 대한 이미징 기기의 자세는 다양한 컴퓨터 비전 방법을 사용하여 이미지 평면과 카메라 좌표 간의 변환 관계에 기초하여 결정될 수 있다. 예를 들어, 이미징 기기의 광학적, 기하학적 및 디지털 특성, 카메라 프레임으로부터 화소 좌표로의 변환 및 카메라 프레임으로부터 월드 프레임으로의 변환을 특징짓는 고유 파라미터가 이미지 평면의 좌표를 이미징 기기의 자세 각에 매핑시키는 데 사용될 수 있다.
회전 운동은 회전 후에 타깃이 디스플레이 스크린상의 원하는 장소나 그 근처에 위치하도록 타깃에 대해 이미징 기기의 자세를 조정할 수 있다. 몇몇 경우에있어서, 이미징 기기의 병진 운동은 이미징 기기의 타깃에 대한 자세를 조정할 수 있다. 어떤 경우에는, 이미징 기기의 병진 운동과 회전 운동의 조합은 이미징 기기의 타깃에 대한 자세를 조정할 수 있다. 타깃에 대한 이미징 기기의 자세는, 이동체에 대한 이미징 기기의 자세, 타깃에 대한 이동 가능한 객체의 자세, 또는 이미징 기기의 이동 가능한 객체에 대한 자세, 이동 가능한 객체의 타깃에 대한 자세, 또는 이미징 기기의 자세 및 이동 가능한 객체의 자세 모두를 조정함으로써 자동으로 조정될 수 있다.
어떤 경우에, 타깃은 이미징 기기가 고정된 자세이면서 이미징 기기에 대해 이동할 수 있다. 이러한 경우에, 이미징 기기의 자세를 조정하기 위한 회전 운동은 이미징 기기에 대한 타깃의 상대 이동을 고려할 수 있다. 예를 들어, 이미징 기기 및 이동 가능한 객체는 자동 추적 모드에 있을 수 있다. 원래의 추적된 객체는 사용자가 지정한 타깃과 다를 수 있다. 이 경우에, 사용자가 타깃을 나타내는 제스처를 입력하면, 이미징 기기 및 이동 가능한 객체는 디스플레이상에 미리 정해진 장소치에 타깃이 표시(예: 중앙)되도록 이미징 기기의 자세 및 줌 레벨을 자동으로 조정할 수 있는하면 추적할 수도 있고 추적하지 않을 수도 있다.
타깃에 대한 이미징 기기의 자세는 이미징 기기에 대한 회전 운동 및/또는 병진 운동에 의해 조정될 수 있다. 회전 운동은 하나 이상의 축(예: 롤 축, 피치 축 또는 요우 축)일 수 있다. 이미징 기기에 대한 회전 이동은 이동 가능 객체 및 캐리어에 대한 조정을 통해 집합적으로 또는 개별적으로 달성될 수 있다. 1개, 2개, 3개 또는 그 이상의 축을 중심으로 하는 회전은 이동 가능한 객체의 회전, 이동 가능한 객체에 대한 캐리어를 통한 이미징 기기의 회전, 또는 양자의 조합에 의해 달성될 수 있다. 병진 운동은 하나, 둘, 셋 또는 그 이상의 축을 따라 이루어질 수 있다. 이미징 기기에 대한 병진 운동은 이동 가능 객체 및 캐리어에 대한 조정을 통해 집합적으로 또는 개별적으로 달성될 수 있다. 1개, 2개, 3개 또는 그 이상의 축을 따른 병진 운동은 타깃에 대한 이동 가능한 객체의 병진 운동, 이동 가능한 객체에 대한 캐리어를 통한 이미징 기기의 병진 운동 또는 양자의 조합에 의해 달성될 수 있다. 어떤 실시예에서, 이미징 기기의 회전 운동 및 병진 운동 모두의 조합이 타깃에 대한 이미징 기기의 자세를 조정하도록 수행될 수 있다.
어떤 실시예에서, 이동 가능한 객체는 피치 축, 요우 축 및 롤축과 같은 3개의 직교 축을 중심으로 회전할 수 있다. 이동 가능한 타깃은 타깃에 대해 병진 운동 또는 선속도를 갖도록 제어될 수 있다. 이미징 기기는 캐리어를 통해 이동 가능한 객체에 결합될 수 있다. 캐리어는 이미징 기기가 최대 3개의 직교 축을 중심으로 이동 가능한 객체에 대해 이동하게 할 수 있다. 캐리어는 이미징 기기가 이동 가능한 객체에 대해 회전 및 병진 운동을 수행하게 할 수 있다. 따라서, 이미징 기기의 자세는 이동 가능한 객체 및 캐리어에 대한 조정을 통해 집합적으로 또는 개별적으로 조정될 수 있다.
어떤 실시예에서, 이미징 기기의 줌 레벨은 또한 타깃을 나타내는 사용자 입력에 응답하여 자동으로 조정된다. 어떤 경우에는, 이미징 기기의 줌 레벨이 이미징 기기의 자세에 대한 조정과 동시에 조정된다. 예를 들면, 이미징 기기를 자세 회전시켜서 디스플레이상의 미리 정해진 장소에 타깃을 표시시키는 동시에, 이미징 기기의 광학 줌이나 디지털 줌을 수행하여, 타깃이 미리 정해진 장소로 이동되게 하고, 타깃의 크기 또한 미리 정해진 줌 계수만큼 확대되도록 한다. 어떤 경우에, 광학 줌을 사용할 때 줌 레벨을 조정할 때보다 이미징 기기의 자세를 조정하는 것이 더 빠를 수 있다. 이 경우, 이미징 기기의 자세가 캐리어를 통해 조정되는 동안, 디지털 줌이 수행될 수 있다. 이미지의 줌 레벨은 자세 제어 중에 디지털 줌에 의해 원하는 줌 레벨 또는 미리 정해진 줌 계수에 의해 증가될 수 있다. 그런 다음 원하는 줌 레벨에 도달하면, 결국 광학 줌이 원하는 수준이 될 때까지 광학 줌이 증가하는 동안 디지털 줌이 감소될 수 있으며, 디지털 줌은 다시 원래대로 돌아가지 않는다. 어떤 경우에, 자세 조정 후에 이미징 기기의 줌 레벨이 조정된다. 다른 경우에는, 이미징 기기의 줌 레벨은 자세 조정 전에 조정된다.
이미징 기기의 줌 레벨은 이미징 기기의 줌 파라미터를 조정함으로써 제어될 수 있다. 예를 들어, 이미징 기기의 줌 계수는 광학 줌 및 디지털 줌에 의해 집합적으로 또는 개별적으로 조정될 수 있다. 줌 레벨은 타깃으로부터 이미징 기기까지의 거리를 조정함으로써 제어될 수 있다. 예를 들어, 이동 가능한 객체는 줌인 효과를 위해 타깃에 더 가깝게 이동하고 줌 아웃 효과를 위해 타깃으로부터 멀리 이동할 수 있다. 줌 레벨은 이미징 기기의 줌과 타깃으로부터의 이미징 기기의 거리의 조합을 조정함으로써 제어될 수 있다. 다양한 방법으로 조합을 결정할 수 있다. 예를 들어, 원하는 줌 레벨이 이미징 기기의 능력을 초과하면, 이미징 기기의 줌이 먼저 수행될 수 있고, 이동 가능한 객체는 원하는 줌 레벨을 달성하기 위해 타깃에 더 가깝게 또는 더 멀리 이동할 수 있다. 다른 예에서, 이미징 기기의 줌 및 이미징 기기와 타깃 간의 거리를 변경하는 것은 줌 레벨이 순차적인 성능보다 더 빨리 도달될 수 있도록, 실질적으로 동시에 수행될 수 있다.
어떤 실시예에서, 이미징 기기의 줌 레벨은 이리 정해진 계수에 의해 자동으로 조정된다. 어떤 실시예에서, 미리 정해진 계수는 줌인 계수이다. 또는, 이미징 기기의 줌 레벨은 자동으로 조정되어 미리 정해진 줌 레벨을 얻는다. 예를 들어, 디스플레이상에 표시된 타깃을 나타내는 사용자 입력에 응답하여, 원하는 장소 또는 그 부근(예: 디스플레이의 중심)에 위치하는 것 이외에도, 타깃은 사용자가 타깃의 더 자세히 볼수 있도록 미리 전해진 줌인 계수로 확대될 수도 있다. 미리 정해진 줌인 계수는 사용자에 의해 설정될 수 있다. 확대 계수는 1.1x, 1.5x, 2x, 3x, 4x, 5, 6x, 10x, 20x 등과 같은 다양한 숫자일 수 있다. 사용자는 이미징 기기를 작동시키기 전, 이미징 기기의 작동 중에, 또는 필요에 따라 임의의 다른 적절한 시간과 같은, 임의의 시간에 미리 정해진 계수를 설정할 수 있다. 어떤 경우에, 초점 길이, 줌 능력 또는 최적의 이미지 품질과 같은 이미징 기기의 다양한 특성을 기반으로 소프트웨어에 의해 디폴트 줌인 계수를 제공할 수 있다. 어떤 경우에, 사용자가 디폴트 줌인 계수를 제공할 수 있다. 예를 들어, 사용자는 원격 제어기에 제공된 애플리케이션을 통해 디폴트 줌인 계수를 선택하거나 입력할 수 있다.
어떤 실시예에서, 원격 제어기는 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 이동 가능한 객체 중 적어도 하나와 통신하도록 구성된 통신 유닛을 더 포함할 수 있다. 통신 유닛은 이미징 기기의 줌 레벨 및 타깃에 대한 이미징 기기의 자세의 자동 제어를 달성하기 위해 데이터를 송신하도록 구성될 수 있다. 도 3은 원격 제어기로부터 이동 가능한 객체, 캐리어 또는 이미징 기기로의 데이터 전송의 개략적인 블록도를 도시한다.
전술한 바와 같이, 데이터는 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여 생성될 수 있다. 사용자 입력(310)은 터치 스크린상의 탭 또는 터치와 같은 간단한 사용자 행위일 수 있다. 어떤 실시예에서, 사용자 입력은 단일 사용자 행위일 수 있다. 단일 사용자 행위는 마우스의 단일 클릭, 스타일러스의 탭, 터치스크린상의 단일 스와이프(single swipe) 등과 같은 입력 기기에 대한 단일 행위를 포함할 수 있다. 단일 사용자 행위는 단일 터치 제스처가 될 수 있다. 단일 제스처는 터치스크린에 대한 단일 입력일 수 있다. 단일 제스처는 사용자에 의한 단일 행위를 포함할 수 있다. 사용자에 의한 단일 행위는 실질적으로 단일 방향일 수 있거나 복수의 방향일 수 있다. 단일 사용자 행위는 사용자의 한 손을 사용하여 수행할 수 있다. 단일 사용자 행위는 단일 손가락 또는 복수의 손가락을 사용하여 달성될 수 있다. 복수의 손가락을 동시에 사용할 수 있다. 단일 사용자 행위는 짧은 시간 내에 수행될 수 있다. 예를 들어, 단일 사용자 행위는 약 5초, 3초, 2초, 1초, 0.5초, 0.1초 또는 0.01초 이내에 수행될 수 있다. 제공된 시스템 및 장치를 사용하여 사용자는 선택한 타깃을 위치 지정하고 주밍하는 단일 사용자 행위를 수행할 수 있다. 사용자 입력은 촉각 입력(haptic input)일 수 있다. 사용자 입력은 터치 스크린의 한 영역상의 탭, 타깃을 원하는 장소로 드래그하는 것, 지시기(indicator)를 드래그하여 타깃의 상부에 드롭하는 것 등과 같은 임의의 적합한 형태일 수 있다. 탭은 단일탭, 더블탭, 딥 터치, 라이트 터치, 단일포인트 터치, 멀티포인트 터치 및 사용자가 정의하거나 정의하지 않을 수 있는 다양한 기타 행위일 수 있다. 깊은 터치는 압력의 정도가 임계 값을 초과하는 터치일 수 있다. 긴 터치는 시간 길이가 임계 값을 초과하는 터치일 수 있다. 사용자는 터치 스크린상에 표시된 타깃을 탭할 수 있고, 디스플레이 스크린 내의 타깃의 장소를 포함하는 정보가 획득될 있다. 어떤 경우, 정보는 이미징 기기(330)의 줌 레벨 및 타깃 (340)에 대한 이미징 기기의 자세의 자동 제어를 실시하기 위한 데이터를 생성하는 데 사용될 수 있다.
데이터는 (a) 이미징 기기의 줌 레벨 및 (b) 타깃에 대한 이미징 기기의 자세를 제어하기 위한 제어 데이터일 수 있다. 제어 데이터는 실질적으로 동시에 (a) 및 (b)의 제어를 수행할 수 있다. 제어 데이터는 사용자가 선택한 타깃의 좌표를 포함할 수 있다. 이미지 내의 선택된 타깃의 좌표는 타깃에 대한 이미징 기기의 자세를 조정하기 위한 회전 각도를 생성하는 데 사용될 수 있다. 또는, 제어 데이터는 선택된 타깃의 현재 위치와 미리 정해진 위치 사이의 오프셋을 포함할 수 있다. 제어 데이터는 오프셋에 대응하는 회전 각을 포함할 수 있다. 타깃의 좌표에 기초하여 이미징 기기의 회전 각도를 얻는 것에 대한 자세한 것은 도 11에서 더 논의된다. 회전 각도를 포함하는 데이터는 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 회전 각도만큼 이미징 기기의 자세를 조정하기 위한 이동 가능한 객체에 송신될 수 있다. 회전 각도는 캐리어 및/또는 이동 가능한 객체의 하나 이상의 액추에이터에 대한 제어 명령을 생성하는 데 사용될 수 있다. 제어 데이터는 이미징 기기의 줌 레벨을 자동으로 조정하기 위한 미리 정해진 계수를 포함할 수 있다. 제어 데이터는 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 이동 가능한 객체에 송신되는 명령을 포함할 수 있다. 제어 데이터는 광학 줌 제어 및/또는 디지털 줌 제어를 통해 이미징 기기의 줌 레벨을 제어하기 위한 명령을 포함할 수 있다.
제어 데이터는, 이미징 기기의 자세를 조정하기 위한 정보로서, 선택된 타깃의 장소와 미리 정해진 장소 사이의 오프셋, 디스플레이상의 선택된 타깃의 좌표, 및 오프셋에 대응하는 회전 각도 중 적어도 하나를 포함하는 이미징 기기의 자세를 조정하기 위한 정보를 포함할 수 있다. 제어 데이터는 또한 원하는 줌 레벨, 줌 레벨이 조정되는 미리 정해진 줌 계수 중 적어도 하나를 포함하는 이미징 기기의 줌 레벨을 조정하기 위한 정보를 포함할 수 있다.
데이터는 이미징 기기, 이미징 기기를 제어하는 캐리어, 또는 이동 가능한 객체 중 적어도 하나에 대한 명령을 포함할 수 있다. 명령은 이미징 기기의 줌 레벨 및 타깃에 대한 이미징 기기의 자세를 제어하는 것일 수 있다. 타깃에 대한 이미징 기기의 자세 제어는 이동 가능한 객체, 및/또는 전술한 캐리어의 이동을 실시함으로써 달성될 수 있다. 이미징 기기의 줌 레벨(예: 광학 줌 및/또는 디지털 줌)의 제어는 이미징 기기의 줌 레벨을 조정함으로써, 및/또는 이미징 기기로부터 타깃까지의 거리를 조정함으로써(예: 이동 가능한 객체를 이동시킴) 달성될 수 있다.
어떤 실시예에서, 데이터는 원격 제어기에 탑재된 하나 이상의 프로세서에 의해 생성될 수 있다. 일례에서, 데이터는 자세가 이미지 내의 미리 정해진 위치에의 타깃의 표시에 대응하는 이미징 기기의 각도 또는 타깃 자세를 포함할 수 있고, 이미징 기기의 자세 각도는 이동 가능한 객체에 탑재된 하나 이상의 프로세서에 의해 상기 캐리 및/또는 이동 가능한 객체에 대해 제어 커맨드를 생성하는 데 사용될 수 있다. 다른 예에서, 데이터는 캐리어 및/또는 이동 가능한 객체의 하나 이상의 회전 각도 또는 병진 운동을 포함할 수 있고, 회전 각도 또는 병진 운동은 이동 가능한 객체에 탑재된 하나 이상의 프로세서에 의해 캐리어 및/또는 이동 가능한 객체에 대해 제어 커맨드를 생성하는데 사용될 수 있다. 또 다른 예에서, 데이터는 이미지 내의 타깃의 좌표를 포함할 수 있으며, 타깃이 이미지 내의 미리 정해진 장소에 표시되게 하기 위한 캐리어 및/또는 이동 가능한 객체의 이동은 이동 가능한 객체에 탑재된 하나 이상의 프로세서에 의해 결정될 수 있다. 캐리어 및/또는 이동 가능한 객체의 하나 이상의 액추에이터에 대한 제어 명령은 이동에 기초하여 생성될 수 있다. 또한, 데이터는 이미징 기기의 줌 레벨을 자동으로 조정하기 위한 미리 정해진 계수를 포함할 수 있다.
원격 제어기에 의해 생성된 데이터는 타깃 및 이미징 기기의 줌 레벨에 대한 이미징 기기의 자세의 자동 제어를 달성하는 데 사용될 수 있다. 데이터는 이미지 내의 타깃의 장소뿐만 아니라 줌 계수와 같은 미리 정해진 계수를 포함할 수 있다. 데이터는 캐리어 및/또는 이동 가능한 객체의 하나 이상의 액추에이터에 대한 제어 커맨드를 생성하는 데 사용될 수 있다. 어떤 경우에, 이동 가능한 객체에 대한 제어 명령은 이동 가능한 객체의 하나 이상의 추진 유닛을 제어하기 위한 비행 제어기에 의해 생성될 수 있다. 어떤 경우에, 캐리어에 대한 제어 명령은 캐리어의 하나 이상의 액추에이터(예: 모터)를 제어하기 위한 캐리어용 제어 유닛에 의해 생성될 수 있다. 제어 유닛은 비행 제어기에 포함되거나 포함되지 않을 수 있다. 어떤 경우에, 이미징 기기에 대한 제어 명령은 이미징 기기의 줌 모터를 제어하기 위해 이미징 기기의 하나 이상의 프로세서에 의해 생성될 수 있다. 비행 제어기, 캐리어용 제어 유닛 또는 이미징 기기용 프로세서는 이동 가능한 객체상에, 캐리어상에, 이미징 기기상에 및/또는 외부 기기 또는 네트워크상에 제공될 수 있다. 비행 제어기는 하나 이상의 프로세서를 포함할 수 있다.
비행 제어기는 이동 가능한 객체의 비행을 제어할 수 있다. 선택적으로, 비행 제어기는 이동 가능한 객체의 하나 이상의 추진 유닛에 제공될 하나 이상의 비행 명령을 생성할 수 있다. 비행 제어기는 이동 가능한 객체의 하나 이상의 추진 유닛과 통신할 수 있다.
하나 이상의 센서로부터의 정보는 비행 제어기에 제공될 수 있다. 예를 들어, 하나 이상의 IMU 세트로부터의 정보가 비행 관제사에게 제공될 수 있다. 하나 이상의 IMU 세트는 이동 가능한 객체에 탑재, 캐리어에 탑재 및/또는 페이로드에 탑재될 수 있다. IMU로부터의 데이터는 이동 가능한 객체, 캐리어 및/또는 페이로드의 위치 정보를 나타낼 수 있다. 비행 관제사는 UAV의 비행 제어에 하나 이상의 센서의 정보를 선택적으로 사용할 수 있다. 선택적으로, 하나 이상의 센서로부터의 정보는 UAV 및/또는 그 환경에 대한 이미징 기기의 위치를 제어하는 데 사용될 수 있다.
비행 제어기는 타깃에 대한 이동 가능한 객체의 자세를 제어할 수 있다. 비행 제어기는 타깃에 대한 이동 가능한 타깃의 자세 또는 방위(예: 진행 방향)가 제어될 수 있도록 이동식 타깃의 하나 이상의 추진 유닛에 제어 명령을 생성할 수 있다.
비행 제어기는 사용자 단말기로부터 정보를 수신할 수 있다. 비행 제어기는 타깃 및/또는 방향의 사용자 선택을 나타내는 정보를 수신할 수 있다. 비행 제어기는 타깃 및/또는 방향의 선택에 응답하여 UAV의 비행 경로 및/또는 제어 비행을 생성할 수 있다.
타깃에 대한 이미징 기기의 자세 제어를 달성하기 위한 데이터는 캐리어에 대한 명령을 포함할 수 있다. 데이터는 캐리어의 이동을 수행하기 위한 제어 명령을 생성하는 데 사용될 수 있다. 어떤 경우에는, 캐리어의 하나 이상의 액추에이터를 제어하기 위한 제어 명령이 캐리어의 제어 유닛에 의해 생성될 수 있다. 어떤 실시예에서, 캐리어에 의해 지지되는 이미징 기기가 이동 가능한 객체에 대한 상대적인 이동을 할 수 있도록, 캐리어의 하나 이상의 프레임 구성요소가 서로에 대해 이동하도록 제어될 수 있다. 캐리어를 통한 이미징 기기의 자세 제어에 관한 세부 사항은 본 명세서의 다른 곳에서 설명된다.
또한, 데이터는 이미징 기기의 줌 레벨의 자동 제어를 달성하기 위한 미리 정해진 계수를 포함할 수 있다. 미리 정해진 계수는 줌인 계수일 수 있다. 어떤 경우에, 미리 정해진 계수는 이미징 기기의 초점 길이를 조정하도록 이미징 기기의 하나 이상의 줌 모터에 대한 제어 커맨드를 생성하는 데 사용되어, 미리 정해진 계수가 달성될 수 있도록 한다
어떤 실시예에서, 데이터는 디스플레이상에 표시된 타깃의 크기 및 디스플레이상에 표시된 타깃의 위치의 자동 제어를 실시하기 위해 생성될 수 있다. 타깃의 위치에 대한 제어의 실시는 위에서 이미 기술하였다. 어떤 실시예에서, 디스플레이상에 표시된 타깃의 크기의 달성은, 이미징 기기의 줌 레벨, 타깃에서 이미징 기기까지의 거리, 또는 이미징 기기의 줌 레벨과 타깃에서 이미징 기기까지의 거리 모두를 자동으로 제어함으로써 달성될 수 있다. 예를 들어, 타깃의 크기를 확대하기 위해, 이미징 기기의 줌 모터를 제어하여 이미징 기기의 초점 거리를 조정할 수 있거나, 이동 가능한 객체를 타깃쪽으로 이동시켜 거리를 감소시킬 수 있다.
어떤 실시예에서, 데이터는 이동 가능한 객체과 타깃 사이의 거리가 조정될 수 있도록, 타깃에 대해 이동식 타깃을 이동시키기 위한 제어 커맨드를 생성하는 데 사용될 수 있다. 제어 커맨드는 이동 가능한 객체의 하나 이상의 추진 유닛을 제어하기 위해 비행 제어기에 의해 생성될 수 있다. 비행 제어기는 이동 가능한 객체와 타깃 사이의 거리가 제어될 수 있도록 이동 가능한 객체의 이동을 제어할 수 있다. 비행 제어기는 선택적으로 이동 가능한 객체에 대한 비행 경로를 생성할 수 있다. 비행 경로는 타깃 객체를 향하여 있을 수 있다. 어떤 실시예에서, 비행 경로는 정지된 물체를 향하여 있을 수 있다. 비행 경로는 선택적으로 이동 객체 쪽으로 향할 수 있지만, 객체가 움직이는 동안 방향 및/또는 경로가 변경될 수 있다. 또는 이동 객체에 대한 비행 경로가 생성되지 않다. 비행 경로는 타깃 방향으로 향하는 것을 포함할 수 있다. 어떤 실시예에서, 이미징 기기의 자세 및 이미징 기기의 줌 레벨을 제어하기 위한 명령을 모두 포함하는 데이터는 이미징 기기, 이미징 기기를지지하는 캐리어 또는 이동 가능한 객체(320) 중 적어도 하나에 송신될 수 있다. 예를 들어, 데이터는 원격 제어기로부터 이동 가능한 객체의 통신 유닛에 송신될 수 있으며, 줌 레벨을 제어하기 위한 명령은 추가로 이동 가능한 객체에서 이미징 기기로 송신될 수 있다. 유사하게, 이동 가능한 객체의 자세를 실현하기 위한 명령을 포함하는 데이터는 이미징 기기에 의해 중계된 다음 이동 가능한 객체에 탑재 된 제어기에 전송될 수 있다. 어떤 실시예에서, 이미징 기기의 줌 레벨을 제어하기위한 명령을 포함하는 데이터는 이미징 기기로 송신될 수 있는 반면, 자세를 제어하기 위한 명령은 이동 가능한 객체 및/또는 캐리어에 송신될 수 있다. 원격 제어기에 의해 송신되어 제공되는 제어 데이터는 하나 이상의 이동 가능한 객체, 캐리어 또는 이미징 기기의 상태를 제어하도록 구성될 수 있다. 대안으로 또는 조합하여, 캐리어 및 이미징 기기는 또한, 원격 제어기가 이동 가능한 객체, 캐리어 및 이미징 기기 각각과 통신하고 제어할 수 있도록, 원격 제어기와 통신하도록 구성된 통신 유닛을 각각 포함할 수 있다.
도 4는 실시예에 따라 이동 가능한 객체(410)를 제어하기 위한 예시적인 원격 제어기(420)를 도시한다. 원격 제어기는 UAV와 같은 이동 가능한 객체에 결합 된 이미징 기기 또는 이미지 센서에 의해 캡처된 이미지 데이터와 같은 감지 데이터를 표시하기 위한 디스플레이(430)를 포함한다. 이미지 데이터는 이동 가능한 객체 상의 이미징 기기 또는 이미지 센서에 의해 캡처된 이미지를 포함할 수 있다. 이미지는 사용자가 미리 정해진 장소에 그리고 이미지 내의 원하는 줌 레벨로 보기를 원할 수 있는 하나 이상의 타깃을 포함할 수 있다. 타깃은 디스플레이(420) 내에 디스플레이될 수 있다. 타깃을 나타내는 사용자 입력은 이동 가능한 객체 및/또는 이미징 기기를 제어하기 위한 제어 데이터를 생성하는 데 사용될 수 있다.
원격 제어기(420)는 하나 이상의 디스플레이(430)를 포함할 수 있다. 디스플레이는 터치 감지형 디스플레이 스크린일 수 있다. 터치 감지형 스크린은 스크린 내에 디스플레이된 타깃을 나타내는 사용자 입력을 수신하도록 구성될 수 있다. 디스플레이는 사용자에게 이미지를 표시하도록 구성될 수 있다. 화상은 이동 가능한 객체 또는 이미징 기기로부터 송신될 수 있다. 터치 감지형 디스플레이 스크린은 햅틱(haptic) 및/또는 촉각(tactile) 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감지형 표면, 센서 또는 센서 세트를 가질 수 있다. 터치 감지형 디스플레이 스크린 및 임의의 관련 구성요소는 터치 감지형 디스플레이 스크린상의 접촉 (및 임의의 이동 또는 접촉의 중단)을 검출할 수 있고, 검출된 접촉을 터치 감지형 스크린상에 표시되는 사용자 인터페이스 객체(예: 사용자에게 관심이 있을 타깃 또는 영역)와의 상호작용으로 변환할 수 있다.
터치 감지형 디스플레이 스크린은 용량성, 저항성, 적외선 및 표면 탄성파 기술을 포함하지만 이에 한정되지 않는, 현재 공지되거나 추후 개발될 복수의 접촉 감지 기술 중 임의의 기술을 사용하여, 접촉 및 임의의 이동 또는 그 중단을 검출할 수 있으며, 터치 감지 스크린과의 하나 이상의 접촉점을 결정하기 위한 다른 근접 센서 어레이 또는 다른 요소를 포함할 수 있다. 터치 감지형 디스플레이 스크린은 탭, 핀치(pinch), 스와이프, 홀드(hold), 딥프레스, 롱프레스(long press) 등과 같은 다양한 터치 제스처를 검출할 수 있다.
원격 제어기는 또한 이동 가능한 객체(410) 또는 이동 가능한 객체의 구성요소를 제어하기 위해 다른 사용자 입력을 수신하기 위한 하나 이상의 입력 기기를 포함할 수 있다. 이러한 입력 기는 조이스틱, 버튼 또는 스위치, 키보드, 마우스 또는 임의의 적절한 메커니즘을 포함할 수 있다. 예를 들어, 하나 이상의 버튼 또는 스위치가 이동 가능한 객체의 네비게이션 모드와 같은, 여러 다른 모드 사이에서 전환하는 데 사용될 수 있다. 조이스틱 및 휠은 이동 가능한 객체, 캐리어 또는 이미징 기기의 움직임 또는 자세를 제어하는 데 사용될 수 있다.
원격 제어기는 하나 이상의 프로세서(450)를 포함할 수 있다. 하나 이상의 프로세서는 프로그램 가능 프로세서(예: 중앙 처리 장치(CPU)), 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 하나 이상의 ARM 프로세서를 포함할 수 있다. 하나 이상의 프로세서는 하나 이상의 메모리 유닛(460)에 작동 가능하게 결합될 수 있다. 메모리 유닛은 일시적 및/또는 비일시적인 저장 매체를 포함할 수 있다. 컴퓨터 판독할 수 있는 비일시적인 매체는 본 명세서 기술된 방법의 임의의 적합한 실시예를 수행하기 위해 하나 이상의 프로세서에 의해 실행 가능한 로직, 코드 및/또는 프로그램 명령어를 저장할 수 있다. 메모리는 하나 이상의 메모리 유닛(예: 탈착 가능한 매체 또는 SD 카드 또는 랜덤 액세스 메모리(RAM)와 같은 외부 저장장치)을 포함할 수 있다. 어떤 실시예에서, 원격 제어기의 입력 기기로부터의 데이터는 메모리 유닛에 직접 전달되어 메모리 유닛에 저장될 수 있다. 예를 들어, 하나 이상의 프로세서는 디스플레이 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보 예: 터치 스크린상의 탭)에 기초하여, 데이터를 생성하기 위한 명령을 실행하도록 구성될 수 있다. 하나 이상의 프로세서는 사용자 입력에 기초하여, 이동 가능 객체 또는 이미징 기기에 대한 제어 커맨드를 생성할 수도 있고 생성하지 않을 수도 있고, 통신 유닛(440)이 데이터를 송신 및/또는 수신하게 할 수도 있다. 메모리 유닛은 외부 기기(예: 이동 가능한 객체)로부터 수신된 이미지 데이터 또는 다른 데이터를 저장할 수 있다. 어떤 실시예에서, 메모리 유닛은 이미징 기기의 사용자 정의 줌 레벨 및 사용자 정의 터치 동작과 같은 사용자 입력을 저장하는 데 사용될 수 있다.
컴퓨터로 판독할 수 있는 비일시적인 매체(460)는 디스플레이상에 이동 가능한 객체(410)에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주기 위한 프로그램 명령어를 포함할 수 있다. 프로그램 명령어는 또한 또는 프로세서를 사용하여 디스플레이상의 터치 제스처의 장소를 분석하는 것과 같이, 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득할 수 있다. 그 다음, 프로그램 명령어는 프로세서로 하여금 이동 가능한 객체 및 이미징 기기의 제어를 실시하기 위한 데이터를 생성하게 하여, 타깃을 디스플레이상에 원하는 크기 및 원하는 장소로 보이게 한다.
어떤 실시예에서, 원격 제어기는 다른 컴퓨팅 기기(예: 컴퓨터, 랩탑, 태블릿, 스마트폰, 또는 다른 모바일 장치)에 동작 가능하게 결합될 수 있다. 다른 컴퓨팅 기기는 사용자와 인터페이스하는 디스플레이를 포함할 수 있다. 다른 컴퓨팅 기기는 디스플레이상에 보이는 타깃을 나타내는 사용자 입력을 수신하고 이미징 기기를 제어하기 위한 정보를 획득할 수 있다. 어떤 경우, 다른 컴퓨팅 기기는 디스플레이상에 보이는 타깃의 장소 및/또는 사용자에 의해 제공된 줌 레벨 또는 줌 계수를 포함하는 정보를 원격 제어기에 송신하도록 구성될 수 있다. 원격 제어기는 이동 가능한 객체, 캐리어 또는 이미징 기기를 제어하기 위한 정보에 기초하여, 데이터를 더 생성할 수 있다. 어떤 경우에, 다른 기기가 사용자 입력에 기초하여 제어 데이터를 생성하고 이동 가능한 객체, 캐리어 또는 이미징 기기와 직접 통신하도록 구성될 수 있다. 다른 컴퓨팅 기기는 원격 기기일 수 있다. 이동 가능한 객체는 원격 제어기 또는 원격 제어기 대신에 원격 기기(예: 컴퓨터, 랩탑, 태블릿, 스마트폰, 또는 다른 이동 장치)와 통신하도록 구성될 수 있다. 원격 제어기는 또한 이동 가능한 객체뿐만 아니라 원격 기기와 통신하도록 구성될 수 있다. 원격 기기는 이동 가능한 객체 또는 이미징 기기에 데이터를 송신하고, 이동 가능한 객체 또는 이미징 기기로부터 데이터를 수신하고, 원격 제어기에 데이터를 송신하고 및/또는 원격 제어기로부터 데이터를 수신하도록 구성될 수 있다. 선택적으로, 원격 기기는 인터넷 또는 다른 원격 통신 네트워크에 연결될 수 있어, 이동 가능한 객체 및/또는 원격 제어기로부터 수신된 데이터가 웹 사이트 또는 서버에 업로드될 수 있다.
원격 제어기는 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 이동 가능한 객체 중 적어도 하나와 통신하도록 구성된 통신 유닛(440)을 더 포함할 수 있다. 통신 유닛은 타깃에 대한 이미징 기기의 자세를 제어하는 명령 및 이미징 기기의 줌 레벨을 제어하는 명령을 포함하는 데이터를 송신할 수 있다. 통신 유닛은 하나 이상의 원격 기기(예: 이동 가능한 객체, 페이로드, 기지국 등)로부터 데이터를 송신 및/또는 수신하도록 구성될 수 있다. 예를 들어, 통신 유닛은 외부 시스템 또는 이동 가능한 객체, 캐리어 및/또는 이미징 기기와 같은 장치에 제어 데이터 (예: 이미지 내의 타깃의 장소, 줌 레벨)를 전송하도록 구성될 수 있다. 통신 유닛은 또한 그러한 외부 시스템 또는 장치로부터 데이터(예: 이미지 데이터 및 감지 데이터)를 수신하도록 구성될 수 있다. 어떤 실시예에서, 통신 유닛은 원격 기기와의 데이트 송신 및 수신을 위해 구성된 송신기 및 수신기를 포함할 수 있다. 일부 실시예에서, 통신 유닛은 송신기와 수신기의 기능을 결합한 송수신기를 포함할 수 있다. 어떤 실시예에서, 송신기 및 수신기는 하나 이상의 프로세서뿐만 아니라 상호 통신할 수 있다.
여기에 설명된 유선 통신 또는 무선 통신과 같은, 임의의 적절한 통신 수단이 사용될 수 있다. 이동 가능한 객체 및/또는 이미징 기기의 이동을 실시하기 위해 데이터를 송신하기 위한 송신 링크는 이미지 송신 링크와 별개의 링크일 수도 그렇지 않을 수도 있다. 통신 유닛 및/또는 이미지 전송 유닛에 대해 유선 통신 또는 무선 통신과 같은, 임의의 적절한 통신 수단이 사용될 수 있다. 예를 들어, 통신 유닛은 근거리 통신망(LAN), 광역 통신망(WAN), 적외선, 무선, WiFi, P2P(Point-to-Point ) 네트워크, 원격 통신 네트워크, 클라우드 통신 등을 사용할 수 있다. 선택적으로, 타워, 위성 또는 이동국과 같은 중계국을 사용할 수 있다. 무선 통신은 근접성에 의존적이거나 근접성에 독립적일 수 있다. 어떤 실시예에서, 시준선(line-of-sight)은 통신을 위해 필요할 수도 있고 그렇지 않을 수도 있다. 통신 유닛은, 이미지의 줌 레벨 제어 및 이미지에 보이는 타깃의 위치를 포함하는 정보에 추가하여, 이동 가능한 객체에 탑재된 다른 센서와 감지 데이터를 전송 및/또는 수신하도록 구성될 수 있다. 감지 데이터를 처리하여 결정된 움직임 정보, 미리 정해진 제어 데이터, 원격 제어 단말기로부터의 사용자 커맨드 등을 포함할 수 있다.
본 발명의 일 측면에서, 이미지를 캡처하는 방법이 제공된다. 이 이미지를 캡처하는 방법은, 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주는 단계; 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하는 단계; 및 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 이미징 기기의 줌 레벨 및 (b) 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위한 데이터를 생성하는 단계를 포함한다.
본 발명의 어떤 다른 측면에 따르면, UAV와 같은, 본 명세서에 기술된 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 실질적으로 실시간으로 선택하고 보기위한 상호작용 사용자 인터페이스가 제공된다. 이러한 사용자 인터페이스는 본 명세서에 기술된 된 것과 같은 원격 제어기에 의해 제공될 수 있다. 도 8은 실시예에 따라, 이미징 기기를 제어하기 위한 예시적인 프로세스(800)를 도시한다. 프로세스(800)의 양태들은 본 명세서에서 설명 된 것과 같은 원격 제어기에 의해 수행될 수 있다.
프로세스(800)는 이동 가능한 객체에 의해 캡처된 하나 이상의 이미지를 디스플레이하는 프로세스(810)를 포함한다. 이미지는 여기에 설명된 바와 같이 캐리어를 통해 이동 가능한 객체에 연결된 이미징 기기에 의해 캡처될 수 있다. 캐리어는 이미징 기기가 이동 가능한 객체에 대해 이동할 수 있도록 해준다. 또한, 이미징 기기는 캐리어 없이 이동 가능한 객체에 직접 결합될 수 있다. 이미지는 이동 가능한 객체로부터 원격 제어기로 또는 이미징 기기로부터 직접 전송될 수 있다. 원격 제어기에 의해 이와 같이 수신된 이미지는 원격 제어기와 연관된 사용자 인터페이스 상에 디스플레이되기 전에 압축 해제되거나 처리될 수 있다. 사용자 인터페이스는 원격 제어기에 통합된 디스플레이에 의해 제공될 수 있다. 또는, 디스플레이는 원격 제어기와 분리되어 작동 가능하게 연결될 수 있다. 이에 따라 표시된 이미지는 정적(예: 정지 이미지) 또는 동적(예: 비디오)일 수 있다.
어떤 실시예에서, 이미지는 이동 가능한 객체 및/또는 이미징 기기로부터 수신될 때 실질적으로 실시간으로 표시되거나 스트리밍될 수 있다. 어떤 실시예에서, 이미지가 이미징 기기에 의해 캡처됨에 따라, 이미지는 실질적으로 실시간으로 이동 가능한 객체 및/또는 이미징 기기로부터 송신된다. 다른 경우에, 이미지의 캡처 및/또는 송신과 이미지 디스플레이 사이에 약간의 지연이 있을 수 있다.
어떤 실시예에서, 프로세스(800)는 타깃을 나타내는 정보를 획득하는 프로세스(820)를 포함한다. 정보는 디스플레이되는 이미지 중 적어도 하나 내에 보이는 타깃을 나타내는 사용자 입력에 관한 것일 수 있다. 사용자는 이미지를 표시하는 동일한 사용자 인터페이스를 통해 사용자 입력을 제공할 수 있다. 사용자 입력은 단일 사용자 행위일 수 있다. 예를 들어, 일부 실시예에서, 타깃의 사용자 선택은 디스플레이상에 표시되는 하나 이상의 이미지 중 적어도 하나의 영역을 선택하는 사용자에 의해 달성되며, 선택된 영역은 타깃에 대응할 수 있다. 예를 들어, 사용자는 손가락 또는 스타일러스를 사용하여 터치스크린을 직접 터치하여 타깃을 선택할 수 있다. 타깃 영역의 선택은 본 명세서에 기술된 바와 같은 임의의 적합한 입력 방법과 관련된 터치, 탭, 스와이프, 원그리기, 클릭 등을 포함하는 임의의 적절한 동작을 포함할 수 있다.
사용자가 선택한 타깃은 (a) 이미징 기기의 줌 레벨 및 (b) 타깃에 대한 이미징 기기의 자세를 제어하기 위한 제어 데이터를 생성하는 데 사용될 수 있다. 제어 데이터는 실질적으로 동시에 (a) 및 (b)의 제어를 수행할 수 있다. 제어 데이터는 사용자가 선택한 타깃의 좌표를 포함할 수 있다. 이미지 내의 선택된 타깃의 좌표는 타깃에 대한 이미징 기기의 자세를 조정하기 위한 회전 각도를 생성하는데 사용될 수 있다. 타깃의 좌표에 기초하여 이미징 기기의 회전 각도를 얻는 것에 대한 세부 사항은 도 11에서 더 논의된다. 회전 각도을 포함하는 데이터는 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 이동 가능한 객체에, 회전 각도만큼 이미징 기기의 자세를 조정하기 위해 송신될 수 있다. 회전 각도는 캐리어 및/또는 이동 가능한 객체의 하나 이상의 액추에이터에 대한 제어 커맨드를 생성하는 데 사용될 수 있다. 예를 들어, 캐리어의 하나 이상의 액추에이터는 이미징 기기가 이동 가능한 객체에 대해 상대적으로 이동되도록 캐리어의 하나 이상의 프레임 구성요소를 서로 이동시키도록 제어될 수 있다. 다른 예에서, 제어 커맨드에 응답하여, 타깃에 대한 이동 가능한 객체의 자세 또는 위치를 제어하도록, 이동 가능한 객체의 하나 이상의 로터가 추진력(thrust)을 생성하도록 제어될 수 있다. 제어 데이터는 이미징 기기의 줌 레벨을 자동으로 조정하기 위한 미리 정해진 계수를 포함할 수 있다. 제어 데이터는 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 이동 가능한 객체에 송신되는 명령을 포함할 수 있다. 제어 데이터는 광학 줌 제어 및/또는 디지털 줌 제어를 통해 이미징 기기의 줌 레벨을 제어하기 위한 명령을 포함할 수 있다.
어떤 실시예에서, 하나 이상의 줌 제어가 디스플레이상에 사용자에게 추가로 표시될 수 있다. 사용자는 디스플레이상에 제공된 복수의 줌 제어에 의해 이미징 기기의 줌 레벨을 제어할 수 있다. 복수의 줌 제어는 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어와, 이미징 기기의 줌 레벨을 감소시키는 줌 아웃 제어부와, 상기 줌을 설정하는 리셋 줌 레벨 제어부를 포함하고, 레벨을 미리 설정된 줌 레벨로 조정할 수 있다. 미리 설정된 줌 레벨은 사용자가 정의할 수 있다.
도 9는 실시예에 따라. 이미지 캡처를 위한 다른 예시적인 프로세스(900)를 도시한다. 프로세스(900)의 측면들은 본 명세서에서 설명된 것과 같은 원격 제어기에 의해 수행될 수 있다.
프로세스(900)는 이동 가능한 객체에 의해 캡처된 하나 이상의 이미지를 디스플레이하는 프로세스(910)를 포함한다. 이미지를 디스플레이하는 프로세스(910)는 도 8에서 기술된 프로세스(810)와 동일한 프로세스일 수 있다.
어떤 실시예에서, 프로세스(900)는 타깃을 나타내는 정보를 획득하는 프로세스(920)를 포함한다. 정보는 디스플레이된 이미지 중 적어도 하나 내에 보이는 타깃을 나타내는 사용자 입력에 관한 것이다. 정보를 획득하는 프로세스는 도 8에서 설명된 프로세스(820)와 동일한 프로세스일 수 있다.
사용자가 선택한 타깃은 (a) 디스플레이상에 보이는 타깃의 크기, (b) 디스플레이상에 보이는 타깃의 위치를 제어하기 위한 제어 데이터를 생성하는 데 사용될 수 있다. 제어 데이터는 실질적으로 동시에 (a) 및 (b)의 제어를 수행할 수 있다. 디스플레이상에 보이는 타깃의 위치는 타깃에 대한 이미징 기기의 자세를 제어함으로써 제어될 수 있다. 타깃에 대해 이미징 기기의 자세를 조정하면 디스플레이상에 보이는 타깃의 위치가 조정될 수 있다. 어떤 실시예에서, 디스플레이상에 보이는 미리 정해진 장소로부터 타깃의 오프셋은 이미징 기기의 회전 각도에 대응할 수 있다. 제어 데이터는 사용자가 선택한 타깃의 좌표를 포함할 수 있다. 예를 들어, 이미지 내의 선택된 타깃의 좌표는 타깃에 대한 이미징 기기의 자세를 조정하기위한 회전 각도를 생성하는 데 사용될 수 있다. 회전 각도를 포함하는 데이터는 각도만큼 이미징 기기의 자세를 조정하기 위해 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 회전이동 가능한 객체에 송신될 수 있다. 회전 각도는 캐리어 및/또는 이동 가능한 객체의 하나 이상의 액추에이터에 대한 제어 커맨드를 생성하는데 사용될 수 있다. 디스플레이상에 보이는 타깃의 크기는, 이미징 기기의 줌 레벨, 이미징 기기의 타깃까지의 거리, 또는 이미징 기기의 줌 레벨 및 이미징 기기의 거리를 모두 제어함으로써 제어될 수 있다. 예를 들어, 이미징 기기의 줌인 레벨을 증가시키는 것 이외에, 이동 가능한 객체를 타깃에 더 가깝게 이동시키는 제어함으로써 타깃의 크기가 확대될 수 있다. 제어 데이터는 타깃의 크기가 조정되는 미리 정해진 계수를 포함할 수 있다. 제어 데이터는 이미징 기기, 이미징 기기를 지지하는 캐리어, 또는 이동 가능한 객체에 송신되는 명령을 포함할 수 있다. 제어 데이터는 광학 줌 제어 및/또는 디지털 줌 제어 및/또는 이동 가능한 객체의 하나 이상의 액추에이터를 제어하기 위한 명령을 통해 이미징 기기의 줌 레벨을 제어하기 위한 명령을 포함할 수 있다.
어떤 실시예에서, 하나 이상의 줌 제어가 디스플레이상의 사용자에게 추가로 표시될 수 있다. 사용자는 디스플레이상에 제공된 복수의 줌 제어에 의해 이미징 기기의 줌 레벨을 제어할 수 있다. 복수의 줌 제어는 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어와, 이미징 기기의 줌 레벨을 감소시키도록 구성된 줌 아웃 제어와, 줌을 설정하도록 구성된 리셋 줌 레벨 제어를 포함할 수 있다. 미리 설정된 줌 레벨은 사용자가 정의할 수 있다.
본 발명의 다른 측면에서, 이미지의 줌 레벨을 제어하는 시스템 및 방법이 제공된다. 어떤 실시예에서, 이 이미지 줌 레벨을 제어하는 방법은, 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 하나 이상의 이미지를 보여주는 단계; 디스플레이상에 보이는 이미지의 줌 레벨을 미리 설정된 줌 레벨 또는 미리 정해진 줌 계수로 조정하는 것을 나타내는 단일 사용자 입력에 관한 정보를 획득하는 단계; 및 단일 사용자 입력에 기초하여, (i) 디스플레이상에 보이는 이미지가 미리 설정된 설정된 줌 레벨에 있고 (ii) 디스플레이상에 보이는 이미지의 줌 레벨이 미리 정해진 줌 계수에 의해 조정되도록, (a) 이미징 기기의 줌 레벨, (b) 이미지 내의 타깃으로부터의 이미징 기기의 거리, 또는 (c) 줌 레벨 및 이미징 기기의 거리를 모두의 자동 조정을 실시하기 위한 명령을 생성하는 단계를 포함할 수 있다.
또한, 도 10은 전술한 바와 같이 이미지의 줌 레벨을 제어하기 위한 예시적인 프로세스(1000)를 도시한다. 프로세스(1000)는 이동 가능한 객체에 의해 캡처된 하나 이상의 이미지를 표시하는 프로세스(1010)를 포함한다. 이미지를 표시하는 프로세스는 도 8에 기술된 것 프로세스(810)와 같은 프로세스일 수 있다.
어떤 실시예에서, 프로세스(1000)는 디스플레이상에 표시된 보이는 이미지의 줌 레벨을, 미리 설정된 줌 레벨 또는 미리 정해진 줌 계수로 조정하는 것을 나타내는 단일 사용자 입력에 관한 정보를 획득하는 프로세스(1020)을 포함한다. 사용자는 이미지를 디스플레이하는 동일한 사용자 인터페이스를 통해 사용자 입력을 제공할 수 있다. 어떤 실시예에서, 단일 사용자 입력은 디스플레이의 미리 정해진 영역의 터치일 수 있다. 미리 정해진 영역은 이미지가 미리 설정된 줌 레벨로 줌되게 하는 디폴트 줌 제어를 나타낼 수 있다. 사용자 입력은 본 명세서에 기술된 바와 같은 임의의 적합한 입력 방법과 관련된 터치 또는 탭, 스와이프, 선회, 클릭 등을 포함하는 임의의 적절한 움직임을 포함할 수 있다. 미리 설정된 줌 레벨은 1x 광학 줌이거나, 이미징 기기가 이미지 캡처를 시작하는 원래의 줌 레벨일 수 있다. 미리 설정된 줌 레벨은 사용자가 선택하거나 정의할 수 있다. 어떤 경우, 사용자는 디스플레이상에 제공된 메뉴를 사용하여 미리 설정된 줌 레벨을 선택할 수 있다. 메뉴는 숨겨져 있고 사용자가 디스플레이를 터치하면 보일 수 있다. 예를 들어, 사용자가 디스플레이에서 롱터치 또는 딥터치를 수행하면 메뉴가 보일 수 있다. 메뉴는 또한 사용자가 하나 이상의 줌 제어에 대한 줌 계수를 선택하는 옵션을 제공할 수 있다. 하나 이상의 줌 제어는 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어, 이미징 기기의 줌 레벨을 감소시키도록 구성된 줌 아웃 제어, 및 이미징 기기의 줌 레벨을 미리 설정된 줌 레벨로 설정하도록 구성된 리셋 줌 레벨 제어를 포함할 수 있다.
어떤 실시예에서, 사용자는 디스플레이상에 보이는 타깃의 크기 및 원격 제어기를 컨트롤러를 통해 디스플레이상에 보이는 타깃의 위치를 제어할 수 있도록 할 수 있다. 사용자는 디스플레이의 영역에 대한 터치를 입력할 수 있다. 디스플레이 영역에 타깃을 보여줄 수 있다. 어떤 실시예에서, 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, 이미징 기기의 줌 레벨 및 타깃에 대한 이미징 기기의 자세의 자동 제어를 실기하기 위한 데이터가 생성될 수 있다. 어떤 실시예에서, 사용자 입력은 디스플레이상에 표시된 이미지의 줌 레벨을 미리 설정된 줌 레벨 또는 미리 정해진 줌 계수에 의해 조정하는 것을 나타내는 단일 사용자 입력일 수 있다. 단일 사용자 입력에 기초하여, 이미징 기기의 줌 레벨, 이미지 내에 보이는 타깃으로부터의 이미징 기기의 거리, 이 둘의 조합 모두를 실시하기 위해 명령을 생성하여, 디스플레이상에 보이는 이미지가 미리 설정된 줌 레벨에 있거나, 디스플레이상에 보이는 이미지의 줌 레벨이 미리 정해진 줌 계수에 의해 조정될 수 있도록 한다. 도 5는 본 발명의 실시예에 따라, 디스플레이상에 보이는 타깃의 위치 및 크기를 제어하는 예를 도시한다. 5.1에 도시된 바와 같이, 이동 가능한 객체가 가지고 있는 이미징 기기에 의해 캡처된 이미지(510)는 디스플레이를 통해 사용자에게 표시된된다. 디스플레이는 원격 제어기에 의해 포함될 수 있다. 사용자는 타깃 또는 영역(530)을 선택할 수 있다. 사용자는 터치스크린과의 상호작용을 통해 타깃 또는 영역을 선택할 수 있다. 예를 들어, 사용자는 스크린상에 보이는 타깃 또는 영역 상에 터치 제스처를 수행함으로써 타깃 또는 영역을 선택할 수 있다. 어떤 경우, 사용자는 타깃 또는 영역을 탭함으로써 볼 타깃 또는 영역을 선택할 수 있다. 어떤 실시예에서, 선택된 타깃은 이미지에 선택 지시자(520)와 함께 표시되어 사용자에 의해 선택되었음을 나타낸다. 선택 지시자는 원, 체크마크, 화살표, 다각형 또는 임의의 적합한 컬러 또는 패턴의 임의의 다른 적절하게 성형된 객체 그래픽 객체로 나타낼 수 있다. 설명한 예에서, 사용자는 관심 타깃 또는 영역에 선택 지시자(520)를 드래그앤드드롭(drag and drop)함으로써 볼 타깃 또는 영역을 선택할 수 있다. 예를 들어, 사용자는 타깃(530)을 자세히 관찰하여 사용자가 타깃 위에 선택 지시자(520)를 배치할 수 있기를 원할 수 있다. 선택적으로, 선택 지시자(520)는 줌인할 선택된 객체를 나타낼 수 있다. 예를 들어, 사용자가 타깃을 탭한 후에, 선택 지시자(520)는 타깃이 줌인/아웃되도록 선택되었음을 나타내는 타깃의 상부에 표시될 수 있다.
디스플레이는 추가로 이미징 기기의 줌 레벨을 제어하기 위한 하나 이상의 줌 제어를 보여줄 수 있다. 어떤 실시예에서, 하나 이상의 줌 제어는 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어 및 이미징 기기의 줌 레벨을 감소시키도록 구성된 줌 아웃 제어를 포함한다. 도 5에 나타낸 예시적인 실시예에서, 복수의 줌 제어는 줌인 제어(540), 줌 아웃 제어(550) 및 줌리셋 제어(560)를 포함할 수 있다. 줌인 제어는 줌인 버튼(540)을 누름으로써 인에이블될 수 있고, 줌 아웃 제어는 줌 아웃 버튼(550)을 누름으로써 인에이블될 수 있다. 줌 조정은 이산적/단계적일 수 있다. 예를 들어 확대 버튼을 탭할 때마다 특정 계수만큼 확대된다. 또는, 줌 조정은 연속적일 수 있다. 예를 들어 버튼을 길게 누르면 버튼을 놓을 때까지 이미지가 계속 확대되거나 줌인된다. 입력 영역을 나타내는 지시자는 도 5에서 버튼의 형태로 도시되어 있지만, 입력 영역을 지시하는 지시자의 임의의 적합한 형상, 형태, 색이 사용될 수 있다. 또는, 사용자는 디스플레이상의 입력 영역을 나타내는 명시적인 지시자없이 줌 레벨을 입력하거나 줌 제어를 수행할 수 있다. 예를 들어 사용자는 핀치하여 이미지를 줌인 또는 줌 아웃하거나, 좌우로 스와이프하여 이미지를 줌인 또는 줌 아웃할 수 있다.
어떤 실시예에서, 하나 이상의 줌 제어는 이미징 기기의 줌 레벨을 미리 설정된 줌 레벨 또는 줌 계수로 설정하기 위한 디폴트 줌 제어를 포함할 수 있다. 사용자가 터치스크린과 같은 입력 기기를 사용하여 입력을 제공하는 경우, 이미지는 미리 설정된 줌 레벨로 표시될 수 있다. 어떤 경우에 미리 설정된 줌 레벨이 1x일 수 있다. 어떤 경우에, 미리 설정된 줌 레벨은 이미징 기기가 이미지 캡처를 시작하는 원래의 줌 레벨일 수 있다. 미리 설정된 줌 레벨은 사용자에 의해 구성될 수 있다. 미리 설정된 줌 레벨은 사용자에 의해 정의될 수 있다. 도 5에 도시된 바와 같이, 사용자는 리셋 버튼(560)을 탭하여 디스플레이상에 보이는 이미지의 줌 레벨을 조정할 수 있다. 일단 사용자가 리셋 버튼(560)을 탭하면, 이미지는 미리 설정된 줌 레벨 또는 배율로 표시될 수 있다.
어떤 실시예에서, 디스플레이상에 표시된 이미지의 줌 레벨을 미리 설정된 줌 레벨 또는 미리 정해진 줌 계수로 조정하는 것을 나타내는 단일 사용자 입력이 수신될 수 있다. 예를 들어, 이미지의 줌 레벨을 조정하는 것을 나타내는 단일 사용자 입력(예: 리셋 줌 버튼을 가볍게 탭)을 수신하면, 이미지는 줌 아웃되거나(현재 줌 레벨이 현재 줌 레벨보다 높은 경우) 이미지의 현재 줌 레벨에 관계없이 미리 설정된 줌 레벨(예: 1x)로 줌인된다(현재 줌 레벨이 미리 설정된 줌 레벨보다 낮은 경우). 예를 들어, 이미지의 현재 줌 레벨은 3x이고 미리 정해진 줌 레벨은 1x로 설정된다. 사용자 입력을 수신하면 이미지의 줌 레벨은 1x이다. 다른 예에서, 이미지의 줌 레벨을 조정하는 것을 지시하는 단일 사용자 입력을 수신하면, 이미지는 현재 줌 레벨과 비교하여 미리 정해진 줌 계수에 의해 줌 아웃 또는 줌인될 수 있다. 예를 들어 현재 줌 레벨이 4x인 이미지는 2x와 같은 미리 정해진 줌 계수에 의해 줌 아웃되어 2x 줌 레벨이 될 수 있다.
어떤 경우에는, 이미지의 줌 레벨은 속도에서 미리 정해진 줌 계수에 의해 또는 미리 설정된 줌 레벨로 자동으로 조정된다. 줌 레벨을 조정하기 위한 속도는 이미지가 줌 계수에 의해 줌인/아웃되는 것으로 인식되는 속도일 수 있다. 줌 레벨을 조정하기 위한 속도는 이미징 기기가 줌 기능을 수행할 수 있는 속도에 따라 달라질 수 있다. 위치 및 줌 레벨을 순차적으로 조정하는 것보다 속도가 빨라질 수 있다. 미리 설정된 줌 레벨 또는 미리 정해진 줌 계수에 의해 이미지를 조정하는 속도는, 이미징 기기가 주밍 가능한, 이미지징 기기의 타깃으로부터의 거리가 변경 가능한, 또는 둘 다의 조합에서 가능한 속도에 의해 결정될 수 있다. 예를 들어, 미리 정해진 줌 계수가 4x일 때, 이미징 기기가 미리 정해진 줌 계수에 의해 줌 레벨을 조정하는데 1초가 걸릴 수 있다. 이 경우, 미리 정해진 줌 계수로 이미지를 조정하는 속도는 4x/s이다. 어떤 경우에, 디스플레이상에 보이는 이미지는 이미징 기기(예: 광학 줌 또는 디지털 줌)의 줌 레벨을 제어함으로써 미리 설정된 줌 레벨로 조정된다. 어떤 경우에, 디스플레이에 보이는 이미지는 이미지에 표시된 타깃에서 이미징 기기까지의 거리를 조정하여 미리 설정된 줌 레벨이 되도록 조정된다. 어떤 경우에, 디스플레이상에 보이는 이미지는 이미징 기기의 거리 및 줌 레벨 모두를 제어함으로써 미리 설정된 줌 레벨로 조정된다. 어떤 경우에 디지털 줌과 광학 줌을 함께 사용하면 줌 조정 속도가 빨라질 수 있다. 감지된 줌 속도는 디스플레이상에 보이는 이미지의 줌 레벨 또는 디스플레이상에 보이는 타깃의 크기 조절 속도를 조정하는 속도를 나타낼 수 있다. 어떤 경우에 광학 줌보다 디지털 줌을 더 빨리 조정할 수 있다. 따라서, 줌 조정의 인식 속도를 증가시키기 위해, 디지털 줌이 원하는 줌 레벨로 먼저 증가된 후, 결국 광학 줌이 원하는 레벨에 도달할 때까지 광학 줌 레벨을 증가시키면서 디지털 줌 레벨을 감소시키며, 디지털 줌은 다시 원래로 돌아가지 않는다. 또는, 줌 레벨의 결과가 광학 줌과 디지털 줌의 조합이 되도록 디지털 줌이 줌 레벨로 감소되는 동안 광학 줌은 특정 줌 레벨까지 증가될 수 있다.
마찬가지로, 디스플레이상에 보이는 화상의 줌 레벨은, 이미징 기기의 줌 레벨, 화상 내에 표시되는 타깃으로부터의 이미징 기기의 거리, 또는 이 둘의 조합으로 이미징 기기의 줌 레벨을 제어함으로써 미리 정해진 줌 계수에 의해 조정될 수 있다. 이것은 사용자가 디스플레이상의 타깃 또는 영역에서 줌하여 찾아내고 사용자가 대하는 것이 보는 것이 아닌 경우에 특히 유용하고, 이 신속한 미리 설정된 줌 옵션은 사용자가 신속하게 원래 크기로 축소하거나 이미지를 볼 수 있도록 해준다.
줌 레벨의 제어는 사용자에 의해 필요에 따라 언제든지 수행될 수 있다. 사용자가 줌 제어를 입력하기 위한 시각적 그래픽 요소는 임의의 모양 및 형태일 수 있음에 유의해야 한다. 어떤 경우에, 줌 레벨 제어를 위한 시각적 그래픽 요소의 위치는 사용자에 의해 결정될 수 있다. 예를 들어, 사용자는 사용자의 취향에 따라 줌인, 줌 아웃 및 리셋 줌 버튼을 디스플레이 스크린의 임의의 위치에 배치할 수 있다. 다른 예에서, 사용자가 줌인/아웃을 위해 타깃을 선택하면, 줌 제어를 위한 하나 이상의 시각적 그래픽 요소(예: 줌인 버튼, 줌 아웃 버튼, 리셋 버튼)가 선택된 타깃 주위에 디스플레이될 수 있다.
도 5의 5.2-5.4는 디스플레이상에 보이는 타깃의 크기 및 디스플레이상에 보이는 타깃의 위치를 조정하는 예시적인 프로세스를 도시한다. 도 5의 5.1에 도시된 바와 같이, 타깃은 줌인되도록 선택되고 원하는 장소(예: 중앙)에 디스플레이되도록 위치된다. 도 5의 5.2에 도시된 프로세스는 원하는 레벨로 또는 미리 정해진 줌 계수에 의해 주밍되는 동안 원하는 위치를 향해 이동하는 선택된 타깃을 도시한다. 선택된 타깃이 원하는 크기 또는 원하는 줌 레벨로 원하는 장소(예: 중심)에 표시되는 결과가 도 5의 5.3에 도시되어 있다. 사용자는 타깃(530)을 탭하거나 지시자(520)를 타깃 위에 배치하는 것과 같은 터치 제스터를 수행하면, 타깃은 도 5의 5.3 및 5.4에 도시된 바와 같이 디스플레이의 중심과 같은 미리 정해진 장소에 위치하는 동안에 확대될 수 있다. 어떤 경우, 사용자는 타깃을 선택하는 동안 줌 레벨 또는 줌 계수를 선택할 수 있다. 예를 들어, 사용자는 타깃을 깊게 터치할 수 있고, 사용자가 원하는 줌 레벨을 선택하기 위한 메뉴가 나타나고, 사용자가 일단 터치를 해제하면 타깃은 원하는 장소에 위치되어 있으면서 원하는 줌 레벨로 줌인/줌 아웃될 수 있다. 어떤 경우에, 타깃이 미리 정해진 장소를 향해 움직이는 동안 타깃이 확대(enlarged or magnified)될 수 있다. 어떤 경우에는, 타깃이 미리 정해진 장소에 위치된 후에 타깃이 미리 정해진 크기로 확대될 수 있다. 다른 경우에, 타깃은 미리 정해진 크기로 확대된 후 미리 정해진 장소에 위치될 수 있다. 타깃이 미리 정해진 장소에 위치되는 속도는 타깃에 대해 이미징 기기의 자세를 조정하고 이미징 기기의 줌을 조정하는 데 걸리는 시간에 의해 결정될 수 있다. 미리 정해진 크기는 사용자 정의될 수 있다. 미리 정해진 크기는 메뉴를 통해 사용자가 결정할 수 있다. 메뉴가 디스플레이에 제공될 수 있다. 메뉴는 원격 제어기에서 실행되는 소프트웨어 또는 소프트웨어 애플리케이션에 의해 제공될 수 있다. 다양한 방법으로 원하는 줌인/아웃 레벨을 입력할 수 있다. 예를 들어, 사용자는 목록에서 줌 레벨(예: 2x, 4x)을 선택하거나 텍스트 박스에 줌 레벨을 입력할 수 있다. 사용자는 타깃의 크기를 조정하기 위해 미리 정해진 배율 또는 줌 계수를 선택하도록 허용될 수 있다. 어떤 경우에, 미리 정해진 크기는 타깃의 최적의 크기에 의해 결정될 수 있다. 최적의 크기는 특정 수의 화소 또는 미리 정해진 임계 값에 대응할 수 있다. 미리 정해진 임계 값은, 예를 들어, 크기가 디스플레이 내의 타깃 전체에 맞춰지도록 정의될 수 있다. 예를 들어, 이동 가능한 객체는 이미지 내의 타깃의 크기가 미리 정해진 임계 값에 도달할 때까지 타깃을 향해 이동하도록 구성될 수 있다. 또는,이동 가능한 객체의 이미징 기기는 화상 내의 타깃의 크기가 미리 정해진 임계 값에 도달 할 때까지 이동 가능한 객체를 이동시키지 않고 타깃을 줌인할 수 있다. 선택적으로, 이미징 기기는 줌인하고 이동 가능한 객체는 이미지 내의 타깃의 크기가 미리 정해진 임계 값에 도달할 때까지 타깃을 향하여 동시에 이동할 수 있다.
타깃이 미리 정해진 위치를 향해 이동하고 및/또는 원하는/미리 정해진 줌 레벨로 주밍되어 보이는 동안, 이미징 기기는 사용자에게 디스플레이될 라이브 이미지를 계속 송신할 수 있다. 이 경우, 사용자는 월드 프레임에서 이미징 기기와 타깃 사이의 상대적인 움직임에 의해 야기되는 디스플레이상의 타깃의 움직임을 관측할 수 있다. 예를 들어, 이미징 기기가 타깃에 대해 오른쪽으로 움직이는 경우, 타깃은 디스플레이상의 좌측으로 이동하는 것으로 도시된다. 어떤 경우, 타깃에 대한 이미징 기기의 자세 또는 이미징 기기의 줌 레벨의 조정 중에, 이미징 기기에 의해 캡처된 이미지는 디스플레이상에 표시도지 않을 수 있는 반면에, 조정 프로세스 후에 캡처된 이미지만이 사용자에게 표시될 수 있다. 병진 운동 및 주밍 효과를 나타내는 이미지는 하나 이상의 프로세서에 의해 생성되어 사용자에게 타깃의 라이브 움직임을 에뮬레이션(emulation)하도록 표시될 수 있다. 어떤 경우에, 현재 장소로부터 미리 정해진 장소로의 타깃의 매끄러운 이동 또는 현재 크기로부터 미리 정해진 크기로의 확대된 타깃의 크기가 소프트웨어 또는 소프트웨어 애플리케이션에 의해 생성되어 사용자에게 표시될 수 있다. 이는 사용자에게 부드러운 시각적 효과를 제공하는 데 유리할 수 있다.
어떤 경우에, 사용자가 디스플레이 스크린을 터치한 장소는 미리 정해진 장소(예를 들어, 디스플레이의 중심)로부터의 오프셋을 계산하기 위해 타깃의 장소로서 사용될 수있다. 오프셋은 타깃을 미리 정해진 장소로 가져 오는 데 필요한 UAV 및/또는 이미징 기기에 대한 조정을 계산하는 데 사용된다. 어떤 경우에, 타깃의 중심은 타깃의 장소를 나타내는 데 사용될 수 있고, 타깃의 중심은 미리 정해진 장소나 그 부근에 있게 될 수 있다. 예를 들어, 사용자 입력은 사용자가 관심이 있는 타깃을 나타낼 수있는 반면, 터치 장소는 타깃의 그래픽 중심과 정렬되지 않을 수있다. 이 경우에, 타깃의 형상 및 경계가 식별될 수 있고, 타깃의 그래픽 중심이 미리 정해진 장소(예: 디스플레이의 중심)와 정렬될 수 있다. 타깃 식별은 임의의 적합한 이미지 인식, 추출, 패턴 인식 및/또는 매칭 알고리즘을 포함 할 수있다.
도 11은 카메라 이미징의 예시적인 기하학 모델(광학 축이 이미지의 중심과 엄격하게 정렬된다고 가정)을 도시한다. 이미지 평면상의 원하는 장소로부터의 타깃 장소의 오프셋은 이미징 기기의 하나 이상의 회전 각도와 관련된다. 지점(1120)은 사용자가 선택한 타깃의 장소를 표시한다. 이미지 평면에서 타깃의 좌표는 (u, v)이다. 타깃의 좌표는 화소 좌표일 수 있고, 이미지 평면의 원점(예: 상부 완쪽 코너)은 결합 지점(1130)(즉, 광축과 이미지 평면의 교차점)이 아닐 수 있으며, 이 경우 화소 크기 및 원래의 장소가 계산에 필요할 수 있다. 타깃은 연결 지점과 같은 원하는 또는 미리 정해진 장소에 표시되도록 구성될 수 있다. 미리 정해진 위치로부터 타깃의 오프셋은 각각 x 및 y 방향으로 x 및 y이다. 일단 타깃 및 소정 위치의 좌표뿐만 아니라 초점 길이 f가 알려지면, 각도(1110)는 삼각형 기하를 사용하여 결정될 수 있다. 예를 들어, 미리 정해진 위치가 이미지면의 결합 점 또는 중심에있을 때, 이미지면에서 타깃의 오프셋은 아래의 방정식에 의해 결정되는 각도 1110에 대응할 수 있다
여기서 f는 초점 거리이고, θx, θy는 각각 x 및 y 방향의 오프셋에 해당하는 회전 각도이다. 획득된 각도는 이미징 기기가 각도만큼 회전될 때 타깃이 이미지의 미리 정해진 장소에 표시될 수 있도록, 이미징 기기의 회전 운동을 제어하는데 사용될 수 있다. 미리 정해진 장소는 이미지 평면의 중심에 있을 필요는 없다는 것을 알아야 한다. 각도는 1개, 2개, 3개 또는 그 이상의 회전축(예: 롤 축, 피치 축, 요우 축)에 대한 이미징 기기의 합리적인 이동을 제어하는 데 사용될 수 있다.
전술한 바와 같이, 이미지의 줌 제어는 언제든지 수행될 수 있다. 예를 들어, 도 5의 5.5에 나타낸 바와 같이, 타깃이 중앙에 위치되고 소정 크기로 줌인된 후, 사용자는 리셋 줌 버튼(560) 상에 탭하여 미리 설정된 줌 레벨(예: 1x)로 이미지를 신속하게 축소하고자 할 수 있다. 사용자는 또한 전술한 바와 같이 줌인 및 줌 아웃 버튼을 사용하여 줌인 및 줌 아웃 계수를 조정할 수도 있다.
어떤 실시예에서, 줌 제어의 선택은 이미징 기기와 타깃 간의 상대적인 회전 관계를 변화시키지 않고 디스플레이상에 보이는 이미지의 줌 레벨만 조정하도록 할 수 있다. 예를 들어 사용자가 줌인 또는 줌 아웃 제어 버튼을 사용할 대, 이미지가 줌인/줌 아웃되고 이미지의 중앙이 디스플레이 중앙에 유지된다. 어떤 실시예에서, 줌 제어는 이미징 기기의 줌 레벨(예: 이미징 기기의 광학 줌 및/또는 디지털 줌), 이미징 기기와 타깃 간의 거리, 또는 양자의 조합을 조정함으로써 달성될 수 있다.
어떤 실시예에서, 사용자는 다양한 줌 계수 또는 줌 레벨을 결정할 수 있다. 예를 들어, 사용자는 도 5의 5.1-5.4에서 설명한 것처럼 타깃을 나타내는 사용자 입력에 응답하여 타깃의 디폴트 줌인 레벨 또는 크기를 정의할 수 있다. 다른 예에서, 사용자는 줌인/아웃 버튼상의 탭에 대응하는 단계적 줌인/아웃 계수를 선택할 수 있다. 다른 예에서, 사용자는 리셋 줌 버튼이 눌려질 때 미리 설정된 줌 레벨을 선택할 수 있다. 디스플레이는 사용자가 줌 계수를 선택하는 메뉴를 보여줄 수 있다.
상술한 바와 같이, 디스플레이는 이미징 기기의 줌 레벨을 제어하기 위한 하나 이상의 줌 제어를 더 나타낼 수 있다. 도 5의 5.6에 나타낸 예에서, 사용자는 줌인 버튼을 사용하여 이미징 기기의 줌 레벨을 증가시킬 수 있다. 도 5의 5.7에 나타낸 바와 같이, 사용자는 줌 아웃 버튼을 사용하여 이미징 기기의 줌 레벨을 감소시킬 수 있다. 다양한 다른 방식의 사용자 입력이 여기에 설명되어 있다.
어떤 경우에, (도 5의 5.8에 나타낸 바와 같은) 메뉴는 사용자 터치 제스처를 수신함에 따라 사용자에게 숨겨지고 사용자에게 보일 수 있다. 예를 들어, 사용자가 터치 스크린상의 임의의 영역에 탭과 같은 제스처를 입력하는 경우, 메뉴는 숨겨진 상태에서 뷰 상태로 전환될 수 있다. 롱 프레스, 더블 탭, 딥 터치 등의 다양한 터치 제스처가 메뉴를 보여주기 위한 터치 제스처로서 사용될 수 있다. 딥 터치는 압력 또는 힘의 정도가 임계 값을 초과하는 터치일 수 있다. 긴 터치는 시간 길이가 임계 값을 초과하는 터치일 수 있다. 예를 들어, 임계 값보다 긴 시간 동안 사용자가 디스플레이를 터치하면 메뉴가 보일 수 있다. 다른 예에서, 사용자가 임계 압력보다 큰 압력으로 3D 터치 스크린을 포함하는 디스플레이를 터치하는 경우, 메뉴가 보일 수 있다. 일부의 경우, 터치 스크린을 터치하는 사용자의 압력은 줌 레벨과 관련될 수 있다. 예를 들어, 압력이 높을수록 높은 줌 레벨에 대응할 수 있다. 터치 제스처는 디스플레이의 특정 영역상에 있어야 할 수도 있고 그렇지 않을 수도 있다. 어떤 실시예에서, 사용자는 터치 스크린 내의 임의의 영역에 제스처를 입력하여 메뉴를 불러올 수 있다. 메뉴는 줌 계수를 선택하기 위한 복수의 옵션을 나타낼 수 있다. 예를 들어, 일련의 줌인 계수 또는 배율이 리셋 줌 버튼에 대응하는 미리 설정된 줌 레벨, 타깃을 나타내는 단일 사용자 입력에 대응하는 디폴트 줌 레벨, 또는 줌인/아웃 버튼에 대응하는 줌인/아웃 단계를 포함할 수 있다.
디스플레이는 터치 스크린일 수 있다. 디스플레이는 원격 제어기에 의해 제공될 수 있다. 디스플레이는 원격 제어기에 동작 가능하게 결합되는 외부 컴퓨팅 기기(예: 컴퓨터, 랩톱, 태블릿, 스마트폰, 또는 다른 모바일 기기)에 의해 제공될 수 있다. 전술한 다양한 조작은 프로그래밍될 수 있으며, 외부 컴퓨팅 기기의 하나 이상의 프로세서 또는 원격 제어기의 하나 이상의 프로세서에 의해 실행될 수 있다.
본 명세서에 기술된 시스템 및 방법은 다양한 이동 가능한 객체에 의해 구현될 수 있고 및/또는 적용될 수 있다. 본 명세서에 기술된 시스템, 장치 및 방법은 다양한 이동 가능한 객체에 적용될 수 있다. 전술한 바와 같이, 공중 차량(항공기)에 대한 임의의 설명은 임의의 이동 가능한 객체에 적용될 수 있다. 본 발명의 이동 가능한 객체는, 공중에서(예: 고정익 항공기, 회전익 항공기 또는 고정익 또는 회전익이 없는 항공기), 물에서(예: 선박 또는 잠수함), 지상에서(예: 자동차, 트럭, 버스, 밴, 오토바이와 같은 모터 차량; 스틱, 낚시대와 같은 가동 구조체 또는 프레임; 또는 기차), 지하에서(예: 지하철), 우주에서(예: 우주선, 위성 또는 프로브), 또는 이들 환경의 임의의 조합과 같은, 임의의 적절한 환경에서 이동하도록 구성될 수 있다. 이동 가능한 객체는 본 명세서의 다른 곳에서 설명된 차량과 같은, 차량일 수 있다. 어떤 실시예에서, 이동 가능한 객체는 인간 또는 동물과 같은 살아있는 객체에 탑재될 수 있다. 적합한 동물은 영장류(rimates), 아빈(avines), 개과(canines), 고양이과(felines), 말과(equines), 솟과(bovines), 양과(ovines), 돼지과(porcines), 델핀(delphines), 설치류(rodents), 또는 곤충류(insects)를 포함할 수 있다.
이동 가능한 객체는 6 자유도(예: 병진 운동에서의 3 자유도와 회전에서의 3 자유도)에 대해 환경 내에서 자유롭게 이동할 수 있다. 또는, 이동 가능한 객체의 움직임은 미리 정해진 경로, 트랙 또는 방위과 같은, 하나 이상의 자유도에 대해 제한될 수 있다. 이동은 엔진 또는 모터와 같은 임의의 적절한 작동 메카니즘에 의해 작동될 수 있다. 이동 가능한 객체의 작동 메커니즘은 전기 에너지, 자기 에너지, 태양 에너지, 풍력 에너지, 중력 에너지, 화학 에너지, 원자력 에너지 또는 이들의 임의의 적절한 조합과 같은, 임의의 적합한 에너지원에 의해 동력을 공급받을 수 있다. 이동 가능한 객체는 본 명세서의 어딘가에서 설명된 바와 같이 추진 시스템을 통해 자체 추진될 수 있다. 추진 시스템은 선택적으로 전기 에너지, 자기 에너지, 태양 에너지, 풍력 에너지, 중력 에너지, 화학 에너지, 원자력 에너지 또는 이들의 임의의 적절한 조합과 같은, 에너지원으로 작동할 수 있다. 또는 이동 가능한 객체는 생물에 의해 휴대될 수 있다.
어떤 예에서, 이동 가능한 객체는 차량일 수 있다. 적합한 차량은 수상 차량, 공중 차량, 우주 차량 또는 지상 차량을 포함할 수 있다. 예를 들어 공중 차량은 고정익 항공기(예: 비행기, 글라이더), 회전익 항공기(예: 헬리콥터, 로터크래프트), 고정익과 회전익이 모두 있는 항공기 또는 둘다 없는 항공기(예: 소형 연식 비행선, 열기구)일 수 있다. 차량은 자체 추진될 수 있다(예: 공기, 물 위나 물속, 우주, 또는 땅 위나 아래에서 자체 추진됨). 자체 추진 차량은 하나 이상의 엔진, 모터, 휠, 차축, 자석, 로터, 프로펠러, 블레이드, 노즐 또는 이들의 임의의 적절한 조합을 포함하는 추진 시스템과 같은, 추진 시스템을 이용할 수 있다. 어떤 예에서, 추진 시스템은 이동 가능한 객체가 표면으로부터 이륙하고, 표면 상에 착륙하고, 그 현재 위치 및/또는 방위을 유지하고(예: 하버링), 방위를 변경하고, 및/또는 위치를 변경하는 데 사용될 수 있다.
이동 가능한 객체는 사용자에 의해 원격으로 제어되거나 이동 가능한 객체 내의 또는 위의 탑승자에 의해 로컬로 제어될 수 있다. 어떤 실시예에서, 이동 가능한 객체는 UAV와 같은 무인 이동 가능한 객체이다. UAV와 같은 무인 이동 가능한 객체는 이동 가능한 객체에 탑승자가 탑승하지 못할 수 있다. 이동 가능한 객체는 인간 또는 자율 제어 시스템(예: 컴퓨터 제어 시스템) 또는 이들의 임의의 적절한 조합에 의해 제어될 수 있다. 이동 가능한 객체는 인공 지능으로 구성된 로봇과 같은 자율 또는 반자율(autonomous or semi-autonomous) 로봇일 수 있다.
이동 가능한 객체는 임의의 적합한 크기 및/또는 치수를 가질 수 있다. 어떤 실시예에서, 이동 가능한 객체는 차량 내부 또는 외부에 탑승자를 가질 수 있는 크기 및/또는 치수일 수 있다. 또는, 이동 가능한 객체는 차량 내부 또는 외부에 탑승자를 가질 수 있는 크기 및/또는 치수보다 작을 수 있다. 이동 가능한 객체는 인간에 의해 들어올려지거나 휴대되는 데 적합한 크기 및/또는 치수일 수 있다. 또는, 이동 가능한 객체는 사람에 의해 들어올려지거나 휴대되는 데 적합한 크기 및/또는 치수보다 클 수 있다. 어떤 예에서, 이동 가능한 객체는 약 2cm, 5cm, 10cm, 50cm, 1m, 2m, 5m 또는 10m 이하의 최대 치수(예: 길이, 폭, 높이, 직경, 대각선)를 가질 수 있다. 최대 치수는 약 2cm, 5cm, 10cm, 50cm, 1m, 2m, 5m 또는 10m 이상일 수 있다. 예를 들어, 이동 가능한 객체의 대향하는 로터들의 샤프트들 사이의 거리는 약 2cm, 5cm, 10cm, 50cm, 1m, 2m, 5m 또는 10m 이하일 수 있다. 또는, 대향하는 로터들의 샤프트들 사이의 거리는 약 2cm, 5cm, 10cm, 50cm, 1m, 2m, 5m 또는 10m 이상일 수 있다.
어떤 실시예에서, 이동 가능한 객체는 100cm x 100cm x 100cm 미만, 50cm x 50cm x 30cm 미만, 또는 5cm x 5cm x 3cm 미만의 체적을 가질 수 있다. 이동 가능한 객체의 전체 체적은 약 1cm3, 2cm3, 5cm3, 10cm3, 20cm3, 30cm3, 40cm3, 50cm3, 60cm3, 70cm3, 80cm3, 90cm3, 100cm3, 150cm3, 200cm3, 300cm3, 500cm3, 750cm3, 1000cm3, 5000cm3, 10,000cm3, 100,000cm3, 1m3, 또는 10m3 이하일 수 있다. 반대로, 이동 가능한 객체의 전체 체적은 약 1cm3, 2cm3, 5cm3, 10cm3, 20cm3, 30cm3, 40cm3, 50cm3, 60cm3, 70cm3, 80cm3, 90cm3, 100cm3, 150cm3, 200cm3, 300cm3, 500cm3, 750cm3, 1000cm3, 5000cm3, 10,000cm3, 100,000cm3, 1m3, 또는 10m3 이상일 수 있다.
어떤 실시예에서, 이동 가능한 객체는 약 32,000cm2, 20,000cm2, 10,000cm2, 1,000cm2, 500cm2, 100cm2, 50cm2, 10cm2, 또는 5cm2 이하의 풋 프린트(이는 이동 가능한 객체에 의해 둘러싸인 측 방향 단면적을 나타낼 수 있음)를 가질 수 있다. 반대로, 풋프린트는 약 32,000cm2, 20,000cm2, 10,000cm2, 1,000cm2, 500cm2, 100cm2, 50cm2, 10cm2, 또는 5cm2 이상일 수 있다.
어떤 경우에는, 이동 가능한 객체의 중량이 1000kg을 초과할 수 없다. 이동 가능한 객체의 중량은 약 1000kg, 750kg, 500kg, 200kg, 150kg, 100kg, 80kg, 70kg, 60kg, 50kg, 45kg, 40kg, 35kg, 30kg, 25kg, 20kg, 15kg, 12kg, 10kg, 9kg, 8kg, 7kg, 6kg, 5kg, 4kg, 3kg, 2 g, 1kg, 0.5kg, 0.1kg, 0.05kg, 또는 0.01kg 이하일 수 있다, 반대로, 이동 가능한 객체의 중량은 약 1000kg, 750kg, 500kg, 200kg, 150kg, 100kg, 80kg, 70kg, 60kg, 50kg, 45kg, 40kg, 35kg, 30kg, 25kg, 20kg, 15kg, 12kg, 10kg, 9kg, 8kg, 7kg, 6kg, 5kg, 4kg, 3kg, 2 g, 1kg, 0.5kg, 0.1kg, 0.05kg, 또는 0.01kg 이상일 수 있다,
어떤 실시예에서, 이동 가능한 객체는 이동 가능한 객체가 가지고 있는 부하에 비해 작을 수 있다. 부하는 이하에서 더 상세히 설명되는 바와 같이, 페이로드 및/또는 캐리어를 포함할 수 있다. 어떤 예에서, 이동 가능한 물체의 중량과 적재 중량의 비율은 약 1:1보다 크거나 작거나 같다. 어떤 경우에, 이동 가능한 객체의 중량과 적재 중량의 비율은 약 1:1보다 크거나 작거나 같다. 선택적으로, 캐리어 중량과 적재 중량의 비율은 약 1:1보다 크거나 작거나 같을 수 있다. 원하는 경우, 이동 가능한 객체 중량과 적재 중량의 비율은 1:2, 1:3, 1:4, 1:5, 1:10 또는 그 이하일 수 있다. 반대로, 이동 가능한 물체 중량과 적재 중량의 비율은 2:1, 3:1, 4:1, 5:1, 10:1 또는 그 이상이 될 수도 있다.
어떤 실시예에서, 이동 가능한 객체는 에너지 소비가 낮을 수 있다. 예를 들어, 이동 가능한 객체는 약 5W/h, 4W/h, 3W/h, 2W/h, 1W/h 이하를 사용할 수 있다. 어떤 예에서, 이동 가능한 객체의 캐리어는 에너지 소비가 낮을 수 있다. 예를 들어, 캐리어는 약 5W/h, 4W/h, 3W/h, 2W/h, 1W/h 이하를 사용할 수 있다. 선택적으로, 이동 가능한 객체의 페이로드는 약 5W/h, 4W/h, 3W/h, 2W/h, 1W/h 이하와 같이, 에너지 소비가 낮을 수 있다.
어떤 실시예에서, 이동 가능한 객체는 화물을 운반하도록 구성될 수 있다. 화물은 승객,화물, 장비, 도구 등을 하나 이상 포함할 수 있다. 화물은 하우징 내에 제공될 수 있다. 하우징은 이동 가능한 객체의 하우징과 별개이거나 또는 이동 가능한 객체를 위한 하우징의 일부일 수 있다. 또는, 화물은 하우징을 구비할 수 있는 한편 이동 가능한 객체는 하우징을 구비하지 않는다. 또는, 화물의 일부 또는 전체 화물이 하우징 없이 제공될 수 있다. 화물은 이동 가능한 객체에 대해 견고하게 고정될 수 있다. 선택적으로, 화물은 이동 가능한 객체에 대해 이동 가능할 수 있다(예: 이동 가능한 객체에 대해 병진 가능하거나 회전 가능함).
어떤 실시예에서, 화물은 페이로드를 포함한다. 페이로드는 어떠한 조작이나 기능을 수행하지 않도록 구성할 수 있다. 또는 페이로드는 기능적 페이로드 (functional payload)로도 알려진, 조작 또는 기능을 수행하도록 구성된 페이로드일 수 있다. 예를 들어, 페이로드는 하나 이상의 타깃을 측량하기 위한 하나 이상의 센서가 포함될 수 있다. 임의의 적절한 센서가 이미지 캡처 기기(예: 카메라), 오디오 캡처 기기(예: 포물선형 마이크로폰), 적외선 이미징 기기 또는 자외선 이미징 기기와 같은, 페이로드에 통합될 수 있다. 센서는 정적 감지 데이터(예: 사진) 또는 동적 감지 데이터(예: 비디오)를 제공할 수 있다. 어떤 실시예에서, 센서는 페이로드의 타깃에 대한 감지 데이터를 제공한다. 대안으로 또는 조합하여, 페이로드는 하나 이상의 타깃에 신호를 제공하기 위한 하나 이상의 이미터(emitter )를 포함할 수 있다. 조명원 또는 음원과 같은 임의의 적절한 이미터가 사용될 수 있다. 어떤 실시예에서, 페이로드는 이동 가능한 객체로부터 멀리 떨어진 모듈과의 통신하기 위한 것과 같은, 하나 이상의 송수신기를 포함한다. 필요에 따라 페이로드를 환경 또는 타깃과 상호작용하도록 구성할 수 있다. 예를 들어 페이로드에는 로보트 암과 같은 객체를 조작할 수 있는 도구(tool), 기구(instrument) 또는 메커니즘이 포함될 수 있다.
선택적으로, 화물은 캐리어를 포함할 수 있다. 캐리어는 페이로드에 대해 제공될 수 있고, 페이로드는 직접(예: 이동 가능한 객체와 직접 접촉하거나) 또는 간접적으로 (예: 이동 가능한 객체와 접촉하지 않음) 캐리어를 통해 이동 가능한 객체에 결합될 수 있다. 반대로, 페이로드는 캐리어를 필요로 하지 않고 이동 가능한 객체 상에 탑재될 수 있다. 페이로드는 캐리어와 일체로 형성될 수 있다. 또는,페이로드는 캐리어에 해제 가능하게 결합될 수 있다. 어떤 실시예에서, 페이로드는 하나 이상의 페이로드 요소를 포함할 수 있고, 하나 이상의 페이로드 요소는 전술한 바와 같이, 이동 가능한 객체 및/또는 캐리어에 대해 이동할 수 있다.
캐리어는 이동 가능한 객체와 일체로 형성될 수 있다. 또는, 캐리어는 이동 가능한 객체에 해제 가능하게 결합될 수 있다. 캐리어는 직접 또는 간접적으로 이동 가능한 객체에 연결될 수 있다. 캐리어는 페이로드에 대해 지지를 제공할 수 있다(예: 페이로드의 중량의 적어도 일부를 견딘다). 캐리어는 페이로드의 이동을 안정화 및/또는 지시할 수 있는 적절한 장착 구조물(예: 짐벌 플랫폼)을 포함할 수 있다. 어떤 실시예에서, 캐리어는 이동 가능한 객체에 대해 페이로드의 상태(예: 위치 및/또는 방위)를 제어하도록 적용될 수 있다. 예를 들어, 캐리어는, 이동 가능한 객체에 대해(예: 1, 2 또는 3도의 병진 운동 및/또는 1, 2 또는 3도의 회전도에 대해) 이동하도록 구성되어,페이로드가 그 위치 및/또는 방위를 이동 가능한 객체의 이동에 관계없이 적절한 참조 프레임에 상대적으로 조정할 수 있도록 한다. 참조 프레임은 고정된 참조 프레임(예: 주변 환경)일 수 있다. 또는, 참조 프레임은 이동 참조 프레임(예: 이동 가능한 객체, 페이로드 타깃)일 수 있다.
어떤 실시예에서, 캐리어는 캐리어 및/또는 이동 가능한 객체에 대해 페이로드의 이동을 허용하도록 구성될 수 있다. 이동은 최대 3 자유도(예: 1축, 2축 또는 3축을 따라)로 병진 운동될 수 있거나 최대 3 자유도(예: 1축, 2축 또는 3축을 중심으로)로 회전이 될 수 있거나, 또는 이들의 임의의 적합한 조합을 포함할 수 있다.
어떤 경우에, 캐리어는 캐리어 프레임 어셈블리 및 캐리어 작동 어셈블리를 포함할 수 있다. 캐리어 프레임 어셈블리는 페이로드에 구조적 지지를 제공할 수 있다. 캐리어 프레임 어셈블리는 개별적인 캐리어 프레임 구성요소를 포함할 수 있으며, 그 중 일부는 서로에 대해 이동할 수 있다. 캐리어 작동 어셈블리는 개별 캐리어 프레임 구성요소의 움직임을 작동시키는 하나 이상의 액추에이터(예: 모터)를 포함할 수 있다. 액추에이터는 복수의 캐리어 프레임 구성요소의 이동을 동시에 허용할 수 있거나, 한 번에 단일의 캐리어 프레임 구성요소의 이동을 허용하도록 구성될 수 있다. 캐리어 프레임 구성요소의 이동은 페이로드의 대응하는 이동을 생성할 수 있다. 예를 들어, 캐리어 작동 어셈블리는 하나 이상의 회전축(예: 롤 축, 피치 축 또는 요우 축)에 대해 하나 이상의 캐리어 프레임 구성요소의 회전을 작동시킬 수 있다. 하나 이상의 캐리어 프레임 구성요소의 회전은 페이로드가 이동 가능한 객체에 대해 하나 이상의 회전축을 중심으로 회전하게 할 수 있다. 대안으로 또는 조합하여, 캐리어 작동 어셈블리는 하나 이상의 병진 축선을 따라 하나 이상의 캐리어 프레임 구성요소의 병진 운동을 작동시킬 수 있고 그에 따라 이동 가능한 객체에 대해 하나 이상의 대응하는 축을 따라 페이로드의 병진 운동을 생성할 수 있다.
어떤 실시예에서, 고정된 참조 프레임(예: 주위 환경) 및/또는 서로에 대해 이동 가능한 객체, 캐리어 및 페이로드의 이동은 단말기에 의해 제어될 수 있다. 단말기는 이동 가능한 객체, 캐리어 및/또는 페이로드로부터 떨어진 장소에 있는 원격 제어 기기일 수 있다. 단말기는 지지 플랫폼에 배치되거나 부착될 수 있다. 또는, 단말기는 핸드헬드형 또는 웨어러블형 기기일 수 있다. 예를 들어, 단말기는 스마트폰, 태블릿, 랩톱, 컴퓨터, 안경, 장갑, 헬멧, 마이크로폰 또는 이들의 적절한 조합을 포함할 수 있다. 단말기는 키보드, 마우스, 조이스틱, 터치스크린 또는 디스플레이와 같은, 사용자 인터페이스를 포함할 수 있다. 수동으로 입력된 커맨드, 음성 제어, 제스처 제어, 또는 (예를 들어 단말기의 이동, 위치 또는 기울기를 통한) 위치 제어와 같은, 임의의 적절한 사용자 입력이 단말기와 상호 작용하는 데 사용될 수 있다. 단말기는 전술한 바와 동일한 원격 제어기일 수 있다.
단말기는 이동 가능한 객체, 캐리어 및/또는 페이로드의 임의의 적합한 상태를 제어하는 데 사용될 수 있다. 예를 들어, 단말기는 서로에 대해 및/또는 고정된 참조물에 대해 이동 가능한 객체, 캐리어 및/또는 페이로드의 위치 및/또는 방위를 제어하는 데 사용될 수 있다. 어떤 실시예에서, 단말기는 캐리어의 작동 어셈블리, 페이로드의 센서 또는 페이로드의 이미터와 같은, 이동 가능한 객체, 캐리어 및/또는 페이로드의 개별 요소를 제어하는 데 사용될 수 있다. 단말기는 하나 이상의 이동 가능한 객체, 캐리어 또는 페이로드와 통신하도록 구성된 무선 통신 기기를 포함할 수 있다.
단말기는 이동 가능한 객체, 캐리어 및/또는 페이로드의 정보를 보기 위한 적합한 디스플레이 유닛을 포함할 수 있다. 예를 들어, 단말기는 위치, 병진 속도, 병진 가속도, 방위, 각속도, 각가속도 또는 이들의 임의의 적절한 조합에 대하여 이동 가능한 객체, 캐리어 및/또는 페이로드의 정보를 표시하도록 구성될 수 있다. 어떤 실시예에서, 단말기는 기능적인 페이로드에 의해 제공되는 데이터(예: 카메라 또는 다른 이미지 캡처 기기에 기록된 이미지)와 같은, 페이로드에 의해 제공된 정보를 표시할 수 있다.
선택적으로, 동일한 단말기가 이동 가능한 객체, 캐리어 및/또는 페이로드, 또는 이동 가능한 물체, 캐리어 및/또는 페이로드의 상태를 모두 제어할 수 있을 뿐아니라, 이동 가능한 객체, 캐리어 및/또는 페이로드로부터의 정보를 수신 및/또는 표시할 수 있다. 예를 들어, 단말기는 페이로드에 의해 캡처된 이미지 데이터 또는 페이로드의 위치에 관한 정보를 표시하면서, 환경에 대한 페이로드의 위치를 제어할 수 있다. 또는, 상이한 단말기가 상이한 기능에 대해 사용될 수 있다. 예를 들어, 제1 단말기는 이동 가능한 객체, 캐리어 및/또는 페이로드의 이동 또는 상태를 제어할 수 있는 한편, 제2 단말기는 이동 가능한 객체, 캐리어 및/또는 페이로드로부터 정보를 수신 및/또는 표시할 수 있다. 예를 들어, 제1 단말기는 환경에 대한 페이로드의 위치를 제어하는 데 사용될 수 있고, 제2 단말기는 페이로드에 의해 캡처된 이미지 데이터를 표시한다. 이동 가능한 객체를 제어하고 또 데이터를 수신하는 이동 가능한 객체와 통합 단말기 사이에, 또는 이동 가능한 객체를 제어하고 또 데이터를 수신하는 이동 가능한 객체와 복수의 단말기 사이에 다양한 통신 모드가 이용될 수 있다. 예를 들어, 이동 가능한 객체를 제어하고 이동 가능한 객체로부터 데이터를 수신하는 이동 가능한 객체와 단말기 사이에 둘 이상의 상이한 통신 모드가 형성될 수 있다.
어떤 실시예에서, 이미징 기기를 지지하는 이동 가능한 객체는 UAV일 수 있다. 도 6은 실시예에 따른 캐리어(602) 및 페이로드(604)를 포함하는 이동 가능한 객체(600)를 도시한다. 이동 가능한 객체(600)는 항공기(aircraft)로 도시되어 있지만, 이는 한정하려는 것이 아니며, 임의의 적합한 유형의 이동 가능한 객체가 본 명세서에서 전술한 바와 같이 사용될 수 있다. 당업자라면 항공기 시스템의 맥락에서 본 명세서에 설명된 임의의 실시예는 임의의 적합한 이동 가능한 객체(예: UAV)에 적용될 수 있다는 것을 이해할 것이다. 어떤 예에서, 페이로드(604)는 캐리어(602)를 필요로 하지 않고 이동 가능한 객체(600) 상에 제공될 수 있다. 페이로드는 하나 이상의 이미징 기기를 포함할 수 있다. 이동 가능한 객체(600)는 추진 메커니즘(606), 감지 시스템(608) 및 통신 시스템(610)을 포함할 수 있다.
추진 메커니즘(606)은 전술한 바와 같이 로터, 프로펠러, 블레이드, 엔진, 모터, 휠, 차축, 자석 또는 노즐 중 하나 이상을 포함할 수 있다. 예를 들어, 추진 메커니즘(606)은 본 명세서의 다른 곳에서 개시된 바와 같이 자체 조임(self-tightening) 로터, 로터 어셈블리 또는 다른 회전 추진 유닛일 수 있다. 이동 가능한 객체는 하나 이상의, 2개 이상의, 3개 이상의 또는 4개 이상의 추진 메카니즘을 가질 수 있다. 추진 메커니즘은 모두 동일한 유형일 수 있다. 또는, 하나 이상의 추진 메카니즘은 상이한 유형의 추진 메카니즘일 수 있다. 추진 메커니즘(606)은 본 명세서의 다른 곳에서 설명된 바와 같은, 지지 요소(예: 구동 샤프트)와 같은 임의의 적절한 수단을 사용하여 이동 가능한 객체(600) 상에 탑재될 수 있다. 추진 메커니즘(606)은 상부, 하부, 전방, 후방, 측면 또는 이들의 적절한 조합과 같은, 이동 가능한 객체(600)의 임의의 적절한 부분 상에 장착될 수 있다.
어떤 실시예에서, 추진 기구(606)는, 이동 물체(600)의 어떠한 수평 이동을 요구하지 않고(예: 활주로를 따라 이동하지 않고) 이동 물체(600)가 표면으로부터 수직으로 이륙하거나, 또는 표면 상에 착륙할 수 있게 한다. 선택적으로, 추진 메카니즘(606)은 이동 가능한 객체(600)가 특정 위치 및/또는 방위로 공기 중에서 하버링할 수 있도록 작동 가능할 수 있다. 추진 메커니즘(600) 중 하나 이상은 다른 추진 메커니즘과 독립적으로 제어될 수 있다. 선택적으로, 추진 기구(600)는 동시에 제어되도록 구성될 수 있다. 예를 들어, 이동 가능한 객체(600)는 이동 가능한 객체에 양력 및/또는 추력을 제공할 수 있는 복수의 수평 방향 로터를 가질 수 있다. 다수의 수평 방향 로터는 이동 가능한 객체(600)에 수직 이륙, 수직 착륙 및 호버링 기능을 제공하도록 작동될 수 있다. 어떤 실시예에서, 수평 방향 로터 중 하나 이상은 시계 방향으로 회전할 수 있고, 수평 로터 중 하나 이상은 반 시계 방향으로 회전할 수 있다. 예를 들어, 시계 방향으로 회전하는 로터의 수는 반 시계 방향으로 로터의 수와 동일할 수 있다. 수평으로 배향된 로터 각각의 회전 속도는 각각의 로터에 의해 생성된 양력 및/또는 추력을 제어하기 위해 독립적으로 변화 될 수 있어서, (예를 들어, 최대 3도의 병진 운동 및 최대 3도의 회전과 관련하여) 이동 가능한 객체(600)의 공간적 배치, 속도 및 가속도를 조정한다.
감지 시스템(608)은 (예를 들어, 최대 3도의 병진 운동 및 최대 3도의 회전과 관련하여) 이동 객체(600)의 공간적 배치, 속도 및/또는 가속도를 감지할 수 있는 하나 이상의 센서를 포함할 수 있다. 하나 이상의 센서는 GPS 센서, 움직임 센서, 관성 센서, 근접 센서 또는 이미지 센서를 포함한, 본 명세서에서 앞서 설명한 센서 중 임의의 것을 포함할 수 있다. 감지 시스템(608)에 의해 제공된 감지 데이터는 (예를 들어, 후술되는 바와 같이 적절한 처리 유닛 및/또는 제어 유닛을 사용하여) 이동성 물체(600)의 공간적 배치, 속도 및/또는 방향을 제어하는 데 사용될 수 있다. 또는, 감지 시스템(608)은 기상 조건, 잠재적 장애물에 대한 근접성, 지리적 특징물의 장소, 인공 구조물의 장소 등과 같은, 이동 가능한 객체를 둘러싼 환경에 관한 데이터를 제공하는 데 사용될 수 있다.
통신 시스템(610, 614)은 무선 신호(616)를 통해 무선 통신 시스템(614)를 가진 단말기(121)와 통신 가능하다. 통신 시스템(610, 614)은 무선 통신에 적합한 임의의 수의 송신기, 수신기 및/또는 송수신기를 포함할 수 있다.
통신은 데이터가 한 방향으로만 전송될 수 있도록 단방향 통신일 수 있다. 예를 들어, 단방향 통신은 단말기(612)에 데이터를 전송하는 이동 가능한 객체 (600)만을 포함할 수 있거나, 그 반대도 가능하다. 또는, 데이터가 이동 가능한 객체(600)와 단말기(612) 사이에 양 방향으로 송신될 수 있도록, 통신은 양방향 통신일 수 있다. 양방향 통신은 통신 시스템(610)의 하나 이상의 송신기로부터 통신 시스템(614)의 하나 이상의 수신기에 데이터를 송신하는 것을 포함하고, 그 반대도 가능하다.
어떤 실시예에서, 단말기(612)는 하나 이상의 이동 가능한 객체(600), 캐리어(602) 및 페이로드(604)에 제어 데이터를 제공할 수 있고, 하나 이상의 이동 가능한 객체(600), 캐리어(602) 및 페이로드(604)로부터 데이터(예: 이동 가능한 객체, 캐리어 또는 페이로드의 위치 및/또는 움직임 정보; 페이로드 카메라에 의해 캡처된 이미지 데이터와 같은 페이로드에 의해 감지된 데이터)를 수신할 수 있다. 단말기는 앞서 설명한 바와 같은 원격 제어기와 동일할 수 있다. 어떤 예에서, 단말기로부터의 제어 데이터는 이동 가능한 객체, 캐리어 및/또는 페이로드의 상대 위치, 이동, 작동 또는 제어에 대한 명령을 포함할 수 있다. 예를 들어, 제어 데이터는 (예를 들어, 추진 메커니즘 (606)의 제어를 통해) 이동 가능한 객체의 장소 및/또는 방위의 변경, 또는 (예를 들어, 캐리어(602)의 제어를 통한) 이동 가능한 객체에 대한 페이로드의 이동을 결과로서 얻을 수 있다. 단말기로부터의 제어 데이터는, 카메라 또는 다른 이미지 캡처 기기의 조작 제어(예: 정지 화상 또는 동화상 촬영, 줌인 또는 줌 아웃, 턴온 또는 턴오프, 이미징 모드 스위칭, 이미지 해상도 변경, 초점 변경, 피사계 심도 변경, 노출 시간 변경, 시야각 변경 또는 시야 변경)를 결과로서 얻을 수 있다. 일부 예에서, 이동 가능한 객체, 캐리어 및/또는 페이로드로부터의 통신은 (예를 들어, 감지 시스템(608) 또는 페이로드(604)의) 하나 이상의 센서로부터의 정보를 포함할 수 있다. 통신은 하나 이상의 상이한 유형의 센서(예: GPS 센서, 움직임 센서, 관성 센서, 근접 센서 또는 이미지 센서)로부터의 감지된 정보를 포함할 수 있다. 이러한 정보는 이동 가능한 객체, 캐리어 및/또는 페이로드의 위치(예: 장소, 방위), 이동 또는 가속에 관한 것일 수 있다. 페이로드로부터의 이러한 정보는 페이로드에 의해 캡처된 데이터 또는 페이로드의 감지 된 상태를 포함할 수 있다. 단말기(612)에 의해 송신되어 제공되는 제어 데이터는 하나 이상의 이동 가능한 객체(600), 캐리어(602) 또는 페이로드(604)의 상태를 제어하도록 구성될 수 있다. 대안으로 또는 조합하여, 캐리어(602) 및 페이로드 (604)는 또한, 이동 가능한 객체(600), 캐리어(602) 및 페이로드(604)와 각각 독립적으로 통신하고 제어할 수 있도록, 단말기(612)와 통신하도록 구성된 통신 유닛을 각각 포함할 수 있다.
어떤 실시예에서, 이동 가능한 객체 (600)는 단말기(612)에 더해 또는 단말기(612) 대신에 다른 원격 기기와 통신하도록 구성될 수 있다. 단말기(612)는 또한 다른 원격 기기뿐만 아니라 다른 원격 기기와 통신하도록 구성될 수 있다. 예를 들어, 이동 가능한 객체(600) 및/또는 단말기(612)는 다른 이동 가능한 객체, 또는 다른 이동 가능한 객체의 캐리어 또는 페이로드와 통신할 수 있다. 원하는 경우, 원격 기기는 제2 단말기 또는 다른 컴퓨팅 기기(예: 컴퓨터, 랩탑, 태블릿, 스마트폰, 또는 다른 모바일 기기)일 수 있다. 원격 기기는 데이터를 이동 가능한 객체 (600)에 전송하고, 이동 가능한 객체(600)로부터 데이터를 수신하고, 단말기(612)에 데이터를 송신하고, 및/또는 단말기(612)로부터 데이터를 수신하도록 구성될 수 있다. 선택적으로, 이동 객체(600) 및/또는 단말기(612)로부터 수신된 데이터가 웹사이트 또는 서버에 업로드될 수 있도록, 원격 기기는 인터넷 또는 다른 원격 통신 네트워크에 연결될 수 있다.
또한, 도 7은 실시예에 따라, 이미지 데이터를 캡처하기 위한 예시적인 시스템(700)을 도시한다. 시스템(700)은 본 명세서에 개시된 시스템, 장치 및 방법의 임의의 적합한 실시예와 조합하여 사용될 수 있다. 예를 들어, 시스템(700)은 이동 가능한 객체에 의해 구현되거나 휴대될 수 있다. 시스템(700)은 감지 유닛(702), 처리 유닛(704), 컴퓨터 판독할 수 있는 비일시적인 매체 (706), 제어 유닛(708) 및 통신 유닛(710)을 포함할 수 있다.
감지 유닛(702)은 상이한 방식으로 이동 가능한 객체에 관한 정보를 수집하는 상이한 유형의 센서를 이용할 수 있다. 서로 다른 유형의 센서는 서로 다른 유형의 신호 또는 다른 소스의 신호를 감지할 수 있다. 예를 들어, 센서는 관성 센서, GPS 센서, 근접 센서(예: 라이더) 또는 비전/이미지 센서(예: 카메라)를 포함할 수 있다. 감지 유닛(702)은 복수의 프로세서를 갖는 처리 유닛(704)에 동작 가능하게 연결될 수 있다. 어떤 실시예에서, 감지 모듈은 적절한 외부 기기 또는 시스템에 감지 데이터를 직접 전송하도록 구성된 전송 유닛(712)(예: Wi-Fi 이미지 전송 유닛)에 동작 가능하게 연결될 수 있다. 예를 들어, 송신 유닛(712)는 감지 유닛(702)의 카메라에 의해 캡처된 이미지를 원격 단말기에 송신하는 데 사용될 수 있다.
처리 유닛(704)은 프로그램 가능 프로세서(예: 중앙 처리 장치 (CPU))와 같은 하나 이상의 프로세서를 가질 수 있다. 예를 들어, 처리 유닛(704)은 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 하나 이상의 ARM 프로세서를 포함할 수 있다. 처리 유닛(704)은 컴퓨터 판독할 수 있는 비일시적인 매체(706)에 작동 가능하게 결합될 수 있다. 컴퓨터 판독할 수 있는 비일시적인 매체(706)는 하나 이상의 단계를 수행하기 위해 처리 유닛(704)에 의해 실행 가능한 로직, 코드 및/또는 프로그램 명령어를 저장할 수 있다. 컴퓨터 판독할 수 있는 비일시적인 매체는 하나 이상의 메모리 유닛(예: SD 카드 또는 랜덤 액세스 메모리(RAM)와 같은 탈착 가능한 매체 또는 외부 저장장치)을 포함할 수 있다. 어떤 실시예에서, 감지 유닛(702)으로부터의 데이터는 컴퓨터 판독할 수 있는 비일시적인 매체(706))의 메모리 유닛에 직접 전달되고 저장될 수 있다. 컴퓨터 판독할 수 있는 비일시적인 매체(706)의 메모리 유닛은 로직, 코드 및/또는 처리 유닛(704)에 의해 실행 가능한 프로그램 명령어로 구현될 수 있다. 예를 들어, 처리 유닛(704)은, 처리 유닛 (704)의 하나 이상의 프로세서가 여기에서 논의된 이미지 줌 제어 기능을 수행하게 하는 명령어를 실행하도록 구성될 수 있다. 메모리 유닛은 처리 유닛(704)에 의해 처리될 감지 유닛으로부터의 감지 데이터를 저장할 수 있다. 어떤 실시예에서, 컴퓨터 판독할 수 있는 비일시적인 매체(706))의 메모리 유닛은 처리 유닛(704)에 의해 생성된 처리 결과를 저장하는 데 사용될 수 있다 .
어떤 실시예에서, 처리 유닛(704)은 이동 가능한 객체의 상태를 제어하도록 구성된 제어 유닛(708)에 작동 가능하게 결합될 수 있다. 예를 들어, 제어 유닛 (708)은 6 자유도에 대해 이동 가능한 객체의 공간적 배치, 속도 및/또는 가속을 조정하도록, 이동 가능한 객체의 추진 메커니즘을 제어하도록 구성될 수 있다. 대안으로 또는 조합하여, 제어 유닛(708)은 캐리어, 페이로드 또는 감지 유닛의 상태 중 하나 이상을 제어할 수 있다.
처리 유닛(704)은 하나 이상의 외부 기기(예: 단말기, 디스플레이 기기 또는 다른 원격 제어기)로부터 데이터를 송신 및/또는 수신하도록 구성된 통신 유닛(710)에 작동 가능하게 결합될 수 있다. 유선 통신 또는 무선 통신과 같은 임의의 적절한 통신 수단이 사용될 수 있다. 예를 들어, 통신 유닛(710)은 근거리 통신망(LAN), 광역 통신망(WAN), 광역 통신망(WAN), 적외선, 무선, WiFi, P2P 네트워크, 원격 통신 네트워크, 클라우드 통신 등을 사용할 수 있다. 선택적으로, 타워, 위성 또는 이동국과 같은 중계국이 사용될 수 있다. 무선 통신은 근접성에 의존적이거나 근접성에 독립적일 수 있다. 어떤 실시예에서, 시준선은 통신을 위해 필요할 수도 있고 그렇지 않을 수도 있다. 통신 유닛(710)은 감지 유닛(702)으로부터 감지 데이터, 및/또는 처리 유닛(704)에 의해 생성된 처리 결과, 미리 정해진 제어 데이터 또는 단말기 또는 원격 제어기로부터의 사용자 커맨드 중 하나 이상을 송신 및/또는 수신할 수 있다.
시스템(700)의 구성요소는 임의의 적절한 구성으로 배치될 수 있다. 예를 들어, 시스템(700)의 하나 이상의 구성요소는 이동 가능한 객체, 캐리어, 페이로드, 단말기, 감지 시스템, 또는 상기한 것 중 하나 이상과 통신하는 추가적인 외부 기기 상에 위치될 수 있다. 또한, 도 7은 단일의 처리 유닛(704) 및 단일의 컴퓨터 판독할 수 있는 비일시적인 매체(706)를 도시하지만, 당업자라면, 이것이 한정하려는 것이 아니고 시스템(700)은 복수의 처리 유닛 및/또는 컴퓨터로 판독할 수 있는 비일시적인 매체를 포함할 수 있다는 것을 알 수 있다. 어떤 실시예에서, 복수의 처리 유닛 및/또는 컴퓨터로 판독할 수 있는 비일시적인 매체 중 하나 이상은, 이동 가능한 객체, 캐리어, 페이로드, 단말기, 감지 유닛, 상기한 것 중 하나 이상과 통신하는 추가적인 외부 기기 또는 이들의 적합한 조합과 같은, 상이한 장소에 위치할 수 있다.
본 발명의 바람직한 실시예를 본 명세서에 도시하고 설명하였지만, 그러한 실시예가 단지 예시로서만 제공된다는 것은 당업자에게 명백할 것이다. 당업자라면 본 발명을 벗어나지 않고 다양한 변형, 변경 및 대체를 할 수 있을 것이다.
본 명세서에 기술된 본 발명의 실시예에 대한 다양한 대안이 본 발명을 실시하는 데 사용될 수 있음을 이해해야 한다. 하기의 청구범위는 본 발명의 범위를 정의하고, 그에 따라 청구항의 범위 내의 방법 및 구성 및 그 등가물을 포함하는 것으로 의도된다.
Claims (90)
- 디스플레이 및 하나 이상의 프로세서를 포함하는 제어 기기로서,
상기 디스플레이는 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주도록 구성되고;
상기 프로세서는,
(1) 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하고,
(2) 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 이미징 기기의 줌 레벨 및 (b) 상기 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위한 데이터를 생성하도록 구성되는,
제어 기기. - 제1항에 있어서,
상기 디스플레이는 터치스크린인, 제어 기기. - 제2항에 있어서,
상기 사용자 입력은 상기 디스플레이의 영역의 터치인, 제어 기기. - 제3항에 있어서,
상기 디스플레이의 영역은 상기 타깃을 보여주는, 제어 기기. - 제1항에 있어서,
상기 타깃을 나타내는 사용자 입력은 단일 사용자 행위에 의해 제공되는, 제어 기기. - 제1항에 있어서,
상기 사용자 입력에 관한 정보는 상기 타깃이 보이는 상기 디스플레이 내의 장소를 포함하는, 제어 기기. - 제1항에 있어서,
상기 디스플레이는 추가로 상기 이미징 기기의 줌 레벨을 제어하기 위한 하나 이상의 줌 제어를 보여주는, 제어 기기. - 제7항에 있어서,
상기 하나 이상의 줌 제어는, (i) 상기 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어 및 (ii) 상기 이미징 기기의 줌 레벨을 감소시키도록 구성된 줌 아웃 제어를 포함하는, 제어 기기. - 제7항에 있어서,
상기 하나 이상의 줌 제어는 상기 이미징 기기의 줌 레벨을 미리 설정된 줌 레벨로 설정하기 위한 디폴트 줌 제어를 포함하는, 제어 기기. - 제7항에 있어서,
상기 미리 설정된 줌 레벨은 사용자에 의해 구성 가능한, 제어 기기. - 제1항에 있어서,
상기 디스플레이는 추가로, 사용자가 상기 이미징 기기의 줌 레벨을 자동으로 조정하기 위해 미리 정해진 줌 계수(zoom factor)를 선택하는 메뉴를 보여주는, 제어 기기. - 제1항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나에 대한 상기 (a)와 (b)의 자동 제어를 위한 명령을 포함하는, 제어 기기. - 제1항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체에 송신될, 상기 타깃을 보여주는 상기 디스플레이 내의 좌표를 포함하는, 제어 기기. - 제13항에 있어서,
상기 좌표는 상기 캐리어 및/또는 상기 이동 가능한 객체의 하나 이상의 액추에이터에 대한 제어 커맨드를 생성하는 데 사용되는 제어 기기. - 제1항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체에 송신될, 상기 이미징 기기의 줌 레벨을 자동으로 조정하기 위한 미리 정해진 계수를 포함하는, 제어 기기. - 제1항에 있어서,
상기 이미징 기기의 줌 레벨은, 미리 정해진 계수에 의해 상기 이미징 기기의 줌 레벨을 자동 조정함으로써 자동으로 제어되는, 제어 기기. - 제16항에 있어서,
상기 이미징 기기의 줌 레벨은 줌인을 실시하도록 자동으로 조정되는, 제어 기기. - 제1항에 있어서,
상기 타깃에 대한 상기 이미징 기기의 자세는, 상기 이동 가능한 객체에 대한 상기 이미징 기기의 자세, 또는 상기 타깃에 대한 상기 이동 가능한 객체의 자세, 또는 상기 이미징 기기의 자세와 상기 이동 가능한 객체의 자세를 모두 조정함으로써 자동으로 조정되는, 제어 기기. - 제1항에 있어서,
상기 타깃에 대한 상기 이미징 기기의 자세는 상기 타깃이 상기 디스플레이 내의 미리 정해진 장소 또는 그 부근에 표시되도록 자동으로 제어되는, 제어 기기. - 제1항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는 실질적으로 동시에 발생하는, 제어 기기. - 제1항에 있어서,
상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나와 통신하도록 구성된 통신 유닛을 더 포함하는 제어 기기. - 제1항에 있어서,
상기 이미징 기기는 상기 이동 가능한 객체에 대해 이동 가능한, 제어 기기. - 제1항에 있어서,
상기 이미징 기기는 캐리어의 도움으로 상기 이동 가능한 객체에 의해 지지되는, 제어 기기. - 제23항에 있어서,
상기 캐리어는 상기 이미징 기기가 둘 이상의 축을 중심으로 상기 이동 가능한 객체에 대해 회전할 수 있게 하는, 제어 기기. - 제1항에 있어서,
상기 이동 가능한 객체는 무인 항공기(UAV)인, 제어 기기. - 이미지를 캡처하기 위한 프로그램 명령어를 포함하는, 컴퓨터 판독할 수 있는 비일적인 매체로서,
디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주기 위한 프로그램 명령어;
상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하기 위한 프로그램 명령어; 및
(a) 상기 이미징 기기의 줌 레벨 및 (b) 상기 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위해, 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여 데이터를 생성하기 위한 프로그램 명령어
를 포함하는 컴퓨터 판독할 수 있는 비일적인 매체. - 제26항에 있어서,
상기 디스플레이는 터치스크린인, 컴퓨터 판독할 수 있는 비일적인 매체. - 제26항에 있어서,
상기 타깃을 나타내는 사용자 입력은 단일 사용자 행위에 의해 제공되는, 컴퓨터 판독할 수 있는 비일적인 매체. - 제26항에 있어서,
상기 디스플레이는 추가로 상기 이미징 기기의 줌 레벨을 제어하기 위한 하나 이상의 줌 제어를 표시하는, 컴퓨터 판독할 수 있는 비일적인 매체. - 제26항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는 실질적으로 동시에 발생하는, 컴퓨터 판독할 수 있는 비일적인 매체. - 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주는 단계;
상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하는 단계; 및
상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 이미징 기기의 줌 레벨 및 (b) 상기 타깃에 대한 상기 이미징 기기의 자세의 자동 제어를 실시하기 위한 데이터를 생성하는 단계
를 포함하는 이미지를 캡처하는 방법. - 제31항에 있어서,
상기 디스플레이는 터치스크린인, 이미지를 캡처하는 방법. - 제31항에 있어서,
상기 타깃을 나타내는 사용자 입력은 단일 사용자 행위에 의해 제공되는, 이미지를 캡처하는 방법. - 제31항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는 실질적으로 동시에 발생하는, 이미지를 캡처하는 방법. - 디스플레이 및 하나 이상의 프로세서를 포함하는 제어 기기로서,
상기 디스플레이는 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주도록 구성되고;
상기 프로세서는,
(1) 상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하고,
(2) 상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 디스플레이상에 표시된 상기 타깃의 크기 (b) 상기 디스플레이상에 표시된 상기 타깃의 위치의 자동 제어를 실시하기 위한 데이터를 생성하도록 구성되는,
제어 기기. - 제35항에 있어서,
상기 디스플레이는 터치스크린인, 제어 기기. - 제36항에 있어서,
상기 사용자 입력은 상기 디스플레이의 영역의 터치인, 제어 기기. - 제37항에 있어서,
상기 디스플레이의 영역은 상기 타깃을 보여주는, 제어 기기. - 제35항에 있어서,
상기 타깃을 나타내는 사용자 입력은 단일 사용자 행위에 의해 제공되는, 제어 기기. - 제35항에 있어서,
상기 사용자 입력에 관한 정보는 상기 타깃이 보이는 상기 디스플레이 내의 장소를 포함하는, 제어 기기. - 제35항에 있어서,
상기 디스플레이는 추가로 상기 이미징 기기의 줌 레벨을 제어하기 위한 하나 이상의 줌 제어를 보여주는, 제어 기기. - 제41항에 있어서,
상기 하나 이상의 줌 제어는, (i) 상기 이미징 기기의 줌 레벨을 증가시키도록 구성된 줌인 제어 및 (ii) 상기 이미징 기기의 줌 레벨을 감소시키도록 구성된 줌 아웃 제어를 포함하는, 제어 기기. - 제41항에 있어서,
상기 하나 이상의 줌 제어는 상기 이미징 기기의 줌 레벨을 미리 설정된 줌 레벨로 설정하기 위한 디폴트 줌 제어를 포함하는, 제어 기기. - 제41항에 있어서,
상기 미리 설정된 줌 레벨은 사용자에 의해 구성 가능한, 제어 기기. - 제35항에 있어서,
상기 디스플레이는 추가로, 사용자가 상기 이미징 기기의 줌 레벨을 자동으로 조정하기 위한 미리 정해진 줌 계수를 선택하는 메뉴를 보여주는, 제어 기기. - 제35항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나에 대한 상기 (a)와 (b)의 자동 제어를 위한 명령을 포함하는, 제어 기기. - 제35항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체에 송신될, 상기 타깃을 보여주는 상기 디스플레이 내의 좌표를 포함하는, 제어 기기. - 제35항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체에 송신될, 상기 이미징 기기의 줌 레벨을 자동 조정하기 위한 미리 정해진 계수를 포함하는, 제어 기기. - 제35항에 있어서,
상기 타깃의 크기는 상기 이미징 기기의 줌 레벨을 자동 제어함으로써 자동으로 제어되는, 제어 기기. - 제35항에 있어서,
상기 이미징 기기의 줌 레벨은 줌인을 실시하도록 자동으로 조정되는, 제어 기기. - 제35항에 있어서,
상기 타깃의 크기는, 상기 이미징 기기의 줌 레벨, 또는 상기 이미징 기기에서 상기 타깃까지의 거리, 또는 상기 이미징 기기의 줌 레벨과 상기 이미징 기기에서 상기 타깃까지의 거리를 모두 자동 제어함으로써 자동으로 제어되는, 제어 기기. - 제35항에 있어서,
상기 타깃의 위치는 상기 타깃에 대한 상기 이미징 기기의 자세를 자동으로 제어함으로써 자동으로 제어되는, 제어 기기. - 제35항에 있어서,
상기 타깃에 대한 상기 이미징 기기의 자세는, 상기 이동 가능한 객체에 대한 상기 이미징 기기의 자세, 또는 상기 타깃에 대한 상기 이동 가능한 객체의 자세, 또는 상기 이미징 기기의 자세와 상기 이동 가능한 객체의 자세를 모두 조정함으로써 자동으로 조정되는, 제어 기기. - 제35항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는 실질적으로 동시에 발생하는, 제어 기기. - 제35항에 있어서,
상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나와 통신하도록 구성된 통신 유닛을 더 포함하는 제어 기기. - 제55항에 있어서,
상기 통신 유닛은 상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터를 무선으로 송신하도록 구성되는, 제어 기기. - 제35항에 있어서,
상기 이미징 기기는 캐리어의 도움으로 상기 이동 가능한 객체에 의해 지지되는, 제어 기기. - 제35항에 있어서,
상기 이동 가능한 객체는 무인 항공기(UAV)인, 제어 기기. - 이미지를 캡처하기 위한 프로그램 명령어를 포함하는, 컴퓨터 판독할 수 있는 비일적인 매체로서,
디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주기 위한 프로그램 명령어;
상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하기 위한 프로그램 명령어; 및
상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 디스플레이상에 보이는 상기 타깃의 크기 (b) 상기 디스플레이상에 보이는 상기 타깃의 위치의 자동 제어를 실시하기 위한 데이터를 생성하기 위한 프로그램 명령어
를 포함하는 컴퓨터 판독할 수 있는 비일적인 매체. - 제59항에 있어서,
상기 디스플레이는 터치스크린인, 컴퓨터 판독할 수 있는 비일적인 매체. - 제59항에 있어서,
상기 타깃을 나타내는 사용자 입력은 단일 사용자 행위에 의해 제공되는, 컴퓨터 판독할 수 있는 비일적인 매체. - .
- 제59항에 있어서,
상기 (a) 및 (b)의 자동 제어를 실시하기 위한 데이터는 실질적으로 동시에 발생하는, 컴퓨터 판독할 수 있는 비일적인 매체. - 디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주는 단계;
상기 이미지 내에 보이는 타깃을 나타내는 사용자 입력에 관한 정보를 획득하는 단계; 및
상기 타깃을 나타내는 사용자 입력에 관한 정보에 기초하여, (a) 상기 디스플레이상에 보이는 상기 타깃의 크기 (b) 상기 디스플레이상에 보이는 상기 타깃의 위치의 자동 제어를 실시하기 위한 데이터를 생성하는 단계
를 포함하는 이미지를 캡처하는 방법. - 제64항에 있어서,
상기 타깃을 나타내는 상기 사용자 입력은 단일 사용자 행위에 의해 제공되는, 이미지를 캡처하는 방법. - 제64항에 있어서,
상기 이동 가능한 객체는 무인 항공기(UAV)인, 제어 기기. - 디스플레이 및 하나 이상의 프로세서를 포함하는 제어 기기로서,
상기 디스플레이는 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 이미지를 보여주도록 구성되고;
상기 프로세서는,
(1) 상기 디스플레이상에 표시된 이미지의 줌 레벨을, 미리 설정된 줌 레벨로 또는 미리 정해진 줌 계수에 의해 조정하는 것을 나타내는 단일 사용자 입력에 관한 정보를 획득하고,
(2) 상기 단일 사용자 입력에 기초하여, (i) 상기 디스플레이상에 보이는 이미지가 상기 미리 설정된 줌 레벨에 있도록, 또는 (ii) 상기 디스플레이상에 보이는 이미지가 상기 미리 정해진 줌 계수에 의해 조정되도록, (a) 상기 이미징 기기의 줌 레벨, 또는 (b) 상기 이미지 내에 보이는 상기 타깃으로부터의 상기 이미징 기기의 거리, 또는 (c) 상기 이미징 기기의 줌 레벨 및 거리 모두의 자동 제어를 실시하기 위한 명령을 생성하도록 구성되는,
제어 기기. - 제67항에 있어서,
상기 미리 설정된 줌 레벨이 1x 광학 줌인, 제어 기기. - 제67항에 있어서,
상기 미리 설정된 줌 레벨이, 상기 이미징 기기가 이미지를 캡처하기 시작하는 줌 레벨인, 제어 기기. - 제67항에 있어서,
상기 이미지의 줌 레벨은, (1) 상기 이미징 기기가 주밍(zooming) 가능한, 또는 (2) 상기 타깃으로부터의 상기 이미징 기기의 거리가 변경 가능한, 또는 (3) (1)과 (2)의 조합에서 가장 빠른 속도로 상기 미리 설정된 줌 레벨로 자동으로 조정되는, 제어 기기. - 제67항에 있어서,
상기 단일 사용자 입력은 상기 디스플레이의 미리 정해진 영역의 터치인, 제어 기기. - 제71항에 있어서,
상기 디스플레이의 미리 정해진 영역은 상기 이미지를 상기 미리 설정된 줌 레벨로 줌시키는 디폴트 줌 제어를 보여주는, 제어 기기. - 제67항에 있어서,
상기 디스플레이는 추가로, 사용자가 상기 줌 계수를 선택하는 메뉴를 보여주는, 제어 기기. - 제73항에 있어서,
상기 메뉴는 상기 사용자가 임계 시간 길이보다 긴 기간 동안 상기 디스플레이를 터치할 때 보이게 되는, 제어 기기. - 제73항에 있어서,
상기 메뉴는, 상기 사용자가 임계 압력보다 큰 압력으로 상기 디스플레이를 터치할 때 보이게 되는, 제어 기기. - 제67항에 있어서,
상기 디스플레이는 터치스크린인, 제어 기기. - 제67항에 있어서,
상기 디스플레이는, 상기 사용자가 상기 이미지의 줌인 또는 줌 아웃을 제어하도록, 하나 이상의 줌 제어를 더 보여주는, 제어 기기. - 제77항에 있어서,
상기 하나 이상의 줌 제어는, (i) 상기 사용자가 줌인 영역을 접촉하고 있는 동안 상기 이미지를 확대시키는 상기 디스플레이의 줌인 영역 및 (ii) 상기 사용자가 줌 아웃 영역을 접촉하고 있는 동안 상기 이미지를 축소시키는 줌 아웃 영역을 포함하는, 제어 기기. - 제67항에 있어서,
상기 (a), 또는 (b), 또는 (c)의 자동 조정을 실시하기 위한 명령은, 상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나에 대한 상기 (a), 또는 (b), 또는 (c)의 자동 조정을 위한 명령을 포함하는, 제어 기기. - 제67항에 있어서,
상기 이미지의 줌 레벨은 상기 이미징 기기의 줌 레벨을 자동 조정함으로써 자동으로 조정되는, 제어 기기. - 제67항에 있어서,
상기 이미징 기기, 또는 상기 이미징 기기를 지지하는 캐리어, 또는 상기 이동 가능한 객체 중 적어도 하나와 통신하도록 구성된 통신 유닛을 더 포함하는 제어 기기. - 제67항에 있어서,
상기 이미징 기기는 캐리어의 도움으로 상기 이동 가능한 객체에 의해 지지되는, 제어 기기. - 제67항에 있어서,
상기 이동 가능한 객체는 무인 항공기(UAV)인, 제어 기기. - 이미지의 줌 레벨을 제어하기 위한 프로그램 명령어를 포함하는, 컴퓨터 판독할 수 있는 비일적인 매체로서,
디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 하나 이상의 이미지를 보여주기 위한 프로그램 명령어;
상기 디스플레이상에 보이는 이미지의 줌 레벨을 미리 설정된 줌 레벨로 또는 미리 정해진 줌 계수에 의해 조정하는 것을 나타내는 단일 사용자 입력에 관한 정보를 획득하기 위한 프로그램 명령어; 및
상기 단일 사용자 입력에 기초하여, (i) 상기 디스플레이상에 보이는 이미지가 상기 미리 설정된 줌 레벨에 있도록, 또는 (ii) 상기 디스플레이상에 보이는 이미지의 줌 레벨이 상기 미리 정해진 줌 계수에 의해 조정되도록, (a) 상기 이미징 기기의 줌 레벨, 또는 (b) 상기 이미지 내의 타깃으로부터의 상기 이미징 기기의 거리, 또는 (c) 상기 줌 레벨 및 상기 이미징 기기의 거리의 자동 조정을 실시하기 위한 명령을 생성하기 위한 프로그램 명령어
를 포함하는 컴퓨터 판독할 수 있는 비일적인 매체. - 제84항에 있어서,
상기 이미지의 줌 레벨은, (1) 상기 이미징 기기가 주밍 가능한, 또는 (2) 상기 이미징 기기의 상기 타깃으로부터의 거리가 변경 가능한, 또는 (3) (1)과 (2)의 조합에서 가장 빠른 속도로 상기 미리 설정된 줌 레벨로 자동으로 조정되는, 컴퓨터 판독할 수 있는 비일적인 매체. - 제84항에 있어서,
상기 단일 사용자 입력은 상기 디스플레이의 미리 정해진 영역의 터치인, 컴퓨터 판독할 수 있는 비일적인 매체. - 제84항에 있어서,
상기 이동 가능한 객체는 무인 항공기(UAV)인, 컴퓨터 판독할 수 있는 비일적인 매체. - 이미지의 줌 레벨을 조정하는 방법으로서,
디스플레이상에, 이동 가능한 객체에 의해 지지되는 이미징 기기에 의해 캡처된 하나 이상의 이미지를 보여주는 단계;
상기 디스플레이상에 표시된 이미지의 줌 레벨을, 미리 설정된 줌 레벨 또는 미리 정해진 줌 계수에 의해 조정하는 것을 나타내는 단일 사용자 입력에 관한 정보를 획득하는 단계; 및
상기 단일 사용자 입력에 기초하여, (i) 상기 디스플레이상에 보이는 이미지가 미리 설정된 줌 레벨에 있고, (ii) 상기 디스플레이상에 표시된 이미지의 줌 레벨이 상기 미리 정해진 줌 계수에 의해 조정될 수 있도록, (a) 상기 이미징 기기의 줌 레벨, 또는 (b) 상기 이미지 내의 타깃으로부터의 상기 이미징 기기의 거리, 또는 (c) 상기 줌 레벨 및 상기 이미징 기기의 거리 모두의 자동 조정을 실시하기 위한 명령을 생성하는 단계
를 포함하는 이미지의 줌 레벨을 조정하는 방법. - 제88항에 있어서,
상기 이미지의 줌 레벨은, (1) 상기 이미징 기기가 주밍 가능한, 또는 (2) 상기 이미징 기기의 상기 타깃으로부터의 거리가 변경 가능한, 또는 (3) (1)과 (2)의 조합에서 가장 빠른 속도로 상기 미리 설정된 줌 레벨로 자동으로 조정되는, 이미지의 줌 레벨을 조정하는 방법. - 제88항에 있어서,
상기 단일 사용자 입력은 상기 디스플레이의 미리 정해진 영역의 터치인, 이미지의 줌 레벨을 조정하는 방법.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/103123 WO2018076147A1 (en) | 2016-10-24 | 2016-10-24 | Systems and methods for controlling an image captured by an imaging device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217009479A Division KR20210037761A (ko) | 2016-10-24 | 2016-10-24 | 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190055130A true KR20190055130A (ko) | 2019-05-22 |
| KR102236339B1 KR102236339B1 (ko) | 2021-04-02 |
Family
ID=62022946
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197010057A KR102236339B1 (ko) | 2016-10-24 | 2016-10-24 | 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 |
| KR1020217009479A KR20210037761A (ko) | 2016-10-24 | 2016-10-24 | 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217009479A KR20210037761A (ko) | 2016-10-24 | 2016-10-24 | 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10897567B2 (ko) |
| EP (1) | EP3494443B1 (ko) |
| JP (1) | JP6835392B2 (ko) |
| KR (2) | KR102236339B1 (ko) |
| CN (1) | CN109791405A (ko) |
| WO (1) | WO2018076147A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525912B1 (ko) * | 2022-09-22 | 2023-04-26 | (주)제이마플 | 무인 비행체 및 그 제어 방법 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018098792A1 (en) * | 2016-12-01 | 2018-06-07 | SZ DJI Technology Co., Ltd. | Methods and associated systems for managing 3d flight paths |
| KR20180065756A (ko) * | 2016-12-08 | 2018-06-18 | 삼성전자주식회사 | 무인비행체를 제어하는 전자 장치 및 그 제어 방법 |
| JP7136079B2 (ja) * | 2017-03-10 | 2022-09-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| CN107392961B (zh) * | 2017-06-16 | 2019-12-06 | 华勤通讯技术有限公司 | 基于增强现实的空间定位方法及装置 |
| CN109814588A (zh) * | 2017-11-20 | 2019-05-28 | 深圳富泰宏精密工业有限公司 | 飞行器以及应用于飞行器的目标物追踪系统和方法 |
| CN110622089A (zh) * | 2018-01-22 | 2019-12-27 | 深圳市大疆创新科技有限公司 | 跟随控制方法、控制终端及无人机 |
| US10518786B2 (en) * | 2018-02-22 | 2019-12-31 | GM Global Technology Operations LLC | Systems and methods for providing an operation data interface for autonomous operation of a vehicle |
| US11175516B1 (en) * | 2018-02-27 | 2021-11-16 | Snap Inc. | Object recognition for improving interfaces on an eyewear device and other wearable and mobile devices |
| JP6997303B2 (ja) * | 2018-05-14 | 2022-01-17 | 富士フイルム株式会社 | 移動型機器及び撮影システム |
| DE102018123411A1 (de) * | 2018-09-24 | 2020-03-26 | Autel Robotics Europe Gmbh | Zielbeobachtungsverfahren, zugehörige Vorrichtung und System |
| CN109584370B (zh) * | 2018-11-22 | 2023-03-21 | 北京未尔锐创科技有限公司 | 一种目标与背景红外场景仿真的方法 |
| US11314254B2 (en) * | 2019-03-26 | 2022-04-26 | Intel Corporation | Methods and apparatus for dynamically routing robots based on exploratory on-board mapping |
| CN110232683A (zh) * | 2019-06-10 | 2019-09-13 | 北京工业大学 | 一种基于无人机点云的滑坡检测方法 |
| US10846880B1 (en) * | 2020-01-03 | 2020-11-24 | Altec Industries, Inc. | Camera embedded joystick |
| CN111193870B (zh) * | 2020-01-09 | 2022-05-10 | 华为终端有限公司 | 通过移动设备控制车载摄像头的方法、设备和系统 |
| TWI720869B (zh) * | 2020-04-15 | 2021-03-01 | 致伸科技股份有限公司 | 相機模組之對位方法 |
| KR102379866B1 (ko) * | 2020-07-23 | 2022-03-29 | 주식회사 엘지유플러스 | 무인 비행체 및 무인 비행체의 제어 방법 |
| US20220036554A1 (en) * | 2020-08-03 | 2022-02-03 | Healthcare Integrated Technologies Inc. | System and method for supporting the emotional and physical health of a user |
| US20220081125A1 (en) * | 2020-09-17 | 2022-03-17 | Laura Leigh Donovan | Personal paparazzo drones |
| US11848015B2 (en) | 2020-10-01 | 2023-12-19 | Realwear, Inc. | Voice command scrubbing |
| JPWO2023089960A1 (ko) * | 2021-11-17 | 2023-05-25 | ||
| CN114218622A (zh) * | 2021-12-21 | 2022-03-22 | 爱尔卓资讯有限公司 | 一种基于远程控制的设备屏幕信息保护方法 |
| US11972077B1 (en) * | 2023-04-29 | 2024-04-30 | Himax Technologies Limited | Resetting system and method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142213A1 (en) * | 2013-07-31 | 2015-05-21 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
| CN105518555A (zh) * | 2014-07-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 目标追踪系统及方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08237533A (ja) * | 1995-02-27 | 1996-09-13 | Canon Inc | カメラ制御方法及び装置 |
| JP2003092750A (ja) * | 2001-09-18 | 2003-03-28 | Nec Corp | カメラ制御システム |
| NO332170B1 (no) | 2009-10-14 | 2012-07-16 | Cisco Systems Int Sarl | Anordning og fremgangsmate for kamerakontroll |
| CN102809969A (zh) * | 2011-06-03 | 2012-12-05 | 鸿富锦精密工业（深圳）有限公司 | 无人飞行载具控制系统及方法 |
| JP5896514B2 (ja) * | 2011-11-25 | 2016-03-30 | 学校法人千葉工業大学 | 無人走行体の遠隔操縦システム |
| US20140008496A1 (en) * | 2012-07-05 | 2014-01-09 | Zhou Ye | Using handheld device to control flying object |
| US9367067B2 (en) * | 2013-03-15 | 2016-06-14 | Ashley A Gilmore | Digital tethering for tracking with autonomous aerial robot |
| CN103426282A (zh) * | 2013-07-31 | 2013-12-04 | 深圳市大疆创新科技有限公司 | 遥控方法及终端 |
| JP6395381B2 (ja) | 2014-01-08 | 2018-09-26 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| CN105391939B (zh) * | 2015-11-04 | 2017-09-29 | 腾讯科技（深圳）有限公司 | 无人机拍摄控制方法和装置、无人机拍摄方法和无人机 |
| CN105512643A (zh) * | 2016-01-06 | 2016-04-20 | 北京二郎神科技有限公司 | 一种图像采集方法和装置 |
-
2016
- 2016-10-24 KR KR1020197010057A patent/KR102236339B1/ko active IP Right Grant
- 2016-10-24 WO PCT/CN2016/103123 patent/WO2018076147A1/en unknown
- 2016-10-24 EP EP16920192.8A patent/EP3494443B1/en active Active
- 2016-10-24 JP JP2019516689A patent/JP6835392B2/ja active Active
- 2016-10-24 KR KR1020217009479A patent/KR20210037761A/ko not_active Application Discontinuation
- 2016-10-24 CN CN201680089889.2A patent/CN109791405A/zh active Pending
-
2019
- 2019-04-23 US US16/391,610 patent/US10897567B2/en active Active
-
2021
- 2021-01-18 US US17/151,439 patent/US11632497B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150142213A1 (en) * | 2013-07-31 | 2015-05-21 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
| CN105518555A (zh) * | 2014-07-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 目标追踪系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525912B1 (ko) * | 2022-09-22 | 2023-04-26 | (주)제이마플 | 무인 비행체 및 그 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210144292A1 (en) | 2021-05-13 |
| US11632497B2 (en) | 2023-04-18 |
| WO2018076147A1 (en) | 2018-05-03 |
| KR20210037761A (ko) | 2021-04-06 |
| CN109791405A (zh) | 2019-05-21 |
| EP3494443B1 (en) | 2023-01-11 |
| EP3494443A1 (en) | 2019-06-12 |
| JP6835392B2 (ja) | 2021-02-24 |
| US20190253611A1 (en) | 2019-08-15 |
| JP2019537306A (ja) | 2019-12-19 |
| US10897567B2 (en) | 2021-01-19 |
| KR102236339B1 (ko) | 2021-04-02 |
| EP3494443A4 (en) | 2019-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102236339B1 (ko) | 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 | |
| CN107168352B (zh) | 目标追踪系统及方法 | |
| US20210116944A1 (en) | Systems and methods for uav path planning and control | |
| CN108780325B (zh) | 用于调整无人飞行器轨迹的系统和方法 | |
| CN108139759B (zh) | 用于无人飞行器路径规划和控制的系统和方法 | |
| CN107077113B (zh) | 无人飞行器飞行显示 | |
| CN108298078B (zh) | 远程控制方法及终端 | |
| JP2017503226A5 (ko) | ||
| JP6849272B2 (ja) | 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム | |
| JP2021073796A (ja) | 制御装置、及び画像を取得する方法 | |
| JP2021036452A (ja) | Ｕａｖ軌道を調整するシステム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |