WO2022143022A1 - 基于图像采集装置的控制方法、云台的控制方法及装置 - Google Patents
基于图像采集装置的控制方法、云台的控制方法及装置 Download PDFInfo
- Publication number
- WO2022143022A1 WO2022143022A1 PCT/CN2021/135818 CN2021135818W WO2022143022A1 WO 2022143022 A1 WO2022143022 A1 WO 2022143022A1 CN 2021135818 W CN2021135818 W CN 2021135818W WO 2022143022 A1 WO2022143022 A1 WO 2022143022A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image acquisition
- pan
- control
- acquisition device
- tilt
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 376
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000000875 corresponding effect Effects 0.000 claims description 612
- 230000033001 locomotion Effects 0.000 claims description 123
- 238000004891 communication Methods 0.000 claims description 112
- 230000035945 sensitivity Effects 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 74
- 230000005284 excitation Effects 0.000 claims description 72
- 230000001276 controlling effect Effects 0.000 claims description 69
- 238000013507 mapping Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 33
- 230000007246 mechanism Effects 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 27
- 239000000047 product Substances 0.000 claims description 21
- 230000006641 stabilisation Effects 0.000 claims description 20
- 238000011105 stabilization Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 18
- 230000001629 suppression Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 13
- 239000013589 supplement Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 description 105
- 210000003128 head Anatomy 0.000 description 54
- 238000010586 diagram Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 27
- 238000010801 machine learning Methods 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
- F16M11/20—Undercarriages with or without wheels
- F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
- F16M11/2035—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction
- F16M11/2042—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints
- F16M11/205—Undercarriages with or without wheels comprising means allowing pivoting adjustment in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. gimbals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
Abstract
基于图像采集装置(22)的控制方法、云台(21)的控制方法及装置。方法包括:获取图像采集装置(22)确定的拍摄参数,图像采集装置(22)为具有手动镜头或自动镜头的相机(100),拍摄参数能够用于调节图像采集装置(22)采集的采集图像(S101);基于拍摄参数确定控制参数(S102);基于控制参数对云台(21)和辅助设备(23)中的至少一种进行相应的控制,云台(21)用于支撑图像采集装置(22)和/或辅助设备(23),辅助设备(23)用于辅助图像采集装置(22)进行相应的拍摄(S103),有效地实现了无需借助任何设备即可直接获取到图像采集装置(22)确定的拍摄参数,降低了数据处理成本,在获取到拍摄参数之后,可以基于拍摄参数来对云台(21)和/或辅助设备(23)进行控制,从而实现了无需用户进行手动操作即可实现对云台(21)的有效控制。
Description
交叉引用
本申请要求于2020年12月30日提交的国际专利、申请号为PCT/CN2020/141400、申请名称为“云台的控制方法、装置、可移动平台和存储介质”的优先权,其全部内容通过引用结合在本申请中。
本发明实施例涉及可移动平台技术领域,尤其涉及一种基于图像采集装置的控制方法、云台的控制方法及装置。
随着科学技术的飞速发展,云台的应用领域越来越广泛,尤其云台可以广泛应用于拍摄领域。例如:云台上设置有相机,相机可以将诸如图像信息通过云台上的图传模块传输给云台,以使得云台依据图像信息进行相应的控制,如跟踪,或者,为了实现诸如对焦功能,对于具有手动镜头的相机而言,通常需要借助于额外的配件来获取诸如深度信息来实现对焦,这不仅对云台的性能要求比较高,也增加了额外的成本。
发明内容
本发明实施例提供了一种基于图像采集装置的控制方法、云台的控制方法及装置,可直接获得图像采集装置所确定的拍摄参数,而后可以基于拍摄参数对云台和辅助设备中的至少一种进行控制,从而方便对云台进行控制,并保证了用户的良好体验。
本发明的第一方面是为了提供一种基于图像采集装置的控制方法,包括:
获取所述图像采集装置确定的拍摄参数,其中,所述图像采集装置为具有手动镜头或自动镜头的相机,所述拍摄参数能够用于调节所述图像采集装置采集的采集图像;
基于所述拍摄参数确定控制参数;
基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,所述云台用于支撑所述图像采集装置和/或所述辅助设备,所述辅助设备用于辅助所述图像采集装置进行相应的拍摄。
本发明的第二方面是为了提供一种基于图像采集装置的控制装置,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取所述图像采集装置确定的拍摄参数,其中,所述图像采集装置为具有手动镜头或自动镜头的相机,所述拍摄参数能够用于调节所述图像采集装置采集的采集图像;
基于所述拍摄参数确定控制参数;
基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,所述云台用于支撑所述图像采集装置和/或所述辅助设备,所述辅助设备用于辅助所述图像采集装置进行相应的拍摄。
本发明的第三方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现上述第一方面所述的基于图像采集装置的控制方法。
本发明的第四方面是为了提供一种云台,包括:
云台主体;
上述第三方面所述的基于图像采集装置的控制装置,设置于所述云台主体上。
本实施例提供的技术方案,提供了一种不同于相关技术的用于获取拍摄参数的通信链路,通过直接获取所述图像采集装置确定的拍摄参数,基于所述拍摄参数确定控制参数,并基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,从而有效地实现了无需借助任何设备即可直接获取到图像采集装置确定的拍摄参数,降低了数据处理成本;同时,拍摄参数的相关计算功能放在了图像采集装置,从而降低了对云台的计算能力的需求;此外,在获取到拍摄参数之后,可以基于拍摄参数来对云台和辅助设备中的至少一种进行控制,从而实现了无需用户进行手动操作即可实现对云台的有效控制,保证了用户的良好体验,进一步提高了该方法的实用性,有利于市场的推广与应用。
本发明的第五方面是为了提供一种云台的控制方法,包括:
获取目标对象在采集图像中的采集位置,所述采集位置是通过图像采集装置所确定的,所述图像采集装置为具有手动镜头或自动镜头的相机,且所述图像采集装置与所述云台通信连接;
基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数;
根据所述控制参数对所述云台进行控制,以实现对所述目标对象进行跟随操作。
本发明的第六方面是为了提供一种云台的控制装置,所述装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取目标对象在采集图像中的采集位置,所述采集位置是通过图像采集装置所确定的,所述图像采集装置为具有手动镜头或自动镜头的相机,且所述图像采集装置与所述云台通信连接;
基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数;
根据所述控制参数对所述云台进行控制,以实现对所述目标对象进行跟随操作。
本发明的第七方面是为了提供一种云台的控制系统,包括:
云台;
上述第六方面所述的云台的控制装置,设置于所述云台上,且用于与所述图像采集装置通信连接,并用于通过图像采集装置对所述云台进行控制。
本发明的第八方面是为了提供一种可移动平台,包括:
云台;
支撑机构,用于连接所述云台;
上述第六方面所述的云台的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于通过图像采集装置对所述云台进行控制。
本发明的第九方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第五方面所述的云台的控制方法。
本发明的第十方面是为了提供一种云台系统的控制方法,其中,所述云台系统包括云台和与云台通信连接的图像采集装置,所述方法包括:
控制所述图像采集装置采集图像,并获取目标对象在所述图像中的采集位置,所述采集位置是通过图像采集装置所确定的;
将所述采集位置传输至所述云台;
控制所述云台按照控制参数进行运动,以实现对所述目标对象进行跟随操作,其中,所述控制参数是基于所述采集位置所确定的。
本发明的第十一方面是为了提供一种云台系统的控制装置,其中,所述云台系统包括云台和与云台通信连接的图像采集装置,所述装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
控制所述图像采集装置采集图像,并获取目标对象在所述图像中的采集位置,所述采集位置是通过图像采集装置所确定的;
将所述采集位置传输至所述云台;
控制所述云台按照控制参数进行运动,以实现对所述目标对象进行跟随操作,其中,所述控制参数是基于所述采集位置所确定的。
本发明的第十二方面是为了提供一种云台的控制系统,包括:
云台;
上述第十一方面所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
本发明的第十三方面是为了提供一种可移动平台,包括:
云台;
支撑机构,用于连接所述云台;
上述第十一方面所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
本发明的第十四方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第十方面所述的云台系统的控制方法。
本发明的第十五方面是为了提供一种云台的控制方法,用于云台,所述云台通信连接有图像采集装置,所述方法包括:
获取采集图像,所述采集图像中包括目标对象;
在所述采集图像中确定所述目标对象的位置,以基于所述目标对象的位置对所述目标对象进行跟随操作;
将根据所述目标对象的位置发送至所述图像采集装置,以使得所述图像采集装置基于所述目标对象的位置,确定与所述目标对象相对应的对焦位置,并基于所述对焦位置对所述目标对象进行对焦操作。
本发明的第十六方面是为了提供一种云台的控制装置,用于云台,所述云台通信连接有图像采集装置,所述控制装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取采集图像,所述采集图像中包括目标对象;
在所述采集图像中确定所述目标对象的位置,以基于所述目标对象的位置对所述目标对象进行跟随操作;
将根据所述目标对象的位置发送至所述图像采集装置,以使得所述图像采集装置基于所述目标对象的位置,确定与所述目标对象相对应的对焦位置,并基于所述对焦位置对所述目标对象进行对焦操作。
本发明的第十七方面是为了提供一种云台的控制系统,包括:
云台;
上述第十五方面所述的云台的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于通过所述云台对所述图像采集装置进行控制。
本发明的第十八方面是为了提供一种可移动平台,包括:
云台;
支撑机构,用于连接所述云台;
上述第十五方面所述的云台的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于通过所述云台对所述图像采集装置进行控制。
本发明的第十九方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第十四方面所述的云台的控制方法。
本发明的第二十方面是为了提供一种云台系统的控制方法,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述方法包括:
控制所述图像采集装置采集图像,所述图像包括目标对象;
在所述图像中确定所述目标对象的位置;
基于所述目标对象的位置控制所述云台对所述目标对象进行跟随操作,并根据所述目标对象的位置控制所述图像采集装置对所述目标对象进行对焦操作。
本发明的第二十一方面是为了提供一种云台系统的控制装置,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述控制装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
控制所述图像采集装置采集图像,所述图像包括目标对象;
在所述图像中确定所述目标对象的位置;
基于所述目标对象的位置控制所述云台对所述目标对象进行跟随操作,并根据所述目标对象的位置控制所述图像采集装置对所述目标对象进行对焦操作。
本发明的第二十二方面是为了提供一种云台的控制系统,包括:
云台;
上述第二十一方面所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
本发明的第二十三方面是为了提供一种可移动平台,包括:
云台;
支撑机构,用于连接所述云台;
上述第二十一方面所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
本发明的第二十四方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第二十方面所述的云台系统的控制方法。
本发明的第二十五方面是为了提供一种云台系统的控制方法,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述方法包括:
获取第一对象在所述图像采集装置采集的采集图像中的采集位置,所述第一对象的采集位置用于所述云台对所述第一对象进行跟随操作,以及用于所述图像采集装置对所述第一对象进行对焦操作;
在所述第一对象改变为第二对象时,获取所述第二对象在所述图像采集装置采集的采集图像中的采集位置,以使得所述云台由对所述第一对象的跟随操作变化为基于所述第二对象的采集位置对所述第二对象进行跟随操作,以及使得所述图像采集装置由对所述第一对象的对焦操作变化为基于所述第二对象的位置对所述第二对象进行对焦操作。
本发明的第二十六方面是为了提供一种云台系统的控制装置,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述控制装置包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取第一对象在所述图像采集装置采集的采集图像中的采集位置,所述第一对象的采集位置用于所述云台对所述第一对象进行跟随操作,以及用于所述图像采集装置对所述第一对象进行对焦操作;
在所述第一对象改变为第二对象时,获取所述第二对象在所述图像采集装置采集的采集图像中的采集位置,以使得所述云台由对所述第一对象的跟随操作变化为基于所述第二对象的采集位置对所述第二对象进行跟随操作,以及使得所述图像采集装置由对所述第一对象的对焦操作变化为基于所述第二对象的位置对所述第二对象进行对焦操作。
本发明的第二十七方面是为了提供一种云台的控制系统,包括:
云台;
上述第二十六方面所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
本发明的第二十八方面是为了提供一种可移动平台,包括:
云台;
支撑机构,用于连接所述云台;
上述第二十六方面所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
本发明的第二十九方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第二十五方面所述的云台系统的控制方法。
本发明实施例提供的云台的控制方法、装置、可移动平台和存储介质,通过获取目标对象在采集图像中的采集位置,而后基于采集位置确定用于对目标对象进行跟随操作的控制参数,并根据控制参数对云台进行控制,从而可以实现对目标对象进行跟随操作。其中,由于采集位置是通过图像采集装置,也即具有手动镜头或自动镜头的相机所确定的,并且云台可以通过图像采集装置直接获取采集位置,这样针对采集位置而言,其传输的通信链路与相关技术不同,即改变了计算采集位置的执行主体,使得能够复用图像采集装置原本的关于采集位置的识别功能,从而降低了对于云台的关于采集位置的计算能力的要求。
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的一种基于图像采集装置的控制方法的流程示意图;
图2为本发明实施例提供的获取所述图像采集装置确定的对焦信息的流程示意图;
图3为本发明实施例提供的基于所述拍摄参数确定控制参数的流程示意图;
图4为本发明实施例提供的另一基于所述拍摄参数确定控制参数的流程示意图;
图4a为本发明实施例提供的确定跟焦电机的第一转动方向的示意图;
图4b为本发明实施例提供的另一种确定跟焦电机的第一转动方向的示意图;
图4c为本发明实施例提供的又一种确定跟焦电机的第一转动方向的示意图;
图5为本发明实施例提供的又一基于所述拍摄参数确定控制参数的流程示意图;
图6为本发明实施例提供的另一基于所述拍摄参数确定控制参数的流程示意图;
图7为本发明实施例提供的又一基于所述拍摄参数确定控制参数的流程示意图;
图8为本发明实施例提供的再一基于所述拍摄参数确定控制参数的流程示意图;
图9为本发明实施例提供的另一种基于图像采集装置的控制方法的流程示意图;
图10为本发明应用实施例提供的一种自动对焦方法的流程示意图;
图11为本发明应用实施例提供的控制目标在画面中显示一致的原理示意图;
图12为本发明应用实施例提供的又一种基于图像采集装置的控制方法的原理示意图;
图13为本发明实施例提供的一种基于图像采集装置的控制装置的结构示意图;
图14为本发明实施例提供的一种云台的结构示意图;
图15为现有技术中提供的云台系统的结构示意图;
图16为本发明实施例提供的一种云台的控制方法的流程示意图;
图17为本发明实施例提供的一种云台与图像采集装置进行通信连接的结构示意图;
图18为本发明实施例提供的获取目标对象在采集图像中的采集位置的示意图;
图19为本发明实施例提供的获取目标对象在采集图像中的采集位置的流程示意图;
图20为本发明实施例提供的通过图像采集装置获取与所述目标对象相对应的目标对焦位置的流程示意图;
图21为本发明实施例提供的与所述历史对焦位置相对应的历史对象部位和与所述当前对焦位置相对应的当前对象部位的示意图一;
图22为本发明实施例提供的与所述历史对焦位置相对应的历史对象部位和与所述当前对焦位置相对应的当前对象部位的示意图二;
图23为本发明实施例提供的另一种云台的控制方法的流程示意图;
图24为本发明实施例提供的目标对象发生改变的示意图;
图25为本发明实施例提供的计算与所述采集位置相对应的当前位置预测值的流程示意图;
图26为本发明实施例提供的基于所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,确定与所述采集位置相对应的位置调整值的流程示意图;
图27为本发明实施例提供的基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数的流程示意图一;
图28为本发明实施例提供的基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数的流程示意图二;
图29为本发明实施例提供的基于所述云台的运动状态和所述控制参数对所述云台进行控制的流程示意图;
图30为本发明实施例提供的根据所述控制参数对所述云台进行控制的流程示意图一;
图31为本发明实施例提供的根据所述控制参数对所述云台进行控制的流程示意图二;
图32为本发明实施例提供的又一种云台的控制方法的流程示意图;
图33为本发明实施例提供的另一种云台的控制方法的流程示意图;
图34为本发明实施例提供的又一种云台的控制方法的流程示意图;
图35为本发明实施例提供的一种云台系统的控制方法的流程示意图;
图36为本发明实施例提供的另一种云台的控制方法的流程示意图;
图37为本发明实施例提供的另一种云台系统的控制方法的流程示意图;
图38为本发明实施例提供的又一种云台系统的控制方法的流程示意图;
图39为本发明应用实施例提供的一种云台的控制方法的原理示意图一;
图40为本发明应用实施例提供的一种云台的控制方法的原理示意图二;
图41为本发明实施例提供的一种云台的控制装置的结构示意图;
图42为本发明实施例提供的一种云台系统的控制装置的结构示意图;
图43为本发明实施例提供的另一种云台的控制装置的结构示意图;
图44为本发明实施例提供的另一种云台系统的控制装置的结构示意图;
图45为本发明实施例提供的又一种云台系统的控制装置的结构示意图;
图46为本发明实施例提供的一种云台的控制系统的结构示意图;
图47为本发明实施例提供的一种云台的控制系统的结构示意图;
图48为本发明实施例提供的另一种云台的控制系统的结构示意图;
图49为本发明实施例提供的又一种云台的控制系统的结构示意图;
图50为本发明实施例提供的另一种云台的控制系统的结构示意图;
图51为本发明实施例提供的一种可移动平台的结构示意图一;
图52为本发明实施例提供的一种可移动平台的结构示意图二;
图53为本发明实施例提供的一种可移动平台的结构示意图三;
图54为本发明实施例提供的一种可移动平台的结构示意图四;
图55为本发明实施例提供的一种可移动平台的结构示意图五。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
为了能够理解本实施例中技术方案的具体实现过程,下面对相关技术进行说明:
随着科学技术的飞速发展,人们对便携式相机的需求越来越高,相机的体积也向越来越往小型化的趋势进行发展。在相机不断小型化的同时,对相机的智能化需求也越来越高。相机的智能化程度可以通过相机内置的3A算法来实现,3A具体可以包括:自动对焦(Auto Focus,简称AF)、自动曝光(Automatic Exposure,简称AE)和自动白平衡(AWB)。其中,自动对焦操作、自动曝光(光圈)操作都依赖于镜头的内置马达以及微控制器来实现,这样会使得镜头的体积变大,并且,上述自动镜头的价格都比较昂贵,从而使得自动镜头的使用群体比较受限,因此,手动镜头应运而生。
对于手动镜头而言,手动镜头通常为纯机械装置,因此,手动镜头具有价格实惠的优点,并且,在体积上,由于手动镜头节省了内置马达以及微处理器,从而使得手动镜头所占用的空间变得更小一些。此外,对于手动镜头而言,使用外置的电机(代替内置马达)同样可以实现对焦、曝光(光圈)的功能,例如:通过USB连线的方式获取到相机的相位对焦信息(Phase Detection Auto-focus,简称PDAF),或者反差对焦信息(Contrast Detection Auto Focus,简称CDAF),而后利用PDAF信息和CDAF对外置电机进行闭环控制,以实现对焦/跟焦操作。同理,获取到相机的过曝光/欠曝光状态,也可以通过调整光圈来实现曝光功能。同理的,外部控制模块还可以通过USB获取相机测光数据,控制模块根据测光信息控制外部补光灯的色温、光强、实现外部曝光控制的功能。
另外,希区柯克Dolly zoom是一种控制主体的大小不变、背景实现放大/缩小的一种运镜方法,具体可以通过在移动相机的同时进行变焦操作来实现。对于能够支持智能焦点跟随的功能的相机而言,均 可以在相机中框选任意物体,框的大小会随着物体的大小变化而变化。而对于手动镜头而言,用户可以通过手动操作来控制手动镜头来实现Dolly zoom,但是,上述的运镜操作对于用户而言,操控难度比较高,Dollyzoom效果无法保证。
总的来说,上述技术存在以下缺陷:(1)传统自动对焦镜头的价格昂贵、镜头使用群体比较受限制;(2)手动镜头无法控制自动对焦和光圈的自动曝光调整;(3)手动控制Dollyzoom的运镜方式比较难操控;(4)在部分工况下,存在相机防抖与云台防抖互相干涉的问题;(5)受硬件的限制,手动实现曝光操作存在上限,只能通过增加感光度ISO来提升亮度,这样会导致画面的质量降低。
为了解决上述技术问题,本实施例提供了一种基于图像采集装置的控制方法、云台的控制方法及装置,基于图像采集装置的控制方法可以包括:获取图像采集装置确定的拍摄参数,拍摄参数可以包括:对焦信息、变焦信息等等,该拍摄参数能够用于调节图像采集装置采集的采集图像,和/或,为基于用户期望确定并能够用于实现图像采集装置的预设拍摄功能;在获取到拍摄参数之后,可以对拍摄参数进行分析处理,以确定控制参数,而后可以基于控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,云台用于支撑图像采集装置和/或辅助设备,辅助设备用于辅助图像采集装置进行相应的拍摄,例如,上述的辅助设备可以用于辅助图像采集装置实现跟焦拍摄操作、变焦拍摄操作或者补光拍摄操作等等。
本实施例提供的技术方案,通过获取所述图像采集装置确定的拍摄参数,基于所述拍摄参数确定控制参数,并基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,从而有效地实现了无需借助任何设备(检测设备、辅助设备等等)即可直接获取到图像采集装置确定的拍摄参数,降低了数据处理成本,此外,在获取到拍摄参数之后,可以基于拍摄参数来对云台和辅助设备中的至少一种进行控制,从而实现了无需用户进行手动操作即可实现对云台的有效控制,保证了用户的良好体验,进一步提高了该方法的实用性,有利于市场的推广与应用。
下面结合附图,对本发明中一种基于图像采集装置的控制方法、云台的控制方法及装置的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种基于图像采集装置的控制方法的流程示意图;参考附图1所示,本实施例提供了一种基于图像采集装置的控制方法。其中,图像采集装置可以设置于可移动平台上,具体的,图像采集装置与可移动平台可拆卸连接,即用户可以根据使用需求将图像采集装置安装在可移动平台上,或者,将图像采集装置从可移动平台上拆卸下来,使得图像采集装置可以独立于可移动平台。上述的可移动平台可以包括:手持云台、机载云台、无人飞行器、无人车、无人船、移动机器人等被动的移动设备或具有动力系统的移动设备,图像采集装置可以包括以下至少之一:具有手动镜头的相机、具有自动镜头的相机、手机、摄像机等等具有拍摄功能的设备。为了便于理解说明,突出本技术方案的实现效果,以云台作为可移动平台,图像采集装置设置于云台上为例进行说明,图像采集装置可以与可移动平台通信连接。其中,在图像采集装置为相机时,其镜头可以与其机身可拆卸连接,以适配不同的拍摄场景,达到不同的拍摄效果。
基于上述的结构,本实施例所提供的基于图像采集装置的控制方法的执行主体可以为基于图像采集装置的控制装置,可以理解的是,该基于图像采集装置的控制装置可以实现为软件、或者软件和硬件的组合。其可以集成于云台、图像采集装置、辅助设备中的任一种,也可以独立于其中的任一种,本申请实施例以执行主体为云台为例进行说明。具体的,该方法可以包括:
步骤S101:获取图像采集装置确定的拍摄参数,其中,图像采集装置为具有手动镜头或自动镜头的相机,拍摄参数能够用于调节图像采集装置采集的采集图像。
步骤S102:基于拍摄参数确定控制参数。
步骤S103:基于控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,云台用于支撑图像采集装置和/或辅助设备,辅助设备用于辅助图像采集装置进行相应的拍摄。
下面对上述各个步骤的具体实现原理进行详细说明:
步骤S101:获取图像采集装置确定的拍摄参数,其中,图像采集装置为具有手动镜头或自动镜头的相机,拍摄参数能够用于调节图像采集装置采集的采集图像。
其中,在图像采集装置进行图像采集操作的过程中,控制装置可以通过图像采集装置获取到拍摄参数,该拍摄参数可以包括以下至少之一:对焦信息、变焦信息、补光信息、预设对象在图像中的占比信息、防抖信息等等,在一些实例中,对焦信息可以包括采集位置,上述的拍摄参数能够用于调整图像采集装置采集的采集图像,和/或,为基于用户期望确定并能够用于实现图像采集装置的预设拍摄功能。举例来说,在拍摄参数为预设对象在图像中的占比信息时,则可以通过上述的拍摄参数对图像采集装置所采集的采集图像的构图进行调整,在一些实例中,可以实现希区柯克Dolly zoom的运镜操作;在拍摄参数为对焦信息、跟焦参数、补光信息或者防抖信息时,能够实现图像采集装置的对焦拍摄操作、跟焦拍摄操作、补光拍摄操作以及防抖拍摄操作等等。
另外,本实施例对于拍摄参数的具体获取方式不做限定,在一些实例中,获取图像采集装置确定的拍摄参数可以包括:获取图像采集装置中非图像传感器的传感器的感测信息,对所述感测信息进行分析处理,以获得拍摄参数,此时,拍摄参数的获取并不依赖于图像采集装内置所采集的采集图像;在一些实例中,获取图像采集装置确定的拍摄参数可以包括:获取图像采集装置所采集的采集图像,对采集图像进行分析处理,以获得拍摄参数,此时,拍摄参数是通过对图像采集装置所采集的图像进行分析处理后所获得的。在又一些实例中,获取图像采集装置确定的拍摄参数可以包括:获取图像采集装置所采集的采集图像,获取用户对采集图像所输入的执行操作,基于执行操作和采集图像获得拍摄参数,此时,拍摄参数可以是用户根据需求、对图像采集装置所采集的图像输入的执行操作所获得的,即拍摄参数是基于用户期望所确定的,在不同的应用场景中,可以基于不同的应用需求可以确定不同的拍摄参数。
在一些实例中,获取图像采集装置确定的拍摄参数可以包括:基于无线通信设备与图像采集装置建立无线通信链路,其中,无线通信设备设于云台或辅助设备;通过无线通信链路,获取拍摄参数。也即,控制装置可以基于与云台或辅助设备的通信,并借助云台或辅助设备与图像采集装置之间的无线通信连接,获取到图像采集装置确定的拍摄参数。
上述的无线通信设备可以包括以下任意至少之一:蓝牙模块、近距离无线通信模块、无线局域网wifi模块。
举例来说,在无线通信设备包括蓝牙模块时,图像采集装置具有蓝牙通信连接功能,控制装置与图像采集装置之间可以通过蓝牙模块建立无线通信链路,在图像采集装置获取到拍摄参数之后,则控制装置可以通过所建立的无线通信链路获取到拍摄参数,其中,蓝牙模块可以设置于云台或者辅助设备上。
相类似的,在无线通信设备包括wifi模块时,图像采集装置具有wifi连接功能,控制装置与图像采集装置之间可以通过wifi模块建立无线通信链路,在图像采集装置获取到拍摄参数之后,则控制装置可以通过所建立的无线通信链路获取到拍摄参数,其中,wifi模块可以设置于云台或者辅助设备上。
在无线通信设备包括近距离无线通信模块时,此时,在控制装置与图像采集装置之间近距离接触时,控制装置即可近距离无线通信模块通过与图像采集装置之间建立无线通信链路,在图像采集装置获取到拍摄参数之后,则控制终端可以通过所建立的无线通信链路获取到拍摄参数,其中,近距离无线通信模块可以设置于云台或者辅助设备上。
在无线通信设备包括蓝牙模块和近距离无线通信模块时,控制装置可以通过蓝牙模块和近距离无线通信模块与图像采集装置进行无线通信,其中,近距离无线通信模块用于获取实现蓝牙连接的信息。
在无线通信设备包括wifi模块和近距离无线通信模块时,控制装置可以通过wifi模块和近距离无线通信模块与图像采集装置进行无线通信,其中,近距离无线通信模块用于获取实现wifi连接的信息。
在无线通信设备包括蓝牙模块和wifi模块时,控制装置可以通过蓝牙模块和wifi模块与图像采集装置进行无线通信,其中,在不同的带宽要求下,可以选择其中之一进行数据传输,或者,蓝牙模块用于获取实现wifi连接的信息。
步骤S102:基于拍摄参数确定控制参数。
其中,对于云台而言,用户可以根据使用需求选择性地在云台上是否设置辅助设备、设置什么类型的辅助设备,具体的,辅助设备可以包括以下至少之一:对焦电机、变焦电机、补光设备等等,在云台上设置辅助设备时,辅助设备可以与云台可拆卸连接,即用户可以根据使用需求将辅助设备安装在云台上,或者,将辅助设备从云台上拆卸下来,使得辅助设备可以独立于云台。在云台上设置有辅助设备和图像采集装置时,该云台用于调整图像采集装置以及辅助设备的空间位置,此时,云台可以分别与图像采集装置、辅助设备通信连接。此外,对于辅助设备和图像采集装置而言,图像采集装置可以与辅助设备机械耦合,机械耦合可以包括:直接连接、通过连接件进行连接等等,具体的,图像采集装置与辅助设备可拆卸连接,即可以根据使用需求将图像采集装置与辅助设备进行连接,或者将图像采集装置与辅助设备进行拆分,使得图像采集装置与辅助设备相互独立。
具体的,为了能够实现对云台进行准确地控制,在获取到拍摄参数之后,可以对拍摄参数进行分析处理,从而可以确定控制参数,本实施例对于确定控制参数的具体实现方式不做限定,本领域技术人员可以根据具体的应用场景或者应用需求进行设置,在一些实例中,预先设置有拍摄参数与控制参数之间的映射关系,基于映射关系来确定与拍摄参数相对应的控制参数。在又一些实例中,获取预先训练好的机器学习模型,将拍摄参数输入至机器学习模型,从而可以获得机器学习模型所输出的控制参数。
步骤S103:基于控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,云台用于支撑图像采集装置和/或辅助设备,辅助设备用于辅助图像采集装置进行相应的拍摄。
由于控制参数用于对云台和/或辅助设备进行控制,因此,在获取到控制参数之后,可以基于控制参数对云台和辅助设备中的至少一种进行相应的控制操作。举例来说:在控制参数包括防抖信息时,可以基于防抖信息对云台进行控制,以实现相应的增稳操作。在一些实例中,在获取到控制参数之后,可以基于控制参数对辅助设备进行控制,例如:在控制参数包括相关于变焦电机的参数时,可以基于该相关于变焦电机的参数对变焦电机进行相应的控制操作,从而可以实现变焦调节操作;在控制参数包括相关于对焦电机的参数时,可以基于该相关于对焦电机的参数对对焦电机进行相应的控制操作,从而可以实现对焦调节操作;在控制参数包括补光信息时,可以基于补光信息对补光设备进行相应的控制操作,从而可以实现补光操作。在又一些实例中,在获取到控制参数之后,可以基于控制参数对云台和辅助设备进行控制,例如:在控制参数包括防抖信息时,可以基于防抖信息对云台和/或具有防抖控制单元的图像采集装置进行控制。
基于上述说明可知,拍摄参数可以由图像采集装置内的控制器获取,其不同于图像信息。也即,拍摄参数并非由云台或辅助设备或其它基于图像采集装置的控制装置根据图像信息或其它设备采集的数据进行分析处理得到,且在某些使用场景下,云台或或辅助设备或其它基于图像采集装置的控制装置,无需获取图像信息或其它设备采集的数据,即可实现相应的控制。
本实施例提供的基于图像采集装置的控制方法,通过获取所述图像采集装置确定的拍摄参数,基于所述拍摄参数确定控制参数,并基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,从而有效地实现了无需借助任何设备即可直接获取到图像采集装置确定的拍摄参数,降低了数据处理成本,此外,在获取到拍摄参数之后,可以基于拍摄参数来对云台和辅助设备中的至少一种进行控制,从而实 现了无需用户进行手动操作即可实现对云台的有效控制,保证了用户的良好体验,进一步提高了该方法的实用性,有利于市场的推广与应用。
可以理解,在利用控制参数对辅助设备进行相应的控制时,图像采集装置可以是除相机以外的另一种可采集图像的电子设备,此处不做具体限定。
在上述实施例的基础上,对于图像采集装置而言,图像采集装置可以为包括手动镜头的相机,此时,通过图像采集装置确定的拍摄参数能够用于调节图像采集装置采集的采集图像,需要注意的是,在云台上配置不同的辅助设备时,不同的辅助设备可以对应有不同的拍摄参数,这样通过图像采集装置所确定的拍摄参数和辅助设备能够对采集图像实现不同的调节操作。
在一些实例中,对于手动镜头而言,尽管图像采集装置无法实现自动对焦,但在图像采集装置中的图像传感器(例如:(Complementary Metal-Oxide-Semiconductor,简称CMOS)传感器)支持的情况下,可以通过用户点击图像采集装置的显示屏的方式获取指定区域的相位对焦信息,再可以通过标定的方式得到相位-对焦环位置曲线,再根据标定曲线直接计算出跟焦环位置,从而可以控制辅助设备,如跟焦电机旋转目标对焦环位置,即可以实现手动镜头的快速对焦。或者,也可以通过辅助设备,如跟焦电机通过获取上述指定区域的对比度信息,实现CDAF功能。因此,在辅助设备包括用于对图像采集装置的跟焦环进行调节的跟焦电机时,本实施例中的获取图像采集装置确定的拍摄参数可以包括:获取图像采集装置确定的对焦信息,其中,对焦信息可以包括以下至少之一:相位对焦PDAF信息、反差对焦CDAF信息。
对于图像采集装置而言,图像采集装置可以对应有不同的光圈应用模式,例如:光圈应用模式可以包括大光圈模式和小光圈模式,大光圈模式是指光圈值大于设定光圈阈值的工作模式,小光圈模式可以是指光圈值小于或等于预设光圈阈值的工作模式,而在不同的光圈应用模式下,PDAF与CDAF的精度不一致,例如,在小光圈模式下,PDAF精度受限,则可以采用不同的对焦信息来实现自动对焦操作。因此,为了能够保证自动对焦操作的准确可靠性,参考附图2所示,本实施例提供了一种获取对焦信息的实现方式,具体的,获取图像采集装置确定的对焦信息可以包括:
步骤S201:确定图像采集装置所对应的光圈应用模式。
其中,对于图像采集装置而言,不同的光圈应用模式可以对应有不同范围的光圈值,因此,在图像采集装置工作的过程中,可以通过获取图像采集装置所对应的光圈值来确定图像采集装置所对应的光圈应用模式。或者,不同的光圈应用模式可以对应有不同的显示标识(包括:指示灯、在显示界面中所显示的图标等等),通过标识信息可以确定图像采集装置所对应的光圈应用模式。
当然的,本领域技术人员也可以采用其他的方式来确定图像采集装置所对应的光圈应用模式,只要能够保证对光圈应用模式进行确定的准确可靠性即可,在此不再赘述。
步骤S202:根据光圈应用模式,获取图像采集装置确定的相位对焦信息、反差对焦信息中的至少一种。
在获取到光圈应用模式之后,可以对光圈应用模式进行分析处理,从而可以获取通过图像采集装置所确定的相位对焦信息和反差对焦信息中的至少一种,即在不同的应用场景中,用户可以根据使用需求或者设计需求来获取到不同的对焦信息。在一些实例中,在能够准确获取到相位对焦信息时,则可以通过光圈应用模式、获取图像采集装置所确定的相位对焦信息;在另一些实例中,在能够准确获取到反差对焦信息时,可以通过光圈应用模式、获取图像采集装置所确定的反差对焦信息;在一些实例中,还可以通过光圈应用模式、获取图像采集装置所确定的相位对焦信息和反差对焦信息。
在又一些实例中,根据光圈应用模式,获取图像采集装置确定的相位对焦信息、反差对焦信息中的至少一种可以包括:在光圈应用模式为第一模式时,获取图像采集装置确定的反差对焦信息,或者,获取图像采集装置确定的相位对焦信息和反差对焦信息,其中,第一模式所对应的光圈值小于或等于设定 光圈阈值;和/或,在光圈应用模式为第二模式时,获取图像采集装置确定的相位对焦信息,其中,第二模式所对应的光圈值大于设定光圈阈值。
具体的,图像采集装置的光圈应用模式可以包括第一模式和第二模式,由于第一模式所对应的光圈值小于或等于设定光圈阈值,因此可以称第一模式为小光圈模式,第二模式所对应的光圈值大于设定光圈阈值,因此可以称第二模式为大光圈模式。当图像采集装置处于第一模式时,此时的相位对焦信息PDFA的精度受限,因此,为了能够实现准确的对焦操作,则可以获取图像采集装置确定的相位对焦信息和反差对焦信息,以通过相位对焦信息和反差对焦信息来实现快速自动对焦操作。当图像采集装置处于第二模式时,此时的相位对焦信息PDFA可以直接对准目标,即通过相位对焦信息即可实现准确地对焦操作,因此,可以通过图像采集装置确定相位对焦信息。
本实施例中,通过确定图像采集装置所对应的光圈应用模式,而后根据光圈应用模式获取图像采集装置确定的相位对焦信息、反差对焦信息中的至少一种,从而有效地实现了在图像采集装置工作在不同的光圈应用模式时,可以确定不同的对焦信息,从而保证了对焦信息进行获取的灵活可靠性,进而提高了基于对焦信息进行对焦操作的实现精度。
承接上述描述内容,在辅助设备包括跟焦电机时,基于控制参数对云台和辅助设备中的至少一个进行控制可以包括:基于控制参数对跟焦电机进行控制,以实现图像采集装置的跟焦操作。
其中,在辅助设备包括跟焦电机且能够获取图像采集装置所确定的对焦信息时,为了能够实现对跟焦电机进行控制,则可以对对焦信息进行分析处理,以获得与对焦信息相对应的控制参数,而后可以基于控制参数对跟焦电机进行控制。需要注意的是,由于对焦信息可以包括相位对焦信息和/或反差对焦信息,在获取与对焦信息相对应的控制参数时,不同的对焦信息可以对应有不同的数据处理策略,因此,为了保证对控制参数进行获取的准确可靠性,在对焦信息包括相位对焦信息时,本实施例提供了一种获取控制参数的实现方式,具体的,参考附图3所示,本实施例中的基于拍摄参数确定控制参数可以包括:
步骤S301:获取相位对焦信息与跟焦环位置之间的第一映射关系。
步骤S302:基于第一映射关系确定与相位对焦信息相对应的跟焦环位置。
步骤S303:基于跟焦环位置,确定跟焦电机的控制参数。
其中,在辅助设备包括跟焦电机时,图像采集装置可以配置有相对应的跟焦环,跟焦环上标注有多个跟焦环位置,该跟焦环位置用于实现对跟焦电机的控制操作。具体的,通过跟焦环位置可以控制跟焦电机驱动与跟焦环相连接的齿轮,以实现对焦操作。为了能够实现对跟焦电机进行准确的控制操作,可以获取相位对焦信息与跟焦环位置之间的第一映射关系,该第一映射关系可以通过图像采集装置的厂商直接获取,或者,也可以通过预先的标定操作来获取,该第一映射关系用于标识相位对焦信息与跟焦环位置之间的一对一关系。
在获取到第一映射关系之后,则可以基于第一映射关系对相位对焦信息进行分析处理,从而可以确定与相位对焦信息相对应的跟焦环位置,而后则可以基于所确定的跟焦环位置来确定跟焦电机的控制参数,其中,控制参数可以包括以下至少之一:转动行程、转动速度、转动方向等等。在一些实例中,预先配置有跟焦环位置与控制参数之间的映射关系,基于映射关系和跟焦环位置即可确定跟焦电机的控制参数。在另一些实例中,预选训练有用于对跟焦环位置进行分析处理的机器学习模型,将跟焦环位置输入至机器学习模型,从而可以获得机器学习模型所输出的跟焦电机的控制参数。
本实施例中,在对焦信息包括相位对焦信息时,通过获取相位对焦信息与跟焦环位置之间的第一映射关系,而后基于第一映射关系确定与相位对焦信息相对应的跟焦环位置,并基于跟焦环位置来确定跟焦电机的控制参数,从而有效地保证了对跟焦电机的控制参数进行确定的准确可靠性,进一步提高了基于控制参数来对跟焦电机进行控制,以实现对焦操作的精确程度。
在对焦信息包括反差对焦信息时,本实施例提供了一种获取控制参数的实现方式,具体的,参考附图4所示,本实施例中的基于拍摄参数确定控制参数可以包括:
步骤S401:确定跟焦电机与反差对焦信息相对应的当前电机位置。
在获取到反差对焦信息之后,可以对反差对焦信息进行分析处理,具体的,预先设置有反差对焦信息与电机位置之间的映射关系,通过上述映射关系即可确定跟焦电机与反差对焦信息相对应的当前电机位置,从而有效地保证了对当前电机位置进行确定的准确可靠性。
步骤S402:获取与跟焦电机相对应的设定位置范围。
为了能够实现对跟焦电机进行控制的准确可靠性,可以获取与跟焦电机相对应的设定位置范围,该设定位置范围用于标识电机能够进行正常运动的区间范围,可以理解的是,不同的跟焦电机可以对应有相同或者不同的设定位置范围。在一些实例中,设定位置范围可以是预先配置的存储在预设区域中的参数,此时,通过访问预设区域即可获取到跟焦电机的设定位置范围。在一些实例中,设定位置范围可以通过标定操作获得,举例来说,在图像采集装置为相机时,获取与跟焦电机相对应的设定位置范围可以包括:获取相机的镜头的最近端和最远端,其中,镜头的最近端和最远端用于限定镜头的的变换焦距范围,镜头的最近端和最远端可以是与镜头所对应的机械限位,一般情况下,最近端可以对应于镜头的机械下限位,最远端可以对应于镜头的机械上限位。在获取到相机的镜头的最近端和最远端之后,获取最近端相对应的第一电机位置和与最远端相对应的第二电机位置;基于第一电机位置和第二电机位置确定设定位置范围,上述的设定位置范围即为由第一电机位置作为下限位置、由第二电机位置作为上限位置所构成的电机能够运行的位置范围,即跟焦电机能够在第一电机位置和第二电机位置所构成的范围内自由运动,从而有效地实现了可以准确、有效地获取到与跟焦电机相对应的设定位置范围。
需要说明的是,本实施例中步骤S402与步骤S401的执行顺序并不限于上述所限定的描述顺序,本领域技术人员可以根据具体的应用场景或者应用需求进行设置,例如:步骤S402可以在步骤S401之前执行,或者步骤S402可以与步骤S401同时执行。
步骤S403:基于当前电机位置和设定位置范围,确定跟焦电机的第一转动速度和第一转动方向。
在获取到当前电机位置和设定位置范围之后,可以对当前电机位置和设定位置范围进行分析处理,以确定跟焦电机的第一转动速度和第一转动方向。在一些实例中,预先训练有用于对当前电机位置和设定位置范围进行分析处理的机器学习模型,将当前电机位置和设定位置范围输入至机器学习模型中,从而可以获得跟焦电机的第一转动速度和第一转动方向。在另一些实例中,基于当前电机位置和设定位置范围,确定跟焦电机的第一转动速度和第一转动方向可以包括:获取当前电机位置分别与设定位置范围的上限值和下限值之间的第一距离和第二距离;基于第一距离和第二距离,确定跟焦电机的第一转动速度和第一转动方向。
具体的,在获取到设定位置范围之后,可以确定与设定位置范围所对应的上限值和下限值,在获取到上限值和下限值之后,可以获取当前电机位置与上限值之间的第一距离、以及当前电机位置与下限值之间的第二距离,在获取到第一距离和第二距离之后,可以对第一距离和第二距离进行分析处理,以确定跟焦电机的第一转动速度和第一转动方向。
在一些实例中,基于第一距离和第二距离,确定跟焦电机的第一转动速度和第一转动方向可以包括:将第一距离与第二距离进行分析比较,在第一距离大于第二距离时,此时,则说明跟焦电机朝向下限值所能够转动的行程小于朝向上限值所能转动的行程,由于对焦操作可能需要跟焦电机转动较多的行程,这样能够保证对焦操作的顺利实现,因此,则可以将第一转动方向确定为靠近上限值的方向,而后可以基于第一距离来确定跟焦电机的第一转动速度。在第一距离小于第二距离时,则可以将第一转动方向确定为靠近下限值的方向,而后可以基于第二距离来确定跟焦电机的第一转动速度。在第一距离等于第二 距离时,则可以将第一转动方向确定为朝向下限值或者朝向上限值的方向,而后基于第一距离或者第二距离来确定跟焦电机的第一转动速度。
举例1,参考附图4a所示,当前电机位置为L1,L1位于设定位置范围内,而后可以获取L1与上限值之间的第一距离S1、L1与下限值之间的第二距离S2,由于S1>S2,因此,可以将跟焦电机的第一转动方向D确定为靠近上限值的方向,并可以基于S1来确定跟焦电机的第一转动速度V,从而有效地实现了对跟焦电机的第一转动速度和第一转动方向进行确定的准确可靠性。
举例2,参考附图4b,当前电机位置为L2,L2位于设定位置范围内,而后可以获取L2与上限值之间的第一距离S1、L2与下限值之间的第二距离S2,由于S2>S1,因此,可以将跟焦电机的第一转动方向D确定为靠近下限值的方向,并可以基于S2来确定跟焦电机的第一转动速度V,从而有效地实现了对跟焦电机的第一转动速度和第一转动方向进行确定的准确可靠性。
举例3,参考附图4c,当前电机位置为L3,L3位于设定位置范围内,而后可以获取L3与上限值之间的第一距离S1、L3与下限值之间的第二距离S2,由于S2=S1,因此,可以将跟焦电机的第一转动方向D确定为朝向下限值的方向,并可以基于S2来确定跟焦电机的第一转动速度V,或者,将跟焦电机的第一转动方向D`确定为朝向上限值的方向,并可以基于S1来确定跟焦电机的第一转动速度V`,从而有效地实现了对跟焦电机的第一转动速度和第一转动方向进行确定的准确可靠性。
需要注意的是,当基于第一转动速度和第一转动方向控制跟焦电机进行运动之后,跟焦电机所对应的当前电机位置会发生变化,从而可以获得新的当前电机位置,对于新的当前电机位置而言,可以采用上述方式重新确定第一转动速度和第一转动方向,从而实现了在利用跟焦电机进行对焦操作时,在未调整到合焦状态的过程中,所获取到的控制参数(例如:第一转动速度和第一转动方向)可以是实时更新的,这样可以保证对焦操作的稳定可靠性。具体的,在确定跟焦电机的第一转动速度和第一转动方向之后,则可以基于第一转动速度和第一转动方向控制跟焦电机进行运动,以实现自动对焦操作。在一些实例中,为了能够保证自动对焦操作的稳定运行,本实施例中的方法还可以包括:基于当前电机位置对设定位置范围进行更新,获得更新后位置范围;基于更新后位置范围和电机转动后位置,对第一转动速度进行调整,以获得第二转动速度,第二转动速度小于第一转动速度。
在基于第一转动速度和第一转动方向控制跟焦电机运动的过程中,第一转动速度可以是基于跟焦电机运动的位置进行实时变化的。具体的,在获取到当前电机位置之后,可以基于当前电机位置对设定位置范围进行更新,从而可以获得更新后位置范围。在一些实例中,更新后位置范围的一个边界值可以为当前电机位置,另一个边界值可以为上限值或者下限值,即更新后位置范围小于设定位置范围,具体为设定位置范围中的一部分。
在基于第一转动速度和第一转动方向控制跟焦电机进行运动的过程中,跟焦电机的当前电机位置会不断发生变化,即跟焦电机由当前电机位置变为电机转动后位置,在获取到更新后位置范围和电机转动后位置之后,可以对更新后位置范围和电机转动后位置进行分析处理,以实现对第一转动速度进行调整,获得第二转动速度,具体的,“基于更新后位置范围和电机转动后位置获得第二转动速度”的具体实现方式和实现过程与上述“基于当前电机位置和设定位置范围,确定跟焦电机的第一转动速度和第一转动方向”的具体实现方式和实现过程相类似,具体可参考上述陈述内容,在此不再赘述。需要说明的是,由于更新后位置范围小于设定位置范围,因此,所确定的第二转动速度小于第一转动速度,即在对控制跟焦电机进行对焦操作时,跟焦电机所对应的转动速度会不断减小。
另外,对于跟焦电机而言,预先配置有用于标识跟焦电机处于正常运行状态的速度阈值,当跟焦电机的运行速度小于或等于速度阈值时,则说明跟焦电机可以进行正常的运行操作;当跟焦电机的运行速度大于速度阈值时,则无法保证跟焦电机进行正常的运行操作。因此,为了能够保证自动对焦操作的稳 定运行,在获取到第一转动速度之后,可以将第一转动速度与速度阈值进行分析比较,在第一转动速度大于速度阈值时,则说明所确定的第一转动速度较大,无法保证跟焦电机进行正常的运转,因此,则可以将第一转动速度更新为速度阈值,以基于速度阈值来控制跟焦电机进行运动。在第一转动速度小于或等于速度阈值时,则说明所确定的第一转动速度在正常速度范围内,因此,则可以基于第一转动速度控制跟焦电机进行运动。
本实施例中,通过确定跟焦电机与反差对焦信息相对应的当前电机位置,获取与跟焦电机相对应的设定位置范围,而后基于当前电机位置和设定位置范围,确定跟焦电机的第一转动速度和第一转动方向,从而有效地保证了对与跟焦电机相对应的第一转动速度和第一转动方向进行确定的准确可靠性,在基于第一转动速度和第一转动速度控制跟焦电机时,可以快速、稳定地实现对焦操作,进一步提高了该方法使用的稳定可靠性。
相关技术中,在利用跟焦电机进行对焦操作时,以跟焦电机与相机的跟焦环啮合,跟焦电机与相机承载于云台为例进行说明,该云台还承载有深度检测装置,如飞行时间TOF传感器,该深度检测装置可以提供相机的感测范围内的某一区域或某一对象的深度信息,并可以将该信息直接或间接反馈给跟焦电机,该跟焦电机可以基于深度信息驱动跟焦环旋转,从而实现对相机的感测范围内的某一区域或某一对象的对焦操作。如此对比可知,本申请中无需利用额外的深度检测装置来实现对焦操作,而是可以复用相机原有的功能,减少了上述应用场景中的成本,且能够有效实现对焦操作。
在另一些实例中,对于辅助设备而言,其不仅可以包括跟焦电机,还可以包括变焦电机,具体的,在辅助设备包括用于对图像采集装置的变焦环进行调节的变焦电机时,本实施例中的获取图像采集装置确定的拍摄参数可以包括:获取与采集图像相对应的变焦信息。
其中,在图像采集装置运行的过程中,可以通过图像采集装置获取采集图像,而后对采集图像进行分析处理,以获取与采集图像相对应的变焦信息,具体的,变焦信息可以通过变焦控制器来获得。在获取到变焦信息之后,可以基于变焦信息对变焦电机进行控制,以实现图像采集装置的变焦操作,此时,基于控制参数对云台和辅助设备中的至少一个进行控制可以包括:基于控制参数对变焦电机进行控制,以实现图像采集装置的变焦操作。
具体的,在辅助设备包括变焦电机且能够获取图像采集装置所确定的变焦信息时,为了能够实现对跟焦电机进行控制,则可以对变焦信息进行分析处理,以获得与变焦信息相对应的控制参数,而后基于控制参数对变焦电机进行控制,其中,变焦信息用于对相机镜头的变焦能力进行调整,不同的变焦信息可以对应有不同的焦距信息,在不同的焦距信息的控制下,被摄物体在图像中的显示大小不同。在一些实例中,参考附图5所示,本实施例中的基于拍摄参数确定控制参数可以包括:
步骤S501:基于采集图像,确定设定对象在显示画面中的初始占比,其中,显示画面为基于采集图像确定。
在图像采集装置运行的过程中,可以通过图像采集装置获取到采集图像,所获得的采集图像中可以包括设定对象,该设定对象可以为:人物、动物、植物、建筑物、交通工具等等,在获取到采集图像之后,可以对采集图像进行分析处理,以确定设定对象在显示画面中的初始占比,该初始占比用于标识设定对象相对于显示画面中的显示尺寸特征。
需要注意的是,显示画面是基于采集图像进行确定的,显示画面的尺寸与采集图像的尺寸可以相同或者不同,具体的,显示画面可以为采集图像的至少一部分。举例来说,在获取到一采集图像之后,若采集图像中所包括的内容比较多,而用户感兴趣的只是采集图像中的一部分时,用户可以基于需求将采集图像中包括感兴趣部分的图像区域确定为显示画面;若采集图像中所包括的内容比较小时,则可以直接将采集图像的全部区域确定为显示画面。
另外,本实施例对于确定设定对象在显示画面中的初始占比的具体实现方式不做限定,本领域技术人员可以根据具体的应用场景或者应用需求进行设置,例如:在获取到采集图像之后,可以基于用户的输入操作来确定设定对象和显示画面,而后则可以基于所确定的设定对象和显示画面来确定设定对象在显示画面的初始占比。在另一些实例中,基于采集图像,确定设定对象在显示画面中的初始占比可以包括:获取设定对象的对象尺寸特征以及显示画面的画面尺寸特征;基于对象尺寸特征和画面尺寸特征,确定初始占比。
具体的,在获取到采集图像之后,可以响应于用户输入的执行操作来确定设定对象和显示画面,或者,也可以通过目标识别算法来识别设定对象和显示画面,例如:在采集图像中包括对象1、对象2和对象3,由于对象3在整个采集图像中的占比大于另外两个对象在采集图像中的占比,因此,基于目标识别算法可以将对象3确定为设定对象。在获取到设定对象和显示画面之后,可以基于采集图像获取设定对象的对象尺寸特征以及显示画面的画面尺寸特征,其中,对象尺寸特征可以包括以下至少之一:对象长度尺寸、对象宽度尺寸、对象面积尺寸;相对应的,显示画面的画面尺寸特征可以包括以下至少之一:画面长度尺寸、画面宽度尺寸、画面面积尺寸。
其中,获取设定对象的对象尺寸特征可以包括:通过对象识别算法或者机器学习模型来识别设定对象的轮廓信息,基于轮廓信息来确定设定对象的对象尺寸特征。或者,获取设定对象的对象尺寸特征可以包括:获取设定对象所对应的识别框,识别框可以是预先设置的矩形框、方形框、圆形框等等,通过识别框来确定设定对象的对象尺寸特征。在一些实例中,为了能够使得用户可以更加直观地获知到设定对象的对象尺寸特征,在获取到设定对象所对应的识别框或者轮廓信息之后,则可以对设定对象所对应的识别框或者轮廓信息进行显示。
在获取到对象尺寸特征和画面尺寸特征之后,可以对对象尺寸特征和画面尺寸特征进行分析处理,以确定初始占比。由于对象尺寸特征和画面尺寸特征可以具有多种表现形式,因此,初始占比的确定方式也具有多种方式。在一些实例中,在对象尺寸特征包括对象长度尺寸,画面尺寸特征包括画面长度尺寸时,本实施例中的基于对象尺寸特征和画面尺寸特征,确定初始占比可以包括:将对象长度尺寸与画面长度尺寸之间的比值,确定为初始占比。
举例来说,在对象长度尺寸为TL,画面长度尺寸为FL时,则初始占比P可以为TL/FL或者FL/TL,由于设定对象需要在显示画面中进行显示,因此TL<FL,进而可知,在P=TL/FL时,所获得的P是一个大于0、且小于1的数值;在P=FL/TL时,所获得的P是一个大于1的数值。当然的,本领域技术人员也可以采用其他的实现方式来获取初始占比,例如:初始占比P可以为TL/(FL-TL)或者(FL-TL)/TL,此时,P可以为大于1或者小于1的数值。
在另一些实例中,在对象尺寸特征包括对象宽度尺寸,画面尺寸特征包括画面宽度尺寸时,本实施例中的基于对象尺寸特征和画面尺寸特征,确定初始占比可以包括:将特征宽度尺寸与画面宽度尺寸之间的比值,确定为初始占比。
举例来说,在对象宽度尺寸为TW,画面宽度尺寸为FW时,则初始占比P可以为TW/FW或者FW/TW,由于设定对象需要在显示画面中进行显示,因此TW<FW,进而可知,在P=TW/FW时,所获得的P是一个大于0、且小于1的数值;在P=FW/TW时,所获得的P是一个大于1的数值。当然的,本领域技术人员也可以采用其他的实现方式来获取初始占比,例如:初始占比P可以为TW/(FW-TW)或者(FW-TW)/TW,此时,P可以为大于1或者小于1的数值。
在又一些实例中,在对象尺寸特征包括对象面积尺寸,画面尺寸特征包括画面面积尺寸时,本实施例中的基于对象尺寸特征和画面尺寸特征,确定初始占比可以包括:将对象面积尺寸与画面面积尺寸之间的比值,确定为初始占比。
举例来说,在对象面积尺寸为TS,画面面积尺寸为FS时,则初始占比P可以为TS/FS或者FS/TS,由于设定对象需要在显示画面中进行显示,因此TS<FS,进而可知,在P=TS/FS时,所获得的P是一个大于0、且小于1的数值;在P=FS/TS时,所获得的P是一个大于1的数值。当然的,本领域技术人员也可以采用其他的实现方式来获取初始占比,例如:初始占比P可以为TS/(FS-TS)或者(FS-TS)/TS,此时,P可以为大于1或者小于1的数值。
需要注意的是,确定设定对象在显示画面中的初始占比的实现方式并不限于上述所描述的陈述内容,本领域技术人员也可以采用其他的方式来获取设定对象在显示画面中的初始占比,只要能够保证对设定对象在显示画面中的初始占比进行获取的准确可靠性即可,在此不再赘述。
步骤S502:基于初始占比和变焦信息,确定控制参数。
在获取到初始占比和变焦信息之后,可以对初始占比和变焦信息进行分析处理,以确定控制参数。在一些实例中,预先训练有用于确定控制参数的机器学习模型,在获取到初始占比和变焦信息之后,可以将初始占比和变焦信息输入至机器学习模型中,从而可以获得机器学习模型所输出的控制参数。在另一些实例中,基于初始占比和变焦信息,确定控制参数可以包括:获取变焦电机的运动行程范围与变焦行程之间的第二映射关系、以及变焦电机的运动方向与变焦方向之间的第三映射关系;基于初始占比、变焦信息、第二映射关系和第三映射关系,确定与变焦电机相对应的运动行程参数和运动方向。
其中,对于变焦电机而言,预先标定有运动行程范围与变焦行程之间的第二映射关系以及运动方向与变焦方向之间的第三映射关系,上述的第二映射关系用于标识变焦电机的运动行程与变焦值之间的一一对应关系,第三映射关系用于标识变焦电机的运动方向与变焦方向之间的一一对应关系,并且,上述标定好的第二映射关系和第三映射关系可以存储在预设区域或者预设设备中,通过访问预设区域或者预设设备即可获取到上述的第二映射关系和第三映射关系,从而能够准确地基于第二映射关系和第三映射关系来获取到与变焦电机相对应的控制参数。
在获取到第二映射关系和第三映射关系之后,可以对初始占比、变焦信息、第二映射关系和第三映射关系进行分析处理,以确定与变焦电机相对应的运动行程参数和运动方向,上述的运动行程参数和运动方向即为用于对变焦电机进行控制的控制参数,从而有效地实现了对控制参数进行获取的准确可靠性。
本实施例中,在辅助设备包括变焦电机且能够获取图像采集装置所确定的变焦信息时,通过采集图像确定设定对象在显示画面中的初始占比,而后基于初始占比和变焦信息来确定控制参数,上述的控制参数可以包括与变焦电机相对应的运动行程参数和运动方向,有效地实现了对变焦电机的控制参数进行确定的准确可靠性,而后便于基于控制参数对变焦电机进行控制,以实现图像采集装置的变焦操作和希区柯克的运镜操作。
相关技术中,在利用变焦电机进行变焦操作时,以变焦电机与相机的变焦环啮合,变焦电机与相机承载于云台为例进行说明,该云台还承载有深度检测装置,如飞行时间TOF传感器,该深度检测装置可以提供相机的感测范围内的某一区域或某一对象的深度信息,并可以将该信息直接或间接反馈给变焦电机,该变焦电机可以基于深度信息驱动变焦环旋转,从而实现对相机的感测范围内的某一区域或某一对象的变焦操作。如此对比可知,本申请中无需利用额外的深度检测装置来实现变焦操作,而是可以复用相机原有的功能,减少了上述应用场景中的成本,且能够有效实现变焦操作。
在又一些实例中,对于辅助设备而言,其不仅可以包括跟焦电机、变焦电机,还可以包括补光设备(例如:补光灯),具体的,在辅助设备包括用于对图像采集装置进行补光操作的补光设备时,本实施例中的获取图像采集装置确定的拍摄参数可以包括:获取图像采集装置确定的光线检测信息。
其中,在图像采集装置运行的过程中,可以通过图像采集装置获取光线检测信息,该光线检测信息可以包括以下至少之一:曝光强度、光线颜色。在一些实例中,图像采集装置可以对采集图像进行识别 表分析,如白平衡检测,以得到相关的光线检测。在一些实例中,通过图像采集装置获得采集图像,对采集图像进行分析处理,以获得光线检测信息。
在获取到光线检测信息之后,可以基于光线检测信息对补光设备进行控制,以实现图像采集装置的补光操作,此时,基于控制参数对云台和辅助设备中的至少一个进行控制可以包括:基于控制参数对补光设备进行控制,以实现图像采集装置的补光操作。
需要注意的是,由于光线检测信息可以包括曝光强度和/或光线颜色,在获取与光线检测信息相对应的控制参数时,不同的光线检测信息可以对应有不同的数据处理策略,因此,为了保证控制参数获取的准确可靠性,在光线检测信息包括曝光强度时,本实施例提供了一种获取控制参数的实现方式,具体的,参考附图6所示,本实施例中的基于拍摄参数确定控制参数可以包括:
步骤S601:确定与图像采集装置的采集图像相对应的目标曝光强度;
步骤S602:基于曝光强度和目标曝光强度,确定补光设备的补偿曝光参数。
其中,在图像采集装置工作的过程中,为了能够实现曝光平衡操作,以保证图像采集装置所采集图像的画面质量和效果,则可以确定与图像采集装置的采集图像相对应的目标曝光强度,该目标曝光强度可以是预先指定好的,具体的,用户可以根据图像采集装置所处的环境信息配置目标曝光强度,不同的环境信息可以配置有不同的目标曝光强度;或者,该目标曝光强度可以通过对采集图像的显示质量而自动确定的。
在获取到目标曝光强度之后,则可以对曝光强度和目标曝光强度进行分析处理,以确定补光设备的补偿曝光参数,该补偿曝光参数即为与补光设备相对应的控制参数,在获取到补偿曝光参数之后,可以基于补偿曝光参数对补光设备进行控制,以实现图像采集装置的曝光平衡操作。在一些实例中,补光曝光参数可以是通过目标曝光强度与曝光强度之间的差值所确定的参数,或者,补光曝光参数可以为曝光强度与目标曝光强度之间的比值所确定的参数。
本实施例中,在光线检测信息包括曝光强度时,通过确定与图像采集装置的采集图像相对应的目标曝光强度,并基于曝光强度和目标曝光强度确定补光设备的补偿曝光参数,而后则可以基于所确定的补偿曝光参数对补光设备进行控制,从而可以实现图像采集装置的曝光平衡操作,进而保证了图像采集装置所采集图像的质量和效果,这样有效地提高了该方法的实用性。
在光线检测信息包括光线颜色(例如:红、橙、黄、绿、蓝、靛、紫等各种颜色)时,本实施例提供了又一种获取控制参数的实现方式,具体的,参考附图7所示,本实施例中的基于拍摄参数确定控制参数可以包括:
步骤S701:确定与图像采集装置的采集图像相对应的目标场景颜色。
步骤S702:基于光线颜色和目标场景颜色,确定补光设备的补偿颜色参数。
其中,在图像采集装置工作的过程中,为了能够实现拍摄场景的白平衡,从而保证图像采集装置所采集图像的画面质量和效果,则可以确定与图像采集装置的采集图像相对应的目标场景颜色,该目标场景颜色可以是预先指定好的,具体的,用户可以根据图像采集装置所处的环境信息配置目标场景颜色,不同的环境信息可以配置有不同的目标场景颜色;或者,该目标场景颜色可以通过对采集图像的显示质量而自动确定的。
在获取到目标场景颜色之后,则可以对光线颜色和目标场景颜色进行分析处理,以确定补光设备的补偿颜色参数,该补偿颜色参数即为与补光设备相对应的控制参数,在获取到补偿颜色参数之后,可以基于补偿颜色参数对补光设备进行控制,以实现图像采集装置所对应的拍摄场景的白平衡操作。在一些实例中,补偿颜色参数可以是通过目标场景颜色与光线颜色之间的差值所确定的参数,或者,补偿颜色参数可以为光线颜色与目标场景颜色之间的比值所确定的参数。
本实施例中,在光线检测信息包括光线颜色时,通过确定与图像采集装置的采集图像相对应的目标场景颜色,并基于光线颜色和目标场景颜色,确定补光设备的补偿颜色参数,而后则可以基于所确定的补偿颜色参数对补光设备进行控制,从而可以实现图像采集装置所对应拍摄场景的白平衡操作,进而保证了图像采集装置所采集图像的质量和效果,这样有效地提高了该方法的实用性。
如此,本申请中无需利用额外的光线检测装置来实现补光操作,而是可以复用相机原有的功能,减少了上述应用场景中的成本,且能够有效实现补光操作。
在一些实例中,对于图像采集装置而言,图像采集装置中可以包括光学元件和图像传感器,光学元件用于降低经过其内部光线的衍射,具体实现时,光学元件的结构可以为可消除光线衍射的元件,例如:光学元件可以为衍射光学元件(Diffractive Optical Elements,简称DOE)或者为挡光板等,当光学元件为挡光板时,光学元件可为中心具有通光孔的挡光板,图像传感器设置于图像采集装置的成像面内,用于接收经过光学元件降低衍射后的图像光线,以生成采集图像,具体实现时,图像传感器可以为电荷耦合器件(Charge-coupled Device,简称CCD)图像传感器或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,简称CMOS)图像传感器。
此外,图像采集装置不仅可以包括光学元件和图像传感器,还可以包括防抖控制单元,在一些实例中,防抖控制单元可以包括镜头光学防抖OIS单元和/或机身防抖IBIS单元,该防抖控制单元能够基于拍摄参数对图像采集装置中光学元件和图像传感器中的至少一种进行抖动补偿,以对图像采集装置采集的采集图像进行调节。
承接上述陈述内容,在图像采集装置包括防抖控制单元时,则可以基于防抖控制单元对云台进行防抖控制操作,此时,本实施例中的获取图像采集装置确定的拍摄参数可以包括:获取图像采集装置内所设置的防抖控制单元确定的防抖信息,防抖信息为根据图像采集装置的位置变化信息确定。
在图像采集装置工作的过程中,由于图像采集装置设置于云台上,用户可以基于使用需求或者设计需求通过调整云台的姿态来对图像采集装置的位置进行调整,在图像采集装置的位置发生变化时,图像采集装置内的防抖控制单元则可以根据图像采集装置的位置变化信息来不同的防抖信息。
具体的,由于防抖信息为根据图像采集装置的位置变化信息确定的,因此,为了能够保证对防抖信息进行确定的准确可靠性,则需要准确地获取到图像采集装置的位置变化信息,此时,为了能够准确地获取到图像采集装置的位置变化信息,对于云台和云台所支撑的图像采集装置而言,图像采集装置上可以设置有第一位置传感器,该第一位置传感器用于检测位置变化信息,和/或,云台上可以设置有第二位置传感器,第二位置传感器用于检测位置变化信息,位置变化信息还用于调节图像采集装置的空间位置,也即,该第二位置传感器的感测信息不仅可以用于确定防抖信息,还可以用于图像采集装置的增稳操作。
在获取到防抖信息之后,可以基于防抖信息对云台进行控制,此时,基于控制参数对云台和辅助设备中的至少一个进行控制可以包括:基于控制参数对云台进行控制,以实现云台的增稳操作。
具体的,在辅助设备包括防抖控制单元,且能够获取图像采集装置内所设置的防抖控制单元确定的防抖信息时,为了能够实现对云台进行控制,则可以对防抖信息进行分析处理,以获得与防抖信息相对应的控制参数,而后基于控制参数对云台进行控制,这样可以保证图像采集装置所采集图像的显示质量和效果,进一步提高了该方法的实用性。
其中,在防抖控制单元包括镜头光学防抖OIS单元和机身防抖IBIS单元时,为了能够提高对云台进行控制的稳定可靠性,本实施例中的方法可以包括:检测图像采集装置与云台之间的通信连接状态,在图像采集装置与云台通信连接时,即图像采集装置应用于云台上,则可以启动云台上设置的IBIS单元,以通过IBIS单元来实现防抖操作;在图像采集装置与云台断开通信连接时,即图像采集装置脱离于云台, 则可以启动图像采集装置中所对应的镜头光学防抖OIS单元,以通过OIS单元来实现防抖操作。
由于云台的增稳与图像采集装置内部的防抖操作可能会出现干涉情况,从而会降低防抖的质量和效果,因此,本实施例提供了一种确定控制参数的实现方式,具体的,参考附图8所示,本实施例中的基于拍摄参数确定控制参数可以包括:
步骤S801:基于防抖信息,确定图像采集装置的防抖灵敏度信息,防抖灵敏度信息用于表征针对云台的激励信号进行防抖响应的速度。
在获取到防抖信息之后,则可以对防抖信息进行分析处理,以确定图像采集装置的防抖灵敏度信息,在一些实例中,基于防抖信息,确定图像采集装置的防抖灵敏度信息可以包括:获取防抖信息与防抖灵敏度信息之间的映射关系,利用映射关系和防抖信息即可确定图像采集装置的防抖灵敏度信息。在另一些实例中,基于防抖信息,确定图像采集装置的防抖灵敏度信息可以包括:获取用于对防抖信息进行分析处理的机器学习模型,将防抖信息输入至机器学习模型,从而可以获得图像采集装置的防抖灵敏度信息,该防抖灵敏度信息用于表征这对云台的激励信号进行防抖响应的速度,具体的,在防抖灵敏度信息较大时,则说明此时对云台的激励信号(即输入信号)进行防抖响应的速度比较快;在防抖灵敏度信息较小时,则说明此时对云台的激励信号进行防抖响应的速度比较慢。举例来说,云台的激励信号为15HZ的激励信号,在防抖灵敏度信息较大时,则说明此时与云台的激励信号进行防抖响应的速度比较快;在防抖灵敏度信息较小时,则说明此时与云台的激励信号进行防抖响应的速度比较慢。
步骤S802:获取云台的当前激励信号。
其中,对于云台上设置的机身防抖IBIS单元而言,机身防抖IBIS单元可以基于一激励信号来进行防抖操作,在不同的应用场景中,机身防抖IBIS单元所获得的激励信号可以对应有不同的频率信息,而机身防抖IBIS单元的防抖操作和防抖效果与激励信号所对应的频率相关。因此,为了能够准确地获取到与防抖信息相对应的控制参数,可以获取云台的当前激励信号,该当前激励信号用于控制云台以及云台上的机身防抖IBIS单元进行正常的运行操作,具体的,当前激励信号可以是用户基于应用场景或者应用需求所配置的控制信号或者是默认的控制信号,在一些实例中,当前激励信号可以为10HZ的激励信号、5HZ的激励信号、15HZ的激励信号或者20HZ的激励信号等等。
步骤S803:基于当前激励信号和防抖灵敏度信息,确定与所述云台相对应的控制参数,以对所述云台和/或图像采集装置进行控制。
在获取到当前激励信号和防抖灵敏度信息之后,可以对当前激励信号和防抖灵敏度信息进行分析处理,可以确定与云台相对应的控制参数,在一些实例中,基于当前激励信号和防抖灵敏度信息,确定与所述云台相对应的控制参数可以包括:基于防抖灵敏度信息,确定与当前激励信号相对应的当前灵敏度;在当前灵敏度大于或等于灵敏度阈值时,则生成与云台相对应的控制参数。
其中,在获取到防抖灵敏度信息和当前激励信号之后,可以对防抖灵敏度信息和当前激励信息进行分析处理,以确定与当前激励信号相对应的当前灵敏度。在获取到当前灵敏度之后,可以将当前灵敏度与灵敏度阈值进行分析比较,在当前灵敏度小于灵敏度阈值时,则说明此时的图像采集装置针对云台的激励信号进行防抖响应的速度比较慢,即若基于图像采集装置中所包括的镜头光学防抖OIS单元进行防抖抑制操作时,能够获取到较好的防抖抑制效果,因此无需生成与云台相对应的控制参数,即通过图像采集装置中所包括的镜头光学防抖OIS单元来进行防抖抑制操作。
在当前灵敏度大于或等于敏感度阈值时,则说明此时的图像采集装置针对云台的激励信号进行防抖响应的速度比较快,即若基于图像采集装置中所包括的镜头光学防抖OIS单元进行防抖抑制操作时,无法获取到较好的防抖抑制效果,因此,则可以通过云台上的机身防抖IBIS单元来进行防抖抑制操作,为了能够实现防抖控制操作,则可以生成与云台相对应的控制参数。在一些实例中,生成与云台相对应的 控制参数可以包括:对当前激励信号进行抑制操作,获得抑制后信号,抑制后信号为与云台相对应的控制参数。
具体的,在通过云台即可有效地抑制防抖操作,此时,为了避免图像采集装置中防抖控制单元影响对云台进行防抖操作的效果,则可以对云台的当前激励信号进行抑制操作,从而可以获得抑制后信号,该抑制后信号为与云台相对应的控制参数,这样可以保证云台的防抖质量和效果。
在又一些实例中,基于当前激励信号和防抖灵敏度信息,确定与云台相对应的控制参数可以包括:基于防抖灵敏度信息,确定与当前激励信号相对应的当前灵敏度;在当前灵敏度大于或等于灵敏度阈值时,生成与图像采集装置相对应的控制参数,以基于与图像采集装置相对应的控制参数对防抖控制单元进行控制。
在获取到防抖灵敏度信息和当前激励信号之后,可以对防抖灵敏度信息和当前激励信息进行分析处理,以确定与当前激励信号相对应的当前灵敏度。在获取到当前灵敏度之后,可以将当前灵敏度与灵敏度阈值进行分析比较,在当前灵敏度大于或等于敏感度阈值时,则说明此时的图像采集装置针对云台的激励信号进行防抖响应的速度比较快,即若基于图像采集装置中所包括的镜头光学防抖OIS单元进行防抖抑制操作时,无法获取到较好的防抖抑制效果,因此无需通过OIS单元来进行防抖抑制操作。为了能够保证无需通过OIS单元来进行防抖抑制操作时,则可以生成与图像采集装置相对应的控制参数,以基于基于与图像采集装置相对应的控制参数对防抖控制单元进行控制。在一些实例中,生成与图像采集装置相对应的控制参数可以包括:生成与防抖控制单元相对应的停止运行参数,停止运行参数为与图像采集装置相应的控制参数。具体的,在通过云台足够地抑制防抖操作,此时,为了避免图像采集装置对防抖操作产生影响,则可以生成与防抖控制单元相对应的停止运行参数,停止运行参数为与图像采集装置相应的控制参数,这样可以保证云台的防抖质量和效果。
本实施例中,基于防抖信息确定图像采集装置的防抖灵敏度信息,获取云台的当前激励信号,而后基于当前激励信号和防抖灵敏度信息来确定控制参数,从而有效地保证了对控制参数进行确定的准确可靠性,这样也避免了因抖动操作而降低所采集图像的质量和效果,进一步提高了该方法的实用性。
在云台运行的过程中,云台可以因外界因素(例如:用户操作云台的姿态,如步伐速度、步伐频率、用户抖动情况等等,用于承载云台的主体的振动因素等等)而产生抖动,该抖动可以包括以下至少之一:在平移方向(平行于预设平面的方向)上的抖动、在竖直方向(垂直于预设平面的方向)上的抖动。由于云台承载图像采集装置,因此,云台的抖动可以影响图像采集装置所采集图像的质量,进而会影响云台的运镜效果。具体的,为了保证云台的运镜效果,在图像采集装置内可以是指有信号滤波单元,具体的,参考附图9所示,本实施例提供了一种对信号滤波单元进行配置的过程,本实施例中的方法还可以包括:
步骤S901:确定云台的抖动信息,云台承载图像采集装置。
为了能够实现对信号滤波单元进行参数配置操作,则可以确定云台的抖动信息,在一些实例中,云台上可以设置有惯性测量单元,此时,确定云台的抖动信息可以包括:通过惯性测量单元对用户步频进行识别,获得步频信息,由于预先配置有步频信息与云台的抖动信息之间的映射关系,因此可以利用映射关系来确定云台的抖动信息。在又一些实例中,云台上可以设置环境传感器和惯性测量单元,通过环境传感器和惯性测量单元获得云台所处的环境信息和用户的步频信息,对环境信息和步频信息进行分析处理,以获得云台的抖动信息。
步骤S902:将抖动信息发送至图像采集装置,以使图像采集装置基于抖动信息对信号滤波单元进行参数配置。
其中,由于图像采集装置的信号滤波单元用于对用户的步频信息进行处理,以降低或者消除由于用 户的步频信息所引起的云台抖动情况,因此,为了能够更好地保证云台运行的质量和效果,在获取到抖动信息之后,可以将抖动信息发送至图像采集装置,在图像采集装置获取到抖动信息之后,图像采集装置可以基于抖动信息对信号滤波单元进行参数配置操作,以使配置后的信号滤波单元可以更好地对用户的步频信息进行处理,以降低或者消除由于用户的步频信息所引起的云台抖动情况。
在一些实例中,图像采集装置基于抖动信息对信号滤波单元进行参数配置可以包括:图像采集装置可以对抖动信息进行分析处理,确定用户的步频信息,基于用户的步频信息来确定信号滤波单元所对应的参数信息,而后则可以基于参数信息对信号滤波单元进行配置,配置后的信号滤波单元可以降低或者消除由于用户的步频信息所引起的云台抖动情况。
本实施例中,通过确定云台的抖动信息,而后将抖动信息发送至图像采集装置,以使图像采集装置基于抖动信息对信号滤波单元进行参数配置,从而有效地实现了基于所确定的抖动信息对图像采集装置中的信号滤波单元进行配置操作,这样有利于保证基于信号滤波单元能够更好地对用户的步频信息进行处理,以降低或者消除由于用户的步频信息所引起的云台抖动情况。
在一些实例中,对于拍摄参数而言,拍摄参数可以为基于采集图像和用户期望确定的,并能够用于实现图像采集装置的预设拍摄功能,其中,预设拍摄功能可以包括对焦拍摄操作、智能跟随操作等等。当预设拍摄功能为智能跟随操作时,图像采集装置可以与云台通信连接,并且,本实施例中的获取图像采集装置确定的拍摄参数可以包括:获取目标对象在采集图像中的采集位置。具体的,通过图像采集装置获取到采集图像,而后对采集图像进行分析处理,以获取目标对象在采集图像中的采集位置。在获取到采集位置之后,可以对采集位置进行分析处理,以获取控制参数,在一些实例中,基于拍摄参数确定控制参数可以包括:基于采集位置,确定用于对目标对象进行跟随操作的控制参数。
其中,预先配置有采集位置与用于实现对目标对象进行跟随操作的控制参数之间的映射关系,基于上述映射关系和采集位置即可确定用于对目标对象进行跟随操作的控制参数。
在获取到控制参数之后,可以基于控制参数对云台和/或辅助设备进行控制,在一些实例中,基于控制参数对云台和辅助设备中的至少一种进行相应的控制可以包括:根据控制参数对云台进行控制,以实现对目标对象进行跟随操作,需要注意的是,本实施例中上述步骤的实现方式和实现效果与下述附图16-图18所对应的实现方式和实现效果相类似,具体可参考下述陈述内容,在此不再赘述;本实施例中的技术方案,有效地实现了可以稳定地对目标对象进行跟随操作,进一步提高了该方法的实用性。
下面提供以下具体应用实例,以突显本实施例中所提供的技术方案:
应用实例1,相机可以包括手动镜头、传感器和外置对焦电机,传感器可以包括:能够支持相位对焦操作的传感器、不支持相位对焦操作的传感器。如果传感器能够支持相位对焦操作,外置对焦电机可以通过传感器的通信接口(例如USB接口)获取相位对焦信息(Phase Detection Auto Focus,简称PDAF),具体的,在通过手动镜头进行图像采集操作时,用户可以通过点击显示区域的方式来获取到指定区域,而后可以获取到与指定区域相对应的PDAF信息。在获取到PDAF信息之后,可以获取预先标定的相位-对焦环位置曲线,基于相位-对焦环位置曲线和PDAF信息直接计算出对焦环位置,从而可以基于对焦环位置控制外置对焦电机旋转到目标对焦环位置,即可以实现镜头的快速对焦操作。
由于PDAF信息是相机内的信息,在一些实例中,PDAF信息并不容易获取到,在一些实例中,可以通过与相机厂商进行合作来获取到PDAF信息。如果传感器不支持相位对焦操作,外置电机可以通过获取对焦区域的对比度信息来获取到反差对焦信息(Contrast Detection Auto Focus,简称CDAF),从而可以实现反差对焦功能。
具体的,参考附图10所示,本应用实施例中的自动对焦方法可以包括以下步骤:
步骤1:外置对焦电机通过标定的方式获取到手动镜头的机械限位。
其中,机械限位包括近端位置和远端位置,分别为左值L和右值R,需要注意的是,近端位置可以对应于最小焦距值,远端位置可以对应于最大焦距值。
步骤2:获取外置对焦电机的当前位置C,在当前位置C处(介于L、R之间)计算对焦区域的对比度F。
步骤3:基于外置对焦电机的当前位置C、近端位置L和远端位置R,计算外置对焦电机的转速和对焦方向。
由于初始状态需要决策手动镜头的对焦方向(远端方向或者近端方向),因此,为了避免下一帧位置超出电机对应的L、R范围,可以计算外置电机的转速。具体的,为了能够准确获取到CDAF信息,可以获取到激励信号,该激励信号对应一个频率信息,从而可以获取到与频率信息相对应的时间信息,而后确定当前位置C与近端位置L和远端位置R之间的距离,基于距离信息和上述的时间信息即可确定外置对焦电机的转速(与对焦速度呈正相关),需要注意的是,为了保证对焦操作的稳定进行,外置对焦电机运动的过程中,可以预先配置一最大电机转速,用于控制外置对焦电机进行运动的电机转速均小于或等于最大电机转速。
步骤4:基于转速和对焦方向控制外置对焦电机进行运动,获得外置对焦电机的更新后位置C`。
步骤5:基于更新后位置C`确定计算外置对焦电机的更新转速S和更新对焦方向。
步骤6:检测更新转速S是否达到收敛阈值。
步骤7:在更新转速S达到收敛阈值时,则实现了对焦操作;在更新转速S未达到收敛阈值时,则基于更新转速S获取到下一帧图像。
步骤8:在下一帧图像不满足合焦条件时,则计算电机新位置Cn上的对角区域的对比度Fn。
步骤9:通过判断Fn和F的数值大小,确定当前位置所对应的合焦点是否更加清晰。
步骤10:根据比较结果更新左、右值,重新回到计算对焦方向和转速,依次反复,直到转速满足结束条件为止,从而实现反差对焦(CDAF)操作。
具体的,在F<Fn时,则比较C与Cn的大小,在C<Cn时,则将左值L更新为C;在C>Cn时,则将右值R更新为Cn;在F>Fn时,则比较C与Cn的大小,在C<Cn时,则将右值R更新为Cn;在C>Cn时,则将左值L更新为C,从而实现了更新左值和右值的操作。在将对焦左、右值的范围缩小之后,可以通过降低电机的转速,进一步实现精细对焦,依次反复,直到转速满足结束条件为止,从而实现反差对焦(CDAF)操作。
需要说明的是,在相机运行的过程中,相机可以包括大光圈模式和小光圈模式,由于在大光圈模式(光圈值大于或等于预设阈值)下,所获得的PDAF信息的精度受限,因此,可以通过PDAF信息与CDAF信息相结合的方式实现快速自动对焦。在小光圈模式(光圈值小于预设阈值)下,所获得的PDAF信息的精度较高,因此,可以直接通过PDAF信息实现快速自动对焦操作。
本应用实例所提供的技术方案,有效地解决了现有技术中的手动镜头无法实现自动对焦的问题,并且,能够保证自动对焦操作的稳定运行,进一步提高了该方法的实用性。
应用实例2,本应用实施例提供了一种基于相机信息的自动希区柯克Dolly Zoom效果的方法,由于Dolly Zoom需相机配置可变焦镜头,为了能够实现希区柯克的运镜操作,当确认智能跟随目标之后,需要对所框选的智能跟随目标进行跟随操作,拍摄设备可以前后移动,在镜头焦距不变情况下,智能跟随目标在画面中占比的会变化(远大近小)。为了使智能跟随目标的占比在画面中保持一致,通过控制变焦即可实现Dolly Zoom效果。Dolly Zoom控制变焦的方式分为两种:(1)通过云台的变焦电机控制变焦;(2)通过相机接口控制变焦(若相机有响应接口)。具体的,该方法可以包括如下步骤:
步骤S21:根据相机变焦范围标定变焦电机的运动行程范围。
其中,对于变焦镜头或者电子变焦而言,由于变焦镜头或者电子变焦均对应有变焦范围,因此,需要对变焦电机对可变焦的范围进行提前的行程标定,这样可以获取到镜头行程与变焦电机行程之间的对 应关系,从而可以防止在进行变焦操作时超出变焦范围而导致相机镜头损坏。
步骤S22:标定变焦电机的运动方向。
其中,由于变焦电机的运动方向取决于机械结构与变焦镜头相互的安装关系,因此需要提前标定其运动方向与变焦方向(zoom in and zoom out)的关系,通过上述所标定的运动方向与变焦方向之间的关系,可以使得用户了解到在控制电机进行运动的过程中,所显示的画面是增大的效果还是减小的效果。
步骤S23:框选智能跟随目标,记录初始框选目标在画面中的占比。
在框选出跟随目标之后,可以记录初始框选目标在画面中的占比,具体的,初始框选目标在画面中的占比可以有三个指标分别或联合确定:(1)智能跟随目标框选长度与画面长度的占比;(2)智能跟随目标框选宽度与画面宽度的占比;(3)智能跟随目标框选面积与画面面积的占比。其中,宽度占比相对稳定可靠。
步骤S24:初始框选目标在画面中的占比对跟焦电机进行控制,以控制目标在画面中显示一致。
在拍摄者相对于被拍摄者移动的过程中,可以实时计算跟焦电机或者电子变焦输出的初始目标占比,基于初始目标占比控制目标在画面中显示一致。具体的,参考附图11所示,通过相机获取到显示画面,基于显示画面获取初始目标占比,将初始目标占比输入至比例-积分-微分(Proportional、Integral、Differential,简称PID)控制单元,从而使得PID控制单元可以基于初始目标占比生成与跟焦电机相对应的控制信号,而后则可以基于控制信号对跟焦电机进行控制,以能够保证在跟焦电机运动的过程中,目标在画面中的显示保持一致。
本应用实例所提供的技术方案,有效地解决了现有技术中的手动控制Dollyzoom的运镜方式比较难操控的问题,并且,能够保证Dollyzoom的运镜操作的质量和效果,进一步提高了该方法的实用性。
应用实例3,云台上可以设置有云台增稳单元(Gimbal Image Stabilization,简称GIS),对于云台和云台所承载的相机而言,通常情况下,为了避免拍摄者的手抖导致拍摄画面糊掉或者不清晰,相机内部会设置有光学防抖控制单元(Optical Image Stabilization,简称OIS)。但是,由于物理尺寸的限制,OIS可以运动的范围通常比较小,在抖动幅值比较大时,仅仅通过OIS无法抑制画面的抖动,而由于云台增稳单元(Gimbal Image Stabilization,简称GIS)的运动范围比较大,可以很好的克服姿态下幅度较大的抖动,此时,则可以单独通过云台上的增稳单元GIS来抑制画面的抖动情况。然而,由于相机的OIS和云台的GIS通常是分别由相机厂商和云台厂商分开设计的,因此,在进行防抖控制的过程中,可能会存在GIS和OIS相互干涉的情况,即OIS结合GIS的防抖效果比单独OIS或者单独GIS的防抖效果差。
基于上述情况,本应用实施例提供了一种基于相机防抖OIS结合云台防抖的控制方法,该控制方法能够在云台可以得到相机内部的OIS信息的基础上,对防抖的干涉情况进行相应的规避操作,具体的,该方法可以包括以下步骤:
步骤31:获取相机OIS信息,通过相机OIS信息,测试得到OIS灵敏度函数。
在相机具有OIS时,则可以控制相机开启OIS,而后云台可以在设定频率的激励信号的控制下进行扫频操作,其中,设定频率的激励信号可以包括以下任意之一:1Hz的激励信号、2Hz的激励信号、5Hz的激励信号、10Hz的激励信号或者20Hz的激励信号等等,从而获取到不同激励信号所对应的相机的采集图像,而后基于可以获知到相机在不同激励信号的OIS灵敏度函数。
步骤32:获取云台的当前激励信号。
步骤33:判断当前激励信号在OIS灵敏度函数所对应的设定频率上是否有足够的抑制。
步骤34:若当前激励信号在OIS灵敏度函数所对应的设定频率上没有足够的抑制能力,则说明仅仅通过相机中的OIS无法足够抑制云台或者图像采集装置的抖动情况,此时可以通过云台上的GIS进行增稳 操作,或者,结合相机中的OIS和云台上的GIS进行增稳操作。
步骤35:若当前激励信号在OIS灵敏度函数所对应的设定频率上具有足够的抑制能力,则说明仅仅通过相机中的OIS能够足够降低抖动对相机所采集图像的影响,此时,可以关闭云台上的GIS进行防抖操作;或者,可以对云台的激励信号进行抑制操作,从而可以获得抑制后信号,而后可以基于抑制后信号对云台进行控制,此时,可以仅仅通过相机中的OIS进行防抖操作。
需要注意的是,相机中的OIS还可以针对用户的抖动情况进行滤除,具体的,在手持云台很多的应用场景中,用户走动的步频可能会影响画面的稳定显示,而在云台为三轴云台时,由于三轴云台只能进行姿态上的增稳操作,而无法对平动方向上的干扰进行滤除,此时,则可以通过云台imu对人体步频的识别,然后将识别步频的信息反馈给相机,相机可以基于所识别的步频信息对信号滤波器进行参数设定,在进行参数配置完毕之后,通过相机中的信号滤波器可以对平动方向上的信号进行滤除操作,这样可以降低或者消除由于用户的步频信息所引起的云台抖动情况。
本应用实施例提供的技术方案,能够解决通过融合相机陀螺仪传感器信息关于防抖干涉的问题,这样有效地保证了对云台和相机的增稳效果,从而有利于提高通过相机所采集图像的显示质量和显示效果,进而保证了该控制方法的实用性。
应用实例4,对于云台和云台所支撑的相机而言,在云台和相机运行的过程中,在光线较暗的环境中,相机通常会采用自动调节ISO的方式实现整体画面的曝光平衡。但是ISO高到一定程度之后就会导致画面噪点增多,画质变差。为了解决上述问题,本应用实施例提供了一种自动调整光圈以及外部灯光曝光实现曝光平衡的方法,具体的,该方法可以包括以下步骤:
步骤41:通过相机获取到实际测光值。
步骤42:确定与相机相对应的目标曝光值。
步骤43:将实际测光值和目标曝光值输入至PID单元,从而可以生成与补光灯和光圈电机相对应的控制参数。
具体的,如图12所示,在获取到实际测光值和目标曝光值之后,可以将实际测光值和目标曝光值输入至PID控制单元,从而使得PID控制单元可以基于实际测光值和目标曝光值生成与补光灯和光圈电机相对应的控制信号,而后则可以基于控制信号对补光灯和光圈电机进行控制,以能够保证在相机进行拍摄的过程中实现曝光平衡操作,这样可以保证图像采集操作的质量和效果。
步骤44:基于控制参数对补光灯和光圈电机进行控制操作,以实现补光操作。
其中对于手动镜头而言,相机的光圈优先的曝光模式下无法直接通过卡口控制镜头的光圈大小,由于本申请中的技术方案可以通过控制外置的电机实现光圈控制,以实现调整曝光值的操作,其实现了一个简单的PID闭环控制器。同理情况下,当光圈开到最大之后,还可以通过增加外部补光灯的方式,增加外部灯光,使得曝光达到平衡。
本应用实施例提供的技术方案,通过外部灯光控制,解决手动挡模式下ISO不固定的问题,进一步提高了该控制方法的实用性,有利于市场的推广与应用。
另外,本实施例提供了一种对焦控制方法,该对焦控制方法的执行主体可以为对焦控制装置,该对焦控制装置可以实现为软件、或者软件和硬件的组合,具体实现时,该对焦控制方法可以应用于云台,此时,云台用于支撑图像采集装置和辅助设备,该辅助设备可以包括用于对图像采集装置的跟焦环进行调节的跟焦电机,具体的,本实施例中的对焦控制方法可以包括:
步骤S1001:获取图像采集装置确定的对焦信息;
步骤S1002:基于对焦信息,确定与对焦电机相对应的控制信息;
步骤S1003:基于控制信息对对焦电机进行控制,以实现图像采集装置的跟焦操作。
需要注意的是,本实施例中上述步骤的具体实现方式和实现效果与上述实施例中图1-图4、图10-图12所示方法的具体实现方式和实现效果相类似,本实施例未详细描述的部分,可参考对图1-图4、图10-图12所示实施例的相关说明。
此外,本实施例提供了一种变焦控制方法,该变焦控制方法的执行主体可以为变焦控制装置,该变焦控制装置可以实现为软件、或者软件和硬件的组合,具体实现时,该变焦控制方法可以应用于云台,此时,云台用于支撑图像采集装置和辅助设备,该辅助设备可以包括用于对图像采集装置的变焦环进行调节的变焦电机,具体的,本实施例中的变焦控制方法可以包括:
步骤S1101:获取图像采集装置所采集的采集图像和与采集图像相对应的变焦信息。
步骤S1102:基于采集图像和变焦信息,确定变焦电机的控制参数。
步骤S1103:基于控制参数对变焦电机进行控制,以实现图像采集装置的变焦操作。
需要注意的是,本实施例中上述步骤的具体实现方式和实现效果与上述实施例中图1、图5、图10-图12所示方法的具体实现方式和实现效果相类似,本实施例未详细描述的部分,可参考对图1、图5、图10-图12所示实施例的相关说明。
此外,本实施例提供了一种补光控制方法,该补光控制方法的执行主体可以为补光控制装置,该补光控制装置可以实现为软件、或者软件和硬件的组合,具体实现时,该补光控制方法可以应用于云台,此时,云台用于支撑图像采集装置和辅助设备,该辅助设备可以包括用于对图像采集装置进行补光操作的补光设备,具体的,本实施例中的补光控制方法可以包括:
步骤S1201:获取图像采集装置确定的光线检测信息。
步骤S1202:基于光线检测信息,确定与补光设备相对应的控制参数。
步骤S1203:基于控制参数对补光设备进行控制,以实现图像采集装置的补光操作。
需要注意的是,本实施例中上述步骤的具体实现方式和实现效果与上述实施例中图1、图6-图7、图10-图12所示方法的具体实现方式和实现效果相类似,本实施例未详细描述的部分,可参考对图1、图6-图7、图10-图12所示实施例的相关说明。
此外,本实施例提供了一种防抖控制方法,该防抖控制方法的执行主体可以为防抖控制装置,该防抖控制装置可以实现为软件、或者软件和硬件的组合,具体实现时,该防抖控制方法可以应用于云台,此时,云台用于支撑图像采集装置,云台上可以设置有机身防抖IBIS单元,而图像采集装置包括防抖控制单元,防抖控制单元可以包括:镜头光学防抖OIS单元,防抖控制单元能够基于拍摄参数对图像采集装置中光学元件和图像传感器中的至少一种进行抖动补偿,以对图像采集装置采集的采集图像进行调节;具体的,本实施例中的防抖控制方法可以包括:
步骤S1301:获取图像采集装置内所设置的防抖控制单元确定的防抖信息,防抖信息为根据图像采集装置的位置变化信息确定。
步骤S1302:确定云台的当前激励信号。
步骤S1303:基于当前激励信号和防抖信息,确定控制参数。
步骤S1304:基于控制参数对云台进行控制,以实现云台的增稳操作。
在一些实例中,本实施例中的方法还可以包括:检测图像采集装置与云台之间的通信连接状态,在图像采集装置与云台通信连接时,即图像采集装置应用于云台上,则可以启动云台上设置的IBIS单元,以通过IBIS单元来实现防抖操作;在图像采集装置与云台断开通信连接时,即图像采集装置脱离于云台,则可以启动图像采集装置中所对应的镜头光学防抖OIS单元,以通过OIS单元来实现防抖操作。
需要注意的是,本实施例中上述步骤的具体实现方式和实现效果与上述实施例中图1、图8-图12所示方法的具体实现方式和实现效果相类似,本实施例未详细描述的部分,可参考对图1、图8-图12所示 实施例的相关说明。
图13为本发明实施例提供的一种基于图像采集装置的控制装置的结构示意图;参考附图13所示,本实施例提供了一种基于图像采集装置的控制装置,该基于图像采集装置的控制装置用于执行上述图1所示的基于图像采集装置的控制方法,具体的,该基于图像采集装置的控制装置可以包括:
存储器12,用于存储计算机程序;
处理器11,用于运行存储器12中存储的计算机程序以实现:
获取图像采集装置确定的拍摄参数,拍摄参数能够用于调节图像采集装置采集的采集图像;
基于拍摄参数确定控制参数;
基于控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,云台用于支撑图像采集装置和/或辅助设备,辅助设备用于辅助图像采集装置进行相应的拍摄。
其中,基于图像采集装置的控制装置的结构中还可以包括通信接口13,用于电子设备与其他设备或通信网络通信。
图13所示装置可以执行图1-图12所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图12所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图12所示实施例中的描述,在此不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图1-图12的基于图像采集装置的控制方法。
图14为本发明实施例提供的一种云台的结构示意图;参考附图14,本实施例提供了一种云台,该云台可以包括:
云台主体21;
上述图13的基于图像采集装置的控制装置24,设置于云台主体21上。
本实施例中的云台的实现原理和技术效果与基于图像采集装置的控制装置的实现原理和技术效果相类似,具体可参见图13示实施例中的描述,在此不再赘述。
在一些实例中,参考附图14所示,本实施例中的云台还可以包括:
图像采集装置22,设置于云台主体21上;
辅助设备23,设置于云台主体21上,用于辅助图像采集装置22进行相应的拍摄。
本实施例中的云台的实现原理和技术效果与基于图像采集装置的控制装置的实现原理和技术效果相类似,具体可参见图13示实施例中的描述,在此不再赘述。
另一方面,随着科学技术的飞速发展,利用数码相机、单反相机进行视频拍摄操作的用户越来越多,随之云台作为辅助视频拍摄的工具也得到了较为广泛的应用。但是云台却不仅局限于在视频拍摄的过程中进行防抖增稳,并且还可以拓展出了更多的其他的操作方法,从而有利于保证用户的视频拍摄体验效果。
在进行视频拍摄的过程中,如何保证被摄物体(目标对象)保持在视频构图中的固定位置(构图位置)成了一个依赖摄影师的拍摄技术性的关键问题。而随着人工智能(Artificial Intelligence,简称AI)技术的发展,识别被摄物体在画面中的位置成为了可能。另外,云台除了能够进行增稳操作,还能控制相机进行旋转运动,二者结合实现闭环,即可实现被摄物体的智能跟随操作。在针对某一目标对象进行智能跟随操作的过程中,为了保证智能跟随操作的质量和效果,以下两点比较重要:一是如何获取被摄物体在画面中的位置信息;二是如何控制云台进行运动,将被摄物体保持在构图位置,如画面中心。
现有技术中,控制搭配第三方相机实现智能跟随的方法主要是在云台引入一个图像处理装置(包括 下述的图像信号处理装置),图像处理装置可以通过高清多媒体接口(High Definition Multimedia Interface,简称HDMI)或者其他接口得到相机的实时图像,将实时图像输入AI机器学习单元(软件实现),即可得到第三方相机中需要被拍摄的物体的实时位置。
具体的,如图15所示,以相机100作为图像采集装置为例,相机100作为第三方负载,其可以通过HDMI接口连接到图像信号处理(Image Signal Processing,简称ISP)装置,图像信号处理装置中可以包括:ISP模块1011、缓存器1012、实时视频输出器1013、格式转换器1014、机器学习模型1015以及策略处理器1016,上述的ISP模块1011可以对所接收到的图像进行分析处理,并将处理后的图像数据传输至缓存器1012进行缓存,经过缓存器1012进行缓存后的图像数据不仅可以通过实时视频输出器1013进行实时输出,并且还可以利用格式转换器1014对缓存后的图像数据进行格式转换操作,以使得格式转换操作之后的图像数据可以输入到机器学习模型1015中进行机器学习操作,以识别用户设定的待跟随主体。在识别出待跟随主体之后,可以通过策略处理器1016按照策略确定云台的控制参数,而后云台控制器102可以基于云台的控制参数对云台进行控制操作,以实现云台可以对待跟随主体进行智能跟随操作。
然而,上述技术方案存在以下问题:从HDMI接口传输获得的视频信号存在较大的延时,直接导致跟随操作的效果变得很差,而且不同相机的HDMI接口所对应的延时长短不同,导致算法上很难归一化处理。
此外,随着短视频的兴起,相机厂商也都相继推出了自家的自动跟随算法,但是相机厂商的跟随算法是用于对焦点的跟随,但是基本原理是:获取被摄物体在画面中的位置,也就是说相机厂商能够对实时图像进行计算,从而可以获得被摄物体的实时位置,而不会产生因HDMI传输视频,以在云台侧的图像信号处理装置对图像进行处理得到被摄物体的实时位置导致的延时,并且,在利用相机内部计算得到被跟随物体的坐标信息的时效比较高。
在利用第三方相机进行跟随操作时,通常识别到的被摄物体的目标坐标位置越精准越好,然而,这也容易导致第三方相机进行跟随的被摄物体的坐标存在跳点情况,比如:从人头肩跟随切换到人脸跟随、从人脸跟随切换到人眼跟随时,明明是同一个人,但用于跟随的坐标却会发生变化,从而导致跳点问题。
总结来说,现有技术中的智能跟随方法存在以下缺陷:
(1)在利用与相机通信连接的云台进行智能跟随操作时,虽然可以通过图像处理模块计算被跟随物体的实时位置,但是会增加额外的AI机器学习算法的开发成本以及硬件设计成本。
(2)在将图像通过HDMI接口传输至云台侧的图像处理模块时,由于图像处理模块对图像的一系列处理,导致云台获取被跟随物体的实时位置所对应的延时时间比较大,延时越大,对被跟随物体进行跟随操作的效果也越差;当延时达到一个瓶颈的时候,甚至无法实现目标跟随操作。
(3)不同相机的HDMI接口所对应的延时不一样,差别比较大,在算法上很难做归一化处理。
(4)在利用第三方相机进行智能跟随操作时,对于用于限定被跟随物体的跟随框而言,跟随框的坐标容易存在跳变,现有的跟随算法无法解决此类问题。
为了解决上述技术问题中的至少一种,本实施例提供了一种云台的控制方法、装置、可移动平台和存储介质。其中,控制方法通过获取目标对象在采集图像中的采集位置,并基于采集位置确定用于对目标对象进行跟随操作的控制参数;而后根据控制参数对云台进行控制,从而可以实现对目标对象进行跟随操作,其中,由于采集位置是通过图像采集装置所确定的,并且云台可以通过图像采集装置直接获取采集位置,这样有效地降低了在云台通过图像采集装置获取采集位置时所对应的延时时间,从而解决了因延时比较大而导致跟随效果差的问题,进一步保证了云台跟随操作的质量和效果,有效地提高了该方法使用的稳定可靠性。
下面结合附图,对本发明中的一种云台的控制方法、装置、可移动平台和存储介质的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图16为本发明实施例提供的一种云台的控制方法的流程示意图;图17为本发明实施例提供的一种云台与图像采集装置进行通信连接的结构示意图;参考附图16-图17所示,本实施例提供了一种云台的控制方法,其中,云台通信连接有图像采集装置,可以理解的是,图像采集装置是指具有图像采集能力和图像处理能力的装置,例如:照相机、摄像机、具有图像采集能力和图像处理能力的其他装置等等。在一些实例中,云台上可以设有通信串行总线USB接口,USB接口用于与图像采集装置进行有线通信连接,即云台通过USB接口与图像采集装置通信连接。具体应用时,在云台通过USB接口与图像采集装置进行被跟随物体的位置数据的传输时,由于云台侧无需额外设置图像信号处理装置,则云台与图像采集装置之间传输的被跟随物体的位置数据所对应的延时时间比较短。举例来说:在云台通过HDMI接口与图像采集装置进行被跟随物体的位置数据的传输时,被跟随物体的位置数据所对应的延时时间为t1;在云台通过USB接口与图像采集装置进行被跟随物体的位置数据的传输时,被跟随物体的位置数据所对应的延时时间为t2,其中,t2<t1或者t2<<t1。
可以理解的是,云台与图像采集装置之间的通信连接方式并不限于上述所限定的实现方式,本领域技术人员还可以根据具体的应用需求和应用场景进行设置,例如无线通信,或者能够保证在云台与图像采集装置进行数据传输时,所对应的延时时间比较短,在此不再赘述。
需要说明的是,在云台与图像采集装置除利用HDMI接口实现通信连接的其它方式中,除可以传输上述被跟随物体的位置数据之外,还可以传输其它数据,如控制指令、图像数据等,具体可以根据需要与适配性设计,此处不做具体限定。
另外,云台的控制方法的执行主体可以是云台的控制装置。可以理解的是,该控制装置可以实现为软件、或者软件和硬件的组合;在控制装置执行该云台的控制方法时,可以解决因通过接口传输数据所产生的延时比较长而导致跟随效果差的问题,从而可以保证对目标对象进行跟随操作的质量和效果。具体的,该方法可以包括:
步骤S1601:获取目标对象在采集图像中的采集位置,采集位置是通过图像采集装置所确定的,图像采集装置为具有手动镜头或自动镜头的相机,且图像采集装置与云台通信连接。
步骤S1602:基于采集位置,确定用于对目标对象进行跟随操作的控制参数。
步骤S1603:根据控制参数对云台进行控制,以实现对目标对象进行跟随操作。
下面针对上述各个步骤的实现过程进行详细阐述:
步骤S1601:获取目标对象在采集图像中的采集位置,采集位置是通过图像采集装置所确定的。
其中,图像采集装置可以设置于云台上,用于进行图像采集操作,在获取到采集图像之后,图像采集装置可以对采集图像进行分析处理,以确定目标对象在采集图像中的采集位置。具体的,目标对象在采集图像中的采集位置可以包括:目标对象在采集图像中所对应的关键点位置,或者,目标对象在采集图像中所对应的覆盖区域等等。
可以理解的是,采集位置可以是图像采集装置通过对图像的像素直接采样得到,也可以是利用对图像的像素的采样结果进行处理得到,如目标对象对应有跟随框,在得到跟随框的顶点在采集图像中的位置以及跟随框的大小后,可以利用该顶点和跟随框的大小确定跟随框的中心位置,并以该中心位置作为目标对象在采集图像中的采样位置。
需要说明的是,在目标对象对应有跟随框时,采集位置可以是依据该跟随框在采集图像中的位置的相关信息来确定或表征的。其中,该跟随框可以是用户在图像采集装置的显示屏进行触控操作时获取的,例如,用户在在图像采集装置的显示屏选择某一对象,即可生成框选住至少部分该对象的跟随框。
在获取到目标对象在采集图像中的采集位置之后,则可以将目标对象在采集图像中的采集位置通过USB接口主动或者被动地传输至云台,从而使得云台可以获取到目标对象在采集图像中的采集位置。
步骤S1602:基于采集位置,确定用于对目标对象进行跟随操作的控制参数。
在获取到采集位置之后,则可以对采集位置进行分析处理,以确定用于对目标对象进行跟随操作的控制参数,该控制参数可以包括以下至少之一:姿态信息、角速度信息、加速度信息、控制带宽等等。
其中,由于采集位置是通过图像采集装置所确定的,而采集装置传输到云台也需要一定的时间,从而云台直接通过图像采集装置获取到采集位置也存在一定的延时时间,因此,在确定控制参数时,需要结合与采集位置相对应的延时时间对采集位置进行分析处理,以能够准确地确定用于对目标对象进行跟随操作的控制参数。在一些实例中,基于采集位置,确定用于对目标对象进行跟随操作的控制参数可以包括:计算与采集位置相对应的当前位置预测值;基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数。
具体的,如图18所示,在图像采集装置获取到采集图像之后,则可以对采集图像进行分析处理,从而可以获得目标对象在采集图像中的采集位置,并能够将目标对象在采集图像中的采集位置传输至云台。由于图像采集装置获取到采集位置,以及采集位置传输到云台均需要一定的时间,因此,云台直接从图传采集装置获取采集位置也存在一定的延时时间。为了降低延时时间对智能跟随操作的影响程度,则可以基于上述的延时时间计算与采集位置相对应的当前位置预测值。可以理解的是,当前位置预测值与采集位置是不同的位置。
在获取到当前位置预测值之后,则可以对当前位置预测值进行分析处理,以确定用于对目标对象进行跟随操作的控制参数,由于当前位置预测值是考虑了与采集位置进行传输时所对应的延时时间而进行确定的,因此,有效地保证了对控制参数进行确定的准确可靠性。
步骤S1603:根据控制参数对云台进行控制,以实现对目标对象进行跟随操作。
在获取到控制参数之后,则可以基于控制参数对云台进行控制,从而可以实现对目标对象进行跟随操作。
如上分析可知,相关技术中,采集位置是由云台侧计算得到,云台侧需要额外设置图传模块和图像信号处理装置,以获取到图像采集装置的采集图像,并能够对采集图像进行分析处理而进行跟随操作。然而,本申请中,复用了图像采集装置的图像信号处理功能,不仅使得云台侧无需额外信号处理装置也可以实现对目标对象的跟随操作,也可以在不设置图传模块的情况下实现目标对象的跟随操作;同时,在数据传输过程中,采集图像的传输所需要的带宽远大于采集位置的传输所需要的带宽,因而传输数据的减小可以一定程度上减少跟随操作的时延,从而有效提高了对目标对象的跟随效率以及精准度。
可以理解,在直接从图像采集装置获取采集位置的场景下,云台侧也可以设置图传模块,以能够在云台侧进行采集图像的显示,也可以设置图像信号处理装置,以适配不同的图像采集装置,如适配某些无法从中获取采集位置的图像采集装置。
其中,在图像采集装置设有图像信号处理装置时,其处理能力可以由于云台侧的图像信号处理装置。在一些实施例中,可以是图像采集装置的机器学习模型的识别能力由于云台的机器学习模型的识别能力。基于此,在图像采集装置到云台侧的传输数据减小的情况下以及图像采集装置的识别能力由于云台的识别能力的情况下,若云台需要进行跟随操作,则需要云台中的电机可以相应转动以实现图像采集装置的位姿调整而实现跟随操作,那么可知,图像采集装置到云台的控制器的数据传输时间1相应缩短了,且由于无需等待云台侧进行采集装置的识别,则云台的控制器到云台的电机的数据传输时间2也相应缩短了,从而在两个节点上同时减小了数据传输时间,减小了云台实现跟随操作功能的时延。
在一些实施例中,在对目标对象进行跟随操作时,云台可以对应有不同的运动状态,例如:云台可以为匀速运动、匀加速运动、匀减速运动等等。为了保证对目标对象进行跟随操作的质量和效率,不同运动状态的云台可以对应有不同的控制策略。具体的,根据控制参数对云台进行控制可以包括:获取与 目标对象所对应的云台的运动状态;基于云台的运动状态和控制参数对云台进行控制。
在一些实施例中,云台的运动状态可以依据目标对象的运动状态确定,例如,目标对象为匀速运动,云台可以为匀速运动;目标对象为匀加速运动,云台可以为匀加速运动;目标对象为匀减速运动,云台可以为匀减速运动。
在一些实施例中,云台的运动状态与跟随时长相关,例如:初始跟随时,可以是匀加速运动;还可以与跟随状态相关,例如:丢失跟随目标时,可以是匀加速运动。
其中,在利用云台对目标对象进行跟随操作时,可以获取与目标对象所对应的云台的运动状态。具体的,本实施例对于与目标对象所对应的云台的运动状态的具体获取方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求进行设置,例如:通过图像采集装置获得多帧采集图像,对多帧采集图像进行分析处理,以确定与云台相对应的移动速度,基于移动速度确定与目标对象相对应的云台的运动状态,该云台的运动状态可以包括以下之一:匀加速运动、匀减速运动、匀速运动等等。或者,在云台上可以设置有惯性测量单元,通过惯性测量单元获取与目标对象相对应的云台的运动状态等等。在获取到云台的运动状态之后,则可以基于云台的运动状态和控制参数对云台进行控制,以实现对目标对象进行跟随操作,从而有效地提高了对目标对象进行跟随操作的质量和效率。
本实施例提供的云台的控制方法,通过获取目标对象在采集图像中的采集位置,而后基于采集位置确定用于对目标对象进行跟随操作的控制参数,并根据控制参数对云台进行控制,从而可以实现对目标对象进行跟随操作。其中,由于采集位置是通过图像采集装置所确定的,并且云台可以通过图像采集装置直接获取采集位置,这样有效地降低了云台通过图像采集装置获取采集位置时所对应的延时时间,从而解决了因延时比较大而导致跟随效果差的问题,进一步保证了对目标对象进行跟随操作的质量和效果,有效地提高了该方法使用的稳定可靠性。
图19为本发明实施例提供的获取目标对象在采集图像中的采集位置的流程示意图;在上述实施例的基础上,继续参考附图19所示,本实施例提供了一种对目标对象在采集图像中的采集位置进行获取的实现方式,具体的,本实施例中的获取目标对象在采集图像中的采集位置可以包括:
步骤S1901:通过图像采集装置获取与目标对象相对应的目标对焦位置。
步骤S1902:将目标对焦位置确定为目标对象在采集图像中的采集位置。
在现有技术中,在通过配置有图像采集装置的云台或者无人机进行跟随操作时,图像采集装置的对焦操作和云台或者无人机的跟随操作是两个完全独立的操作,此时,在图像采集装置所对应的对焦对象发生变化时,无法基于对焦对象的变化及时地对云台或者无人机的跟随对象进行调整,这样无法保证跟随操作的质量和效果。
其中,可以理解,在利用无人机进行跟随操作时,无人机上可以通过云台挂载有图像采集装置,那么可以对无人机和/或云台的控制参数进行调整,以实现跟随操作。
因此,为了避免上述因图像采集装置所对应的对焦对象发生变化时,无法基于对焦对象的变化及时地对云台或者无人机的跟随对象进行调整的问题,本实施例提供了一种将图像采集装置的对焦操作和云台或者无人机的跟随操作是关联操作的技术方案。具体的,对于摄像技术领域,在通过图像采集装置获取目标对象在采集图像中的采集位置,且图像采集装置针对目标对象的对焦点与采集位置不同时,这样在基于采集位置控制云台对目标对象进行跟随操作时,容易使得通过图像采集装置所获得的目标对象出现虚焦的情况。因此,为了避免出现进行跟随操作的目标对象出现虚焦的情况,在获取目标对象在采集图像中的采集位置时,则可以通过图像采集装置获取与目标对象相对应的目标对焦位置,可以理解的是,上述的目标对焦位置可以是用户选定的对焦位置或者是自动识别出的对焦位置。
在获取到与目标对象相对应的目标对焦位置,则可以将目标对焦位置直接确定为目标对象在采集图 像中的采集位置,即使得与目标对象相对应的对焦位置与目标对象在采集图像中的采集位置一致,进而有效地避免了目标对象出现虚焦的情况。
在另一些实例中,在获取到与目标对象相对应的目标对焦位置之后,将目标对焦位置确定为目标对象在采集图像中的采集位置可以包括:获取与目标对焦位置所对应的预设区域范围,将预设区域范围直接确定为与目标对象在采集图像中的采集位置。其中,目标对焦位置所对应的预设区域范围可以是目标对象在采集图像中所对应的至少部分覆盖区域,且包括目标对焦位置,此时,与目标对象相对应的对焦位置与目标对象在采集图像中的采集位置基本一致,因此也可以避免目标对象出现虚焦的情况。
本实施例中,通过图像采集装置获取与目标对象相对应的目标对焦位置,而后将目标对焦位置确定为目标对象在采集图像中的采集位置,从而有效地实现了与目标对象相对应的对焦位置和与目标对象在采集图像中的采集位置基本一致,进而可以有效地避免目标对象出现虚焦的情况,进一步提高了对目标对象进行跟随操作的质量和效果。
从上分析可知,相关技术中,关于目标对象的对焦与跟随操作是两个独立的操作,即在图像采集装置侧,可以基于采集图像进行分析,以得到目标对象的目标对焦位置而进行对焦,在云台侧,可以基于采集图像进行分析,以得到目标对象的实时位置偏差而进行跟随。也就是说,图像采集装置的控制器与云台侧的控制器分别进行了图像分析处理,不仅增加了计算资源的耗费,还可能导致图像分析处理的不一致而出现跳点的问题。然而,本申请中,由于目标对焦位置用于实现跟随操作,则复用了图像采集装置的图像分析处理能力,并解决了跳点问题。
图20为本发明实施例提供的通过图像采集装置获取与目标对象相对应的目标对焦位置的流程示意图;在上述实施例的基础上,继续参考附图20所示,本实施例提供了一种对目标对焦位置进行获取的实现方式,具体的,本实施例中的通过图像采集装置获取与目标对象相对应的目标对焦位置可以包括:
步骤S2001:通过图像采集装置获取与目标对象相对应的历史对焦位置和当前对焦位置。
步骤S2002:基于历史对焦位置和当前对焦位置,确定与目标对象相对应的目标对焦位置。
其中,在利用图像采集装置对目标对象进行图像采集操作时,由于目标对象可能处于移动状态,例如:目标对象处于匀速移动状态、匀加速移动状态、匀减速移动状态等等,而目标对象的不同移动状态容易使得图像采集操作时所对应的对焦位置发生变化。此时,为了能够保证对目标对象相对应的目标对焦位置进行获取的准确可靠性,则可以通过图像采集装置相对应的与目标对象相对应的历史对焦位置和当前对焦位置,可以理解的是,历史对焦位置是指通过图像采集装置所获得的历史图像帧所对应的对焦位置,当前对焦位置是指通过图像采集装置所获得的当前图像帧所对应的对焦位置。
在获取到历史对焦位置和当前对焦位置之后,则可以对历史对焦位置和当前对焦位置进行分析处理,以确定与目标对象相对应的目标对焦位置。在一些实例中,基于历史对焦位置和当前对焦位置,确定与目标对象相对应的目标对焦位置可以包括:确定与历史对焦位置相对应的历史对象部位和与当前对焦位置相对应的当前对象部位;根据历史对象部位与当前对象部位,确定与目标对象相对应的目标对焦位置。
在通过图像采集装置获取到与目标对象相对应的多帧图像时,可以确定与多帧图像相对应的多个对焦位置(包括历史对焦位置和当前对焦位置),与多帧图像所对应的多个对焦位置可以相同或不同。在获取到上述多个对焦位置之后,则可以确定与历史对焦位置相对应的历史图像和与当前对焦位置相对应的当前图像,而后基于历史对焦位置对历史图像进行分析处理,以确定与历史对焦位置相对应的历史对象部位。具体的,可以利用预设图像识别算法对历史图像进行分析处理,以确定位于历史图像中的目标对象轮廓和目标对象类型,而后确定历史对焦位置与位于历史图像中的目标对象轮廓和目标对象类型之间的对应关系,从而确定与历史对焦位置相对应的历史对象部位。相类似的,也可以基于当前对焦位置对当前图像进行分析处理,以确定与当前对焦位置相对应的当前对象部位。在获取到历史对象部位和当 前对象部位之后,则可以对历史对象部位和当前对象部位进行分析处理,以确定与目标对象相对应的目标对焦位置。
具体的,在图像采集装置获取到采集图像之后,可以利用图像识别算法或者预先训练好的机器学习模型对采集图像进行分析识别,以识别采集图像中所包括的至少一个对象以及对象所在区域。在获取到多个对焦位置之后,则可以确定对焦位置与对象所在区域进行分析比较,在某几个对焦位置是一对象所在区域的一部分时,则可以确定上述某几个对焦位置对应于同一对象。在某几个对焦位置是不同对象所在区域的一部分时,则可以确定上述某几个对焦位置对应于不同对象。在确定某几个对焦位置对应同一对象时,则可以确定上述任意两个对焦位置之间的距离信息,在距离信息小于或等于预设阈值时,则可以确定上述两个对焦位置对应于同一对象的同一部位,在距离信息大于预设阈值时,则可以确定上述两个对焦位置对应于同一对象的不同部位。
当然的,本领域技术人员也可以采用其他的方式来确定某几个对焦位置是否对应于同一目标对象、确定某几个对焦位置是否对应于同一目标对象的同一部位,在此不再赘述。
在获取到历史对焦位置和当前对焦位置之后,可以确定历史对焦位置和当前对焦位置是否对应同一目标对象,并且在历史对焦位置和当前对焦位置对应同一目标对象时,可以确定历史对焦位置和当前对焦位置是否对应同一对象的同一部位。在确定上述信息之后,则可以将上述信息传输至云台,以使得云台可以基于上述信息进行跟随控制操作,进而保证了智能跟随操作的质量和效果。
可以理解,对焦位置与对焦对象、对焦对象的对焦部位之间可以具有相应的映射关系,且具有各自的属性信息,该属性信息可以具有相应的标识,该映射关系以及属性信息可以经由图像采集装置发送至云台,以使得云台可以依据该信息进行相应的判断,并作出相应的执行策略。
在一些实例中,根据历史对象部位与当前对象部位,确定与目标对象相对应的目标对焦位置可以包括:在历史对象部位与当前对象部位为同一目标对象的不同部位时,则获取历史对象部位与当前对象部位之间的相对位置信息;基于相对位置信息对当前对焦位置进行调整,获得与目标对象相对应的目标对焦位置。
在获取到历史对象部位和当前对象部位之后,则可以对历史对象部位与当前对象部位进行分析处理,在历史对象部位和当前对象部位为同一目标对象的不同部位时,则说明历史图像与当前图像进行跟随操作的是同一目标对象的不同部位,例如:历史图像帧中所对应的历史对象部位为人物甲的眼睛,当前图像帧中所对应的当前对象部位为人物甲的肩部。此时,为了避免因对焦位置的变化而出现抖动的情况,则可以获取历史对象部位与当前对象部位之间的相对位置信息,例如:人物甲的眼睛与人物甲的肩部之间的相对位置信息;在获取到相对位置信息之后,则可以基于相对位置信息对当前对焦位置进行调整,以获得与目标对象相对应的目标对焦位置。
具体的,基于相对位置信息对当前对焦位置进行调整,获得与目标对象相对应的目标对焦位置可以包括:在相对位置信息大于或等于预设阈值时,基于相对位置信息对当前对焦位置进行调整,获得与目标对象相对应的目标对焦位置;在相对位置信息小于预设阈值时,将当前对焦位置确定为与目标对象相对应的目标对焦位置。
在获取到相对位置信息之后,则可以将相对位置信息与预设阈值进行分析比较,在相对位置信息大于或等于预设阈值时,即说明在利用图像采集装置对一目标对象进行对焦操作时,在不同时刻针对同一目标对象的对焦部位不同,进而则可以基于相对位置信息对当前对焦位置进行调整,以获得与目标对象相对应的目标对焦位置。在相对位置信息小于预设阈值时,则说明在利用图像采集装置对一目标对象进行对焦操作时,在不同时刻针对一目标对象的对焦部位基本不变,进而可以将当前对焦位置确定为与目标对象相对应的目标对焦位置。
举例来说,在通过图像采集装置对一人物进行图像采集操作时,可以获取至少两帧图像,在获取到上述至少两帧图像之后,则可以确定与至少两帧图像相对应的历史对焦位置和当前对焦位置,基于历史对焦位置可以确定相对应的历史对象部位,基于当前对焦位置可以确定相对应的当前对象部位。
而后可以对历史对象部位和当前对象部位进行分析处理,以确定与目标对象相对应的目标对焦位置。参考附图21所示,在历史对象部位为部位1、当前对象部位为部位2时,可以获取部位1与部位2之间的相对位置信息d1,而后将相对位置信息d1与预设阈值进行分析比较,在相对位置信息d1小于预设阈值时,则说明在利用图像采集装置对上述人物进行对焦操作时,对焦位置发生较小变化,进而可以将当前对焦位置确定为与目标对象相对应的目标对焦位置。
在另一些实例中,参考附图22所示,在历史对象部位为部位3、当前对象部位为部位4时,可以获取部位3与部位4之间的相对位置信息d2,而后将相对位置信息d2与预设阈值进行分析比较,在相对位置信息d2大于预设阈值时,则说明在利用图像采集装置对上述人物进行对焦操作时,对焦位置发生较大变化,进而可以基于相对位置信息对当前对焦位置进行调整,以获得与目标对象相对应的目标对焦位置,即在待跟随的目标对象未发生改变,只是对焦位置发生改变时,则可以基于目标对象中各个部位之间的相对位置关系对当前对焦位置进行自动调整,从而可以有效地避免图像出现跳变的情况。
在又一些实例中,在获取到历史对象部位和当前对象部位之后,则可以对历史对象部位和当前对象部位进行分析处理,以确定与目标对象相对应的目标对焦位置。具体的,根据历史对象部位与当前对象部位,确定与目标对象相对应的目标对焦位置可以包括:在历史对象部位与当前对象部位为同一目标对象的不同部位时,基于当前对焦位置对构图位置进行更新,获得第一更新后的构图位置;基于第一更新后的构图位置对目标对象进行跟随操作。
在获取到历史对象部位和当前对象部位之后,则可以识别历史对象部位和当前对象部位是否为同一目标对象的不同部位,在确定历史对象部位与当前对象部位为同一目标对象的不同部位时,如图8所示,则可以基于当前对焦位置对构图位置进行更新,获得第一更新后的构图位置。例如:预设的构图目标位置为画面的中心位置时,此时,为了避免因目标对象变更而使得图像出现抖动现象,则可以基于当前对焦位置对预设的构图位置进行更新,即可以将当前对焦位置确定为第一更新后的构图位置。在获取到第一更新后的构图位置之后,则可以基于第一更新后的构图位置对目标对象进行跟随操作,进而可以保证对目标对象进行跟随操作的质量和效率。
本实施例中,通过图像采集装置获取与目标对象相对应的历史对焦位置和当前对焦位置,而后基于历史对焦位置和当前对焦位置,确定与目标对象相对应的目标对焦位置,从而有效地保证了对目标对焦位置进行确定的准确可靠性,而后便于基于目标对焦位置对目标对象进行跟随操作,进一步提高了该方法的实用性。
图23为本发明实施例提供的另一种云台的控制方法的流程示意图;在上述实施例的基础上,继续参考附图23所示,本实施例中的方法还可以包括:
步骤S2301:检测进行跟随操作的目标对象是否发生改变。
步骤S2302:在目标对象由第一对象改变为第二对象时,获取第二对象在采集图像中的采集位置。
步骤S2303:基于第二对象在采集图像中的采集位置对构图位置进行更新,获得与第二对象相对应的第二更新后的构图位置,以基于第二更新后的构图位置对第二对象进行跟随操作。
在通过图像采集装置对目标对象进行跟随操作时,为了避免因进行跟随操作的目标对象发生变化而容易使得云台出现抖动情况,则可以实时检测进行跟随操作的目标对象是否为发生改变。具体的,可以获取历史对焦位置和当前对焦位置,识别与历史对焦位置所对应的历史目标对象和与当前对焦位置所对应的当前目标对象,识别历史目标对象与当前目标对象是否发生改变。
在历史目标对象与当前目标对象为同一目标对象时,则可以确定进行跟随操作的目标对象未发生改变,如图22所示;在历史目标对象与当前目标对象为不同的目标对象时,如图24所示,即目标对象由第一对象改变为第二对象,而后则可以确定进行跟随操作的目标对象已发生改变。此时,为了保证对第二对象进行跟随操作的质量和效果,则可以获取第二对象在采集图像中的采集位置,而后可以基于第二对象在采集图像中的采集位置对构图位置进行更新,获得与第二对象相对应的第二更新后的构图位置。具体的,可以将第二对象在采集图像中的采集位置确定为与第二对象相对应的第二更新后的构图位置,而后可以基于第二更新后的构图位置对第二对象进行跟随操作,这样可以有效地避免因目标对象改变而出现图像抖动的情况,进一步提高了对云台进行控制的质量和效率。
图25为本发明实施例提供的计算与采集位置相对应的当前位置预测值的流程示意图;在上述实施例的基础上,继续参考附图25所示,本实施例提供了一种计算与采集位置相对应的当前位置预测值的实现方式,具体的,本实施例中的计算与采集位置相对应的当前位置预测值可以包括:
步骤S2501:确定与采集位置相对应的延时时间,延时时间用于指示云台经由图像采集装置获得采集位置所需要的时长。
其中,在云台通过图像采集装置直接获取采集位置时,由于数据传输存在一定的延时时间。因此,为了能够实现对与采集位置相对应的当前位置预测值进行获取的准确可靠性,则可以确定与采集位置相对应的延时时间,该延时时间用于指示云台经由图像采集装置获得采集位置所需要的时长信息。在一些实例中,确定与采集位置相对应的延时时间可以包括:获取与采集图像相对应的曝光时间;在云台获取到采集位置时,确定与采集位置相对应的当前接收时间;将当前接收时间与曝光时间之间的时间间隔,确定为与采集位置相对应的延时时间。
具体的,在利用图像采集装置进行图像采集操作时,可以记录与采集图像相对应的曝光时间t
n,所记录的与采集图像相对应的曝光时间t
n可以存储在预设区域中,从而使得云台可以通过图像采集装置获取与采集图像相对应的曝光时间t
n。另外,在图像采集装置将目标对象在采集图像中的采集位置传输至云台时,在云台获取到采集位置时,可以确定与采集位置相对应的当前接收时间t
n+1。在获取到当前接收时间t
n+1与曝光时间t
n之后,则可以将当前接收时间t
n+1与曝光时间t
n之间的时间间隔,确定为与采集位置相对应的延时时间,即Δt=t
n+1-t
n。
步骤S2502:基于延时时间和采集位置,确定与采集位置相对应的当前位置预测值。
在获取到延时时间和采集位置之后,则可以对延时时间和采集位置进行分析处理,以确定与采集位置相对应的当前位置预测值。在一些实例中,基于延时时间和采集位置,确定与采集位置相对应的当前位置预测值可以包括:在云台获取到目标对象在前一采集图像的前一采集位置时,确定与前一采集位置相对应的前一接收时间;确定与前一采集位置相对应的前一位置预测值;根据采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,计算与采集位置相对应的当前位置预测值。
在图像采集装置获取到多帧图像时,可以确定目标对象在多帧图像中所对应的多个采集位置,在将多个采集位置传输至云台时,云台则可以获取到多个采集位置,多个采集位置可以包括:前一采集位置和当前采集位置。在云台获取到前一采集位置时,则可以确定与前一采集位置相对应的前一接收时间,同时还可以确定与前一采集位置相对应的前一位置预测值,其中,对前一位置预测值进行确定的具体实现方式与上述实施例中对当前位置预测值进行确定的具体实现方式相类似,具体可参考上述陈述内容,在此不再赘述。
在获取到采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值之后,则可以对采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值进行分析处理,以计算出与采集位置相对应的当前位置预测值。在一些实例中,根据采集位置、曝光时间、延时时间、前一接收时间和前一位置预 测值,计算与采集位置相对应的当前位置预测值可以包括:基于采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,确定与采集位置相对应的位置调整值;将位置调整值与采集位置的和值,确定为与采集位置相对应的当前位置预测值。
其中,在获取到采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值之后,则可以对采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值进行分析处理,以确定与采集位置相对应的位置调整值Δx,在获取到位置调整值Δx之后,则可以将位置调整值与采集位置的和值确定为与采集位置相对应的当前位置预测值
从而有效地提高了对与采集位置相对应的当前位置预测值进行确定的准确可靠性。
本实施例中,通过确定与采集位置相对应的延时时间,而后基于延时时间和采集位置确定与采集位置相对应的当前位置预测值,由于当前位置预测值考虑了与采集位置相对应的延时时间,因此有效地保证了对当前位置预测值进行确定的准确可靠性;另外,在利用不同的图像采集装置和/或不同的传输接口传输采集位置时,可以获得与上述不同的图像采集装置和/或不同的传输接口相对应的延时时间,从而有效地解决了现有技术中存在的不同的图像采集装置和/或不同的传输接口进行数据传输时,所对应的延时时间的长短不同的问题,实现算法的归一化处理,进一步提高了对目标对象进行跟随操作的质量和效率。
图26为本发明实施例提供的基于采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,确定与采集位置相对应的位置调整值的流程示意图;在上述实施例的基础上,继续参考附图26所示,在计算与采集位置相对应的当前位置预测值的过程中,为了提高对当前位置预测值进行计算的准确度,本实施例提供了一种确定与采集位置相对应的位置调整值的实现方式,具体的,本实施例中的基于采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,确定与采集位置相对应的位置调整值可以包括:
步骤S2601:基于采集位置、前一位置预测值、曝光时间和前一接收时间,确定与目标对象相对应的移动速度。
其中,在获取到采集位置、前一位置预测值、曝光时间和前一接收时间之后,则可以对采集位置、前一位置预测值、曝光时间和前一接收时间进行分析处理,以确定与目标对象相对应的移动速度。具体的,基于采集位置、前一位置预测值、曝光时间和前一接收时间,确定与目标对象相对应的移动速度可以包括:获取采集位置与前一位置预测值之间的位置差值以及曝光时间与前一接收时间之间的时间差值;将位置差值与时间差值之间的比值,确定为与目标对象相对应的移动速度。
以采集位置为x
n、前一位置预测值为
曝光时间为t
n、前一接收时间t
n-1为例,在获取到采集位置x
n、前一位置预测值
曝光时间t
n和前一接收时间t
n-1之后,则可以获取采集位置与前一位置预测值之间的位置差值
以及曝光时间与前一接收时间之间的时间差值(t
n-t
n-1),则可以将位置差值与时间差值之间的比值确定为与目标对象相对应的移动速度,即
步骤S2602:将移动速度与延时时间之间的乘积值,确定为与采集位置相对应的位置调整值。
本实施例中,基于采集位置、前一位置预测值、曝光时间和前一接收时间,确定与目标对象相对应的移动速度,而后将移动速度与延时时间之间的乘积值确定为与采集位置相对应的位置调整值,从而有效地保证了对位置调整值进行确定的准确可靠性,进一步提高了基于位置调整值计算与采集位置相对应的当前位置预测值的精确程度。
图27为本发明实施例提供的基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数的流程示意图一;在上述实施例的基础上,继续参考附图27所示,本实施例提供了一种确定用于对目标对象进行跟随操作的控制参数的实现方式,具体的,本实施例中的基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数可以包括:
步骤S2701:确定当前位置预测值与构图目标位置之间的位置偏差。
步骤S2702:基于位置偏差,确定用于对目标对象进行跟随操作的控制参数。
其中,在对目标对象进行跟随操作时,预先配置有构图位置,该构图位置即为在对目标对象进行跟随操作的过程中,期望目标对象持续位于图像中的位置,一般情况下,构图位置可以是指图像的中心位置,即使得目标对象持续位于图像的中心位置,这样可以保证对目标对象进行跟随操作的质量和效果。
在获取到当前位置预测值之后,则可以确定当前位置预测值与构图位置之间的位置偏差,而后对位置偏差进行分析处理,以确定用于对目标对象进行跟随操作的控制参数。在一些实例中,基于位置偏差,确定用于对目标对象进行跟随操作的控制参数可以包括:获取与采集图像相对应的画面视场角;基于画面视场角和位置偏差,确定用于对目标对象进行跟随操作的控制参数。
具体的,通过图像采集装置获取与采集图像相对应的画面视场角可以包括:通过图像采集装置获得与采集图像相对应的焦距信息;根据焦距信息确定与采集图像相对应的画面视场角。在获取到与采集图像相对应的画面视场角之后,则可以对画面视场角和位置偏差进行分析处理,以确定用于对目标对象进行跟随操作的控制参数。
在一些实例中,控制参数的大小与画面视场角的大小呈负相关,即在画面视场角增大时,位于图像中的目标对象的尺寸变小,此时控制参数(例如:云台的转动速度)可以随着画面视场角的增加而减小。在画面视场角减小时,位于图像中的目标对象的尺寸变大,此时控制参数(例如:云台的转动速度)可以随着画面视场角的减小而增大。
在另一些实例中,基于位置偏差,确定用于对目标对象进行跟随操作的控制参数可以包括:通过设置于云台上的惯性测量单元IMU获取与采集位置相对应的云台姿态;基于云台姿态和画面视场角将位置偏差转换至大地坐标系下,获得用于对目标对象进行跟随操作的控制参数,这样同样实现了对控制参数进行确定的准确可靠性。
本实施例中,通过确定当前位置预测值与构图位置之间的位置偏差,而后基于位置偏差确定用于对目标对象进行跟随操作的控制参数,这样不仅有效地保证了对控制参数进行确定的准确可靠性,进一步也提高了该方法的实用性。
图28为本发明实施例提供的基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数的流程示意图二;在上述实施例的基础上,继续参考附图28所示,本实施例提供了另一种确定用于对目标对象进行跟随操作的控制参数的实现方式,具体的,本实施例中的基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数可以包括:
步骤S2801:获取与云台相对应的跟随模式,跟随模式包括以下任意之一:单轴跟随模式、双轴跟随模式、全跟随模式。
步骤S2802:基于当前位置预测值和跟随模式,确定用于对目标对象进行跟随操作的控制参数。
在云台针对目标对象进行跟随操作时,可以对应有不同的跟随模式。具体的,与云台相对应的跟随模型可以包括以下之一:单轴跟随模式、双轴跟随模式、全跟随模式。可以理解的是,本领域技术人员可以基于不同的应用场景和应用需求对云台的控制模式进行调整,在此不再赘述。
其中,在对云台进行控制时,位于不同跟随模式下的云台可以对应有不同的控制参数,例如:当云台的跟随模式为单轴跟随模式时,控制参数可以与云台的单个轴相对应,例如:可以基于目标姿态控制 yaw轴进行运动。当云台的跟随模式为双轴跟随模式时,控制参数可以与云台的两个轴相对应,例如:可以基于目标姿态控制yaw轴和pitch轴进行运动。当云台的跟随模式为三轴跟随模式时,控制参数可以与云台的三个轴相对应,例如:可以基于目标姿态控制yaw轴、pitch轴和roll轴进行运动。
基于上述陈述内容可知,由于云台可以对应有不同的跟随模式,而不同的跟随模式可以对应有不同的控制参数,因此,为了提高对控制参数进行确定的准确可靠性,在获取到跟随模式之后,则可以对当前位置预测值和跟随模式进行分析处理,以确定用于对目标对象进行跟随操作的控制参数。在一些实例中,基于当前位置预测值和跟随模式,确定用于对目标对象进行跟随操作的控制参数可以包括:基于当前位置预测值,确定用于对目标对象进行跟随操作的备选控制参数;在备选控制参数中,确定与跟随模式相对应的目标控制参数。
其中,在获取到当前位置预测值之后,则可以基于当前位置预测值与控制参数之间的对应关系来确定用于对目标对象进行跟随操作的备选控制参数,可以理解的是,备选控制参数的数量可以为多个,例如,在云台为三轴云台时,备选控制参数可以包括与yaw轴、pitch轴和roll轴相对应的控制参数。
在获取到备选控制参数之后,则可以在备选控制参数中确定与跟随模型相对应的目标控制参数,其中,目标控制参数可以为备选控制参数中的至少一部分。具体的,在备选控制参数中,确定与跟随模式相对应的目标控制参数可以包括:在跟随模式为单轴跟随模式时,在备选控制参数中可以确定与单轴跟随模式相对应的单轴的控制参数,并将其他备选控制参数置零;在跟随模式为双轴跟随模式时,在备选控制参数中可以确定与双轴跟随模式相对应的双轴的控制参数,并将其他备选控制参数置零;在跟随模式为全跟随模式时,将备选控制参数确定为与全跟随模式相对应的三轴的控制参数。
本实施中,通过获取与云台相对应的跟随模式,而后基于当前位置预测值和跟随模式确定用于对目标对象进行跟随操作的控制参数,这样不仅实现了对与不同跟随模式的云台相对应的控制参数进行确定的准确可靠性,并且有效地满足各个应用场景的需求,进一步提高了该方法使用的灵活可靠性。
图29为本发明实施例提供的基于云台的运动状态和控制参数对云台进行控制的流程示意图;在上述实施例的基础上,继续参考附图29所示,本实施例提供了一种对云台进行控制的实现方式,具体的,本实施例中的基于云台的运动状态和控制参数对云台进行控制可以包括:
步骤S2901:获取用于对目标对象进行跟随操作所对应的时长信息。
其中,云台的控制装置上可以设置有计时器,该计时器可以用于对目标对象进行跟随操作所对应的时长信息进行计时操作,因此,通过计时器可以获取到用于对目标对象进行跟随操作所对应的时长信息。
步骤S2902:在时长信息小于第一时间阈值时,则基于云台的运动状态对控制参数进行更新,获得更新后的控制参数,并基于更新后的控制参数对云台进行控制。
其中,在云台进行运动的过程中,可以对应有不同的云台的运动状态,而不同的云台的运动状态可以对应有不同的控制参数,因此在获取到时长信息之后,则可以将时长信息与预设的第一时间阈值进行分析比较,在时长信息小于第一时间阈值时,则可以基于云台的运动状态对控制参数进行更新,从而可以获得更新后的控制参数,并可以基于更新后的控制参数对云台进行控制。
在一些实例中,基于云台的运动状态对控制参数进行更新,获得更新后的控制参数可以包括:基于云台的运动状态,确定与控制参数相对应的更新系数,其中,更新系数小于1;将更新系数与控制参数的乘积值,确定为更新后的控制参数。
具体的,基于云台的运动状态,确定与控制参数相对应的更新系数可以包括:在云台运动状态为第一特定运动状态(意味着开始对目标对象进行跟随),例如匀加速运动时,基于所述时长信息与所述第一时间阈值之间的比值确定与所述控制参数相对应的更新系数,此时的更新系数小于1。而后可以将更 新系数与控制参数的乘积值确定为更新后的控制参数,即在时长信息t<第一时间阈值T时,则可以基于以下公式确定更新后的控制参数,
其中,E
n为控制参数,更新后的控制参数为
其中,该时长信息t的起始时刻为对目标对象开始跟随的时刻。
举例来说,在云台开始针对某一目标对象进行跟随操作时,在云台获取到用于对目标对象进行跟随操作的控制参数时,为了避免云台突然对目标对象进行跟随操作,则在时长信息小于第一时间阈值时,则可以获取与控制参数相对应的更新后的控制参数,该更新后的控制参数即为由0到控制参数之间的过渡控制参数,即在时长信息小于第一时间阈值时,基于更新后的控制参数对云台进行控制,从而实现了缓慢启动操作,即可以控制云台缓慢地调整至控制参数,进而保证了对目标对象进行跟随操作的质量和效果。
另一些实例中,在云台的运动状态为第二特定运动状态(意味着开始对目标对象结束跟随),例如匀减速运动时,则基于所述时长信息与所述第一时间阈值之间的比值确定与所述控制参数相对应的更新系数,此时的更新系数小于1。而后可以将更新系数与控制参数的乘积值确定为更新后的控制参数,即在时长信息t<第一时间阈值T时,则可以基于以下公式确定更新后的控制参数,
其中,E
n为控制参数,更新后的控制参数为
其中,该时长信息t的起始时刻为开始对目标对象结束跟随的时刻。
举例来说,在云台开始针对某一目标对象停止跟随操作时,在云台获取到用于对目标对象停止跟随操作的控制参数时,为了避免云台突然停止对目标对象进行跟随操作,则在时长信息小于第一时间阈值时,则可以获取与控制参数相对应的更新后的控制参数,该更新后的控制参数即为由控制参数到0之间的过渡控制参数,即在时长信息小于第一时间阈值时,基于更新后的控制参数对云台进行控制,从而实现了缓慢停止操作,即可以控制云台缓慢地调整至0,进而保证了对目标对象停止跟随操作的质量和效果。
步骤S2903:在时长信息大于或等于第一时间阈值时,利用控制参数对云台进行控制。
其中,在时长信息与第一时间阈值的比较结果为时长信息大于或等于第一时间阈值时,则直接利用控制参数对云台进行控制,即在时长信息t≥第一时间阈值T时,更新后的控制参数与控制参数相同
而后可以利用控制参数对云台进行控制。其中,该时长信息t的起始时刻为开始对目标对象结束跟随的时刻。
在另一些实例中,在时长信息大于或等于第一时间阈值时,则可以将控制参数配置为0。其中,该时长信息t的起始时刻为确定目标对象丢失的时刻。
本实施例中,通过获取用于对目标对象进行跟随操作所对应的时长信息,在时长信息小于第一时间阈值时,则基于云台的运动状态对控制参数进行更新,获得更新后的控制参数,并基于更新后的控制参数对云台进行控制;在时长信息大于或等于第一时间阈值时,利用控制参数对云台进行控制,从而有效地实现了利用缓慢启动策略对云台进行控制操作,进一步保证了对目标对象进行跟随操作的质量和效率。其中,利用缓慢停止策略对云台进行控制操作的效果类似,此处不再赘述。
图30为本发明实施例提供的根据控制参数对云台进行控制的流程示意图一;在上述任意一个实施例的基础上,继续参考附图30所示,本实施例提供了一种根据控制参数对云台进行控制的实现方式,具体的,本实施例中的根据控制参数对云台进行控制可以包括:
步骤S3001:获取与目标对象相对应的跟随状态。
其中,在对目标对象进行跟随操作时,目标对象可以对应有不同的跟随状态,在一些实例中,与目标对象相对应的跟随状态可以包括以下至少之一:保持跟随状态、丢失状态。可以理解的是,在目标对象对应有不同的跟随状态时,可以利用不同的控制参数对云台进行控制,以保证对云台进行控制的安全可靠性。
另外,本实施例对于获取与目标对象相对应的跟随状态的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求和设计需求,在一些实例中,通过图像采集装置可以获取与目标对象相对应的跟随状态,具体的,在通过图像采集装置所采集的图像中存在目标对象时,则可以确定与目标对象相对应的跟随状态为保持跟随状态;在通过图像采集装置所采集的图像中不存在目标对象时,则可以确定与目标对象相对应的跟随状态为丢失状态。
在另一些实例中,获取与目标对象相对应的跟随状态可以包括:检测进行跟随操作的目标对象是否发生改变;在目标对象由第一对象改变为第二对象时,同样可以确定第一对象为丢失状态。
步骤S3002:基于跟随状态和控制参数对云台进行控制。
在获取到跟随状态和控制参数之后,则可以基于跟随状态和控制参数对云台进行控制。在一些实例中,基于跟随状态和控制参数对云台进行控制可以包括:在目标对象为丢失状态时,则获取对目标对象进行跟随操作过程中所对应的丢失时长信息;根据丢失时长信息对控制参数进行更新,获得更新后的控制参数;基于更新后的控制参数对云台进行控制。
其中,在目标对象为丢失状态时,则可以通过计时器获取对目标对象进行跟随操作过程中所对应的丢失时长信息,而后可以根据丢失时长信息对控制参数进行更新,获得更新后的控制参数。在一些实例中,根据丢失时长信息对控制参数进行更新,获得更新后的控制参数可以包括:在丢失时长信息大于或等于第二时间阈值时,将控制参数更新为零;在丢失时长信息小于第二时间阈值时,获取丢失时长信息与第二时间阈值之间的比值,并将1与比值之间的差值确定为与控制参数相对应的更新系数,将更新系数与控制参数的乘积值确定为更新后的控制参数。
具体的,在获取到丢失时长信息之后,则可以将丢失时长信息与第二时间阈值进行分析比较,在丢失时长信息大于或等于第二时间阈值时,则说明所跟随的目标对象处于丢失状态的时间较长,进而可以将控制参数更新为零,即在丢失时长信息t≥第二时间阈值T时,则可以将控制参数
在丢失时长信息小于第二时间阈值时,则说明所跟随的目标对象处于丢失状态的时间较短,进而则可以获取丢失时长信息与第二时间阈值之间的比值,并将1与比值之间的差值确定为与控制参数相对应的更新系数,而后则可以将更新系数与控制参数的乘积值确定为更新后的控制参数,即在丢失时长信息t<第二时间阈值T时,则可以将控制参数
本实施例中,通过获取与目标对象相对应的跟随状态,而后基于跟随状态和控制参数对云台进行控制,从而有效地保证了对云台进行控制的准确可靠性。
图31为本发明实施例提供的根据控制参数对云台进行控制的流程示意图二;在上述任意一个实施例的基础上,继续参考附图31所示,本实施例提供了另一种对云台进行控制的实现方式,具体的,本实施例中的根据控制参数对云台进行控制可以包括:
步骤S3101:获取目标对象的对象类型。
步骤S3102:根据对象类型和控制参数对云台进行控制。
其中,在利用云台对目标对象进行跟随操作时,目标对象可以对应有不同的对象类型,上述的对象类型可以包括以下之一:静止对象、高度较高的移动对象、高度较低的移动对象等等,而为了能够保证对不同的目标对象进行跟随操作的质量,在对不同的目标对象进行跟随操作时,则可以根据对象类型和控制参数对云台进行控制。在一些实例中,根据对象类型和控制参数对云台进行控制可以包括:根据对象类型对控制参数进行调整,获得调整后的参数;基于调整后的参数对云台进行控制。
具体的,根据对象类型对控制参数进行调整,获得调整后的参数可以包括:在目标对象为静止对象时,则降低云台在偏航方向所对应的控制带宽和云台在俯仰方向所对应的控制带宽;在目标对象为移动 对象、且移动对象的高度大于或等于高度阈值时,则提高云台在偏航方向所对应的控制带宽,并降低云台在俯仰方向所对应的控制带宽;在目标对象为移动对象、且移动对象的高度小于高度阈值时,则提高云台在偏航方向所对应的控制带宽和云台在俯仰方向所对应的控制带宽。
举例来说,在目标对象为建筑物时,为了能够保证对建筑物进行跟随操作的质量和效果,则可以降低云台在偏航方向(yaw轴方向)所对应的控制带宽和云台在俯仰方向(pitch轴方向)所对应的控制带宽,从而可以降低平移跟随性能和俯仰跟随性能。
在目标对象为移动对象、且移动对象的高度大于或等于高度阈值时,例如:目标对象为某一人物时,为了能够保证对人物进行跟随操作的质量和效果,则可以提高云台在偏航方向(yaw轴方向)所对应的控制带宽,并降低云台在俯仰方向(pitch轴方向)所对应的控制带宽,从而可以提高平移跟随性能、并降低俯仰跟随性能。
在目标对象为移动对象、且移动对象的高度小于高度阈值时,例如:目标对象为某一宠物时,为了能够保证对宠物进行跟随操作的质量和效果,则可以提高云台在偏航方向(yaw轴方向)所对应的控制带宽和云台在俯仰方向(pitch轴方向)所对应的控制带宽,从而可以提高平移跟随性能和俯仰跟随性能。
本实施例中,通过获取目标对象的对象类型,而后根据对象类型和控制参数对云台进行控制,从而有效地实现了可以针对不同类型的目标对象进行不同的跟随控制操作,进而保证了对目标对象进行跟随操作的质量和效果。
图32为本发明实施例提供的又一种云台的控制方法的流程示意图;在上述任意一个实施例的基础上,继续参考附图32所示,本实施例中的方法还可以包括:
步骤S3201:通过显示界面获取用户针对图像采集装置所输入的执行操作。
步骤S3202:根据执行操作对图像采集装置进行控制,以使得图像采集装置确定采集位置。
其中,预先设置有可以供用户进行交互操作的显示界面,具体的,显示界面可以为云台的控制装置(如云台的遥控器,与云台连接的诸如手机、平板、穿戴设备等、集成于云台的手柄上的显示装置)上的显示界面,或者,显示界面可以为图像采集装置上的显示界面。在获取到显示界面之后,则可以通过显示界面获取用户针对图像采集装置所输入的执行操作(如通过点选、框选、输入特征、输入坐标等的操作确定目标对象),而后可以根据执行操作对图像采集装置进行控制,以使得图像采集装置可以基于执行操作来确定目标对象在采集图像中的采集位置。
举例1,在显示界面为云台的控制装置上的显示界面时,云台的控制装置上可以设置有用于对图像采集装置进行控制的应用程序APP,通过对云台的控制装置进行操作即可启动上述APP,并可以在显示器上显示用于对图像采集装置进行控制的显示界面,用户可以通过显示界面获取用户针对图像采集装置所输入的执行操作,而后则可以根据执行操作对图像采集装置进行控制,以使得图像采集装置确定采集位置,从而实现了用户可以通过云台的控制装置对图像采集装置进行控制。
举例2,在显示界面为图像采集装置上的显示界面时,用户可以通过显示界面获取用户针对图像采集装置所输入的执行操作,而后则可以根据执行操作对图像采集装置进行控制,以使得图像采集装置确定采集位置,从而实现了用户可以通过图像采集装置对图像采集装置进行控制。
本实施例中,通过显示界面获取用户针对图像采集装置所输入的执行操作,而后根据执行操作对图像采集装置进行控制,以使得图像采集装置确定采集位置,从而有效地实现了对图像采集装置进行控制,进一步提高了对目标对象进行跟随操作的质量和效果。
图33为本发明实施例提供的另一种云台的控制方法的流程示意图;在上述任意一个实施例的基础上,继续参考附图33所示,本实施例中的方法还可以包括:
步骤S3301:通过设置于图像采集装置上的测距传感器获取与目标对象相对应的距离信息。
步骤S3302:将距离信息发送至图像采集装置,以使图像采集装置结合距离信息确定目标对象在采集图像中的采集位置。
其中,在图像采集装置获取目标对象在采集图像中的采集位置时,为了提高对目标对象在采集图像中的采集位置进行确定的精确度,在图像采集装置上可以设置有测距传感器,测距传感器可以通过云台与图像采集装置通信连接,在具体应用时,可以通过设置于图像采集装置上的测距传感器获取与目标对象相对应的距离信息,而后可以将距离信息发送至图像采集装置,在图像采集装置获得距离信息之后,则可以将结合距离信息确定目标对象在采集图像中的采集位置,这样有效地提高了对目标对象在采集图像中的采集位置进行确定的准确可靠性。也即,使得图像采集装置通过距离信息获取的采集位置,对基于图像识别获取的采集位置进行融合或校准。
图34为本发明实施例提供的又一种云台的控制方法的流程示意图;在上述任意一个实施例的基础上,继续参考附图34所示,本实施例中的方法还可以包括:
步骤S3401:确定图像采集装置所对应的工作模式,工作模式包括以下之一:先跟随后对焦模式、先对焦后跟随模式;
步骤S3402:利用工作模式对图像采集装置进行控制。
其中,在基于图像采集装置进行跟随操作时,图像采集装置可以对应有不同的工作模型,该工作模式可以包括:先跟随后对焦模式、先对焦后跟随模式,上述的先跟随后对焦模式是指在图像采集装置需要执行跟随操作和对焦操作时,图像采集装置可以优先进行跟随操作,而后再进行对焦操作。先对焦后跟随模式是指在图像采集装置需要执行跟随操作和对焦操作时,图像采集装置可以优先进行对焦操作,而后再进行跟随操作。
举例来说,在控制云台和图像采集装置进行跟随操作时,可以通过图像采集装置获得采集图像时,是先基于采集图像进行跟随操作,还是先对采集图像中的目标对象进行对焦操作;在图像采集装置的工作模式为先跟随后对焦模式时,则可以优先基于采集图像进行跟随操作,而后再对经过构图跟随操作的目标对象进行对焦操作。在图像采集装置的工作模式为先对焦后跟随模式时,则可以优先对采集图像中的目标对象进行对焦操作,而后再对进行对焦操作的目标对象进行跟随操作。
具体应用时,预先设置有用于对图像采集装置进行控制的操作界面/操作控件,可以通过操作界面/操作控件对图像采集装置的工作模式进行配置/选择,在配置完图像采集装置的工作模式之后,则可以通过工作模式标识来确定该图像采集装置所对应的工作模式,这样可以简单、快速地实现对图像采集装置的工作模式进行选择、调整或者配置操作。
在确定图像采集装置所对应的工作模式之后,则可以利用工作模式对图像采集装置进行控制,从而有效地实现了图像采集装置可以满足不同的应用场景需求,进一步提高了对图像采集装置进行控制的灵活可靠性。
图35为本发明实施例提供的一种云台系统的控制方法的流程示意图;参考附图35所示,本实施例提供了一种云台系统的控制方法,其中,云台系统包括:云台和与云台通信连接的图像采集装置,其中,图像采集装置可以为具有手动镜头或自动镜头的相机。在一些实例中,图像采集装置可以集成在云台上,此时,云台和设置于云台上的图像采集装置可以整体进行销售或者维护操作,此时,图像采集装置和云台可以整体进行销售或者维护操作。在另一些实例中,图像采集装置可以单独设置于云台上,此时,图像采集装置和云台可以单独进行销售或者维护操作。
另外,图像采集装置是指具有图像采集能力和图像处理能力的装置,例如:照相机、摄像机、具有图像采集能力的其他装置等等。在一些实例中,云台设有通信串行总线USB接口,USB接口用于与图像采 集装置有线通信连接,即云台通过USB接口与图像采集装置通信连接,具体应用时,在云台通过USB接口与图像采集装置进行传输数据时,传输数据所对应的延时时间比较短。
可以理解的是,云台与图像采集装置之间的通信连接方式并不限于上述所限定的实现方式,本领域技术人员还可以根据具体的应用需求和应用场景进行设置,例如无线通信,或者能够保证在云台与图像采集装置进行数据传输时,所对应的延时时间比较短,在此不再赘述。
此外,该云台系统的控制方法的执行主体可以是云台系统的控制装置,可以理解的是,该云台系统的控制装置可以实现为软件、或者软件和硬件的组合;另外,云台系统的控制装置可以设置于云台或者图像采集装置上,当云台系统的控制装置设置于图像采集装置上时,云台与图像采集装置可以是集成的产品。在控制装置执行该云台系统的控制方法时,可以解决因云台侧的图像处理装置获取采集位置所产生的延时时间比较长而导致跟随效果差的问题,从而可以保证对目标对象进行跟随操作的质量和效果。具体的,该方法可以包括:
步骤S3501:控制图像采集装置采集图像,并获取目标对象在采集图像中的采集位置,采集位置是通过图像采集装置所确定的。
步骤S3502:控制图像采集装置将采集位置传输至云台。
步骤S3503:控制云台按照控制参数进行运动,以实现对目标对象进行跟随操作,其中,控制参数是基于采集位置所确定的。
下面针对上述各个步骤的实现过程进行详细阐述:
步骤S3501:控制图像采集装置采集图像,并获取目标对象在图像中的采集位置,采集位置是通过图像采集装置所确定的。
当针对一目标对象存在跟随需求时,则可以根据跟随需求控制图像采集装置进行图像采集装置,在图像采集装置获取到图像之后,图像采集装置可以对图像进行分析处理,以确定目标对象在图像中的采集位置。具体的,目标对象在图像中的采集位置可以包括:目标对象在图像所对应的关键点位置,或者,目标对象在图像中所对应的覆盖区域等等。
步骤S3502:控制图像采集装置将采集位置传输至云台。
在获取到目标对象在采集图像中的采集位置之后,则可以将目标对象在采集图像中的采集位置通过USB接口主动或者被动地传输至云台,从而使得云台可以获取到目标对象在图像中的采集位置。
步骤S3503:控制云台按照控制参数进行运动,以实现对目标对象进行跟随操作,其中,控制参数是基于采集位置所确定的。
在云台获取到采集位置之后,则可以对采集位置进行分析处理,以确定用于对云台进行控制的控制参数,而后则可以控制云台按照控制参数进行运动,以实现对目标对象进行跟随操作。
需要注意的是,本实施例中的方法还可以包括上述图2至图34中所示的实施例的方法,本实施例未详细描述的部分,可参考对图2至图34中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图2至图34所示实施例中的描述,在此不再赘述。
本实施例中提供的云台系统的控制方法,通过控制图像采集装置采集图像,并获取目标对象在图像中的采集位置,而后将采集位置传输至云台,并控制云台按照控制参数进行运动,其中,控制参数是基于采集位置所确定的,从而可以实现对目标对象进行跟随操作,另外,由于采集位置是通过图像采集装置所确定的,而云台可以通过图像采集装置直接获取采集位置,这样有效地降低了在云台通过图像采集装置获取采集位置时所对应的延时时间,从而解决了因延时比较长而导致跟随效果差的问题,进一步保证了对目标对象进行跟随操作的质量和效果,有效地提高了该方法使用的稳定可靠性。
图36为本发明实施例提供的另一种云台的控制方法的流程示意图;参考附图36所示,本实施立体供 了另一种云台的控制方法,该方法适用于云台,该云台通信连接有图像采集装置,另外,云台的控制方法的执行主体可以是云台的控制装置,可以理解的是,该控制装置可以实现为软件、或者软件和硬件的组合,具体的,该方法可以包括:
步骤S3601:获取采集图像,采集图像中包括目标对象。
步骤S3602:在采集图像中确定目标对象的位置,以基于目标对象的位置对目标对象进行跟随操作。
步骤S3603:将目标对象的位置发送至图像采集装置,以使得图像采集装置基于目标对象的位置,确定与目标对象相对应的对焦位置,并基于对焦位置对目标对象进行对焦操作。
下面针对上述各个步骤的实现过程进行详细阐述:
步骤S3601:获取采集图像,采集图像中包括目标对象。
其中,云台通信连接有图像采集装置,上述的图像采集装置可以针对一目标对象进行图像采集装置,从而可以获取到采集图像,在图像采集装置获取到采集图像之后,则可以将采集图像主动或者被动地传输至云台,从而使得云台可以稳定地获取到采集图像。
步骤S3602:在采集图像中确定目标对象的位置,以基于目标对象的位置对目标对象进行跟随操作。
其中,在获取到采集图像之后,则可以对采集图像进行分析处理,以确定目标对象的位置,所获取到的目标对象的位置用于实现对目标对象进行跟随操作。具体的,可以通过显示界面对采集图像进行显示,而后用户可以通过显示界面针对采集图像输入执行操作,根据执行操作即可确定目标对象的位置,即用户可以对采集图像中所包括的目标对象进行框选操作,从而可以确定目标对象的位置。或者,在获取到采集图像之后,可以利用预设图像处理算法对采集图像进行自动分析处理,以确定目标对象的位置。
当然的,本领域技术人员也可以采用其他的方式在采集图像中确定目标对象的位置,只要能够保证对目标对象的位置进行确定的准确可靠性即可,在此不再赘述。
步骤S3603:将目标对象的位置发送至图像采集装置,以使得图像采集装置基于目标对象的位置,确定与目标对象相对应的对焦位置,并基于对焦位置对目标对象进行对焦操作。
其中,在获取到目标对象的位置之后,为了保证通过图像采集装置对目标对象进行跟随操作的质量和效果,则可以将目标对象的位置发送至图像采集装置,在图像采集装置获取到目标对象的位置之后,则可以基于目标对象的位置确定与目标对象相对应的对焦位置,从而实现了在对目标对象进行跟随操作时,用于对目标对象进行跟随操作的跟随位置与目标对象相对应的对焦位置相同,这样有效地避免了因对焦位置与跟随位置不一致而导致对目标对象出现虚焦的情况,进一步提高了对目标对象进行跟随操作的质量和效果。
需要注意的是,本实施例中的方法还可以包括上述图2至图34中所示的实施例的方法,本实施例未详细描述的部分,可参考对图2至图34中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图2至图34所示实施例中的描述,在此不再赘述。
本实施例中提供的云台的控制方法,通过获取采集图像,并在采集图像中确定目标对象的位置,以基于目标对象的位置对目标对象进行跟随操作,而后将目标对象的位置发送至图像采集装置,以使得图像采集装置基于目标对象的位置,确定与目标对象相对应的对焦位置,并基于对焦位置对目标对象进行对焦操作,从而有效地保证了在对目标对象进行跟随操作时,用于对目标对象进行跟随操作的跟随位置与目标对象相对应的对焦位置相同,这样有效地避免了因对焦位置与跟随位置不一致而导致对目标对象出现虚焦的情况,从而有效地提高了对目标对象进行跟随操作的质量和效果,进一步提高了该方法使用的稳定可靠性。
图37为本发明实施例提供的另一种云台系统的控制方法的流程示意图;参考附图37所示,本实施例提供了一种云台系统的控制方法,其中,云台系统包括:云台和与云台通信连接的图像采集装置,在一 些实例中,图像采集装置可以集成在云台上,此时,云台和设置于云台上的图像采集装置可以整体进行销售或者维护操作。在另一些实例中,图像采集装置可以单独设置于云台上,此时,图像采集装置和云台之间可以单独进行销售或者维护操作。
另外,图像采集装置是指具有图像采集能力和图像处理能力的装置,例如:照相机、摄像机、具有图像采集能力的其他装置等等。在一些实例中,云台设有通信串行总线USB接口,USB接口用于与图像采集装置有线通信连接,即云台通过USB接口与图像采集装置通信连接,具体应用时,在云台通过USB接口与图像采集装置进行被跟随物体的位置数据的传输时,由于云台侧无需额外设置图像处理装置,则云台与图像采集装置之间传输的被跟随物体的位置数据所对应的延时时间比较短。
可以理解的是,云台与图像采集装置之间的通信连接方式并不限于上述所限定的实现方式,本领域技术人员还可以根据具体的应用需求和应用场景进行设置,例如无线通信,或者能够保证在云台与图像采集装置进行数据传输时,所对应的延时时间比较短,在此不再赘述。
此外,该云台系统的控制方法的执行主体可以是云台系统的控制装置,可以理解的是,该云台系统的控制装置可以实现为软件、或者软件和硬件的组合;另外,云台系统的控制装置可以设置于云台或者图像采集装置上。在控制装置执行该云台系统的控制方法时,可以解决因接口传输数据所产生的延时长而导致跟随效果差的问题,从而可以保证对目标对象进行跟随操作的质量和效果。具体的,该方法可以包括:
步骤S3701:控制图像采集装置采集图像,图像包括目标对象。
步骤S3702:在图像中确定目标对象的位置。
步骤S3703:基于目标对象的位置控制云台对目标对象进行跟随操作,并根据目标对象的位置控制图像采集装置对目标对象进行对焦操作。
下面针对上述各个步骤的实现过程进行详细阐述:
步骤S3701:控制图像采集装置采集图像,图像包括目标对象。
当针对一目标对象存在跟随需求时,则可以根据跟随需求控制图像采集装置进行图像采集装置,在图像采集装置获取到图像之后,可以将图像主动或者被动地传输至云台,从而使得云台可以获取到图像。
步骤S3702:在图像中确定目标对象的位置。
其中,在获取到图像之后,则可以对图像进行分析处理,以确定目标对象在图像中的采集位置。具体的,目标对象在图像中的采集位置可以包括:目标对象在图像所对应的关键点位置,或者,目标对象在图像中所对应的覆盖区域等等。当然,在采集图像中目标对象的位置的确定也可以由图像采集装置来实现。
步骤S3703:基于目标对象的位置控制云台对目标对象进行跟随操作,并根据目标对象的位置控制图像采集装置对目标对象进行对焦操作。
在获取到目标对象的位置之后,则可以基于目标对象的位置控制云台对目标对象进行跟随操作,此外,在获取到目标对象的位置之后,还可以基于目标对象的位置确定与目标对象相对应的对焦位置,具体的,目标对象的位置可以与目标对象相对应的对焦位置相同,从而实现了在对目标对象进行跟随操作时,用于对目标对象进行跟随操作的跟随位置与目标对象相对应的对焦位置相同,这样有效地避免了因对焦位置与跟随位置不一致而导致对目标对象出现虚焦的情况,进一步提高了对目标对象进行跟随操作的质量和效果。
需要注意的是,本实施例中的方法还可以包括上述图2至图34中所示的实施例的方法,本实施例未详细描述的部分,可参考对图2至图34中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图2至图34所示实施例中的描述,在此不再赘述。
本实施例提供的云台系统的控制方法,通过控制图像采集装置采集图像,并在图像中确定目标对象的位置,而后基于目标对象的位置控制云台对目标对象进行跟随操作,并根据目标对象的位置控制图像采集装置对目标对象进行对焦操作,从而有效地保证了在对目标对象进行跟随操作时,用于对目标对象进行跟随操作的跟随位置与目标对象相对应的对焦位置相同,这样有效地避免了因对焦位置与跟随位置不一致而导致对目标对象出现虚焦的情况,从而有效地提高了对目标对象进行跟随操作的质量和效果,进一步提高了该方法使用的稳定可靠性。
图38为本发明实施例提供的又一种云台系统的控制方法的流程示意图;参考附图38所示,本实施例提供了又一种云台系统的控制方法,其中,云台系统包括:云台和与云台通信连接的图像采集装置,该云台系统的控制方法的执行主体可以是云台系统的控制装置,可以理解的是,该云台系统的控制装置可以实现为软件、或者软件和硬件的组合;另外,云台系统的控制装置可以设置于云台或者图像采集装置上,当云台系统的控制装置设置于图像采集装置上时,云台与图像采集装置可以是集成的产品。具体的,本实施例中的方法还可以包括:
步骤S3801:获取第一对象在图像采集装置采集的采集图像中的采集位置,第一对象的采集位置用于云台对第一对象进行跟随操作,以及用于图像采集装置对第一对象进行对焦操作。
步骤S3802:在第一对象改变为第二对象时,获取第二对象在图像采集装置采集的采集图像中的采集位置,以使得云台由对第一对象的跟随操作变化为基于第二对象的采集位置对第二对象进行跟随操作,以及使得图像采集装置由对第一对象的对焦操作变化为基于第二对象的位置对第二对象进行对焦操作。
下面针对上述各个步骤的实现过程进行详细阐述:
步骤S3801:获取第一对象在图像采集装置采集的采集图像中的采集位置,第一对象的采集位置用于云台对第一对象进行跟随操作,以及用于图像采集装置对第一对象进行对焦操作。
其中,针对第一对象存在跟随需求时,则可以通过图像采集装置针对第一对象进行图像采集操作,从而可以获得包括第一对象的采集图像。在获取到采集图像之后,则可以对采集图像进行分析处理,确定第一对象在采集图像中的采集位置,所确定的第一对象在采集图像中的采集位置用于供云台对第一对象进行跟随操作,此外,所确定的第一对象在采集图像中的采集位置用于供图像采集装置对第一对象进行对焦操作。另外,对采集图像进行分析处理,确定第一对象在采集图像中的采集位置的执行主体可以为“图像采集装置”或者“云台”。
步骤S3802:在第一对象改变为第二对象时,获取第二对象在图像采集装置采集的采集图像中的采集位置,以使得云台由对第一对象的跟随操作变化为基于第二对象的采集位置对第二对象进行跟随操作,以及使得图像采集装置由对第一对象的对焦操作变化为基于第二对象的位置对第二对象进行对焦操作。
在对第一对象进行跟随操作时,可能会出现跟随对象发生变更的情况,即第一对象可能改变为第二对象。在第一对象改变为第二对象时,则可以获取第二对象在采集图像中的采集位置,而后可以基于第二对象在采集图像中的采集位置对云台进行控制,从而有效地实现了可以控制云台由对第一对象的跟随操作变化为基于第二对象的采集位置对第二对象进行跟随操作。
此外,所获得的第二对象在采集图像中的采集位置还可以用于供图像采集装置进行对焦操作,具体的,可以使得图像采集装置由对第一对象的对焦操作变化为基于第二对象的位置对第二对象进行对焦操作,从而实现了在对第二对象进行跟随操作时,用于对第二对象进行跟随操作的跟随位置与第二对象相对应的对焦位置相同,这样有效地避免了因对焦位置与跟随位置不一致而导致对第二对象出现虚焦的情况,进一步提高了对第二对象进行跟随操作的质量和效果。
此外,对第二对象在采集图像中的采集位置进行获取的实现方式与上述对第一对象在采集图像中的采集位置进行获取的实现方式相类似,具体可参考上述陈述内容,在此不再赘述。
需要注意的是,本实施例中的方法还可以包括上述图2至图34中所示的实施例的方法,本实施例未详细描述的部分,可参考对图2至图34中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图2至图34所示实施例中的描述,在此不再赘述。
可以理解,上述方法也可以分别在图像采集装置侧和云台侧进行相应对象的更新,例如,在图像采集装置侧,用户通过触控操作将对焦操作的对象由第一对象变更为第二对象时,可以从云台侧的显示屏发现跟随操作的对象也由第一对象变更为第二对象;在云台侧,用户将跟随操作的对象由第一对象变更为第二对象时,可以从图像采集装置侧的显示屏发现对焦操作的对象也由第一对象变更为第二对象。其中,变更对象的具体操作手段不限于上述说明的触控操作。
本实施例提供的云台系统的控制方法,通过获取第一对象在图像采集装置采集的采集图像中的采集位置,在第一对象改变为第二对象时,则可以获取第二对象在图像采集装置采集的采集图像中的采集位置,以使得云台由对第一对象的跟随操作变化为基于第二对象的采集位置对第二对象进行跟随操作,以及使得图像采集装置由对第一对象的对焦操作变化为基于第二对象的位置对第二对象进行对焦操作,从而有效地保证了跟随对象由第一对象改变为第二对象时,则可以对第二对象进行跟随操作,并且,在对第二对象进行跟随操作时,通过保证用于对第二对象进行跟随操作的跟随位置与第二对象相对应的对焦位置相同,这样有效地避免了因对焦位置与跟随位置不一致而导致对第二对象出现虚焦的情况,从而有效地提高了对第二对象进行跟随操作的质量和效果,进一步提高了该方法使用的稳定可靠性。
具体应用时,参考附图39所示,本发明提供了一种基于相机(可以为设置于云台上的第三方相机、或者集成于云台上的相机)而实现的智能跟随方法,该方法的执行主体可以包括:相机和云台。具体的,本实施例中的方法包括以下步骤:
步骤1:相机平面偏差预测。
通过相机直接获取当前图像帧的相机曝光时间戳,当前图像帧的相机曝光时间戳可以为t
n,在相机将当前图像帧的检测信息(可以包括目标对象位于图像帧中的坐标信息)发送至云台时,云台接收与当前图像帧的检测信息的时间戳为t
n+1,相对应的,在相机将上一图像帧的检测信息发送至云台时,云台接收与上一图像帧的检测信息的时间戳为t
n-1。
考虑到由相机和云台所构成的通信链路上所存在的链路延时以及与链路相对应的其他不稳定因素,通过相机所获得的目标对象在当前图像帧中的目标对象目标值的时间与云台接收上述检测信息的时间之间存在偏差。因此,为了保证对目标对象进行跟随操作的质量和效果,则需要考虑链路延时对智能跟随操作的影响,具体可以进行如下步骤:
步骤1.1:获取由相机和云台所构成的通信链路所对应的链路延时。
具体的,链路延时即为当前图像帧的曝光时间与云台接收到与当前图像帧相对应的检测信息的接收时间之间的时间间隔,即:Δt=t
n+1-t
n。
步骤1.2:基于当前图像帧,获得目标对象在当前图像帧的采集位置。
具体的,相机可以对当前图像帧进行分析处理,以确定目标对象在当前图像帧的采集位置为(x
n,y
n)。
其中,
为目标对象在上一图像帧中的前一位置预测值,(x
n,y
n)为目标对象在当前图像帧的采集位置,
为与采集位置相对应的当前位置预测值,Δt为由相机和云台所构成的通信 链路所对应的链路延时,t
n为与当前图像帧所对应的相机曝光时间戳,t
n-1为云台接收到与上一图像帧的检测信息的时间戳。
具体的,相机平面偏差为归一化后的坐标值偏差,记作e
x和e
y,为了能够获取到相机平面偏差,则可以获取构图目标,具体实现时,可以将构图目标记作(tgt
x,tgt
y),而后基于构图目标和当前位置预测值确定相机平面偏差,具体的,可以基于以下公式来获取相机平面偏差:
步骤2:对相机平面偏差进行坐标转换操作,确定用于对目标对象进行跟随操作的偏差角度。
步骤2.1:获取相机的实际画面视场角fov信息和云台的当前姿态信息。
其中,为了能够获取相机的实际画面视场角fov信息,则可以先获取到相机的焦距信息,基于焦距信息确定相机的实际画面视场角fov信息,需要注意的是,上述的焦距信息可以直接通过相机获取,或者也可以是用户基于具体的应用场景和应用需求进行配置所获得的。
步骤2.2:根据实际画面视场角fov信息和当前姿态信息,将相机平面偏差转换至大地坐标系NED(北、东、地坐标系),从而可以获得偏差角度。
具体的,相机坐标系可以记作b系,NED坐标系可以记作n系。
在大地坐标系下的偏差角度可以通过以下公式来获得:
E
x=0;
其中,e
x和e
y为在相机平面进行归一化之后的坐标值偏差,FOV
x、FOV
y分别为相机在横向(x轴方向)和纵向(y轴方向)所对应的fov角度,E
x、E
y、E
z为相机坐标系下各个轴所对应的偏差角度,其矩阵表示如下:
在一些实例中,云台可以对应有不同的跟随模式,该跟随模式可以包括单轴跟随模式、双轴跟随模式和三轴跟随模式,不同的跟随模式可以对应有不同的偏差角度。在云台为单轴跟随模式时,所获得的偏差角度可以与云台的单轴相对应,例如:偏差角度与yaw轴相对应,与其他两个轴所对应的偏差角度调整为零。在云台为双轴跟随模式时,所获得的偏差角度可以与云台的两个轴相对应,例如:偏差角度与yaw轴和pitch轴相对应,与其他轴所对应的偏差角度调整为零。在云台为三轴跟随模式时,所获得的偏差角度可以与云台的三个轴相对应,例如:偏差角度与yaw轴、pitch轴和roll轴相对应。
步骤3:基于偏差角度对云台进行控制,以实现对目标对象进行跟随操作。
其中,云台上可以设置有云台控制器,该云台控制器可以包括三个比例积分微分(Proportion Integral Differential,简称PID)控制器,具体结构参考附图40,其具体可以包括跟踪换PID控制器、 位置环PID控制器和速度环PID控制器。
在获取到偏差角度E
n之后,则可以将偏差角度E
n输入至PID控制器中,从而可以获得用于控制云台电机进行转动的控制参数。
需要注意的是,本领域技术人员可以根据不同的需求调节三个PID控制器的相关参数。在PID控制器的带宽越高时,跟随性能越好,但是其平滑性会降低,反之带宽越低跟随性能越差,平滑度增高。
步骤4:云台智能跟随策略。
其中,云台智能跟随策略可以包括以下三大方面:针对跟随目标或丢失目标的缓启停策略、针对不同物体调整云台控制器、根据历史对焦位置来确定对焦偏移量,下面对上述三大方面的云台智能跟随策略进行说明:
步骤4.1:针对跟随目标和丢失目标的缓启停策略。
其中,缓启停策略包括匀加速策略或匀减速策略,设置加/减速时间阈值为T,已知E
n为ned坐标系下各个轴的偏差角度,实际输出给云台控制器的实际偏差角度
具体的,输出给云台控制器的实际偏差角度
与偏差角度E
n之间存在以下关系:
(a)开始跟随目标的匀加速运动中:
其中,t为开始跟随目标对象的时长信息,T为预设时间阈值,用户可以根据具体的应用场景和应用需求对预设时间阈值的具体时间长短进行设置,一般情况下,T可以为0.5s或者1s。
具体的,在开始对目标对象进行跟随操作时,为了避免突然对目标对象进行跟随操作,在对目标对象进行跟随操作的时长信息小于预设时间阈值时,则可以获取与偏差角度E
n相对应的实际偏差角度
该实际偏差角度
即为0与偏差角度E
n之间的过渡参数,从而可以实现缓慢启动对目标对象进行跟随操作。在对目标对象进行跟随操作的时长信息大于或等于预设时间阈值时,则可以将实际偏差角度
确定为偏差角度E
n,即可以稳定地对目标对象进行跟随操作。
(b)丢失目标减速运动中:
其中,t为开始丢失目标对象的时长信息,T为预设时间阈值,用户可以根据具体的应用场景和应用需求对预设时间阈值的具体时间长短进行设置,一般情况下,T可以为1s、1.5s或者2s等等。
具体的,在开始对目标对象进行跟随操作时,为了避免突然结束对目标对象进行跟随操作,在目标对象丢失时,获取目标对象丢失的时长信息,在目标对象进行跟随操作的时长信息小于预设时间阈值T时,则可以获取与偏差角度E
n相对应的实际偏差角度
该实际偏差角度
即为0与偏差角度E
n之间的过渡参数,从而可以实现缓慢结束对目标对象进行跟随操作。在对目标对象进行跟随操作的时长信息大于或等于预设时间阈值时,则可以将实际偏差角度
确定为0,即可以稳定地结束对目标对象进行跟随操作。
步骤4.2:根据不同物体跟随速度的调整云台控制器。
其中,云台可以根据所跟随的不同物体类型调整云台控制器,具体可以包括以下几类:
(a)在待跟随的目标对象为人物时,为了提高跟随质量和效果,则可以提高平移跟随性能(与yaw方向相对应),并降低俯仰跟随性能(与pitch方向相对应);
(b)在待跟随的目标对象为宠物时,为了提高跟随质量和效果,则可以提高平移跟随性能(与yaw方向相对应),并提高俯仰跟随性能(与pitch方向相对应);
(c)在待跟随的目标对象为建筑物时,为了提高跟随质量和效果,则可以降低平移跟随性能(与yaw方向相对应),并降低俯仰跟随性能(与pitch方向相对应)。
(d)在待跟随的目标对象为其他物体时,则可以保持控制参数不变。
其中,跟随性能可以根据调整相应的控制带宽来实现。
步骤4.3:根据历史对焦位置来确定对焦偏移量。
其中,在利用图像采集装置针对某一目标对象进行图像采集操作的过程中,在历史图像帧所对应的历史对焦位置与当前图像帧所对应的当前对焦位置可以不同。此时,为了避免因对焦位置偏移而使得云台发生抖动或者抽动的情况,则可以当检测到当前对焦位置和历史对焦位置不同时,则可以获取当前对焦位置和历史对焦位置自检的对焦偏移量,基于对焦偏移量来确定与目标对象相对应的目标对焦位置。
具体的,在对焦偏移量小于或等于预设阈值时,即说明当前对焦位置与历史对焦位置之间的距离比较近,进而则可以将当前对焦位置确定为与目标对象相对应的目标对焦位置。
在对焦偏移量大于预设阈值时,即说明当前对焦位置与历史对焦位置之间的距离比较远,进而则可以基于对焦偏移量对当前对焦位置进行调整,从而可以获得与目标对象相对应的目标对焦位置。
在对焦偏移量大于预设阈值时,即说明当前对焦位置与历史对焦位置之间的距离比较远,此时则可以检测目标对象是否发生改变,在目标对象发生改变之后,则可以基于更改后的目标对象对构图目标位置进行更新,获得更新后目标位置,以基于更新后目标位置对云台进行控制,实现对更改后的目标对象进行跟随操作。
本应用实施例提供的基于相机而实现的智能跟随方法,有效地解决了以下问题:(1)解决实时图像因为HDMI传输至图像处理装置确定采集位置产生的延时时间比较长而导致跟随效果差的问题;(2)解决云台实现目标跟随,增加了额外的AI机器学习算法的开发成本以及硬件设计成本问题;(3)解决相机跟随目标类型变化导致坐标点跳跃的问题;(4)解决对焦点和跟随点不统一问题,不会出现被跟随目标虚焦情况;进一步保证了对目标对象进行跟随操作的质量和效果,有效地提高了该方法使用的稳定可靠性。
图41为本发明实施例提供的一种云台的控制装置的结构示意图;参考附图41所示,本实施例提供了一种云台的控制装置,其中,云台通信连接有图像采集装置,该云台的控制装置可以执行与图2相对应的云台的控制方法。具体的,本实施例中的装置可以包括:
存储器412,用于存储计算机程序;
处理器411,用于运行存储器412中存储的计算机程序以实现:
获取目标对象在采集图像中的采集位置,采集位置是通过图像采集装置所确定的,图像采集装置为具有手动镜头或自动镜头的相机,且图像采集装置与云台通信连接;
基于采集位置,确定用于对目标对象进行跟随操作的控制参数;
根据控制参数对云台进行控制,以实现对目标对象进行跟随操作。
其中,云台的控制装置的结构中还可以包括通信接口413,用于电子设备与其他设备或通信网络通信。
在一些实例中,在处理器411获取目标对象在采集图像中的采集位置时,处理器411用于:通过图像采集装置获取与目标对象相对应的目标对焦位置;将目标对焦位置确定为目标对象在采集图像中的采集位置。
在一些实例中,在处理器411通过图像采集装置获取与目标对象相对应的目标对焦位置时,处理器411用于:通过图像采集装置获取与目标对象相对应的历史对焦位置和当前对焦位置;基于历史对焦位置和当前对焦位置,确定与目标对象相对应的目标对焦位置。
在一些实例中,在处理器411基于历史对焦位置和当前对焦位置,确定与目标对象相对应的目标对焦位置时,处理器411用于:确定与历史对焦位置相对应的历史对象部位和与当前对焦位置相对应的当前对象部位;根据历史对象部位与当前对象部位,确定与目标对象相对应的目标对焦位置。
在一些实例中,在处理器411根据历史对象部位与当前对象部位,确定与目标对象相对应的目标对焦位置时,处理器411用于:在历史对象部位与当前对象部位为同一目标对象的不同部位时,则获取历史对象部位与当前对象部位之间的相对位置信息;基于相对位置信息对当前对焦位置进行调整,获得与目标对象相对应的目标对焦位置。
在一些实例中,在处理器411基于相对位置信息对当前对焦位置进行调整,获得与目标对象相对应的目标对焦位置时,处理器411用于:在相对位置信息大于或等于预设阈值时,基于相对位置信息对当前对焦位置进行调整,获得与目标对象相对应的目标对焦位置;在相对位置信息小于预设阈值时,将当前对焦位置确定为与目标对象相对应的目标对焦位置。
在一些实例中,在处理器411根据历史对象部位与当前对象部位,确定与目标对象相对应的目标对焦位置时,处理器411用于:在历史对象部位与当前对象部位为同一目标对象的不同部位时,基于当前对焦位置对构图目标位置进行更新,获得第一更新后构图目标位置;基于第一更新后构图目标位置对目标对象进行跟随操作。
在一些实例中,处理器411用于:检测进行跟随操作的目标对象是否发生改变;在目标对象由第一对象改变为第二对象时,获取第二对象在采集图像中的采集位置;基于第二对象在采集图像中的采集位置对构图目标位置进行更新,获得与第二对象相对应的第二更新后构图目标位置,以基于第二更新后构图目标位置对第二对象进行跟随操作。
在一些实例中,在处理器411基于采集位置,确定用于对目标对象进行跟随操作的控制参数时,处理器411用于:计算与采集位置相对应的当前位置预测值;基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数。
在一些实例中,在处理器411计算与采集位置相对应的当前位置预测值时,处理器411用于:确定与采集位置相对应的延时时间,延时时间用于指示云台经由图像采集装置获得采集位置所需要的时长;基于延时时间和采集位置,确定与采集位置相对应的当前位置预测值。
在一些实例中,在处理器411确定与采集位置相对应的延时时间时,处理器411用于:获取与采集图像相对应的曝光时间;在云台获取到采集位置时,确定与采集位置相对应的当前接收时间;将当前接收时间与曝光时间之间的时间间隔,确定为与采集位置相对应的延时时间。
在一些实例中,在处理器411基于延时时间和采集位置,确定与采集位置相对应的当前位置预测值时,处理器411用于:在云台获取到目标对象在前一采集图像的前一采集位置时,确定与前一采集位置相对应的前一接收时间;确定与前一采集位置相对应的前一位置预测值;根据采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,计算与采集位置相对应的当前位置预测值。
在一些实例中,在处理器411根据采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,计算与采集位置相对应的当前位置预测值时,处理器411用于:基于采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,确定与采集位置相对应的位置调整值;将位置调整值与采集位置的和值,确定为与采集位置相对应的当前位置预测值。
在一些实例中,在处理器411基于采集位置、曝光时间、延时时间、前一接收时间和前一位置预测值,确定与采集位置相对应的位置调整值时,处理器411用于:基于采集位置、前一位置预测值、曝光时间和前一接收时间,确定与目标对象相对应的移动速度;将移动速度与延时时间之间的乘积值,确定为与采集位置相对应的位置调整值。
在一些实例中,在处理器411基于采集位置、前一位置预测值、曝光时间和前一接收时间,确定与目标对象相对应的移动速度时,处理器411用于:获取采集位置与前一位置预测值之间的位置差值以及曝光时间与前一接收时间之间的时间差值;将位置差值与时间差值之间的比值,确定为与目标对象相对应的移动速度。
在一些实例中,在处理器411基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数时,处理器411用于:确定当前位置预测值与构图目标位置之间的位置偏差;基于位置偏差,确定用于对目标对象进行跟随操作的控制参数。
在一些实例中,在处理器411基于位置偏差,确定用于对目标对象进行跟随操作的控制参数时,处理器411用于:获取与采集图像相对应的画面视场角;基于画面视场角和位置偏差,确定用于对目标对象进行跟随操作的控制参数。
在一些实例中,控制参数的大小与画面视场角的大小呈负相关。
在一些实例中,在处理器411基于当前位置预测值,确定用于对目标对象进行跟随操作的控制参数时,处理器411用于:获取与云台相对应的跟随模式,跟随模式包括以下之一:单轴跟随模式、双轴跟随模式、全跟随模式;基于当前位置预测值和跟随模式,确定用于对目标对象进行跟随操作的控制参数。
在一些实例中,在处理器411基于当前位置预测值和跟随模式,确定用于对目标对象进行跟随操作的控制参数时,处理器411用于:基于当前位置预测值,确定用于对目标对象进行跟随操作的备选控制参数;在备选控制参数中,确定与跟随模式相对应的目标控制参数。
在一些实例中,在处理器411在备选控制参数中,确定与跟随模式相对应的目标控制参数时,处理器411用于:在跟随模式为单轴跟随模式时,在备选控制参数中,确定与单轴跟随模式相对应的单轴的控制参数,并将其他备选控制参数置零;在跟随模式为双轴跟随模式时,在备选控制参数中,确定与双轴跟随模式相对应的双轴的控制参数,并将其他备选控制参数置零;在跟随模式为全跟随模式时,将备选控制参数确定为与全跟随模式相对应的三轴的控制参数。
在一些实例中,在处理器411根据控制参数对云台进行控制时,处理器411用于:获取与目标对象所对应的云台的运动状态;基于云台的运动状态和控制参数对云台进行控制。
在一些实例中,在处理器411基于云台的运动状态和控制参数对云台进行控制时,处理器411用于:获取用于对目标对象进行跟随操作所对应的时长信息;在时长信息小于第一时间阈值时,则基于云台的运动状态对控制参数进行更新,获得更新后的控制参数,并基于更新后的控制参数对云台进行控制;在时长信息大于或等于第一时间阈值时,利用控制参数对云台进行控制。
在一些实例中,在处理器411基于云台的运动状态对控制参数进行更新,获得更新后的控制参数时,处理器411用于:基于云台的运动状态,确定与控制参数相对应的更新系数,其中,更新系数小于1;将更新系数与控制参数的乘积值,确定为更新后的控制参数。
在一些实例中,在处理器411基于云台的运动状态,确定与控制参数相对应的更新系数时,处理器411用于:在云台的运动状态为特定运动状态时,基于所述时长信息与所述第一时间阈值之间的比值确定与所述控制参数相对应的更新系数。
在一些实例中,在处理器411根据控制参数对云台进行控制时,处理器411用于:获取与目标对象相对应的跟随状态;基于跟随状态和控制参数对云台进行控制。
在一些实例中,在处理器411获取与目标对象相对应的跟随状态时,处理器411用于:检测进行跟随操作的目标对象是否发生改变;在目标对象由第一对象改变为第二对象时,则确定第一对象为丢失状态。
在一些实例中,在处理器411基于跟随状态和控制参数对云台进行控制时,处理器411用于:在目标对象为丢失状态时,则获取对目标对象进行跟随操作过程中所对应的丢失时长信息;根据丢失时长信息 对控制参数进行更新,获得更新后控制参数;基于更新后控制参数对云台进行控制。
在一些实例中,在处理器411根据丢失时长信息对控制参数进行更新,获得更新后控制参数时,处理器411用于:在丢失时长信息大于或等于第二时间阈值时,将控制参数更新为零;在丢失时长信息小于第二时间阈值时,获取丢失时长信息与第二时间阈值之间的比值,并将1与比值之间的差值确定为与控制参数相对应的更新系数,将更新系数与控制参数的乘积值确定为更新后控制参数。
在一些实例中,在处理器411根据控制参数对云台进行控制时,处理器411用于:获取目标对象的对象类型;根据对象类型和控制参数对云台进行控制。
在一些实例中,在处理器411根据对象类型和控制参数对云台进行控制时,处理器411用于:根据对象类型对控制参数进行调整,获得调整后的参数;基于调整后的参数对云台进行控制。
在一些实例中,在处理器411根据对象类型对控制参数进行调整,获得调整后的参数时,处理器411用于:在目标对象为静止对象时,则降低云台在偏航方向所对应的控制带宽和云台在俯仰方向所对应的控制带宽;在目标对象为移动对象、且移动对象的高度大于或等于高度阈值时,则提高云台在偏航方向所对应的控制带宽,并降低云台在俯仰方向所对应的控制带宽;在目标对象为移动对象、且移动对象的高度小于高度阈值时,则提高云台在偏航方向所对应的控制带宽和云台在俯仰方向所对应的控制带宽。
在一些实例中,处理器411用于:通过显示界面获取用户针对图像采集装置所输入的执行操作;根据执行操作对图像采集装置进行控制,以使得图像采集装置确定采集位置。
在一些实例中,处理器411用于:通过设置于图像采集装置上的测距传感器获取与目标对象相对应的距离信息;将距离信息发送至图像采集装置,以使图像采集装置结合距离信息确定目标对象在采集图像中的采集位置。
在一些实例中,处理器411用于:确定图像采集装置所对应的工作模式,工作模式包括以下之一:先跟随后对焦模式、先对焦后跟随模式;利用工作模式对图像采集装置进行控制。
在一些实例中,云台设有通信串行总线USB接口,USB接口用于与图像采集装置有线通信连接。
图41所示装置可以执行图16至图34、图39至图40中所示的实施例的方法,本实施例未详细描述的部分,可参考对图16至图34、图39至图40中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图16至图34、图39至图40所示实施例中的描述,在此不再赘述。
图42为本发明实施例提供的一种云台系统的控制装置的结构示意图;参考附图42所示,本实施例提供了一种云台系统的控制装置,其中,云台系统包括云台和与云台通信连接的图像采集装置,该云台系统的控制装置可以执行与图35相对应的云台系统的控制方法。具体的,本实施例中的装置可以包括:
存储器422,用于存储计算机程序;
处理器421,用于运行存储器422中存储的计算机程序以实现:
控制图像采集装置采集图像,并获取目标对象在图像中的采集位置,采集位置是通过图像采集装置所确定的;
将采集位置传输至云台;
控制云台按照控制参数进行运动,以实现对目标对象进行跟随操作,其中,控制参数是基于采集位置所确定的。
其中,云台系统的控制装置的结构中还可以包括通信接口423,用于电子设备与其他设备或通信网络通信。
图42所示装置可以执行图35、图39至图40中所示的实施例的方法,本实施例未详细描述的部分,可参考对图35、图39至图40中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图35、图39至图40所示实施例中的描述,在此不再赘述。
图43为本发明实施例提供的另一种云台的控制装置的结构示意图;参考附图43所示,本实施例提供了一种云台的控制装置,用于云台,云台通信连接有图像采集装置,该云台的控制装置可以执行与图36相对应的云台的控制方法。具体的,本实施例中的装置可以包括:
存储器432,用于存储计算机程序;
处理器431,用于运行存储器432中存储的计算机程序以实现:
获取采集图像,采集图像中包括目标对象;
在采集图像中确定目标对象的位置,以基于目标对象的位置对目标对象进行跟随操作;
将根据目标对象的位置发送至图像采集装置,以使得图像采集装置基于目标对象的位置,确定与目标对象相对应的对焦位置,并基于对焦位置对目标对象进行对焦操作。
其中,云台的控制装置的结构中还可以包括通信接口433,用于电子设备与其他设备或通信网络通信。
图43所示装置可以执行图36、图39至图40中所示的实施例的方法,本实施例未详细描述的部分,可参考对图36、图39至图40中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图36、图39至图40所示实施例中的描述,在此不再赘述。
图44为本发明实施例提供的另一种云台系统的控制装置的结构示意图;参考附图44所示,本实施例提供了另一种云台系统的控制装置,其中,云台系统包括云台和与云台通信连接的图像采集装置,该云台系统的控制装置可以执行与图37相对应的云台系统的控制方法。具体的,本实施例中的装置可以包括:
存储器442,用于存储计算机程序;
处理器441,用于运行存储器442中存储的计算机程序以实现:
控制图像采集装置采集图像,图像包括目标对象;
在图像中确定目标对象的位置;
基于目标对象的位置控制云台对目标对象进行跟随操作,并根据目标对象的位置控制图像采集装置对目标对象进行对焦操作。
其中,云台系统的控制装置的结构中还可以包括通信接口443,用于电子设备与其他设备或通信网络通信。
图44所示装置可以执行图37、图39至图40中所示的实施例的方法,本实施例未详细描述的部分,可参考对图37、图39至图40中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图37、图39至图40所示实施例中的描述,在此不再赘述。
图45为本发明实施例提供的又一种云台系统的控制装置的结构示意图,参考附图45所示,本实施例提供了又一种云台系统的控制装置,其中,云台系统包括云台和与云台通信连接的图像采集装置,该云台系统的控制装置可以执行与图38相对应的云台系统的控制方法。具体的,本实施例中的装置可以包括:
存储器452,用于存储计算机程序;
处理器451,用于运行存储器452中存储的计算机程序以实现:
获取第一对象在图像采集装置采集的采集图像中的采集位置,第一对象的采集位置用于云台对第一对象进行跟随操作,以及用于图像采集装置对第一对象进行对焦操作;
在第一对象改变为第二对象时,获取第二对象在图像采集装置采集的采集图像中的采集位置,以使得云台由对第一对象的跟随操作变化为基于第二对象的采集位置对第二对象进行跟随操作,以及使得图像采集装置由对第一对象的对焦操作变化为基于第二对象的位置对第二对象进行对焦操作。
其中,云台系统的控制装置的结构中还可以包括通信接口453,用于电子设备与其他设备或通信网络通信。
图45所示装置可以执行图38至图40中所示的实施例的方法,本实施例未详细描述的部分,可参考对图38至图40中所示的实施例的相关说明。该技术方案的执行过程和技术效果参见图38至图40所示实施例中的描述,在此不再赘述。
可以理解,上述的任一实施例的控制装置可以独立于云台或图像采集装置,也可以是集成于云台或图像采集装置。
图46为本发明实施例提供的一种云台的控制系统的结构示意图;参考附图46所示,本实施例提供了一种云台的控制系统,具体的,该控制系统可以包括:
云台61;
上述图41所示的云台的控制装置62,设置于云台61上,且用于与图像采集装置通信连接,并用于通过图像采集装置对云台61进行控制。
在一些实例中,本实施例中的控制系统还可以包括:
测距传感器63,设置于图像采集装置上,用于获取与目标对象相对应的距离信息;
其中,云台的控制装置62与测距传感器63通信连接,用于将距离信息发送至图像采集装置,以使图像采集装置结合距离信息确定目标对象在采集图像中的采集位置。
图46所示云台的控制系统的具体实现原理、实现过程和实现效果与图41所示的云台的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图41中所示的实施例的相关说明。
图47为本发明实施例提供的一种云台的控制系统的结构示意图;参考附图47所示,本实施例提供了一种云台的控制系统,具体的,该云台的控制系统可以包括:
云台71;
上述图42所对应的云台系统的控制装置73,设置于云台71上,且用于与图像采集装置72通信连接,并用于分别对图像采集装置72以及云台71进行控制。
图47所示云台的控制系统的具体实现原理、实现过程和实现效果与图42所示的云台系统的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图42中所示的实施例的相关说明。
图48为本发明实施例提供的另一种云台的控制系统的结构示意图;参考附图48所示,本实施例提供了另一种云台的控制系统,具体的,该云台的控制系统可以包括:
云台81;
上述图43的云台的控制装置82,设置于云台81上,且用于与图像采集装置通信连接,并用于通过云台81对图像采集装置进行控制。
图48所示云台的控制系统的具体实现原理、实现过程和实现效果与图43所示的云台的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图43中所示的实施例的相关说明。
图49为本发明实施例提供的又一种云台的控制系统的结构示意图;参考附图49所示,本实施例提供了又一种云台的控制系统,具体的,该云台的控制系统可以包括:
云台91;
上述图44的云台系统的控制装置92,设置于云台91上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及云台91进行控制。
图49所示云台的控制系统的具体实现原理、实现过程和实现效果与图44所示的云台系统的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图44中所示的实 施例的相关说明。
图50为本发明实施例提供的另一种云台的控制系统的结构示意图;参考附图50所示,本实施例提供了另一种云台的控制系统,具体的,该云台的控制系统可以包括:
云台101;
上述图45所对应的云台系统的控制装置103,设置于云台101上,且用于与图像采集装置102通信连接,并用于分别对图像采集装置102以及云台101进行控制。
图50所示云台的控制系统的具体实现原理、实现过程和实现效果与图45所示的云台系统的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图45中所示的实施例的相关说明。
可以理解,上述各个实施例中的云台的控制系统中的控制装置可以集成于云台,其还可以进一步包括图像采集装置,该图像采集装置可以集成于云台上,或者,也可以与云台可拆卸连接。
图51为本发明实施例提供的一种可移动平台的结构示意图一;参考附图51所示,本实施例提供了一种可移动平台,具体的,该可移动平台可以包括:
云台112;
支撑机构111,用于连接云台112;
上述图41的云台的控制装置113,设置于云台112上,且用于与图像采集装置114通信连接,并用于通过图像采集装置114对云台112进行控制。
其中,支撑机构111随可移动平台的类型而不同,例如,当可移动平台为手持云台时,支撑机构111可以为手柄,当可移动平台为机载云台时,支撑机构111可以为用于搭载云台的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图51所示可移动平台的具体实现原理、实现过程和实现效果与图41所示的云台的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图41中所示的实施例的相关说明。
图52为本发明实施例提供的一种可移动平台的结构示意图二;参考附图52所示,本实施例提供了一种可移动平台,具体的,该可移动平台可以包括:
云台122;
支撑机构121,用于连接云台122;
上述图42的云台系统的控制装置123,设置于云台122上,且用于与图像采集装置124通信连接,并用于分别对图像采集装置124以及云台122进行控制。
其中,支撑机构121随可移动平台的类型而不同,例如,当可移动平台为手持云台时,支撑机构121可以为手柄,当可移动平台为机载云台时,支撑机构121可以为用于搭载云台的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图52所示可移动平台的具体实现原理、实现过程和实现效果与图42所示的云台系统的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图42中所示的实施例的相关说明。
图53为本发明实施例提供的一种可移动平台的结构示意图三;参考附图53所示,本实施例提供了一种可移动平台,具体的,该可移动平台可以包括:
云台132;
支撑机构131,用于连接云台132;
上述图43的云台的控制装置133,设置于云台132上,且用于与图像采集装置134通信连接,并用于 通过云台132对图像采集装置134进行控制。
其中,支撑机构131随可移动平台的类型而不同,例如,当可移动平台为手持云台时,支撑机构131可以为手柄,当可移动平台为机载云台时,支撑机构131可以为用于搭载云台的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图51所示可移动平台的具体实现原理、实现过程和实现效果与图43所示的云台的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图43中所示的实施例的相关说明。
图54为本发明实施例提供的一种可移动平台的结构示意图四;参考附图54所示,本实施例提供了一种可移动平台,具体的,该可移动平台可以包括:
云台142;
支撑机构141,用于连接云台142;
上述图44的云台系统的控制装置143,设置于云台142上,且用于与图像采集装置144通信连接,并用于分别对图像采集装置144以及云台142进行控制。
其中,支撑机构141随可移动平台的类型而不同,例如,当可移动平台为手持云台时,支撑机构141可以为手柄,当可移动平台为机载云台时,支撑机构141可以为用于搭载云台的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图54所示可移动平台的具体实现原理、实现过程和实现效果与图44所示的云台系统的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图44中所示的实施例的相关说明。
图55为本发明实施例提供的一种可移动平台的结构示意图五;参考附图55所示,本实施例提供了一种可移动平台,具体的,该可移动平台可以包括:
云台152;
支撑机构151,用于连接云台152;
上述图45的云台系统的控制装置153,设置于云台152上,且用于与图像采集装置154通信连接,并用于分别对图像采集装置154以及云台152进行控制。
其中,支撑机构151随可移动平台的类型而不同,例如,当可移动平台为手持云台时,支撑机构151可以为手柄,当可移动平台为机载云台时,支撑机构151可以为用于搭载云台的机身。可以理解,可移动平台包括但不限于上述说明的类型。
图55所示可移动平台的具体实现原理、实现过程和实现效果与图45所示的云台系统的控制装置的具体实现原理、实现过程和实现效果相类似,本实施例未详细描述的部分,可参考对图45中所示的实施例的相关说明。
可以理解,上述各个实施例中的可移动平台中的控制装置可以集成于云台,其还可以进一步包括图像采集装置,该图像采集装置也可以是集成于云台,或与云台可拆卸连接。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图2至图34、图39至图40的云台的控制方法。
本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图35、图39至图40的云台系统的控制方法。
本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图36、图39至图40的云台的控制方法。
本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存 储介质中存储有程序指令,程序指令用于实现上述图37、图39至图40的云台系统的控制方法。
本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图38至图40的云台系统的控制方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关检测装置和方法,可以通过其它的方式实现。例如,以上所描述的检测装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,检测装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (172)
- 一种基于图像采集装置的控制方法,其特征在于,包括:获取所述图像采集装置确定的拍摄参数,其中,所述图像采集装置为具有手动镜头或自动镜头的相机,所述拍摄参数能够用于调节所述图像采集装置采集的采集图像;基于所述拍摄参数确定控制参数;基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,所述云台用于支撑所述图像采集装置和/或所述辅助设备,所述辅助设备用于辅助所述图像采集装置进行相应的拍摄。
- 根据权利要求1所述的方法,其特征在于,所述图像采集装置与所述辅助设备机械耦合,所述云台用于调整所述图像采集装置以及所述辅助设备的空间位置。
- 根据权利要求1所述的方法,其特征在于,所述图像采集装置与所述云台可拆卸连接;和/或,所述辅助设备与所述云台可拆卸连接;和/或,所述图像采集装置与所述辅助设备可拆卸连接;和/或,所述图像采集装置的所述手动镜头或所述自动镜头与所述图像采集装置的机身可拆卸连接。
- 根据权利要求1所述的方法,其特征在于,所述云台分别与所述图像采集装置、所述辅助设备通信连接。
- 根据权利要求4所述的方法,其特征在于,获取所述图像采集装置确定的拍摄参数,包括:基于无线通信设备与所述图像采集装置建立无线通信链路,其中,所述无线通信设备设于所述云台或所述辅助设备;通过所述无线通信链路,获取所述拍摄参数。
- 根据权利要求5所述的方法,其特征在于,所述无线通信设备包括以下任意至少之一:蓝牙模块、近距离无线通信模块、无线局域网wifi模块。
- 根据权利要求1所述的方法,其特征在于,所述图像采集装置为具有所述手动镜头的相机,所述辅助设备包括用于对所述图像采集装置的跟焦环进行调节的跟焦电机;获取所述图像采集装置确定的拍摄参数,包括:获取所述图像采集装置确定的对焦信息;所述基于所述控制参数对云台和辅助设备中的至少一个进行控制,包括:基于所述控制参数对所述跟焦电机进行控制,以实现所述图像采集装置的跟焦操作。
- 根据权利要求7所述的方法,其特征在于,所述对焦信息包括以下至少之一:相位对焦信息、反差对焦信息。
- 根据权利要求8所述的方法,其特征在于,获取所述图像采集装置确定的对焦信息,包括:确定所述图像采集装置所对应的光圈应用模式;根据所述光圈应用模式,获取所述图像采集装置确定的所述相位对焦信息、反差对焦信息中的至少一种。
- 根据权利要求9所述的方法,其特征在于,根据所述光圈应用模式,获取所述图像采集装置确定的所述相位对焦信息、反差对焦信息中的至少一种,包括:在所述光圈应用模式为第一模式时,获取所述图像采集装置确定的所述反差对焦信息,或者,获取所述图像采集装置确定的所述相位对焦信息和所述反差对焦信息;和/或,在所述光圈应用模式为第二模式时,获取所述图像采集装置确定的所述相位对焦信息,其中,所述第一模式所对应的光圈值小于或等于设定光圈阈值,其中,所述第二模式所对应的光圈值大于所述设定光圈阈值。
- 根据权利要求8-10中任意一项所述的方法,其特征在于,基于所述拍摄参数确定控制参数,包括:获取所述相位对焦信息与跟焦环位置之间的第一映射关系;基于所述第一映射关系确定与所述相位对焦信息相对应的跟焦环位置;基于所述跟焦环位置,确定所述跟焦电机的控制参数。
- 根据权利要求8-10中任意一项所述的方法,其特征在于,基于所述拍摄参数确定控制参数,包括:确定所述跟焦电机与所述反差对焦信息相对应的当前电机位置;获取与所述跟焦电机相对应的设定位置范围;基于所述当前电机位置和所述设定位置范围,确定所述跟焦电机的第一转动速度和第一转动方向。
- 根据权利要求12所述的方法,其特征在于,基于所述当前电机位置和所述设定位置范围,确定所述跟焦电机的第一转动速度和第一转动方向,包括:获取所述当前电机位置分别与所述设定位置范围的上限值和下限值之间的第一距离和第二距离;基于所述第一距离和所述第二距离,确定所述跟焦电机的第一转动速度和第一转动方向。
- 根据权利要求12所述的方法,其特征在于,所述方法还包括:基于所述当前电机位置对所述设定位置范围进行更新,获得更新后位置范围;基于所述更新后位置范围和电机转动后位置,对所述第一转动速度进行调整,以获得第二转动速度,所述第二转动速度小于所述第一转动速度。
- 根据权利要求7所述的方法,其特征在于,所述辅助设备包括用于对所述图像采集装置的变焦环进行调节的变焦电机;获取所述图像采集装置确定的拍摄参数,包括:获取与所述采集图像相对应的变焦信息;所述基于所述控制参数对云台和辅助设备中的至少一个进行控制,包括:基于所述控制参数对所述变焦电机进行控制,以实现所述图像采集装置的变焦操作。
- 根据权利要求15所述的方法,其特征在于,基于所述拍摄参数确定控制参数,包括:基于所述采集图像,确定设定对象在显示画面中的初始占比,其中,所述显示画面为基于所述采集图像确定;基于所述初始占比和所述变焦信息,确定所述控制参数。
- 根据权利要求16所述的方法,其特征在于,基于所述采集图像,确定所述设定对象在显示画面中的初始占比,包括:获取所述设定对象的对象尺寸特征以及显示画面的画面尺寸特征;基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比。
- 根据权利要求17所述的方法,其特征在于,所述对象尺寸特征包括对象长度尺寸,所述画面尺寸特征包括画面长度尺寸;基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比,包括:将所述对象长度尺寸与所述画面长度尺寸之间的比值,确定为所述初始占比。
- 根据权利要求17所述的方法,其特征在于,所述对象尺寸特征包括对象宽度尺寸,所述画面尺寸特征包括画面宽度尺寸;基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比,包括:将所述特征宽度尺寸与所述画面宽度尺寸之间的比值,确定为所述初始占比。
- 根据权利要求17所述的方法,其特征在于,所述对象尺寸特征包括对象面积尺寸,所述画面尺寸特征包括画面面积尺寸;基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比,包括:将所述对象面积尺寸与所述画面面积尺寸之间的比值,确定为所述初始占比。
- 根据权利要求16所述的方法,其特征在于,基于所述初始占比和所述变焦信息,确定所述控制参数,包括:获取所述变焦电机的运动行程范围与变焦行程之间的第二映射关系、以及所述变焦电机的运动方向与变焦方向之间的第三映射关系;基于所述初始占比、所述变焦信息、所述第二映射关系和所述第三映射关系,确定与所述变焦电机相对应的运动行程参数和运动方向。
- 根据权利要求1所述的方法,其特征在于,所述辅助设备包括用于对所述图像采集装置进行补光操作的补光设备;获取所述图像采集装置确定的拍摄参数,包括:获取所述图像采集装置确定的光线检测信息;所述基于所述控制参数对云台和辅助设备中的至少一个进行控制,包括:基于所述控制参数对所述补光设备进行控制,以实现所述图像采集装置的补光操作。
- 根据权利要求22所述的方法,其特征在于,所述光线检测信息包括以下至少之一:曝光强度、光线颜色。
- 根据权利要求23所述的方法,其特征在于,基于所述拍摄参数确定控制参数,包括:确定与所述图像采集装置的采集图像相对应的目标曝光强度;基于所述曝光强度和所述目标曝光强度,确定所述补光设备的补偿曝光参数。
- 根据权利要求23所述的方法,其特征在于,基于所述拍摄参数确定控制参数,包括:确定与所述图像采集装置的采集图像相对应的目标场景颜色;基于所述光线颜色和所述目标场景颜色,确定所述补光设备的补偿颜色参数。
- 根据权利要求1所述的方法,其特征在于,所述图像采集装置包括防抖控制单元,所述防抖控制单元能够基于所述拍摄参数对所述图像采集装置中光学元件和图像传感器中的至少一种进行抖动补偿,以对所述图像采集装置采集的采集图像进行调节。
- 根据权利要求26所述的方法,其特征在于,获取所述图像采集装置确定的拍摄参数,包括:获取所述图像采集装置内所设置的防抖控制单元确定的防抖信息,所述防抖信息为根据所述图像采集装置的位置变化信息确定;所述基于所述控制参数对云台和辅助设备中的至少一个进行控制,包括:基于所述控制参数对所述云台进行控制,以实现所述云台的增稳操作。
- 根据权利要求26所述的方法,其特征在于,所述图像采集装置设有第一位置传感器,所述第一位置传感器用于检测所述位置变化信息;或,所述云台设有第二位置传感器,所述第二位置传感器用于检测所述位置变化信息,所述位置变化信息还用于调节所述图像采集装置的空间位置。
- 根据权利要求28所述的方法,其特征在于,基于所述拍摄参数确定控制参数,包括:基于所述防抖信息,确定所述图像采集装置的防抖灵敏度信息,所述防抖灵敏度信息用于表征针对所述云台的激励信号进行防抖响应的速度;获取所述云台的当前激励信号;基于所述当前激励信号和所述防抖灵敏度信息,确定与所述云台相对应的控制参数,以对所述云台和/或图像采集装置进行控制。
- 根据权利要求29所述的方法,其特征在于,基于所述当前激励信号和所述防抖灵敏度信息,确 定与所述云台相对应的控制参数,包括:基于所述防抖灵敏度信息,确定与所述当前激励信号相对应的当前灵敏度;在所述当前灵敏度大于或等于灵敏度阈值时,则生成与所述云台相对应的控制参数。
- 根据权利要求30所述的方法,其特征在于,生成与所述云台相对应的控制参数,包括:对所述当前激励信号进行抑制操作,获得抑制后信号,所述抑制后信号为与所述云台相对应的控制参数。
- 根据权利要求30所述的方法,其特征在于,所述方法还包括:基于所述防抖灵敏度信息,确定与所述当前激励信号相对应的当前灵敏度;在所述当前灵敏度大于或等于灵敏度阈值时,生成与所述图像采集装置相对应的控制参数,以基于与所述图像采集装置相对应的控制参数对所述防抖控制单元进行控制。
- 根据权利要求32所述的方法,其特征在于,生成与所述图像采集装置相对应的控制参数,包括:生成与所述防抖控制单元相对应的停止运行参数,所述停止运行参数为与所述图像采集装置相对应的控制参数。
- 根据权利要求26至33中任一项所述的方法,其特征在于,所述防抖控制单元包括镜头光学防抖OIS单元和/或机身防抖IBIS单元。
- 根据权利要求1所述的方法,其特征在于,所述图像采集装置内设置有信号滤波单元;所述方法还包括:确定所述云台的抖动信息;将所述抖动信息发送至所述图像采集装置,以使所述图像采集装置基于所述抖动信息对所述信号滤波单元进行参数配置。
- 根据权利要求35所述的方法,其特征在于,所述抖动信息包括在重力方向上的抖动信息。
- 根据权利要求1所述的方法,其特征在于,所述图像采集装置与所述云台通信连接,获取所述图像采集装置确定的拍摄参数,包括:获取目标对象在采集图像中的采集位置;基于所述拍摄参数确定控制参数,包括:基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数;基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,包括:根据所述控制参数对所述云台进行控制,以实现对所述目标对象进行跟随操作。
- 一种基于图像采集装置的控制装置,其特征在于,包括:存储器,用于存储计算机程序;处理器,用于运行所述存储器中存储的计算机程序以实现:获取所述图像采集装置确定的拍摄参数,其中,所述图像采集装置为具有手动镜头或自动镜头的相机,所述拍摄参数能够用于调节所述图像采集装置采集的采集图像;基于所述拍摄参数确定控制参数;基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制,其中,所述云台用于支撑所述图像采集装置和/或所述辅助设备,所述辅助设备用于辅助所述图像采集装置进行相应的拍摄。
- 根据权利要求38所述的装置,其特征在于,所述图像采集装置与所述辅助设备机械耦合,所述云台用于调整所述图像采集装置以及所述辅助设备的空间位置。
- 根据权利要求38所述的装置,其特征在于,所述图像采集装置与所述云台可拆卸连接;和/或,所述辅助设备与所述云台可拆卸连接;和/或,所述图像采集装置与所述辅助设备可拆卸连接;和/或,所述图像采集装置的所述手动镜头或所述自动镜头与所述图像采集装置的机身可拆卸连接。
- 根据权利要求38所述的装置,其特征在于,所述云台分别与所述图像采集装置、所述辅助设备通信连接。
- 根据权利要求41所述的装置,其特征在于,在所述处理器获取所述图像采集装置确定的拍摄参数时,所述处理器用于:基于无线通信设备与所述图像采集装置建立无线通信链路,其中,所述无线通信设备设于所述云台或所述辅助设备;通过所述无线通信链路,获取所述拍摄参数。
- 根据权利要求42所述的装置,其特征在于,所述无线通信设备包括以下任意至少之一:蓝牙模块、近距离无线通信模块、无线局域网wifi模块。
- 根据权利要求38所述的装置,其特征在于,所述图像采集装置为具有所述手动镜头的相机,所述辅助设备包括用于对所述图像采集装置的跟焦环进行调节的跟焦电机;在所述处理器获取所述图像采集装置确定的拍摄参数时,所述处理器用于:获取所述图像采集装置确定的对焦信息;在所述处理器基于所述控制参数对云台和辅助设备中的至少一个进行控制时,所述处理器用于:基于所述控制参数对所述跟焦电机进行控制,以实现所述图像采集装置的跟焦操作。
- 根据权利要求44所述的装置,其特征在于,所述对焦信息包括以下至少之一:相位对焦信息、反差对焦信息。
- 根据权利要求45所述的装置,其特征在于,在所述处理器获取所述图像采集装置确定的对焦信息时,所述处理器用于:确定所述图像采集装置所对应的光圈应用模式;根据所述光圈应用模式,获取所述图像采集装置确定的所述相位对焦信息、反差对焦信息中的至少一种。
- 根据权利要求46所述的装置,其特征在于,在所述处理器根据所述光圈应用模式,获取所述图像采集装置确定的所述相位对焦信息、反差对焦信息中的至少一种时,所述处理器用于:在所述光圈应用模式为第一模式时,获取所述图像采集装置确定的所述反差对焦信息,或者,获取所述图像采集装置确定的所述相位对焦信息和所述反差对焦信息;和/或,在所述光圈应用模式为第二模式时,获取所述图像采集装置确定的所述相位对焦信息,其中,所述第一模式所对应的光圈值小于或等于设定光圈阈值,其中,所述第二模式所对应的光圈值大于所述设定光圈阈值。
- 根据权利要求45-47中任意一项所述的装置,其特征在于,在所述处理器基于所述拍摄参数确定控制参数时,所述处理器用于:获取所述相位对焦信息与跟焦环位置之间的第一映射关系;基于所述第一映射关系确定与所述相位对焦信息相对应的跟焦环位置;基于所述跟焦环位置,确定所述跟焦电机的控制参数。
- 根据权利要求45-47中任意一项所述的装置,其特征在于,在所述处理器基于所述拍摄参数确定控制参数时,所述处理器用于:确定所述跟焦电机与所述反差对焦信息相对应的当前电机位置;获取与所述跟焦电机相对应的设定位置范围;基于所述当前电机位置和所述设定位置范围,确定所述跟焦电机的第一转动速度和第一转动方向。
- 根据权利要求49所述的装置,其特征在于,在所述处理器基于所述当前电机位置和所述设定位置范围,确定所述跟焦电机的第一转动速度和第一转动方向时,所述处理器用于:获取所述当前电机位置分别与所述设定位置范围的上限值和下限值之间的第一距离和第二距离;基于所述第一距离和所述第二距离,确定所述跟焦电机的第一转动速度和第一转动方向。
- 根据权利要求49所述的装置,其特征在于,所述处理器用于:基于所述当前电机位置对所述设定位置范围进行更新,获得更新后位置范围;基于所述更新后位置范围和电机转动后位置,对所述第一转动速度进行调整,以获得第二转动速度,所述第二转动速度小于所述第一转动速度。
- 根据权利要求43所述的装置,其特征在于,所述辅助设备包括用于对所述图像采集装置的变焦环进行调节的变焦电机;在所述处理器获取所述图像采集装置确定的拍摄参数时,所述处理器用于:获取与所述采集图像相对应的变焦信息;在所述处理器基于所述控制参数对云台和辅助设备中的至少一个进行控制时,所述处理器用于:基于所述控制参数对所述变焦电机进行控制,以实现所述图像采集装置的变焦操作。
- 根据权利要求52所述的装置,其特征在于,在所述处理器基于所述拍摄参数确定控制参数时,所述处理器用于:基于所述采集图像,确定设定对象在显示画面中的初始占比,其中,所述显示画面为基于所述采集图像确定;基于所述初始占比和所述变焦信息,确定所述控制参数。
- 根据权利要求53所述的装置,其特征在于,在所述处理器基于所述采集图像,确定所述设定对象在显示画面中的初始占比时,所述处理器用于:获取所述设定对象的对象尺寸特征以及显示画面的画面尺寸特征;基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比。
- 根据权利要求54所述的装置,其特征在于,所述对象尺寸特征包括对象长度尺寸,所述画面尺寸特征包括画面长度尺寸;在所述处理器基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比时,所述处理器用于:将所述对象长度尺寸与所述画面长度尺寸之间的比值,确定为所述初始占比。
- 根据权利要求54所述的装置,其特征在于,所述对象尺寸特征包括对象宽度尺寸,所述画面尺寸特征包括画面宽度尺寸;在所述处理器基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比时,所述处理器用于:将所述特征宽度尺寸与所述画面宽度尺寸之间的比值,确定为所述初始占比。
- 根据权利要求54所述的装置,其特征在于,所述对象尺寸特征包括对象面积尺寸,所述画面尺寸特征包括画面面积尺寸;在所述处理器基于所述对象尺寸特征和所述画面尺寸特征,确定所述初始占比时,所述处理器用于:将所述对象面积尺寸与所述画面面积尺寸之间的比值,确定为所述初始占比。
- 根据权利要求53所述的装置,其特征在于,在所述处理器基于所述初始占比和所述变焦信息,确定所述控制参数时,所述处理器用于:获取所述变焦电机的运动行程范围与变焦行程之间的第二映射关系、以及所述变焦电机的运动方向与变焦方向之间的第三映射关系;基于所述初始占比、所述变焦信息、所述第二映射关系和所述第三映射关系,确定与所述变焦电机相对应的运动行程参数和运动方向。
- 根据权利要求38所述的装置,其特征在于,所述辅助设备包括用于对所述图像采集装置进行补光操作的补光设备;在所述处理器获取所述图像采集装置确定的拍摄参数时,所述处理器用于:获取所述图像采集装置确定的光线检测信息;在所述处理器基于所述控制参数对云台和辅助设备中的至少一个进行控制时,所述处理器用于:基于所述控制参数对所述补光设备进行控制,以实现所述图像采集装置的补光操作。
- 根据权利要求59所述的装置,其特征在于,所述光线检测信息包括以下至少之一:曝光强度、光线颜色。
- 根据权利要求60所述的装置,其特征在于,在所述处理器基于所述拍摄参数确定控制参数时,所述处理器用于:确定与所述图像采集装置的采集图像相对应的目标曝光强度;基于所述曝光强度和所述目标曝光强度,确定所述补光设备的补偿曝光参数。
- 根据权利要求60所述的装置,其特征在于,在所述处理器基于所述拍摄参数确定控制参数时,所述处理器用于:确定与所述图像采集装置的采集图像相对应的目标场景颜色;基于所述光线颜色和所述目标场景颜色,确定所述补光设备的补偿颜色参数。
- 根据权利要求38所述的装置,其特征在于,所述图像采集装置包括防抖控制单元,所述防抖控制单元能够基于所述拍摄参数对所述图像采集装置中光学元件和图像传感器中的至少一种进行抖动补偿,以对所述图像采集装置采集的采集图像进行调节。
- 根据权利要求63所述的装置,其特征在于,在所述处理器获取所述图像采集装置确定的拍摄参数时,所述处理器用于:获取所述图像采集装置内所设置的防抖控制单元确定的防抖信息,所述防抖信息为根据所述图像采集装置的位置变化信息确定;在所述处理器基于所述控制参数对云台和辅助设备中的至少一个进行控制时,所述处理器用于:基于所述控制参数对所述云台进行控制,以实现所述云台的增稳操作。
- 根据权利要求63所述的装置,其特征在于,所述图像采集装置设有第一位置传感器,所述第一位置传感器用于检测所述位置变化信息;或,所述云台设有第二位置传感器,所述第二位置传感器用于检测所述位置变化信息,所述位置变化信息还用于调节所述图像采集装置的空间位置。
- 根据权利要求65所述的装置,其特征在于,在所述处理器基于所述拍摄参数确定控制参数时,所述处理器用于:基于所述防抖信息,确定所述图像采集装置的防抖灵敏度信息,所述防抖灵敏度信息用于表征针对所述云台的激励信号进行防抖响应的速度;获取所述云台的当前激励信号;基于所述当前激励信号和所述防抖灵敏度信息,确定与所述云台相对应的控制参数,以对所述云台和/或图像采集装置进行控制。
- 根据权利要求66所述的装置,其特征在于,在所述处理器基于所述当前激励信号和所述防抖灵敏度信息,确定与所述云台相对应的控制参数时,所述处理器用于:基于所述防抖灵敏度信息,确定与所述当前激励信号相对应的当前灵敏度;在所述当前灵敏度大于或等于灵敏度阈值时,则生成与所述云台相对应的控制参数。
- 根据权利要求67所述的装置,其特征在于,在所述处理器生成与所述云台相对应的控制参数时,所述处理器用于:对所述当前激励信号进行抑制操作,获得抑制后信号,所述抑制后信号为与所述云台相对应的控制参数。
- 根据权利要求66所述的装置,其特征在于,所述处理器还用于:基于所述防抖灵敏度信息,确定与所述当前激励信号相对应的当前灵敏度;在所述当前灵敏度大于或等于灵敏度阈值时,生成与所述图像采集装置相对应的控制参数,以基于与所述图像采集装置相对应的控制参数对所述防抖控制单元进行控制。
- 根据权利要求69所述的装置,其特征在于,在所述处理器生成与所述图像采集装置相对应的控制参数时,所述处理器用于:生成与所述防抖控制单元相对应的停止运行参数,所述停止运行参数为与所述图像采集装置相对应的控制参数。
- 根据权利要求63-70中任一项所述的装置,其特征在于,所述防抖控制单元包括镜头光学防抖OIS单元和/或机身防抖IBIS单元。
- 根据权利要求38所述的装置,其特征在于,所述图像采集装置内设置有信号滤波单元;所述处理器用于:确定所述云台的抖动信息;将所述抖动信息发送至所述图像采集装置,以使所述图像采集装置基于所述抖动信息对所述信号滤波单元进行参数配置。
- 根据权利要求72所述的装置,其特征在于,所述抖动信息包括在重力方向上的抖动信息。
- 根据权利要求38所述的装置,其特征在于,所述图像采集装置与所述云台通信连接,在所述处理器获取所述图像采集装置确定的拍摄参数时,所述处理器用于:获取目标对象在采集图像中的采集位置;在所述处理器基于所述拍摄参数确定控制参数时,所述处理器用于:基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数;在所述处理器基于所述控制参数对云台和辅助设备中的至少一种进行相应的控制时,所述处理器用于:根据所述控制参数对所述云台进行控制,以实现对所述目标对象进行跟随操作。
- 一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-37中任意一项所述的基于图像采集装置的控制方法。
- 一种云台,其特征在于,包括:云台主体;权利要求38-74中任意一项所述的基于图像采集装置的控制装置,设置于所述云台主体。
- 一种云台的控制方法,其特征在于,包括:获取目标对象在采集图像中的采集位置,所述采集位置是通过图像采集装置所确定的,所述图像采集装置为具有手动镜头或自动镜头的相机,且所述图像采集装置与所述云台通信连接;基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数;根据所述控制参数对所述云台进行控制,以实现对所述目标对象进行跟随操作。
- 根据权利要求77所述的方法,其特征在于,获取目标对象在采集图像中的采集位置,包括:通过图像采集装置获取与所述目标对象相对应的目标对焦位置;将所述目标对焦位置确定为目标对象在采集图像中的采集位置。
- 根据权利要求78所述的方法,其特征在于,通过图像采集装置获取与所述目标对象相对应的目标对焦位置,包括:通过图像采集装置获取与目标对象相对应的历史对焦位置和当前对焦位置;基于所述历史对焦位置和所述当前对焦位置,确定与所述目标对象相对应的目标对焦位置。
- 根据权利要求79所述的方法,其特征在于,基于所述历史对焦位置和所述当前对焦位置,确定与所述目标对象相对应的目标对焦位置,包括:确定与所述历史对焦位置相对应的历史对象部位和与所述当前对焦位置相对应的当前对象部位;根据所述历史对象部位与所述当前对象部位,确定与所述目标对象相对应的目标对焦位置。
- 根据权利要求80所述的方法,其特征在于,根据所述历史对象部位与所述当前对象部位,确定与所述目标对象相对应的目标对焦位置,包括:在所述历史对象部位与所述当前对象部位为同一目标对象的不同部位时,则获取所述历史对象部位与所述当前对象部位之间的相对位置信息;基于所述相对位置信息对所述当前对焦位置进行调整,获得与所述目标对象相对应的目标对焦位置。
- 根据权利要求81所述的方法,其特征在于,基于所述相对位置信息对所述当前对焦位置进行调整,获得与所述目标对象相对应的目标对焦位置,包括:在所述相对位置信息大于或等于预设阈值时,基于所述相对位置信息对所述当前对焦位置进行调整,获得与所述目标对象相对应的目标对焦位置;在所述相对位置信息小于所述预设阈值时,将所述当前对焦位置确定为与所述目标对象相对应的目标对焦位置。
- 根据权利要求80所述的方法,其特征在于,根据所述历史对象部位与所述当前对象部位,确定与所述目标对象相对应的目标对焦位置,包括:在所述历史对象部位与所述当前对象部位为同一目标对象的不同部位时,基于所述当前对焦位置对构图目标位置进行更新,获得第一更新后构图目标位置;基于所述第一更新后构图目标位置对所述目标对象进行跟随操作。
- 根据权利要求77所述的方法,其特征在于,所述方法还包括:检测进行跟随操作的目标对象是否发生改变;在所述目标对象由第一对象改变为第二对象时,获取所述第二对象在所述采集图像中的采集位置;基于所述第二对象在所述采集图像中的采集位置对构图目标位置进行更新,获得与所述第二对象相对应的第二更新后构图目标位置,以基于所述第二更新后构图目标位置对所述第二对象进行跟随操作。
- 根据权利要求77所述的方法,其特征在于,基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数,包括:计算与所述采集位置相对应的当前位置预测值;基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求85所述的方法,其特征在于,计算与所述采集位置相对应的当前位置预测值,包括:确定与所述采集位置相对应的延时时间,所述延时时间用于指示所述云台经由所述图像采集装置获得所述采集位置所需要的时长;基于所述延时时间和所述采集位置,确定与所述采集位置相对应的当前位置预测值。
- 根据权利要求86所述的方法,其特征在于,确定与所述采集位置相对应的延时时间,包括:获取与所述采集图像相对应的曝光时间;在所述云台获取到所述采集位置时,确定与所述采集位置相对应的当前接收时间;将所述当前接收时间与所述曝光时间之间的时间间隔,确定为与所述采集位置相对应的延时时间。
- 根据权利要求87所述的方法,其特征在于,基于所述延时时间和所述采集位置,确定与所述采集位置相对应的当前位置预测值,包括:在所述云台获取到所述目标对象在前一采集图像中的前一采集位置时,确定与所述前一采集位置相对应的前一接收时间;确定与所述前一采集位置相对应的前一位置预测值;根据所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,计算与所述采集位置相对应的当前位置预测值。
- 根据权利要求88所述的方法,其特征在于,根据所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,计算与所述采集位置相对应的当前位置预测值,包括:基于所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,确定与所述采集位置相对应的位置调整值;将所述位置调整值与所述采集位置的和值,确定为与所述采集位置相对应的当前位置预测值。
- 根据权利要求89所述的方法,其特征在于,基于所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,确定与所述采集位置相对应的位置调整值,包括:基于所述采集位置、所述前一位置预测值、所述曝光时间和所述前一接收时间,确定与所述目标对象相对应的移动速度;将所述移动速度与所述延时时间之间的乘积值,确定为与所述采集位置相对应的位置调整值。
- 根据权利要求90所述的方法,其特征在于,基于所述采集位置、所述前一位置预测值、所述曝光时间和所述前一接收时间,确定与所述目标对象相对应的移动速度,包括:获取所述采集位置与前一位置预测值之间的位置差值以及所述曝光时间与所述前一接收时间之间的时间差值;将所述位置差值与所述时间差值之间的比值,确定为与所述目标对象相对应的移动速度。
- 根据权利要求85所述的方法,其特征在于,基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数,包括:确定所述当前位置预测值与构图目标位置之间的位置偏差;基于所述位置偏差,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求92所述的方法,其特征在于,基于所述位置偏差,确定用于对所述目标对象进行跟随操作的控制参数,包括:获取与所述采集图像相对应的画面视场角;基于所述画面视场角和所述位置偏差,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求93所述的方法,其特征在于,所述控制参数的大小与所述画面视场角的大小呈负相关。
- 根据权利要求85所述的方法,其特征在于,基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数,包括:获取与所述云台相对应的跟随模式,所述跟随模式包括以下之一:单轴跟随模式、双轴跟随模式、全跟随模式;基于所述当前位置预测值和所述跟随模式,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求95所述的方法,其特征在于,基于所述当前位置预测值和所述跟随模式,确定用于对所述目标对象进行跟随操作的控制参数,包括:基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的备选控制参数;在所述备选控制参数中,确定与所述跟随模式相对应的目标控制参数。
- 根据权利要求96所述的方法,其特征在于,在所述备选控制参数中,确定与所述跟随模式相对应的目标控制参数,包括:在所述跟随模式为所述单轴跟随模式时,在所述备选控制参数中,确定与所述单轴跟随模式相对应的单轴的控制参数,并将其他备选控制参数置零;在所述跟随模式为所述双轴跟随模式时,在所述备选控制参数中,确定与所述双轴跟随模式相对应的双轴的控制参数,并将其他备选控制参数置零;在所述跟随模式为所述全跟随模式时,将所述备选控制参数确定为与所述全跟随模式相对应的三轴的控制参数。
- 根据权利要求77-97中任意一项所述的方法,其特征在于,根据所述控制参数对所述云台进行控制,包括:获取与所述目标对象所对应的云台的运动状态;基于所述云台的运动状态和所述控制参数对所述云台进行控制。
- 根据权利要求98所述的方法,其特征在于,基于所述云台的运动状态和所述控制参数对所述云台进行控制,包括:获取用于对所述目标对象进行跟随操作所对应的时长信息;在所述时长信息小于第一时间阈值时,则基于所述云台的运动状态对所述控制参数进行更新,获得更新后的控制参数,并基于所述更新后的控制参数对所述云台进行控制;在所述时长信息大于或等于第一时间阈值时,则利用所述控制参数对所述云台进行控制。
- 根据权利要求99所述的方法,其特征在于,基于所述云台的运动状态对所述控制参数进行更新,获得更新后的控制参数,包括:基于所述云台的运动状态,确定与所述控制参数相对应的更新系数,其中,所述更新系数小于1;将所述更新系数与所述控制参数的乘积值,确定为所述更新后的控制参数。
- 根据权利要求100所述的方法,其特征在于,基于所述云台的运动状态,确定与所述控制参数相对应的更新系数,包括:在所述云台的运动状态为特定运动状态时,基于所述时长信息与所述第一时间阈值之间的比值确定与所述控制参数相对应的更新系数。
- 根据权利要求77-97中任意一项所述的方法,其特征在于,根据所述控制参数对所述云台进行控制,包括:获取与所述目标对象相对应的跟随状态;基于所述跟随状态和所述控制参数对所述云台进行控制。
- 根据权利要求102所述的方法,其特征在于,获取与所述目标对象相对应的跟随状态,包括:检测进行跟随操作的目标对象是否发生改变;在所述目标对象由第一对象改变为第二对象时,则确定所述第一对象为丢失状态。
- 根据权利要求102所述的方法,其特征在于,基于所述跟随状态和所述控制参数对所述云台进行控制,包括:在所述目标对象为丢失状态时,则获取对所述目标对象进行跟随操作过程中所对应的丢失时长信息;根据所述丢失时长信息对所述控制参数进行更新,获得更新后的控制参数;基于所述更新后的控制参数对所述云台进行控制。
- 根据权利要求104所述的方法,其特征在于,根据所述丢失时长信息对所述控制参数进行更新,获得更新后控制参数,包括:在所述丢失时长信息大于或等于第二时间阈值时,将所述控制参数更新为零;在所述丢失时长信息小于第二时间阈值时,获取所述丢失时长信息与所述第二时间阈值之间的比值,并将1与所述比值之间的差值确定为与所述控制参数相对应的更新系数,将所述更新系数与所述控制参数的乘积值确定为所述更新后控制参数。
- 根据权利要求77-97中任意一项所述的方法,其特征在于,根据所述控制参数对所述云台进行控制,包括:获取所述目标对象的对象类型;根据所述对象类型和所述控制参数对所述云台进行控制。
- 根据权利要求106所述的方法,其特征在于,根据所述对象类型和所述控制参数对所述云台进行控制,包括:根据所述对象类型对所述控制参数进行调整,获得调整后的参数;基于所述调整后的参数对所述云台进行控制。
- 根据权利要求107所述的方法,其特征在于,根据所述对象类型对所述控制参数进行调整,获得调整后的参数,包括:在所述目标对象为静止对象时,则降低所述云台在偏航方向所对应的控制带宽和所述云台在俯仰方向所对应的控制带宽;在所述目标对象为移动对象、且所述移动对象的高度大于或等于高度阈值时,则提高所述云台在偏航方向所对应的控制带宽,并降低所述云台在俯仰方向所对应的控制带宽;在所述目标对象为移动对象、且所述移动对象的高度小于高度阈值时,则提高所述云台在偏航方向所对应的控制带宽和所述云台在俯仰方向所对应的控制带宽。
- 根据权利要求77-97中任意一项所述的方法,其特征在于,所述方法还包括:通过显示界面获取用户针对所述图像采集装置所输入的执行操作;根据所述执行操作对所述图像采集装置进行控制,以使得所述图像采集装置确定所述采集位置。
- 根据权利要求77-97中任意一项所述的方法,其特征在于,所述方法还包括:通过设置于图像采集装置上的测距传感器获取与所述目标对象相对应的距离信息;将所述距离信息发送至所述图像采集装置,以使所述图像采集装置结合所述距离信息确定目标对象在采集图像中的采集位置。
- 根据权利要求77-97中任意一项所述的方法,其特征在于,所述方法还包括:确定所述图像采集装置所对应的工作模式,所述工作模式包括以下之一:先跟随后对焦模式、先对焦后跟随模式;利用所述工作模式对所述图像采集装置进行控制。
- 根据权利要求77-97中任意一项所述的方法,其特征在于,所述云台设有通信串行总线USB接口,所述USB接口用于与所述图像采集装置有线通信连接。
- 一种云台系统的控制方法,其特征在于,其中,所述云台系统包括云台和与云台通信连接的图像采集装置,所述图像采集装置为具有手动镜头或自动镜头的相机,所述方法包括:控制所述图像采集装置采集图像,并获取目标对象在所述图像中的采集位置,所述采集位置是通过所述图像采集装置所确定的;将所述采集位置传输至所述云台;控制所述云台按照控制参数进行运动,以实现对所述目标对象进行跟随操作,其中,所述控制参数是基于所述采集位置所确定的。
- 一种云台的控制方法,其特征在于,用于云台,所述云台通信连接有图像采集装置,所述方法包括:获取采集图像,所述采集图像中包括目标对象;在所述采集图像中确定所述目标对象的位置,以基于所述目标对象的位置对所述目标对象进行跟随操作;将根据所述目标对象的位置发送至所述图像采集装置,以使得所述图像采集装置基于所述目标对象的位置,确定与所述目标对象相对应的对焦位置,并基于所述对焦位置对所述目标对象进行对焦操作。
- 一种云台系统的控制方法,其特征在于,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述方法包括:控制所述图像采集装置采集图像,所述图像包括目标对象;在所述图像中确定所述目标对象的位置;基于所述目标对象的位置控制所述云台对所述目标对象进行跟随操作,并根据所述目标对象的位置控制所述图像采集装置对所述目标对象进行对焦操作。
- 一种云台系统的控制方法,其特征在于,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述方法包括:获取第一对象在所述图像采集装置采集的采集图像中的采集位置,所述第一对象的采集位置用于所述云台对所述第一对象进行跟随操作,以及用于所述图像采集装置对所述第一对象进行对焦操作;在所述第一对象改变为第二对象时,获取所述第二对象在所述图像采集装置采集的采集图像中的采集位置,以使得所述云台由对所述第一对象的跟随操作变化为基于所述第二对象的采集位置对所述第二对象进行跟随操作,以及使得所述图像采集装置由对所述第一对象的对焦操作变化为基于所述第二对象的位置对所述第二对象进行对焦操作。
- 一种云台的控制装置,其特征在于,所述装置包括:存储器,用于存储计算机程序;处理器,用于运行所述存储器中存储的计算机程序以实现:获取目标对象在采集图像中的采集位置,所述采集位置是通过图像采集装置所确定的,所述图像采集装置为具有手动镜头或自动镜头的相机,且所述图像采集装置与所述云台通信连接;基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数;根据所述控制参数对所述云台进行控制,以实现对所述目标对象进行跟随操作。
- 根据权利要求117所述的装置,其特征在于,在所述处理器获取目标对象在采集图像中的采集位置时,所述处理器用于:通过图像采集装置获取与所述目标对象相对应的目标对焦位置;将所述目标对焦位置确定为目标对象在采集图像中的采集位置。
- 根据权利要求118所述的装置,其特征在于,在所述处理器通过图像采集装置获取与所述目标对象相对应的目标对焦位置时,所述处理器用于:通过图像采集装置获取与目标对象相对应的历史对焦位置和当前对焦位置;基于所述历史对焦位置和所述当前对焦位置,确定与所述目标对象相对应的目标对焦位置。
- 根据权利要求119所述的装置,其特征在于,在所述处理器基于所述历史对焦位置和所述当前对焦位置,确定与所述目标对象相对应的目标对焦位置时,所述处理器用于:确定与所述历史对焦位置相对应的历史对象部位和与所述当前对焦位置相对应的当前对象部位;根据所述历史对象部位与所述当前对象部位,确定与所述目标对象相对应的目标对焦位置。
- 根据权利要求120所述的装置,其特征在于,在所述处理器根据所述历史对象部位与所述当前对象部位,确定与所述目标对象相对应的目标对焦位置时,所述处理器用于:在所述历史对象部位与所述当前对象部位为同一目标对象的不同部位时,则获取所述历史对象部位与所述当前对象部位之间的相对位置信息;基于所述相对位置信息对所述当前对焦位置进行调整,获得与所述目标对象相对应的目标对焦位置。
- 根据权利要求121所述的装置,其特征在于,在所述处理器基于所述相对位置信息对所述当前对焦位置进行调整,获得与所述目标对象相对应的目标对焦位置时,所述处理器用于:在所述相对位置信息大于或等于预设阈值时,基于所述相对位置信息对所述当前对焦位置进行调整,获得与所述目标对象相对应的目标对焦位置;在所述相对位置信息小于所述预设阈值时,将所述当前对焦位置确定为与所述目标对象相对应的目标对焦位置。
- 根据权利要求120所述的装置,其特征在于,在所述处理器根据所述历史对象部位与所述当前对象部位,确定与所述目标对象相对应的目标对焦位置时,所述处理器用于:在所述历史对象部位与所述当前对象部位为同一目标对象的不同部位时,基于所述当前对焦位置对构图目标位置进行更新,获得第一更新后构图目标位置;基于所述第一更新后构图目标位置对所述目标对象进行跟随操作。
- 根据权利要求117所述的装置,其特征在于,所述处理器用于:检测进行跟随操作的目标对象是否发生改变;在所述目标对象由第一对象改变为第二对象时,获取所述第二对象在所述采集图像中的采集位置;基于所述第二对象在所述采集图像中的采集位置对构图目标位置进行更新,获得与所述第二对象相对应的第二更新后构图目标位置,以基于所述第二更新后构图目标位置对所述第二对象进行跟随操作。
- 根据权利要求117所述的装置,其特征在于,在所述处理器基于所述采集位置,确定用于对所述目标对象进行跟随操作的控制参数时,所述处理器用于:计算与所述采集位置相对应的当前位置预测值;基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求125所述的装置,其特征在于,在所述处理器计算与所述采集位置相对应的当前位置预测值时,所述处理器用于:确定与所述采集位置相对应的延时时间,所述延时时间用于指示所述云台经由所述图像采集装置获得所述采集位置所需要的时长;基于所述延时时间和所述采集位置,确定与所述采集位置相对应的当前位置预测值。
- 根据权利要求126所述的装置,其特征在于,在所述处理器确定与所述采集位置相对应的延时时间时,所述处理器用于:获取与所述采集图像相对应的曝光时间;在所述云台获取到所述采集位置时,确定与所述采集位置相对应的当前接收时间;将所述当前接收时间与所述曝光时间之间的时间间隔,确定为与所述采集位置相对应的延时时间。
- 根据权利要求127所述的装置,其特征在于,在所述处理器基于所述延时时间和所述采集位置,确定与所述采集位置相对应的当前位置预测值时,所述处理器用于:在所述云台获取到所述目标对象在前一采集图像中的前一采集位置时,确定与前一采集位置相对应的前一接收时间;确定与所述前一采集位置相对应的前一位置预测值;根据所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,计算与所述采集位置相对应的当前位置预测值。
- 根据权利要求128所述的装置,其特征在于,在所述处理器根据所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,计算与所述采集位置相对应的当前位置预测值时,所述处理器用于:基于所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,确定与所述采集位置相对应的位置调整值;将所述位置调整值与所述采集位置的和值,确定为与所述采集位置相对应的当前位置预测值。
- 根据权利要求129所述的装置,其特征在于,在所述处理器基于所述采集位置、所述曝光时间、所述延时时间、所述前一接收时间和所述前一位置预测值,确定与所述采集位置相对应的位置调整值时,所述处理器用于:基于所述采集位置、所述前一位置预测值、所述曝光时间和所述前一接收时间,确定与所述目标对象相对应的移动速度;将所述移动速度与所述延时时间之间的乘积值,确定为与所述采集位置相对应的位置调整值。
- 根据权利要求130所述的装置,其特征在于,在所述处理器基于所述采集位置、所述前一位置预测值、所述曝光时间和所述前一接收时间,确定与所述目标对象相对应的移动速度时,所述处理器用于:获取所述采集位置与前一位置预测值之间的位置差值以及所述曝光时间与所述前一接收时间之间的时间差值;将所述位置差值与所述时间差值之间的比值,确定为与所述目标对象相对应的移动速度。
- 根据权利要求125所述的装置,其特征在于,在所述处理器基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数时,所述处理器用于:确定所述当前位置预测值与构图目标位置之间的位置偏差;基于所述位置偏差,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求132所述的装置,其特征在于,在所述处理器基于所述位置偏差,确定用于对所述目标对象进行跟随操作的控制参数时,所述处理器用于:获取与所述采集图像相对应的画面视场角;基于所述画面视场角和所述位置偏差,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求133所述的装置,其特征在于,所述控制参数的大小与所述画面视场角的大小呈负相关。
- 根据权利要求125所述的装置,其特征在于,在所述处理器基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的控制参数时,所述处理器用于:获取与所述云台相对应的跟随模式,所述跟随模式包括以下之一:单轴跟随模式、双轴跟随模式、全跟随模式;基于所述当前位置预测值和跟随模式,确定用于对所述目标对象进行跟随操作的控制参数。
- 根据权利要求135所述的装置,其特征在于,在所述处理器基于所述当前位置预测值和跟随模式,确定用于对所述目标对象进行跟随操作的控制参数时,所述处理器用于:基于所述当前位置预测值,确定用于对所述目标对象进行跟随操作的备选控制参数;在所述备选控制参数中,确定与所述跟随模式相对应的目标控制参数。
- 根据权利要求136所述的装置,其特征在于,在所述处理器在所述备选控制参数中,确定与所述跟随模式相对应的目标控制参数时,所述处理器用于:在所述跟随模式为所述单轴跟随模式时,在所述备选控制参数中,确定与所述单轴跟随模式相对应的单轴的控制参数,并将其他备选控制参数置零;在所述跟随模式为所述双轴跟随模式时,在所述备选控制参数中,确定与所述双轴跟随模式相对应的双轴的控制参数,并将其他备选控制参数置零;在所述跟随模式为所述全跟随模式时,将所述备选控制参数确定为与所述全跟随模式相对应的三轴的控制参数。
- 根据权利要求117-137中任意一项所述的装置,其特征在于,在所述处理器根据所述控制参数对所述云台进行控制时,所述处理器用于:获取与所述目标对象所对应的云台的运动状态;基于所述云台的运动状态和所述控制参数对所述云台进行控制。
- 根据权利要求138所述的装置,其特征在于,在所述处理器基于所述云台的运动状态和所述控制参数对所述云台进行控制时,所述处理器用于:获取用于对所述目标对象进行跟随操作所对应的时长信息;在所述时长信息小于第一时间阈值时,则基于所述云台的运动状态对所述控制参数进行更新,获得更新后的控制参数,并基于所述更新后的控制参数对所述云台进行控制;在所述时长信息大于或等于第一时间阈值时,利用所述控制参数对所述云台进行控制。
- 根据权利要求139所述的装置,其特征在于,在所述处理器基于所述云台的运动状态对所述控制参数进行更新,获得更新后的控制参数时,所述处理器用于:基于所述云台的运动状态,确定与所述控制参数相对应的更新系数,其中,所述更新系数小于1;将所述更新系数与所述控制参数的乘积值,确定为所述更新后的控制参数。
- 根据权利要求140所述的装置,其特征在于,在所述处理器基于所述云台的运动状态,确定与所述控制参数相对应的更新系数时,所述处理器用于:在所述云台的运动状态为特定运动状态时,基于所述时长信息与所述第一时间阈值之间的比值确定与所述控制参数相对应的更新系数。
- 根据权利要求117-137中任意一项所述的装置,其特征在于,在所述处理器根据所述控制参数对所述云台进行控制时,所述处理器用于:获取与所述目标对象相对应的跟随状态;基于所述跟随状态和所述控制参数对所述云台进行控制。
- 根据权利要求142所述的装置,其特征在于,在所述处理器获取与所述目标对象相对应的跟随状态时,所述处理器用于:检测进行跟随操作的目标对象是否发生改变;在所述目标对象由第一对象改变为第二对象时,则确定所述第一对象为丢失状态。
- 根据权利要求142所述的装置,其特征在于,在所述处理器基于所述跟随状态和所述控制参数对所述云台进行控制时,所述处理器用于:在所述目标对象为丢失状态时,则获取对所述目标对象进行跟随操作过程中所对应的丢失时长信息;根据所述丢失时长信息对所述控制参数进行更新,获得更新后的控制参数;基于所述更新后的控制参数对所述云台进行控制。
- 根据权利要求144所述的装置,其特征在于,在所述处理器根据所述丢失时长信息对所述控制参数进行更新,获得更新后控制参数时,所述处理器用于:在所述丢失时长信息大于或等于第二时间阈值时,将所述控制参数更新为零;在所述丢失时长信息小于第二时间阈值时,获取所述丢失时长信息与所述第二时间阈值之间的比值,并将1与所述比值之间的差值确定为与所述控制参数相对应的更新系数,将所述更新系数与所述控制参数的乘积值确定为所述更新后的控制参数。
- 根据权利要求117-137中任意一项所述的装置,其特征在于,在所述处理器根据所述控制参数对所述云台进行控制时,所述处理器用于:获取所述目标对象的对象类型;根据所述对象类型和所述控制参数对所述云台进行控制。
- 根据权利要求146所述的装置,其特征在于,在所述处理器根据所述对象类型和所述控制参数对所述云台进行控制时,所述处理器用于:根据所述对象类型对所述控制参数进行调整,获得调整后的参数;基于所述调整后的参数对所述云台进行控制。
- 根据权利要求147所述的装置,其特征在于,在所述处理器根据所述对象类型对所述控制参数进行调整,获得调整后的参数时,所述处理器用于:在所述目标对象为静止对象时,则降低所述云台在偏航方向所对应的控制带宽和所述云台在俯仰方向所对应的控制带宽;在所述目标对象为移动对象、且所述移动对象的高度大于或等于高度阈值时,则提高所述云台在偏航方向所对应的控制带宽,并降低所述云台在俯仰方向所对应的控制带宽;在所述目标对象为移动对象、且所述移动对象的高度小于高度阈值时,则提高所述云台在偏航方向所对应的控制带宽和所述云台在俯仰方向所对应的控制带宽。
- 根据权利要求117-137中任意一项所述的装置,其特征在于,所述处理器用于:通过显示界面获取用户针对所述图像采集装置所输入的执行操作;根据所述执行操作对所述图像采集装置进行控制,以使得所述图像采集装置确定所述采集位置。
- 根据权利要求117-137中任意一项所述的装置,其特征在于,所述处理器用于:通过设置于图像采集装置上的测距传感器获取与所述目标对象相对应的距离信息;将所述距离信息发送至所述图像采集装置,以使所述图像采集装置结合所述距离信息确定目标对象在采集图像中的采集位置。
- 根据权利要求117-137中任意一项所述的装置,其特征在于,所述处理器用于:确定所述图像采集装置所对应的工作模式,所述工作模式包括以下之一:先跟随后对焦模式、先对焦后跟随模式;利用所述工作模式对所述图像采集装置进行控制。
- 根据权利要求117-137中任意一项所述的装置,其特征在于,所述云台设有通信串行总线USB接口,所述USB接口用于与所述图像采集装置有线通信连接。
- 一种云台系统的控制装置,其特征在于,其中,所述云台系统包括云台和与云台通信连接的图像采集装置,所述图像采集装置为具有手动镜头或自动镜头的相机,所述装置包括:存储器,用于存储计算机程序;处理器,用于运行所述存储器中存储的计算机程序以实现:控制所述图像采集装置采集图像,并获取目标对象在所述图像中的采集位置,所述采集位置是通过图像采集装置所确定的;将所述采集位置传输至所述云台;控制所述云台按照控制参数进行运动,以实现对所述目标对象进行跟随操作,其中,所述控制参数是基于所述采集位置所确定的。
- 一种云台的控制装置,其特征在于,用于云台,所述云台通信连接有图像采集装置,所述控制装置包括:存储器,用于存储计算机程序;处理器,用于运行所述存储器中存储的计算机程序以实现:获取采集图像,所述采集图像中包括目标对象;在所述采集图像中确定所述目标对象的位置,以基于所述目标对象的位置对所述目标对象进行跟随操作;将根据所述目标对象的位置发送至所述图像采集装置,以使得所述图像采集装置基于所述目标对象的位置,确定与所述目标对象相对应的对焦位置,并基于所述对焦位置对所述目标对象进行对焦操作。
- 一种云台系统的控制装置,其特征在于,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述控制装置包括:存储器,用于存储计算机程序;处理器,用于运行所述存储器中存储的计算机程序以实现:控制所述图像采集装置采集图像,所述图像包括目标对象;在所述图像中确定所述目标对象的位置;基于所述目标对象的位置控制所述云台对所述目标对象进行跟随操作,并根据所述目标对象的位置控制所述图像采集装置对所述目标对象进行对焦操作。
- 一种云台系统的控制装置,其特征在于,所述云台系统包括云台和与所述云台通信连接的图像采集装置,所述控制装置包括:存储器,用于存储计算机程序;处理器,用于运行所述存储器中存储的计算机程序以实现:获取第一对象在所述图像采集装置采集的采集图像中的采集位置,所述第一对象的采集位置用于所述云台对所述第一对象进行跟随操作,以及用于所述图像采集装置对所述第一对象进行对焦操作;在所述第一对象改变为第二对象时,获取所述第二对象在所述图像采集装置采集的采集图像中的采集位置,以使得所述云台由对所述第一对象的跟随操作变化为基于所述第二对象的采集位置对所述第二对象进行跟随操作,以及使得所述图像采集装置由对所述第一对象的对焦操作变化为基于所述第二对象的位置对所述第二对象进行对焦操作。
- 一种云台的控制系统,其特征在于,包括:云台;权利要求117-152中任一项所述的云台的控制装置,设置于所述云台上,且用于与所述图像采集装置通信连接,并用于通过图像采集装置对所述云台进行控制。
- 根据权利要求157所述的控制系统,其特征在于,所述控制系统还包括:测距传感器,设置于所述图像采集装置上,用于获取与所述目标对象相对应的距离信息;其中,所述云台的控制装置与所述测距传感器通信连接,用于将所述距离信息发送至图像采集装置,以使所述图像采集装置结合所述距离信息确定目标对象在采集图像中的采集位置。
- 一种云台的控制系统,其特征在于,包括:云台;权利要求153所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
- 一种云台的控制系统,其特征在于,包括:云台;权利要求154所述的云台的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于通过所述云台对所述图像采集装置进行控制。
- 一种云台的控制系统,其特征在于,包括:云台;权利要求155所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
- 一种云台的控制系统,其特征在于,包括:云台;权利要求156所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
- 一种可移动平台,其特征在于,包括:云台;支撑机构,用于连接所述云台;权利要求117-152中任一项所述的云台的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于通过图像采集装置对所述云台进行控制。
- 一种可移动平台,其特征在于,包括:云台;支撑机构,用于连接所述云台;权利要求153所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
- 一种可移动平台,其特征在于,包括:云台;支撑机构,用于连接所述云台;权利要求154所述的云台的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于通过所述云台对所述图像采集装置进行控制。
- 一种可移动平台,其特征在于,包括:云台;支撑机构,用于连接所述云台;权利要求155所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
- 一种可移动平台,其特征在于,包括:云台;支撑机构,用于连接所述云台;权利要求156所述的云台系统的控制装置,设置于所述云台上,且用于与图像采集装置通信连接,并用于分别对图像采集装置以及所述云台进行控制。
- 一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求77-112中任意一项所述的云台的控制方法。
- 一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求113所述的云台系统的控制方法。
- 一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求114所述的云台的控制方法。
- 一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求115所述的云台系统的控制方法。
- 一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求116所述的云台系统的控制方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180086440.1A CN116783568A (zh) | 2020-12-30 | 2021-12-06 | 基于图像采集装置的控制方法、云台的控制方法及装置 |
US18/215,871 US20230341079A1 (en) | 2020-12-30 | 2023-06-29 | Control method based on image capturing apparatus, control method and apparatus for gimbal |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2020/141400 | 2020-12-30 | ||
PCT/CN2020/141400 WO2022141197A1 (zh) | 2020-12-30 | 2020-12-30 | 云台的控制方法、装置、可移动平台和存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/215,871 Continuation US20230341079A1 (en) | 2020-12-30 | 2023-06-29 | Control method based on image capturing apparatus, control method and apparatus for gimbal |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022143022A1 true WO2022143022A1 (zh) | 2022-07-07 |
Family
ID=82258765
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2020/141400 WO2022141197A1 (zh) | 2020-12-30 | 2020-12-30 | 云台的控制方法、装置、可移动平台和存储介质 |
PCT/CN2021/135818 WO2022143022A1 (zh) | 2020-12-30 | 2021-12-06 | 基于图像采集装置的控制方法、云台的控制方法及装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2020/141400 WO2022141197A1 (zh) | 2020-12-30 | 2020-12-30 | 云台的控制方法、装置、可移动平台和存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230341079A1 (zh) |
CN (2) | CN114982217A (zh) |
WO (2) | WO2022141197A1 (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017034320A (ja) * | 2015-07-29 | 2017-02-09 | キヤノン株式会社 | 移動機構を持った撮像装置 |
CN107295244A (zh) * | 2016-04-12 | 2017-10-24 | 深圳市浩瀚卓越科技有限公司 | 一种稳定器的跟踪拍摄控制方法及系统 |
CN108259703A (zh) * | 2017-12-31 | 2018-07-06 | 深圳市秦墨科技有限公司 | 一种云台的跟拍控制方法、装置及云台 |
CN108475075A (zh) * | 2017-05-25 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 一种控制方法、装置及云台 |
CN109688323A (zh) * | 2018-11-29 | 2019-04-26 | 深圳市中科视讯智能系统技术有限公司 | 无人机视觉跟踪系统及其控制方法 |
CN112073641A (zh) * | 2020-09-18 | 2020-12-11 | 深圳市众志联城科技有限公司 | 影像拍摄方法、装置、移动终端以及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3963261B2 (ja) * | 2002-06-07 | 2007-08-22 | 中央電子株式会社 | 動画像の自動追尾撮影方法および自動追尾撮影装置 |
CN103019024B (zh) * | 2012-11-29 | 2015-08-19 | 浙江大学 | 实时精确观测和分析乒乓球旋转系统与系统运行方法 |
CN104616322A (zh) * | 2015-02-10 | 2015-05-13 | 山东省科学院海洋仪器仪表研究所 | 船载红外目标图像辨识跟踪方法及其装置 |
CN204859351U (zh) * | 2015-03-31 | 2015-12-09 | 深圳市莫孚康技术有限公司 | 基于视频目标跟踪的自动跟焦装置 |
CN112055158B (zh) * | 2020-10-16 | 2022-02-22 | 苏州科达科技股份有限公司 | 目标跟踪方法、监控设备、存储介质及系统 |
CN112616019B (zh) * | 2020-12-16 | 2022-06-03 | 重庆紫光华山智安科技有限公司 | 目标跟踪方法、装置、云台及存储介质 |
-
2020
- 2020-12-30 WO PCT/CN2020/141400 patent/WO2022141197A1/zh active Application Filing
- 2020-12-30 CN CN202080067425.8A patent/CN114982217A/zh active Pending
-
2021
- 2021-12-06 WO PCT/CN2021/135818 patent/WO2022143022A1/zh active Application Filing
- 2021-12-06 CN CN202180086440.1A patent/CN116783568A/zh active Pending
-
2023
- 2023-06-29 US US18/215,871 patent/US20230341079A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017034320A (ja) * | 2015-07-29 | 2017-02-09 | キヤノン株式会社 | 移動機構を持った撮像装置 |
CN107295244A (zh) * | 2016-04-12 | 2017-10-24 | 深圳市浩瀚卓越科技有限公司 | 一种稳定器的跟踪拍摄控制方法及系统 |
CN108475075A (zh) * | 2017-05-25 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 一种控制方法、装置及云台 |
CN108259703A (zh) * | 2017-12-31 | 2018-07-06 | 深圳市秦墨科技有限公司 | 一种云台的跟拍控制方法、装置及云台 |
CN109688323A (zh) * | 2018-11-29 | 2019-04-26 | 深圳市中科视讯智能系统技术有限公司 | 无人机视觉跟踪系统及其控制方法 |
CN112073641A (zh) * | 2020-09-18 | 2020-12-11 | 深圳市众志联城科技有限公司 | 影像拍摄方法、装置、移动终端以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114982217A (zh) | 2022-08-30 |
CN116783568A (zh) | 2023-09-19 |
WO2022141197A1 (zh) | 2022-07-07 |
US20230341079A1 (en) | 2023-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10638046B2 (en) | Wearable device, control apparatus, photographing control method and automatic imaging apparatus | |
US9667856B2 (en) | Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same | |
US9641751B2 (en) | Imaging apparatus, imaging method thereof, and computer readable recording medium | |
WO2022126436A1 (zh) | 延时检测方法、装置、系统、可移动平台和存储介质 | |
US10944895B2 (en) | Accessory apparatus, image-capturing apparatus, control apparatus, lens apparatus, control method, computer program and storage medium storing computer program | |
CN103384309A (zh) | 图像拍摄装置及控制方法 | |
US10708503B2 (en) | Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium | |
US11102410B2 (en) | Camera parameter setting system and camera parameter setting method | |
CN105704393A (zh) | 摄影装置以及摄影方向的控制方法 | |
JP2021078124A (ja) | インテリジェント撮影システムの撮影制御方法、装置、記憶媒体及びシステム | |
WO2022143022A1 (zh) | 基于图像采集装置的控制方法、云台的控制方法及装置 | |
JP7131541B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2023272485A1 (zh) | 控制方法、拍摄装置和拍摄系统 | |
JP6136189B2 (ja) | 補助撮像装置および主撮像装置 | |
JP2537270B2 (ja) | レンズ交換可能なカメラ | |
JP2018046415A (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP6833381B2 (ja) | 撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP6080825B2 (ja) | 撮像装置及びその制御方法 | |
JP6399851B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2017216599A (ja) | 撮像装置及びその制御方法 | |
JP2019145885A (ja) | 制御装置および撮像システム | |
JP7335463B1 (ja) | 携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム | |
CN110785691B (zh) | 可互换透镜装置、成像装置、成像系统、方法以及计算机存储介质 | |
JP2018017751A (ja) | 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 | |
KR102369799B1 (ko) | 감시 카메라, 및 감시 카메라의 설치 위치를 설정하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21913763 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202180086440.1 Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21913763 Country of ref document: EP Kind code of ref document: A1 |