TW202201946A - 攝影系統及機器人系統 - Google Patents

攝影系統及機器人系統 Download PDF

Info

Publication number
TW202201946A
TW202201946A TW110121848A TW110121848A TW202201946A TW 202201946 A TW202201946 A TW 202201946A TW 110121848 A TW110121848 A TW 110121848A TW 110121848 A TW110121848 A TW 110121848A TW 202201946 A TW202201946 A TW 202201946A
Authority
TW
Taiwan
Prior art keywords
camera
photographing
control device
posture
end effector
Prior art date
Application number
TW110121848A
Other languages
English (en)
Inventor
掃部雅幸
杉山裕和
Original Assignee
日商川崎重工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商川崎重工業股份有限公司 filed Critical 日商川崎重工業股份有限公司
Publication of TW202201946A publication Critical patent/TW202201946A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/656—Interaction with payloads or external entities
    • G05D1/689—Pointing payloads towards fixed or moving targets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Abstract

提供一種攝影系統，其具備無人飛行器、被搭載於該無人飛行器拍攝對對象物進行作業之機器人的攝影裝置、配置在距離該無人飛行器之遠處將該攝影裝置拍攝之影像顯示於操作該機器人之使用者的顯示裝置、以及控制該攝影裝置及該無人飛行器之動作的控制裝置，該控制裝置取得與該機器人之動作相關連之資訊的動作關連資訊，並以對應該動作關連資訊變動該攝影裝置之位置及方向之方式移動該無人飛行器。

Description

攝影系統及機器人系統
本發明係關於攝影系統及機器人系統。
一直以來，有一種一邊將攝影機拍攝之對象物之影像顯示於監視器、一邊接收目視確認監視器之使用者對機器人之遠距操作的技術。例如，專利文獻1中揭示了根據具備姿勢可變之攝影機之無人飛行器的無人機（drone）所取得之拍攝數據，將機器人之影像顯示於監視器的機器人系統。先行技術文獻
[專利文獻1] 特開2019－93471號公報
專利文獻1之機器人系統，具備用以操作機器人之機器人操作器、與操作無人機之飛行器操作器。例如，在一邊使機器人動作、一邊移動無人機之情形時，操作者必須以手動操作機器人操作器及飛行器操作器之兩者，但並行兩操作是非常困難的。
本發明之目的在於，提供一種使搭載攝影裝置之無人飛行器之操作簡單的攝影系統及機器人系統。用以解決 課題 之 手段
本發明一態樣之攝影系統，具備：無人飛行器；攝影裝置，係搭載於該無人飛行器，拍攝對對象物進行作業之機器人；顯示裝置，係配置在距離該無人飛行器之遠處，將以該攝影裝置拍攝之影像顯示予操作該機器人之使用者；以及控制裝置，係控制該攝影裝置及該無人飛行器之動作；該控制裝置，取得與該機器人之動作關連之資訊的動作關連資訊，以對應該動作關連資訊變動該攝影裝置之位置及方向之方式移動該無人飛行器。
以下，一邊參照圖式、一邊說明本發明例示實施形態。以下說明之例示實施形態，皆係顯示涵蓋性或具體例者。又，以下例示實施形態中之構成要素中、關於未記載在表示最上位概念之獨立請求項中之構成要素，可以是任意之構成要素。此外，所附圖式中之各圖為示意之圖，並非嚴謹的圖示之物。再者，各圖中，實質相同之構成要素會有賦予相同符號，省略或簡化重複說明之情形。又，本說明書及申請專利範圍之請求項中，所謂「裝置」，不僅代表1個裝置，亦可代表由複數個裝置構成之系統。
［機器人系統之構成］ 以下，說明例示實施形態之機器人系統1之構成。圖1係例示之實施形態之機器人系統1之一構成例的立體圖。如圖1所示，機器人系統1，具備攝影系統100、機器人200、機器人操作裝置300、以及機器人控制裝置400。攝影系統100，具備攝影裝置110、無人飛行器120、攝影輸入裝置130、顯示裝置140、以及攝影控制裝置150。
以下並非限定，本例示之實施形態中，機器人200係產業用機器人，具備機器臂210、基部220、以及終端效應器230。又，機器人200，可以是服務用機器人、醫療用機器人、藥品開發用機器人及仿人形（humanoid）等其他形式之機器人。服務用機器人，係在照護、醫療、清掃、保全、引導、救助、料理、商品提供等各種服務業所使用之機器人。
基部220被固定在支承面上，支承機器臂210。基部220之支承面可以是地面等之不動面，亦可以是行走裝置等之可移動裝置上之可移動面。機器臂210具有至少1個關節211，具有至少1個自由度。機器臂210具有驅動各關節211之關節驅動裝置212。關節驅動裝置212，包含作為用以驅動關節211之電動馬達之伺服馬達。伺服馬達，包含檢測該馬達之旋轉量的編碼器、與檢測該馬達之電流值的電流感測器。又，伺服馬達中，電流感測器並非必須。
機器臂210，係構成為於其前端安裝有終端效應器230。機器臂210可以使終端效應器230之位置及姿勢變動自如之方式移動終端效應器230。終端效應器230係構成為可視終端效應器230之用途對對象物（亦稱工件）W施以握持、吸附、塗料等液體之噴吹、熔接、及密封劑等之注入等各種作用。
又，本例示性之實施形態中，機器臂210雖係具有6個旋轉關節211之6自由度垂直多關節型之機器臂，但不限於此。機器臂210之型式可以是任何型式，例如可以是水平多關節型、極座標型、圓筒座標型或直角座標型等。機器臂210之關節211亦可以是直動關節等任一種關節。機器臂210之關節211之數量可以是5個以下或7個以上等之任何數量。
機器人操作裝置300係配置在離開機器人200之位置，用於進行機器人200之遠距操作。機器人操作裝置300，可以是配置在進行機器人操作裝置300之操作的使用者P可直接目視確認機器人200之位置，亦可配置在使用者P無法直接目視確認機器人200之位置。例如，機器人操作裝置300可以是配置在與配置機器人200之空間隔離的空間、或配置在與該空間分離之位置的空間。
機器人操作裝置300係接收各種指令、資訊及數據等之輸入，並將之輸出至機器人控制裝置400。例如，機器人操作裝置300可接收使用者P進行之輸入。又或者，例如機器人操作裝置300可與其他機器連接，並接收來自該機器之輸入。例如機器人操作裝置300可具備操作桿、按鈕、觸控面板、搖桿、姿態捕捉、攝影機及麥克風等公知之輸入手段。例如，機器人操作裝置300可具備教示裝置之1個的教導器（teach pandent）、智慧型手機及平板電腦等之智慧型裝置、個人電腦、以及專用終端裝置等之終端裝置。例如，機器人200係以主／從（master／slave）方式被控制時，機器人操作裝置300可具備主機。例如，主機係構成為可進行與機器臂210相同或類似之動作。
機器人控制裝置400係控制機器人200之動作。機器人控制裝置400係與機器人200及機器人操作裝置300透過有線通訊或無線通訊連接。又，可使用任何種類之有線通訊及無線通訊。機器人控制裝置400處理透過機器人操作裝置300輸入之指令、資訊及數據等。機器人控制裝置400亦可構成為與外部機器連接，並接收處理來自該機器之指令、資訊及數據等之輸入。
例如，機器人控制裝置400係依據上述指令、資訊及數據等控制機器人200之動作。機器人控制裝置400控制對機器人200之動力等的供應。機器人控制裝置400管理用以管理機器人200之資訊等。例如，機器人控制裝置400控制機器臂210之關節驅動裝置212之驅動及終端效應器230之驅動。機器人控制裝置400決定用以使機器臂210移動終端效應器230之各關節211之旋轉驅動量，依據所決定之旋轉驅動量驅動各關節驅動裝置212。進一步的，機器人控制裝置400，將以各關節驅動裝置212之伺服馬達之編碼器及電流感測器檢測之旋轉量及電流值用作為反饋資訊，控制各關節211之驅動方向、驅動量、驅動速度、驅動加速度及驅動扭矩等，據此，使機器臂210將終端效應器230移動至所欲位置及姿勢、且透過終端效應器230作用所欲之力。又，機器人控制裝置400，亦可從控制對伺服馬達供應電流之電路等其他手段，取得伺服馬達之電流值。
又，機器人控制裝置400將各種指令、資訊及數據等輸出至機器人操作裝置300及／或攝影系統100之顯示裝置140。例如，機器人控制裝置400使顯示裝置140以視覺及／或聽覺方式提示各種指令、資訊及數據等。例如，機器人控制裝置400可輸出用以操作機器人200之影像、顯示機器人200之狀態之影像、以及用以管理機器人200之影像等。
機器人控制裝置400具備電腦。再者，機器人控制裝置400亦可具備用以控制供應至機器人200之電力的電路、用以控制供應至機器人200之空氣壓及液壓等電力以外之動力的機器、以及用以控制供應至機器人200之冷卻水及塗料等物質的機器等。電腦以外之機器，可與機器人控制裝置400分開個別設置。
圖2係例示之實施形態之無人飛行器120之一構成例的立體圖。圖3係例示之實施形態之攝影系統100之功能性構成之一例的方塊圖。如圖1至圖3所示，攝影系統100之攝影裝置110係搭載於無人飛行器120。攝影裝置110，包含拍攝數位影像之靜止畫及／或動畫的攝影機111、在無人飛行器120上支承攝影機111的平衡架（gimbal）112、以及攝影機控制裝置113。本例示之實施形態中，攝影機111僅是可見光攝影機，但亦可以是拍攝包含影像内被攝體之位置資訊之3維影像的3維攝影機等其他型式之攝影機。
平衡架112被安裝在無人飛行器120，用以搭載攝影裝置110。平衡架112可使攝影裝置110之方向變動自如的動作。本例示之實施形態中，平衡架112係電動，具備用以驅動之電動馬達。平衡架112，可以是相對無人飛行器120使攝影裝置110之姿勢至少在偏搖（yawing）方向DY、至少在縱搖（pitching）方向DP變動。此外，平衡架112可以是在橫搖（rolling）方向DR變動攝影裝置110之姿勢。雖非限定於以下，但攝影裝置110之方向可以是攝影裝置110之攝影機之光軸中心之方向，具體而言，可以是在3維空間内之光軸中心之3維的方向。例如，攝影裝置110之方向可對應攝影裝置110之姿勢。又，攝影裝置110之位置可以是在3維空間内之攝影裝置110之3維的位置。
攝影機控制裝置113控制攝影機111及平衡架112之驅動。攝影機控制裝置113，依據從攝影控制裝置150透過無線通訊收訊之資訊及指令等控制攝影機111及平衡架112之驅動，使攝影機111及平衡架112進行依據該資訊及指令等之動作。攝影機控制裝置113，將顯示攝影機111及平衡架112之動作結果之動作資訊，透過無線通訊送訊至攝影控制裝置150。攝影機控制裝置113使用後述無人飛行器120之第1通訊器124與攝影控制裝置150進行無線通訊。攝影機控制裝置113，具備電腦、與用以控制對攝影機111及平衡架112供應電力之電路。
無人飛行器120，能以使搭載之攝影裝置110之位置及方向變換自如之方式飛行。雖不限定於此，本例示性之實施形態中，無人飛行器120係具備複數個旋轉翼121、例如係具備排列成平面狀且能沿該平面之方向旋轉之4個旋轉翼121的無人機。無人機，可以往包含水平方向及鉛直方向之任意方向飛行、在空中之靜止飛行、以及在靜止飛行狀態下往任意方向之姿勢移動等。再者，無人飛行器120具備旋轉驅動各旋轉翼121之翼驅動裝置122、位置檢測裝置123、第1通訊器124、以及飛行器控制裝置125。
翼驅動裝置122，例如係電動馬達。第1通訊器124係在無人飛行器120與攝影控制裝置150之間進行無線通訊。具體而言，第1通訊器124係進行飛行器控制裝置125與攝影控制裝置150間之無線通訊、以及攝影裝置110之攝影機控制裝置113與攝影控制裝置150間之無線通訊的中介。例如，第1通訊器124可包含通訊電路。
位置檢測裝置123，檢測無人飛行器120之位置及姿勢將之輸出至飛行器控制裝置125。位置檢測裝置123之構成無特別限定，只要能檢測無人飛行器120之位置及姿勢即可，例如可以是公知技術。例如，位置檢測裝置123可以是具備使用GPS（Global Positioning System；全球定位系統）之位置推定系統、使用GPS以外之電波之位置推定系統、使用影像辨識技術之位置推定系統、使用加速度及角速度之位置推定系統、其他位置推定系統、或上述位置推定系統之2個以上之組合等，使用該位置推定系統檢測無人飛行器120之位置及姿勢。
作為使用GPS之位置推定系統，係例示透過與GPS之收送訊來檢測無人飛行器120之位置及姿勢的系統。作為使用GPS以外之電波之位置推定系統，係例示從配置機器人200之空間内所配置之無線電發射機接收之電波據以推定無人飛行器120之位置及姿勢的系統。作為使用影像辨識技術之位置推定系統，係例示藉由使用3維攝影機對周圍之物體及該物體之位置進行影像辨識來進行檢測，據以推定無人飛行器120之位置及姿勢的系統。作為使用加速度及角速度之位置推定系統，係例示使用加速度感測器及角速度感測器之檢測結果來推定無人飛行器120之位置及姿勢的系統。
飛行器控制裝置125控制各翼驅動裝置122之驅動。飛行器控制裝置125，依據透過第1通訊器124之無線通訊從攝影控制裝置150接收之資訊及指令等控制各翼驅動裝置122之驅動，使無人飛行器120進行依據該資訊及指令等之飛行。又，飛行器控制裝置125，將以位置檢測裝置123檢測之無人飛行器120之位置及姿勢之資訊，透過第1通訊器124送訊至攝影控制裝置150。飛行器控制裝置125，具備電腦、與用以控制供應至各翼驅動裝置122之電力的電路。
又，無人飛行器120，只要具有能自在變更位置及姿勢中至少位置之飛行構成即可。例如，無人飛行器120可以是如直升機般，具備在交叉之方向旋轉之2個旋轉翼的構成。無人飛行器120依據攝影控制裝置150之控制進行飛行動作。例如，無人飛行器120可依據輸入至攝影輸入裝置130之操作來進行飛行。無人飛行器120可依據攝影控制裝置150之程式控制自動的飛行，亦即可自主飛行。
攝影輸入裝置130，從使用者P接收用以使攝影系統100動作之輸入及操作等。攝影輸入裝置130接收各種指令、資訊及數據等之輸入，將之輸出至攝影控制裝置150。例如，攝影輸入裝置130接收用以操作攝影機111、平衡架112及無人飛行器120之輸入，將顯示已收到之操作内容的操作資訊輸出至攝影控制裝置150。攝影輸入裝置130配置在機器人操作裝置300之近旁，可具有與機器人操作裝置300之例示構成相同之構成。機器人操作裝置300可包含攝影輸入裝置130而兼具攝影輸入裝置130之功能。攝影輸入裝置130為輸入裝置之一例。
顯示裝置140，將以攝影裝置110拍攝之影像以可感知之方式提示給使用者P。顯示裝置140配置在機器人操作裝置300之近旁，配置在與攝影裝置110分開之位置。顯示裝置140，亦可將從機器人控制裝置400接收之指令、資訊及數據等以可感知之方式提示給使用者P。例如，顯示裝置140具備液晶顯示器（Liquid Crystal Display）及有機或無機EL顯示器（Electro-Luminescence Display）等之顯示器，以視覺方式進行提示。顯示裝置140亦可具備揚聲器等之音聲輸出裝置，以聽覺方式進行提示。顯示裝置140亦可以是進行觸覺方式之提示。
攝影控制裝置150，透過有線通訊或無線通訊與攝影裝置110、無人飛行器120、攝影輸入裝置130及顯示裝置140連接。可使用任何方式之有線通訊及無線通訊。於本例示性之實施形態，攝影控制裝置150配置在無人飛行器120之外部，與攝影裝置110及無人飛行器120進行無線通訊，攝影輸入裝置130及顯示裝置140進行有線通訊。不過，攝影控制裝置150亦可以搭載於無人飛行器120，與攝影輸入裝置130及顯示裝置140進行無線通訊。攝影控制裝置150為控制裝置之一例。
如上述之攝影控制裝置150具備電腦。再者，攝影控制裝置150亦可具備用以控制對攝影輸入裝置130及顯示裝置140供應電力之電路等。電腦以外之機器可與攝影控制裝置150分開個別設置。攝影控制裝置150可以是組裝入機器人控制裝置400、攝影輸入裝置130或機器人操作裝置300，亦可以是與此等分開個別設置。
例如，機器人控制裝置400及攝影控制裝置150之電腦包含具有處理器及記憶體等之電路或處理電路。電路或處理電路係進行與他裝置之指令、資訊及數據等之送受訊。電路或處理電路，進行來自各種機器之訊號輸入及對各控制對象之控制訊號之輸出。記憶體，係以揮發性記憶體及非揮發性記憶體等之半導體記憶體、硬碟及SSD（Solid State Drive）等之儲存裝置構成。例如，記憶體係儲存電路或處理電路執行之程式、及各種數據等。
電路或處理電路之功能，可由CPU（Central Processing Unit）等之處理器、RAM（Random Access Memory）等之揮發性記憶體及ROM（Read-Only Memory）等之非揮發性記憶體等構成之電腦系統加以實現。電腦系統亦可以是由CPU將RAM用作為工作區來執行記錄在ROM之程式，據以實現電路或處理電路之功能。又，電路或處理電路之部分或全部功能，可由上述電腦系統加以實現，亦可由電子電路或積體電路等之專用硬體電路加以實現，或以上述電腦系統及硬體電路之組合加以實現。機器人控制裝置400及攝影控制裝置150，可由單一電腦進行之集中控制執行各處理，亦可以是由複數個電腦之協同動作進行之分散控制執行各處理。
例如，機器人控制裝置400及攝影控制裝置150之各功能，可以微控制器、MPU（Micro Processing Unit）、LSI（Large Scale Integration：大型積體電路）、系統LSI、PLC（Programmable Gate Array）及邏輯電路等加以實現。機器人控制裝置400及攝影控制裝置150各個之複數個功能，可個別的1晶片化、亦可以是包含部分或全部之1晶片化。又，電路可各自是泛用的電路，亦可以是專用電路。作為LSI，可利用LSI製造後可加以程式化之FPGA（Field Programmable Gate Array）、LSI内部之電路單元之連接及／或設定是可再構成之可重組態處理器（Reconfigurable processor）、或者是為特定用途而將複數個功能之電路整合成1個之ASIC（Application Specific Integrated Circuit）等。
［攝影系統之功能性構成］ 接著，說明攝影系統100之功能性構成。如圖3所示，攝影系統100之攝影控制裝置150，作為功能要素包含驅動控制部151、位置姿勢運算部152、顯示控制部153、以及記憶部154，並包含第2通訊器155。驅動控制部151，作為功能要素包含攝影機控制部1511與飛行器控制部1512。位置姿勢運算部152，作為功能要素包含第1檢測部1521、第2檢測部1522、以及決定部1523。
第2通訊器155與無人飛行器120之第1通訊器124進行無線通訊，並中介攝影控制裝置150與無人飛行器120間之無線通訊。例如，第2通訊器155可包含通訊電路。
記憶部154之功能係以攝影控制裝置150之電腦之記憶體等來加以實現。記憶部154以外之攝影控制裝置150之功能性構成要素之功能，由電腦之處理器等加以實現。
記憶部154，可儲存各種資訊，並可讀出儲存之資訊。例如，記憶部154可儲存程式及各種數據等。例如，記憶部154可儲存用以使攝影系統100之各裝置動作之程式、數據及資訊等。
位置姿勢運算部152之第1檢測部1521，檢測機器人200之終端效應器230之位置及姿勢並輸出至決定部1523。第1檢測部1521，檢測機器臂210之前端部之位置及姿勢，作為終端效應器230之位置及姿勢，但不限於此。第1檢測部1521，係從機器人控制裝置400取得機器臂210之關節驅動裝置212之反饋資訊。第1檢測部1521使用反饋資訊中所含之各關節驅動裝置212之旋轉驅動量，運算出機器臂210與終端效應器230之連接部分的機器臂210之前端部位置及姿勢。例如，前端部之位置，可使用如圖1所示之在配置機器臂210之空間所設定之3維空間座標系（以下，亦稱「第1座標系」）表示。第1座標系係以座標軸X1、Y1及Z1軸定義。前端部之姿勢，可使用如圖1所示之設定於前端部之3維空間座標系（以下，亦稱「第2座標系」）表示。第2座標系係以座標軸X2、Y2及Z2軸定義。前端部之姿勢，可以相對座標軸X1、Y1及Z1軸之座標軸X2、Y2及Z2軸之角度作為姿勢角加以表示。此處，機器臂210之關節驅動裝置212之反饋資訊、及終端效應器230之位置及姿勢之資訊，係動作關連資訊之一例。上述反饋資訊，係終端效應器230之位置及姿勢資訊之一例。
此處，動作關連資訊，係與機器人200之動作相關連之資訊。動作關連資訊，可以是使機器人200動作之資訊、顯示機器人200之動作結果之資訊、或包含此兩方。也就是說，動作關連資訊可包含顯示機器人200之動作之資訊。用以使機器人200動作之資訊，例如有用以使機器人200動作而輸入機器人操作裝置300等之操作資訊、以及用以使機器人200動作而從機器人控制裝置400輸出至機器人200之目標動作指令等。顯示機器人200動作結果之資訊，例如有從機器人200輸出之反饋資訊、以及以感測器等檢測機器人200之動作之檢測結果等。機器人200之動作，包含機器臂210之動作、機器臂210之關節之動作、機器臂210之關節驅動裝置212之動作、終端效應器230之位置及姿勢、終端效應器230之動作、或此等之2個以上之組合等。
第1檢測部1521，可使用用以使機器臂210動作而輸入至機器人操作裝置300之操作資訊、用以使機器臂210動作而從機器人控制裝置400輸出至機器臂210之目標動作指令、或此等之組合，檢測終端效應器230之位置及姿勢。
又，亦可以是由機器人控制裝置400運算出終端效應器230之位置及姿勢，第1檢測部1521從機器人控制裝置400收取該位置及姿勢之運算結果。
第2檢測部1522，檢測攝影裝置110之攝影機111之現狀位置及姿勢，將之輸出至決定部1523。第2檢測部1522，從無人飛行器120透過無線通訊接收無人飛行器120之現狀位置及姿勢之資訊、以及攝影裝置110之攝影機111及平衡架112之動作資訊。第2檢測部1522，使用接收到之資訊檢測攝影機111之位置及姿勢。攝影機111之位置及姿勢可以第1座標系顯示。
決定部1523，對應動作關連資訊決定攝影裝置110之攝影機111之目標位置及姿勢，將之輸出至驅動控制部151。具體而言，決定部1523，決定攝影機111之目標位置及姿勢，使攝影機111之位置及姿勢對應動作關連資訊之變化而變化。例如，決定部1523，以追隨動作關連資訊所顯示之機器人200之動作，決定攝影機111之目標位置及姿勢。具體而言，決定部1523，係以終端效應器230之位置及姿勢與攝影機111之位置及姿勢成既定關係的既定相對關係之方式，決定攝影機111之目標位置及姿勢。
決定部1523，作為既定相對關係，從記憶部154讀出顯示與終端效應器230之位置及姿勢相對應之攝影機111之相對位置及姿勢之關係的資訊。決定部1523，使用上述既定相對關係之資訊、從第1檢測部1521接收之終端效應器230之位置及姿勢之檢測結果、以及從第2檢測部1522接收之攝影機111之現狀位置及姿勢之檢測結果，運算出相對終端效應器230之位置及姿勢之檢測結果滿足既定相對關係之攝影機111之目標位置及姿勢。目標位置及姿勢可以第1座標系顯示。據此，即能維持相對於終端效應器230之攝影機111之相對位置及姿勢。
此處，決定部1523，依據由使用者P輸入攝影輸入裝置130之指令，決定既定相對關係。例如，在終端效應器230之位置及姿勢為第1狀態、攝影機111之位置及姿勢為第2狀態時，當上述指令被輸入攝影輸入裝置130，決定部1523即將第1狀態與第2狀態之關係設定為既定相對關係，運算出終端效應器230之位置及姿勢與攝影機111之位置及姿勢之關係式等顯示該關係之資訊，將之儲存於記憶部154。
又，在由使用者P將用以移動攝影機111之位置及姿勢之操作輸入攝影輸入裝置130之情形時，決定部1523從攝影輸入裝置130接收顯示該操作内容之操作資訊，決定應依據該操作資訊移動之攝影機111之目標位置及姿勢。操作資訊與攝影機111之位置及姿勢之關係的資訊，係預先儲存於記憶部154，決定部1523使用該資訊運算出目標位置及姿勢。操作資訊，包含針對進行動作之機器人200，使用者P為通過攝影機111目視確認終端效應器230等之機器人200之部位，而由使用者P執行之操作的資訊。
又，決定部1523，亦可以是在使用既定相對關係執行決定攝影機111之目標位置及姿勢的控制中，當從攝影輸入裝置130接收到攝影機111之操作資訊時，優先進行依據操作資訊決定攝影機111之目標位置及姿勢的控制。也就是說，決定部1523，作為修正攝影機111之位置及方向之指令的修正指令而從攝影輸入裝置130接收到攝影機111之操作資訊，即將對應既定相對關係之攝影機111之目標位置及方向，變動為依據該操作資訊之攝影機111之目標位置及方向。如此，使用既定相對關係決定之攝影機111之目標位置及姿勢，即被依據操作資訊之攝影機111之目標位置及姿勢加以修正。也就是說，使用者P可使用攝影輸入裝置130修正攝影機111之目標位置及姿勢。
又，決定部1523，亦可取代使用既定相對關係之攝影機111之目標位置及姿勢而使用依據操作資訊之攝影機111之目標位置及姿勢，將依據操作資訊之攝影機111之目標位置及姿勢決定為修正後之攝影機111之目標位置及姿勢。決定部1523，亦可將在使用既定相對關係之攝影機111之目標位置及姿勢加上依據操作資訊之攝影機111之目標位置及姿勢所生成之攝影機111之目標位置及姿勢，決定為修正後之攝影機111之目標位置及姿勢。
決定部1523，亦可在攝影機111之目標位置及方向之修正後，將修正結果反映至對應既定相對關係之攝影機111之目標位置及方向的決定。例如，決定部1523可變更既定相對關係以反映修正結果。或者，決定部1523，亦可在攝影機111之目標位置及方向之修正後，不將修正結果反映至既定相對關係，而決定攝影機111之目標位置及姿勢。
驅動控制部151之飛行器控制部1512，依據從決定部1523接收之攝影機111之目標位置及姿勢，生成用以使攝影機111移動之無人飛行器120之動作指令。飛行器控制部1512，將該動作指令輸出至攝影機控制部1511及無人飛行器120之飛行器控制裝置125。動作指令包含無人飛行器120之目標位置及姿勢之指令，該目標位置及姿勢可以第1座標系顯示。例如，無人飛行器120之目標位置，可以是用以使攝影機111之位置移動至目標位置之位置。無人飛行器120之目標姿勢，可以是用以使攝影機111之方向接近目標姿勢之姿勢。無人飛行器120由於是無人機，因此能於水平方向旋轉，而於水平方向改變攝影機111之方向。
攝影機控制部1511，依據從決定部1523接收之攝影機111之目標姿勢，生成用以使攝影機111之姿勢移動之平衡架112之動作指令。動作指令包含平衡架112各部之動作指令。攝影機控制部1511將該動作指令送至無人飛行器120之攝影機控制裝置113。攝影機控制部1511，依據從飛行器控制部1512接收之無人飛行器120之目標姿勢之資訊與攝影機111之目標姿勢之資訊，決定以無人飛行器120為基準之攝影機111之目標姿勢，以決定用以實現該目標姿勢之平衡架112各部之動作。例如，攝影機控制部1511，決定以平衡架112對無人飛行器120之安裝部為基準之攝影機111之目標姿勢。又，在攝影機111係被搭載於可移動攝影機111之位置及姿勢的裝置之情形時，攝影機控制部1511亦可決定以無人飛行器120為基準之攝影機111之目標位置及姿勢，將之輸出至攝影機控制裝置113。
又，攝影機控制部1511生成用以使攝影機111動作之動作指令，將之送至無人飛行器120之攝影機控制裝置113。動作指令，可包含攝影機111之攝影開始及停止之指令、以及攝影機111之推攝（zoom up）及拉攝（zoom back）之指令等。
顯示控制部153，從攝影裝置110接收以攝影裝置110拍攝之影像數據，將該該影像數據輸出至顯示裝置140，顯示與該影像數據對應之影像。顯示控制部153，可對從攝影裝置110接收之影像數據進行影像處理，將影像處理後之影像數據輸出至顯示裝置140。
［攝影系統之動作］ 接著，說明例示性之實施形態之攝影系統100之動作。圖4係顯示例示性之實施形態之攝影系統100之一動作例的流程圖。首先，於步驟S101，攝影控制裝置150以決定機器人200之終端效應器230與攝影裝置110之攝影機111之既定相對關係的初期設定模式動作。例如，攝影控制裝置150依據由使用者P輸入至攝影輸入裝置130之啟動指令，開始初期設定模式。
接著，於步驟S102，攝影控制裝置150接收決定攝影裝置110之攝影機111之初期位置及初期姿勢之指令。具體而言，攝影控制裝置150啟動攝影裝置110及無人飛行器120，依據輸入攝影輸入裝置130之操作使攝影裝置110及無人飛行器120動作。使用者P，一邊於顯示裝置140目視確認以攝影裝置110拍攝之影像一邊操作攝影輸入裝置130，以使無人飛行器120變動攝影機111之位置及姿勢，使攝影裝置110之平衡架112變動攝影機111之姿勢。例如，當在顯示裝置140放映出終端效應器230之所欲影像等的所欲影像時，使用者P即將現狀之攝影機111之位置及姿勢決定為攝影機111之初期位置及初期姿勢之指令輸入攝影輸入裝置130。
接著，於步驟S103，攝影控制裝置150決定攝影機111之初期位置及初期姿勢。攝影控制裝置150，在控制之執行中從無人飛行器120及攝影裝置110接收無人飛行器120之位置及姿勢的資訊與攝影機111及平衡架112的動作資訊。攝影控制裝置150，從在步驟S102中接收到決定攝影機111之初期位置及初期姿勢之指令時所檢測到之無人飛行器120之位置及姿勢的資訊與平衡架112的動作資訊，檢測攝影機111之位置及姿勢，將該位置及姿勢決定為初期位置及初期姿勢。
接著，於步驟S104，攝影控制裝置150檢測終端效應器230之位置及姿勢。攝影控制裝置150，當在步驟S102接收到決定攝影機111之初期位置及初期姿勢之指令時，作為終端效應器230之位置及姿勢的資訊，將要求機器臂210之動作資訊之指令輸出至機器人控制裝置400。機器人控制裝置400將該動作資訊輸出至攝影控制裝置150。機器臂210之動作資訊，係在機器臂210之各關節驅動裝置212所檢測之各關節211之旋轉量的資訊。攝影控制裝置150使用機器臂210之動作資訊，運算出終端效應器230之位置及姿勢。
接著，於步驟S105，攝影控制裝置150使用攝影機111之初期位置及初期姿勢的資訊與終端效應器230之位置及姿勢的資訊，決定表示既定相對關係之關係式等，也就是說，決定既定相對關係。攝影控制裝置150將既定相對關係之資訊儲存於記憶部154。
接著，於步驟S106，攝影控制裝置150結束初期設定模式，以一般動作模式開始動作。
接著，於步驟S107，攝影控制裝置150使攝影裝置110之攝影機111開始拍攝動作。攝影機111連續拍攝動畫將之送至攝影控制裝置150，攝影控制裝置150將該動畫顯示於顯示裝置140。
接著，於步驟S108，攝影控制裝置150向機器人控制裝置400要求機器臂210之動作資訊，從機器人控制裝置400取得該動作資訊。
接著，於步驟S109，攝影控制裝置150決定相對終端效應器230之位置及姿勢滿足既定相對關係之攝影機111之目標位置及目標姿勢。攝影控制裝置150使用機器臂210之動作資訊，運算出終端效應器230之位置及姿勢。攝影控制裝置150使用終端效應器230之位置及姿勢與儲存在記憶部154之既定相對關係之資訊，運算出攝影機111之目標位置及目標姿勢。
接著，於步驟S110，攝影控制裝置150決定用以使攝影機111移動至目標位置及目標姿勢之無人飛行器120之目標位置及目標姿勢、與平衡架112各部之目標動作狀態。攝影控制裝置150將使無人飛行器120移動至目標位置及目標姿勢之動作指令、與使平衡架112動作至目標動作狀態之動作指令，送至無人飛行器120及攝影裝置110。
接著，於步驟S111，無人飛行器120依據動作指令移動至目標位置及目標姿勢，攝影裝置110使平衡架112動作至目標動作狀態。據此，攝影機111之位置及姿勢與終端效應器230之位置及姿勢，即滿足相對位置關係。
接著，於步驟S112，攝影控制裝置150判定使用者P是否已對攝影輸入裝置130輸入移動攝影機111之位置及姿勢之指令的修正指令。攝影控制裝置150在已輸入之情形時（步驟S112為是）前進至步驟S113，未輸入之情形時（步驟S112為否）前進至步驟S117。
於步驟S113，攝影控制裝置150，依據修正指令決定用以移動攝影機111之位置及姿勢之無人飛行器120之修正目標位置及修正目標姿勢與平衡架112各部之修正目標動作狀態。攝影控制裝置150，將使無人飛行器120移動至修正目標位置及修正目標姿勢之動作指令的修正動作指令、與使平衡架112動作至修正目標動作狀態之動作指令的修正動作指令，送至無人飛行器120及攝影裝置110。此時，攝影控制裝置150亦可將無人飛行器120之位置及姿勢的資訊與平衡架112之動作狀態之資訊用作為反饋資訊，來生成動作指令。
接著，於步驟S114，無人飛行器120依據修正動作指令移動至修正目標位置及修正目標姿勢，攝影裝置110使平衡架112動作至修正目標動作狀態。此時，無人飛行器120及攝影裝置110，亦可將無人飛行器120之位置及姿勢的資訊與平衡架112之動作狀態的資訊用作為反饋資訊，進行動作控制。
接著，於步驟S115，攝影控制裝置150向機器人控制裝置400要求機器臂210之動作資訊，從機器人控制裝置400取得該動作資訊。
接著，於步驟S116，攝影控制裝置150使用機器臂210之動作資訊運算出終端效應器230之位置及姿勢。攝影控制裝置150使用終端效應器230之位置及姿勢之資訊、與攝影機111之修正目標位置及修正目標姿勢，決定表示新的既定相對關係之關係式等。攝影控制裝置150，藉由將記憶部154中儲存之既定相對關係之資訊變更為新的既定相對關係之資訊，據以更新既定相對關係之資訊。據此，攝影控制裝置150在之後，以攝影機111之位置及姿勢與終端效應器230之位置及姿勢滿足更新後之相對位置關係之方式，控制攝影機111之位置及姿勢。
接著，於步驟S117，攝影控制裝置150，判定使用者P是否對攝影輸入裝置130輸入結束攝影系統100之動作之指令，已輸入之情形時（步驟S117為是）結束一連串之處理，未輸入之情形時（步驟S117為否）回到步驟S108。
藉由步驟S101到S117之處理，攝影控制裝置150決定使用者P所欲之相對位置關係。攝影控制裝置150，藉由控制無人飛行器120及平衡架112之動作，以攝影機111之位置及姿勢與終端效應器230之位置及姿勢滿足相對位置關係之方式，控制攝影機111之位置及姿勢。進一步的，攝影控制裝置150依據輸入攝影輸入裝置130之操作，修正相對位置關係。據此，攝影控制裝置150可決定對使用者P而言，更為希望之相對位置關係。
又，於例示性之實施形態中，攝影控制裝置150，當在依據相對位置關係之無人飛行器120及平衡架112之動作之控制中，透過攝影輸入裝置130接收攝影機111之位置及姿勢之修正指令時，即依據修正指令修正相對位置關係，但不限定於此。例如，攝影控制裝置150可以是雖依據修正指令修正攝影機111之位置及姿勢，但不修正相對位置關係之構成。此場合，攝影控制裝置150係依據修正指令暫時性的修正攝影機111之位置及姿勢，之後，依據既有之相對位置關係控制攝影機111之位置及姿勢。再者，攝影控制裝置150，亦可以是依據透過攝影輸入裝置130之使用者P之指令，來決定有無相對位置關係之修正。
（變形例1） 例示性之實施形態之變形例1，在攝影控制裝置150A限制無人飛行器120之飛行區域之點，與例示性實施形態不同。以下，針對變形例1，以和例示性實施形態之不同點為中心加以說明，並適當省略和例示性實施形態相同點之說明。
圖5係顯示例示性實施形態之變形例1之機器人系統1之一構成例的立體圖。圖6係顯示變形例1之攝影系統100之功能性構成之一例的方塊圖。如圖5及圖6所示，攝影控制裝置150A控制無人飛行器120之動作，以使機器人200之終端效應器230與無人飛行器120之距離成為第1既定距離L1以上。攝影控制裝置150A並控制無人飛行器之動作120，以使機器人200之終端效應器230與無人飛行器120之距離成為第2既定距離L2以下。又，第2既定距離L2較第1既定距離L1大。
再者，攝影控制裝置150A，在需要以終端效應器230與無人飛行器120之距離不滿第1既定距離L1之方式使無人飛行器120動作之情形時，係使無人飛行器120位於與終端效應器230相距第1既定距離L1以上之位置，使攝影裝置110進行推攝。例如，攝影控制裝置150A，在從攝影輸入裝置130接收到使終端效應器230與無人飛行器120之距離不滿第1既定距離L1之指令或修正指令之情形等時，執行上述控制。
攝影控制裝置150A，在需要以終端效應器230與無人飛行器120之距離超過第2既定距離L2之方式使無人飛行器120動作之情形時，係使無人飛行器120位於與終端效應器230相距第2既定距離L2以下之位置，使攝影裝置110進行拉攝。例如，攝影控制裝置150A，在從攝影輸入裝置130接收到使終端效應器230與無人飛行器120之距離超過第2既定距離L2之指令或修正指令之情形等時，執行上述控制。
如此，攝影控制裝置150A控制無人飛行器120之飛行，以使無人飛行器120之位置保持在以終端效應器230為中心之半徑L1之區域A1、與以終端效應器230為中心之半徑L2之區域A2間的區域A3内。據此，即能抑制無人飛行器120接近並干涉機器臂210之情形、以及無人飛行器120與機器臂210周圍之屋頂及牆壁等物體之干涉。
攝影控制裝置150A之位置姿勢運算部152A，包含決定部1523作為第1決定部，並進一步包含第2決定部1524。第1決定部1523，當決定攝影機111之目標位置及目標姿勢時，即輸出至第2決定部1524。以下，將以第1決定部1523決定之「目標位置」及「目標姿勢」，亦分別稱為「第1目標位置」及「第1目標姿勢」。
第2決定部1524，從第1檢測部1521接收終端效應器230之位置及姿勢之資訊。第2決定部1524，運算出攝影機111之第1目標位置與終端效應器230之位置之距離Lce後，執行距離Lce與第1既定距離L1之比較、以及距離Lce與第2既定距離L2之比較。第1既定距離L1及第2既定距離L2之資訊，預先儲存於記憶部154。於本變形例，終端效應器230之位置之基準點，雖係由座標軸X2、Y2及Z2軸構成之第2座標系之原點，但基準點之位置可以是終端效應器230之任何位置。
在距離Lce為第1既定距離L1以上、第2既定距離L2以下之情形時，第2決定部1524執行第1決定。於第1決定，第2決定部1524將第1目標位置及第1目標姿勢分別作為待執行之攝影機111之目標位置及目標姿勢，決定為第2目標位置及第2目標姿勢。
在距離Lce不滿第1既定距離L1之情形時，第2決定部1524執行第2決定。於第2決定，第2決定部1524在連結攝影機111之第1目標位置與終端效應器230之位置的線上，將與終端效應器230相距第1既定距離L1以上之位置，決定為攝影機111之第2目標位置。例如，第2決定部1524將第1既定距離L1之位置決定為攝影機111之第2目標位置。進一步的，第2決定部1524將第1目標姿勢決定為攝影機111之第2目標姿勢。
在距離Lce超過第2既定距離L2之情形時，第2決定部1524執行第3決定。於第3決定，第2決定部1524，在連結攝影機111之第1目標位置與終端效應器230之位置的線上，將與終端效應器230相距第2既定距離L2以下之位置，決定為攝影機111之第2目標位置。例如，第2決定部1524將第2既定距離L2之位置決定為攝影機111之第2目標位置。進一步的，第2決定部1524將第1目標姿勢決定為攝影機111之第2目標姿勢。
第2決定部1524，將包含從第1決定到第3決定中之執行之決定、第1目標位置及第1目標姿勢、第2目標位置及第2目標姿勢、以及距離Lce之資訊輸出至驅動控制部151。
驅動控制部151之飛行器控制部1512，依據從第2決定部1524接收之攝影機111之第2目標位置及第2目標姿勢，生成用以使攝影機111移動之無人飛行器120之動作指令。飛行器控制部1512，將該動作指令往攝影機控制部1511及無人飛行器120之飛行器控制裝置125輸出。
攝影機控制部1511，依據從第2決定部1524接收之攝影機111之第2目標姿勢，生成用以使攝影機111之姿勢移動之平衡架112之動作指令。進一步的，攝影機控制部1511，使用從第2決定部1524接收之攝影機111之第1目標位置及第2目標位置，決定攝影機111之推攝率或拉攝率。
具體而言，在接收到第1決定時，攝影機控制部1511決定不從現狀變更推攝率及拉攝率。
在接收到第2決定時，攝影機控制部1511決定攝影機111之推攝。攝影機控制部1511運算出第1目標位置與第2目標位置間之距離LT12。攝影機控制部1511使用距離LT12、以及第1目標位置與終端效應器230間之距離Lce，決定攝影機111之推攝率。該推攝率，係以攝影機111在第2目標位置適用該推攝率所拍攝之影像中顯示之終端效應器230之像的大小、與攝影機111在第1目標位置不適用該推攝率所拍攝之影像中顯示之終端效應器230之像的大小為同等之方式決定。
在接收到第3決定時，攝影機控制部1511決定攝影機111之拉攝。攝影機控制部1511運算出第1目標位置與第2目標位置間之距離LT12。攝影機控制部1511，使用距離LT12、以及第1目標位置與終端效應器230間之距離Lce，決定攝影機111之拉攝率。該拉攝率，係以攝影機111在第2目標位置適用該拉攝率所拍攝之影像中顯示之終端效應器230之像的大小、與攝影機111在第1目標位置不適用該拉攝率所拍攝之影像中顯示之終端效應器230之像的大小為同等之方式決定。
攝影機控制部1511，將反映了攝影機111之推攝率及拉攝率之決定結果的攝影機111之動作指令、與平衡架112之動作指令，送至無人飛行器120之攝影機控制裝置113。
藉由上述方式，攝影機111，在無人飛行器120位於與第2目標位置對應之位置之情形時，亦能與無人飛行器120位於與第1目標位置對應之位置之情形時拍攝同樣的影像，將之顯示於顯示裝置140。
又，於本變形例，攝影控制裝置150A雖係構成為使用第1既定距離L1及第2既定距離L2，但不限於此，亦可僅使用第1既定距離L1及第2既定距離L2中之一方。
例如，僅使用第1既定距離L1之情形時，第2決定部1524，在攝影機111之第1目標位置與終端效應器230之位置的距離Lce為第1既定距離L1以上之情形時，執行第1決定。又，第2決定部1524，在距離Lce不滿第1既定距離L1之情形時，執行第2決定。第2決定部1524不執行第3決定。
例如，僅使用第2既定距離L2之情形時，第2決定部1524，在距離Lce為第2既定距離L2以下之情形時，執行第1決定。又，第2決定部1524，在距離Lce超過第2既定距離L2之情形時，執行第3決定。第2決定部1524不執行第2決定。
第2決定部1524，亦可視終端效應器230之移動速度，增加或減少第1既定距離L1、第2既定距離L2、或第1既定距離L1及第2既定距離L2之雙方。具體而言，第2決定部1524，可僅增加或減少第1既定距離L1，亦可僅增加或減少第2既定距離L2。第2決定部1524，可增加或減少第1既定距離L1及第2既定距離L2之雙方，此種情形時、第2決定部1524，可以是增加第1既定距離L1及第2既定距離L2之雙方、亦可減少第1既定距離L1及第2既定距離L2之雙方，或增加第1既定距離L1及第2既定距離L2中之一方、而減少另一方。亦可以是根據以第1檢測部1521檢測之終端效應器230之位置及姿勢之資訊，由第2決定部1524檢測終端效應器230之移動速度。亦可由第1檢測部1521檢測終端效應器230之移動速度。
例如，第2決定部1524，可以是在終端效應器230之移動速度增加時，以加大第1既定距離L1、縮小第2既定距離L2之方式進行變更。如此，能更為確實地防止無人飛行器120與機器人200及周圍物體之接觸。
例如，第2決定部1524，亦可以是在終端效應器230之移動速度減少時，以縮小第1既定距離L1、加大第2既定距離L2之方式進行變更。如此，無人飛行器120可接近終端效應器230。
例如，第2決定部1524，亦可以是以追隨終端效應器230之移動速度變化進行變動之方式，增減第1既定距離L1及第2既定距離L2。或者，第2決定部1524，亦可根據終端效應器230之移動速度與閾值之比較結果，決定第1既定距離L1及第2既定距離L2之增減。此種情形時、第2決定部1524，可以是比較終端效應器230之移動速度與複數個閾值，階段性的進行第1既定距離L1及第2既定距離L2之增減。
又，於本變形例，攝影控制裝置150A雖係根據攝影機111之目標位置與終端效應器230之位置的關係，限制無人飛行器120之飛行區域，但不限定於此。
例如，圖7係顯示變形例1中之無人飛行器120之飛行限制區域之另一例的立體圖。如圖7所示，攝影控制裝置150A，亦可根據機器人200之可動範圍A4與攝影機111之目標位置的關係限制飛行區域，以避免無人飛行器120侵入可動範圍A4。可動範圍A4係機器人200之機器臂210的可動作範圍。在攝影機111之目標位置位於可動範圍A4内之情形時，攝影控制裝置150A可進行與終端效應器230與無人飛行器120之距離不滿第1既定距離L1之情形時相同的控制。
攝影控制裝置150A，亦可根據機器人200之作業範圍A5與攝影機111之目標位置的關係限制飛行區域，以避免無人飛行器120侵入作業範圍A5。作業範圍A5係機器人200執行既定作業時機器臂210可動作之範圍。在攝影機111之目標位置位於作業範圍A5内之情形時，攝影控制裝置150A可進行與終端效應器230與無人飛行器120之距離不滿第1既定距離L1之情形時相同的控制。
攝影控制裝置150A，亦可根據機器臂210與攝影機111之目標位置的關係限制飛行區域，以避免無人飛行器120侵入相距機器臂210在第3既定距離L3以下之區域的臂區域A6。攝影控制裝置150A，可使用機器臂210之關節驅動裝置212之反饋資訊，檢測機器臂210之各關節及其他各部位之位置。再者，攝影控制裝置150A，亦可根據檢測出之位置來檢測臂區域A6之位置。
臂區域A6係圍繞機器臂210之區域，會追隨機器臂210之動作而變動。本例中，臂區域A6雖係從機器臂210之各關節211（參照圖1）之旋轉中心軸到第3既定距離L3以下之區域，但不限於此，亦可以是例如以機器臂210表面等之機器臂210任一部分為基準之區域。再者，本例中，臂區域A6雖係涵蓋機器臂210全體之區域，但不限於此，亦可以是例如終端效應器230附近之一部分等機器臂210之至少部分區域。在攝影機111之目標位置位於臂區域A6内之情形時，攝影控制裝置150A可進行與終端效應器230與無人飛行器120之距離不滿第1既定距離L1之情形時相同的控制。
又，攝影控制裝置150A，可以是分別執行使用第1既定距離L1及第2既定距離L2限制無人飛行器120之飛行區域的控制、使用可動範圍A4限制無人飛行器120之飛行區域的控制、使用作業範圍A5限制無人飛行器120之飛行區域的控制、以及使用臂區域A6限制無人飛行器120之飛行區域的控制，亦可以是執行此等控制中之2個以上的組合。
（變形例2） 例示性實施形態之變形例2，在攝影系統100具備檢測使用者P之頭部H之動作的動作檢測裝置160，追隨以動作檢測裝置160檢測之頭部H之動作來變動攝影機111之位置及姿勢的點，與例示性實施形態及變形例1不同。以下，針對變形例2，以和例示性實施形態及變形例1之不同點為中心進行說明，並適當省略與例示性實施形態及變形例1相同點之說明。
圖8係顯示例示性實施形態之變形例2之機器人系統1之一構成例的立體圖。圖9係顯示變形例2之攝影系統100之功能性構成之一例的方塊圖。如圖8及圖9所示，攝影系統100具備顯示裝置140B作為顯示裝置，並具備動作檢測裝置160。又，攝影系統100之攝影控制裝置150B進一步包含檢測控制部156。
顯示裝置140B係安裝在使用者P之頭部H的頭戴式顯示器。於本變形例，頭戴式顯示器具有護目鏡狀之形狀，頭戴式顯示器之透鏡部分形成為顯示影像之顯示面。顯示裝置140B，可藉由與使用者P之頭部H一起移動，據以追隨使用者P之頭部H之動作來改變顯示影像之位置及方向。
又，顯示裝置140B，可以不是安裝在使用者P之頭部H，此場合，可以是能改變顯示裝置140B之顯示面之位置、該顯示面之姿勢、或該顯示面之位置及姿勢之雙方，亦可以是固定顯示裝置140B之顯示面。
動作檢測裝置160係檢測裝置之一例，用以檢測使用者P之頭部H之動作。動作檢測裝置160雖無特別限定，本變形例中，包含至少1個紅外線感測器161與裝著在頭部H之至少1個紅外線標示器162。於本變形例，複數個紅外線感測器161，具體而言、3個紅外線感測器161係在使用者P周圍配置成朝向使用者P。3個紅外線感測器161係配置在離開使用者P之頭部H之位置。複數個紅外線標示器162，具體而言、4個紅外線標示器162係配置在頭部H上之不同位置。此外，頭部包含在人體之頸部以上部分，可包含例如臉部、頭頂部、側頭部、後頭部等。
紅外線標示器162射出紅外線。紅外線標示器162可以是紅外線LED（Light Emitting Diode）等本身發出紅外線之發光體、將被照射之紅外線加以反射之反射體、或包含發光體及反射體之雙方。紅外線感測器161可接收紅外線，並檢測接收之紅外線之方向、強度及強度分布等。紅外線感測器161可以是僅能接收紅外線、亦可以是本身發出紅外線並接收該紅外線之反射光等之紅外線。後者之情形時，紅外線感測器161可以是紅外線攝影機。藉由使用3個紅外線感測器161檢測來自4個紅外線標示器162之紅外線，即能以高精度檢測頭部H之位置及姿勢等。以下，並非限定，但頭部H之位置可以是在3維空間内之頭部H之既定基準點等的3維位置。頭部H之姿勢，可以是頭部H之正面部分、橫切過頭部H之平面、以及頭部H之從下巴通過頭頂部之軸等的既定部分、面或軸之姿勢，具體而言、可以是在3維空間内之上述既定部分、面或軸之3維方向。
又，亦可與上述相反的，將紅外線感測器161裝著在使用者P之頭部H，將紅外線標示器162配置在離開使用者P之頭部H之位置。紅外線感測器161及紅外線標示器162之位置及數量，只要是能檢測頭部H之位置、姿勢、或位置及姿勢之雙方等即可，無特別限定。
檢測控制部156，控制3個紅外線感測器161之驅動，並處理3個紅外線感測器161檢測來自4個紅外線標示器162之紅外線之結果，以檢測4個紅外線標示器162之3維位置及姿勢。也就是說，檢測控制部156係藉由檢測紅外線標示器162之3維位置及姿勢，來檢測使用者P之頭部H之位置及姿勢。檢測控制部156將頭部H之位置及姿勢之資訊輸出至位置姿勢運算部152。
具體而言，3個紅外線感測器161分別接收從4個紅外線標示器162射出之紅外線。從各紅外線標示器162射出之紅外線與設定於該紅外線標示器162之ID等識別資訊相關聯。因此，各紅外線感測器161能檢測4個紅外線標示器162各個之紅外線之方向、強度及強度分布等。檢測控制部156，使用預先儲存在記憶部154之各紅外線感測器161之3維位置及姿勢的資訊、與各紅外線感測器161所檢測之4個紅外線標示器162之紅外線的檢測結果，檢測4個紅外線標示器162之3維位置。例如，檢測控制部156，依據第1座標系檢測4個紅外線標示器162之3維位置。進一步的，檢測控制部156使用4個紅外線標示器162之3維位置之資訊，檢測使用者P之頭部H之3維位置及姿勢。例如，檢測控制部156使用橫搖角、縱搖角及偏搖角等之姿勢角表示姿勢。
位置姿勢運算部152，與例示性實施形態中輸入攝影輸入裝置130之移動攝影機111之位置及姿勢的指令同樣的，將頭部H之位置及姿勢之資訊用作為移動攝影機111之位置及姿勢之指令，以決定攝影機111之目標位置及目標姿勢。位置姿勢運算部152，以和頭部H之位置及姿勢之變動量對應之攝影機111之位置及姿勢之變動量，決定用以使攝影機111移動之攝影機111的目標位置及目標姿勢。
例如，頭部H之水平方向及鉛直方向之移動，分別與攝影機111之水平方向及鉛直方向之移動建立對應關係。頭部H之橫搖方向、橫搖方向及橫搖方向之移動，分別與攝影機111之橫搖方向、橫搖方向及橫搖方向之移動建立對應關係。
位置姿勢運算部152之決定部1523，從頭部H之位置及姿勢之資訊運算出攝影機111之目標位置及目標姿勢。例如，記憶部154，儲存用以追隨使用者P之頭部H之動作使各裝置移動之各種參數之關係。例如，頭部H之位置及姿勢之變動量與攝影機111之位置及姿勢之變動量之關係的變動關係，被儲存於記憶部154。決定部1523，使用頭部H之位置及姿勢之資訊與變動關係，決定用以追隨頭部H之動作使攝影機111移動之攝影機111之目標位置及目標姿勢。此處，頭部H之位置及姿勢之資訊，包含針對動作之機器人200，使用者P為了通過攝影機111目視確認終端效應器230等之機器人200之部位，使用者P移動之頭部H之位置及姿勢之資訊。
決定部1523，當在使用既定相對關係決定攝影機111之目標位置及姿勢之控制的執行中，從檢測控制部156接收到顯示使用者P之頭部H之位置及姿勢之變動的資訊（以下，亦稱「頭部動作資訊」）時，可優先進行依據頭部動作資訊決定攝影機111之目標位置及姿勢的控制。也就是說，決定部1523作為修正攝影機111之位置及方向之指令的修正指令，接收頭部動作資訊，將與既定相對關係對應之攝影機111之目標位置及方向，變動為依據頭部動作資訊之攝影機111之目標位置及方向。據此，使用既定相對關係決定之攝影機111之目標位置及姿勢，即被依據頭部H之位置及姿勢之變動的攝影機111之目標位置及姿勢加以修正。也就是說，使用者P可藉由移動頭部H將攝影機111之目標位置及目標姿勢修正為所欲之位置及姿勢。
又，決定部1523，亦可取代使用既定相對關係之攝影機111之目標位置及姿勢，而將依據頭部動作資訊之攝影機111之目標位置及姿勢決定為修正後之攝影機111之目標位置及姿勢。決定部1523，亦可在使用既定相對關係之攝影機111之目標位置及姿勢中加上依據頭部動作資訊之攝影機111之目標位置及姿勢所生成之攝影機111之目標位置及姿勢，決定為修正後之攝影機111之目標位置及姿勢。
決定部1523，可在攝影機111之目標位置及方向之修正後，將修正結果反映至與既定相對關係對應之攝影機111之目標位置及方向之決定。或者，決定部1523，亦可在攝影機111之目標位置及方向之修正後，不將修正結果反映至既定相對關係，而決定攝影機111之目標位置及姿勢。
接著，說明變形例2之攝影系統100之動作。圖10係顯示變形例2之攝影系統100之一動作例的流程圖。如圖10所示，首先，於步驟S201，攝影控制裝置150B以決定機器人200之終端效應器230與攝影裝置110之攝影機111之既定相對關係、以及攝影機111及使用者P之頭部H各個之初期位置及初期姿勢的初期設定模式動作。
其次，步驟S202及S203之處理，與例示性實施形態之步驟S102及S103相同。
其次，於步驟S204，攝影控制裝置150B決定使用者P之頭部H之初期位置及初期姿勢。具體而言，使用者P在頭部H之位置及姿勢成為所欲之位置及姿勢時，即將決定頭部H之初期位置及初期姿勢之指令輸入攝影輸入裝置130。攝影控制裝置150B使動作檢測裝置160之3個紅外線感測器161進行紅外線之檢測動作，並處理各紅外線感測器161之檢測結果，以檢測頭部H之位置及姿勢。攝影控制裝置150B將檢測出之頭部H之位置及姿勢，決定為頭部H之初期位置及初期姿勢。
其次，步驟S205至S212之處理，與例示性實施形態之步驟S104至S111之處理相同。
其次，於步驟S213，攝影控制裝置150B判定是否已由使用者P將追隨頭部H之動作修正攝影機111之位置及姿勢之指令的修正指令，輸入攝影輸入裝置130。攝影控制裝置150B，在已完成輸入時（步驟S213為是）前進至步驟S214，未輸入時（步驟S213為否）前進至步驟S222。
於步驟S214，攝影控制裝置150B使3個紅外線感測器161連續執行頭部H之紅外線標示器162之紅外線檢測。又，攝影控制裝置150B，亦可在步驟S207之處理後至步驟S213之處理後為止之任一時序開始步驟S214之處理。
其次，於步驟S215，使用者P一邊目視確認顯示裝置140B、一邊使頭部H移動至所欲位置及姿勢。例如，使用者P移動頭部H以使顯示裝置140B中映出之終端效應器230成為所欲位置及姿勢。攝影控制裝置150B處理各紅外線感測器161之檢測結果，以檢測使用者P之頭部H相對初期位置及初期姿勢之位置及姿勢。攝影控制裝置150B以既定時間間隔檢測頭部H之位置及姿勢。
其次，於步驟S216，攝影控制裝置150B，將用以依據檢測出之頭部H之位置及姿勢來移動攝影機111之位置及姿勢的攝影機111之目標位置及目標姿勢，決定為攝影機111之修正目標位置及修正目標姿勢。攝影控制裝置150B，根據檢測出之頭部H之位置及姿勢之資訊與記憶部154中儲存之變動關係，運算出攝影機111之修正目標位置及修正目標姿勢。
其次，於步驟S217，攝影控制裝置150B，決定用以使攝影機111之位置及姿勢移動至攝影機111之修正目標位置及修正目標姿勢的無人飛行器120之修正目標位置及修正目標姿勢、與平衡架112各部位之修正目標動作狀態。攝影控制裝置150B，將使無人飛行器120移動至修正目標位置及修正目標姿勢的修正動作指令、與使平衡架112動作至修正目標動作狀態的修正動作指令，送至無人飛行器120及攝影裝置110。
其次，於步驟S218，無人飛行器120依據修正動作指令移動至修正目標位置及修正目標姿勢，攝影裝置110依據修正動作指令使平衡架112動作至修正目標動作狀態。
其次，於步驟S219，攝影控制裝置150B判定是否由使用者P對攝影輸入裝置130輸入了結束修正指令，在已輸入時（步驟S219為是）前進至步驟S220，在未輸入時（步驟S219為否）回到步驟S214。
步驟S220及S221之處理與例示性實施形態之步驟S115及S116之處理相同。
其次，於步驟S222，攝影控制裝置150B判定是否由使用者P對攝影輸入裝置130輸入了結束攝影系統100之動作之指令，在已輸入時（步驟S222為是）結束一連串之處理，在未輸入時（步驟S222為否）回到步驟S209。
藉由步驟S201至S222之處理，攝影控制裝置150B根據追隨使用者P之頭部H之動作移動之攝影機111之位置及姿勢，修正相對位置關係。如此，使用者P即能藉由使頭部H移動至所欲位置及方向，簡單地決定對使用者P而言更為希望之相對位置關係。
又，於變形例2，攝影控制裝置150B在依據相對位置關係之無人飛行器120及平衡架112之動作控制中，接收到攝影機111之位置及姿勢之修正指令時，即以對應追隨使用者P之頭部H之動作移動之攝影機111之位置及姿勢之方式修正相對位置關係，但不限定於此。例如，攝影控制裝置150B可修正追隨頭部H之動作修正攝影機111之位置及姿勢，而不修正相對位置關係。此場合，攝影控制裝置150B係追隨頭部H之動作暫時修正攝影機111之位置及姿勢，之後，根據既有之相對位置關係控制攝影機111之位置及姿勢。再者，攝影控制裝置150B亦可根據透過攝影輸入裝置130之使用者P之指令，決定有無相對位置關係之修正。
又，於變形例2，攝影控制裝置150B亦可併用依據使用攝影輸入裝置130之操作使攝影機111之位置及姿勢移動的控制、與使攝影機111之位置及姿勢追隨使用者P之頭部H之動作的控制。此外，亦可將變形例2之攝影系統100之構成適用於變形例1。
（其他實施形態） 以上，雖係針對本發明之例示性實施形態及變形例做了說明，但本發明不限定於上述例示性實施形態及變形例。亦即，在本發明範圍内可進行各種變形及改良。例如，將各種變形實施於例示性實施形態及變形例者、以及將不同之例示性實施形態及變形例中之構成要素加以組合構建之形態，亦包含於本發明之範圍内。
例如，於例示性實施形態及變形例中，攝影控制裝置150、150A及150B雖係依據相對位置關係控制無人飛行器120及平衡架112之動作，但不限定於此。例如，攝影控制裝置150、150A及150B亦可不使用相對位置關係，而依據由使用者P輸入至攝影輸入裝置130之攝影機111之位置及姿勢之指令、及／或以使攝影機111之位置及姿勢追隨使用者P之頭部H之動作之方式，控制無人飛行器120及平衡架112之動作。
又，於變形例2，動作檢測裝置160雖為了檢測使用者P之頭部H之動作而具備紅外線感測器161及紅外線標示器162，但不限定於此，可具備能檢測頭部H之動作的任何構成。
例如，動作檢測裝置160可具備裝著在頭部H之加速度感測器及角速度感測器，來檢測頭部H之6軸方向之加速度及角速度。此場合，攝影控制裝置150B可以是透過有線通訊或無線通訊來接收來自加速度感測器及角速度感測器之檢測結果。攝影控制裝置150B可使用加速度及角速度之檢測結果來檢測頭部H之位置及姿勢。
或者，動作檢測裝置160亦可具備配置在離開頭部H之位置的3維攝影機，以拍攝頭部H之3維影像。3維影像之各畫素之畫素值，係顯示至該畫素所映出之被拍攝體的距離值。此場合，攝影控制裝置150B可藉由使用頭部H之模板的圖案匹配法等之影像處理，來檢測映出之3維影像之頭部H之像及頭部H之姿勢，從3維影像之各畫素之畫素值來檢測頭部H之位置。再者，動作檢測裝置160可具備以互異位置及方向配置之複數個3維攝影機。攝影控制裝置150B可藉由處理各3維攝影機之3維影像，來生成頭部H之3維模型。攝影控制裝置150B可使用頭部H之3維模型來檢測頭部H之位置及姿勢。
或者，動作檢測裝置160亦可具備磁場產生裝置與裝著在頭部H之磁感測器，以檢測磁感測器之位置及姿勢。此場合，攝影控制裝置150B可透過有線通訊或無線通訊接收來自磁感測器之檢測結果。攝影控制裝置150B可使用磁感測器之位置及姿勢之檢測結果來檢測頭部H之位置及姿勢。
又，本發明技術之各態樣例，例舉如下。本發明一態樣之攝影系統，具備：無人飛行器；攝影裝置，係搭載於該無人飛行器，拍攝對對象物進行作業之機器人；顯示裝置，係配置在距離該無人飛行器之遠處，將以該攝影裝置拍攝之影像顯示予操作該機器人之使用者；以及控制裝置，係控制該攝影裝置及該無人飛行器之動作；該控制裝置，取得與該機器人之動作關連之資訊的動作關連資訊，以對應該動作關連資訊變動該攝影裝置之位置及方向之方式移動該無人飛行器。
依據上述態樣，攝影系統係將與機器人操作關連之動作關連資訊用於無人飛行器之移動控制。如此，能簡化用以操作無人飛行器之使用者操作及降低操作量。因此，攝影系統可使搭載攝影裝置之無人飛行器之操作簡單。
本發明一態樣之攝影系統中，該控制裝置，作為該動作關連資訊取得顯示該機器人之動作之動作資訊，以根據該動作資訊變動該攝影裝置之位置及方向之方式移動該無人飛行器。
依據上述態樣，攝影系統將機器人之動作資訊用於無人飛行器之移動控制。例如，攝影系統可以追隨機器人之動作移動之方式，控制無人飛行器之移動。據此，能簡化使用者對無人飛行器之操作及降低操作量。
本發明一態樣之攝影系統，進一步具備接收該使用者之指令輸入的輸入裝置；該控制裝置，透過該輸入裝置接收用以修正該攝影裝置之位置及方向之指令的修正指令，以將與該動作關連資訊對應之該攝影裝置之位置及方向，變動為依據該修正指令之該攝影裝置之位置及方向之方式，移動該無人飛行器。
依據上述態樣，攝影系統可將對應動作關連資訊使攝影裝置之位置及方向變動之無人飛行器之移動，依據透過輸入裝置接收之修正指令加以修正。攝影系統可取代對應動作關連資訊之攝影裝置之位置及方向，使用依據修正指令之攝影裝置之位置及方向，亦可使用在對應動作關連資訊之攝影裝置之位置及方向加上依據修正指令之攝影裝置之位置及方向所生成之攝影裝置之位置及方向。無論何者，使用者皆能以意圖之方式修正攝影裝置之位置及方向。
本發明一態樣之攝影系統中，該控制裝置，可在依據該修正指令之該攝影裝置之位置及方向之變動後，將依據該修正指令之該攝影裝置之位置及方向之變動結果，反映於對應該動作關連資訊之該攝影裝置之位置及方向。
依據上述態樣，攝影系統可將依據修正指令之修正，反映至修正後之無人飛行器之移動控制。因此，攝影系統能以一邊反映使用者之意圖、一邊對應動作關連資訊使攝影裝置之位置及方向變動之方式，使無人飛行器移動。
本發明一態樣之攝影系統，進一步具備檢測該使用者頭部之動作的檢測裝置；該控制裝置，從該檢測裝置取得該使用者頭部之動作之資訊，以追隨該使用者頭部之動作變動該攝影裝置之位置及方向之方式移動該無人飛行器。
依據上述態樣，攝影系統係將使用者頭部之動作之資訊用於無人飛行器之移動控制。攝影系統可取代對應動作關連資訊之攝影裝置之位置及方向，使用追隨了使用者頭部之動作之攝影裝置之位置及方向，亦可使用在對應動作關連資訊之攝影裝置之位置及方向加上追隨了使用者頭部之動作之攝影裝置之位置及方向所生成之攝影裝置之位置及方向。無論何者，皆能簡化使用者對無人飛行器之操作及降低操作量。例如，使用者可藉由在意圖之所視方向及移動量使頭部移動，使攝影裝置以對應之方向及移動量移動，以觀察意圖之影像。
本發明一態樣之攝影系統中，該機器人包含終端效應器與使該終端效應器移動之機器臂，該控制裝置，作為該動作關連資訊取得該終端效應器之位置及方向之資訊，以追隨該終端效應器之位置及方向變動該攝影裝置之位置及方向之方式移動該無人飛行器。
依據上述態樣，使用者可藉由操作機器人變動終端效應器之位置及方向，據以使無人飛行器變動攝影裝置之位置及方向。據此，能簡化使用者對無人飛行器之操作及降低操作量。例如，在攝影裝置拍攝終端效應器時，由於攝影裝置係對應終端效應器之位置及方向之變動而移動，因此攝影裝置可持續拍攝終端效應器將之映出於顯示裝置。例如，在從固定位置之拍攝而移動之終端效應器被機器臂遮蔽之情形時，攝影裝置可迴避機器臂造成之干涉來拍攝終端效應器。
本發明一態樣之攝影系統中，該控制裝置可根據該終端效應器之位置及方向之資訊，以該終端效應器與該無人飛行器之距離成為第1既定距離以上之方式，控制該無人飛行器之動作。
依據上述態樣，攝影系統係以避免進入距離終端效應器不滿第1既定距離之區域之方式，控制無人飛行器之移動。因此，攝影系統可抑制無人飛行器與終端效應器及機器臂之接觸。
本發明一態樣之攝影系統中，該控制裝置，在接收到該終端效應器與該無人飛行器之距離不滿該第1既定距離之指令時，使該無人飛行器位於與該終端效應器相距該第1既定距離以上之位置，使該攝影裝置進行推攝。
依據上述態樣，在無人飛行器需要移動至與終端效應器相距不滿第1既定距離之目的位置之情形時，攝影系統可在抑制無人飛行器進入與終端效應器相距不滿第1既定距離之區域內之同時、使攝影裝置拍攝與在目的位置拍攝時相同之影像。
本發明一態樣之攝影系統中，該控制裝置可因應根據該終端效應器之位置及方向之資訊的該終端效應器之移動速度，增減該第1既定距離。
依據上述態樣，由於無人飛行器係以追隨終端效應器之位置及方向之方式移動，因此無人飛行器之移動速度，會與終端效應器之移動速度同樣的增減。攝影系統可因應終端效應器之移動速度增減第1既定距離，以更為確實地防止無人飛行器與終端效應器及機器臂之接觸。例如，當終端效應器之移動速度增加時，可增加第1既定距離，當終端效應器之移動速度減少時，可減少第1既定距離。在機器人使用終端效應器進行細緻之作業時，終端效應器之移動速度會有降低之傾向，無人飛行器可接近終端效應器。
本發明一態樣之攝影系統中，該控制裝置，可根據該終端效應器之位置及方向之資訊，以該終端效應器與該無人飛行器之距離成為第2既定距離以下之方式，控制該無人飛行器之動作。
依據上述態樣，攝影系統係以不會進入與終端效應器相距超過第2既定距離之區域之方式控制無人飛行器之移動。因此，攝影系統可抑制無人飛行器與周圍物體接觸。第2既定距離可大於第1既定距離。
本發明一態樣之攝影系統中，該控制裝置，在接收到該終端效應器與該無人飛行器之距離超過該第2既定距離之指令時，可使該無人飛行器位於與該終端效應器相距該第2既定距離以下之位置，使該攝影裝置進行拉攝。
依據上述態樣，在無人飛行器需要移動至與終端效應器相距超過第2既定距離之目的位置之情形時，攝影系統可在抑制無人飛行器進入與終端效應器相距超過第2既定距離之區域之同時、使攝影裝置拍攝與在目的位置拍攝時相同之影像。
本發明一態樣之攝影系統中，該控制裝置，可因應根據該終端效應器之位置及方向之資訊的該終端效應器之移動速度，增減該第2既定距離。
依據上述態樣，攝影系統可藉由因應終端效應器之移動速度增減第2既定距離，以更為確實地防止無人飛行器與周圍物體接觸。例如，當終端效應器之移動速度增加時，可減少第2既定距離，當終端效應器之移動速度減少時，可增加第2既定距離。
本發明一態樣之機器人系統，具備本發明一態樣之攝影系統、與該機器人。依據上述態樣，可獲得與本發明一態樣之攝影系統相同之效果。
又，以上所使用之序數、數量等之數字，皆是為用以具體說明本發明技術之例示，本發明不限於例示之數字。此外，構成要素間之連接關係僅係為具體說明本發明之技術，用以實現本發明功能之連接關係不限定於此。
本發明為了在不脫離其本質性特徴之精神下能以各種形式實施，與說明書之記載相較更應以所附之請求項來定義本發明之範圍，因此例示性之實施形態及變形例僅為例示性，而非限定性之揭示。其意圖在於，請求項及其範圍内之所有變更或請求項及其範圍內之均等物，皆應包含於請求項。
1:機器人系統 100:攝影系統 110:攝影裝置 111:攝影機 112:平衡架 113:攝影機控制裝置 120:無人飛行器 121:旋轉翼 122:翼驅動裝置 123:位置檢測裝置 124:第1通訊器 125:飛行器控制裝置 130:攝影輸入裝置（輸入裝置） 140、140B:顯示裝置 150、150A、150B:攝影控制裝置（控制裝置） 151:驅動控制部 1511:攝影機控制部 1512:飛行器控制部 152、152A:位置姿勢運算部 1521:第1檢測部 1522:第2檢測部 1523:決定部 153:顯示控制部 154:記憶部 155:第2通訊器 160:動作檢測裝置（檢測裝置） 161:紅外線感測器 162:紅外線標示器 200:機器人 210:機器臂 211:關節 212:關節驅動裝置 220:基部 230:終端效應器 300:機器人操作裝置 400:機器人控制裝置 A1:以終端效應器為中心之半徑L1之區域 A2:以終端效應器為中心之半徑L2之區域 A3:區域A1與區域A2間之區域 A4:可動範圍 A5:作業範圍 A6:臂區域 DR:橫搖（rolling）方向 DP:縱搖（pitching）方向 DY:偏搖（yawing）方向 H:使用者 L1:區域A1之半徑（第1既定距離） L2:區域A2之半徑（第2既定距離） L3:第3既定距離 P:使用者之頭部 W:對象物（工件）
[圖1]係例示之實施形態之機器人系統之一構成例的立體圖。 [圖2]係例示之實施形態之無人飛行器之一構成例的立體圖。 [圖3]係例示之實施形態之攝影系統之功能性構成之一例的方塊圖。 [圖4]係例示之實施形態之攝影系統之一動作例的流程圖。 [圖5]係例示之實施形態之變形例1之機器人系統之一構成例的立體圖。 [圖6]係顯示變形例1之攝影系統之功能性構成之一例的方塊圖。 [圖7]係顯示變形例1中之無人飛行器之飛行限制區域之另一例的立體圖。 [圖8]係例示之實施形態之變形例2之機器人系統之一構成例的立體圖。 [圖9]係顯示變形例2之攝影系統之功能性構成之一例的方塊圖。 [圖10]係顯示變形例2之攝影系統之一動作例的流程圖。
1:機器人系統
100:攝影系統
110:攝影裝置
120:無人飛行器
130:攝影輸入裝置
140:顯示裝置
150:攝影控制裝置
200:機器人
210:機器臂
211:關節
212:關節驅動裝置
220:基部
230:終端效應器
300:機器人操作裝置
400:機器人控制裝置
H:使用者
P:使用者之頭部
W:對象物(工件)

Claims (13)

  1. 一種攝影系統，具備： 無人飛行器； 攝影裝置，係搭載於該無人飛行器，拍攝對對象物進行作業之機器人； 顯示裝置，係配置在距離該無人飛行器之遠處，將以該攝影裝置拍攝之影像顯示予操作該機器人之使用者；以及 控制裝置，係控制該攝影裝置及該無人飛行器之動作； 該控制裝置，取得與該機器人之動作關連之資訊的動作關連資訊，以對應該動作關連資訊變動該攝影裝置之位置及方向之方式移動該無人飛行器。
  2. 如請求項1所述之攝影系統，其中，該控制裝置，作為該動作關連資訊取得顯示該機器人之動作之動作資訊，以根據該動作資訊變動該攝影裝置之位置及方向之方式移動該無人飛行器。
  3. 如請求項1或2所述之攝影系統，其進一步具備接收該使用者之指令輸入的輸入裝置； 該控制裝置，透過該輸入裝置接收用以修正該攝影裝置之位置及方向之指令的修正指令，以將與該動作關連資訊對應之該攝影裝置之位置及方向，變動為依據該修正指令之該攝影裝置之位置及方向之方式，移動該無人飛行器。
  4. 如請求項3所述之攝影系統，其中，該控制裝置，在依據該修正指令之該攝影裝置之位置及方向之變動後，將依據該修正指令之該攝影裝置之位置及方向之變動結果，反映於與該動作關連資訊對應之該攝影裝置之位置及方向。
  5. 如請求項1至4中任一項所述之攝影系統，其進一步具備檢測該使用者頭部之動作的檢測裝置； 該控制裝置，從該檢測裝置取得該使用者頭部之動作之資訊，以追隨該使用者頭部之動作變動該攝影裝置之位置及方向之方式移動該無人飛行器。
  6. 如請求項1至5中任一項所述之攝影系統，其中，該機器人包含終端效應器與使該終端效應器移動之機器臂； 該控制裝置，作為該動作關連資訊取得該終端效應器之位置及方向之資訊，以追隨該終端效應器之位置及方向變動該攝影裝置之位置及方向之方式移動該無人飛行器。
  7. 如請求項6所述之攝影系統，其中，該控制裝置，根據該終端效應器之位置及方向之資訊，以該終端效應器與該無人飛行器之距離成為第1既定距離以上之方式，控制該無人飛行器之動作。
  8. 如請求項7所述之攝影系統，其中，該控制裝置，在接收到該終端效應器與該無人飛行器之距離不滿該第1既定距離之指令時，使該無人飛行器位於與該終端效應器相距該第1既定距離以上之位置，使該攝影裝置進行推攝。
  9. 如請求項7或8所述之攝影系統，其中，該控制裝置，因應根據該終端效應器之位置及方向之資訊的該終端效應器之移動速度，增減該第1既定距離。
  10. 如請求項6至9中任一項所述之攝影系統，其中，該控制裝置，根據該終端效應器之位置及方向之資訊，以該終端效應器與該無人飛行器之距離成為第2既定距離以下之方式，控制該無人飛行器之動作。
  11. 如請求項10所述之攝影系統，其中，該控制裝置，在接收到該終端效應器與該無人飛行器之距離超過該第2既定距離之指令時，使該無人飛行器位於與該終端效應器相距該第2既定距離以下之位置，使該攝影裝置進行拉攝。
  12. 如請求項10或11所述之攝影系統，其中，該控制裝置，因應根據該終端效應器之位置及方向之資訊的該終端效應器之移動速度，增減該第2既定距離。
  13. 一種機器人系統，其具備： 請求項1至12中任一項所述之攝影系統；以及 該機器人。
TW110121848A 2020-06-19 2021-06-16 攝影系統及機器人系統 TW202201946A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020106027 2020-06-19
JPJP2020-106027 2020-06-19

Publications (1)

Publication Number Publication Date
TW202201946A true TW202201946A (zh) 2022-01-01

Family

ID=79267959

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110121848A TW202201946A (zh) 2020-06-19 2021-06-16 攝影系統及機器人系統

Country Status (5)

Country Link
US (1) US20230239439A1 (zh)
JP (1) JP7459253B2 (zh)
CN (1) CN115697843A (zh)
TW (1) TW202201946A (zh)
WO (1) WO2021256464A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022032206A (ja) * 2020-08-11 2022-02-25 コベルコ建機株式会社 作業支援装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6938389B2 (ja) 2016-01-29 2021-09-22 住友建機株式会社 ショベル及びショベルの周囲を飛行する自律式飛行体
US20200055195A1 (en) 2017-05-03 2020-02-20 Taiga Robotics Corp. Systems and Methods for Remotely Controlling a Robotic Device
CN108476288B (zh) * 2017-05-24 2021-05-07 深圳市大疆创新科技有限公司 拍摄控制方法及装置
JP6944354B2 (ja) * 2017-11-22 2021-10-06 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法
EP3821313A4 (en) 2018-07-12 2022-07-27 Terraclear Inc. SYSTEM AND METHOD FOR IDENTIFICATION AND COLLECTION OF OBJECTS

Also Published As

Publication number Publication date
JP7459253B2 (ja) 2024-04-01
WO2021256464A1 (ja) 2021-12-23
US20230239439A1 (en) 2023-07-27
CN115697843A (zh) 2023-02-03
JPWO2021256464A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
RU2664257C2 (ru) Системы и способы отслеживания местоположения подвижного целевого объекта
CN111482959B (zh) 机器人运动视觉系统的自动手眼标定系统与方法
US9987744B2 (en) Generating a grasp pose for grasping of an object by a grasping end effector of a robot
CN112672860B (zh) 用于ar和数字孪生的机器人校准
JP6567563B2 (ja) 衝突回避および軌道復帰能力を有する人型ロボット
US11584004B2 (en) Autonomous object learning by robots triggered by remote operators
US11565427B2 (en) Robot system
US10166676B1 (en) Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
US8306661B2 (en) Method and system for establishing no-entry zone for robot
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US20180141213A1 (en) Anti-collision system and anti-collision method
TWI687870B (zh) 環境取得系統以及環境取得方法
TW202201946A (zh) 攝影系統及機器人系統
Niu et al. Eye-in-hand manipulation for remote handling: Experimental setup
KR102565444B1 (ko) 객체를 식별하기 위한 장치 및 방법
US11926064B2 (en) Remote control manipulator system and remote control assistance system
KR102573020B1 (ko) 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법
CN110969652B (zh) 基于机械手单目相机充当双目立体视觉的拍摄方法及系统
JP7478236B2 (ja) 撮像システム及びロボットシステム
CN113316505B (zh) 图像分析系统
CN114599485B (zh) 主从系统以及控制方法
US20220118602A1 (en) Control apparatus for robot, control method for robot, and program
CN116235122A (zh) 处理方法、程序及机器人系统
JP2022148264A (ja) 走行装置、制御方法及びプログラム
CN117769484A (zh) 指向移动机器人的自主和远程操作传感器