WO2017057157A1 - 飛行装置、移動装置、サーバおよびプログラム - Google Patents

飛行装置、移動装置、サーバおよびプログラム Download PDF

Info

Publication number
WO2017057157A1
WO2017057157A1 PCT/JP2016/077907 JP2016077907W WO2017057157A1 WO 2017057157 A1 WO2017057157 A1 WO 2017057157A1 JP 2016077907 W JP2016077907 W JP 2016077907W WO 2017057157 A1 WO2017057157 A1 WO 2017057157A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
flying
information
player
flying device
Prior art date
Application number
PCT/JP2016/077907
Other languages
English (en)
French (fr)
Inventor
祐士 中尾
彰信 菅
小林 弘典
輝男 小林
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201680056577.1A priority Critical patent/CN108141512B/zh
Priority to JP2017543200A priority patent/JP6911762B2/ja
Priority to US15/765,237 priority patent/US20180280780A1/en
Publication of WO2017057157A1 publication Critical patent/WO2017057157A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • B64U30/29Constructional aspects of rotors or rotor supports; Arrangements thereof
    • B64U30/294Rotors arranged in the UAV body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Definitions

  • the present invention relates to a flying device, a moving device, a server, and a program.
  • an unmanned airplane equipped with a camera is known (for example, see Patent Document 1).
  • An unmanned aerial vehicle is equipped with a rotating wing such as a helicopter or quadricopter (quadriccopter), a front camera that captures an image of the scene to which the unmanned airplane is directed, and the terrain where the unmanned airplane is flying above it.
  • a vertical camera is provided to capture the image.
  • an unmanned aerial vehicle supports a competition player.
  • the flying device controls the flying unit that flies the main body, the imaging unit that captures the moving object and acquires the image data, and the image data. And a control unit that causes the main body to fly to a base position.
  • the control unit causes the flying unit to fly the object after the imaging unit captures an image to a position where the imaging unit can capture the image. Is preferably controlled.
  • the imaging unit images the moving object at different timings.
  • the control unit causes the imaging unit to change an angle of view when imaging. .
  • the control unit causes the imaging unit to image the object after the imaging unit captures an image. Is preferred.
  • the control information includes information based on movement of the object.
  • the control information includes information regarding a position where the moving object stops moving. preferable.
  • the control information includes information related to a stop position of the object predicted based on an output of the imaging unit that images the moving object. It is preferable to include.
  • the control unit in the flying device according to any one of the first to eighth aspects, is configured to fly based on a position where the moving object has stopped moving. It is preferable to control the flying part.
  • the control unit in the flying device according to any one of the first to ninth aspects, moves the flying unit to a position where the moving object has stopped moving. It is preferable to fly.
  • the control unit causes the flying unit to fly above the position where the moving object has stopped moving.
  • the flying device according to any one of the first aspect to the eleventh aspect includes a transmission unit that transmits information on the object that has stopped moving to another electronic device. Is preferred.
  • the imaging unit images at least one of the stopped object and a position where the stopped object exists.
  • the transmitting unit captures image data obtained by imaging at least one of the stopped object and a position where the stopped object exists. It is preferable to transmit to another electronic device.
  • the imaging unit images the object before moving from above the object.
  • the imaging unit images the moving object so that movement of the moving object in a horizontal direction can be identified. preferable.
  • the control unit controls the flying unit based on an environment or a subject.
  • the control unit controls the flying unit based on the position of the sun or the position of the subject.
  • the subject is preferably a person.
  • the imaging unit images the first object that has stopped moving
  • the control unit It is preferable that the flying unit fly after the imaging of the first object by the imaging unit to the sky before the movement of the second object different from the first object.
  • the object is preferably a ball.
  • the control unit preferably causes the flying unit to fly to a position where it does not collide with the object. .
  • the communication device includes a communication unit that communicates with a server, and the communication unit outputs the output of the imaging unit to the server.
  • the control information based on the output of the imaging unit is received from the server.
  • a server that communicates with the flying device according to any one of the first to twenty-third aspects, a receiving unit that receives image data from the flying device, and the image A generation unit configured to generate the control information based on data; and a transmission unit configured to transmit the control information to the flying device.
  • the computer is caused to execute a control process for controlling at least one of the flying unit and the imaging unit based on control information based on the output of the imaging unit.
  • the moving device includes an imaging unit that images a moving object, a moving unit that moves by placing the imaging unit, and the object after the imaging unit images the object.
  • the flying device includes an acquisition unit that acquires flight information based on information related to a game, a flight unit that holds and acquires the acquisition unit, and the flight unit based on the flight information. And a control unit for controlling.
  • the control unit causes the flying unit to fly forward of a player who performs the competition.
  • the control unit causes the flying unit to fly to a visible position visually recognized by the player.
  • the visible position includes a position serving as a mark toward the player.
  • the visible position preferably includes a position that serves as a mark for altitude.
  • the control unit adds the flight information acquired by the acquiring unit after flying to the visible position.
  • the acquisition unit obtains designated position information based on a designated position designated by a player who performs the competition.
  • the control unit controls the flying unit based on the designated position information.
  • the information relating to the competition relates to information relating to the athlete performing the competition, and a tool used in the competition. It is preferable to include at least one of information and information regarding the competition environment.
  • the information about the athlete is at least one of the athlete's movement information, the athlete's attribute information, and the athlete's position information. Preferably one is included.
  • the attribute of the athlete in the flying device according to the thirty-sixth aspect, it is preferable that the attribute of the athlete includes at least one of the sex, age, and evaluation value of the athlete.
  • the information relating to the tool used in the game preferably includes the type of the tool.
  • the information regarding the competition environment is at least one of the course information of the competition or the wind information. It is preferable to include the above.
  • the acquisition unit includes first flight information based on a first player performing the competition, Second flight information based on a second player different from the first player, and the control unit controls the flight unit based on the first flight information, and then based on the second flight information. It is preferable to control the flying part.
  • the imaging apparatus in the flying device according to any one of the twenty-eighth aspect to the forty-first aspect, includes an imaging unit that acquires image data, and the acquisition unit is configured to perform the flight based on the image data It is preferable to acquire information.
  • the imaging unit images an object to which a player who performs the competition gives power, and the acquisition unit is based on a trajectory of the object.
  • the flight information is preferably acquired.
  • the imaging unit images the player before applying force to the object.
  • the imaging unit images the moving object
  • the control unit is moving to the flying unit. It is preferable to fly to a position where it does not collide with the object.
  • a transmission unit is provided for transmitting the image data acquired by the imaging unit to another electronic device. Is preferred.
  • the acquisition unit preferably acquires the flight information from another electronic device.
  • a transmission unit that transmits data relating to the competition advice to a display device.
  • a server that communicates with the flying device according to any one of the twenty-eighth to the forty-seventh aspects, and that generates the flight information based on the information related to the competition. And a transmission unit that transmits the flight information to the flight device.
  • the program is a program for controlling a flying part capable of flying, an acquisition process for obtaining flight information based on information relating to the competition, and the flying part is controlled based on the flight information. Control processing to be executed by a computer.
  • the mobile device includes an acquisition unit that acquires movement information based on information related to a game, a movement unit that moves while holding the acquisition unit, and the movement unit based on the movement information. And a control unit for controlling.
  • FIG. 1 is a block diagram showing a schematic configuration of the support system.
  • FIG. 2 is a schematic diagram showing the appearance of the drone.
  • FIG. 3 is a flowchart for explaining the support operation for notifying the drop position.
  • FIG. 4 is a diagram for explaining the predetermined position.
  • FIG. 5 is a diagram showing an example of a drone flight course.
  • FIG. 6 is a schematic diagram illustrating an example of the arrangement of drones in the case of shot direction advice.
  • FIG. 7 is a flowchart illustrating an example of advice processing.
  • FIG. 8 is a flowchart for explaining a support operation for advising a golf club.
  • FIG. 9 is a diagram illustrating the gripping device.
  • FIG. 1 is a block diagram showing a schematic configuration of the support system.
  • FIG. 2 is a schematic diagram showing the appearance of the drone.
  • FIG. 3 is a flowchart for explaining the support operation for notifying the drop position.
  • FIG. 4 is a diagram for explaining the pre
  • FIG. 10 is a diagram when the support system is configured by a drone, a portable terminal, and a communication network.
  • FIG. 11 is a diagram illustrating another example in which a support system is configured by a drone, a portable terminal, a server, and a communication network.
  • FIG. 12 is a diagram illustrating a display image displayed on the mobile terminal.
  • FIG. 13 is a diagram illustrating a cart.
  • FIG. 14 is a diagram illustrating another example of the predetermined position.
  • FIG. 1 is a diagram showing an embodiment of the present invention, and is a block diagram showing a schematic configuration of a support system using an unmanned airplane 11 as a flying device.
  • the support system 1 includes an unmanned airplane 11, a mobile terminal 12, and a server 13.
  • the unmanned airplane 11, the mobile terminal 12, and the server 13 are connected to a communication network 14.
  • the unmanned airplane 11 is an autonomous unmanned airplane capable of autonomous flight.
  • an autonomous multicopter called a drone is used.
  • the unmanned airplane 11 is referred to as a drone 11.
  • the drone 11 is a multicopter having a plurality of propellers.
  • the drone 11 includes a flight unit 111 having a plurality of propellers, a flight control unit 112 that controls the flight unit 111, a camera 113, a camera control unit 114, a GPS (Global Positioning System) receiver 115, a communication unit 116, and the entire drone 11.
  • the control part 117 etc. which control are provided.
  • the flight control unit 112 independently controls a plurality of propellers provided in the flight unit 111 by a known navigation attitude control system.
  • the camera 113 is a camera provided with an electronic image sensor such as a CCD image sensor, and can capture still images and moving images.
  • the camera 113 can control zooming, autofocus, and automatic exposure.
  • the camera 113 is mounted on a gimbal (a turntable), and the viewing direction can be changed up, down, left, and right with respect to the drone body.
  • the camera 113 is controlled by the camera control unit 114, and imaging data is transmitted from the communication unit 116 and transmitted to the mobile terminal 12 or the server 13 via the communication network 14.
  • the GPS receiver 115 receives a signal transmitted from a GPS satellite and detects the absolute position of the drone 11.
  • the absolute position information is transmitted from the communication unit 116 to the mobile terminal 12 or the server 13.
  • the control unit 117 includes a peripheral circuit including a microprocessor and a memory (not shown), and controls each unit of the drone 11 by executing a predetermined control program.
  • the portable terminal 12 includes a display unit 121, a communication unit 122, a GPS receiver 123, and the like. Data can be transmitted / received to / from the drone 11 or the server 13 by the communication unit 122.
  • the GPS receiver 123 receives a signal transmitted from a GPS satellite and detects the absolute position of the mobile terminal 12.
  • the absolute position information (hereinafter referred to as GPS position information) is transmitted from the communication unit 122 to the drone 11 or the server 13.
  • Various information is displayed on the display unit 121. For example, course information, a hit position of the hit ball, a flight distance, advice information, and the like are displayed.
  • the server 13 includes a communication unit 131, a calculation unit 132, a database 133, a control unit 134, and the like.
  • the communication unit 131 transmits and receives various data to and from the drone 11 or the portable terminal 12 via the communication network 14.
  • the calculation unit 132 performs various calculations based on various data received from the communication unit 131. For example, the flight target position of the drone 11 is calculated, the image captured by the camera 113 is analyzed, and various information displayed on the display unit 121 of the mobile terminal 12 is calculated.
  • the control unit 134 includes a peripheral circuit including a microprocessor and a memory (not shown), and executes a predetermined control program. For example, the control unit 134 generates flight command information for the drone 11 based on the image analysis result in the calculation unit 132. The flight command information is transmitted from the communication unit 131 to the drone 11.
  • the database 133 stores data necessary for the support operation. In the example shown in FIG. 1, course data 133a and player data 133b relating to golf support are stored. The competition will be explained using golf as an example.
  • FIG. 2 is a schematic diagram showing the appearance of the drone 11.
  • the drone 11 is a multicopter having four propellers 41.
  • the four propellers 41 are provided on the same plane.
  • Each of the four propellers 41 is controlled independently by a known navigation attitude control system. By this control, the drone 11 turns around the pitch axis 102, turns around the roll axis 103, rotates around the yaw axis 104, translates in the downward direction 100 or the upward direction 101, Or hovering at a predetermined position in the air.
  • the drone 11 has a casing 40 that protects the periphery of the four propellers 41.
  • the housing 40 protects the propeller 41 from coming into direct contact with surrounding obstacles approaching from the horizontal direction.
  • a camera 113 is provided on the lower surface of the drone 11.
  • the camera 113 is mounted on a gimbal 42 that can freely change the posture of the camera 113.
  • the course data 133a in the database 133 includes, for example, (D1) course length, reference number of strokes, (D2) course position information, (D3) recommended clubs (for men and women), (D4) course strategy information, (D5)
  • the course layout is stored for each hole.
  • the course position information is the three-dimensional position information of the course. For example, the tee ground position information (latitude / longitude), the green position information (latitude / longitude), the OB position information (latitude / longitude), the danger location information, etc. It is included.
  • the recommended clubs indicate the recommended clubs for each standard hit, and are registered separately for men and women.
  • the course strategy information is the direction and distance of the hit ball to be hit for each hit of the standard hit number, and data corresponding to the level (evaluation value) of the player for the advanced player, the intermediate player, and the beginner is stored. ing.
  • the course layout is, for example, display image data to be displayed on the display unit 121 or the like of the mobile terminal 12, and a tea ground, green, bunker, OB area, or the like is displayed on a flat image of the entire course.
  • the player data 133b stores, for example, the player's gender, player level information (advanced, intermediate, first ball), the type of golf club used by the player for play, and the appearance characteristics of the player on the day. Yes.
  • the appearance feature of the player is data used as a template when determining whether or not the player exists in the image captured by the camera 113 of the drone 11. For example, an image of a player is taken in advance on the day of play, and a template is created and stored by analyzing the image. Alternatively, the image of the player may be captured by the camera 113 of the drone 11 and a template may be created based on the image.
  • the support operation performed by the drones 11a and 11b the support operation for instructing the players A and B of the hit position of the hit ball will be described. Since the support operation for the players A and B is the same operation, the player A will be described as an example here.
  • the hit position of the hit ball shot by the player A is searched and the drop position is notified to the player A.
  • the flowchart in FIG. 3 shows an example of processing performed by the control unit 134 of the server 13 in the support operation for instructing the player A of the drop position.
  • the falling position is also the stop position where the hit ball has stopped.
  • the control unit 134 starts when it receives a start signal from the drone 11a.
  • a power switch (not shown) provided in the drone 11a is turned on by the player A, the power of the drone 11a is turned on, and the start signal is transmitted from the communication unit 116 of the drone 11a.
  • step S100 the control unit 134 transmits a start signal to the portable terminal 12a of the player A.
  • the portable terminal 12a receives the start signal, it notifies that the drone 11a supporting the player A has started to operate.
  • a notification form for example, a character display such as “Drone 11a has started operation” is displayed on the display device of the mobile terminal 12a.
  • step S110 the control unit 134 transmits to the drone 11a standby flight command information for causing the drone 11a to wait at a predetermined position P1.
  • the flight control unit 112 of the drone 11a causes the drone 11a to hover at the predetermined position P1 based on the standby flight command information transmitted from the server 13.
  • the predetermined position P1 is a position where an image that allows the player A to easily recognize the direction of the hit ball when the player A performs a shot can be captured.
  • the predetermined position P1 is set above the player A or the golf ball GB. From the predetermined position P1, the shot direction, the player A, and the golf ball GB can be accommodated in the screen.
  • FIG. 4 (b) shows an example of an image taken from the predetermined position P1.
  • the arrow R indicates the recommended shot direction
  • the actual shot direction is not necessarily the recommended shot direction R, and there are cases where the recommended shot direction R is shifted to the left or right (up and down in the drawing) as indicated by the broken arrow.
  • the movement of the golf ball GB can be imaged two-dimensionally.
  • the movement of the golf ball GB in the horizontal direction can be recognized from the captured image.
  • the driving amount of the gimbal 42 when tracking the golf ball GB can be kept small, and the falling position of the golf ball GB can be easily recognized.
  • a predetermined position P1 may be set near the player A and the extension line L1 in the recommended shot direction R and obliquely behind the player A.
  • FIG. 14A is a plan view
  • FIG. 14B is a view as seen from the R1 direction. From the predetermined position P1, the shot direction, the player A, and the golf ball GB can be accommodated in the screen.
  • the predetermined position may be a predetermined height position in front of the tee ground indicated by reference numeral P11 in FIG.
  • the direction and the flight distance of the hit ball are predicted based on the gender and level of the player A, the condition of the day, and the player 113 on the tee ground is imaged by the camera 113 from above the predicted fall position. May be.
  • the drone 11a is moved in advance to the sky above the predicted drop position (for example, positions P3 and P4 described in FIG. 5 described later).
  • the predetermined position P1 may be determined based on GPS position information transmitted from the mobile terminal 12a or may be determined based on an image captured by the camera 113.
  • the calculation unit 132 of the server 13 specifies the tee ground where the player A is located based on the GPS position information from the portable terminal 12a and the course position information of the course data 133a.
  • the standby position of the drone 11a is set to a predetermined height position P1 from the specified position of the player A.
  • the height position P1 is set based on the angle of view of the camera 113 so that the player A, the golf ball GB, and the shot direction can be accommodated in the screen. Based on the height of the player A, it may be set at a height position P1 that is not dangerous.
  • a position where the player A and the golf ball GB can be imaged based on the position information of the player A (GPS position information from the mobile terminal 12a), for example, A position where the player A and the golf ball GB enter the angle of view at a position away from the player A by a predetermined distance is defined as a predetermined position P1.
  • the direction of the optical axis of the camera 113 may be determined by predicting the shot direction from the arrangement of the foot of the player A at the time of the shot.
  • the server 13 can recognize where the player A is in which number hole based on the GPS position information from the portable terminal 12a of the player A and the course data 133a of the database 133. For example, when it is recognized that the position of the player A is the tee ground, the standby position of the drone 11a can be calculated as follows. The shot direction of the tee shot (first hit) is stored in the course data 133a of the database 133 for each hole. The server 13 calculates a predetermined position P1 based on the shot direction stored in the course data 133a, and transmits it to the drone 11a as standby flight command information. As a result, the drone 11a flies over at the predetermined position P1 and stands by.
  • the shot direction data stored in the course data 133a is stored only for the tee shot (first shot). Therefore, as the shot direction after the second shot, for example, the direction of the line connecting the golf ball and the pole on the green may be regarded as the shot direction, and the predetermined position P1 may be determined.
  • step S120 when it is determined that the golf ball is teeed up and the golf club is swung up based on the image information (moving image information), the control unit 134 extracts an image of the golf ball being teeed up.
  • the server 13 stores the golf ball as a tracking target template image. If the angle of view of the camera 113 is too wide, the golf ball becomes small and difficult to track, so the camera control unit 114 controls the camera 113 so that the size of the golf ball in the screen becomes an appropriate size.
  • the camera 113 tracks a subject similar to the template image included in the captured image.
  • the first position and the second position are arbitrary positions of the golf ball after the shot.
  • the camera 113 captures a golf ball at different times (for example, captures a moving image), extracts a golf ball included in captured images captured at different times, and changes the position of the golf ball after the shot. That is, tracking is performed by recognizing the movement of the golf ball from the first position to the second position.
  • the computing unit 132 of the server 13 computes the hitting direction and the hitting trajectory (hit trajectory) based on the image data from the drone 11a, and based on the calculation, the gimbal control amount and the camera 113 for placing the hitting ball in the field of view of the camera are calculated.
  • the camera control information such as the zoom amount is calculated. That is, the camera control information is calculated so that the golf ball after moving to the second position falls within the field of view of the camera. The golf ball after moving to the second position may continue to move or may stop.
  • the calculated camera control information is transmitted from the server 13 to the drone 11a.
  • the camera control information includes information for changing the angle of view of the camera 113.
  • step S130 the control unit 134 of the server 13 outputs camera control information, and the shooting direction (shooting angle, shooting angle, and camera shot) of the camera 113 is prevented so that the hit ball (shot golf ball) does not deviate from the shooting screen of the camera 113. Adjust the angle of view) and zoom (view angle). Further, the flying unit 111 may be controlled and moved so that a hit ball (shot golf ball) does not deviate from the imaging screen of the camera 113, and may move (moving flight) while shooting with the camera 113.
  • the computing unit 132 can detect that the hit ball GB has stopped at the drop position 70 based on the image captured by the camera 113.
  • step S140 the controller 134 guides the drone 11a to a position P3 above the drop position 70 (see FIG. 5) where the hit ball GB is stopped.
  • FIG. 5 is a diagram illustrating an example of a flight course of the drone 11a.
  • the drone 11a performs a hovering flight at a predetermined position P1 when the player A takes a shot.
  • the camera 113 tracks the hit ball based on the camera control information from the server 13.
  • the control unit 134 of the server 13 causes the drone 11a to fly to a position P3 above the hit position 70 of the hit ball (indicated by the same reference numeral GB as the golf ball) GB.
  • the predetermined position P1 is set behind the player as shown in FIG. 14, it is moved from the predetermined position P1 to the position P2 like the flight path F1 and then moved to the position P3.
  • the hit ball GB comes to the center of the image while controlling the gimbal 42 (see FIG. 2 and the like) so that the optical axis of the camera 113 gradually moves vertically downward.
  • the flight target position of the drone 11a is controlled.
  • the drone 11a is positioned almost directly above the hit ball GB (position indicated by reference sign P3) stopped at the drop position 70. become.
  • the control unit 134 lowers the drone 11a to the flight target position P4 that is easily visible from the player A of the tee TG. Let the hover fly. By observing the drone 11a that is flying over the course, the player A on the tee ground can easily recognize how far and at what position the hit ball GB has fallen.
  • it demonstrated controlling the position of the drone 11a so that it might be almost right above the hit ball GB it is not restricted to it. It may be a position where the player A can recognize where the hit ball GB has fallen and a position where the player 113 can capture the hit ball GB where the camera 113 is stopped.
  • the calculation unit 132 of the server 13 calculates the latitude / longitude and the flight distance of the drop position 70 from the GPS position information from the drone 11a.
  • the control unit 134 transmits display image data to the portable terminal 12a of the player A.
  • the portable terminal 12a displays the display image on the display unit 121 of the portable terminal 12a.
  • the mark M representing the drop position 70 and the flight distance D are superimposed and displayed on the course layout screen LA stored in the course data 133a of the database 133. Is. Player A can know the falling position 70 of the hit ball GB in more detail from the drone 11a hovering over the course and the display image displayed on the mobile terminal 12a.
  • the display image may be an image obtained by the camera 113 capturing the stopped hitting ball GB.
  • Player A can know the state of the falling position of the hit ball GB from such a display image.
  • the state of the fall position includes, for example, a tall grass, an OB, a fall in a pond, a forest, a tree, and the like.
  • the stopped ball GB may be hidden behind an obstacle such as a tree or a pond and the camera 113 may not be able to capture an image.
  • what is necessary is just to image the position of hit ball GB which has stopped. That is, if the state of the falling position of the hit ball GB that is stopped is known, the hit ball GB may not necessarily be reflected in the image.
  • the display image data transmission may be performed not only to the portable terminal 12a of the player A but also to the portable terminal 12b of the player B.
  • the server 13 receives the GPS position information from the drone 11a
  • the display screen is displayed on the display unit 121 of the portable terminal 12a, so the drone hovering over the flight target position P4 above the fall position. 11a may be returned to the player A.
  • one drone 11 may be operated as follows. If an image of the hit ball GB is acquired at the position P3 above the drop position 70, the drone 11 is returned to the tee ground, and the next player B (for the ball hit by the next player B) A series of operations as shown in FIG.
  • Player B's tee shot is performed.
  • the drone 11b assigned to the player B the same operation as the drone 11a of the player A is performed.
  • player A and player B move to their respective hit ball falling positions.
  • the server 13 can recognize the movement of the player A to the hit ball falling position from the GPS position information received from the portable terminal 12a. Further, since the camera 113 of the drone 11a images the player A, it is possible to recognize the movement of the player A to the hit ball falling position also from the image transmitted from the drone 11a.
  • control unit 134 If the control unit 134 recognizes that the player A moves in the direction of the drop position 70, the control unit 134 moves the drone 11a in the direction of the drop position 70. At this time, the drone 11a may be moved to the drop position 70 regardless of the moving speed of the player A, or the player A may be caused to fly in the direction of the drop position 70 so as to guide the player A to the drop position 70.
  • the hovering state is maintained.
  • the state where the hit ball GB is imaged may be maintained, or the player A approaching the drop position 70 may be imaged.
  • step S160 the control unit 134 determines that the fall position 70 is green on the basis of the GPS position information transmitted from the drone 11a that has reached the sky above the fall point and the course layout information stored in the course data 133a of the database 133. It is determined whether or not. If it is determined that the green is on (yes) in step S160, the process proceeds to step S170 to start the green processing.
  • the processing corresponding to the green means that since the golf ball is put on the green, a support operation corresponding to the putting is performed. In the present embodiment, detailed description of green processing is omitted.
  • step S170 If the process of step S170 is executed, the process of the flowchart shown in FIG. 3 is terminated. On the other hand, if it is determined in step S160 that the drop position 70 is not on the green (no), the process returns to step S110, and the same support operation as in the case of the tee shot (first hit) described above with respect to the second shot is performed.
  • the drone 11 equipped with the camera fly to the flight target position calculated by analyzing the image information
  • the player A can be notified of the fall position of the golf ball as described above.
  • the player can smoothly play.
  • FIG. 13A is a side view of the cart, and a display device 221 is provided in front of the driver's seat of the cart 220.
  • FIG. 13B is a diagram illustrating a display example of the display device 221.
  • a course layout LA is displayed on the screen, and a mark indicating a fall position (golf ball GB indicated by a black circle) is displayed on the course layout LA.
  • a mark indicating a fall position is displayed on the course layout LA.
  • the cart 220 on which the players A and B are placed may be automatically driven to the fall position.
  • the control unit 134 guides the cart 220 to each drop position based on the GPS position information of the drones 11a and 11b hovering over the drop position.
  • a mark representing the drop position 70 is superimposed on the course layout screen on the display unit 121 of the mobile terminal 12.
  • an image obtained by zooming up the golf ball may be displayed on the display unit 121 of the mobile terminal 12 or the display device 221 of the cart 220 so that the course state of the drop position 70 can be understood in detail.
  • the image capturing at the time of shot and the notification of the drop position are performed by one drone 11 a, but the image capturing at the time of shot and the notification of the drop position are performed. May be performed in cooperation with separate drones 11a and 11b.
  • a master / slave relationship may be created between the drones 11a and 11b, and for example, the drone on the shot side may be a master and the drone for notifying the falling position may be controlled as a slave.
  • three or more drones may be operated in cooperation. In this way, by operating a plurality of drones in cooperation with each other, it is possible to search for the drop position more smoothly and accurately.
  • Modification 5 of the first embodiment In the case of the support operation for notifying the falling position of the hit ball, if it is determined that the falling position is OB or the possibility of the lost ball is high, a notification that prompts the player to hit the provisional ball is provided. 12 or the display device 21 of the cart 220 may be used. The repositioning position may be displayed on the display device 21 of the mobile terminal 12 or the cart 220 and instructed. In addition, if it is difficult to determine whether the object is OB, the player may select it. When the result of the shot is OB, an OB tag may be attached to the image (still image or moving image) captured at the time of the shot. The player can improve the form and the like in the case of OB by watching the image with the tag attached after playing.
  • the hitting ball fall position is detected based on the image information acquired by the drone 11a.
  • the hit ball trajectory is calculated based on the image information at the time of the shot, and the hit ball falling position is determined from the calculation result. It may be estimated.
  • the drone 11a is made to fly over the estimated drop position, and based on the image picked up by the camera 113, a hitting ball falling around the drop position is detected. If a hit ball is detected, the drone 11a is guided to a position P3 (see FIG. 5) immediately above the hit ball as in the above-described embodiment.
  • the drone 11a When the predetermined position P1 is set behind the player A, the drone 11a is first raised to the flight target position P2 as in the flight path F1, while continuously shooting the hit ball GB with the camera 113. By raising in this way, it becomes easy to fit the hitting ball GB moving away in the screen of the camera 113. From the server 13, the flight target position based on the image captured by the camera 113 is sequentially transmitted as flight command information. The drone 11a flies to follow the hit ball GB as in the flight path F2 while continuing to capture the hit ball GB with the camera 113 according to the flight command information.
  • a position P12 for example, a predetermined position in FIG. You may wait in the position further upwards from the position P1.
  • the support system using the drone 11 gives various advice to the player.
  • the content of the advice includes, for example, advice on the direction of hitting a golf ball, advice on a golf club to be used, advice on shots, and the like.
  • the competition will be explained using golf as an example.
  • the drone 11 has a target of a size that can be visually recognized by the player as a mark of the target trajectory. This target is usually stored in the housing of the drone 11, and pops out to the table when the target is presented.
  • the target may be, for example, a banner. If the drone 11 does not store the target, the drone 11 itself may be the target. In that case, the drone 11 flies to a position where it can be seen by the player, and serves as a mark for the target trajectory.
  • the calculation unit 132 of the server 13 calculates the target trajectory with reference to the course data 133a and the player data 133b of the database 133, and places the target on the target trajectory.
  • the mark for the target trajectory may be a mark for the direction or a mark for the altitude. Further, since the drone 11 serves as a mark of the target trajectory, it is desirable to fly in front of the player.
  • FIG. 6 is a schematic diagram showing an example of a drone arrangement in the case of shot direction advice.
  • three types of target trajectories L61, L62, and L63 are depicted.
  • the target trajectory L61 one drone 11a is used as a target.
  • the drone 11a is arranged at the apex of the target trajectory L61.
  • a plurality of drones 11a, 11b, and 11c may be arranged on the target trajectory so that the player A can imagine the curve drawn by the target trajectory L62.
  • the target 60 is lowered from the drone 11a, and the drone 11a is hovered so that the target 60 is arranged on the target trajectory L63.
  • the target 60 may be located at the top of the trajectory like the drone 11a on the target trajectory L61, or may be located at other positions.
  • FIG. 7 is a flowchart illustrating an example of advice processing executed by the control unit 134 of the server 13. Here, a process in the case where the target presentation exemplified in the target trajectory L61 in FIG. 6 is performed will be described.
  • step S310 the control unit 134 transmits shooting flight instruction information for hovering the drone 11a to a position where the whole body of the player A can be captured by the camera 113 (hereinafter referred to as position P20).
  • the position P20 may be a position where it is possible to acquire information necessary for giving advice in the shot direction and various advice described later (captured image) even if the whole body of the player A cannot be imaged.
  • step S320 the control unit 134 causes the calculation unit 132 to perform face recognition based on the image captured by the camera 113, and determines whether or not the person in the image is the player A. If it is determined that the player A, the process proceeds to step S330.
  • the camera 113 changes the optical axis direction of the camera 113 until the player A is captured, performs imaging while changing the visual field direction up, down, left, and right, and repeats the process of step S320.
  • step S330 the control unit 134 determines, from the golf club image that the player A has in hand, which of the plurality of golf clubs is registered in the player data 133b of the database 133. .
  • step S340 the control unit 134 causes the calculation unit 132 to calculate the target trajectory based on the determination result in step S330 and the course data 133a and the player data 133b stored in the database 133.
  • step S350 the control unit 134 transmits the target presentation flight command information to the drone 11a, and moves the drone 11a to the apex position of the target trajectory L61. The player A hits the drone 11a that is hovering and hits the golf ball GB.
  • the course data 133a includes a hole number, course length, reference number of hits, tee ground position information (latitude and longitude), green position information (latitude and longitude), and a recommended club (male) ), Advanced course course strategy information, intermediate course strategy information, beginner course strategy information, OB position information (latitude and longitude), and the like.
  • the direction of the hit ball and the reference flight distance are registered for each reference hit.
  • each level of the player A level (advanced, intermediate, beginner) registered in the player data 133b, the type of golf club determined by the image recognition, and the reference number of hits registered in the course data 133a are recorded.
  • the target trajectory L61 is calculated based on the recommended club and course strategy information for each. For example, consider a case where it is determined from image recognition that the golf club used by player A is the first iron in the tee shot of the first hole.
  • the golf ball trajectory differs depending on the club to be used. Switch to orbit. Further, since the direction and the flight distance of the hit ball to be hit vary depending on the sex of the player A, these may be taken into consideration.
  • the target trajectory may be changed according to the current condition of player A. For example, if it is the second or later shot, the player's today's condition (not to fly today, easy to move to the right, etc.) is determined based on the flying distance of the previous hit ball and the level of the player A, The target trajectory is changed according to the condition.
  • the player A designates the position where the drone 11 flies through the mobile terminal 12.
  • the portable terminal 12 transmits designated position information indicating the designated position designated by the player A to the drone 11.
  • the drone 11 flies to the position designated by the player A based on the received designated position information.
  • the mobile terminal 12 may transmit the designated position information to the server 13, the server 13 may transmit the received designated position information to the drone 11, and the drone 11 may receive the designated position information.
  • the target trajectory may be calculated assuming that the golf club is a recommended club.
  • the target trajectory may be calculated based on the movement of player A.
  • the camera 113 images the swing of the player A, and calculates the target trajectory from the swing speed and angular velocity. For example, if the swing is fast, the golf ball may fly too far, so the target track is changed to be close.
  • the target trajectory may be calculated based on the player A attribute. Since the golf ball has a different flight distance when the player A is male and female, the target trajectory is changed according to gender. Further, since the flight distance varies depending on the age of the player A, the level of the player A (beginner, intermediate, advanced, etc.) and the type of golf club, the target trajectory is changed.
  • the target trajectory may be calculated based on the standard number of strokes.
  • a target trajectory for making a hole within the reference number of hits from the current position of the player A is calculated. For example, in a course with a standard number of hits of 3 and the first shot does not fly beyond the reference (when the flight distance of the first shot is shorter than the reference), it is necessary to fly the second shot farther than the reference. Therefore, the drone 11 sets the target trajectory farther than the reference flight distance of the second shot. The player A can recognize that the drone 11 needs to fly far because the drone 11 flies as a mark farther than the reference. Therefore, the golf club can be changed.
  • the target trajectory is calculated based on the player A or the golf club
  • the present invention is not limited to this.
  • the target trajectory may be calculated based on atmospheric information (wind speed, direction, etc.). For example, when the wind is blowing strongly from the left to the right, the golf ball tends to flow to the right. In that case, the left of the reference target position is calculated as the target trajectory.
  • the target trajectory may be calculated based on the orientation of player A's body.
  • the flight direction of the golf ball varies depending on the orientation of the player A's body. Therefore, when it is determined that the body of the player A is facing right too, the target trajectory may be calculated to shift to the left.
  • the target trajectory is calculated based on the information regarding the game (golf), and the drone 11 is caused to fly.
  • Information regarding the game (golf) may be acquired from an image captured by the camera 113 or may be acquired from data stored in a server or the like such as the course data 133a and the player data 133b. After the player A has finished hitting, the target trajectory of the next batter player B is calculated and flew to the target position.
  • ⁇ Drone risk avoidance operation> By the way, in the above-described support operation for giving advice in the shot direction, there is a possibility that the hit ball shot by the player A collides with the drone 11a. Therefore, when there is a possibility of such a collision, the drone 11a performs a danger avoiding operation for preventing the collision.
  • the server 13 transmits an imaging command to the drone 11 so that the golf ball GB shot by the player A is captured by the camera 113 in a state in which the drone 11a takes the target 60 and is flying.
  • the server 13 analyzes the captured image by the calculation unit 132 and monitors the hit ball GB shot by the player A, and determines whether or not the hit ball GB flying in the direction of the drone 11a collides with the drone 11a. If the server 13 determines that the hit ball collides with the drone 11a, the server 13 transmits a flight control command to the drone 11a in order to avoid a collision with the hit ball. Specifically, the drone 11a is moved up and down from the current position to avoid the vertical movement, or the drone 11a is moved from the current position to the left and right to move to a position outside the trajectory of the hit ball.
  • the collision of the hit ball with the drone 11a is not limited to the support operation for advising the shot direction, but during the support operation for guiding the hit ball falling position described above or other support operations as described later. Can also happen. Therefore, even during such other support operations, if an image around the drone is appropriately captured by the camera, and a hitting ball collision is predicted from the image, it is off the trajectory of the hitting ball as described above. The drone 11a is moved to avoid the position.
  • the server 13 may predict the collision of the hit ball based on the image captured by the camera 113 of the drone 11a, or hit the ball based on the image captured by the camera 113 of the drone 11 of another party. You may predict a collision. Since the server 13 also receives information of the image captured by the camera of the drone 11 of another party and performs image analysis, the server 13 calculates the trajectory of the shot hit by the player of the other party from the image, and the hit ball It can be determined whether or not there is a risk of collision with the drone 11a.
  • step S410 the control unit 134 transmits shooting flight command information for hovering the drone 11a to a position where the whole body of the player A can be captured by the camera.
  • step S420 the control unit 134 causes the calculation unit 132 to perform face recognition based on the image captured by the camera 113, and determines whether or not the person in the image is the player A.
  • step S430 the control unit 134 refers to the course data 133a and the player data 133b in the database 133, and selects a golf club that seems to be optimal from among a plurality of golf clubs registered in the player data 133b as a recommended golf club. select.
  • step S440 the control unit 134 transmits the information on the golf club selected in step S430 to the portable terminal 12a as recommended club information.
  • the mobile terminal 12a that has received the recommended club information causes the display unit 121 to display the name of the club.
  • the player A's condition based on the score of the play that has already been performed, and to recommend a golf club corresponding to the condition. For example, if the flight condition is not good and the flight distance is not long, a golf club having a flight distance that is easier than the golf club selected based on the course data 133a and the player data 133b is selected as the recommended club.
  • the control unit 134 of the server 13 performs the following process to determine the level of the player A and based on the determined level. Make recommendations for the above-mentioned golf clubs.
  • the control unit 134 controls the position of the drone 11a so that the camera 113 can image the whole body of the player A.
  • the control unit 134 controls the position of the drone 11a, the angle of view of the camera 113, and the shooting direction so that the image can be subjected to swing analysis.
  • the control unit 134 causes the portable terminal 12a to perform a notification (notification by display or sound) that prompts the swing operation, and acquires an image in which the player A swings.
  • the swing motion is swinging.
  • the control unit 134 performs image analysis of the swing from the acquired image, and determines whether the level of the player A is advanced, intermediate, or elementary. The determination result is newly registered in the player data 133b of the database 133.
  • the control unit 134 of the server 13 images the golf ball GB on the course with the camera 113 of the drone 11a, and estimates the course situation from the captured image. For example, the inclination of the point where the golf ball GB is hit is detected from the image, and the server 13 advises the player A about the stance, the grip, and the like based on the inclination state, the direction to the green, the distance, the level of the player A, and the like.
  • the advice content is displayed on the display unit 121 of the mobile terminal 12a.
  • the course data 133a of the database 133 stores in advance advice contents when it is necessary to strike with an inclination and an upward slope, advice contents when it is necessary to strike with a downward slope, and the like.
  • the player can play under more optimal conditions (golf club, form, etc.), and can improve the score.
  • a support operation that saves the labor of the player is performed. Specifically, when the golf ball cannot be collected due to the action of the drone 11 picking up the hit ball off the course, the action of notifying that the hit ball has fallen into the pond in the course, or the drop into the pond. For example, an operation of supplying a spare golf ball to a player.
  • the drone 11 is equipped with a gripping device 43 as shown in FIG.
  • the gripping device 43 includes a pair of gripping plates 431a and 431b that open and close, and an actuator 432 that drives the gripping plate 431b to open and close.
  • the support operation for picking up the hit ball is performed after the support operation for guiding the hit position of the hit ball in the first embodiment described above. That is, during the support operation for guiding the fall position, the server 13 recognizes whether or not the fall position of the hit ball is an OB position based on the GPS position information from the drone 11 and the course data 133a of the database 133. be able to. When it is recognized as OB, a support operation for picking up the hit ball is executed.
  • the server 13 compares the hit position of the hit ball with the course data 133a of the database 133, and if the ball position is the OB position, the server 13 transmits a control command (flight command and grip command) to the drone 11 to pick up the golf ball. .
  • the drone 11 descends from the hovering position above the dropping position in accordance with the flight command from the server 13 and collects the golf ball by the gripping device 43.
  • the drone 11 delivers the collected golf ball to the player or the cart 220.
  • the server zooms the camera and detects the golf ball from the zoom image.
  • the server 13 can recognize that the ball has fallen on the pond from the splash in the image. In this way, it may be determined from the image that the vehicle has fallen into the pond, or from the GPS position information of the drone 11 hovering over the fall position and the course data 133a, it may be determined that the vehicle has fallen into the pond. . However, it is difficult to detect an underwater golf ball from an image, and the drone 11 cannot collect the golf ball.
  • the player is notified that it cannot be collected.
  • characters that cannot be collected are displayed on the display unit 121 of the mobile terminal 12 or notification information is displayed on the display device 221 of the cart 220.
  • the golf ball In addition to falling into the pond, if the ball falls into the forest and loses sight of the ball, or if the drone 11 falls to an OB position where it cannot fly, the golf ball cannot be collected. In that case, it notifies that it cannot collect
  • the server 13 determines from the image captured by the camera 113 that the drone 11 cannot fly.
  • the drone 11 may replenish the player with a spare golf ball.
  • a spare golf ball is mounted on the drone 11 in advance, and the drone 11 is caused to fly to the position of the player, and the golf ball is dropped near the player.
  • the golf ball may be collected up to the cart 220 and delivered to the player.
  • the server may hold the flag pole with the holding device 43 mounted on the drone 11 and raise the drone 11 in the held state.
  • the drone 11 may perform an operation of spraying sand to the deleted portion.
  • the server 13 recognizes that the dust is exposed from the image captured by the camera 113, the server 13 outputs a command to the drone 11 to scatter sand at the deleted portion.
  • a support operation for notifying the management room of the hole position may be used. As a result, the maintenance staff moves to the hole and leveles the land.
  • the drone 11 may be caused to perform an operation of leveling the bunker.
  • the drone 11 serving as a caddy takes over troublesome processes other than various plays that occur during golf play, the player can concentrate on golf play. . Moreover, play progress can be performed smoothly.
  • an operation for notifying the player of the danger is performed.
  • Examples of the support operation include an operation of notifying the approach of another party or notifying the presence of a dangerous substance.
  • party PA the play of the preceding party
  • party PB a late party
  • the server 13 causes the drone 11 of the party PB to conduct an exploration flight whether another party has approached the green position. For example, the drone 11 is caused to fly to an intermediate point between the party PB and the green, and the altitude of the drone 11 is increased so that the green and the party PB can be accommodated in the image.
  • the server 13 If the server 13 detects the preceding party PA player in the captured image, the server 13 estimates the distance between the party PA and the party PB from the image. If the server 13 determines that the party PB is too close to the preceding party PA from the estimated distance, the server 13 displays warning information for prohibiting the shot on the portable terminal 12 or the cart 220 of the party PB player. Transmit to device 221. When receiving the warning information, the display device 221 of the mobile terminal 12 or 220 may display a warning display prohibiting shots on those display units. Moreover, you may make it alert
  • the server 13 may transmit information notifying that the subsequent party PB is approaching the portable terminal 12 of the player of the preceding party PA. For example, the player's portable terminal 12 is notified so as to speed up the play. In this case, the server 13 may instruct the cart 220 to increase the speed of the cart 220.
  • the approach to the preceding party PA is notified based on the image captured by the camera 113 of the drone 11 of the late party PB.
  • the party PA and the succeeding party PB may be imaged with the camera 113 of the drone 11 of the party PA, and the approaching state with the succeeding party PB may be grasped from the captured image.
  • the server 13 determines the GPS position information of the drone 11 of the party PB and the GPS position information of the drone 11 of the other party PA. Therefore, the interval between the party PB and the party PA may be determined. Further, a GPS receiver may be mounted on the cart 220, and the interval between the carts 220 may be determined as the interval with another party.
  • the server 13 estimates the direction and distance of the hit ball from the shot image and determines whether or not the hit ball flies to another course. If it is determined that the hit ball will fly to another course, the server 13 transmits the dangerous ball information that informs the player of the player playing on the other course of the hit ball.
  • the portable terminal 12 that has received the dangerous ball information displays a warning display on the display unit 121 or emits an alarm sound to notify the player of the hit ball. Further, the dangerous ball information may be displayed on the display device 221 of the cart 220.
  • the support operation for informing the danger ball is also executed during other support operations.
  • the course data 133a of the database 133 also stores data related to dangerous places where barleys and wasps appear.
  • the server 13 transmits alarm information notifying that the player is close to the dangerous places to the portable terminal 12 of the player. For example, when the hit point of the hit ball is close to the dangerous place, the server 13 also displays a warning display for paying attention to the viper and a warning display for paying attention to the wasp when the drop point is displayed on the mobile terminal 12. Further, a warning sound may be generated in the mobile terminal 12.
  • the server 13 uses the camera 113 of the drone 11 to capture a zoom image of the drop point and its surroundings, and detects a beetle, a wasp and the like from these images. Also good.
  • This support operation may be performed only when the hit point of the hit ball is close to a dangerous place registered in advance, or may be executed regardless of whether the drop point is close to the dangerous place.
  • a dangerous situation that occurs during golf play can be avoided by generating an alarm by using the drone 11. As a result, the player can play safely.
  • the drone 11 and the server 13 cooperate to provide golf support.
  • FIG. May be implemented.
  • the functions of the control unit 134 and the calculation unit 132 of the server 13 may be incorporated in the drone 11, and the function of the server 13 may be limited to the database function.
  • the above-described support operation process (the process performed by the control unit 134 of the server 13) is performed by the control unit 117 of the drone 11.
  • data is exchanged between the drone 11 and the portable terminal 12 via the communication network 14, but data exchange is directly performed between the drone 11 and the portable terminal 12. May be performed.
  • the drone 11 does not have to include the camera 113.
  • a fixed camera is installed in the golf course, and imaging is performed with this fixed camera.
  • the fixed camera, the drone 11 and the server 13 can communicate with each other, and can transmit and receive image data captured by the fixed camera.
  • the drone 11 or the server 13 receives the image data captured by the fixed camera, and performs the processing of the above embodiment.
  • the position of the drone 11 when the player's image or the shot image is shot with the camera 113 of the drone 11 is determined based on the GPS position information and the image information.
  • the player may issue an instruction using the portable terminal 12, and the server 13 may transmit the flight command information in accordance with the instruction.
  • golf has been described as an example of the sport support operation.
  • the game can be applied to a flying disc disc game (for example, disc golf).
  • the flying disc is also called Frisbee (registered trademark).
  • the control units 117 and 134 are configured by a CPU, a recording medium (ROM, memory card, hard disk, etc.) and peripheral circuits, and the CPU executes the program stored in the recording medium.
  • the program is a program for controlling the flying unit 111 of the drone 11 that flies with the camera 113 serving as an imaging unit, and the imaging process that causes the camera 113 to image the golf ball GB that is a moving object. And a control process for controlling at least one of the flying unit 111 and the camera 113 by control information based on the output of the camera 113 in order for the camera 113 to capture the golf ball GB after the camera 113 has captured the image. Or the control unit 134.
  • the said program is a program which controls the flight part 111 which can fly, Comprising: For example, the flight process 111 is controlled based on the acquisition process which acquires the flight information based on the information regarding competitions, such as golf, and flight information Control processing is executed by the control unit 117 and the control unit 134.
  • the flying device such as the unmanned airplane 11 has been described as an example.
  • the flying device is not limited to the flying device.
  • a moving unit such as a tire or a bipedal walking mechanism is provided. It can also be applied to devices.
  • an imaging unit for example, a camera 113 that images a moving object is placed on the moving unit.
  • the moving device has the same configuration as that of the flying device, except that the flying unit 111 is replaced with the moving unit.
  • control unit 134 controls at least one of the moving unit and the imaging unit based on the control information based on the output of the imaging unit so that the imaging unit images the object after the imaging unit captures an image.
  • acquisition process which acquires the movement information based on the information regarding competitions, such as golf, and the control process which controls a moving part based on movement information are performed by the control part 134 or the control part provided in the moving part.
  • the moving device may not include the imaging unit (for example, the camera 113). In that case, a fixed camera is installed in the golf course, and imaging is performed with this fixed camera.
  • the fixed camera, the mobile device, and the server 13 can communicate with each other, and can transmit and receive image data captured by the fixed camera.
  • the mobile device or server 13 receives the image data captured by the fixed camera and performs the processing of the above embodiment.

Abstract

飛行装置は、移動中の物体を撮像する撮像部と、前記撮像部を載置して飛行する飛行部と、前記撮像部が撮像した後の前記物体を前記撮像部が撮像するために、前記撮像部の出力に基づく制御情報によって前記飛行部及び前記撮像部の少なくとも一方を制御する制御部と、を備える。

Description

飛行装置、移動装置、サーバおよびプログラム
 本発明は、飛行装置、移動装置、サーバおよびプログラムに関する。
 従来、カメラを搭載した無人飛行機が知られている(例えば、特許文献1参照)。無人飛行機は、ヘリコプター、クアッドリコプター(quadricopter:4翼ヘリコプター)等の回転翼を備え、その無人飛行機が向けられるシーンの画像を捕捉する前方カメラ、及び無人飛行機がその上空を飛行している地形の画像を捕捉する垂直方向のカメラが設けられている。しかしながら、無人飛行機が競技のプレイヤーを支援する構成については記載が無い。
日本国特開2012-6587号公報
 本発明の第1の態様によると、飛行装置は、本体を飛行させる飛行部と、移動中の物体を撮像し、画像データを取得する撮像部と、前記飛行部を制御し、前記画像データに基づく位置へ前記本体を飛行させる制御部と、を備える。
 本発明の第2の態様によると、第1の態様の飛行装置において、前記制御部は、前記撮像部が撮像した後の前記物体を前記撮像部が撮像可能な位置へ飛行するよう前記飛行部を制御するのが好ましい。
 本発明の第3の態様によると、第1又は第2の態様の飛行装置において、前記撮像部は、前記移動中の物体を異なるタイミングで撮像するのが好ましい。
 本発明の第4の態様によると、第1の態様から第3の態様の何れか一の飛行装置において、前記制御部は、前記撮像部に、撮像するときの画角を変更させるのが好ましい。
 本発明の第5の態様によると、第1の態様から第4の態様の何れか一の飛行装置において、前記制御部は、前記撮像部が撮像した後の前記物体を前記撮像部に撮像させるのが好ましい。
 本発明の第6の態様によると、第1の態様から第5の態様の何れか一の飛行装置において、前記制御情報は、前記物体の移動に基づく情報を含むのが好ましい。
 本発明の第7の態様によると、第1の態様から第6の態様の何れか一の飛行装置において、前記制御情報は、前記移動中の物体が移動を停止する位置に関する情報を含むのが好ましい。
 本発明の第8の態様によると、第7の態様の飛行装置において、前記制御情報は、前記移動中の物体を撮像した前記撮像部の出力に基づき予測された前記物体の停止位置に関する情報を含むのが好ましい。
 本発明の第9の態様によると、第1の態様から第8の態様の何れか一の飛行装置において、前記制御部は、前記移動中の物体が移動を停止した位置に基づいて飛行するよう前記飛行部を制御するのが好ましい。
 本発明の第10の態様によると、第1の態様から第9の態様の何れか一の飛行装置において、前記制御部は、前記飛行部に、前記移動中の物体が移動を停止した位置へ飛行させるのが好ましい。
 本発明の第11の態様によると、第10の態様の飛行装置において、前記制御部は、飛行部に、前記移動中の物体が移動を停止した位置の上空で飛行させるのが好ましい。
 本発明の第12の態様によると、第1の態様から第11の態様の何れか一の飛行装置において、移動を停止した前記物体に関する情報を、他の電子機器に送信する送信部を備えるのが好ましい。
 本発明の第13の態様によると、第12の態様の飛行装置において、前記撮像部は、前記停止した物体、および前記停止した物体が存在する位置の少なくとも一方を撮像するのが好ましい。
 本発明の第14の態様によると、第13の態様の飛行装置において、前記送信部は、前記停止した物体、および前記停止した前記物体が存在する位置の少なくとも一方を撮像した画像データを、前記他の電子機器に送信するのが好ましい。
 本発明の第15の態様によると、第1の態様から第14の態様の何れか一の飛行装置において、前記撮像部は、移動前の前記物体を前記物体の上空から撮像するのが好ましい。
 本発明の第16の態様によると、第15の態様の飛行装置において、前記撮像部は、前記移動中の物体の、水平方向における移動が識別できるように前記移動中の物体を撮像するのが好ましい。
 本発明の第17の態様によると、第1の態様から第16の態様の何れか一の飛行装置において、前記制御部は、環境又は被写体に基づいて前記飛行部を制御するのが好ましい。
 本発明の第18の態様によると、第17の態様の飛行装置において、前記制御部は、太陽の位置又は前記被写体の位置に基づいて前記飛行部を制御するのが好ましい。
 本発明の第19の態様によると、第17の態様又は第18の態様の飛行装置において、前記被写体は人であるのが好ましい。
 本発明の第20の態様によると、第1の態様から第19の態様の何れか一の飛行装置において、前記撮像部は、移動を停止した第一物体を撮像し、前記制御部は、前記飛行部に、前記撮像部による前記第一物体の撮像後に、前記第一物体とは異なる第二物体の移動前の上空へ飛行させるのが好ましい。
 本発明の第21の態様によると、第1の態様から第20の態様の何れか一の飛行装置において、前記物体はボールであるのが好ましい。
 本発明の第22の態様によると、第1の態様から第21の態様の何れか一の飛行装置において、前記制御部は、前記飛行部に、前記物体と衝突しない位置へ飛行させるのが好ましい。
 本発明の第23の態様によると、第1の態様から第22の態様の何れか一の飛行装置において、サーバと通信する通信部を備え、前記通信部は、前記撮像部の出力を前記サーバへ送信し、前記撮像部の出力に基づく前記制御情報を前記サーバから受信するのが好ましい。
 本発明の第24の態様によると、第1の態様から第22の態様の何れか一の飛行装置において、前記撮像部の出力に基づいて前記制御情報を生成する生成部を備えるのが好ましい。
 本発明の第25の態様によると、第1の態様から第23の態様の何れか一の飛行装置と通信を行うサーバであって、前記飛行装置から画像データを受信する受信部と、前記画像データに基づいて前記制御情報を生成する生成部と、前記制御情報を前記飛行装置へ送信する送信部と、を備える。
 本発明の第26の態様によると、撮像部を載置して飛行する飛行装置の飛行部を制御するプログラムであって、移動中の物体を前記撮像部に撮像させる撮像処理と、前記撮像部が撮像した後の前記物体を前記撮像部が撮像するために、前記撮像部の出力に基づく制御情報によって前記飛行部及び前記撮像部の少なくとも一方を制御する制御処理と、をコンピュータに実行させる。
 本発明の第27の態様によると、移動装置は、移動中の物体を撮像する撮像部と、前記撮像部を載置して移動する移動部と、前記撮像部が撮像した後の前記物体を前記撮像部が撮像するために、前記撮像部の出力に基づく制御情報によって前記移動部及び前記撮像部の少なくとも一方を制御する制御部と、を備える。
 本発明の第28の態様によると、飛行装置は、競技に関する情報に基づく飛行情報を取得する取得部と、前記取得部を保持して飛行する飛行部と、前記飛行情報に基づいて前記飛行部を制御する制御部と、を備える。
 本発明の第29の態様によると、第28の態様の飛行装置において、前記制御部は、前記飛行部に、前記競技を行う競技者の前方へ飛行させるのが好ましい。
 本発明の第30の態様によると、第29の態様の飛行装置において、前記制御部は、前記飛行部に、前記競技者に視認される可視位置へ飛行させるのが好ましい。
 本発明の第31の態様によると、第30の態様の飛行装置において、前記可視位置は、前記競技者に向けた目印となる位置を含むのが好ましい。
 本発明の第32の態様によると、第31の態様の飛行装置において、前記可視位置は、高度に対する目印となる位置を含むのが好ましい。
 本発明の第33の態様によると、第30の態様から第32の態様の何れか一の飛行装置において、前記制御部は、前記可視位置へ飛行した後に前記取得部が取得した前記飛行情報に基づいて、前記飛行部を制御するのが好ましい。
 本発明の第34の態様によると、第28の態様から第33の態様の何れか一の飛行装置において、前記取得部は、前記競技を行う競技者が指定した指定位置に基づく指定位置情報を取得し、前記制御部は、前記指定位置情報に基づいて前記飛行部を制御するのが好ましい。
 本発明の第35の態様によると、第28の態様から第34の態様の何れか一の飛行装置において、前記競技に関する情報は、前記競技を行う競技者に関する情報、前記競技に使用する道具に関する情報、および前記競技の環境に関する情報のうち少なくとも1つを含むのが好ましい。
 本発明の第36の態様によると、第35の態様の飛行装置において、前記競技者に関する情報は、前記競技者の動き情報、前記競技者の属性情報、および前記競技者の位置情報のうち少なくとも1つを含むのが好ましい。
 本発明の第37の態様によると、第36の態様の飛行装置において、前記競技者の属性は、前記競技者の性別、年齢、および評価値のうち少なくとも1つを含むのが好ましい。
 本発明の第38の態様によると、第35の態様から第37の態様の何れか一の飛行装置において、前記競技に使用する道具に関する情報は、前記道具の種類を含むのが好ましい。
 本発明の第39の態様によると、第35の態様から第38の態様の何れか一の飛行装置において、前記競技の環境に関する情報は、前記競技のコース情報又は風の情報のうち少なくとも1つ以上を含むのが好ましい。
 本発明の第40の態様によると、第28の態様から第39の態様の何れか一の飛行装置において、前記取得部は、前記競技を行う第一競技者に基づく第一飛行情報と、前記第一競技者とは異なる第二競技者に基づく第二飛行情報とを取得し、前記制御部は、前記第一飛行情報に基づいて前記飛行部を制御した後、前記第二飛行情報に基づいて前記飛行部を制御するのが好ましい。
 本発明の第41の態様によると、第28の態様から第40の態様の何れか一の飛行装置において、画像データを取得する撮像部を備え、前記取得部は、前記画像データに基づき前記飛行情報を取得するのが好ましい。
 本発明の第42の態様によると、第41の態様の飛行装置において、前記撮像部は、前記競技を行う競技者が力を与える物体を撮像し、前記取得部は、前記物体の軌跡に基づく前記飛行情報を取得するのが好ましい。
 本発明の第43の態様によると、第42の態様の飛行装置において、前記撮像部は、前記物体に力を与える前の前記競技者を撮像するのが好ましい。
 本発明の第44の態様によると、第42の態様又は第43の態様の飛行装置において、前記撮像部は、移動中の前記物体を撮像し、前記制御部は、前記飛行部に、移動中の前記物体と衝突しない位置に飛行するのが好ましい。
 本発明の第45の態様によると、第41の態様から第44の態様の何れか一の飛行装置において、前記撮像部が取得した前記画像データを他の電子機器へ送信する送信部を備えるのが好ましい。
 本発明の第46の態様によると、第28の態様から第45の態様の何れか一の飛行装置において、前記取得部は、他の電子機器から前記飛行情報を取得するのが好ましい。
 本発明の第47の態様によると、第28の態様から第46の態様の何れか一の飛行装置において、前記競技のアドバイスに関するデータを表示装置に送信する送信部を備えるのが好ましい。
 本発明の第48の態様によると、第28の態様から第47の態様の何れか一の飛行装置と通信を行うサーバであって、前記競技に関する情報に基づいて前記飛行情報を生成する生成部と、前記飛行情報を前記飛行装置へ送信する送信部と、を備える。
 本発明の第49の態様によると、プログラムは、飛行可能な飛行部を制御するプログラムであって、競技に関する情報に基づく飛行情報を取得する取得処理と、前記飛行情報に基づいて飛行部を制御する制御処理と、をコンピュータに実行させる。
 本発明の第50の態様によると、移動装置は、競技に関する情報に基づく移動情報を取得する取得部と、前記取得部を保持して移動する移動部と、前記移動情報に基づいて前記移動部を制御する制御部と、を備える。
図1は、支援システムの概略構成を示すブロック図である。 図2は、ドローンの外観を示す模式図である。 図3は、落下位置を報知する支援動作を説明するフローチャートである。 図4は、所定位置を説明する図である。 図5は、ドローンの飛行コースの一例を示す図である。 図6は、ショット方向アドバイスの際のドローンの配置の一例を示す模式図である。 図7は、アドバイス処理の一例を示すフローチャートである。 図8は、ゴルフクラブをアドバイスする支援動作を説明するフローチャートである。 図9は、把持装置を示す図である。 図10は、ドローン、携帯端末、通信ネットワークで支援システムを構成する場合の図である。 図11は、ドローン、携帯端末、サーバ、通信ネットワークで支援システムを構成する他の例を示す図である。 図12は、携帯端末に表示される表示用画像を説明する図である。 図13は、カートを説明する図である。 図14は、所定位置の他の例を説明する図である。
 以下、図を参照して本発明を実施するための形態について説明する。
-第1の実施の形態-
 図1は、本発明の一実施の形態を示す図であり、飛行装置である無人飛行機11を用いた支援システムの概略構成を示すブロック図である。支援システム1は、無人飛行機11と、携帯端末12と、サーバ13を有する。無人飛行機11と、携帯端末12と、サーバ13は、通信ネットワーク14に接続される。無人飛行機11は自律的飛行が可能な自律型無人飛行機であって、例えばドローンとも呼ばれる自律型マルチコプター等が使用される。以下では、この無人飛行機11のことをドローン11と称することにする。
 ドローン11は、複数のプロペラを有するマルチコプターである。ドローン11は、複数のプロペラを有する飛行部111、飛行部111を制御する飛行制御部112、カメラ113、カメラ制御部114、GPS(Global Positioning System)受信機115、通信部116、ドローン11の全体を制御する制御部117等を備えている。
 飛行制御部112は、飛行部111に設けられた複数のプロペラを周知の航法姿勢制御システムにより各々独立に制御する。カメラ113はCCD撮像素子等の電子撮像素子を備えたカメラであり、静止画および動画を撮像することができる。カメラ113はズーミング、オートフォーカス、自動露出の各制御が可能である。また、カメラ113はジンバル(回転台)に搭載され、ドローン本体に対して視野方向を上下左右に変更可能である。カメラ113はカメラ制御部114によって制御され、撮像データは通信部116から送信され、通信ネットワーク14を介して携帯端末12又はサーバ13に送られる。
 GPS受信機115はGPS衛星から送出される信号を受信し、ドローン11の絶対位置を検出する。その絶対位置情報は通信部116から携帯端末12又はサーバ13へ送信される。制御部117は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、所定の制御プログラムを実行することによりドローン11の各部を制御する。
 携帯端末12は表示部121、通信部122、GPS受信機123等を備えている。通信部122によりドローン11又はサーバ13との間でデータの送受信を行うことができる。GPS受信機123はGPS衛星から送出される信号を受信し、携帯端末12の絶対位置を検出する。その絶対位置情報(以下では、GPS位置情報と称する)は通信部122からドローン11又はサーバ13へ送信される。表示部121には種々の情報が表示される。例えば、コース情報や、打球の落下位置や、飛距離や、アドバイス情報などが表示される。
 サーバ13は、通信部131、演算部132、データベース133、制御部134等を備えている。通信部131は通信ネットワーク14を介して、種々のデータをドローン11又は携帯端末12との間で送受信する。演算部132は、通信部131から受信した種々のデータに基づいて、種々の演算を行う。例えば、ドローン11の飛行目標位置の演算や、カメラ113で撮像された画像の解析や、携帯端末12の表示部121に表示される各種情報の演算などを行う。
 制御部134は、不図示のマイクロプロセッサおよびメモリを含む周辺回路から構成され、所定の制御プログラムを実行する。例えば、制御部134は、演算部132における画像解析結果に基づいて、ドローン11に対する飛行指令情報を生成する。その飛行指令情報は、通信部131からドローン11へ送信される。データベース133には、支援動作に必要なデータが記憶されている。図1に示す例では、ゴルフ支援に関するコースデータ133a、プレイヤーデータ133bが記憶されている。競技はゴルフを例に説明する。
 図2は、ドローン11の外観を示す模式図である。ドローン11は、4つのプロペラ41を有するマルチコプターである。4つのプロペラ41は、同一平面上に設けられる。4つのプロペラ41は、周知の航法姿勢制御システムにより、各々が独立して制御される。この制御によって、ドローン11は、ピッチ軸102を中心として旋回したり、ロール軸103を中心として旋回したり、ヨー軸104を中心として回転したり、下方向100または上方向101に並進したり、空中の所定位置でホバリングしたりすることができる。
 ドローン11は、4つのプロペラ41の周囲を保護する筐体40を有する。筐体40によって、プロペラ41は、水平方向から接近した周囲の障害物に直接接触しないよう保護される。ドローン11の下面には、カメラ113が設けられている。カメラ113は、カメラ113の姿勢を自由に変えることができるジンバル42に搭載されている。
 本実施の形態では、図1に示した支援システムの適用例として、ゴルフプレイの支援システムとして用いた場合について説明する。データベース133のコースデータ133aには、例えば、(D1)コース長、基準打数、(D2)コース位置情報、(D3)推奨クラブ(男性用、女性用)、(D4)コース戦略情報、(D5)コースレイアウトが、ホール毎に記憶されている。
 コース位置情報とは、コースの三次元位置情報であり、例えば、ティーグランドの位置情報(緯度経度)、グリーンの位置情報(緯度経度)、OBの位置情報(緯度経度)、危険箇所位置情報などが含まれている。推奨クラブは基準打数の各打毎の推奨のクラブを示すものであり、それぞれ男性用および女性用に区別されて登録されている。コース戦略情報は、基準打数の各打毎に、打つべき打球の方向および飛距離であり、上級者用、中級者用および初級者用とプレイヤーのレベル(評価値)に応じたデータが記憶されている。コースレイアウトとは、例えば、携帯端末12の表示部121等に表示するための表示用画像データであり、コース全体の平面画像上にティーグラウンドやグリーンやバンカーやOB領域などが表示される。
 また、プレイヤーデータ133bには、例えば、プレイヤーの性別、プレイヤーのレベル情報(上級、中級、初球)、プレイヤーがプレイで使用するゴルフクラブの種類、当日のプレイヤーの外見上の特徴などが記憶されている。
 なお、プレイヤーの外見上の特徴は、ドローン11のカメラ113で撮像した画像にそのプレイヤーが存在するか否かを判断する際のテンプレートとして使用するデータである。例えば、プレイ当日に予めプレイヤーの画像を撮影しておき、その画像を画像解析することでテンプレートを作成して記憶させておく。また、ドローン11のカメラ113によりプレイヤーの画像を撮像して、その画像に基づいてテンプレートを作成しても良い。
(支援動作の説明)
 次に、支援動作を、具体例を用いて説明する。ここでは、パーティはプレイヤーAとプレイヤーBの2名から構成され、2台のドローン11(11a,11b)が使用される場合を例に説明する。ここでは、プレイヤーAの支援はドローン11aが行い、プレイヤーBの支援はドローン11bが行うものとする。ただし、支援を行うドローン11の数は1台であっても良いし、3台以上であっても良く、支援の内容に応じてドローン11の数を適宜設定すれば良い。また、プレイヤーAは携帯端末12aを保持し、プレイヤーBは携帯端末12bを保持している。
 以下では、ドローン11a,11bが行う支援動作として、打球の落下位置をプレイヤーA,Bに教える支援動作について説明する。なお、プレイヤーA,Bに対する支援動作は同様の動作となるので、ここではプレイヤーAを例に説明する。
 打球の落下位置を教える支援動作では、プレイヤーAのショットした打球の落下位置を探し、落下位置をプレイヤーAに報知する。図3のフローチャートは、落下位置をプレイヤーAに教える支援動作において、サーバ13の制御部134が行う処理の一例を示したものである。また、落下位置は、打球が停止した停止位置でもある。
 制御部134は、ドローン11aからの始動信号を受信するとスタートする。ドローン11aに設けられた不図示の電源スイッチがプレイヤーAによってオンされると、ドローン11aの電源が投入され、ドローン11aの通信部116から上記始動信号が送信される。
 ステップS100において、制御部134は、始動信号をプレイヤーAの携帯端末12aに送信する。携帯端末12aは始動信号を受信すると、プレイヤーAを支援するドローン11aが動作開始したことを報知する。報知形態としては、例えば、携帯端末12aの表示装置に「ドローン11aが動作開始しました」のような文字表示を行う。
 ステップS110において、制御部134は、所定位置P1にドローン11aを待機させるための待機用飛行指令情報をドローン11aに送信する。ドローン11aの飛行制御部112は、サーバ13から送信される待機用飛行指令情報に基づいて、ドローン11aを所定位置P1においてホバリング飛行させる。
 ここで、所定位置P1とは、プレイヤーAがショットを行った際に打球方向を認識しやすい画像が撮像できる位置である。例えば、図4(a)に示すように、プレイヤーA又はゴルフボールGBの上空に所定位置P1定める。所定位置P1からは、ショット方向とプレイヤーAとゴルフボールGBとを画面内に納めることができる。
 図4(b)は、所定位置P1から撮像した場合の画像例を示したものである。矢印Rは推奨ショット方向を示しているが、実際のショット方向は必ずしも推奨ショット方向Rとはならず、破線矢印で示すように推奨ショット方向Rの左右(図示上下)にずれる場合がある。そのため、ショット方向に対して余裕のある範囲が撮像できるように、カメラ113を制御するのが望ましい。このようにプレイヤーAを俯瞰的に眺める所定位置P1から撮像することで、ゴルフボールGBの移動を二次元的に撮像できる。ゴルフボールGBの水平方向の移動を撮像された画像から認識できる。ゴルフボールGBを追尾する際のジンバル42の駆動量を小さく抑えることができ、ゴルフボールGBの落下位置を認識しやすい。
 また、図14に示すように、プレイヤーAと推奨ショット方向Rの延長線L1上の近くであって、プレイヤーAの斜め後方に所定位置P1を定めても良い。図14(a)は平面図であって、図14(b)はR1方向から見た図である。その所定位置P1からはショット方向とプレイヤーAとゴルフボールGBとを画面内に納めることができる。
 さらに、所定位置として、図14(b)の符号P11で示すティーグランド前方の所定高さ位置としても良い。さらには、プレイヤーAの性別やレベル、その日の調子等に基づいて打球の方向および飛距離を予測し、予測される落下位置の上空から、ティーグラウンド上のプレイヤーAをカメラ113で撮像するようにしても良い。この場合、ドローン11aを落下予測位置の上空(例えば、後述する図5に記載の位置P3,P4など)まで予め移動させておく。
 所定位置P1は、携帯端末12aから送信されるGPS位置情報に基づいて決定されても良いし、カメラ113で撮像した画像に基づいて決定しても良い。GPS位置情報に基づく場合、例えば、サーバ13の演算部132は、プレイヤーAが位置するティーグラウンドを携帯端末12aからのGPS位置情報とコースデータ133aのコース位置情報とに基づいて特定する。ドローン11aの待機位置を、特定されたプレイヤーAの位置から所定の高さ位置P1に設定する。高さ位置P1は、カメラ113の画角に基づいて、プレイヤーAとゴルフボールGBとショット方向を画面内に納めることができるように設定される。プレイヤーAの身長に基づいて、危険でない高さ位置P1に設定しても良い。
 画像に基づいてドローン11aの待機位置として所定位置P1を決定する場合、プレイヤーAの位置情報(携帯端末12aからのGPS位置情報)に基づいてプレイヤーAとゴルフボールGBとを撮像できる位置、例えば、プレイヤーAから所定距離離れた位置でプレイヤーAとゴルフボールGBとが画角に入る位置を、所定位置P1とする。この場合、プレイヤーAとカメラ113との間に障害物がないように設定される。また、図14に示す例の場合、ショット時のプレイヤーAの足の配置からショット方向を予測して、カメラ113の光軸方向を決定しても良い。
 サーバ13は、プレイヤーAの携帯端末12aからのGPS位置情報とデータベース133のコースデータ133aに基づいて、プレイヤーAが何番ホールのどの位置にいるかを認識することができる。例えば、プレイヤーAの位置がティーグラウンドであると認識した場合は、次のようにしてドローン11aの待機位置を算出することができる。ティーショット(第1打)のショット方向はホール毎にデータベース133のコースデータ133aに記憶されている。サーバ13は、コースデータ133aに記憶されているショット方向に基づいて所定位置P1を算出し、待機用飛行指令情報としてドローン11aへ送信する。その結果、ドローン11aは、所定位置P1でホバリング飛行して待機する。
 コースデータ133aに記憶されているショット方向のデータは、ティーショット(第1打)のみについて記憶されている。そのため、第2打以後のショット方向としては、例えば、ゴルフボールとグリーン上のポールとを結ぶ線の方向をショット方向とみなして、所定位置P1を決定するようにしても良い。
 ステップS120において、制御部134は、画像情報(動画情報)に基づいてゴルフボールがティーアップされ、ゴルフクラブが振り上げられたと判断すると、ティーアップされているゴルフボールの画像を抽出する。サーバ13は、このゴルフボールを追尾対象のテンプレート画像として記憶する。カメラ113の画角が広角すぎるとゴルフボールが小さくなり追尾しづらいので、カメラ制御部114は、画面内のゴルフボールの大きさが適度な大きさとなるような画角にカメラ113を制御する。
 ゴルフクラブが振り下ろされてゴルフボールの位置が変化する、つまりゴルフボールが第一位置から第二位置へ移動すると、カメラ113は撮像画像の中に含まれるテンプレート画像と類似する被写体を追尾する。第一位置、第二位置とは、ショット後のゴルフボールの任意の位置である。カメラ113は、異なる時刻にゴルフボールを撮像し(例えば、動画で撮像する。)、異なる時刻に撮像された撮像画像の中に含まれるゴルフボールを抽出し、ショット後のゴルフボールの位置の変化、つまり第一位置から第二位置へのゴルフボールの移動を認識することで追尾する。サーバ13の演算部132は、ドローン11aからの画像データに基づいて打球方向や打球軌道(打球軌跡)の演算を行い、それに基づいて打球をカメラの視野内に納めるためのジンバル制御量やカメラ113のズーム量等のカメラ制御情報の演算を行う。つまり、第二位置へ移動した以降のゴルフボールをカメラの視野内に納めるためのカメラ制御情報の演算を行う。第二位置へ移動した以降のゴルフボールは、移動を続けていても良いし、停止していても良い。演算されたカメラ制御情報は、サーバ13からドローン11aに送信される。カメラ制御情報は、カメラ113の画角を変更する情報を含む。
 すなわち、ステップS130では、サーバ13の制御部134は、カメラ制御情報を出力し、打球(ショットされたゴルフボール)がカメラ113の撮像画面から外れないように、カメラ113の撮像方向(撮影角度、画角)およびズーム(画角)を調整する。また、打球(ショットされたゴルフボール)がカメラ113の撮像画面から外れないように、飛行部111を制御し移動し、カメラ113で撮影しながら移動(移動飛行)してもよい。演算部132は、カメラ113で撮像された画像に基づいて、落下位置70に打球GBが停止したことを検出することができる。
 ステップS140では、制御部134は、打球GBが停止した落下位置70(図5参照)の上空の位置P3にドローン11aを誘導する。図5は、ドローン11aの飛行コースの一例を示す図である。図5において、ドローン11aは、プレイヤーAのショットの際には所定位置P1にてホバリング飛行を行う。プレイヤーAがショットを行ったならば、サーバ13からのカメラ制御情報に基づいて、カメラ113により打球を追尾する。打球が落下したことを検出すると、サーバ13の制御部134はドローン11aを打球(ゴルフボールと同じ符号GBで示す)GBの落下位置70の上空の位置P3まで飛行させる。また、図14のようにプレイヤー後方に所定位置P1を設定した場合には、その所定位置P1から飛行経路F1のように位置P2に上昇させた後に、位置P3に移動させる。
 最終的な位置P3に移動させる方法としては、例えば、カメラ113の光軸が徐々に鉛直下方向に向かうようにジンバル42(図2等参照)を制御しつつ、画像の中央に打球GBが来るようにドローン11aの飛行目標位置を制御する。そのような制御により、カメラ113の光軸が鉛直下方向となったときに、ドローン11aは、落下位置70に停止している打球GBのほぼ真上(符号P3で示す位置)に位置することになる。
 そして、ドローン11aの位置が打球GBのほぼ真上(位置P3)となったならば、制御部134は、ドローン11aをティーグラウンドTGのプレイヤーAから視認しやすい飛行目標位置P4に降下させ、そこでホバリング飛行させる。ティーグラウンド上のプレイヤーAは、コース上空にホバリング飛行しているドローン11aを観察することにより、どの程度の距離のどの位置に打球GBが落下したのかを容易に認識することができる。なお、ドローン11aの位置が打球GBのほぼ真上となるよう制御することを説明したが、それに限らない。プレイヤーAがどの程度の距離のどの位置に打球GBが落下したのかを認識できる位置や、カメラ113が停止している打球GBを撮像できる位置でもよい。
 サーバ13の演算部132は、ドローン11aからのGPS位置情報から落下位置70の緯度・経度および飛距離を演算する。ステップS150では、制御部134は、表示用画像のデータをプレイヤーAの携帯端末12aへ送信する。携帯端末12aは、携帯端末12aの表示部121に上記表示用画像を表示する。ここでの表示用画像は、例えば、図12に示すように、データベース133のコースデータ133aに記憶されているコースレイアウト画面LA上に、落下位置70を表すマークMおよび飛距離Dを重畳表示したものである。プレイヤーAは、コース上空にホバリングしているドローン11aと携帯端末12aに表示された表示画像とから、打球GBの落下位置70をより詳しく知ることができる。上記表示用画像は、停止している打球GBをカメラ113が撮像した画像でもよい。プレイヤーAは、このような表示用画像から、打球GBの落下位置の様子を知ることができる。落下位置の様子とは、例えば、背が高い草の中である、OBである、池に落ちた、林の中である、木に引っかかった、等があげられる。このような落下位置の場合、停止している打球GBが木や池等の障害物に隠れてカメラ113が撮像できない場合がある。その場合は、停止している打球GBの位置を撮像すればよい。つまり、停止している打球GBの落下位置の様子が分かれば、打球GBは必ずしも画像に映ってなくてもよい。
 なお、表示用画像のデータ送信は、プレイヤーAの携帯端末12aだけでなくプレイヤーBの携帯端末12bに対しても行うようにしても良い。また、サーバ13がドローン11aからのGPS位置情報を受信した後は、携帯端末12aの表示部121に上記表示用画面が表示されるので、落下位置上空の飛行目標位置P4にホバリングしているドローン11aを、プレイヤーAの所に戻すようにしても良い。例えば、パーティに1台のドローン11が割り当てられていた場合、以下のようにして1台のドローン11を運用すれば良い。落下位置70の上空の位置P3で打球GBの画像を取得したならば、ドローン11をティーグラウンドに戻し、次のプレイヤーBに対しても(次のプレイヤーBが打つボールに対しても)、図5に示すような一連の動作をドローン11に行わせる。
 次いで、プレイヤーBのティーショットが行われる。プレイヤーBに割り当てられたドローン11bに関しても、プレイヤーAのドローン11aと同様の動作が行われる。プレイヤーBのティーショットが終わると、プレイヤーAおよびプレイヤーBは、それぞれの打球落下位置へ移動する。サーバ13は、携帯端末12aから受信したGPS位置情報によりプレイヤーAの打球落下位置への移動を認識することができる。また、ドローン11aのカメラ113はプレイヤーAを撮像しているので、ドローン11aから送信される画像からもプレイヤーAの打球落下位置への移動を認識することができる。
 制御部134は、プレイヤーAが落下位置70の方向へ移動するのを認識したならば、ドローン11aを落下位置70の方向へ移動させる。この際、ドローン11aをプレイヤーAの移動速度とは関係なく落下位置70へ移動させても良いし、プレイヤーAを落下位置70に案内するように落下位置70方向へ飛行させても良い。
 なお、ドローン11aを落下位置70の上空にホバリングさせた状態に制御した場合においては、ホバリング状態を維持する。カメラ113については、打球GBを撮像する状態を維持しても良いし、落下位置70に近づくプレイヤーAを撮像するようにしても良い。
 ステップS160では、制御部134は、落下地点の上空に到達したドローン11aから送信されるGPS位置情報と、データベース133のコースデータ133aに記憶されているコースレイアウト情報とから、落下位置70がグリーン上にあるか否かを判定する。ステップS160においてグリーン上(yes)と判定された場合には、ステップS170へ進んでグリーン対応の処理を開始する。
 ここで、グリーン対応の処理とは、グリーン上ではゴルフボールに対してパッティングを行うので、パッティングに対応した支援動作が行われる。本実施の形態では、グリーン対応の処理についての詳細説明は省略する。
 ステップS170の処理を実行したならば、図3に示すフローチャートの処理を終了する。一方、ステップS160において落下位置70がグリーン上ではない(no)と判定されると、ステップS110へ戻り、第2打に関して上述したティーショット(第1打)の場合と同様の支援動作を行う。
 以上のように、カメラを搭載したドローン11を、画像情報を分析して算出される飛行目標位置へ飛行させることで、上述したようなゴルフボールの落下位置をプレイヤーAに報知することができる。その結果、プレイヤーは円滑なプレイ進行を行うことができる。このようなドローン11aを用いることで、ゴルフプレイの際にキャディを不要とすることが可能となる。
(第1実施形態の変形例1)
 ゴルフボールGBの落下位置の表示を、プレイヤーの携帯端末12の表示部121に表示するようにしたが、図13に示すように、カート(例えば、電動カート)220に搭載した表示装置221に表示するようにしても良い。図13(a)はカートの側面図であり、カート220の運転席の前方に表示装置221が設けられている。図13(b)は、表示装置221の表示例を示す図である。画面上にはコースレイアウトLAが表示され、コースレイアウトLA上に落下位置を示すマーク(黒丸で示したゴルフボールGB)を表示する。このように、落下位置の報知をドローン11のホバリング位置を視認するだけでなく、携帯端末12等に落下位置を表示することで、プレイヤーは落下位置をより詳細に認識することができる。
 また、ティーショットが終わってプレイヤーA,Bが落下位置に移動する際に、プレイヤーA,Bを乗せたカート220を落下位置に自動運転させるようにしても良い。制御部134は、落下位置上空でホバリングにているドローン11a,11bのGPS位置情報に基づいて、カート220を各落下位置に誘導する。
(第1実施形態の変形例2)
 上述した実施の形態では、プレイヤーに落下位置70を報知する形態として、携帯端末12の表示部121に落下位置70を表すマークをコースレイアウト画面上に重畳表示した。変形例2では、落下位置70のコース状況が詳細に分かるように、ゴルフボールをズームアップした画像を携帯端末12の表示部121や、カート220の表示装置221に表示するようにしても良い。落下位置70のゴルフボールGBを、側方や、斜め上方からズームアップした画像を表示することで、ゴルフボールGBがラフに落下した場合や池の縁近辺に落下した場合の詳細な状況や、落下位置の地面の傾斜状況などをプレイヤーは知ることができ、次の行動の判断をすることができる。
(第1実施形態の変形例3)
 なお、ショットの際にプレイヤーの位置からグリーンが見えない場合、どの方向に打つべきか判断できない場合がある。この場合、ショット位置からグリーンまでの全体が画像に入るようにドローン11の位置を移動させて撮像し、携帯端末12の表示部121やカート220の表示装置221にその画像を表示させるようにしても良い。この場合、プレイヤーが携帯端末12を操作して指示しても良いし、サーバ13が指示しても良い。
(第1実施形態の変形例4)
 上述した実施の形態では、図5を用いて説明したように、ショットの際の撮像と落下位置の報知とを1台のドローン11aで行ったが、ショットの際の撮像と落下位置の報知とを別々のドローン11a,11bで連携して行うようにしても良い。その場合に、ドローン11a,11bの間にマスター・スレーブの関係を作り、例えば、ショット側のドローンをマスターとし、落下位置を報知するドローンをスレーブとして制御しても良い。さらに、3台以上のドローンを連携動作させても良い。このように複数のドローンを連携して動作させることで、落下位置の探査をよりスムーズにかつ正確に行うことが可能となる。
(第1実施形態の変形例5)
 打球の落下位置を報知する支援動作の場合に、落下位置がOBであったり、ロストボールの可能性が高いと判断した場合には、プレイヤーに暫定球を打つことを促すような報知を携帯端末12やカート220の表示装置21で行うようにしても良い。打ち直しの位置を携帯端末12やカート220の表示装置21に表示して指示しても良い。また、OBかどうか判断が難しい場合、プレイヤーに選択させても良い。また、ショットの結果がOBであった場合には、そのショットの際に撮像した画像(静止画や動画)に、OBのタグを付けるようにしても良い。プレイヤーは、そのタグが付けられた画像をプレイ後に見ることで、OBの場合のフォーム等の改善を図ることができる。
(第1実施形態の変形例6)
 上述した実施の形態では、ドローン11aにより取得した画像情報に基づいて打球の落下位置を検出したが、ショット時の画像情報に基づいて打球の軌道を演算し、その演算結果から打球の落下位置を推定しても良い。この場合、ドローン11aを推定された落下位置の上空まで飛行させ、カメラ113で撮像された画像に基づいて、落下位置の周辺において落下した打球の検出動作を行う。打球が検出されたならば、上述した実施の形態のように、打球の真上の位置P3(図5参照)にドローン11aを誘導する。
(第1実施形態の変形例7)
 上述した実施形態において、打球をカメラ113で追尾して落下位置を検出し、その落下位置にドローン11aを飛行させる例を説明したが、ドローン11aに飛行追尾させるようにしても良い。例えば、図5において、ショットの際にドローン11aを所定位置P1でホバリング飛行させ、プレイヤーAがショットを行ったならば、サーバ13から飛行指令情報に基づいて飛行経路F2や飛行経路F1,F2のようにドローン11aによる打球の追尾飛行を行わせる。
 プレイヤーAの後方に所定位置P1を設定した場合には、カメラ113で打球GBの撮影を続けながら、まず、飛行経路F1のようにドローン11aを飛行目標位置P2に上昇させる。このように上昇させることで、遠ざかる打球GBをカメラ113の画面内に納めやすくなる。サーバ13からは、カメラ113により撮像された画像に基づく飛行目標位置が飛行指令情報として逐次送信される。ドローン11aは、それらの飛行指令情報に従って、カメラ113での打球GBの撮影を継続しつつ、飛行経路F2のように打球GBを追いかけるように飛行する。
(第1実施形態の変形例8)
 上述した実施形態において、所定位置P1にドローン11aを待機させる例を説明したが、ドローン11aはその場の条件に応じて所定位置P1を調整し、調整後の位置(以下では、位置P12と称する)で待機してもよい。太陽の位置や、クラブの種類、プレイヤーの性別、スイング等で、最適な撮像位置は異なる。例えば、所定位置P1からでは逆光でゴルフボールGBを認識しにくい場合、逆光にならない位置P12に待機位置を変更してもよい。また、クラブの種類がドライバーであった場合やプレイヤーが男性だった場合やスイングの速度が速かった場合には、飛距離が大きくなると判断し、遠くまで撮像できる位置P12(例えば、図5の所定位置P1よりもさらに上方の位置)で待機してもよい。
(第1実施形態の変形例9)
 上述した実施形態において、プレイヤーデータ133bに、プレイヤーの性別、レベル情報(上級、中級、初球)等が記憶されている例を説明したが、プレイヤーデータ133bを記憶してなくてもよい。その場合、カメラで撮像した画像データに既存の画像処理を施し、プレイヤーの性別等を判断してもよい。
-第2の実施の形態-
 第2の実施の形態においては、ドローン11を用いた支援システムはプレイヤーに対して種々のアドバイスを行う。アドバイスの内容としては、例えば、ゴルフボールを打つ方向のアドバイス、使用するゴルフクラブのアドバイス、ショットに関するアドバイス等がある。競技はゴルフを例に説明する。
(2-1.ショット方向のアドバイス)
 まず、ゴルフボールを打つ際の、ショット方向のアドバイスについて説明する。この支援動作は、打つ方向の目印となる目標を、ドローン11を用いて提示するものである。ドローン11には、目標軌道の目印として、プレイヤーが視認可能な大きさの的が搭載されている。この的は通常はドローン11の筐体内に格納されており、目標提示を行う際に表に飛び出させる。的としては、例えば、垂れ幕のようなものでも良い。ドローン11が的を格納していない場合は、ドローン11自体が的となっても良い。その場合、ドローン11は、プレイヤーから視認可能な位置へ飛行し、目標軌道の目印となる。サーバ13の演算部132は、データベース133のコースデータ133aおよびプレイヤーデータ133bを参照して目標軌道を演算し、その目標軌道上に的を配置させる。目標軌道の目印とは、方向に対する目印でもよいし、高度に対する目印でもよい。また、ドローン11は目標軌道の目印となるので、プレイヤーの前方を飛行するのが望ましい。
 図6は、ショット方向アドバイスの際のドローンの配置例を示す模式図である。図6では三種類の目標軌道L61,L62,L63が描かれている。目標軌道L61に示す例では、1台のドローン11aが的として使用されている。この場合には、目標軌道L61の頂点にドローン11aが配置されている。
 また、目標軌道L2に示す例では、目標軌道上に複数のドローン11a,11b,11cを配置して、目標軌道L62の描く曲線をプレイヤーAにイメージさせるようにしても良い。
 目標軌道L63に示す例では、ドローン11aから的60を下げて、その的60が目標軌道L63上に配置されるようにドローン11aをホバリングさせる。的60の位置は、目標軌道L61上のドローン11aのように軌道の頂点に配置しても良いし、それ以外の位置に配置しても良い。
 図7は、サーバ13の制御部134で実行されるアドバイス処理の一例を示すフローチャートである。ここでは、図6の目標軌道L61で例示した的提示を行う場合の処理について説明する。
 ステップS310では、制御部134は、プレイヤーAの全身がカメラ113で撮像できる位置(以下では、位置P20と称する)にドローン11aをホバリングさせるための撮影用飛行指令情報を送信する。位置P20は、プレイヤーAの全身が撮像できなくても、ショット方向のアドバイスや、後に説明する種々のアドバイスをするために必要な情報(撮像画像)を取得できる位置であればよい。ステップS320では、制御部134は、カメラ113で撮像された画像に基づく顔認識を演算部132に行わせ、画像内の人物がプレイヤーAか否かを判定する。プレイヤーAと判定されるとステップS330へ進む。カメラ113はプレイヤーAが捕捉されるまでカメラ113の光軸方向を変化させ、視野方向を上下左右に変更しながら撮像を行い、ステップS320の処理を繰り返す。
 ステップS330では、制御部134は、プレイヤーAが手にしているゴルフクラブの画像から、そのゴルフクラブが、データベース133のプレイヤーデータ133bに登録されている複数のゴルフクラブのいずれであるかを判定する。ステップS340では、制御部134は、ステップS330の判定結果と、データベース133に記憶されているコースデータ133aおよびプレイヤーデータ133bとに基づく目標軌道の演算を、演算部132に行わせる。ステップS350では、制御部134は、的提示用飛行指令情報をドローン11aに送信し、ドローン11aを目標軌道L61の頂点位置に移動させる。プレイヤーAは、ホバリングしているドローン11aを的として、ゴルフボールGBをショットする。
 上述したように、コースデータ133aには、ホール番号、コース長、基準打数、ティーグランドの位置情報(緯度経度)、グリーンの位置情報(緯度経度)、基準打数の各打毎の推奨クラブ(男性用、女性用)、上級者用コース戦略情報、中級者用コース戦略情報、初級者用コース戦略情報、OBの位置情報(緯度経度)などが記憶されている。上級者用コース戦略情報、中級者用コース戦略情報および初級者用コース戦略情報のそれぞれには、基準打数の各打毎に、打つべき打球の方向と基準飛距離が登録されている。
 上述したステップS340の処理では、プレイヤーデータ133bに登録されたプレイヤーAのレベル(上級、中級、初級)、画像認識により判定されたゴルフクラブの種類、コースデータ133aに登録された基準打数の各打毎の推奨クラブおよびコース戦略情報等に基づいて、目標軌道L61を演算する。例えば、1番ホールのティーショットにおいて、プレイヤーAの使用するゴルフクラブが1番アイアンであることが画像認識から判定された場合を考える。ここで、1番ホールのティーショットの推奨クラブとして3番ウッドがコースデータ133aに登録されている場合、使用するクラブに応じてゴルフボールの軌道が異なるので、1番アイアンを使用した場合の目標軌道に切り替える。また、プレイヤーAの性別によって打つべき打球の方向や飛距離は変化するので、それらを考慮しても良い。
 なお、プレイヤーAの今日の調子に応じて、目標軌道を変更するようにしても良い。例えば、2打目以降であれば、それ以前の打球の飛距離とプレイヤーAのレベルに基づいて、プレイヤーAの今日の調子(今日はあまり飛ばない、右にそれやすい、等)を判定し、その調子に応じて目標軌道を変更する。
 例えば、プレイヤーAの調子が悪く本来よりも飛距離が短い場合の対処方法としては、今の調子で達成可能な本来より短めの目標軌道に変更する方法がある。逆に、プレイヤーAの調子が上がるように、今の調子で達成可能な目標距離よりも若干長めの目標軌道に変更する方法もある。また、打球が右にそれやすい傾向がある場合には、目標軌道の方向を左側にずらすように変更する、等の方法がある。また、演算された目標軌道が、プレイヤーAの意図に合わない場合、プレイヤーAがドローン11の飛行位置を携帯端末12から指定することもできる。最初からプレイヤーAがドローン11の飛行位置を指定することもできる。この場合、プレイヤーAは、携帯端末12を介してドローン11が飛行する位置を指定する。携帯端末12は、プレイヤーAが指定した指定位置を示す指定位置情報をドローン11へ送信する。ドローン11は、受信した指定位置情報に基づいて、プレイヤーAが指定した位置へ飛行する。なお、携帯端末12は指定位置情報をサーバ13へ送信し、サーバ13は受信した指定位置情報をドローン11へ送信し、ドローン11は指定位置情報を受信してもよい。
 また、ゴルフクラブを判定し、目標軌道を演算したが、それに限られない。ゴルフクラブが判定できなかった場合、推奨クラブであると仮定し、目標軌道を演算してもよい。
 プレイヤーAの動きに基づいて、目標軌道を演算してもよい。カメラ113でプレイヤーAのスイングを撮像し、スイングの速さや角速度等から目標軌道を演算する。例えばスイングが早い場合、ゴルフボールが遠くまで飛びすぎる可能性があるため、目標軌道を近くにするよう変更する。
 プレイヤーAの属性に基づいて、目標軌道を演算してもよい。プレイヤーAが男性の場合と女性の場合とではゴルフボールの飛距離が異なるので、性別によって目標軌道を変更する。また、プレイヤーAの年齢、プレイヤーAのレベル(初級者、中級者、上級者等)、ゴルフクラブの種類によっても飛距離は異なるため、目標軌道を変更する。
 基準打数に基づいて、目標軌道を演算してもよい。現在のプレイヤーAの位置から基準打数内でホールするための目標軌道を演算する。例えば、基準打数が3打のコースで、1打目が基準よりも飛ばなかった場合(1打目の飛距離が基準より短い場合)、2打目は基準よりも遠くに飛ばす必要がある。そのため、ドローン11は、2打目の基準飛距離よりも遠くを目標軌道とする。プレイヤーAは、基準よりも遠くにドローン11が目印として飛行しているため、遠くに飛ばす必要を認識できる。そのために、ゴルフクラブを変更することもできる。
 プレイヤーA又はゴルフクラブに基づいて、目標軌道を演算したが、それに限定されない。例えば大気情報(風の速度や方向等)に基づいて、目標軌道を演算してもよい。例えば、風が左から右へ強く吹いている場合、ゴルフボールは右へ流されやすい。その場合、基準目標位置よりも左を目標軌道として演算する。
 プレイヤーAの身体の向きに基づいて、目標軌道を演算してもよい。プレイヤーAの身体の向きによって、ゴルフボールの飛行方向は変化する。よって、プレイヤーAの身体が右に向きすぎていると判定した場合、目標軌道を左にずらすよう演算してもよい。
 上述のように、競技(ゴルフ)に関する情報に基づいて目標軌道を演算し、ドローン11を飛行させる。競技(ゴルフ)に関する情報は、カメラ113が撮像した画像から取得してもよいし、コースデータ133aやプレイヤーデータ133bのようにサーバ等に記憶されているデータから取得してもよい。プレイヤーAが打ち終わった後は、次の打者であるプレイヤーBの目標軌道を演算し目標位置へ飛行する。
<ドローンの危険回避動作>
 ところで、上述したショット方向のアドバイスを行う支援動作においては、プレイヤーAがショットした打球がドローン11aに衝突する可能性がある。そこで、そのような衝突可能性がある場合には、ドローン11aは衝突を防止するための危険回避動作を行う。サーバ13は、ドローン11aが的60を出してホバリング飛行している状態においては、カメラ113によりプレイヤーAがショットするゴルフボールGBが撮像されるように、撮像指令をドローン11に送信する。
 サーバ13は、撮像画像を演算部132で解析させてプレイヤーAがショットした打球GBを監視し、ドローン11aの方向に飛んできた打球GBがドローン11aに衝突するか否かを判定する。サーバ13は、打球がドローン11aに衝突すると判断した場合には、打球との衝突を回避すべく、飛行制御指令をドローン11aに送信する。具体的には、ドローン11aを現在位置から上昇または降下させて上下方向に回避移動したり、ドローン11aを現在位置から左右方向に移動させたりして、打球の軌道から外れた位置へ移動させる。
 また、このようなドローン11aへの打球の衝突は、ショット方向をアドバイスする支援動作中に限らず、上述した打球落下位置を案内する支援動作や、後述するような他の支援動作の最中にも起こり得る。そのため、そのような他の支援動作中においても、ドローン周囲の画像を適宜カメラで撮像し、その画像から打球の衝突が予想される場合には、上述の場合と同様に打球の軌道から外れた位置へドローン11aを回避移動させる。
 上述のような打球の衝突には、他のパーティのプレイヤーがショットした打球がコース内に飛来して、ドローン11aに衝突するような場合もある。そのような場合、サーバ13は、ドローン11aのカメラ113で撮像された画像に基づいて打球の衝突を予測しても良いし、他のパーティのドローン11のカメラ113で撮像した画像に基づいて打球の衝突を予測しても良い。サーバ13は、他のパーティのドローン11のカメラで撮像された画像の情報も受信し画像解析を行っているので、その画像から他のパーティのプレイヤーがショットした打球の軌道を演算し、その打球がドローン11aに衝突するおそれがあるか否かを判断することができる。
(2-2.使用するゴルフクラブのアドバイス)
 使用するゴルフクラブをアドバイスする支援動作について、図8のフローチャートにより説明する。ステップS410では、制御部134は、プレイヤーAの全身がカメラで撮像できる位置にドローン11aをホバリングさせるための撮影用飛行指令情報を送信する。ステップS420では、制御部134は、カメラ113で撮像された画像に基づく顔認識を演算部132に行わせ、画像内の人物がプレイヤーAか否かを判定する。
 ステップS430では、制御部134は、データベース133のコースデータ133aおよびプレイヤーデータ133bを参照して、プレイヤーデータ133bに登録されている複数のゴルフクラブの中から最適と思われるゴルフクラブを推奨ゴルフクラブとして選択する。
 例えば、プレイヤーAが男性であってレベルが上級者であると登録されている場合には、コースデータ133aの上級者用の男性用推奨クラブと、プレイヤーデータ133bに登録されている複数のゴルフクラブとを比較し、複数のゴルフクラブの中から最適なゴルフクラブを選択する。
 ステップS440では、制御部134は、ステップS430で選択したゴルフクラブの情報を、推奨クラブの情報として携帯端末12aに送信する。推奨クラブ情報を受信した携帯端末12aは、表示部121にクラブの名称等を表示させる。
 なお、既に行ったプレイのスコアに基づいてプレイヤーAの調子を判断し、その調子に応じたゴルフクラブを推奨するようにしても良い。例えば、調子が悪くて飛距離が出ていない場合には、コースデータ133aとプレイヤーデータ133bとに基づいて選択されるゴルフクラブよりも飛距離の出やすいゴルフクラブを、推奨クラブとしてとして選択する。
 また、プレイヤーデータ133bにプレイヤーAのレベルが登録されていない場合には、サーバ13の制御部134は次のような処理を行って、プレイヤーAのレベルを判断し、その判断したレベルに基づいて上述したゴルフクラブの推奨を行う。まず、制御部134は、カメラ113でプレイヤーAの全身が撮像できるようにドローン11aの位置を制御する。制御部134は、ドローン11aから送信される画像に基づいて、スイング解析が可能な画像となるようにドローン11aの位置、カメラ113の画角、撮影方向を制御する。
 ドローン11aにおける撮像準備が完了したら、制御部134は、携帯端末12aにスイング動作を促す報知(表示や音声による報知)を行わせ、プレイヤーAがスイングする画像を取得する。ここで、スイング動作は素振りである。制御部134は、取得された画像からスイングを画像解析し、プレイヤーAのレベルが上級、中級、初級のいずれであるかを判定する。判定結果は、データベース133のプレイヤーデータ133bに新たに登録される。
(2-3.ショットに関するアドバイス)
 この支援動作では、ショットを行うプレイヤーAに、スタンス、グリップなどを教示する。そのために、サーバ13の制御部134は、ドローン11aのカメラ113でコース上のゴルフボールGBを撮像し、撮像された画像からコース状況を推定する。例えば、画像からゴルフボールGBを打つ地点の傾斜を検出し、傾斜状況とグリーンまでの方向、距離、プレイヤーAのレベルなどに基づいて、サーバ13がプレイヤーAに、スタンス、グリップなどをアドバイスする。アドバイス内容は、携帯端末12aの表示部121に表示される。データベース133のコースデータ133aには、斜度、上がり勾配で打つ必要がある場合のアドバイス内容、下がり勾配で打つ必要がある場合のアドバイス内容等が予め記憶されている。
 このように、プレイの最中にプレイヤーに上述したようなアドバイスを行うことで、プレイヤーはより最適な条件(ゴルフクラブやフォーム等)でプレイを行うことができ、成績アップを図ることができる。
-第3の実施の形態-
 第3の実施の形態における支援動作では、プレイヤーの労力を省くような支援動作を行う。具体的には、コースから外れた打球をドローン11が拾う動作や、打球がコース内の池に落下してしまったことを報知する動作や、池に落下した等によりゴルフボールが回収できない場合に予備のゴルフボールをプレイヤーに補給する動作等である。
(3-1.コースから外れた打球を拾う支援動作)
 ドローン11には、図9に示すような把持装置43が搭載されている。把持装置43は、開閉する一対の把持板431a,431bと、把持板431bを開閉駆動するアクチュエータ432とを備えている。
 この打球を拾う支援動作は、上述した第1の実施の形態における打球の落下位置を案内する支援動作の後に行われる。すなわち、落下位置を案内する支援動作の際に、サーバ13は、ドローン11からのGPS位置情報とデータベース133のコースデータ133aとに基づいて、打球の落下位置がOBの位置か否かを認識することができる。OBと認識された場合には、この打球を拾う支援動作が実行される。
 サーバ13は、打球の落下位置とデータベース133のコースデータ133aとを照合し、ボール位置がOBの位置であれば、ドローン11にゴルフボールを拾わせる制御指令(飛行指令と把持指令)を送信する。ドローン11は、サーバ13からの飛行指令に従って、落下位置の上空でホバリングしていた位置から降下し、把持装置43によりゴルフボールを回収する。ドローン11は、回収したゴルフボールをプレイヤーに届けたり、カート220に届けたりする。
 ところで、ゴルフボールがOB位置に落下した場合、ゴルフボールの落下地点と想定される位置を上空から撮像したときに、画像中のゴルフボールが認識できない場合がある。例えば、ゴルフボールがラフや木の枝に隠れている場合である。そのような場合には、サーバは、カメラをズームさせて、そのズーム画像からゴルフボールを検出する。
(3-2.打球が回収不能の場合の支援動作)
 プレイヤーのショットしたゴルフボールが池に落下した場合、サーバ13は、画像中の水しぶき等からボールが池に落下したことを認識することができる。このように、画像から池に落下したことを判断しても良いし、落下位置上空でホバリングしているドローン11のGPS位置情報とコースデータ133aとから池に落下したことを判断しても良い。しかしながら、水中のゴルフボールを画像から検出するのは難しく、ドローン11によりゴルフボールを回収することができない。
 そこで、ゴルフボールが池に落下した場合には、回収不能であることをプレイヤー等に報知する。例えば、携帯端末12の表示部121に回収不能であることを文字表示したり、カート220の表示装置221に報知情報を表示したりする。
 また、池への落下だけでなく、林の中に落下してボールを見失ってしまった場合や、ドローン11が飛行できないOB位置に落下した場合には、ゴルフボールを回収できない。その場合には、池への落下の場合と同様に回収不能であることを報知する。サーバ13は、カメラ113で撮像した画像から、ドローン11が飛行できないことを判別する。
 上述のようにゴルフボールの回収が不能であることを報知した場合には、ドローン11が予備のゴルフボールをプレイヤーに補給するようにしてもよい。この場合、ドローン11に予め予備のゴルフボールを搭載しておき、ドローン11をプレイヤーの位置まで飛行させて、プレイヤーの近くにゴルフボールを落下させる。または、カート220までゴルフボールを取りに行って、プレイヤーに届けても良い。
 第3の実施の形態における支援動作のその他の例としては、グリーン上のショットの際に、旗をホールから引き上げる動作をドローン11に行わせる動作がある。この場合、サーバは、ドローン11に搭載した把持装置43により旗のポールを把持し、把持した状態でドローン11を上昇させれば良い。また、クラブスイングにより芝が削除されてドロが露出してしまった場合に、ドローン11より削除箇所に砂を散布させる動作を行わせるようにしても良い。サーバ13は、ドロが露出していることをカメラ113で撮像した画像から認識すると、ドローン11に対して、削除箇所に砂を散布させる指令を出力する。なお、砂の散布に代えて、穴の位置を管理室に知らせるような支援動作でも良い。それにより、メンテナンスの係員が穴の位置まで移動し、土地をならす。また、バンカーショットの場合に、バンカーを平らにならす動作をドローン11に行わせても良い。
 上述のように、第3の実施の形態では、ゴルフプレイ中に発生する種々のプレイ以外の煩わしい処理を、キャディの代わりであるドローン11が肩代わりするので、プレイヤーはゴルフプレイに集中することができる。また、プレイ進行をスムーズに行わせることができる。
-第4の実施の形態-
 第4の実施の形態における支援動作では、プレイヤーに危険を知らせる動作を行う。この支援動作の例としては、他のパーティとの接近を報知したり、危険物の存在を報知したりする動作等があげられる。
(4-1.他のパーティとの接近の報知)
 例えば、先行するパーティ(以下では、パーティPAと称する)のプレイが遅れ気味となって、同一コース上にパーティPAと後発のパーティ(以下では、パーティPBと称する)とが存在している場合には、以下のような支援動作が行われる。
 サーバ13は、パーティPBのプレイ中に、グリーン位置まで他のパーティが接近していないか、パーティPBのドローン11に探査飛行を行わせる。例えば、パーティPBとグリーンとの中間地点にドローン11を飛行させ、グリーンとパーティPBとが画像に収まるようにドローン11の高度を上昇させる。
 サーバ13は、撮像された画像中に先行するパーティPAのプレイヤーを検出したならば、その画像からパーティPAとパーティPBとの距離を推定する。そして、サーバ13は、推定した距離からパーティPBが先行するパーティPAに近づき過ぎていると判断した場合には、ショットを禁止する警告情報を、パーティPBのプレイヤーの携帯端末12やカート220の表示装置221に送信する。携帯端末12や220の表示装置221は、警告情報を受信すると、それらの表示部にショット禁止の警告表示を表示しても良い。また、警報音や音声で報知するようにしても良い。また、ドローン11が飛行を停止することで、プレイができないことを各プレイヤーに報知するようにしても良い。
 また、サーバ13が、先行するパーティPAのプレイヤーの携帯端末12に後のパーティPBが接近していることを報知する情報を送信するようにしても良い。例えば、プレイを早めるようにプレイヤーの携帯端末12に報知する。この場合、カート220の速度を上げるようにサーバ13がカート220に指示しても良い。
 なお、上述の説明では、後発のパーティPBのドローン11のカメラ113が撮像した画像に基づいて、先行するパーティPAへの接近を報知するようにした。しかし、パーティPAのドローン11のカメラ113でパーティPAと後続するパーティPBとを撮像し、撮像された画像から、後続するパーティPBとの接近状況を把握するようにしても良い。
 また、ドローン11のカメラ113で撮像した画像から他のパーティとの間隔を判断する代わりに、サーバ13は、パーティPBのドローン11のGPS位置情報と他のパーティPAのドローン11のGPS位置情報とから、パーティPBとパーティPAとの間隔を判断しても良い。また、カート220にGPS受信機が搭載されていて、カート220同士の間隔を他パーティとの間隔と判断しても良い。
(4-2.危険球の報知)
 プレイヤーがショットした打球が他のコースに飛んでいってしまった場合に、他のコースのプレイヤーに打球が飛来することを報知する支援動作について説明する。サーバ13は、ショット時の画像から打球の方向や距離を推定し、打球が他のコースに飛来するか否かを判定する。打球が他のコースに飛来すると判定した場合には、サーバ13は、他のコースでプレイしているプレイヤーの携帯端末12に打球の飛来を知らせる危険球情報を送信する。危険球情報を受信した携帯端末12は、表示部121に警告表示を表示したり、警報音を発したりしてプレイヤーに打球の飛来を報知する。また、カート220の表示装置221に危険球情報を表示させるようにしても良い。この危険球を報知する支援動作は、他の支援動作の最中にも実行される。
(4-3.危険場所の報知)
 データベース133のコースデータ133aには、マムシやスズメバチ等が出没する危険場所に関するデータも格納されている。サーバ13は、プレイヤーがそれらの危険場所に近づく状況が生じた場合には、危険場所に近いことを知らせる警報情報をプレイヤーの携帯端末12に送信する。例えば、打球の落下地点が危険場所に近い場合には、サーバ13は、落下地点を携帯端末12に表示させる際に、マムシに注意する警告表示や、スズメバチに注意する警告表示も表示させる。また、携帯端末12に警告音を発生させるようにしても良い。
 また、打球の落下地点がOBではない場合、サーバ13は、ドローン11のカメラ113を用いて落下地点やその周囲のズーム画像を撮像させ、それらの画像からマムシやスズメバチ等を検出するようにしても良い。この支援動作は、打球の落下地点が予め登録された危険場所に近い場合にのみ行っても良いし、落下地点が危険場所に近いか否かに関係なく行っても良い。
 上述したように、第4に実施の形態では、ゴルフプレイ中に発生する危険な状況を、ドローン11により警報を発生させることにより、未然に回避することができる。その結果、プレイヤーは安全にプレイを行うことができる。
-第5の実施の形態-
 上述した第1~第4の実施の形態では、ドローン11とサーバ13とが連携してゴルフ支援を行う構成としたが、図10に示すように、サーバ13が担っている機能をドローン11に実装しても良い。また、図11に示すように、サーバ13の制御部134と演算部132の機能をドローン11に組み込み、サーバ13の機能をデータベース機能に限定しても良い。いずれの場合も、上述した支援動作の処理(サーバ13の制御部134で行っていた処理)をドローン11の制御部117で行う。
 また、図10に示す例では、ドローン11と携帯端末12との間のデータの授受を、通信ネットワーク14を介して行う構成としが、ドローン11と携帯端末12との間で直接にデータの授受を行うようにしても良い。
 またドローン11はカメラ113を備えていなくてもよい。その場合、ゴルフ場には固定カメラが設置されており、撮像はこの固定カメラで行う。固定カメラとドローン11とサーバ13は各々通信が可能になっており、固定カメラが撮像した画像データを送受信できる。ドローン11又はサーバ13は、固定カメラが撮像した画像データを受信し、上記実施形態の処理を行う。
 なお、上述した実施の形態では、ドローン11のカメラ113でプレイヤーの画像や、ショットの際の画像を撮影する際のドローン11の位置を、GPS位置情報や画像情報に基づいて決定するようにしたが、プレイヤーが携帯端末12を使用して指示を出し、その指示に従ってサーバ13が飛行指令情報を送信するようにしても良い。
 上述の実施の形態では、スポーツ支援動作の一例として、ゴルフを例に説明したが、ゴルフに代えて、競技はフライングディスク (flying disc)のゲーム(例えば、ディスクゴルフ)等にも適用できる。それにより、ゲームにおけるプレイヤーの円滑なプレイ進行を図ることができる。なお、フライングディスクはフリスビー(登録商標)とも呼ばれる。
 なお、上述した図3,7,8のフローチャートで示した処理を行わせるプログラムは、サーバ13の制御部134またはドローン11の制御部117において実行される。上述の制御部117,134はCPU、記録媒体(ROM、メモリカードやハードディスク等)及び周辺回路から構成され、CPUは記録媒体に格納された上記プログラムを実行する。
 例えば、上記プログラムは、撮像部であるカメラ113を載置して飛行するドローン11の飛行部111を制御するプログラムであって、移動中の物体であるゴルフボールGBをカメラ113に撮像させる撮像処理と、カメラ113が撮像した後のゴルフボールGBをカメラ113が撮像するために、カメラ113の出力に基づく制御情報によって飛行部111及びカメラ113の少なくとも一方を制御する制御処理と、を制御部117や制御部134に実行させる。また、上記プログラムは、飛行可能な飛行部111を制御するプログラムであって、例えば、ゴルフ等の競技に関する情報に基づく飛行情報を取得する取得処理と、飛行情報に基づいて飛行部111を制御する制御処理と、を制御部117や制御部134に実行させる。
 上述した実施の形態では、無人飛行機11のような飛行装置を例に説明したが、飛行装置に限らず、例えば、飛行部111の代わりにタイヤや二足歩行機構等の移動部を備えた移動装置にも適用が可能である。飛行部111の場合と同様に、移動部には移動中の物体を撮像する撮像部(例えば、カメラ113)が載置される。この場合、移動装置は、飛行部111が移動部で置き換わった構成となるだけで、飛行装置の場合と同様の制御が行われる。例えば、制御部134は、撮像部が撮像した後の物体を撮像部が撮像するために、撮像部の出力に基づく制御情報によって移動部及び撮像部の少なくとも一方を制御する。また、ゴルフ等の競技に関する情報に基づく移動情報を取得する取得処理と、移動情報に基づいて移動部を制御する制御処理と、を制御部134や移動部に設けられた制御部に実行させる。
 また、移動装置は撮像部(例えばカメラ113)を備えていなくてもよい。その場合、ゴルフ場には固定カメラが設置されており、撮像はこの固定カメラで行う。固定カメラと移動装置とサーバ13は各々通信が可能になっており、固定カメラが撮像した画像データを送受信できる。移動装置又はサーバ13は、固定カメラが撮像した画像データを受信し、上記実施形態の処理を行う。
 上記では、種々の実施の形態および変形例を説明したが、それらの実施の形態および変形例を組み合わせることも可能である。
 本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2015年第195278号(2015年9月30日出願)
 1…支援システム、11,11a,11b…無人飛行機(ドローン)、12,12a,12b…携帯端末、13…サーバ、14…通信ネットワーク、43…把持装置、60…的、70…落下位置、P1,P11…所定位置、P2,P4…飛行目標位置、111…飛行部、112…飛行制御部、113…カメラ、114…カメラ制御部、115、123…GPS受信機、116,122,131…通信部、117,134…制御部、132…演算部、133…データベース、220…カート

Claims (50)

  1.  移動中の物体を撮像する撮像部と、
     前記撮像部を載置して飛行する飛行部と、
     前記撮像部が撮像した後の前記物体を前記撮像部が撮像するために、前記撮像部の出力に基づく制御情報によって前記飛行部及び前記撮像部の少なくとも一方を制御する制御部と、を備える
     飛行装置。
  2.  前記制御部は、前記撮像部が撮像した後の前記物体を前記撮像部が撮像可能な位置へ飛行するよう前記飛行部を制御する
     請求項1に記載の飛行装置。
  3.  前記撮像部は、前記移動中の物体を異なるタイミングで撮像する
     請求項1又は請求項2に記載の飛行装置。
  4.  前記制御部は、前記撮像部に、撮像するときの画角を変更させる
     請求項1から請求項3の何れか一項に記載の飛行装置。
  5.  前記制御部は、前記撮像部が撮像した後の前記物体を前記撮像部に撮像させる
     請求項1から請求項4の何れか一項に記載の飛行装置。
  6.  前記制御情報は、前記物体の移動に基づく情報を含む
     請求項1から請求項5の何れか一項に記載の飛行装置。
  7.  前記制御情報は、前記移動中の物体が移動を停止する位置に関する情報を含む
     請求項1から請求項6の何れか一項に記載の飛行装置。
  8.  前記制御情報は、前記移動中の物体を撮像した前記撮像部の出力に基づき予測された前記物体の停止位置に関する情報を含む
     請求項7に記載の飛行装置。
  9.  前記制御部は、前記移動中の物体が移動を停止した位置に基づいて飛行するよう前記飛行部を制御する
     請求項1から請求項8の何れか一項に記載の飛行装置。
  10.  前記制御部は、前記飛行部に、前記移動中の物体が移動を停止した位置へ飛行させる
     請求項1から請求項9の何れか一項に記載の飛行装置。
  11.  前記制御部は、飛行部に、前記移動中の物体が移動を停止した位置の上空で飛行させる
     請求項10に記載の飛行装置。
  12.  移動を停止した前記物体に関する情報を、他の電子機器に送信する送信部を備える
     請求項1から請求項11の何れか一項に記載の飛行装置。
  13.  前記撮像部は、前記停止した物体、および前記停止した物体が存在する位置の少なくとも一方を撮像する
     請求項12に記載の飛行装置。
  14.  前記送信部は、前記停止した物体、および前記停止した前記物体が存在する位置の少なくとも一方を撮像した画像データを、前記他の電子機器に送信する
     請求項13に記載の飛行装置。
  15.  前記撮像部は、移動前の前記物体を前記物体の上空から撮像する
     請求項1から請求項14の何れか一項に記載の飛行装置。
  16.  前記撮像部は、前記移動中の物体の、水平方向における移動が識別できるように前記移動中の物体を撮像する
     請求項15に記載の飛行装置。
  17.  前記制御部は、環境又は被写体に基づいて前記飛行部を制御する
     請求項1から請求項16の何れか一項に記載の飛行装置。
  18.  前記制御部は、太陽の位置又は前記被写体の位置に基づいて前記飛行部を制御する
     請求項17に記載の飛行装置。
  19.  前記被写体は人である
     請求項17又は請求項18に記載の飛行装置。
  20.  前記撮像部は、移動を停止した第一物体を撮像し、
     前記制御部は、前記飛行部に、前記撮像部による前記第一物体の撮像後に、前記第一物体とは異なる第二物体の移動前の上空へ飛行させる
     請求項1から請求項19の何れか一項に記載の飛行装置。
  21.  前記物体はボールである
     請求項1から請求項20の何れか一項に記載の飛行装置。
  22.  前記制御部は、前記飛行部に、前記物体と衝突しない位置へ飛行させる
     請求項1から請求項21の何れか一項に記載の飛行装置。
  23.  サーバと通信する通信部を備え、
     前記通信部は、前記撮像部の出力を前記サーバへ送信し、前記撮像部の出力に基づく前記制御情報を前記サーバから受信する
     請求項1から請求項22の何れか一項に記載の飛行装置。
  24.  前記撮像部の出力に基づいて前記制御情報を生成する生成部を備える
     請求項1から請求項22の何れか一項に記載の飛行装置。
  25.  請求項1から請求項23の何れか一項に記載の飛行装置と通信を行うサーバであって、
     前記飛行装置から画像データを受信する受信部と、
     前記画像データに基づいて前記制御情報を生成する生成部と、
     前記制御情報を前記飛行装置へ送信する送信部と、を備える
     サーバ。
  26.  撮像部を載置して飛行する飛行装置の飛行部を制御するプログラムであって、
     移動中の物体を前記撮像部に撮像させる撮像処理と、
     前記撮像部が撮像した後の前記物体を前記撮像部が撮像するために、前記撮像部の出力に基づく制御情報によって前記飛行部及び前記撮像部の少なくとも一方を制御する制御処理と、をコンピュータに実行させる
     プログラム。
  27.  移動中の物体を撮像する撮像部と、
     前記撮像部を載置して移動する移動部と、
     前記撮像部が撮像した後の前記物体を前記撮像部が撮像するために、前記撮像部の出力に基づく制御情報によって前記移動部及び前記撮像部の少なくとも一方を制御する制御部と、を備える
     移動装置。
  28.  競技に関する情報に基づく飛行情報を取得する取得部と、
     前記取得部を保持して飛行する飛行部と、
     前記飛行情報に基づいて前記飛行部を制御する制御部と、
     を備える飛行装置。
  29.  前記制御部は、前記飛行部に、前記競技を行う競技者の前方へ飛行させる
     請求項28に記載の飛行装置。
  30.  前記制御部は、前記飛行部に、前記競技者に視認される可視位置へ飛行させる
     請求項29に記載の飛行装置。
  31.  前記可視位置は、前記競技者に向けた目印となる位置を含む
     請求項30に記載の飛行装置。
  32.  前記可視位置は、高度に対する目印となる位置を含む
     請求項31に記載の飛行装置。
  33.  前記制御部は、前記可視位置へ飛行した後に前記取得部が取得した前記飛行情報に基づいて、前記飛行部を制御する
     請求項30から請求項32の何れか一項に記載の飛行装置。
  34.  前記取得部は、前記競技を行う競技者が指定した指定位置に基づく指定位置情報を取得し、
     前記制御部は、前記指定位置情報に基づいて前記飛行部を制御する
     請求項28から請求項33の何れか一項に記載の飛行装置。
  35.  前記競技に関する情報は、前記競技を行う競技者に関する情報、前記競技に使用する道具に関する情報、および前記競技の環境に関する情報のうち少なくとも1つを含む
     請求項28から請求項34の何れか一項に記載の飛行装置。
  36.  前記競技者に関する情報は、前記競技者の動き情報、前記競技者の属性情報、および前記競技者の位置情報のうち少なくとも1つを含む
     請求項35に記載の飛行装置。
  37.  前記競技者の属性は、前記競技者の性別、年齢、および評価値のうち少なくとも1つを含む
     請求項36に記載の飛行装置。
  38.  前記競技に使用する道具に関する情報は、前記道具の種類を含む
     請求項35から請求項37の何れか一項に記載の飛行装置。
  39.  前記競技の環境に関する情報は、前記競技のコース情報又は風の情報のうち少なくとも1つ以上を含む
     請求項35から請求項38の何れか一項に記載の飛行装置。
  40.  前記取得部は、前記競技を行う第一競技者に基づく第一飛行情報と、前記第一競技者とは異なる第二競技者に基づく第二飛行情報とを取得し、
     前記制御部は、前記第一飛行情報に基づいて前記飛行部を制御した後、前記第二飛行情報に基づいて前記飛行部を制御する
     請求項28から請求39の何れか一項に記載の飛行装置。
  41.  画像データを取得する撮像部を備え、
     前記取得部は、前記画像データに基づき前記飛行情報を取得する
     請求項28から請求項40の何れか一項に記載の飛行装置。
  42.  前記撮像部は、前記競技を行う競技者が力を与える物体を撮像し、
     前記取得部は、前記物体の軌跡に基づく前記飛行情報を取得する
     請求項41に記載の飛行装置。
  43.  前記撮像部は、前記物体に力を与える前の前記競技者を撮像する
     請求項42に記載の飛行装置。
  44.  前記撮像部は、移動中の前記物体を撮像し、
     前記制御部は、前記飛行部に、移動中の前記物体と衝突しない位置に飛行する
     請求項42又は請求項43に記載の飛行装置。
  45.  前記撮像部が取得した前記画像データを他の電子機器へ送信する送信部を備える
     請求項41から請求項44の何れか一項に記載の飛行装置。
  46.  前記取得部は、他の電子機器から前記飛行情報を取得する
     請求項28から請求項45の何れか一項に記載の飛行装置。
  47.  前記競技のアドバイスに関するデータを表示装置に送信する送信部を備える
     請求項28から請求項46の何れか一項に記載の飛行装置。
  48.  請求項28から請求項47の何れか一項に記載の飛行装置と通信を行うサーバであって、
     前記競技に関する情報に基づいて前記飛行情報を生成する生成部と、
     前記飛行情報を前記飛行装置へ送信する送信部と、を備える
    サーバ。
  49.  飛行可能な飛行部を制御するプログラムであって、
     競技に関する情報に基づく飛行情報を取得する取得処理と、
     前記飛行情報に基づいて飛行部を制御する制御処理と、をコンピュータに実行させる
     プログラム。
  50.  競技に関する情報に基づく移動情報を取得する取得部と、
     前記取得部を保持して移動する移動部と、
     前記移動情報に基づいて前記移動部を制御する制御部と、
     を備える移動装置。
PCT/JP2016/077907 2015-09-30 2016-09-21 飛行装置、移動装置、サーバおよびプログラム WO2017057157A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680056577.1A CN108141512B (zh) 2015-09-30 2016-09-21 飞行装置、移动装置、电子设备以及计算机可读存储介质
JP2017543200A JP6911762B2 (ja) 2015-09-30 2016-09-21 飛行装置、移動装置およびプログラム
US15/765,237 US20180280780A1 (en) 2015-09-30 2016-09-21 Flying device, moving device, server and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015195278 2015-09-30
JP2015-195278 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017057157A1 true WO2017057157A1 (ja) 2017-04-06

Family

ID=58427404

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077907 WO2017057157A1 (ja) 2015-09-30 2016-09-21 飛行装置、移動装置、サーバおよびプログラム

Country Status (4)

Country Link
US (1) US20180280780A1 (ja)
JP (1) JP6911762B2 (ja)
CN (1) CN108141512B (ja)
WO (1) WO2017057157A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259959B1 (ja) * 2016-09-30 2018-01-10 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム
WO2018190319A1 (ja) * 2017-04-11 2018-10-18 日本化薬株式会社 飛行体および飛行体の制御方法
CN109305351A (zh) * 2018-11-20 2019-02-05 南京森林警察学院 一种自主收放式挂幅旋翼无人机
JP2019164576A (ja) * 2018-03-20 2019-09-26 クオリティソフト株式会社 音声伝達システム
JP2020024624A (ja) * 2018-08-08 2020-02-13 三菱ロジスネクスト株式会社 無人飛行体を用いた無人搬送システム
JP2020088855A (ja) * 2018-11-16 2020-06-04 協栄精工株式会社 ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置
JP2020147105A (ja) * 2019-03-12 2020-09-17 日本放送協会 カメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステム
WO2020262336A1 (ja) * 2019-06-28 2020-12-30 株式会社コロプラ プログラム、方法、情報処理装置及び打席スペース
WO2020262222A1 (ja) * 2019-06-24 2020-12-30 株式会社Clue 飛行体の制御システム
WO2022102491A1 (ja) * 2020-11-11 2022-05-19 ソニーグループ株式会社 制御装置及び制御方法
JP2022528243A (ja) * 2019-03-29 2022-06-09 株式会社ヴイシー ボールの落下地点を案内する電子デバイスおよびシステム
WO2022154018A1 (ja) * 2021-01-18 2022-07-21 京セラ株式会社 運転支援システム、車両、撮影装置
EP3919374A4 (en) * 2019-01-31 2022-10-19 Reddotdronejapan Co.,Ltd. IMAGE CAPTURE PROCESS
JP7228077B1 (ja) * 2021-09-29 2023-02-22 楽天グループ株式会社 制御装置、制御方法、及び無人航空機探索システム
WO2023181419A1 (ja) * 2022-03-25 2023-09-28 三菱電機株式会社 ゴルフ支援システム、移動体、サーバ装置、ゴルフ支援方法、および、ゴルフ支援プログラム
WO2023218627A1 (ja) * 2022-05-13 2023-11-16 三菱電機株式会社 ゴルフ支援システム、ゴルフ支援方法、および、ゴルフ支援プログラム
WO2024069789A1 (ja) * 2022-09-28 2024-04-04 株式会社RedDotDroneJapan 空中撮影システム、空中撮影方法および空中撮影プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115448A1 (ja) * 2015-12-29 2017-07-06 楽天株式会社 無人航空機退避システム、無人航空機退避方法、及びプログラム
US10642271B1 (en) * 2016-08-26 2020-05-05 Amazon Technologies, Inc. Vehicle guidance camera with zoom lens
JP6957304B2 (ja) * 2017-10-13 2021-11-02 アルパイン株式会社 架線撮影システム及び架線撮影方法
US10657833B2 (en) 2017-11-30 2020-05-19 Intel Corporation Vision-based cooperative collision avoidance
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
US10733896B2 (en) * 2018-03-30 2020-08-04 Intel Corporation Projection-based cooperative collision avoidance
EP3673462B1 (en) * 2018-05-02 2021-09-22 SZ DJI Technology Co., Ltd. Optically supported object navigation
CN110457987A (zh) * 2019-06-10 2019-11-15 中国刑事警察学院 基于无人机的人脸识别方法
JP7090931B2 (ja) * 2020-09-18 2022-06-27 新明工業株式会社 ゴルフプレー支援システム
WO2022061712A1 (zh) * 2020-09-25 2022-03-31 深圳市大疆创新科技有限公司 无人机对战方法、无人机对战控制装置、无人机及存储介质
JP7186981B1 (ja) * 2021-09-07 2022-12-12 株式会社Acb 落下位置報知装置、落下位置報知システムおよび落下位置報知方法
KR102528034B1 (ko) * 2021-12-09 2023-05-18 주식회사 유에프오에스트로넛 스마트 디봇 보수 시스템 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004135706A (ja) * 2002-10-15 2004-05-13 Yokohama Rubber Co Ltd:The 飛距離チャート、飛距離チャート表示方法、飛距離チャート表示装置、飛距離チャートを利用したゴルフクラブ選択支援方法及び飛距離チャートを利用したゴルフクラブ選択支援装置
JP2007311899A (ja) * 2006-05-16 2007-11-29 Toshiba Corp 撮像装置及び撮像方法
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2012232654A (ja) * 2011-04-28 2012-11-29 Topcon Corp 離着陸ターゲット装置及び自動離着陸システム
JP2014149621A (ja) * 2013-01-31 2014-08-21 Secom Co Ltd 自律飛行ロボット
JP2015048025A (ja) * 2013-09-04 2015-03-16 佐古 曜一郎 防御装置及び防御システム
JP2015076056A (ja) * 2013-10-11 2015-04-20 カシオ計算機株式会社 物体位置推定装置、物体位置推定方法、ならびに、プログラム
JP2015150061A (ja) * 2014-02-12 2015-08-24 株式会社ユピテル ゴルフ支援装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050081862A (ko) * 2004-02-12 2005-08-19 미디어 파일 코포레이션 골프 승용 카트 및 카트 경보 장치
US20140316614A1 (en) * 2012-12-17 2014-10-23 David L. Newman Drone for collecting images and system for categorizing image data
JP6054331B2 (ja) * 2013-04-16 2016-12-27 アクシュネット カンパニーAcushnet Company ゴルフクラブ用の改善されたフィッティングシステム
CN103239846B (zh) * 2013-05-17 2016-08-24 北京方格世纪科技有限公司 一种模拟高尔夫球系统和方法
KR20170031655A (ko) * 2014-07-16 2017-03-21 제이슨 라서 골프 스윙의 그럴싸한 성공을 예측하기 위한 방법 및 장치
CN104853104B (zh) * 2015-06-01 2018-08-28 深圳市微队信息技术有限公司 一种自动跟踪拍摄运动目标的方法以及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004135706A (ja) * 2002-10-15 2004-05-13 Yokohama Rubber Co Ltd:The 飛距離チャート、飛距離チャート表示方法、飛距離チャート表示装置、飛距離チャートを利用したゴルフクラブ選択支援方法及び飛距離チャートを利用したゴルフクラブ選択支援装置
JP2007311899A (ja) * 2006-05-16 2007-11-29 Toshiba Corp 撮像装置及び撮像方法
JP2012140101A (ja) * 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2012232654A (ja) * 2011-04-28 2012-11-29 Topcon Corp 離着陸ターゲット装置及び自動離着陸システム
JP2014149621A (ja) * 2013-01-31 2014-08-21 Secom Co Ltd 自律飛行ロボット
JP2015048025A (ja) * 2013-09-04 2015-03-16 佐古 曜一郎 防御装置及び防御システム
JP2015076056A (ja) * 2013-10-11 2015-04-20 カシオ計算機株式会社 物体位置推定装置、物体位置推定方法、ならびに、プログラム
JP2015150061A (ja) * 2014-02-12 2015-08-24 株式会社ユピテル ゴルフ支援装置及びプログラム

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259959B1 (ja) * 2016-09-30 2018-01-10 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム
JP7046923B2 (ja) 2017-04-11 2022-04-04 日本化薬株式会社 飛行体および飛行体の制御方法
WO2018190319A1 (ja) * 2017-04-11 2018-10-18 日本化薬株式会社 飛行体および飛行体の制御方法
JPWO2018190319A1 (ja) * 2017-04-11 2020-03-05 日本化薬株式会社 飛行体および飛行体の制御方法
JP2019164576A (ja) * 2018-03-20 2019-09-26 クオリティソフト株式会社 音声伝達システム
JP2020024624A (ja) * 2018-08-08 2020-02-13 三菱ロジスネクスト株式会社 無人飛行体を用いた無人搬送システム
JP2020088855A (ja) * 2018-11-16 2020-06-04 協栄精工株式会社 ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置
CN109305351B (zh) * 2018-11-20 2023-09-22 南京森林警察学院 一种自主收放式挂幅旋翼无人机
CN109305351A (zh) * 2018-11-20 2019-02-05 南京森林警察学院 一种自主收放式挂幅旋翼无人机
US11820488B2 (en) 2019-01-31 2023-11-21 RedDotDroneJapan Co., Ltd. Image capturing method
EP3919374A4 (en) * 2019-01-31 2022-10-19 Reddotdronejapan Co.,Ltd. IMAGE CAPTURE PROCESS
JP7274726B2 (ja) 2019-01-31 2023-05-17 株式会社RedDotDroneJapan 撮影方法
JP2020147105A (ja) * 2019-03-12 2020-09-17 日本放送協会 カメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステム
JP2022528243A (ja) * 2019-03-29 2022-06-09 株式会社ヴイシー ボールの落下地点を案内する電子デバイスおよびシステム
JP7317399B2 (ja) 2019-03-29 2023-07-31 株式会社ヴイシー ボールの落下地点を案内する電子デバイスおよびシステム
WO2020262222A1 (ja) * 2019-06-24 2020-12-30 株式会社Clue 飛行体の制御システム
WO2020262336A1 (ja) * 2019-06-28 2020-12-30 株式会社コロプラ プログラム、方法、情報処理装置及び打席スペース
WO2022102491A1 (ja) * 2020-11-11 2022-05-19 ソニーグループ株式会社 制御装置及び制御方法
WO2022154018A1 (ja) * 2021-01-18 2022-07-21 京セラ株式会社 運転支援システム、車両、撮影装置
JP7228077B1 (ja) * 2021-09-29 2023-02-22 楽天グループ株式会社 制御装置、制御方法、及び無人航空機探索システム
WO2023053269A1 (ja) * 2021-09-29 2023-04-06 楽天グループ株式会社 制御装置、制御方法、及び無人航空機探索システム
JP7441983B2 (ja) 2021-09-29 2024-03-01 楽天グループ株式会社 制御装置、制御方法、及び無人航空機探索システム
WO2023181419A1 (ja) * 2022-03-25 2023-09-28 三菱電機株式会社 ゴルフ支援システム、移動体、サーバ装置、ゴルフ支援方法、および、ゴルフ支援プログラム
WO2023218627A1 (ja) * 2022-05-13 2023-11-16 三菱電機株式会社 ゴルフ支援システム、ゴルフ支援方法、および、ゴルフ支援プログラム
WO2024069789A1 (ja) * 2022-09-28 2024-04-04 株式会社RedDotDroneJapan 空中撮影システム、空中撮影方法および空中撮影プログラム

Also Published As

Publication number Publication date
JPWO2017057157A1 (ja) 2018-09-13
CN108141512A (zh) 2018-06-08
CN108141512B (zh) 2021-06-22
US20180280780A1 (en) 2018-10-04
JP6911762B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
WO2017057157A1 (ja) 飛行装置、移動装置、サーバおよびプログラム
US10646765B2 (en) Golf aid including heads up display for green reading
US11752417B2 (en) Electronic tracking system with heads up display
US20210308549A1 (en) Golf aid including virtual caddy
US11229829B2 (en) Electronic tracking system with heads up display
US9914037B2 (en) Method and device for providing guiding for executing a golf swing
US9339713B2 (en) Golf aid including heads up display
JP6204635B1 (ja) ゴルフプレイ支援システム、ゴルフプレイ支援方法、及びプログラム
KR20230154002A (ko) 로봇 카메라 교정 시스템 및 방법
KR20200062399A (ko) 드론과 스마트폰을 활용한 골프정보 제공시스템
US20240104927A1 (en) Control device and control method
CN111330248A (zh) 高尔夫球娱乐系统和高尔夫球运动方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851331

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543200

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15765237

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851331

Country of ref document: EP

Kind code of ref document: A1