JP6669790B2 - Remote control device - Google Patents
Remote control device Download PDFInfo
- Publication number
- JP6669790B2 JP6669790B2 JP2018026340A JP2018026340A JP6669790B2 JP 6669790 B2 JP6669790 B2 JP 6669790B2 JP 2018026340 A JP2018026340 A JP 2018026340A JP 2018026340 A JP2018026340 A JP 2018026340A JP 6669790 B2 JP6669790 B2 JP 6669790B2
- Authority
- JP
- Japan
- Prior art keywords
- movement
- command
- unit
- remote control
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims description 104
- 230000007246 mechanism Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 21
- 239000003550 marker Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Toys (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、ロボットやドローン等の機器を遠隔操作するための遠隔操作装置に関する。 The present invention relates to a remote control device for remotely controlling devices such as robots and drones.
近年、ロボットやドローン等の機器を無線通信により遠隔操作することが、様々な用途で広く行われるようになってきている。 2. Description of the Related Art In recent years, remote control of devices such as robots and drones by wireless communication has been widely performed in various applications.
例えば、ドローンに関しては、プロポと称される無線操縦装置が広く用いられており、操縦スティックの傾倒方向及び傾倒量に応じた指令信号をドローンへ送信することで遠隔操作するようになっている（例えば特許文献１等参照。）。 For example, regarding a drone, a radio control device called a radio is widely used, and a remote control is performed by transmitting a command signal to the drone in accordance with a tilt direction and a tilt amount of a control stick ( See, for example, Patent Document 1).
しかし、このような無線操縦装置を用いた無線操縦は、操縦スティックの操作で飛行方向や回転数或いは速度の指令を行うものであるため、操作が難しく熟練が必要であり、特に細かく精密な遠隔操作をすることは難易度が高いという課題がある。 However, since the radio control using such a radio control device is performed by instructing the flight direction, the number of revolutions, or the speed by operating the control stick, the operation is difficult and requires skill, and particularly fine and precise remote control is required. There is a problem that the operation is difficult.
本発明は、このような事情に鑑みて為されたものであり、機器の遠隔操作を簡単且つ精密に行うことができる遠隔操作装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a remote control device that can easily and precisely perform remote control of a device.
本発明の遠隔操作装置は、対象機器を遠隔操作するための遠隔操作装置であって、操作者の手で把持される操作体と、前記操作体の動きを検出する動き検出部と、前記動き検出部による検出結果に基づいて前記操作体の三次元時系列位置情報を生成するモーションキャプチャ部と、前記モーションキャプチャ部で生成された前記三次元時系列位置情報に基づいて前記対象機器を操作するための指令を生成する指令生成部と、前記指令生成部で生成された前記指令を前記対象機器へ送信する指令送信部と、前記操作体の所定方向への移動をガイドする機構であって、前記操作体のＸ軸方向への移動をガイドするＸ軸ガイドと、前記操作体の前記Ｘ軸方向と直交するＹ軸方向への移動をガイドするＹ軸ガイドと、前記操作体の前記Ｘ軸方向及び前記Ｙ軸方向と直交するＺ軸方向への移動をガイドするＺ軸ガイドとを有するガイド機構と、を備える。 A remote control device according to the present invention is a remote control device for remotely controlling a target device, comprising: an operation tool gripped by an operator's hand; a motion detection unit configured to detect a motion of the operation tool; A motion capture unit that generates three-dimensional time-series position information of the operating tool based on a detection result by the detection unit; and operates the target device based on the three-dimensional time-series position information generated by the motion capture unit. A command generation unit that generates a command for the command transmission unit that transmits the command generated by the command generation unit to the target device, and a mechanism that guides movement of the operating tool in a predetermined direction, An X-axis guide for guiding the operation body in the X-axis direction, a Y-axis guide for guiding the operation body in a Y-axis direction orthogonal to the X-axis direction, and the X-axis of the operation body Direction and front Comprising a guide mechanism having a Z-axis guide for guiding the movement in the Z-axis direction perpendicular to the Y-axis direction.
本発明の遠隔操作装置によれば、操作者が操作体を空間内で動かすだけの簡単な操作で、モーションキャプチャに基づいて生成された指令が指令送信部から送信されることにより、対象機器を簡単且つ精密に遠隔操作することができる。さらに、操作体はガイド機構によって手ブレの発生が防止されて、Ｘ軸、Ｙ軸及びＺ軸の各方向において操作体の直線移動をガイドするので、対象機器をより精密に直線移動させることができる。 According to the remote operation device of the present invention, the command generated based on the motion capture is transmitted from the command transmission unit by a simple operation in which the operator simply moves the operation body in the space, and thereby the target device is controlled. Easy and precise remote control. Further, the operation body is prevented from being shaken by the guide mechanism, and guides the linear movement of the operation body in each of the X-axis, the Y-axis, and the Z-axis, so that the target device can be linearly moved more precisely. it can.
以下、本発明の実施形態について図面を参照しつつ説明する。本実施形態の遠隔操作装置１は、ドローン１００を遠隔操作するための遠隔操作装置であって、図１に示すように、端末１０と、赤外線カメラ２０と、操作ワンド３０と、マーカ４０と、ガイド機構５０と、を備えて構成される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The remote control device 1 of the present embodiment is a remote control device for remotely controlling the drone 100. As shown in FIG. 1, the remote control device 1 includes a terminal 10, an infrared camera 20, an operation wand 30, a marker 40, And a guide mechanism 50.
ドローン１００は、本実施形態の遠隔操作装置１によって遠隔操作される公知の無人航空機であって、例えば、マルチコプタと称される回転翼無人機を用いることができる。ドローン１００は、無線通信機能を備えており、遠隔操作装置１から送信される指令信号を受信して、指令に基づく速度で上昇下降、前進後退、右進左進等の飛行動作を行う。また、ドローン１００は、本体１０１の下部に搭載カメラ１０２を搭載しており、前方のビデオ映像を撮影して遠隔操作装置１へ送信できるように構成されている。 The drone 100 is a known unmanned aerial vehicle remotely controlled by the remote control device 1 of the present embodiment, and for example, a rotary wing unmanned aerial vehicle called a multicopter can be used. The drone 100 has a wireless communication function, receives a command signal transmitted from the remote control device 1, and performs a flying operation such as ascending / descending, moving forward / backward, or going right / left at a speed based on the command. In addition, the drone 100 has an on-board camera 102 mounted on a lower portion of the main body 101, and is configured so that a video image in front of the drone 100 can be captured and transmitted to the remote control device 1.
端末１０は、公知のタブレット型コンピュータであって、図２に示すように、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、通信Ｉ／Ｆ１５及び無線通信部１６等を搭載した電子回路基板がケース内に収納されると共に、タッチパネル１７を上面に備えて構成される。 The terminal 10 is a known tablet computer, and as shown in FIG. 2, an electronic circuit board on which a CPU 11, a ROM 12, a RAM 13, a storage unit 14, a communication I / F 15 and a wireless communication unit 16 are mounted. It is housed and has a touch panel 17 on its upper surface.
記憶部１４は、不揮発性の記憶媒体であって、例えば、フラッシュメモリやハードディスク等を用いることができる。 The storage unit 14 is a nonvolatile storage medium, and for example, a flash memory, a hard disk, or the like can be used.
通信Ｉ／Ｆ１５は、ネットワークを介して外部機器と通信するためのコントローラであり、赤外線カメラ２０との通信を制御する。 The communication I / F 15 is a controller for communicating with an external device via a network, and controls communication with the infrared camera 20.
無線通信部１６は、ドローン１００と無線通信を行うものであり、所定周波数（例えば、２．４ＧＨｚ）の電波を送受信可能な公知の送受信回路である。無線通信部１６は、ドローン１００操作用の指令を電波でドローン１００へ送信すると共に、ドローン１００から送信される映像信号を受信する。無線通信部１６が搭載カメラ１０２からの映像信号を受信すると、端末１０のタッチパネル１７にドローン１００前方の映像が表示されるので、操作者はそのビデオ映像を見ながら操作ワンド３０を上下左右に動かしてドローン１００の遠隔操作を行うことができる。 The wireless communication unit 16 performs wireless communication with the drone 100, and is a known transmitting / receiving circuit that can transmit and receive a radio wave of a predetermined frequency (for example, 2.4 GHz). The wireless communication unit 16 transmits a command for operating the drone 100 to the drone 100 by radio waves, and receives a video signal transmitted from the drone 100. When the wireless communication unit 16 receives a video signal from the on-board camera 102, an image in front of the drone 100 is displayed on the touch panel 17 of the terminal 10, and the operator moves the operation wand 30 up, down, left, and right while watching the video image. Remote control of the drone 100.
また、端末１０は、各赤外線カメラ２０から取得したマーカ４０の画像情報に基づいて、マーカ４０の動きを三角測量の原理で計測して操作ワンド３０の三次元時系列位置情報を生成するモーションキャプチャ機能を備えている。すなわち、端末１０は、モーションキャプチャ機能に関する公知のコンピュータプログラム（以下、モーションキャプチャプログラム１４ｂと称する）が記憶部１４にインストールされており、ＣＰＵ１１が記憶部１４からＲＡＭ１３へモーションキャプチャプログラム１４ｂを読み出して実行することにより、本発明のモーションキャプチャ部として機能する。尚、モーションキャプチャ機能に関する技術については、例えば特開２０１４−２１１４０４号公報に記載されている。 Further, the terminal 10 measures the movement of the marker 40 based on the principle of triangulation based on the image information of the marker 40 acquired from each infrared camera 20 and generates three-dimensional time-series position information of the operation wand 30. Has functions. That is, in the terminal 10, a known computer program (hereinafter, referred to as a motion capture program 14 b) related to the motion capture function is installed in the storage unit 14, and the CPU 11 reads the motion capture program 14 b from the storage unit 14 to the RAM 13 and executes the program. By doing so, it functions as the motion capture unit of the present invention. The technology related to the motion capture function is described in, for example, JP-A-2014-21404.
また、端末１０は、モーションキャプチャ機能で得られた操作ワンド３０の三次元時系列位置情報に基づいてドローン１００を操作するための指令を生成する指令生成処理を実行する。指令生成処理の内容については後述する。指令生成処理によって生成された指令は、無線通信部１６から電波でドローン１００へ送信される。 Further, the terminal 10 executes a command generation process for generating a command for operating the drone 100 based on the three-dimensional time-series position information of the operation wand 30 obtained by the motion capture function. The contents of the command generation processing will be described later. The command generated by the command generation processing is transmitted from the wireless communication unit 16 to the drone 100 by radio waves.
タッチパネル１７は、液晶表示パネルのような表示素子とタッチパッドのような位置入力装置とを組み合わせて構成された公知の画像表示・入力パネルである。タッチパネル１７には、ドローン１００の搭載カメラ１０２から送信される映像信号に基づくビデオ画像や各種の操作ボタン等が表示されると共に、操作ボタンを指で押下することによって入力操作を行うことができる。 The touch panel 17 is a known image display / input panel configured by combining a display element such as a liquid crystal display panel and a position input device such as a touch pad. On the touch panel 17, a video image based on a video signal transmitted from the camera 102 mounted on the drone 100, various operation buttons, and the like are displayed, and an input operation can be performed by pressing the operation buttons with a finger.
赤外線カメラ２０は、赤外線を照射することで撮像するカメラであって、操作ワンド３０が操作される空間Ｓを撮像するために複数配置される。赤外線カメラ２０によって撮像された画像データは、有線通信又は無線通信で送信され、通信Ｉ／Ｆ１５を介して端末１０に取り込まれる。 The infrared camera 20 is a camera that captures an image by irradiating infrared rays, and a plurality of infrared cameras 20 are arranged to capture an image of a space S where the operation wand 30 is operated. Image data captured by the infrared camera 20 is transmitted by wire communication or wireless communication, and is taken into the terminal 10 via the communication I / F 15.
操作ワンド３０は、操作者の手で把持されて上下左右に操作される杖状部材であって、上端から四方向へ棒状部３１が突出している。操作ワンド３０は、本発明の操作体に相当するものである。 The operation wand 30 is a wand-shaped member that is gripped by an operator's hand and operated up, down, left, and right, and has bar-shaped portions 31 protruding from the upper end in four directions. The operation wand 30 corresponds to the operation body of the present invention.
マーカ４０は、操作ワンド３０上部の各棒状部３１の先端に取り付けられる反射球であって、その表面が赤外線を反射する素材で形成されている。 The marker 40 is a reflective sphere attached to the tip of each bar 31 on the operation wand 30 and has a surface formed of a material that reflects infrared rays.
ガイド機構５０は、操作ワンド３０の所定方向への移動をガイドする機構であって、テーブル５１と、Ｙ軸ガイド５２と、Ｘ軸ガイド５３と、伸縮シャフト５４と、固定台座５８と、を備えて構成される。 The guide mechanism 50 is a mechanism that guides the movement of the operation wand 30 in a predetermined direction, and includes a table 51, a Y-axis guide 52, an X-axis guide 53, a telescopic shaft 54, and a fixed base 58. It is composed.
テーブル５１は、平坦で滑りの良い上面を有する平面視長方形板状の操作台であって、Ｙ軸ガイド５２が固定されると共に、Ｘ軸ガイド５３及び伸縮シャフト５４が摺動自在に載置される。 The table 51 is a flat, rectangular plate-shaped operation table having a smooth upper surface. The Y-axis guide 52 is fixed, and the X-axis guide 53 and the telescopic shaft 54 are slidably mounted thereon. You.
Ｙ軸ガイド５２は、長方形状をなすテーブル５１上面の一辺に沿って固定されたＹ軸方向に延びる長尺体である。Ｙ軸ガイド５２は、Ｘ軸ガイド５３載置側の長辺にガイドレール５２ｇが設けられている。 The Y-axis guide 52 is a long body that extends in the Y-axis direction and is fixed along one side of the upper surface of the rectangular table 51. The Y-axis guide 52 is provided with a guide rail 52g on the long side on the X-axis guide 53 mounting side.
Ｘ軸ガイド５３は、Ｙ軸方向と直交するＸ軸方向に延びる長尺体であり、テーブル５１上面に載置されている。Ｘ軸ガイド５３は、その長手方向がＹ軸ガイド５２の長手方向と直交する姿勢を保ちながらテーブル５１上でＹ軸方向へ移動可能となっている。すなわち、Ｘ軸ガイド５３は、一方の短辺に設けられた被ガイド部５３ａがＹ軸ガイド３２の長辺に沿ったガイドレール５２ｇに摺動自在に係合しており、Ｙ軸方向への移動がガイドされる。被ガイド部５３ａは、例えばガイドレール５２ｇとの接触面に摩擦係数を小さくする加工を施したり、ローラを設けてガイドレール５２ｇと回転可能に接触させたりするようにしてもよい。Ｘ軸ガイド５３は、伸縮シャフト５４載置側の長辺にガイドレール５３ｇが設けられている。 The X-axis guide 53 is a long body extending in the X-axis direction orthogonal to the Y-axis direction, and is mounted on the upper surface of the table 51. The X-axis guide 53 can be moved in the Y-axis direction on the table 51 while keeping its longitudinal direction orthogonal to the longitudinal direction of the Y-axis guide 52. That is, in the X-axis guide 53, the guided portion 53 a provided on one short side is slidably engaged with the guide rail 52 g along the long side of the Y-axis guide 32, and the X-axis guide 53 extends in the Y-axis direction. Movement is guided. For example, the guided portion 53a may be provided with a process for reducing the friction coefficient on a contact surface with the guide rail 52g, or a roller may be provided so as to be rotatably contacted with the guide rail 52g. The X-axis guide 53 is provided with a guide rail 53g on the long side on the side where the telescopic shaft 54 is mounted.
伸縮シャフト５４は、Ｘ軸方向及びＹ軸方向と直交するＺ軸方向に伸縮可能なシャフト部材である。伸縮シャフト５４は、Ｘ軸ガイド５３によってＸ軸方向への移動がガイドされると共に、Ｘ軸ガイド５３を介してＹ軸ガイド５２によってＹ軸方向への移動がガイドされる。具体的には、伸縮シャフト５４は、スタンド５５と、固定シャフト５６と、可動シャフト５７とを備えて構成される。 The telescopic shaft 54 is a shaft member that can expand and contract in a Z-axis direction orthogonal to the X-axis direction and the Y-axis direction. The movement of the telescopic shaft 54 in the X-axis direction is guided by the X-axis guide 53, and the movement in the Y-axis direction is guided by the Y-axis guide 52 via the X-axis guide 53. Specifically, the telescopic shaft 54 includes a stand 55, a fixed shaft 56, and a movable shaft 57.
スタンド５５は、平面視正方形状を呈する板状部材であり、テーブル５１上面に載置されている。スタンド５５の一辺に設けられた被ガイド部５５ａは、Ｘ軸ガイド５３の長辺に沿ったガイドレール５３ｇに摺動自在に係合しており、Ｘ軸方向への移動がガイドされる。被ガイド部５５ａは、例えばガイドレール５３ｇとの接触面に摩擦係数を小さくする加工を施したり、ローラを設けてガイドレール５３ｇと回転可能に接触させたりするようにしてもよい。 The stand 55 is a plate-like member having a square shape in plan view, and is placed on the upper surface of the table 51. The guided portion 55a provided on one side of the stand 55 is slidably engaged with a guide rail 53g along the long side of the X-axis guide 53, and is guided to move in the X-axis direction. For example, the guided portion 55a may be subjected to processing for reducing the friction coefficient on the contact surface with the guide rail 53g, or may be provided with a roller so as to be rotatably contacted with the guide rail 53g.
固定シャフト５６は、スタンド５５上に立設固定された円筒状のシャフトである。 The fixed shaft 56 is a cylindrical shaft erected and fixed on the stand 55.
可動シャフト５７は、固定シャフト５６の内周に摺動自在に挿入された丸棒状のシャフトである。そして、可動シャフト５７をＺ軸＋方向又は−方向へ摺動させて、固定シャフト５６からの露出長さを変化させることで、伸縮シャフト５４をＺ軸方向に伸縮させることができる。 The movable shaft 57 is a round bar-shaped shaft slidably inserted into the inner periphery of the fixed shaft 56. Then, the movable shaft 57 is slid in the positive or negative Z-axis direction to change the length of exposure from the fixed shaft 56, whereby the telescopic shaft 54 can be expanded or contracted in the Z-axis direction.
固定台座５８は、可動シャフト５７上端に取り付けられた平面視コ字状（平面視凹形状）の構造体であって、操作ワンド３０を着脱自在に固定する台座の役割を有している。操作ワンド３０は、図４に示すように、固定台座５８のコ字形中央の隙間５８ａに差し込んで固定される。伸縮シャフト５４及び固定台座５８が、本発明のＺ軸ガイドを構成するものである。 The fixed pedestal 58 is a U-shaped (concave-shaped in plan view) structure attached to the upper end of the movable shaft 57 and has a role of a pedestal for detachably fixing the operation wand 30. As shown in FIG. 4, the operation wand 30 is inserted into and fixed to the U-shaped center gap 58 a of the fixed base 58. The telescopic shaft 54 and the fixed base 58 constitute the Z-axis guide of the present invention.
従って、操作ワンド３０は、固定台座５８から取り外した状態では、手で把持して空間Ｓ上を自由に移動させることができる。しかしながら、操作ワンド３０を手で把持して空間Ｓ上を移動させる場合、手ブレのために真っ直ぐに動かすことが極めて困難である。例えば、図８に示すように、操作ワンド３０をＸ軸方向へ直線的に動かそうとしても手ブレで動きに歪みが生じ、これに伴って遠隔操作されるドローン１００の動きにも歪みが生じてしまう。 Therefore, when the operation wand 30 is detached from the fixed base 58, the operation wand 30 can be freely moved in the space S by grasping it with a hand. However, when the operation wand 30 is moved in the space S while being gripped by hand, it is extremely difficult to move the operation wand 30 straight due to camera shake. For example, as shown in FIG. 8, even if the operator attempts to move the operation wand 30 linearly in the X-axis direction, the movement is distorted due to camera shake, and accordingly, the movement of the remotely operated drone 100 is also distorted. Would.
これに対し、操作ワンド３０を固定台座５８に固定した状態で動かすと、ガイド機構５０によってＸ軸方向、Ｙ軸方向及びＺ軸方向への移動がガイドされるので、手ブレを生じることなく精密に動かすことができる。 On the other hand, when the operation wand 30 is moved while being fixed to the fixed base 58, the movement in the X-axis direction, the Y-axis direction, and the Z-axis direction is guided by the guide mechanism 50. Can be moved.
より詳細には、図５に示すように、操作者が操作ワンド３０を固定する固定台座５８を手で把持して上方へ動かしていくと、可動シャフト５７の固定シャフト５６からの露出長さが徐々に長くなり、固定台座５８に固定された操作ワンド３０のＺ軸＋方向への移動がガイドされる。同様に、操作者が固定台座５８を手で把持して下方へ動かしていくと、可動シャフト５７の固定シャフト５６からの露出長さが徐々に短くなり、固定台座５８に固定された操作ワンド３０のＺ軸−方向への移動がガイドされる。 More specifically, as shown in FIG. 5, when the operator grasps the fixed base 58 for fixing the operation wand 30 by hand and moves the fixed base 58 upward, the exposed length of the movable shaft 57 from the fixed shaft 56 is reduced. The operation wand 30 fixed to the fixed pedestal 58 gradually becomes longer, and the movement of the operation wand 30 in the + Z direction is guided. Similarly, when the operator grasps the fixed pedestal 58 by hand and moves it downward, the exposed length of the movable shaft 57 from the fixed shaft 56 gradually decreases, and the operation wand 30 fixed to the fixed pedestal 58 is reduced. Is guided in the Z-axis direction.
また、図６に示すように、操作者が固定台座５８を手で把持してＸ軸右方向へ動かしていくと、スタンド５５がＸ軸ガイド５３のガイドレール５３ｇに沿ってテーブル５１上をＸ軸右方向へ摺動し、固定台座５８に固定された操作ワンド３０のＸ軸＋方向への移動がガイドされる。同様に、操作者が固定台座５８を手で把持してＸ軸左方向へ動かしていくと、スタンド５５がＸ軸ガイド５３のガイドレール５３ｇに沿ってテーブル５１上をＸ軸左方向へ摺動し、固定台座５８に固定された操作ワンド３０のＸ軸−方向への移動がガイドされる。 As shown in FIG. 6, when the operator grips the fixed base 58 by hand and moves it to the right in the X-axis, the stand 55 moves the X on the table 51 along the guide rail 53 g of the X-axis guide 53. The operation wand 30 fixed to the fixed pedestal 58 is slid in the right direction of the axis to guide the movement in the X-axis + direction. Similarly, when the operator grips the fixed base 58 by hand and moves the X-axis left direction, the stand 55 slides on the table 51 along the guide rail 53g of the X-axis guide 53 in the X-axis left direction. Then, the movement of the operation wand 30 fixed to the fixed base 58 in the X-axis direction is guided.
また、図７に示すように、操作者が固定台座５８を手で把持してＹ軸奥方向へ動かしていくと、スタンド５５と係合するＸ軸ガイド５３がＹ軸ガイド５２のガイドレール５２ｇに沿ってテーブル５１上をＹ軸奥方向へ摺動することにより、固定台座５８に固定された操作ワンド３０のＹ軸＋方向への移動がガイドされる。同様に、操作者が固定台座５８を手で把持してＹ軸手前方向へ動かしていくと、Ｘ軸ガイド５３がＹ軸ガイド５２のガイドレール５２ｇに沿ってテーブル５１上をＹ軸手前方向へ摺動することにより、固定台座５８に固定された操作ワンド３０のＹ軸−方向への移動がガイドされる。尚、上記操作方法に代えて、固定台座５８を手で把持したまま、Ｙ軸ガイド５２をテーブル５１ごとＸ軸方向に動かしてスタンド５５に当接させた後、Ｙ軸ガイド５２に沿わせてＹ軸方向への移動を行うようにしてもよい。 As shown in FIG. 7, when the operator grips the fixed base 58 by hand and moves it in the Y-axis direction, the X-axis guide 53 engaging with the stand 55 becomes a guide rail 52g of the Y-axis guide 52. , The operation wand 30 fixed to the fixed base 58 is guided to move in the + Y-axis direction. Similarly, when the operator grips the fixed pedestal 58 by hand and moves it in the forward direction of the Y axis, the X axis guide 53 moves on the table 51 along the guide rail 52g of the Y axis guide 52 in the forward direction of the Y axis. The sliding guides the movement of the operation wand 30 fixed to the fixed base 58 in the Y-axis direction. Instead of the above operation method, the Y-axis guide 52 is moved in the X-axis direction together with the table 51 while holding the fixed pedestal 58 by hand to abut the stand 55, and then along the Y-axis guide 52. The movement in the Y-axis direction may be performed.
次に、遠隔操作装置１を使用してドローン１００の飛行を遠隔操作する場合の端末１０における遠隔操作処理の流れについて、図３のフローチャートを参照しつつ説明する。尚、遠隔操作処理は、ＣＰＵ１１が記憶部１４から遠隔操作処理プログラム１４ａをＲＡＭ１３へ読み出して実行することにより行われる。 Next, a flow of a remote control process in the terminal 10 when the flight of the drone 100 is remotely controlled using the remote control device 1 will be described with reference to a flowchart of FIG. The remote operation processing is performed by the CPU 11 reading the remote operation processing program 14a from the storage unit 14 to the RAM 13 and executing the same.
まず、操作者は、操作ワンド３０を手で把持し、固定台座５８のコ字形中央の隙間５８ａに差し込んで固定する。この時のドローン１００の位置を、ステップ１の開始処理において、タッチパネル１７での入力操作により初期位置として設定する。尚、以下の説明ではステップ１をＳ１と略記すると共に、他のステップについても同様の表記を行う。 First, the operator grips the operation wand 30 with his / her hand, and inserts and fixes the wand 30 into the U-shaped center gap 58 a of the fixed base 58. The position of the drone 100 at this time is set as an initial position by an input operation on the touch panel 17 in the start processing of step 1. In the following description, step 1 is abbreviated as S1, and the other steps are similarly described.
次に、Ｓ２において、タッチパネル１７で終了操作が行われたか否かを判定し、Ｙｅｓの場合はエンドへ進み終了し、Ｎｏの場合はＳ３へ進む。 Next, in S2, it is determined whether or not an end operation has been performed on the touch panel 17. If Yes, the process proceeds to the end, and if No, the process proceeds to S3.
Ｓ３において、移動倍率Ｒが変更されたか否かを判定し、Ｙｅｓの場合はＳ５へ進み、Ｙｅｓの場合はＳ４で移動倍率Ｒを設定する。 In S3, it is determined whether or not the moving magnification R has been changed. If Yes, the process proceeds to S5, and if Yes, the moving magnification R is set in S4.
ここで、移動倍率Ｒとは、操作者によって操作される操作ワンド３０の移動量に対する、遠隔操作により動作するドローン１００の移動量の比率を意味する。すなわち、移動倍率Ｒ＝１のとき、操作ワンド３０の移動量と、遠隔操作により動作するドローン１００の移動量とは等しい。移動倍率Ｒ＞１のとき、操作ワンドの３０の移動量よりも、遠隔操作によって動作するドローン１００の移動量の方が大きくなる。移動倍率Ｒ＜１のとき、操作ワンドの３０の移動量よりも、遠隔操作によって動作するドローン１００の移動量の方が小さくなる。操作者は、タッチパネル１７での入力操作により移動倍率Ｒを０以上の値に設定する。尚、操作ワンド３０の移動時間とドローン１００の移動時間とを同一とした場合、移動倍率Ｒは移動速度の倍率であるとも言える。 Here, the moving magnification R means the ratio of the moving amount of the drone 100 operated by remote operation to the moving amount of the operation wand 30 operated by the operator. That is, when the moving magnification R = 1, the moving amount of the operation wand 30 is equal to the moving amount of the drone 100 operated by remote control. When the moving magnification R> 1, the moving amount of the drone 100 operated by remote operation is larger than the moving amount of the operation wand 30. When the moving magnification R <1, the moving amount of the drone 100 operated by remote operation is smaller than the moving amount of the operation wand 30. The operator sets the moving magnification R to a value of 0 or more by an input operation on the touch panel 17. When the moving time of the operation wand 30 and the moving time of the drone 100 are the same, it can be said that the moving magnification R is a moving speed magnification.
次に、Ｓ５において、複数の赤外線カメラ２０で撮像された操作ワンド３０の操作空間Ｓの時系列の画像データを取得する。 Next, in S5, time-series image data of the operation space S of the operation wand 30 captured by the plurality of infrared cameras 20 is acquired.
続いて、Ｓ６のモーションキャプチャ処理では、モーションキャプチャプログラム１４ｂを読み出して実行し、Ｓ５で取得した時系列の画像データよりマーカ４０の動きを三角測量の原理で計測して、操作ワンド３０の予め定められた基準点の三次元時系列位置情報を生成する。例えば、基準点は、４個のマーカ４０の各中心点を４個の頂点とする図形の重心に設定してもよい。尚、本明細書では、「操作ワンド３０の基準点の三次元時系列位置情報」を、単に「操作ワンド３０の三次元時系列位置情報」とも記載する。 Subsequently, in the motion capture process of S6, the motion capture program 14b is read and executed, and the movement of the marker 40 is measured based on the principle of triangulation from the time-series image data acquired in S5, and the operation wand 30 is determined in advance. The three-dimensional time-series position information of the obtained reference point is generated. For example, the reference point may be set at the center of gravity of a figure in which each center point of the four markers 40 has four vertices. In this specification, the “three-dimensional time-series position information of the reference point of the operation wand 30” is also simply described as “three-dimensional time-series position information of the operation wand 30”.
さらに、Ｓ７の指令生成処理において、Ｓ６で生成された三次元時系列位置情報とＳ４で設定された移動倍率Ｒとに基づいて、ドローン１００を遠隔操作するための指令を生成する。Ｓ７の指令生成処理では、遠隔操作される機器の仕様に適合した指令が生成される。本実施形態では、ドローン１００の仕様に適合した移動方向及び移動量に関する指令が生成される。 Further, in the command generation process in S7, a command for remotely controlling the drone 100 is generated based on the three-dimensional time-series position information generated in S6 and the moving magnification R set in S4. In the command generation process of S7, a command that matches the specifications of the device to be remotely operated is generated. In the present embodiment, a command relating to the moving direction and the moving amount that is compatible with the specifications of the drone 100 is generated.
続いて、Ｓ８において、Ｓ７で生成された指令を無線通信部１６からドローン１００へ電波で送信する。その後、Ｓ２へ戻り、以後Ｓ２〜Ｓ８のステップを繰り返す。 Subsequently, in S8, the command generated in S7 is transmitted from the wireless communication unit 16 to the drone 100 by radio waves. Thereafter, the process returns to S2, and thereafter, the steps of S2 to S8 are repeated.
ここで、Ｓ７の指令生成処理及びＳ８の指令送信について、具体例を用いて説明する。Ｓ６で生成された三次元時系列位置情報には、サンプリング時間ΔＴ毎の操作ワンド３０の三次元位置情報Ｐ１（Ｘ１，Ｙ１，Ｚ１）、Ｐ２（Ｘ２，Ｙ２，Ｚ２），・・・が含まれている。ここで、Ｘ２−Ｘ１＝ΔＸ、Ｙ２−Ｙ１＝ΔＹ、Ｚ２−Ｚ１＝ΔＺとおくと、操作ワンド３０の位置Ｐ１からＰ２への移動はベクトル（ΔＸ，ΔＹ，ΔＺ）で表され、このベクトルの各成分から移動方向が得られ、ベクトルの大きさを算出することにより移動量が得られる。そして、Ｓ７では、操作ワンド３０と同一方向が、ドローン１００の移動方向の指令として生成される。また、操作ワンド３０の移動量に移動倍率Ｒを乗じて得られるドローン１００の移動量をサンプリング時間ΔＴで除して得られた結果が、ドローン１００の移動速度の指令として生成される。そして、Ｓ８の指令送信では、Ｓ７で得られた移動方向及び移動速度を表す指令が、無線通信部１６から時間ΔＴに渡って電波で送信される。 Here, the command generation process in S7 and the command transmission in S8 will be described using a specific example. The three-dimensional time-series position information generated in S6 includes three-dimensional position information P1 (X1, Y1, Z1), P2 (X2, Y2, Z2),... Of the operation wand 30 for each sampling time ΔT. Have been. Here, if X2-X1 = ΔX, Y2-Y1 = ΔY, and Z2-Z1 = ΔZ, the movement of the operation wand 30 from the position P1 to P2 is represented by a vector (ΔX, ΔY, ΔZ). The moving direction is obtained from each of the components, and the moving amount is obtained by calculating the magnitude of the vector. Then, in S7, the same direction as the operation wand 30 is generated as a command for the moving direction of the drone 100. Further, a result obtained by dividing the moving amount of the drone 100 obtained by multiplying the moving amount of the operation wand 30 by the moving magnification R by the sampling time ΔT is generated as a command for the moving speed of the drone 100. Then, in the command transmission in S8, the command indicating the moving direction and the moving speed obtained in S7 is transmitted by radio waves from the wireless communication unit 16 over a time ΔT.
例えば、ΔＴ＝１（秒）、ΔＸ＝１００（ｍｍ）、ΔＹ＝ΔＺ＝０であるときの指令生成を説明する。この場合、Ｙ軸とＺ軸の各成分が０であり、Ｘ軸成分が正であることから、「Ｘ軸＋方向」を表す移動方向の指令が生成される。また、操作ワンド３０の移動量１００ｍｍからドローン１００の移動量は「１００×Ｒ（ｍｍ）」と算出されることから、移動速度「１００×Ｒ（ｍｍ／秒）」を表す指令が生成される。 For example, command generation when ΔT = 1 (second), ΔX = 100 (mm), and ΔY = ΔZ = 0 will be described. In this case, since the components of the Y-axis and the Z-axis are 0 and the X-axis component is positive, a movement direction command indicating “X-axis + direction” is generated. In addition, since the movement amount of the drone 100 is calculated as “100 × R (mm)” from the movement amount 100 mm of the operation wand 30, a command representing the movement speed “100 × R (mm / sec)” is generated. .
ここで、移動倍率Ｒの値を変化させた場合における移動速度の指令について説明する。移動倍率Ｒ＝１に設定されている場合、移動速度１００ｍｍ／秒との指令が生成され、１秒間送信される。この場合、ドローン１００に対して、操作ワンド３の動きと同一方向で、同一速度且つ同一距離（１００ｍｍ＝１０ｃｍ）の飛行動作の指令が行われる。 Here, a command of the moving speed when the value of the moving magnification R is changed will be described. When the moving magnification R is set to 1, a command indicating a moving speed of 100 mm / sec is generated and transmitted for one second. In this case, a command is issued to the drone 100 for a flight operation at the same speed and the same distance (100 mm = 10 cm) in the same direction as the movement of the operation wand 3.
一方、移動倍率Ｒ＝１０に設定されている場合、移動速度１００×１０ｍｍ／秒＝１０００ｍｍ／秒との指令が生成され、１秒間送信される。従って、ドローン１００に対して、操作ワンド３０の動きの１０倍の速度で１０倍の距離（１０００ｍｍ＝１ｍ）の飛行動作の指令が行われる。つまり、移動倍率Ｒを１よりも大きく設定した場合、操作ワンド３０の動きよりもドローン１００の動きの方が速度及び距離が大きくなるため、操作者が手で動かせる範囲で操作ワンド３０を操作するだけで、ドローン１００を高速に大きく移動させる遠隔操作を行うことができる。尚、倍率Ｒを１よりも大きく設定した場合、操作ワンド３０の手ブレに伴う動きも倍率に応じて拡大された指令が生成され且つ送信されることになるが、ガイド機構５０を使用すれば手ブレの発生自体が防止されるので、ドローン１００を高精度に直線移動させることができる。 On the other hand, when the moving magnification R is set to 10, a command that the moving speed is 100 × 10 mm / sec = 1000 mm / sec is generated and transmitted for one second. Accordingly, the drone 100 is instructed to perform a flight operation at a speed ten times as fast as the movement of the operation wand 30 and a distance ten times (1000 mm = 1 m). That is, when the moving magnification R is set to be larger than 1, the speed and the distance of the movement of the drone 100 are larger than the movement of the operation wand 30, so that the operation wand 30 is operated within a range in which the operator can move by hand. Only by this, it is possible to perform a remote operation for moving the drone 100 largely at high speed. When the magnification R is set to be larger than 1, a command in which the movement of the operation wand 30 due to camera shake is enlarged and generated in accordance with the magnification is generated and transmitted. However, if the guide mechanism 50 is used, Since the occurrence of camera shake itself is prevented, the drone 100 can be linearly moved with high accuracy.
また、移動倍率Ｒ＝０．１に設定されている場合、移動速度１００×０．１ｍｍ／秒＝１０ｍｍ／秒との指令が生成され、１秒間送信される。従って、ドローン１００に対して、操作ワンド３０の動きの１／１０倍の速度で１／１０倍の距離（１０ｍｍ＝１ｃｍ）の飛行動作の指令が行われる。つまり、移動倍率Ｒを１未満に設定した場合、操作ワンド３０の動きよりもドローン１００の動きの方が速度及び距離が小さくなるため、ドローン１００をより細かく精密に遠隔操作することが可能となる。 When the moving magnification R is set to 0.1, a command that the moving speed is 100 × 0.1 mm / sec = 10 mm / sec is generated and transmitted for one second. Therefore, a command for a flight operation at a speed 1/10 times the movement of the operation wand 30 and a distance 1/10 times (10 mm = 1 cm) is issued to the drone 100. That is, when the moving magnification R is set to less than 1, the speed and distance of the movement of the drone 100 are smaller than the movement of the operation wand 30, so that the drone 100 can be remotely and precisely controlled remotely. .
以上詳述したことから明らかなように、本実施形態の遠隔操作装置１は、対象機器であるドローン１００を遠隔操作するための遠隔操作装置であって、操作者の手で把持される操作体としての操作ワンド３０と、操作ワンド３０の動きを検出する動き検出部としての赤外線カメラ２０と、赤外線カメラ２０による検出結果に基づいて操作ワンド３０の三次元時系列位置情報を生成するモーションキャプチャ部としてのモーションキャプチャ処理Ｓ６と、モーションキャプチャ処理Ｓ６で生成された三次元時系列位置情報に基づいてドローン１００を操作するための指令を生成する指令生成部としての指令生成処理Ｓ７と、指令生成処理Ｓ７で生成された指令をドローン１００へ電波で送信する指令送信部としての無線通信部１６と、を備える。 As is clear from the above description, the remote control device 1 of the present embodiment is a remote control device for remotely controlling the drone 100, which is a target device, and is an operation tool held by the operator's hand. Operation wand 30, an infrared camera 20 as a motion detection unit that detects the movement of the operation wand 30, and a motion capture unit that generates three-dimensional time-series position information of the operation wand 30 based on the detection result by the infrared camera 20. , A command generation process S7 as a command generation unit that generates a command for operating the drone 100 based on the three-dimensional time-series position information generated in the motion capture process S6, and a command generation process A wireless communication unit 16 as a command transmission unit that transmits the command generated in S7 to the drone 100 by radio waves.
この構成によれば、操作ワンド３０を操作者が空間Ｓ内で動かすと、操作ワンド３０の動きが赤外線カメラ２０によって検出される。次に、モーションキャプチャ処理Ｓ６で、赤外線カメラ２０による検出結果に基づいて操作ワンド３０の三次元時系列位置情報を生成する。続いて、指令生成処理Ｓ７で、モーションキャプチャ処理Ｓ６で生成された三次元時系列位置情報に基づいてドローン１００を操作するための移動方向及び移動速度に関する指令が生成され、無線通信部１６は、Ｓ７の指令生成処理で生成された指令をドローン１００へ電波で送信する。ドローン１００は、指令を受信すると、指令に基づく移動方向及び移動速度で飛行動作を行う。 According to this configuration, when the operator moves the operation wand 30 in the space S, the movement of the operation wand 30 is detected by the infrared camera 20. Next, in the motion capture processing S6, three-dimensional time-series position information of the operation wand 30 is generated based on the detection result of the infrared camera 20. Subsequently, in a command generation process S7, a command regarding a moving direction and a moving speed for operating the drone 100 is generated based on the three-dimensional time-series position information generated in the motion capture process S6, and the wireless communication unit 16 The command generated in the command generation process of S7 is transmitted to the drone 100 by radio waves. Upon receiving the command, the drone 100 performs a flying operation in the moving direction and the moving speed based on the command.
よって、操作者が操作ワンド３０を空間Ｓ内で動かすだけの簡単な操作で、モーションキャプチャ処理に基づいて生成された指令が無線通信部１６から送信されることにより、ドローン１００を簡単且つ精密に遠隔操作することができる。 Therefore, the command generated based on the motion capture processing is transmitted from the wireless communication unit 16 by a simple operation in which the operator only moves the operation wand 30 in the space S, and the drone 100 can be easily and precisely moved. Can be operated remotely.
また、遠隔操作装置１は、操作ワンド３０に取り付けられるマーカ４０をさらに備え、操作ワンド３０を含む空間を撮像する複数の撮像部としての赤外線カメラ２０を動き検出部として用いるものであり、モーションキャプチャ処理Ｓ６では、複数の赤外線カメラ２０で撮像された時系列の画像データよりマーカ４０の動きを三角測量の原理で計測して操作ワンド３０の三次元時系列位置情報を生成する。 Further, the remote control device 1 further includes a marker 40 attached to the operation wand 30, and uses the infrared cameras 20 as a plurality of imaging units for imaging a space including the operation wand 30 as a motion detection unit. In step S6, the movement of the marker 40 is measured based on the principle of triangulation from time-series image data captured by the plurality of infrared cameras 20, and three-dimensional time-series position information of the operation wand 30 is generated.
この構成によれば、簡単な構成で高精度に操作ワンド３０の三次元時系列位置情報を生成することができる。 According to this configuration, the three-dimensional time-series position information of the operation wand 30 can be generated with high accuracy with a simple configuration.
また、遠隔操作装置１は、操作ワンド３０の所定方向への移動をガイドするガイド機構５０をさらに備える。 Further, the remote control device 1 further includes a guide mechanism 50 for guiding the movement of the operation wand 30 in a predetermined direction.
この構成によれば、操作ワンド３０はガイド機構５０によって所定方向への移動がガイドされることにより手ブレの発生が防止されるので、ドローン１００を所定方向へ高精度に動作させることができる。 According to this configuration, the movement of the operation wand 30 in the predetermined direction is guided by the guide mechanism 50, thereby preventing the occurrence of camera shake. Therefore, the drone 100 can be operated in the predetermined direction with high accuracy.
また、ガイド機構５０は、操作ワンド３０のＸ軸方向への移動をガイドするＸ軸ガイド５３と、操作ワンド３０のＸ軸方向と直交するＹ軸方向への移動をガイドするＹ軸ガイド５２と、操作ワンド３０のＸ軸及びＹ軸方向と直交するＺ軸方向への移動をガイドするＺ軸ガイドとしての固定台座５８及び伸縮シャフト５４と、を備える。 The guide mechanism 50 includes an X-axis guide 53 that guides the movement of the operation wand 30 in the X-axis direction, and a Y-axis guide 52 that guides the movement of the operation wand 30 in the Y-axis direction orthogonal to the X-axis direction. , A fixed base 58 and a telescopic shaft 54 as a Z-axis guide for guiding the operation wand 30 in the Z-axis direction orthogonal to the X-axis and Y-axis directions.
この構成によれば、Ｘ軸、Ｙ軸及びＺ軸の各方向において操作ワンド３０の直線移動をガイドするので、ドローン１００をより精密に直線移動させることができる。 According to this configuration, since the linear movement of the operation wand 30 is guided in each direction of the X axis, the Y axis, and the Z axis, the drone 100 can be linearly moved more precisely.
また、遠隔操作装置１は、操作ワンド３０の移動量に対するドローン１００の移動量の比率である移動倍率Ｒを設定する倍率設定部としてのＳ４のステップをさらに備え、指令生成処理Ｓ７は、三次元時系列位置情報と移動倍率Ｒとを用いて指令を生成する。 The remote control device 1 further includes a step S4 as a magnification setting unit for setting a movement magnification R which is a ratio of a movement amount of the drone 100 to a movement amount of the operation wand 30, and the command generation processing S7 includes a three-dimensional A command is generated using the time-series position information and the moving magnification R.
この構成によれば、操作者によって設定された移動倍率Ｒに応じて、操作ワンド３０の移動量に対するドローン１００の移動量を変化させることができる。よって、移動倍率Ｒを１よりも大きい値に設定した場合は、ドローン１００を大きく且つ高速に移動させる指令が生成されるので、距離の離れた目標位置まで素早く移動させる遠隔操作を簡単に行うことができる。一方、移動倍率Ｒを１よりも小さい値に設定した場合は、ドローン１００を小さく且つ低速に移動させる指令が生成されるので、細かく精密な動きを伴う遠隔操作を簡単に行うことができる。 According to this configuration, the moving amount of the drone 100 with respect to the moving amount of the operation wand 30 can be changed according to the moving magnification R set by the operator. Therefore, when the moving magnification R is set to a value larger than 1, a command to move the drone 100 large and at a high speed is generated, so that remote control for quickly moving the drone 100 to a target position far away can be easily performed. Can be. On the other hand, if the moving magnification R is set to a value smaller than 1, a command to move the drone 100 at a small speed is generated, so that remote control involving fine and precise movement can be easily performed.
本発明は、上述した実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で種々に変更を施すことが可能である。上記実施形態では、端末１０をタブレット型コンピュータとしたが、これには限られず、同様の機能を具備する如何なるタイプの情報処理装置を用いることが可能である。また、タッチパネル式のディスプレイに搭載カメラ１０２からのドローン１００前方の映像を表示する構成としたが、ゴーグル型ディスプレイに映像を表示する構成としてもよい。 The present invention is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present invention. In the above embodiment, the terminal 10 is a tablet computer. However, the present invention is not limited to this, and any type of information processing apparatus having the same function can be used. Further, the configuration is such that an image in front of the drone 100 from the on-board camera 102 is displayed on the touch panel type display, but an image may be displayed on the goggle type display.
また、上記実施形態では、遠隔操作装置１によってドローン１００を遠隔操作する例を示したが、遠隔操作の対象機器はドローンに限定されるものではなく、遠隔操作可能な全ての機器を対象とすることができる。例えば、ドローンに代えてロボットを遠隔操作の対象機器としてもよく、アーム型ロボットにおけるロボットハンドの移動を遠隔操作したり、自走式搬送ロボットの走行を遠隔操作したりするようにしてもよい。 In the above embodiment, the example in which the drone 100 is remotely controlled by the remote control device 1 has been described. However, the target device of the remote control is not limited to the drone, and targets all remotely controllable devices. be able to. For example, instead of a drone, a robot may be used as a target device for remote control, and the movement of a robot hand in an arm type robot may be remotely controlled, or the travel of a self-propelled transfer robot may be remotely controlled.
また、上記実施形態では、ガイド機構５０をＸ軸、Ｙ軸及びＺ軸の３方向において操作ワンド３０の直線移動をガイドする構成としたが、これらのいずれか１つ又は２つの方向の直線移動をガイドする構成としてもよく、これら以外の軸方向の直線移動をガイドする構成としてもよい。或いは、ガイド機構５０は、直線移動をガイドする構成に代えて、或いはこれに加えて、円形や楕円形のように全体を曲線状の経路としたり、一部分を曲線状の経路としたりして方向の変化する移動をガイドする構成としてもよい。要するに、ガイド機構５０は、一定の所定方向にガイドする構成に限られず、予め定められた経路に沿って所定方向が変化する移動をガイドする構成であってもよい。また、上記実施形態では、ガイド機構５０にテーブル５１を操作台として設ける構成としたが、操作者がＹ軸ガイド５２を一方の手で把持し、固定台座５８を他方の手で把持して操作すれば、テーブル５１を省略した構成とすることも可能である。 In the above embodiment, the guide mechanism 50 is configured to guide the linear movement of the operation wand 30 in the three directions of the X axis, the Y axis, and the Z axis. However, the linear movement in any one or two of these directions is performed. Or a configuration for guiding other linear movements in the axial direction. Alternatively, instead of or in addition to the configuration that guides the linear movement, the guide mechanism 50 may be configured such that the whole is formed into a curved path such as a circle or an ellipse, or a part is formed into a curved path. It is good also as a structure which guides the movement which changes. In short, the guide mechanism 50 is not limited to the configuration that guides in a predetermined direction, and may be a configuration that guides movement in which a predetermined direction changes along a predetermined route. Further, in the above embodiment, the table 51 is provided on the guide mechanism 50 as an operation table. However, the operator grips the Y-axis guide 52 with one hand and grips the fixed base 58 with the other hand to operate. In this case, the table 51 may be omitted.
また、上記実施形態では、移動倍率について、ドローン１００の移動速度と移動量の両方を変更する例を説明したが、ドローン１００の移動速度を変えずに、移動量のみ変更するように設定されてもよい。 Further, in the above-described embodiment, an example in which both the moving speed and the moving amount of the drone 100 are changed with respect to the moving magnification has been described. However, it is set that only the moving amount is changed without changing the moving speed of the drone 100. Is also good.
また、上記実施形態では、動き検出部及び撮像部として赤外線カメラ２０を用いた例を示したが、赤外線以外の光を使用する可視光カメラ等を用いる構成としてもよい。或いは、赤外線以外の位置、角度、速度などの情報を取得できる機器を、動き検出部として用いる構成としてもよい。例えば、赤外線カメラ２０に代えて、磁気センサ、慣性センサ、機械式センサ等を、動き検出部として用いることにより操作ワンド３０の動きを検出する構成としてよい。 Further, in the above embodiment, the example in which the infrared camera 20 is used as the motion detection unit and the imaging unit has been described, but a configuration using a visible light camera using light other than infrared light may be used. Alternatively, a device that can acquire information such as a position, an angle, and a speed other than infrared light may be used as the motion detection unit. For example, a configuration may be employed in which the movement of the operation wand 30 is detected by using a magnetic sensor, an inertial sensor, a mechanical sensor, or the like as the movement detection unit instead of the infrared camera 20.
以下、上記実施形態の変形例について、図９を参照しつつ説明する。尚、上記実施形態と同一の部材には同一の符号を付し、それらについての説明を省略する。図９に示す変形例の遠隔操作装置２は、赤外線カメラ２０に代えて、磁界発生装置２５及び磁気センサ２６を、本発明の動き検出部として用いたものである。すなわち、遠隔操作装置２は、動き検出部として、操作ワンド３０を含む空間Ｓ内に磁界を発生させる磁界発生部としての磁界発生装置２５、及び操作ワンド３０に取付けられて磁力の計測に基づいて操作ワンド３０の動きを検出する磁力計側部としての磁気センサ２６を有する。磁気センサ２６は、３軸方向に直交するコイルで検出した磁力に基づいて磁界発生装置２５からの位置、角度、速度を計測することにより、操作ワンド３０の動きを検出する装置である。磁気センサ２６による検出結果は、有線通信又は無線通信で送信され、通信Ｉ／Ｆ１５を介して端末１０に取り込まれる。端末１０において、モーションキャプチャ部としてのＣＰＵ１１は、磁気センサ２６による検出結果に基づいて操作ワンド３０の三次元時系列位置情報を生成する。本変形例においても、上記実施形態と同様の効果を奏する。 Hereinafter, a modified example of the above embodiment will be described with reference to FIG. The same members as those in the above embodiment are denoted by the same reference numerals, and description thereof will be omitted. The remote control device 2 of the modified example shown in FIG. 9 uses a magnetic field generator 25 and a magnetic sensor 26 instead of the infrared camera 20 as the motion detection unit of the present invention. That is, the remote operation device 2 is mounted on the operation wand 30 as a motion detection unit, based on a magnetic field measurement unit that generates a magnetic field in the space S including the operation wand 30, and based on the measurement of the magnetic force. It has a magnetic sensor 26 as a magnetometer side that detects the movement of the operation wand 30. The magnetic sensor 26 is a device that detects the movement of the operation wand 30 by measuring the position, angle, and speed from the magnetic field generator 25 based on the magnetic force detected by the coils orthogonal to the three axes. The detection result by the magnetic sensor 26 is transmitted by wire communication or wireless communication, and is taken into the terminal 10 via the communication I / F 15. In the terminal 10, the CPU 11 as a motion capture unit generates three-dimensional time-series position information of the operation wand 30 based on a detection result by the magnetic sensor 26. Also in this modified example, the same effects as those of the above embodiment can be obtained.
１…遠隔操作装置（実施形態）、２…遠隔操作装置（変形例）、１１…ＣＰＵ（倍率設定部、モーションキャプチャ部、指令生成部）、２０…赤外線カメラ（動き検出部、撮像部）、２５…磁界発生装置（磁界発生部、動き検出部）、２６…磁気センサ（磁力計側部、動き検出部）、３０…操作ワンド（操作体）、４０…マーカ、５０…ガイド機構、５２…Ｙ軸ガイド、５３…Ｘ軸ガイド、５４…伸縮シャフト（Ｚ軸ガイド）、５８…固定台座（Ｚ軸ガイド）、１００…ドローン（対象機器）。 REFERENCE SIGNS LIST 1 remote control device (embodiment), 2 remote control device (modification), 11 CPU (magnification setting unit, motion capture unit, command generation unit), 20 infrared camera (motion detection unit, imaging unit), 25 magnetic field generator (magnetic field generator, motion detector), 26 magnetic sensor (magnetometer side, motion detector), 30 operation wand (operator), 40 marker, 50 guide mechanism, 52 Y-axis guide, 53: X-axis guide, 54: telescopic shaft (Z-axis guide), 58: fixed base (Z-axis guide), 100: drone (target equipment).
Claims (4)
操作者の手で把持される操作体と、
前記操作体の動きを検出する動き検出部と、
前記動き検出部による検出結果に基づいて前記操作体の三次元時系列位置情報を生成するモーションキャプチャ部と、
前記モーションキャプチャ部で生成された前記三次元時系列位置情報に基づいて前記対象機器を操作するための指令を生成する指令生成部と、
前記指令生成部で生成された前記指令を前記対象機器へ送信する指令送信部と、
前記操作体の所定方向への移動をガイドする機構であって、前記操作体のＸ軸方向への移動をガイドするＸ軸ガイドと、前記操作体の前記Ｘ軸方向と直交するＹ軸方向への移動をガイドするＹ軸ガイドと、前記操作体の前記Ｘ軸方向及び前記Ｙ軸方向と直交するＺ軸方向への移動をガイドするＺ軸ガイドとを有するガイド機構と、
を備える遠隔操作装置。 A remote control device for remotely controlling a target device,
An operation body held by an operator's hand,
A motion detection unit that detects a motion of the operating tool,
A motion capture unit that generates three-dimensional time-series position information of the operating tool based on a detection result by the motion detection unit,
A command generation unit that generates a command for operating the target device based on the three-dimensional time-series position information generated by the motion capture unit,
A command transmission unit that transmits the command generated by the command generation unit to the target device,
A mechanism for guiding movement of the operating body in a predetermined direction, an X-axis guide for guiding movement of the operating body in the X-axis direction, and a Y-axis direction orthogonal to the X-axis direction of the operating body. A guide mechanism having a Y-axis guide that guides movement of the operating body, and a Z-axis guide that guides movement of the operating body in a Z-axis direction orthogonal to the X-axis direction and the Y-axis direction;
Remote control device comprising:
前記動き検出部は、前記操作体を含む空間を撮像する複数の撮像部を有し、
前記モーションキャプチャ部は、前記複数の撮像部で撮像された時系列の画像データより前記マーカの動きを三角測量の原理で計測して前記操作体の三次元時系列位置情報を生成する、請求項１に記載の遠隔操作装置。 Further comprising a marker attached to the operating body,
The motion detection unit has a plurality of imaging units that image a space including the operation body,
The motion capture unit generates three-dimensional time-series position information of the operating tool by measuring the movement of the marker from time-series image data captured by the plurality of imaging units based on the principle of triangulation. 2. The remote control device according to 1.
前記モーションキャプチャ部は、前記磁力計側部による検出結果に基づいて前記操作体の三次元時系列位置情報を生成する、請求項１に記載の遠隔操作装置。 The movement detection unit includes a magnetic field generation unit that generates a magnetic field in a space including the operation body, and a magnetometer side unit that is attached to the operation body and detects movement of the operation body based on measurement of a magnetic force. And
The remote control device according to claim 1, wherein the motion capture unit generates three-dimensional time-series position information of the operating tool based on a detection result by the magnetometer side unit.
前記指令生成部は、前記三次元時系列位置情報と前記移動倍率とに基づいて前記指令を生成する、請求項１乃至３の何れか一項に記載の遠隔操作装置。 A magnification setting unit that sets a ratio of a movement amount of the target device to a movement amount of the operation tool as a movement magnification,
The command generating unit is configured to generate the command based on the three-dimensional time-series position information and the moving magnification, remote control device according to any one of claims 1 to 3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018026340A JP6669790B2 (en) | 2018-02-16 | 2018-02-16 | Remote control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018026340A JP6669790B2 (en) | 2018-02-16 | 2018-02-16 | Remote control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019142290A JP2019142290A (en) | 2019-08-29 |
| JP6669790B2 true JP6669790B2 (en) | 2020-03-18 |
Family
ID=67771719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018026340A Active JP6669790B2 (en) | 2018-02-16 | 2018-02-16 | Remote control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6669790B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021215366A1 (en) * | 2020-04-24 | 2021-10-28 | 日本電気株式会社 | Unmanned aerial vehicle remote control device, unmanned aerial vehicle remote control system, unmanned aerial vehicle remote control method, and recording medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004101273A (en) * | 2002-09-06 | 2004-04-02 | Rikogaku Shinkokai | Error calibration method of magnetic type position instrumentation system |
| JP2016151566A (en) * | 2015-02-19 | 2016-08-22 | 株式会社島津製作所 | Motion tracker device |
| US10310617B2 (en) * | 2015-06-11 | 2019-06-04 | Intel Corporation | Drone controlling device and method |
| JP6744033B2 (en) * | 2016-07-29 | 2020-08-19 | Ｎｅｃソリューションイノベータ株式会社 | Mobile control system, control signal transmission system, mobile control method, program, and recording medium |
| JP6758271B2 (en) * | 2017-09-26 | 2020-09-23 | 日本電信電話株式会社 | Flight controls, methods, and programs |
-
2018
- 2018-02-16 JP JP2018026340A patent/JP6669790B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019142290A (en) | 2019-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6851470B2 (en) | Unmanned aerial vehicle control methods, head-mounted display glasses and systems | |
| WO2017124840A1 (en) | Optical control method and system for aircraft | |
| JP6943988B2 (en) | Control methods, equipment and systems for movable objects | |
| US8648802B2 (en) | Collapsible input device | |
| CN105283816A (en) | Remote control method and terminal | |
| JP6430073B2 (en) | Attitude estimation apparatus, attitude estimation method, and observation system | |
| CN105843251B (en) | Method, device and system for controlling aircraft | |
| WO2014002466A1 (en) | Electromagnetic field measuring and display device, electromagnetic measuring and display method, program, and recording medium | |
| JP6357023B2 (en) | Information processing program, information processing apparatus, information processing apparatus control method, and information processing system | |
| US11669173B2 (en) | Direct three-dimensional pointing using light tracking and relative position detection | |
| CN104997514A (en) | Rehabilitation assistance system | |
| JP6204686B2 (en) | Information processing program, information processing system, information processing apparatus, and information processing execution method | |
| JP6669790B2 (en) | Remote control device | |
| JP6930123B2 (en) | Control methods, flying objects, controls, generators, and programs | |
| JP2020022157A (en) | Inspection system and inspection method | |
| CN111356954A (en) | Control device, mobile body, control method, and program | |
| CN108885493A (en) | Method, holder, motion sensing control device and the system of motion sensing control device control holder | |
| KR102204201B1 (en) | System for measuring a frequency response function of a camera module | |
| CN113677412A (en) | Information processing apparatus, information processing method, and program | |
| KR102117338B1 (en) | Method for controling unmanned moving object based on cylindrical coordinate system and recording medium storing program for executing the same, and computer prograom stored in recording medium for executing the same | |
| CN111699453A (en) | Control method, device and equipment of movable platform and storage medium | |
| JP7452533B2 (en) | Information processing device, information processing method and program | |
| JP2019114036A (en) | Information processing apparatus, flight control instruction method, program, and recording medium | |
| CN111357271B (en) | Control device, mobile body, and control method | |
| KR101956694B1 (en) | Drone controller and controlling method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6669790 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |