JP5213183B2 - Robot control system and robot control program - Google Patents

Robot control system and robot control program Download PDF

Info

Publication number
JP5213183B2
JP5213183B2 JP2009165668A JP2009165668A JP5213183B2 JP 5213183 B2 JP5213183 B2 JP 5213183B2 JP 2009165668 A JP2009165668 A JP 2009165668A JP 2009165668 A JP2009165668 A JP 2009165668A JP 5213183 B2 JP5213183 B2 JP 5213183B2
Authority
JP
Japan
Prior art keywords
image
robot
transport
control
conveyance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009165668A
Other languages
Japanese (ja)
Other versions
JP2011022700A (en
Inventor
健太郎 石井
義樹 竹岡
昌彦 稲見
健夫 五十嵐
Original Assignee
独立行政法人科学技術振興機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 独立行政法人科学技術振興機構 filed Critical 独立行政法人科学技術振興機構
Priority to JP2009165668A priority Critical patent/JP5213183B2/en
Publication of JP2011022700A publication Critical patent/JP2011022700A/en
Application granted granted Critical
Publication of JP5213183B2 publication Critical patent/JP5213183B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、物体の搬送作業を実行可能なロボットを制御するためのロボット制御システムとロボット制御プログラムとに関する。   The present invention relates to a robot control system and a robot control program for controlling a robot capable of performing an object transfer operation.

近年、掃除やモップがけを行える家事支援ロボット(例えば、特許文献1参照。)が、一般家庭で使用されるようになってきている。また、物体を持ち運ぶことが出来るロボットも開発されているため、一般家庭で使用するための、物体の搬送作業が行えるロボットが開発される日も近いと考えられる。   In recent years, housework support robots (see, for example, Patent Document 1) capable of cleaning and moping have come to be used in ordinary homes. In addition, since a robot that can carry an object has been developed, it is considered that the day when a robot capable of carrying an object for use in a general home will be developed.

特開2006−331434号公報JP 2006-331434 A

そこで、本発明の課題は、物体の搬送作業を行えるロボットを好適に制御できるロボット制御システムと、それを用いることにより、そのようなロボット制御システムを実現(構築)できるロボット制御プログラムとを、提供することにある。   Accordingly, the object of the present invention is to provide a robot control system that can suitably control a robot that can carry objects and a robot control program that can realize (construct) such a robot control system by using the robot control system. There is to do.

上記課題を解決するために、本発明のロボット制御システムは、物体の搬送作業を実行可能なロボットを機能させる空間であるロボット利用空間についての画像データを繰り返し生成する撮影手段と、前記撮影手段が生成する各画像データに基づき、画面上に、前記ロボット利用空間の現状を示す画像を表示する表示手段と、前記撮影手段が生成する画像データに対して画像セグメンテーション処理を行うことにより、当該画像データが示している画像を複数のセグメントに分割するセグメンテーション手段と、前記ロボットに搬送させるべき物体である搬送対象物をユーザに指定させるためのユーザインターフェース手段であって、前記画面上の或る範囲を指定する範囲指定操作がなされた場合に、前記セグメンテーション手段による処理結果を利用して、前記画面上に表示されている画像中から、前記範囲指定操作で指定された範囲内に所定割合以上の部分が含まれているセグメント群からなる画像を搬送対象物画像として探索する処理を行い、その時点における画像が当該搬送対象物画像となっている物体が、前記搬送対象物として指定されたと判断するユーザインターフェース手段と、前記ユーザインタフェース手段により探索された前記搬送対象物画像を利用して、前記搬送対象物に対する搬送作業を前記ロボットに行わせるロボット制御手段とを備える。   In order to solve the above-described problems, a robot control system according to the present invention includes an imaging unit that repeatedly generates image data of a robot use space that is a space for functioning a robot capable of performing an object transfer operation, and the imaging unit includes: Based on each image data to be generated, a display means for displaying an image showing the current state of the robot usage space on the screen, and an image segmentation process is performed on the image data generated by the photographing means, whereby the image data Segmentation means for dividing the image shown in FIG. 2 into a plurality of segments, and user interface means for allowing the user to specify a transport object that is an object to be transported by the robot, Processing by the segmentation means when a specified range specification operation is performed By using the results, an image composed of a segment group in which a portion of a predetermined ratio or more is included in the range specified by the range specifying operation from the images displayed on the screen is used as the transport object image. User interface means for performing a search process and determining that an object whose image at that time is the conveyance object image is designated as the conveyance object; and the conveyance object searched by the user interface means Robot control means for causing the robot to carry out the carrying work on the carrying object using an image.

すなわち、本発明のロボット制御システムは、撮影手段からの画像データに基づき、画面上に、ロボット利用空間の現状を示す画像(以下、カメラ画像と表記する)を表示する
システムであると共に、カメラ画像が表示されている画面上の或る範囲をユーザが指定すると、カメラ画像に対する画像セグメンテーション処理結果を利用して、カメラ画像中の、ユーザが指定した範囲内に所定割合以上の部分が含まれているセグメント群からなる画像を、搬送対象物画像(ユーザが搬送対象物として指定した物体の現時点における画像)として探索するシステムとなっている。
That is, the robot control system of the present invention is a system that displays an image showing the current state of the robot use space (hereinafter referred to as a camera image) on the screen based on the image data from the photographing means, and also the camera image. When the user designates a certain range on the screen on which is displayed, the image segmentation processing result for the camera image is used, and a portion of the camera image includes a portion of a predetermined ratio or more within the range designated by the user. This is a system that searches for an image composed of a group of segments as a transport object image (an image at the current time of an object designated by the user as a transport object).

従って、このロボット制御システムでは、他の物体と重ならない形で画面上に表示されている物体をユーザが搬送対象物として指定した場合、他の物体と重なった形で画面上に表示されている物体をユーザが搬送対象物として指定した場合のいずれの場合にも、搬送対象物画像が正確に探索(特定)されることになる。   Therefore, in this robot control system, when the user designates an object displayed on the screen in a form that does not overlap with another object as a transport object, the object is displayed on the screen in a form that overlaps with another object. In any case where the user designates the object as the transport object, the transport object image is accurately searched (specified).

そして、搬送対象物画像を正確に探索できれば、その搬送対象物画像に基づき、搬送対象物の搬送作業をロボットに行わせるために必要な情報(搬送対象物の現在位置に関する情報)を得ることが出来るのであるから、本発明のロボット制御システムによれば、物体の搬送作業を行えるロボットを好適に制御できることになる。   If the transport object image can be accurately searched, information (information on the current position of the transport object) necessary for causing the robot to perform the transport operation of the transport object can be obtained based on the transport object image. Therefore, according to the robot control system of the present invention, it is possible to suitably control a robot capable of carrying an object.

本発明のロボット制御システムを実現するに際しては、ロボット制御手段として、『前記セグメンテーション手段による処理結果を利用して前記画面上に表示されている画像内に含まれている幾つかの連続したセグメントからなる複数個の比較対照画像を特定し、特定した複数個の比較対照画像の中から前記搬送対象物画像と最も類似した比較対照画像を探索し、探索した比較対照画像の前記画面上での位置から、前記ロボットの制御に用いる、前記ロボット利用空間内での前記搬送対象物の現在位置情報を算出する手段』を採用しておくことが出来る。なお、そのようなロボット制御手段を採用しておけば、搬送対象物の現在位置(現在位置情報)を特に正確に把握できる(搬送対象物を見失う可能性がより低い)ロボット制御システムを実現できることになる。   In realizing the robot control system of the present invention, as the robot control means, “from several continuous segments included in the image displayed on the screen using the processing result by the segmentation means”. A plurality of comparison control images are specified, a comparison control image most similar to the transport object image is searched from the specified plurality of comparison control images, and the position of the searched comparison control image on the screen From the above, “means for calculating current position information of the object to be transported in the robot use space” used for controlling the robot can be employed. If such a robot control means is adopted, a robot control system capable of accurately grasping the current position (current position information) of the object to be transported (less likely to lose the object to be transported) can be realized. become.

本発明のロボット制御システムは、搬送対象物の搬送場所(搬送先)を予め指定/設定しておくタイプのシステムとして実現することも、搬送作業毎に、搬送対象物の搬送場所を指定するタイプのシステム(『前記ユーザインターフェース手段が、前記搬送対象物と、前記搬送対象物を搬送すべき場所である搬送場所とを、ユーザに指定させる手段であり、前記ロボット制御手段が、前記搬送対象物画像を利用して、前記搬送対象物を前記搬送場所まで搬送する搬送作業を前記ロボットに行わせる手段である』システム)として実現することも可能なものである。   The robot control system of the present invention can be realized as a type of system in which the transfer location (transfer destination) of the transfer object is designated / set in advance, or the transfer control location of the transfer object is specified for each transfer operation. System (“the user interface means is means for allowing the user to specify the transport object and a transport location where the transport object is to be transported, and the robot control means It is also possible to realize a system that is a means for causing the robot to perform a transport operation for transporting the transport object to the transport location using an image.

本発明のロボット制御システムを、後者のタイプのものとして実現する場合には、ユーザインターフェース手段として、『前記搬送対象物画像を探索した後、ドラッグアンドドロップ操作が可能な搬送場所指定用アイコンを前記画面上に表示し、当該搬送場所指定用アイコンに対するドラッグアンドドロップ操作がなされたときに、その搬送場所指定用アイコンのドロップ位置に対応する前記ロボット利用空間内の場所が前記搬送場所として指定されたと判断する手段』を採用しておくことが出来る。また、ユーザインターフェース手段として、『前記搬送対象物画像をアイコン化したものを前記搬送場所指定用アイコンとして表示する手段』を採用しておくことも出来る。   When the robot control system according to the present invention is realized as the latter type, as a user interface means, “a transport location designation icon that allows a drag-and-drop operation after searching for the transport object image is displayed. When a drag-and-drop operation is performed on the transfer location designation icon displayed on the screen, a location in the robot use space corresponding to the drop position of the transfer location designation icon is designated as the transfer location. "Means to judge" can be adopted. Further, as means for user interface, “means for displaying an icon of the transport object image as the transport location designation icon” may be employed.

さらに、“他の物体の画像と重なっていない位置に搬送場所指定用アイコンをドロップしたにも拘わらず、指定した搬送場所に、搬送対象物を配置可能な余地がない”といったようなことが生じないようにするために、ユーザインターフェース手段として、『前記搬送場所指定用アイコンのドラッグアンドドロップ操作中に、前記搬送場所指定用アイコンのサイズを、前記搬送場所指定用アイコンの表示位置に対応する前記ロボット利用空間内の位置に前記搬送対象物が存在していた場合における前記搬送対象物の画像のサイズに変更するサイズ変更機能を有する手段』を採用しておくことも出来る。   In addition, there is a case where “there is no room for placing the object to be transported at the designated transport location even though the transport location designation icon is dropped at a position not overlapping with the image of another object”. In order to avoid such a situation, as a user interface means, “during the drag-and-drop operation of the transport location designation icon, the size of the transport location designation icon corresponds to the display position of the transport location designation icon. Means having a size changing function for changing the size of the image of the conveyance object when the conveyance object is present at a position in the robot use space may be employed.

また、搬送場所指定用アイコンのドラッグアンドドロップ操作中に、ユーザが、搬送場所指定用アイコンのサイズの微妙な変化に起因する違和感を感じないようにするために、ユーザインターフェース手段として、上記サイズ変更機能を有する手段であると共に、『前記撮影手段の前記ロボット利用空間に対する姿勢に応じて、前記サイズ変更機能をON/OFFする手段』を採用しておくことも出来る。   In addition, in order to prevent the user from feeling uncomfortable due to a subtle change in the size of the transport location designation icon during the drag-and-drop operation of the transport location designation icon, the above size change is performed as a user interface means. In addition to means having a function, "means for turning on / off the size changing function according to the posture of the photographing means with respect to the robot use space" may be employed.

また、セットアップ作業な容易なシステムとするために、本発明のロボット制御システムを、『前記ロボットの特定の部分の形状を示す形状情報と前記撮影手段が生成した画像データとに基づき、当該画像データが示している画像中の各画素の位置から、各画素に対応する、前記ロボット利用空間内の位置についての、前記ロボットの走行面に平行な座標面を有する座標系座標を求めるための変換情報を算出する変換情報算出手段を、さらに、備え、前記ロボット制御手段が、前記変換情報算出手段により算出された変換情報を利用して前記撮影手段が生成する画像データを解析することによって、前記ロボットの制御に用いる、前記ロボット利用空間内での前記ロボットの現在位置情報と前記搬送対象物の現在位置情報とを算出する手段である』システムとして実現しておくことも出来る。   Further, in order to make the system easy to set up, the robot control system according to the present invention is changed to “the image data based on the shape information indicating the shape of the specific part of the robot and the image data generated by the photographing means”. Conversion information for obtaining a coordinate system coordinate having a coordinate plane parallel to the traveling surface of the robot, corresponding to each pixel, in the robot use space, from the position of each pixel in the image indicated by Conversion information calculating means for calculating the image information, and the robot control means analyzes the image data generated by the photographing means using the conversion information calculated by the conversion information calculation means, whereby the robot Means for calculating the current position information of the robot and the current position information of the object to be transported in the robot use space. That "it is also possible to be realized as a system.

そして、本発明のロボット制御プログラムは、コンピュータを、物体の搬送作業を実行可能なロボットを機能させる空間であるロボット利用空間に向けられたデジタルカメラからの画像データに基づき、画面上に、前記ロボット利用空間の現状を示す画像を表示する表示手段と、前記デジタルカメラからの画像データに対して画像セグメンテーション処理を行うことにより、当該画像データが示している画像を複数のセグメントに分割するセグメンテーション手段と、前記ロボットに搬送させるべき物体である搬送対象物をユーザに指定させるためのユーザインターフェース手段であって、前記画面上の或る範囲を指定する範囲指定操作がなされた場合に、前記セグメンテーション手段による処理結果を利用して、前記画面上に表示されている画像中から、前記範囲指定操作で指定された範囲内に所定割合以上の部分が含まれているセグメント群からなる画像を搬送対象物画像として探索する処理を行い、その時点における画像が当該搬送対象物画像となっている物体が、前記搬送対象物として指定されたと判断するユーザインターフェース手段と、前記ユーザインタフェース手段により探索された前記搬送対象物画像を利用して、前記搬送対象物に対する搬送作業を前記ロボットに行わせるロボット制御手段とを備える装置として機能させることが出来るものとなっている。   Then, the robot control program of the present invention uses the computer to display the robot on the screen based on image data from a digital camera directed to a robot use space that is a space for functioning a robot capable of carrying an object. Display means for displaying an image showing the current state of the use space, and segmentation means for dividing the image indicated by the image data into a plurality of segments by performing image segmentation processing on the image data from the digital camera. User interface means for allowing a user to designate a transport object that is an object to be transported by the robot, and when a range designation operation for designating a certain range on the screen is performed, by the segmentation means It is displayed on the screen using the processing result. From the image, a process of searching for an image composed of a segment group including a portion of a predetermined ratio or more within the range specified by the range specifying operation is performed as a transport target image, and the image at that time is the transport target User interface means for determining that an object that is an object image has been designated as the transport object, and transport work for the transport object using the transport object image searched by the user interface means. The apparatus can be made to function as an apparatus including a robot control means to be performed by the robot.

従って、このロボット制御プログラムを用いれば、物体の搬送作業を行えるロボットを好適に制御できるロボット制御システム(請求項1記載のロボット制御システムに相当するシステム)を実現できることになる。   Therefore, by using this robot control program, it is possible to realize a robot control system (a system corresponding to the robot control system according to claim 1) capable of suitably controlling a robot capable of carrying an object.

本発明によれば、物体の搬送作業を行えるロボットを好適に制御できるロボット制御システムと、それを用いることにより、そのようなロボット制御システムを実現(構築)できるロボット制御プログラムとを、提供することが出来る。   According to the present invention, there is provided a robot control system that can suitably control a robot that can carry an object, and a robot control program that can realize (construct) such a robot control system by using the robot control system. I can do it.

本発明の第1実施形態に係るロボット制御システムの構成図である。1 is a configuration diagram of a robot control system according to a first embodiment of the present invention. 第1実施形態に係るロボット制御システムが制御するロボットの外観図である。It is an external view of the robot controlled by the robot control system according to the first embodiment. 第1実施形態に係るロボット制御システム内の制御装置が実行する画像セグメンテーション処理の処理内容の説明図である。It is explanatory drawing of the processing content of the image segmentation process which the control apparatus in the robot control system which concerns on 1st Embodiment performs. 第1実施形態に係るロボット制御システム内の制御装置が実行するメイン処理の流れ図である。It is a flowchart of the main process which the control apparatus in the robot control system which concerns on 1st Embodiment performs. メイン処理(搬送指示受付処理)の実行中にタッチスクリーン上に表示される画像の一例を示した図である。It is the figure which showed an example of the image displayed on a touch screen during execution of the main process (conveyance instruction reception process). メイン処理(搬送指示受付処理)内で実行されるD&D操作応答処理の内容を説明するための図である。It is a figure for demonstrating the content of the D & D operation response process performed within the main process (conveyance instruction reception process). 第1実施形態に係るロボット制御システム内の制御装置が実行するロボット制御処理の流れ図である。It is a flowchart of the robot control process which the control apparatus in the robot control system which concerns on 1st Embodiment performs. 第1実施形態に係るロボット制御システム内の制御装置が算出するカラーヒストグラムの説明図である。It is explanatory drawing of the color histogram which the control apparatus in the robot control system which concerns on 1st Embodiment calculates. 本発明の第2実施形態に係るロボット制御システム内の制御装置が実行する第2D&D操作応答処理の流れ図である。It is a flowchart of the 2nd D & D operation response process which the control apparatus in the robot control system which concerns on 2nd Embodiment of this invention performs.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

《第1実施形態》
まず、図1及び図2を用いて、本発明の第1実施形態に係るロボット制御システム10の概要を説明する。
<< First Embodiment >>
First, the outline of the robot control system 10 according to the first embodiment of the present invention will be described with reference to FIGS. 1 and 2.

図1に示してあるように、本実施形態に係るロボット制御システム10は、ロボット15と、制御装置11と、当該制御装置11にケーブルにて接続されたカメラ12及びタッチスクリーンディスプレイ13とを、備えている。   As shown in FIG. 1, the robot control system 10 according to the present embodiment includes a robot 15, a control device 11, a camera 12 and a touch screen display 13 connected to the control device 11 with cables. I have.

このロボット制御システム10が備えるロボット15は、ロボットプラットフォームとして市販されているiRobot Create(iRobot Corporationの商標)を、Bluetooth(Bluetooth-SIG Inc.の商標)による無線制御が可能なように改造したロボットである。   The robot 15 included in the robot control system 10 is a robot obtained by modifying iRobot Create (trademark of iRobot Corporation) marketed as a robot platform so that wireless control by Bluetooth (trademark of Bluetooth-SIG Inc.) is possible. is there.

図2に示したように、このロボット15の上面中央部には、回転対称性を有さない形状のマーカー図形が描画されている板状のロボットマーカーが、その上下方向(図における上下方向)とロボット15の前後方向(図における上下方向)とが一致し、かつ、その板面とロボット15の走行面(ロボット15に物体の搬送作業を行わせる部屋の床面;以下、ロボット走行面と表記する)とが平行になる姿勢で、取り付けられている。   As shown in FIG. 2, at the center of the upper surface of the robot 15, a plate-like robot marker on which a marker graphic having a shape having no rotational symmetry is drawn is in the vertical direction (vertical direction in the figure). And the front-rear direction of the robot 15 (vertical direction in the figure), and the plate surface and the travel surface of the robot 15 (the floor surface of the room in which the robot 15 performs the object transfer operation; hereinafter referred to as the robot travel surface) It is attached in a posture that is parallel to the notation.

カメラ12(図1)は、被写体(撮影対象)についての画像データ(カラー画像データ)を周期的に出力可能な装置(PCカメラ、Webカメラ等と称されている装置)である。本ロボット制御システム10のセットアップ時には、このカメラ12を、ロボット15に物体の搬送作業を行わせる部屋の天井近傍の箇所に当該部屋の床の様子/状況を斜め上方から撮影できる姿勢で固定する作業が、行われる。なお、本実施形態において、“物体の搬送作業”とは、“床上の物体を押す(床上の物体と接した状態で床上を物体方向に移動する)ことにより当該物体の床上での位置を変更する作業”のことである。   The camera 12 (FIG. 1) is a device (a device called a PC camera, a Web camera, or the like) that can periodically output image data (color image data) about a subject (photographing target). At the time of setting up the robot control system 10, the camera 12 is fixed to a position near the ceiling of the room where the robot 15 is to carry the object in such a posture that the state / situation of the floor of the room can be photographed obliquely from above. Is done. In the present embodiment, “object transfer work” means “the object on the floor is moved by moving the object in the direction of the object while being in contact with the object on the floor”. Work to do.

タッチスクリーンディスプレイ13は、指で操作可能なタッチスクリーン14を備えた表示装置(コンピュータの周辺機器として市販されているディスプレイ)である。このタッチスクリーンディスプレイ13は、スピーカーを内蔵したものとなっている。   The touch screen display 13 is a display device (a display commercially available as a peripheral device of a computer) including a touch screen 14 that can be operated with a finger. The touch screen display 13 has a built-in speaker.

制御装置11は、カメラ12、タッチスクリーンディスプレイ13及びロボット15を統合的に制御することにより、ロボット制御システム10を、『タッチスクリーン14に対する操作により、ユーザが、所望の“物体の搬送作業”をロボット15に行わせることが出来るシステム』として機能させる装置である。   The control device 11 controls the camera 12, the touch screen display 13 and the robot 15 in an integrated manner, thereby controlling the robot control system 10 as follows: “The user performs a desired“ object transport operation ”by operating the touch screen 14. This is a device that functions as a “system that can be performed by the robot 15”.

この制御装置11は、Bluetoothによる通信機能等を有するコンピュータに、本システ
ム用のものとして用意したプログラムであるロボット制御プログラムや、上記したマーカー図形の形状(各部のサイズや上下方向)を示すマーカー図形情報を、可搬型記録媒体(図示略)からインストールしたものとなっている。
The control device 11 includes a robot control program, which is a program prepared for the system, on a computer having a communication function by Bluetooth, and a marker graphic indicating the shape (size and vertical direction of each part) of the marker graphic described above. The information is installed from a portable recording medium (not shown).

次に、ロボット制御システム10の動作を、説明する。   Next, the operation of the robot control system 10 will be described.

なお、以下の説明では、ロボット15に物体の搬送作業を行わせる部屋ことを、ロボット利用空間と表記し、カメラ12のレンズの光軸と一致するZ軸、カメラ12の上下方向、左右方向とそれぞれ平行なY軸、X軸を有する3次元直交座標系のことを、カメラ座標系と表記する。また、カメラ12により撮影された画像(カメラ12からの画像データがその内容を表している画像)の左辺と一致する座標軸と、当該画像の上辺と一致する座標軸とを有する2次元直交座標系のことを、画像座標系と表記し、ロボット走行面上に設定される(ロボット走行面と一致する座標面を有する)2次元直交座標系のことを、制御用座標系と表記する。   In the following description, a room in which the robot 15 performs an object transfer operation is referred to as a robot use space, and is referred to as a Z-axis that matches the optical axis of the lens of the camera 12, the vertical direction of the camera 12, and the horizontal direction. A three-dimensional orthogonal coordinate system having a parallel Y axis and X axis is referred to as a camera coordinate system. Further, a two-dimensional orthogonal coordinate system having a coordinate axis that coincides with the left side of an image photographed by the camera 12 (an image in which image data from the camera 12 represents its contents) and a coordinate axis that coincides with the upper side of the image. This is expressed as an image coordinate system, and a two-dimensional orthogonal coordinate system (having a coordinate plane that coincides with the robot traveling plane) set on the robot traveling plane is denoted as a control coordinate system.

ロボット制御プログラムを起動すると、制御装置11は、カメラ12からの各画像データに基づく画像表示をタッチスクリーンディスプレイ13に行わせる処理(カメラ12により撮影された各画像を、順次、タッチスクリーン14上に表示させる処理)を開始する。また、制御装置11は、ロボット座標算出処理と画像セグメンテーション処理とを周期的に実行する状態となる。   When the robot control program is started, the control device 11 causes the touch screen display 13 to display an image based on each image data from the camera 12 (each image taken by the camera 12 is sequentially displayed on the touch screen 14. Display process). Further, the control device 11 is in a state of periodically executing the robot coordinate calculation process and the image segmentation process.

制御装置11が周期的に実行するロボット座標算出処理は、カメラ12からの画像データを上記したマーカー図形情報を用いて解析することにより、ロボットマーカー(正確には、ロボットマーカー上のマーカー図形)の位置や姿勢を把握し、把握結果に基づき、以下の2情報を算出する処理である。
・“ロボットマーカーの中心点を、制御用座標系の座標面(ロボット走行面)に正射影した点”の座標(制御用座標系座標)であるロボット座標
・“ロボットマーカーの前方向(図2における上方向)を向いたベクトルを制御用座標系の座標面に正射影したベクトル”である進行方向ベクトル
The robot coordinate calculation process periodically executed by the control device 11 analyzes the image data from the camera 12 by using the above-described marker graphic information, so that the robot marker (more precisely, the marker graphic on the robot marker) is analyzed. This is a process of grasping the position and orientation and calculating the following two pieces of information based on the grasp result.
Robot coordinates that are the coordinates (control coordinate system coordinates) of “a point obtained by orthogonally projecting the center point of the robot marker onto the coordinate plane (robot traveling plane) of the control coordinate system”. Direction vector) which is an orthogonal projection of a vector pointing in the upward direction on the coordinate plane of the control coordinate system.

なお、このロボット座標算出処理は、ロボットマーカーを初めて検出した際には、“画像座標系座標を制御用座標系座標に変換するための座標変換行列”も算出する処理となっている。また、ロボット制御プログラムは、このロボット座標算出処理を制御装置11に実行させるための部分を、NyARtoolkit(ARToolKitをJava(米国Sun Microsystem,Inc.の商標)に移植した、拡張現実アプリケーションの実装を手助けするためのクラスライブラリ:非特許文献1参照。)を利用して作成したプログラムとなっている。   The robot coordinate calculation process is a process for calculating a “coordinate conversion matrix for converting image coordinate system coordinates to control coordinate system coordinates” when a robot marker is detected for the first time. Also, the robot control program helps implement an augmented reality application in which the part for causing the control device 11 to execute this robot coordinate calculation process is ported to NyARtoolkit (ARToolKit is a trademark of Java (trademark of Sun Microsystem, Inc., USA)). The program is created using a class library (see Non-Patent Document 1).

制御装置11が周期的に実行する画像セグメンテーション処理は、カメラ12からの画像データが表している画像/タッチスクリーン14上に表示されている画像(以下、カメラ画像と表記する)を、特徴が一様と見なせる複数のセグメントに分割する処理である。   The image segmentation process periodically executed by the control device 11 is characterized by an image represented by image data from the camera 12 / an image displayed on the touch screen 14 (hereinafter referred to as a camera image). This is a process of dividing into a plurality of segments that can be regarded as different.

この画像セグメンテーション処理は、例えば、カメラ画像が図3(a)に示したものであった場合、当該カメラ画像を、図3(b)に示したようなセグメント群に分割するものとなっている。すなわち、画像セグメンテーション処理は、カメラ画像中の各物体に関する画像を、複数のセグメントに分割してしまうものとなっている。なお、本実施形態に係る制御装置11が実際に実行する画像セグメンテーション処理は、P. F. Felzenszwalbらが開発したアルゴリズム(非特許文献2参照。)によりカメラ画像をセグメント化する処理である。   In this image segmentation process, for example, when the camera image is the one shown in FIG. 3A, the camera image is divided into segment groups as shown in FIG. 3B. . That is, the image segmentation process divides an image relating to each object in the camera image into a plurality of segments. Note that the image segmentation process actually executed by the control device 11 according to the present embodiment is a process of segmenting the camera image by an algorithm developed by P. F. Felzenszwalb et al. (See Non-Patent Document 2).

ロボット制御プログラムを起動すると、制御装置11は、上記したロボット座標算出処
理による情報算出が成功する(ロボット15上のロボットマーカーがカメラ12によって撮影される)のを監視する処理も開始する。そして、制御装置11は、ロボット座標算出処理による情報算出が成功した場合には、図4に示した手順のメイン処理を開始して、まず、搬送指示受付処理(ステップS101〜S106の処理)を行う。
When the robot control program is activated, the control device 11 also starts a process of monitoring whether the information calculation by the robot coordinate calculation process described above is successful (the robot marker on the robot 15 is captured by the camera 12). Then, when the information calculation by the robot coordinate calculation process is successful, the control device 11 starts the main process of the procedure shown in FIG. 4 and first performs the conveyance instruction reception process (the process of steps S101 to S106). Do.

この搬送指示受付処理は、範囲指定操作とドラッグアンドドロップ操作とを行わせることにより、ユーザに、ロボット15による搬送作業の対象とすべき物体(以下、搬送対象物と表記する)と、その搬送場所(搬送先)とを、指定させる処理である。   In this conveyance instruction reception process, the range designation operation and the drag-and-drop operation are performed to allow the user to perform an object (hereinafter referred to as a conveyance object) to be a conveyance work target by the robot 15 and the conveyance thereof. This is a process for designating a place (conveyance destination).

図示してあるように、搬送指示受付処理を開始した制御装置11は、まず、範囲指定操作応答処理(ステップS101)を実行する。   As illustrated, the control device 11 that has started the transport instruction receiving process first executes a range specifying operation response process (step S101).

この範囲指定操作応答処理は、ユーザによる範囲指定操作に応答して、範囲指定操作で指定中の範囲/指定された範囲を示す矩形枠をタッチスクリーン14上に表示する処理である。なお、範囲指定操作とは、範囲として指定したい矩形領域(搬送対象物の画像の全体/大部分が含まれる矩形領域)の一頂点位置から対角の頂点位置までタッチスクリーン14上で指を移動させる操作のことである。   This range designation operation response process is a process for displaying on the touch screen 14 a rectangular frame indicating the range being designated by the range designation operation / the designated range in response to the range designation operation by the user. The range designation operation is a movement of a finger on the touch screen 14 from one vertex position to a diagonal vertex position of a rectangular area (rectangular area including the whole / most portion of the image of the object to be conveyed) to be designated as a range. It is an operation to be performed.

ユーザによる範囲指定操作が完了した場合(ユーザの指がタッチスクリーン14から離れた場合)、制御装置11は、当該範囲指定操作で指定された範囲(以下、指定範囲と表記する)を記憶してから、範囲指定操作応答処理(ステップS101)を終了する。   When the range specifying operation by the user is completed (when the user's finger is separated from the touch screen 14), the control device 11 stores the range specified by the range specifying operation (hereinafter referred to as a specified range). From this, the range designation operation response process (step S101) is terminated.

そして、制御装置11は、その時点におけるカメラ画像の画像データ、最新の画像セグメンテーション処理結果、指定範囲に基づき、所定割合以上の部分が指定範囲内に含まれているセグメントを全て探索し、探索したセグメントからなる画像を、ユーザが指定した搬送対象物の現時点における画像(以下、搬送対象物画像と表記する)として特定する処理(ステップS102)を行う。なお、最新の画像セグメンテーション処理結果とは、最も最近行った画像セグメンテーション処理の処理結果のことである。また、所定割合とは、ロボット制御プログラム中に設定されている割合のことである。   And the control apparatus 11 searched and searched all the segments in which the part more than the predetermined ratio was contained in the designated range based on the image data of the camera image at that time, the latest image segmentation processing result, and the designated range. A process (step S102) is performed to specify an image formed of the segment as an image at the current time of the conveyance target designated by the user (hereinafter referred to as a conveyance target image). The latest image segmentation processing result is the processing result of the most recent image segmentation processing. Further, the predetermined ratio is a ratio set in the robot control program.

その後、制御装置11は、タッチスクリーン14上に表示されている画像中の搬送対象物画像をハイライト表示させるための処理(ステップS103)を行う。   Thereafter, the control device 11 performs a process (step S103) for highlighting the conveyance target object image in the image displayed on the touch screen 14.

既に説明したように、ステップS102の処理時に特定される搬送対象物画像は、所定割合以上の部分が指定範囲内に含まれているセグメントからなる画像(つまり、所定割合未満の部分しか指定範囲内に含まれていないセグメントを構成要素としていない画像)である。従って、ステップS101の処理時にユーザが指定した範囲内に搬送対象物以外の物体の一部が表示されていても、ステップS102の処理時には、搬送対象物のみの画像が搬送対象物画像として特定されることになる。そして、その結果として、ステップS103の処理時には、図5に例示したように、搬送対象物(この場合、ごみ箱)のみがハイライト表示されることになる。   As already described, the conveyance object image specified at the time of the processing of step S102 is an image composed of segments in which a portion of a predetermined ratio or more is included in the specified range (that is, only a portion less than the predetermined ratio is in the specified range). The image does not include segments that are not included in the image. Therefore, even if a part of the object other than the conveyance target is displayed within the range specified by the user during the process of step S101, only the conveyance target image is specified as the conveyance target image during the process of step S102. Will be. As a result, during the process of step S103, as illustrated in FIG. 5, only the conveyance object (in this case, the trash can) is highlighted.

ステップS103の処理(図4)を終えた制御装置11は、搬送対象物画像についてのカラーヒストグラムを生成して、基準ヒストグラム(用途は後述)として記憶する処理(ステップS104)を行う。なお、搬送対象物画像についてのカラーヒストグラムとは、搬送対象物画像の各画素のR、G、B値、それぞれについての規格化したヒストグラムからなる情報のことである。   The control device 11 that has finished the process of step S103 (FIG. 4) performs a process (step S104) of generating a color histogram for the conveyance object image and storing it as a reference histogram (the application will be described later). The color histogram for the transport object image is information including a normalized histogram for each of the R, G, and B values of each pixel of the transport object image.

その後、制御装置11は、D&D操作応答処理(ステップS105)を開始して、まず、タッチスクリーン14上の搬送対象物画像を指定する操作(タッチスクリーン14の、
搬送対象物画像が表示されている部分に指を置く操作)が行われるのを監視している状態となる。そして、制御装置11は、搬送対象物画像を指定する操作が行われた場合には、図6(a)に示したように、搬送対象物画像をアイコン化した搬送場所指定用アイコンを搬送対象物画像上に表示した後、当該搬送場所指定用アイコンに対するドラッグアンドドロップ操作に実際に応答する処理(ユーザのアイコン操作に従って、搬送場所指定用アイコンの表示位置を変更する処理)を開始する。
Thereafter, the control device 11 starts a D & D operation response process (step S105). First, an operation for designating a conveyance object image on the touch screen 14 (on the touch screen 14,
It is in a state where it is monitored that the operation of placing a finger on the portion where the conveyance object image is displayed is performed. Then, when an operation for designating a transport object image is performed, the control device 11 displays a transport location designation icon, which is an icon of the transport object image, as illustrated in FIG. 6A. After displaying on the object image, a process of actually responding to the drag-and-drop operation on the transport location designation icon (a process of changing the display position of the transport location designation icon according to the user's icon operation) is started.

制御装置11は、搬送場所指定用アイコンに対するドラッグアンドドロップ操作が完了した場合(搬送場所指定用アイコン上/タッチスクリーン14上から、指が離れた場合)には、図6(b)に示したように、搬送対象物画像のハイライト表示を中止してから、D&D操作応答処理(ステップS105)を終了する。   When the drag-and-drop operation on the transport location designation icon is completed (when the finger is released from the transport location designation icon / touch screen 14), the control device 11 is shown in FIG. As described above, after the highlight display of the conveyance object image is stopped, the D & D operation response process (step S105) is ended.

D&D操作応答処理を終了した制御装置11は、ロボット座標算出処理により算出されている座標変換行列を用いて、搬送場所指定用アイコンの現在位置(その時点における搬送場所指定用アイコンの中心位置の画像座標系座標)から、対応するロボット走行面位置の制御用座標系座標を算出し、算出結果を搬送場所座標として記憶する処理(ステップS106)を行う。   The control device 11 that has finished the D & D operation response process uses the coordinate transformation matrix calculated by the robot coordinate calculation process to display the current position of the transport location designation icon (the image of the center position of the transport location designation icon at that time). The control coordinate system coordinates of the corresponding robot travel surface position are calculated from the coordinate system coordinates), and the calculation result is stored as the transport location coordinates (step S106).

そして、ステップS106の処理を終えた制御装置11は、搬送指示受付処理(ステップS101〜S106の処理)を終了する。なお、流れ図(図4)中への表記は省略してあるが、制御装置11が実際に実行する搬送指示受付処理は、ユーザが、搬送対象物画像を指定する前に、タッチスクリーン14上に表示されている矩形枠の形状を変更する操作を行った場合、ステップS102以降の処理を再実行する処理である。すなわち、搬送指示受付処理は、大きすぎる/小さすぎる範囲を指定してしまった結果として、搬送対象物以外の部分もハイライト表示されてしまった場合や搬送対象物の一部分しかハイライト表示されなかった場合に、ユーザが、範囲指定をやり直せる処理となっている。   And the control apparatus 11 which finished the process of step S106 complete | finishes a conveyance instruction | indication reception process (process of step S101-S106). Although notation in the flowchart (FIG. 4) is omitted, the conveyance instruction reception process actually executed by the control device 11 is performed on the touch screen 14 before the user designates the conveyance object image. When an operation for changing the shape of the displayed rectangular frame is performed, the process after step S102 is executed again. In other words, as a result of specifying a range that is too large / too small, the conveyance instruction reception process highlights a part other than the conveyance target or only a part of the conveyance target. In this case, the user can redo the range specification.

また、搬送指示受付処理は、搬送場所指定用アイコンに対するドラッグアンドドロップ操作の完了後、所定時間内であれば、搬送場所指定用アイコンに対するドラッグアンドドロップ操作(つまり、搬送場所座標の変更指示操作)を受け付ける処理ともなっている。また、メイン処理は、搬送指示受付処理の完了後にも、ロボット制御処理(ステップS110;詳細は後述)の完了前は、搬送場所座標の変更指示操作(搬送場所指定用アイコンに対するドラッグアンドドロップ操作)を受け付ける処理となっている。   In addition, the conveyance instruction reception process is performed within a predetermined time after the completion of the drag-and-drop operation with respect to the transfer location designation icon. It is also processing to accept. In addition, even after the completion of the conveyance instruction reception process, the main process is an instruction to change the conveyance location coordinates (drag and drop operation with respect to the conveyance location designation icon) before the completion of the robot control process (step S110; details will be described later). It is processing to accept.

上記内容の搬送指示受付処理を終えた制御装置11(搬送場所指定用アイコンに対するドラッグアンドドロップ操作が完了した後、ドラッグアンドドロップ操作が再開されることなく、所定時間が経過したことを検出した制御装置11)は、ステップS110にて、図7に示した手順のロボット制御処理を実行する。   Control device 11 that has completed the above-described transport instruction acceptance process (control that detects that a predetermined time has passed without the drag-and-drop operation being resumed after the drag-and-drop operation on the transport location designation icon is completed) In step S110, the apparatus 11) executes the robot control process according to the procedure shown in FIG.

すなわち、制御装置11は、他の処理(画像セグメンテーション処理等)を適宜実行しながら、周期的に、搬送対象物座標算出処理(ステップS201)を実行する状態となる。   That is, the control device 11 is in a state of periodically executing the transport object coordinate calculation process (step S201) while appropriately performing other processes (image segmentation process or the like).

制御装置11が周期的に実行する搬送対象物座標算出処理は、搬送対象物画像と最も類似した画像(以下、最類似画像と表記する)をカメラ画像中から探索し、探索した最類似画像の中心点の画像座標系座標に対応する制御用座標系座標を、搬送対象物座標として算出する処理である。   The transport object coordinate calculation process periodically executed by the control device 11 searches for an image most similar to the transport object image (hereinafter referred to as the most similar image) from the camera images, This is a process of calculating control coordinate system coordinates corresponding to the image coordinate system coordinates of the center point as conveyance object coordinates.

この搬送対象物座標算出処理は、最新の画像セグメンテーション処理結果に基づき、カメラ画像内から、“カメラ画像上で並んでいる、搬送対象物画像とほぼ同数のセグメント
からなる画像”を全て探索し、探索した各画像のカラーヒストグラムと基準ヒストグラム(図4のステップS104参照)との間の類似度をヒストグラムインターセクション(非特許文献3参照。)により算出することにより、上記最類似画像を探索する処理となっている。
This transport object coordinate calculation process searches all the “images that are arranged on the camera image and are composed of almost the same number of segments as the transport object image” based on the latest image segmentation process result, Processing for searching for the most similar image by calculating the similarity between the color histogram of each searched image and the standard histogram (see step S104 in FIG. 4) by histogram intersection (see Non-Patent Document 3). It has become.

なお、“カメラ画像上で並んでいる、搬送対象物画像とほぼ同数のセグメントからなる画像”とは、“カメラ画像上で並んでいる複数のセグメント(又は、単一のセグメント)からなる、セグメント数が搬送対象物画像のセグメント数を基準とした所定範囲(本実施形態では、搬送対象物画像のセグメント数−1〜搬送対象物画像のセグメント数+1の範囲)内に入っている画像”のことである。   Note that “an image composed of almost the same number of segments as the conveyance object image arranged on the camera image” means “a segment composed of a plurality of segments (or a single segment) arranged on the camera image”. The number of images in a predetermined range (in this embodiment, the range of the number of segments of the conveyance target image minus the number of segments of the conveyance target image + 1 in this embodiment) based on the number of segments of the conveyance target image. That is.

搬送対象物座標算出処理(ステップS201)を終了した制御装置11は、当該搬送対象物座標算出処理時により探索された最類似画像の類似度が、類似度閾値(ロボット制御プログラム中に設定されている値)未満であるか否かを判断する(ステップS202)。   The control device 11 that has completed the transport object coordinate calculation process (step S201) sets the similarity of the most similar image searched by the transport object coordinate calculation process to a similarity threshold (set in the robot control program). It is determined whether or not it is less than (a certain value) (step S202).

最類似画像の類似度が類似度閾値以上であった場合(ステップS202;NO)、制御装置11は、搬送場所座標がその位置を示している点と搬送対象物座標がその位置を示している点との間の距離(以下、座標間距離と表記する)が、距離閾値(ロボット制御プログラム中に設定されている値)未満であるか否かを判断する(ステップS203)。   When the similarity of the most similar image is equal to or greater than the similarity threshold (step S202; NO), the control device 11 indicates that the transport location coordinates indicate the position and the transport object coordinates indicate the position. It is determined whether or not the distance between the points (hereinafter referred to as the inter-coordinate distance) is less than a distance threshold (a value set in the robot control program) (step S203).

そして、制御装置11は、座標間距離が距離閾値以上であった場合(ステップS203;NO)には、搬送場所座標や、その時点におけるロボット座標、進行方向ベクトル及び搬送対象物座標に基づき、ロボット15に対して実行する制御の内容を決定する処理(ステップS204)を行う。詳細説明は省略するが、このステップS204の処理は、“或る方向に或る量(〜数cm)移動させる”、“或る方向を向かせる”といったような、ロボット15の動作が短時間で完了する制御を、ロボット15に対して実行する制御の内容として決定する処理となっている。また、ステップS204の処理は、ロボット走行面上の、搬送対象物以外の物体の位置を特に考慮することなく、ロボット15の進行方向を決定する処理となっている。   When the inter-coordinate distance is equal to or greater than the distance threshold (step S203; NO), the control device 11 determines the robot based on the transport location coordinates, the robot coordinates at that time, the traveling direction vector, and the transport object coordinates. 15 is performed (step S204) to determine the content of the control to be executed. Although detailed description is omitted, the process of step S204 is performed for a short time such as “move a certain amount (˜several centimeters) in a certain direction” or “turn a certain direction”. In this process, the control to be completed is determined as the content of the control executed on the robot 15. The process of step S204 is a process of determining the traveling direction of the robot 15 without particularly considering the position of an object other than the conveyance target on the robot travel surface.

ステップS204の処理を終えた制御装置11は、当該処理により決定した内容の制御をロボット15に対して実行(ステップS205)してから、ステップS201以降の処理を再び開始する。   After completing the process of step S204, the control device 11 performs control of the content determined by the process on the robot 15 (step S205), and then restarts the processes after step S201.

そして、制御装置11は、上記手順の処理を繰り返しているうちに、座標間距離が距離閾値未満となったことを検出した場合(ステップS203;YES)には、ロボット制御処理が正常に終了した(物体の搬送作業が完了した)ことを記憶(図示せず)してから、このロボット制御処理(図7の処理)を終了する。   If the control device 11 detects that the inter-coordinate distance has become less than the distance threshold while repeating the processing of the above procedure (step S203; YES), the robot control processing has ended normally. After storing (not shown) that the object transfer operation has been completed, this robot control process (the process of FIG. 7) is terminated.

また、制御装置11は、座標間距離が距離閾値未満となる前に、最類似画像の類似度が類似度閾値未満となった場合(ステップS202;YES)には、ロボット制御処理が異常終了した(搬送対象物を見失った)ことを記憶(図示せず)してから、ロボット制御処理を終了する。   Further, the control device 11 abnormally ends the robot control process when the similarity of the most similar image becomes less than the similarity threshold before the inter-coordinate distance becomes less than the distance threshold (step S202; YES). After storing (not shown) that the conveyance object has been lost, the robot control process is terminated.

図4に戻って、ロボット制御処理終了後の制御装置11の動作を説明する。   Returning to FIG. 4, the operation of the control device 11 after the end of the robot control process will be described.

ロボット制御処理(ステップS110)を終えた制御装置11は、当該ロボット制御処理が正常終了していた場合(ステップS111;正常終了)には、搬送場所指定用アイコンをタッチスクリーン14上から消去する(ステップS112)。そして、制御装置11は、ステップS101以降の処理を再び開始する。   The control device 11 that has finished the robot control process (step S110) deletes the transfer location designation icon from the touch screen 14 when the robot control process has been normally completed (step S111; normal completion) ( Step S112). And the control apparatus 11 starts the process after step S101 again.

一方、ロボット制御処理が異常終了していた場合(ステップS111;異常終了)、制御装置11は、搬送対象物再指定要求処理(ステップS113)を行う。この搬送対象物再指定要求処理は、搬送対象物の再指定をユーザに要求するために、タッチスクリーン14上に警告アイコン(本実施形態では、その内部にエクスクラメーションマークが示されている三角形状のアイコン)を表示した上で、タッチスクリーンディスプレイ13のスピーカーに所定の警告音を出力させる処理である。   On the other hand, when the robot control process has ended abnormally (step S111; abnormal end), the control device 11 performs a transfer object re-designation request process (step S113). In this conveyance object re-designation request process, in order to request the user to re-designate the conveyance object, a warning icon (in this embodiment, an exclamation mark is shown in the triangle on the touch screen 14). This is a process of outputting a predetermined warning sound to the speaker of the touch screen display 13 after displaying the shape icon).

その後、制御装置11は、上記したステップS101〜S104の処理と本質的には同内容の搬送対象物再指定操作受付処理(ステップS114)を行うことにより、ユーザに、搬送対象物を再指定させる(搬送対象物を囲む範囲を再指定させる)。そして、制御装置11は、ユーザによる搬送対象物の再指定が完了したときに、ステップS110以降の処理を再び開始する。   After that, the control device 11 causes the user to respecify the conveyance object by performing the conveyance object redesignation operation acceptance process (step S114) having essentially the same content as the above-described processing of steps S101 to S104. (The range surrounding the object to be transported is specified again.) And the control apparatus 11 restarts the process after step S110, when re-designation of the conveyance target object by the user is completed.

以上、説明したように、本実施形態に係るロボット制御システム10は、カメラ画像が表示されているタッチスクリーン14上の或る範囲を指定する操作が行われた場合、カメラ画像に対する画像セグメンテーション処理結果を利用して、カメラ画像中の、ユーザが指定した範囲内に所定割合以上の部分が含まれているセグメント群からなる画像を探索する処理を行い、探索した画像を、搬送対象物画像(ユーザが指定した搬送対象物の現時点における画像)として特定する機能を有している。   As described above, in the robot control system 10 according to the present embodiment, when an operation for designating a certain range on the touch screen 14 on which the camera image is displayed is performed, the image segmentation processing result for the camera image is displayed. Is used to perform a process of searching for an image composed of a segment group that includes a portion of a predetermined ratio or more in the range specified by the user in the camera image. Is specified as an image at the present time of the conveyance object designated by the user.

従って、ロボット制御システム10は、常に(ユーザが、他の物体と重なった形でタッチスクリーン14上に表示されている物体を搬送対象物として指定した場合であっても)、搬送対象物画像を正確に特定できるシステムであると共に、ユーザが範囲指定を正確に行わなくても(搬送対象物を完全に包含する範囲を指定しなくても)、搬送対象物画像を正確に特定できるシステムとなっていることになる。   Therefore, the robot control system 10 always displays the transfer object image (even when the user designates an object displayed on the touch screen 14 in a form overlapping with another object as the transfer object). In addition to a system that can accurately specify a range, the user can accurately specify a transport target image even if the user does not specify the range correctly (even if the range that completely includes the transport target is not specified). Will be.

また、ロボット制御システム10は、上記のようにして特定した搬送対象物画像のカラーヒストグラム(基準ヒストグラム)と、カメラ画像中の、搬送対象物画像とほぼ同数の連続したセグメントからなる各画像のカラーヒストグラムとを比較することにより、カメラ画像中の、搬送対象物画像と最も類似した画像を探索した上で、探索結果に基づき、ロボット15により搬送されている最中の搬送対象物の位置を求める機能も有している。   Further, the robot control system 10 determines the color histogram (reference histogram) of the conveyance object image specified as described above and the color of each image composed of approximately the same number of continuous segments as the conveyance object image in the camera image. By comparing with the histogram, an image most similar to the conveyance object image in the camera image is searched, and the position of the conveyance object being conveyed by the robot 15 is obtained based on the search result. It also has a function.

そして、カラーヒストグラムは、図8(a)〜図8(d)に模式的に示したように、元々、物体によってその内容が大きく異なる情報であるし、カラーヒストグラムの比較を行う画像を、矩形画像ではなく、搬送対象物画像とほぼ同数の連続したセグメントからなる画像としておけば、背景成分の影響がない形で、搬送対象物画像に類似した画像を探索できる。従って、本実施形態に係るロボット制御システム10は、画像探索に他の手法を採用したシステムよりも、搬送対象物の位置を正確に把握できるシステム(ロボット15を正確に制御できるシステム)となっていることになる。   As schematically shown in FIGS. 8A to 8D, the color histogram is originally information whose contents vary greatly depending on the object, and an image to be compared with the color histogram is rectangular. If it is not an image but an image composed of approximately the same number of continuous segments as the conveyance object image, an image similar to the conveyance object image can be searched without being affected by the background component. Therefore, the robot control system 10 according to the present embodiment is a system that can accurately grasp the position of the object to be transported (a system that can accurately control the robot 15), compared to a system that employs another method for image search. Will be.

また、カメラ画像から物体座標を算出する既存のシステムが、セットアップ時に、上記した座標変換行列相当のものを算出させるための処理(カメラキャリブレーション処理等と呼ばれているもの)を行わせる必要があるものとなっているのに対し、ロボット制御システム10は、ロボット15の位置を検出するためにロボット15の上面に取り付けられているロボットマーカーの位置及び姿勢から、座標変換行列を算出してしまうシステムとなっている。従って、ロボット制御システム10は、既存のシステムよりもセットアップが容易なシステム(カメラ12を固定しさえすれば、運用可能な状態となるシステム)となっていると言うことが出来る。   In addition, an existing system that calculates object coordinates from camera images needs to perform a process (what is called a camera calibration process or the like) for calculating an object equivalent to the coordinate transformation matrix described above during setup. On the other hand, the robot control system 10 calculates a coordinate transformation matrix from the position and orientation of the robot marker attached to the upper surface of the robot 15 in order to detect the position of the robot 15. It is a system. Therefore, it can be said that the robot control system 10 is a system that is easier to set up than an existing system (a system that can be operated as long as the camera 12 is fixed).

《第2実施形態》
以下、第1実施形態に係るロボット制御システム10の説明時に用いたものと同じ符号を用いて、本発明の第2実施形態に係るロボット制御システム10の構成及び動作を説明する。
<< Second Embodiment >>
Hereinafter, the configuration and operation of the robot control system 10 according to the second embodiment of the present invention will be described using the same reference numerals as those used when describing the robot control system 10 according to the first embodiment.

本実施形態に係るロボット制御システム10は、メイン処理(図4)のステップS105にて、図9に示した手順の第2D&D操作応答処理が行われるように、第1実施形態に係るロボット制御システム10を改良したシステムである。   The robot control system 10 according to the present embodiment is configured so that the second D & D operation response process of the procedure shown in FIG. 9 is performed in step S105 of the main process (FIG. 4). 10 is an improved system.

すなわち、第2実施形態に係るロボット制御システム10内の制御装置11(以下、第2制御装置11と表記する)は、基準ヒストグラムを算出・記憶する処理(図4のステップS104参照)の完了後に、この第2D&D操作応答処理を開始する。   That is, the control device 11 (hereinafter referred to as the second control device 11) in the robot control system 10 according to the second embodiment completes the process of calculating and storing the reference histogram (see step S104 in FIG. 4). The second D & D operation response process is started.

そして、第2D&D操作応答処理を開始した第2制御装置11は、まず、タッチスクリーン14上の搬送対象物画像を指定する操作が行われるのを監視している状態(ステップS301の処理/判断を繰り返している状態)となる。   Then, the second control device 11 that has started the second D & D operation response process first monitors a state in which an operation for designating a conveyance object image on the touch screen 14 is performed (the processing / determination in step S301 is performed). Repeated state).

搬送対象物画像を指定する操作が行われた場合(ステップS301;YES)、第2制御装置11は、搬送対象物画像をアイコン化した搬送場所指定用アイコンを搬送対象物画像上に表示する(ステップS302)。その後、制御装置11は、座標変換行列からカメラ12の俯角(カメラ12のレンズの光軸とロボット走行面とがなす角度)を算出し、算出した俯角が、予め設定されている俯角閾値(本実施形態では、50度)以下であるか否かを判断する処理(ステップS303)を行う。   When an operation for designating a transport object image is performed (step S301; YES), the second control device 11 displays a transport location designation icon, which is an icon of the transport object image, on the transport object image ( Step S302). Thereafter, the control device 11 calculates a depression angle of the camera 12 (an angle formed by the optical axis of the lens of the camera 12 and the robot traveling surface) from the coordinate transformation matrix, and the calculated depression angle is a preset depression angle threshold (this In the embodiment, a process of determining whether the angle is 50 degrees or less (step S303) is performed.

そして、第2制御装置11は、カメラ12の俯角が俯角閾値以下ではなかった場合(ステップS303;NO)には、搬送場所指定用アイコンに対するドラッグアンドドロップ操作に応答して搬送場所指定用アイコンの表示位置を変更するアイコン表示位置変更処理(ステップS304)を行う。第2制御装置11は、搬送場所指定用アイコンに対するドラッグアンドドロップ操作が完了したときに、このアイコン表示位置変更処理を終了する。そして、第2制御装置11は、搬送対象物画像のハイライト表示を中止(ステップS306)してから、この第2D&D操作応答処理(図9の処理)を終了する。   Then, when the depression angle of the camera 12 is not less than or equal to the depression angle threshold (step S303; NO), the second control device 11 responds to the drag-and-drop operation with respect to the conveyance location designation icon and sets the conveyance location designation icon. An icon display position changing process (step S304) for changing the display position is performed. The second control device 11 ends the icon display position changing process when the drag-and-drop operation on the transport location designation icon is completed. Then, the second control device 11 stops the highlight display of the conveyance object image (step S306), and then ends the second D & D operation response process (the process of FIG. 9).

一方、カメラ12の俯角が俯角閾値以下であった場合(ステップS303;YES)、第2制御装置11は、アイコン表示位置・表示サイズ変更処理(ステップS305)を行う。   On the other hand, when the depression angle of the camera 12 is equal to or smaller than the depression angle threshold (step S303; YES), the second control device 11 performs an icon display position / display size change process (step S305).

このアイコン表示位置・表示サイズ変更処理は、搬送場所指定用アイコンが新表示位置にドラッグされた場合、座標変換行列、搬送対象物画像の初期位置等を用いて、新表示位置に対応するロボット走行面上の位置に搬送対象物が実際に存在していた場合における搬送対象物の画像サイズを求め、求めた画像サイズと同サイズとなるように拡縮した搬送場所指定用アイコンを新表示位置に表示する処理である。   This icon display position / display size changing process is performed when the transport location designation icon is dragged to the new display position, using the coordinate transformation matrix, the initial position of the transport object image, etc. Obtain the image size of the transport object when the transport object actually exists at a position on the surface, and display the transfer location designation icon that has been enlarged or reduced to the same size as the calculated image size at the new display position It is processing to do.

第2制御装置11は、搬送場所指定用アイコンに対するドラッグアンドドロップ操作が完了したときに、このアイコン表示位置・表示サイズ変更処理を終了する。そして、第2制御装置11は、搬送対象物画像のハイライト表示を中止(ステップS306)してから、第2D&D操作応答処理を終了する。   The second control device 11 ends the icon display position / display size changing process when the drag-and-drop operation on the transport location designation icon is completed. Then, the second control device 11 stops the highlight display of the conveyance object image (step S306), and then ends the second D & D operation response process.

要するに、カメラ12の俯角が比較的に小さい場合、タッチスクリーン14上には、ロボット走行面の手前側(カメラ12に近い側)に存在する物体/領域が、ロボット走行面の奥側に存在する同サイズの物体/領域よりもかなり大きく表示される。そのため、常に
、同サイズの搬送場所指定用アイコンを表示する第1実施形態に係るロボット制御システム10では、『他の物体の画像と重なっていない位置に搬送場所指定用アイコンをドロップしたにも拘わらず、指定した搬送場所に、搬送対象物を配置可能な余地がない』、『搬送対象物を実際には配置可能な場所であるにも拘わらず、当該場所相当の位置に搬送場所指定用アイコンをドロップすると、搬送場所指定用アイコンが他の物体の画像と重なる』といったことが生じ得ることになる。
In short, when the depression angle of the camera 12 is relatively small, an object / region existing on the front side of the robot traveling surface (side closer to the camera 12) exists on the touch screen 14 on the far side of the robot traveling surface. It is displayed much larger than the same size object / area. Therefore, in the robot control system 10 according to the first embodiment that always displays the transfer location designation icon of the same size, “although the transfer location designation icon is dropped at a position not overlapping the image of another object. In addition, there is no room where the transport object can be placed at the designated transport location ”,“ Despite being a place where the transport target can actually be placed, the transport location designation icon is at a position corresponding to the location. If the icon is dropped, the transfer location designation icon may overlap with the image of another object.

一方、本実施形態に係るロボット制御システム10は、カメラ12の俯角が俯角閾値以下となっている場合には、タッチスクリーン14上に表示する搬送場所指定用アイコンのサイズを、その表示位置に応じたサイズ(その表示位置が指示する位置に搬送された場合における搬送対象物の画像サイズ)に変更する構成を有している。   On the other hand, when the depression angle of the camera 12 is equal to or smaller than the depression angle threshold, the robot control system 10 according to the present embodiment determines the size of the transport location designation icon displayed on the touch screen 14 according to the display position. (The image size of the object to be conveyed when the display position is conveyed to the designated position).

従って、このロボット制御システム10は、第1実施形態に係るロボット制御システム10では生じ得る上記不具合が生じないシステムとなっていることになる。   Therefore, the robot control system 10 is a system that does not cause the above-described problems that may occur in the robot control system 10 according to the first embodiment.

なお、第2実施形態に係るロボット制御システム10を、カメラ12の俯角が比較的に大きい場合に、搬送場所指定用アイコンのサイズ変更を行わないシステムとして構成しているのは、カメラ12の俯角が比較的に大きい場合には、ロボット走行面上での位置による画像サイズの変化量が少ないが故に上記のような不具合が殆ど生じにないことに加え、カメラ12の俯角が比較的に大きい場合にも搬送場所指定用アイコンのサイズ変更を行うようにしておくと、搬送場所指定用アイコンのドラッグアンドドロップ操作中に、搬送場所指定用アイコンのサイズの微妙な変化に起因する違和感を感じることが分かったためである。   The robot control system 10 according to the second embodiment is configured as a system that does not change the size of the transfer location designation icon when the depression angle of the camera 12 is relatively large. Is relatively large, the amount of change in the image size due to the position on the robot traveling surface is small, so that the above-described problems hardly occur and the depression angle of the camera 12 is relatively large. In addition, if the size of the transport location designation icon is changed, the user may feel a sense of incongruity due to a subtle change in the size of the transport location designation icon during the drag and drop operation of the transport location designation icon. This is because it was understood.

《変形形態》
上記した第1、第2実施形態に係るロボット制御システム10は、各種の変形を行うことが出来る。例えば、上記した各実施形態に係るロボット制御システム10は、マーカー図形の形状を示すマーカー図形情報を利用してカメラ画像を解析することにより、座標変換行列、ロボット座標等を算出するものであったが、各実施形態に係るロボット制御システム10を、ロボット15自体の形状(外観)を示す情報に基づき、座標変換行列等を算出するシステムに変形することが出来る。
<Deformation>
The robot control system 10 according to the first and second embodiments described above can perform various modifications. For example, the robot control system 10 according to each embodiment described above calculates a coordinate transformation matrix, robot coordinates, and the like by analyzing a camera image using marker graphic information indicating the shape of the marker graphic. However, the robot control system 10 according to each embodiment can be transformed into a system that calculates a coordinate transformation matrix or the like based on information indicating the shape (appearance) of the robot 15 itself.

また、セットアップ作業がより複雑なシステムとなってしまうが、各実施形態に係るロボット制御システム10を、ロボットマーカー(或いは、ロボット15自体)の位置、姿勢から、座標変換行列を算出しないシステム(セットアップ時に、座標変換行列を算出させるための作業を行うことがシステム)に変形することも出来る。   Further, although the setup work becomes a more complicated system, the robot control system 10 according to each embodiment does not calculate a coordinate transformation matrix from the position and orientation of the robot marker (or the robot 15 itself) (setup). Sometimes, the work for calculating the coordinate transformation matrix can be transformed into a system).

各実施形態に係るロボット制御システム10を、上記したものとは異なる内容の処理により、搬送対象物を追跡する(搬送対象物画像と最も類似した画像をカメラ画像から探索し、その探索結果に基づき、搬送対象物の位置を特定する)システムに変形することも出来る。例えば、各実施形態に係るロボット制御システム10を、カラーヒストグラムと基準ヒストグラムとの間の類似度を、ヒストグラムインターセクション以外の方法で算出するシステムに変形することが出来る。また、各実施形態に係るロボット制御システム10を、カメラ画像内の各所の矩形画像のカラーヒストグラムと基準ヒストグラムとを比較することにより、搬送対象物を追跡するシステムに変形することも出来る。ただし、そのような変形を行うと、背景成分の影響により、搬送対象物の追跡性能が劣化してしまうことになる。従って、各実施形態に係るロボット制御システム10を変形する場合には、幾つかの連続したセグメントを組み合わせた画像のカラーヒストグラムと基準ヒストグラムとの比較により、搬送対象物が追跡されるようにしておくことが望ましい。   The robot control system 10 according to each embodiment tracks the object to be transported by processing different from that described above (searches for an image most similar to the object image to be transported from the camera image, and based on the search result) It is also possible to modify the system to specify the position of the conveyance object. For example, the robot control system 10 according to each embodiment can be transformed into a system that calculates the similarity between the color histogram and the reference histogram by a method other than the histogram intersection. In addition, the robot control system 10 according to each embodiment can be modified to a system that tracks a conveyance object by comparing a color histogram of a rectangular image at various positions in a camera image with a reference histogram. However, when such deformation is performed, the tracking performance of the conveyance target object deteriorates due to the influence of the background component. Therefore, when the robot control system 10 according to each embodiment is modified, the conveyance object is tracked by comparing the color histogram of the image obtained by combining several consecutive segments with the reference histogram. It is desirable.

各実施形態に係るロボット制御システム10を、指定された搬送対象物をロボット15が特定の場所まで搬送するシステム(搬送場所を指定する必要がないシステム)、ロボット15として物体を持ち運べるものを備えたシステムに変形することも出来る。また、各実施形態に係るロボット制御システム10を、カメラ画像のセグメント化を上記したものとは異なる内容(アルゴリズム)の処理により行うシステム、搬送場所指定用アイコンとして、規定形状のアイコン(搬送対象物画像をアイコン化したものではないアイコン)が表示されるシステムに変形することも出来る。   The robot control system 10 according to each embodiment includes a system in which the robot 15 transports a designated transport object to a specific location (a system that does not require designation of a transport location), and a robot 15 that can carry an object. It can also be transformed into a system. In addition, the robot control system 10 according to each embodiment is a system that performs segmentation of a camera image by processing of contents (algorithms) different from those described above. It can also be transformed into a system that displays an icon) that is not an icon of the image.

各実施形態に係るロボット制御システム10を、最類似画像の探索後、搬送対象物画像を、探索した最類似画像に変更するシステムや、最類似画像の探索時に、カメラ画像内の、前回の最類似画像の近傍に位置する“カメラ画像上で並んでいる、搬送対象物画像とほぼ同数のセグメントからなる画像”のみを探索対象とするシステムに変形することも出来る。また、各実施形態に係るロボット制御システム10を、範囲指定操作やドラッグアンドドロップ操作をマウスにより行うシステム、ロボット15が構成要素となっていないシステム(自システム用に開発されたものではないロボットを制御するシステム)に変形しても良いことなどは、当然のことである。   After searching for the most similar image, the robot control system 10 according to each embodiment changes the transport object image to the searched most similar image, or when searching for the most similar image, It is also possible to transform the system to search only for “images that are arranged on the camera image and are composed of almost the same number of segments as the conveyance target images” located in the vicinity of the similar images. In addition, the robot control system 10 according to each embodiment includes a system that performs a range designation operation and a drag-and-drop operation with a mouse, a system in which the robot 15 is not a component (a robot that has not been developed for its own system) It goes without saying that the system may be transformed into a control system.

10・・・ロボット制御システム
11・・・制御装置
12・・・カメラ
13・・・タッチスクリーンディスプレイ
14・・・タッチスクリーン
15・・・ロボット
DESCRIPTION OF SYMBOLS 10 ... Robot control system 11 ... Control apparatus 12 ... Camera 13 ... Touch screen display 14 ... Touch screen 15 ... Robot

Claims (5)

  1. 物体の搬送作業を実行可能なロボットを機能させる空間であるロボット利用空間についての画像データを繰り返し生成する撮影手段と、
    前記撮影手段が生成する各画像データに基づき、画面上に、前記ロボット利用空間の現状を示す画像を表示する表示手段と、
    前記撮影手段が生成する画像データに対して画像セグメンテーション処理を行うことにより、当該画像データが示している画像を複数のセグメントに分割するセグメンテーション手段と、
    前記ロボットに搬送させるべき物体である搬送対象物をユーザに指定させるためのユーザインターフェース手段であって、前記画面上の或る範囲を指定する範囲指定操作がなされた場合に、前記セグメンテーション手段による処理結果を利用して、前記画面上に表示されている画像中から、前記範囲指定操作で指定された範囲内に所定割合以上の部分が含まれているセグメント群からなる画像を搬送対象物画像として探索する処理を行い、その時点における画像が当該搬送対象物画像となっている物体が、前記搬送対象物として指定されたと判断するユーザインターフェース手段と、
    前記ユーザインターフェース手段により探索された前記搬送対象物画像を利用して、前記搬送対象物に対する搬送作業を前記ロボットに行わせるロボット制御手段と
    を備え、
    前記ユーザインターフェース手段が、
    前記搬送対象物画像を探索した後、前記搬送対象物画像をアイコン化したものをドラッグアンドドロップ操作が可能な搬送場所指定用アイコンとして前記画面上に表示し、当該搬送場所指定用アイコンに対するドラッグアンドドロップ操作がユーザによりなされたときに、その搬送場所指定用アイコンのドロップ位置に対応する前記ロボット利用空間内の場所が前記搬送対象物を搬送すべき搬送場所として指定されたと判断する手段であるとともに
    前記搬送場所指定用アイコンのドラッグアンドドロップ操作中に、前記搬送場所指定用アイコンのサイズを、前記搬送場所指定用アイコンの表示位置に対応する前記ロボット利用空間内の位置に前記搬送対象物が存在していた場合における前記搬送対象物の画像のサイズに変更するサイズ変更機能を有する手段であり、
    前記ロボット制御手段が、
    前記搬送対象物画像を利用して、前記搬送対象物を前記搬送場所まで搬送する搬送作業
    を前記ロボットに行わせる手段である
    ことを特徴とするロボット制御システム。
    Photographing means for repeatedly generating image data about a robot use space, which is a space for functioning a robot capable of performing an object transfer operation;
    Display means for displaying an image showing the current state of the robot use space on the screen based on each image data generated by the photographing means;
    Segmentation means for dividing the image indicated by the image data into a plurality of segments by performing image segmentation processing on the image data generated by the photographing means;
    User interface means for causing a user to designate a transport object that is an object to be transported by the robot, and processing performed by the segmentation means when a range designation operation for designating a certain range on the screen is performed Using the result, an image composed of a segment group in which a portion of a predetermined ratio or more is included in the range specified by the range specifying operation from the images displayed on the screen as a transport target image. User interface means for performing a search process and determining that an object whose image at that time is the conveyance object image is designated as the conveyance object;
    Robot control means for causing the robot to perform a transport operation on the transport object using the transport object image searched by the user interface means;
    The user interface means comprises:
    After searching for the transport object image, an iconized version of the transport object image is displayed on the screen as a transport location designation icon that can be dragged and dropped, and dragged and dropped on the transport location designation icon. when the drop operation is performed by the user, Ru means der to determine that the location of the robotic space corresponding to the drop position of the conveying locations specified icon is designated as the transport where to transport the object to be transported With
    During the drag-and-drop operation of the transfer location designation icon, the size of the transfer location designation icon is set so that the transfer object exists at a position in the robot use space corresponding to the display position of the transfer location designation icon. A means having a size changing function for changing to the size of the image of the conveyance object in the case of
    The robot control means is
    A robot control system, characterized in that it is means for causing the robot to perform a transport operation for transporting the transport object to the transport location using the transport object image.
  2. 前記ロボット制御手段が、
    前記セグメンテーション手段による処理結果を利用して前記画面上に表示されている画像内に含まれている幾つかの連続したセグメントからなる複数個の比較対照画像を特定し、特定した複数個の比較対照画像の中から前記搬送対象物画像と最も類似した比較対照画像を探索し、探索した比較対照画像の前記画面上での位置から、前記ロボットの制御に用いる、前記ロボット利用空間内での前記搬送対象物の現在位置情報を算出する手段であることを特徴とする請求項1に記載のロボット制御システム。
    The robot control means is
    Using the processing result of the segmentation means, a plurality of comparison images consisting of several consecutive segments included in the image displayed on the screen are identified, and the plurality of identified comparison controls A comparison image that is most similar to the conveyance object image is searched from the image, and the conveyance in the robot use space is used for controlling the robot from the position of the searched comparison image on the screen. 2. The robot control system according to claim 1, wherein the robot control system is means for calculating current position information of the object.
  3. 前記ユーザインターフェース手段が、
    前記撮影手段の前記ロボット利用空間に対する姿勢に応じて、前記サイズ変更機能をON/OFFする手段である
    ことを特徴とする請求項1又は請求項2に記載のロボット制御システム。
    The user interface means comprises:
    3. The robot control system according to claim 1, wherein the size change function is turned on / off according to a posture of the photographing unit with respect to the robot use space.
  4. 前記ロボットの特定の部分の形状を示す形状情報と前記撮影手段が生成した画像データとに基づき、当該画像データが示している画像中の各画素の位置から、各画素に対応する、前記ロボット利用空間内の位置についての、前記ロボットの走行面に平行な座標面を有する座標系座標を求めるための変換情報を算出する変換情報算出手段を、さらに、備え、
    前記ロボット制御手段が、
    前記変換情報算出手段により算出された変換情報を利用して前記撮影手段が生成する画像データを解析することによって、前記ロボットの制御に用いる、前記ロボット利用空間内での前記ロボットの現在位置情報と前記搬送対象物の現在位置情報とを算出する手段である
    ことを特徴とする請求項1乃至請求項のいずれか一項に記載のロボット制御システム。
    Use of the robot corresponding to each pixel from the position of each pixel in the image indicated by the image data based on the shape information indicating the shape of the specific part of the robot and the image data generated by the photographing unit Conversion information calculating means for calculating conversion information for obtaining a coordinate system coordinate having a coordinate plane parallel to the traveling surface of the robot with respect to a position in space;
    The robot control means is
    By analyzing the image data generated by the photographing unit using the conversion information calculated by the conversion information calculation unit, the current position information of the robot in the robot use space, which is used for controlling the robot, and The robot control system according to any one of claims 1 to 3 , wherein the robot control system is means for calculating current position information of the conveyance object.
  5. コンピュータを、
    物体の搬送作業を実行可能なロボットを機能させる空間であるロボット利用空間に向けられたデジタルカメラからの画像データに基づき、画面上に、前記ロボット利用空間の現状を示す画像を表示する表示手段と、
    前記デジタルカメラからの画像データに対して画像セグメンテーション処理を行うことにより、当該画像データが示している画像を複数のセグメントに分割するセグメンテーション手段と、
    前記ロボットに搬送させるべき物体である搬送対象物をユーザに指定させるためのユーザインターフェース手段であって、前記画面上の或る範囲を指定する範囲指定操作がなされた場合に、前記セグメンテーション手段による処理結果を利用して、前記画面上に表示されている画像中から、前記範囲指定操作で指定された範囲内に所定割合以上の部分が含まれているセグメント群からなる画像を搬送対象物画像として探索する処理を行い、その時点における画像が当該搬送対象物画像となっている物体が、前記搬送対象物として指定されたと判断するユーザインターフェース手段と、
    前記ユーザインターフェース手段により探索された前記搬送対象物画像を利用して、前記搬送対象物に対する搬送作業を前記ロボットに行わせるロボット制御手段と
    を備える装置として機能させるロボット制御プログラムであって、
    前記ユーザインターフェース手段が、
    前記搬送対象物画像を探索した後、前記搬送対象物画像をアイコン化したものをドラッグアンドドロップ操作が可能な搬送場所指定用アイコンとして前記画面上に表示し、当該搬送場所指定用アイコンに対するドラッグアンドドロップ操作がユーザによりなされたときに、その搬送場所指定用アイコンのドロップ位置に対応する前記ロボット利用空間内の場所が前記搬送対象物を搬送すべき搬送場所として指定されたと判断する手段であるとと
    もに
    前記搬送場所指定用アイコンのドラッグアンドドロップ操作中に、前記搬送場所指定用アイコンのサイズを、前記搬送場所指定用アイコンの表示位置に対応する前記ロボット利用空間内の位置に前記搬送対象物が存在していた場合における前記搬送対象物の画像のサイズに変更するサイズ変更機能を有する手段であり、
    前記ロボット制御手段が、
    前記搬送対象物画像を利用して、前記搬送対象物を前記搬送場所まで搬送する搬送作業を前記ロボットに行わせる手段である
    ことを特徴とするロボット制御プログラム。
    Computer
    Display means for displaying an image showing the current state of the robot use space on a screen based on image data from a digital camera directed to the robot use space, which is a space for functioning a robot capable of carrying objects; ,
    Segmentation means for dividing an image indicated by the image data into a plurality of segments by performing an image segmentation process on the image data from the digital camera;
    User interface means for causing a user to designate a transport object that is an object to be transported by the robot, and processing performed by the segmentation means when a range designation operation for designating a certain range on the screen is performed Using the result, an image composed of a segment group in which a portion of a predetermined ratio or more is included in the range specified by the range specifying operation from the images displayed on the screen as a transport target image. User interface means for performing a search process and determining that an object whose image at that time is the conveyance object image is designated as the conveyance object;
    A robot control program that functions as an apparatus including a robot control unit that causes the robot to perform a transport operation on the transport target using the transport target object image searched by the user interface unit,
    The user interface means comprises:
    After searching for the transport object image, an iconized version of the transport object image is displayed on the screen as a transport location designation icon that can be dragged and dropped, and dragged and dropped on the transport location designation icon. when the drop operation is performed by the user, Ru means der to determine that the location of the robotic space corresponding to the drop position of the conveying locations specified icon is designated as the transport where to transport the object to be transported And
    Also ,
    During the drag-and-drop operation of the transfer location designation icon, the size of the transfer location designation icon is set so that the transfer object exists at a position in the robot use space corresponding to the display position of the transfer location designation icon. A means having a size changing function for changing to the size of the image of the conveyance object in the case of
    The robot control means is
    A robot control program, comprising: means for causing the robot to perform a transport operation for transporting the transport object to the transport location using the transport object image.
JP2009165668A 2009-07-14 2009-07-14 Robot control system and robot control program Active JP5213183B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009165668A JP5213183B2 (en) 2009-07-14 2009-07-14 Robot control system and robot control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009165668A JP5213183B2 (en) 2009-07-14 2009-07-14 Robot control system and robot control program

Publications (2)

Publication Number Publication Date
JP2011022700A JP2011022700A (en) 2011-02-03
JP5213183B2 true JP5213183B2 (en) 2013-06-19

Family

ID=43632737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009165668A Active JP5213183B2 (en) 2009-07-14 2009-07-14 Robot control system and robot control program

Country Status (1)

Country Link
JP (1) JP5213183B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238418A (en) * 2014-07-02 2014-12-24 北京理工大学 Interactive reality system and method
KR101850118B1 (en) * 2016-08-09 2018-04-19 한국생산기술연구원 Method and System for Calibration of Mobile Robot and Camera

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5892360B2 (en) 2011-08-02 2016-03-23 ソニー株式会社 Robot instruction apparatus, robot instruction method, program, and communication system
JP5892361B2 (en) 2011-08-02 2016-03-23 ソニー株式会社 Control device, control method, program, and robot control system
JP5192598B1 (en) * 2012-07-03 2013-05-08 貴章 春日 Work system with self-propelled device
CN105706011B (en) * 2013-11-07 2019-03-08 株式会社富士 Automatic operating system and automatically walk machine
JP6168179B2 (en) * 2016-02-29 2017-07-26 ソニー株式会社 Control device, control method, and program
JP6249247B2 (en) * 2016-02-29 2017-12-20 ソニー株式会社 Control device, control method, and program
JP2018014064A (en) * 2016-07-19 2018-01-25 Gft株式会社 Position measuring system of indoor self-propelled robot
CN106527441A (en) * 2016-11-23 2017-03-22 河池学院 Control system for controlling walking path of robot based on mobile phone

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61227240A (en) * 1985-04-02 1986-10-09 Mitsubishi Electric Corp Visual sensor for industrial robot
JPH03251921A (en) * 1990-03-01 1991-11-11 Toshiba Corp Back-up device for software development
JP3007232B2 (en) * 1992-10-19 2000-02-07 富士通株式会社 Drawing processing apparatus and method
JPH10181858A (en) * 1996-12-24 1998-07-07 Sony Corp Object sorting method and object sorting device using it
JP2001072247A (en) * 1999-09-06 2001-03-21 Murata Mach Ltd Conveying system
JP4056777B2 (en) * 2002-03-29 2008-03-05 綜合警備保障株式会社 Autonomous mobile object traveling system and autonomous mobile object position correction method
JPWO2004106009A1 (en) * 2003-06-02 2006-07-20 松下電器産業株式会社 Article handling system and article handling server
US8355569B2 (en) * 2006-08-10 2013-01-15 Nec Corporation Object region extracting device
JP5221939B2 (en) * 2007-11-21 2013-06-26 三菱重工業株式会社 POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104238418A (en) * 2014-07-02 2014-12-24 北京理工大学 Interactive reality system and method
KR101850118B1 (en) * 2016-08-09 2018-04-19 한국생산기술연구원 Method and System for Calibration of Mobile Robot and Camera

Also Published As

Publication number Publication date
JP2011022700A (en) 2011-02-03

Similar Documents

Publication Publication Date Title
JP6306236B2 (en) Touch-free operation of the device by using a depth sensor
US9643314B2 (en) Robot control, training and collaboration in an immersive virtual reality environment
JP2019087279A (en) Systems and methods of direct pointing detection for interaction with digital device
US9996982B2 (en) Information processing device, authoring method, and program
US10761610B2 (en) Vehicle systems and methods for interaction detection
US20180067572A1 (en) Method of controlling virtual object or view point on two dimensional interactive display
US9659280B2 (en) Information sharing democratization for co-located group meetings
US20170144311A1 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
US10755604B2 (en) Map information display device, map information display method and program
JP6033824B2 (en) Touch control method and apparatus for multi-touch terminal
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
KR101870067B1 (en) Methods and systems for augmented reality to display virtual representations of robotic device actions
Du et al. Markerless kinect-based hand tracking for robot teleoperation
US20180307321A1 (en) Build Status of a Buildable Product
US8965579B2 (en) Interfacing with a mobile telepresence robot
US8730161B2 (en) Information processing apparatus, information processing method, and program
US8648822B2 (en) Recognizing selection regions from multiple simultaneous inputs
JP6040564B2 (en) Image processing apparatus, projection control method, and program
JP3847641B2 (en) Information processing apparatus, information processing program, computer-readable recording medium storing information processing program, and information processing method
EP2864932B1 (en) Fingertip location for gesture input
US10789776B2 (en) Structural modeling using depth sensors
US20150348272A1 (en) Image processing apparatus and method for obtaining position and orientation of imaging apparatus
US20190121458A1 (en) Information Processing Apparatus, Information Processing Method, And Computer Program
JP4725526B2 (en) Information processing apparatus, imaging apparatus, information processing system, apparatus control method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130222

R150 Certificate of patent or registration of utility model

Ref document number: 5213183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250