JPH11104984A - Real environment information display device and recording medium in which program for executing real environment information display process is recorded and which can be read by computer - Google Patents

Real environment information display device and recording medium in which program for executing real environment information display process is recorded and which can be read by computer

Info

Publication number
JPH11104984A
JPH11104984A JP27242097A JP27242097A JPH11104984A JP H11104984 A JPH11104984 A JP H11104984A JP 27242097 A JP27242097 A JP 27242097A JP 27242097 A JP27242097 A JP 27242097A JP H11104984 A JPH11104984 A JP H11104984A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
virtual
robot
information
real
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP27242097A
Other languages
Japanese (ja)
Inventor
Hirohisa Naito
Hiroyuki Okabe
Minoru Sekiguchi
Nobuo Watabe
宏久 内藤
浩之 岡部
信雄 渡部
実 関口
Original Assignee
Fujitsu Ltd
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To enable a user to pertinently and easily grasp the state of real environment by displaying a three dimensional image of the real environment in which the visual point, time, range, etc., which the user desires to see, are modelled.
SOLUTION: A real robot 12 acts in a real environment 10 to be able to recognize an external environment by a sensor. A virtual environment model generating part 16 generates a three dimensional virtual environmental model 18 modelling the real environment 10. A simulator 24 simulates the sensor function which is equivalent to that of the real robot 12 in the virtual environmental model 18 to generate a virtual robot 20, and allows the virtual robot to act in synchronism with the real robot 12. A difference detecting device 26 compares sensor information on the virtual robot by the simulator 24 to sensor information on the real robot to detect a difference, and a virtual environmental model renewal part 28 renews (generates, corrects, eliminates) the virtual environmental model 18 so that the difference between the sensor information is eliminated. A monitor processing part 30 displays the virtual environmental model 18 of optional visual point and time to the user.
COPYRIGHT: (C)1999,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、実環境に配置した実ロボットと仮想環境モデルに配置した仮想ロボットのセンサ情報の相違に応じてモデル上で物体の生成、修正、削除を行って表示させる実環境情報表示装置及び実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。 BACKGROUND OF THE INVENTION The present invention, generation of the object on the model in accordance with the difference of the sensor information of the virtual robot disposed in the actual robot and the virtual environment model arranged in the real environment, modify, display performed Delete about real-world information display apparatus and a computer-readable recording medium recording a program for executing the real-world information display processing.

【0002】 [0002]

【従来の技術】近い将来、ロボットが職場や家庭に普及するにつれ、実環境のように常に変化する環境に適応する技術は不可欠である。 BACKGROUND OF THE INVENTION near future, as the robot is to spread in the workplace and home, technology to adapt to the constantly changing environment as the actual environment is essential. その中で、実環境の情報をいかにしてユーザに知らせるかということも重要になってくる。 Among them, come also become important that either inform the how to user the information of the real environment. 例えばセキュリティのために家庭やオフィスを遠隔監視したい時、監視環境におけるあらゆる時間や場所の情報が簡単に見られることは有用である。 For example, if you want a home or office and remote monitoring for security, it is useful that the information of all the time and location can be easily seen in the monitoring environment.

【0003】また留守番ロボットを使うことで、家やオフィスなどに忘れものをした時など、どの端末からでも家の状況を確認でき、ロボットに仕事を依頼することができる。 [0003] By using the answering machine robot, such as when you leave something, such as home or office, can check the status of the house from any terminal, it is possible to request the work to the robot. 更に、核廃棄物処理場、深海、宇宙空間などの極限作業空間で人間が入り込めないような環境の状況もリアルタイムで監視することができる。 In addition, it is possible to nuclear waste treatment plant, deep sea, environmental situations, such as not enter the human in extreme work space, such as outer space to monitor in real-time. 更にまた、このような技術は、老齢化社会における家庭内お手伝いロボットにも有効に利用することができる。 Furthermore, such techniques can be used effectively to domestic help robot in aged society.

【0004】現在の実環境の情報をユーザに提示する手法としては、ITVカメラからの実際の画像もしくは平面的な地図を提示する方法がある。 [0004] The information of the current real environment as a technique to be presented to the user, there is a method of presenting the actual image or the planar map from ITV camera. また宇宙空間でのロボットの遠隔装置のための装置として、シミュレーションで生成した模擬画像とITVカメラで撮影した実画像とを比較し、2つの画像が一致するように模擬画像または実画像のいずれか一方を修正するようにした装置もある(特開平3−55194号、同3−86484号)。 As a device for the remote unit of the robot in space, comparing the actual image captured by the simulated image and ITV camera generated in simulation, either simulated image or real image as the two images match some apparatus designed to modify one (JP 3-55194, Nos 3-86484).

【0005】 [0005]

【発明が解決しようとする課題】しかしながら、ITV The object of the invention is to, however, ITV
カメラの画像を用いた実環境の表示にあっては、ITV In the display of the actual environment using the camera image of, ITV
カメラで撮影できる範囲が限定されており、処理対象とするオフィス、家、施設等の実環境の全体像を掴みにくい。 Range that can be captured by the camera has been limited, the office to be processed, house, difficult to grasp the overall picture of the actual environment of the facilities, and the like. またITVカメラは、壁等の物理的に存在する物体に隣接してしか設置することができず、実環境を構築する空間の任意の位置に自由に配置することはできず、壁で仕切られた部屋の一部といったような極めて限られた実環境しか表示できない。 The ITV cameras can not be installed only adjacent to the object to be physically present in the wall or the like, it can not be freely positioned anywhere space to build a real environment, partitioned by wall It was only able to display the real environment that has been extremely limited, such as part of the room.

【0006】また平面的な地図は、実環境の全体像を掴むには便利であるが、当然のことながら三次元的な情報を表すことが難しく、モニタ表示を見た場合の状況の把握が行いづらい。 [0006] The planar map is a convenient to grasp the whole picture of the real environment, it will be appreciated that it is difficult to represent the three-dimensional information, to grasp the situation of when viewing the monitor display hard to do. 更に一度作成した地図を環境の変化とともにリアルタイムで更新していくことは困難であり、 It is difficult to continue to update in real time to further map that was created once with the change of environment,
レイアウト変更などのユーザ入力があって初めて修正することができ、地図が最新の情報を表すことができない。 If there is a user input, such as layout changes can be modified for the first time, the map can not represent the most up-to-date information.

【0007】一方、モニタ表示する映像をカメラ画像等の実画像とした場合、ネットワークによるデータ転送の負荷が大きく、実時間で送るのは難しい。 On the other hand, when the image displayed on the monitor and the actual image such as a camera image, large load of the data transfer by the network is, it is difficult to send in real time. このように、 in this way,
時々刻々と変化する変化する実環境において、ユーザが好きな時刻の好きな視点からの状況を簡単に見ることができるような自由度の高い実環境の表示装置は現在のところ見られない。 In a change to the real environment changes from moment to moment, the display device of a high degree of freedom the real environment, such as can be seen easily the situation from the favorite point of view of the user favorite time is not observed at present.

【0008】同様に、遠隔監視やリモート操作をするための表示装置にあっても、ITVカメラの実画像を利用したものものが主体であり、シミュレーションによる擬似画像も利用しているが、表示する実環境はITVカメラで撮影できる限定された空間であり、ユーザが好きな時刻の好きな視点からの実環境の状況を簡単に見ることができる装置は見られない。 [0008] Similarly, in the display device for the remote monitoring and remote operation, what those utilizing real image of ITV camera is mainly, although pseudo image is also utilized by the simulation, to display the actual environment is a space which is limited can be captured by the ITV camera, a device that can easily see the status of the real environment from a favorite point of view of the user favorite time is not observed.

【0009】本発明は、このような従来の問題点に鑑みてなされたもので、ユーザが見たい視点、時刻、範囲等につきモデル化された実環境の三次元画像を表示して適切且つ容易に実環境の状況を把握できるようにした実環境情報表示装置及び実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体に関するを提供することを目的とする。 [0009] The present invention has such has been made in view of the conventional problems, viewpoint user wants to see the time, the range suitable and easily display the three-dimensional image of the modeled real environment per etc. and to provide a related real environment information display apparatus and a computer-readable recording medium recording a program for executing the real-world information display processing to be grasped in real environment situation.

【0010】 [0010]

【課題を解決するための手段】図1は本発明の原理説明図である。 Figure 1 [Means for Solving the Problems] is an explanatory view of the principle of the present invention. 本発明の実環境表示装置は、図1(A)のように、実ロボット12、仮想環境モデル生成部16、シミュレータ24、違い検出器26、仮想環境モデル更新部28及びモニタ処理部30で構成される。 Real environment display device of the present invention, as shown in FIG. 1 (A), the actual robot 12, composed of a virtual environment model generation unit 16, the simulator 24, the difference detector 26, the virtual environment model updating unit 28 and the monitor processor 30 It is. 実ロボット12は、実環境10に配置されて行動し、センサにより外界を認識できる。 Actual robot 12, acting disposed actual environment 10 can recognize the external world by a sensor. 仮想環境モデル生成部は、実環境をモデル化した仮想環境モデル18もしくは三次元のモデル化された仮想環境モデル18を生成する。 Virtual environment model generation unit generates the virtual environment model 18 or three-dimensional modeled virtual environment model 18 models the real environment. シミュレータ24は、仮想環境モデル18の中で実ロボット12と同等のセンサ機能をシミュレーションすることにより仮想ロボット20を生成し実ロボット12と同期して行動させる。 Simulator 24 is generated to act in synchronization with the actual robot 12 virtual robot 20 by simulating an equivalent sensor function and the actual robot 12 in the virtual environment model 18.

【0011】違い検出器26は、シミュレータ24による仮想ロボット20のセンサ情報と実ロボット12のセンサ情報とを比較して相違を検出する。 [0011] The difference detector 26 detects a difference by comparing the sensor information of the sensor information and the actual robot 12 of the virtual robot 20 by simulator 24. 仮想環境モデル更新部28は、違い検出器26でセンサ情報の違いを検出したときに、センサ情報の違いをなくすように仮想環境モデル18を更新する。 Virtual environment model update section 28, when detecting the difference of the sensor information in the difference detector 26, and updates the virtual environment model 18 so as to eliminate the difference of the sensor information. モニタ処理部30は、仮想環境モデル18をユーザに出力表示する。 Monitoring processing unit 30 outputs display the virtual environment model 18 to the user.

【0012】実ロボット12は複数のセンサにより外界を認識し、実ロボット12を実環境10に複数台配置すると共にシミュレータ24で複数台の仮想ロボット20 [0012] the actual robot 12 is a plurality of virtual robot simulator 24 with recognizing the external world with a plurality of sensors, placing a plurality of real robot 12 to the real environment 10 20
を生成し、各実ロボット10と同期して行動させることができる。 Generate, it is possible to act in synchronization with each real robot 10. 仮想環境モデル更新部28は、センサ情報の相違に基づき次の処理を行う。 Virtual environment model update section 28 performs the following processing based on the difference of the sensor information. センサ情報の相違から仮想空間に存在しない実空間の物体を認識した場合、仮想空間に新たに対応する仮想物体を生成する。 When recognizing an object in the real space that does not exist in the virtual space from the difference of the sensor information to generate a virtual object newly corresponding to the virtual space.

【0013】センサ情報の相違から仮想空間に存在するが実空間に存在しない物体を認識した場合は、対応する仮想空間の仮想物体を削除する。 [0013] existing in a virtual space from the difference of the sensor information but if it recognizes the object that does not exist in real space, to delete the virtual object corresponding virtual space. モニタ処理部30は、仮想環境モデル更新部28で更新が行われる毎に、更新前の仮想環境モデル18の情報を時系列的に保存する記憶装置36を有し、この記憶装置36から任意の更新時刻の情報を取り出して表示させることができる。 Monitoring processing unit 30, each time the update is performed in the virtual environment model updating unit 28, a storage device 36 to store information before update of the virtual environment model 18 chronologically, any from the storage device 36 it is possible to retrieve and display information of the update time.

【0014】このように本発明の実環境表示装置によれば、実環境10を動く実ロボット12と仮想環境モデル18上で動く仮想ロボット20を連動させ、それぞれのロボット12,20から送られてくるセンサ情報に違いが検出された場合、仮想環境を実環境10に等しくするように更新して、時々刻々変化する実環境10を仮想環境モデル18に反映させ、これをモニタ表示する。 According to the real environment display apparatus of the present invention, the actual robot 12 to move the real environment 10 is interlocked virtual robot 20 operating on the virtual environment model 18, is sent from each of the robot 12, 20 If differences coming sensor information is detected, and updated to equal the virtual environment to real environment 10, the real environment 10 changing every moment is reflected in the virtual environment model 18, which is a monitor display. そのためユーザは、好きな時刻の好きな視点からの実環境の状況を簡単に見ることができる。 Therefore the user can see the status of the real environment from a favorite point of view of the favorite time easily.

【0015】モニタ処理部30は、仮想環境モデル生成部16で初期生成した仮想環境モデル18に対して、必要に応じて可視情報以外のモデル情報、実ロボット12 The monitoring processor 30, the virtual to the environment model generation unit 16 the virtual environment model 18 that is initially generated, the model information other than visual information as required, the actual robot 12
の経路計画に基づく行動情報等を可視化して付け加えることができる。 Such as behavior information based on the route plan can be added to visualize. 更に、本発明の実環境情報表示装置は、 Moreover, the real environment information display device of the present invention,
実ロボット12、仮想環境モデル生成部16、シミュレータ24、違い検出器26、仮想モデル更新部28、及びモニタ処理部30を、コンピュータネットワーク上につながれた複数の計算機上に実装することもできる。 Actual robot 12, the virtual environment model generation unit 16, the simulator 24, the difference detector 26, the virtual model updating unit 28, and the monitor processing circuit 30, may be mounted on a plurality of computers that are connected over a computer network.

【0016】また本発明は、実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体を提供するもので、実環境をモデル化した仮想環境モデルを生成する仮想環境モデル生成モジュールと、実環境に配置されて行動しセンサにより外界を認識できる実ロボットと同等のセンサ機能を仮想環境モデルの中でシミュレーションすることにより仮想ロボットを生成し前記実ロボットと同期して行動させるシミュレータモジュールと、シミュレータモジュールによる仮想ロボットのセンサ情報と実ロボットのセンサ情報とを比較して相違を検出する違い検出モジュールと、違い検出モジュールでセンサ情報の違いを検出したときに、センサ情報の違いをなくすように前記仮想環境モデルを更新する仮想環境モデル更 [0016] The present invention provides a computer readable recording medium recording a program for executing the real-world information display processing, the virtual environment model generation module for generating a virtual environment model that models the real environment a simulator module which act to produce a virtual robot synchronized with the actual robot by simulating the act are disposed in the real environment sensor real robot equivalent sensor function to recognize the external world within the virtual environment model a difference detecting module for detecting a difference by comparing the sensor information of the sensor information and the actual robot virtual robot by simulator module, upon detecting a difference of the sensor information in the difference detection module, to eliminate the difference in sensor information virtual environment model to update the virtual environment model to further モジュールと、仮想環境モデルを出力表示させるモニタ処理モジュールと、を備えたことを特徴とする。 A module, characterized by comprising a monitor processing module to output display the virtual environment model, a.

【0017】 [0017]

【発明の実施の形態】図2は本発明の実環境情報表示装置の一実施形態のブロック図である。 2 DETAILED DESCRIPTION OF THE INVENTION is a block diagram of one embodiment of a real-world information display device of the present invention. 図2において、まず本発明が表示対象とする実環境10には移動ロボット12が配置されている。 2, the mobile robot 12 is disposed in the actual environment 10 in which the present invention is first to a display target. 移動ロボット12は外界を認識することのできる少なくとも1以上のセンサを備え、実環境10の内部を自由に移動することができる。 The mobile robot 12 is provided with at least one or more sensors capable of recognizing the outside world, the interior of the real environment 10 can move freely. 実環境10に対しては仮想環境システム14が構築される。 Virtual environment system 14 is constructed for real environment 10.

【0018】仮想環境システム14は仮想環境モデル生成部16、レイアウト情報格納部21、仮想環境データベース22、シミュレータ24、違い検出器26、仮想環境モデル更新部28、モニタ処理部30及び記憶装置36を備える。 The virtual environment system 14 virtual environment model generation unit 16, the layout information storage unit 21, a virtual environment database 22, the simulator 24, the difference detector 26, the virtual environment model updating unit 28, the monitor processing circuit 30 and the storage device 36 provided. モニタ処理部30に対してはモニタ32 Monitor the monitor processor 30 32
が接続され、ユーザ34が仮想環境モデルを任意の視点と時刻により見ることができるようにしている。 There are connected, the user 34 is to be able to see the arbitrary viewpoint and time virtual environment model.

【0019】仮想環境モデル生成部16はレイアウト情報格納部21に格納されたCAD等の三次元レイアウト情報に基づき、実環境10に対応してモデル化した三次元の仮想環境モデル18を生成する。 The virtual environment model generation unit 16 based on the three-dimensional layout information such as CAD stored in the layout information storage unit 21, to generate a three-dimensional virtual environment model 18 which models in response to the real environment 10. シミュレータ24 Simulator 24
は、仮想環境モデル18の中で実環境10の移動ロボット12と同等のセンサ機能をシミュレーションすることにより仮想ロボット20を生成し、移動ロボット12と同期して行動させる。 Is a virtual robot 20 is generated by simulating the same sensor function and the mobile robot 12 of the real environment 10 in the virtual environment model 18, to act synchronously with the mobile robot 12.

【0020】違い検出器26はシミュレータ24による仮想ロボット20のセンサ情報と実環境10の移動ロボット12のセンサ情報とを比較して、2つのセンサ情報の相違を検出する。 The difference detector 26 compares the sensor information of the mobile robot 12 of the sensor information and the actual environment 10 of the virtual robot 20 by simulator 24, for detecting the difference between the two sensor information. 仮想環境モデル更新部28は違い検出器26でセンサ情報の違いを検出したときに、このセンサ情報の違いをなくすように仮想環境モデル18の中のオブジェクトの生成・削除を行う。 When the virtual environment model updating unit 28 detects a difference of the sensor information in the difference detector 26 performs the creation and deletion of the objects in the virtual environment model 18 so as to eliminate the difference of the sensor information.

【0021】更にモニタ処理部30は、ユーザ34が指定した任意の視点と時刻に基づき、仮想環境18をモニタ32に表示する。 Furthermore monitor processing unit 30, based on any perspective and time at which the user 34 has designated, to display the virtual environment 18 to the monitor 32. またモニタ処理部30は、仮想環境モデル更新部28により仮想環境モデル18の更新が行われるごとに、更新前の仮想環境モデル18を逐次、記憶装置36に記憶させている。 The monitor processing unit 30, each time the update of the virtual environment model 18 is performed by the virtual environment model updating unit 28 sequentially updates the previous virtual environment model 18 is stored in the storage device 36. このためユーザ34は、 For this reason the user 34,
任意の時刻を指定してそのときの仮想環境モデルをモニタ32で任意の視点から見ることができる。 Specify any time you can see the virtual environment model at that time from any point of view on the monitor 32.

【0022】図3は図2の実環境10に配置された移動ロボット12のブロック図である。 [0022] FIG. 3 is a block diagram of the mobile robot 12 arranged in the actual environment 10 of Figure 2. 移動ロボット12 Mobile robot 12
は、コントローラ37に対し複数種類のセンサを設けている。 It is provided with a plurality of types of sensors to the controller 37. この実施形態にあっては、レンジファインダ3 In the present embodiment, range finder 3
8、超音波センサ40、赤外線センサ42、接触センサ44、ジャイロ45及びエンコーダ46を設けている。 8, an ultrasonic sensor 40, infrared sensor 42, the contact sensor 44, the gyro 45 and encoder 46 provided.
レンジファインダ38は、走査型測距装置として知られており、任意のオブジェクトを光学的に走査しながら距離を測距することでオブジェクトの三次元情報を検出することができる。 Range finder 38 is known as a scanning type distance measuring apparatus, it is possible to detect the three-dimensional information of the object by the distance measurement of the distance while scanning any object optically. 超音波センサ46は超音波の伝播時間からオブジェクトまでの距離を測定できる。 Ultrasonic sensors 46 can measure the distance to the object from the propagation time of the ultrasonic wave.

【0023】赤外線センサ42は人体等から放射される熱線を検出できる。 The infrared sensor 42 can detect heat rays emitted from the human body or the like. 接触センサ44はオブジェクトに対する物理的な接触を検出する。 Contact sensor 44 detects the physical contact with the object. ジャイロ45は移動ロボット12の移動方向を検出する。 The gyro 45 detects the moving direction of the mobile robot 12. エンコーダ46は移動ロボット12の走行距離を検出する。 The encoder 46 detects the travel distance of the mobile robot 12. 更にコントローラ37に対しては、外部とのコマンド、データ等のやり取りを行う通信インタフェース48が設けられる。 For further controller 37, the command to the external communication interface 48 is provided for exchanging data or the like.

【0024】更に移動モータを駆動するためのモータ駆動部50と、ロボットハンド等の適宜のアクチュエータを駆動するためのアクチュエータ駆動部52を設けている。 [0024] The motor driving unit 50 for further driving the movement motor, and an actuator driving unit 52 for driving a suitable actuator such as a robot hand provided. このような本発明の実環境10に配置する移動ロボット12としては、例えばNO−MAD INC. The mobile robot 12 to place the real environment 10 of the present invention, for example, NO-MAD INC. で製造されているロボットNO−MAD200等を用いることができる。 In can be used such as a robot NO-MAD200 being manufactured.

【0025】図4は図2に示した本発明の実環境情報表示装置を実現するためのプログラムモジュールの構成である。 [0025] FIG. 4 is a configuration of a program module for realizing the real-world information display device of the present invention shown in FIG. 図4において、仮想環境モデル18側には仮想環境シミュレータモジュール24Aが設けられ、これに対し仮想ロボットシミュレータモジュール20A、センサモジュールドライバモジュール24B及びモータドライバモジュール20Cを設けている。 4, the virtual environment model 18 virtual environment simulator module 24A is provided, contrary are virtual robot simulator module 20A, the sensor module driver module 24B and a motor driver module 20C provided.

【0026】また仮想環境モデル18を構築するための仮想環境データベース22Aが配置され、更に仮想環境モデル18をモニタ表示するための3Dモニタ処理モジュール30Aが配置される。 [0026] Virtual environments database 22A for constructing a virtual environment model 18 is arranged, is further disposed 3D monitor process module 30A for monitor display the virtual environment model 18. このような仮想環境モデル18側のプログラムモジュールに対し、実環境の移動ロボット12に対応してロボットモジュール12Aが設けられる。 For such a virtual environment model 18 side of the program modules, robotic modules 12A are provided corresponding to the mobile robot 12 of the real environment. ロボットモジュール12Aに対応して、ロボット知識データベース60やロボット経路計画モジュール62が設けられる。 In response to robot module 12A, the robot knowledge database 60 and a robot path planning module 62 is provided. ロボットモジュール12Aと仮想環境モデル18のセンサ情報の相違は、違い検出モジュール28Aで検出されている。 Difference in the sensor information of the robot module 12A and the virtual environment model 18 is detected by the difference detection module 28A.

【0027】またユーザからの指示は、ユーザコマンドインタフェースモジュール56で与えることができる。 Further instruction from the user can be given by user command interface module 56.
更にオブジェクト管理モジュール58が設けられ、仮想環境モデル18で生成・削除するオブジェクトに関する処理を行う。 Further object management module 58 is provided, it performs processing for an object to generate or delete a virtual environment model 18. このようなプログラムモジュールは全て命令受渡しモジュール54に接続されており、命令受渡しモジュール54によって各プログラムモジュール間での命令の受渡しを行って、図2のような実環境10の移動ロボット12、仮想環境システム14、及びモニタ32 Such program modules are connected to all the instruction transfer module 54, performs transfer of commands between the program modules by the instruction transfer module 54, the mobile robot 12 of the actual environment 10 shown in FIG. 2, the virtual environment system 14, and monitor 32
を備えた実環境情報表示装置を構築する。 Building a real environment information display device provided with.

【0028】図5は図2に示した実環境情報表示装置における全体的な処理動作のフローチャートである。 [0028] FIG. 5 is a flow chart of an overall processing operation in the real environment information display device shown in FIG. 本発明の実環境情報表示装置の処理にあっては、まずステップS1で表示対象とする施設、建物、部屋等の外界の内の一部をモデル化した三次元の仮想環境モデルの生成処理を行う。 In the process of the real environment information display device of the present invention, first, the facility to be displayed in step S1, the building, the production process of the external 3D virtual environment model part models were among such room do. 続いてステップS2に進み、実環境10の移動ロボット12に対応したセンサ機能により仮想環境モデル18に仮想ロボットを生成し、移動ロボット12に連動して仮想ロボット20を仮想環境モデル18の中で移動し、移動ロボット12のセンサ機能と同じセンサ機能を実現するシミュレーション処理を実行する。 Then the process proceeds to step S2, moved by a sensor function corresponding to the mobile robot 12 of the real environment 10 generates a virtual robot in a virtual environment model 18, the virtual robot 20 in conjunction with the mobile robot 12 in the virtual environment model 18 then, it executes the simulation processing to achieve the same sensor function as the sensor function of the mobile robot 12. この仮想ロボットのシミュレーション処理において、ステップS3で移動ロボット12のセンサ情報と仮想ロボット2 In the simulation process of the virtual robot, virtual robot and sensor information of the mobile robot 12 in step S3 2
0のセンサ情報を比較している。 It compares the sensor information 0.

【0029】移動ロボット12と仮想ロボット20のセンサ情報の違いをステップS4で検出すると、ステップS5に進み、センサ情報の違いをなくすように仮想環境モデル18を修正して更新処理を行う。 [0029] When the difference of the sensor information of the mobile robot 12 and the virtual robot 20 is detected in step S4, step S5, it performs an update process to modify the virtual environment model 18 so as to eliminate the difference of the sensor information. 続いてステップS6でユーザ34より表示要求があるか否かチェックし、表示要求があれば、ステップS7で、ユーザが指定した任意の視点と時刻に基づき、仮想環境モデル18の情報を読み出してモニタ32に表示させる。 Then check whether there is a display request from the user 34 at step S6, if the display request, in step S7, based on any viewpoint and time designated by the user, reads out the information of the virtual environment model 18 monitors 32 to be displayed.

【0030】続いてステップS8で装置に対する終了指示の有無をチェックし、終了指示があるまでステップS [0030] Then checks for an end instruction to the device in step S8, step S until the end instruction
2からの処理を繰り返している。 And it repeats the process from the 2. 終了指示があれば、ステップS9で所定の終了処理を行った後に、一連の処理を終了する。 If there is an end instruction, after the predetermined end processing at step S9, the series of processing is terminated. 図6は図5のステップS1における三次元の仮想環境モデルの生成処理の詳細である。 6 is a detailed process of generating three-dimensional virtual environment model in step S1 of FIG. 図6(A) Figure 6 (A)
は三次元CADを用いた仮想環境モデルの生成機能のブロック図である。 Is a block diagram of a generating function of the virtual environment model using 3D CAD. この三次元CADによる三次元仮想環境モデルの構築は、ソリッドモジュレータ64、オブジェクトモデラー66及びオブジェクトレイアウタ−68 Construction of the three-dimensional virtual environment model based on the three-dimensional CAD is solid modulator 64, object modeler 66 and object Rei outer -68
で行われる。 It is carried out at.

【0031】即ち、図6(B)の三次元仮想モデル生成処理のように、ステップS1でソリッドモジュレータ6 [0031] That is, as the three-dimensional virtual model generation process of FIG. 6 (B), the solid modulator 6 in step S1
4が実環境の三次元CAD情報に基づいてオブジェクトの形状モジュリングを行う。 4 performs shape modules ring for the object, based on the three-dimensional CAD information of the real environment. 続いてステップS2でオブジェクトモデラー66がオブジェクトについて材質、重量、重心等の属性を設定する。 Subsequently object modeler 66 in step S2 and sets the material, weight, the attribute of the center of gravity or the like for the object. 最終的にオブジェクトレイアウタ−68がステップS3でオブジェクトを配置し、これによって三次元仮想モデル生成のための三次元レイアウトファイルを作成することができる。 Finally object ray outer -68 to place an object in step S3, whereby it is possible to create a three-dimensional layout file for the three-dimensional virtual model generation.

【0032】図7は図6の三次元仮想モデル作成処理の具体例であり、図7(A)に示す表示対象とする実環境のレイアウトを示す二次元レイアウト情報(平面図)7 FIG. 7 is a specific example of a three-dimensional virtual model generation process of FIG. 6, the two-dimensional layout information (plan view) showing the layout of the real environment to be displayed as shown in FIG. 7 (A) 7
0で与えられる三次元CAD情報によって、図7(B) By the three-dimensional CAD information given in 0, FIG. 7 (B)
のような三次元の仮想環境モデル18を作成することができる。 It is possible to create a three-dimensional virtual environment model 18, such as a. この仮想環境モデル18はオフィスのレイアウトを例にとっている。 This virtual environment model 18 is taking the layout of the office as an example.

【0033】図8は、図5のステップS2〜S5における仮想環境モデル内に配置した仮想ロボットを実空間の移動ロボットに連動するシミュレーションで、両者のセンサ情報の違いを検出して仮想環境モデルを修正する更新処理の説明図である。 [0033] Figure 8 is a simulation of interlocking virtual robot disposed in the virtual environment model in step S2~S5 of 5 to the mobile robot in the real space, the virtual environment model by detecting the difference between the two sensor information it is an explanatory diagram of the update processing for correcting. 図8において、いま実環境10 In FIG. 8, now the real environment 10
の廊下を移動ロボット12が走行しており、廊下に置かれた障害物72にぶつかった状態を表している。 Corridor and the mobile robot 12 is traveling, and represents a state in which hits an obstacle 72 placed in the hallway. これに対し仮想環境モデル18にあっては、実環境10の移動ロボット12に連動して仮想ロボット20が仮想環境モデル18内の仮想環境の廊下を走行しているが、実環境10の障害物72に対応するオブジェクトは存在していない。 In the virtual environment model 18 contrast, although the virtual robot 20 in conjunction with the mobile robot 12 of the real environment 10 is traveling corridor virtual environment in the virtual environment model 18, the obstacle in the real environment 10 object corresponding to 72 does not exist.

【0034】ここで仮想環境モデル18に配置した仮想ロボット20は、実環境10の移動ロボット12と相対的に同じ大きさ、形、動作性能をもっており、実環境1 The virtual robot 20 arranged in the virtual environment model 18, where the mobile robot 12 with relatively the same size of the real environment 10, the form, has a operation performance, real-world 1
0の移動ロボット12と同様に動き回ることができる。 You can move around in the same manner as 0 mobile robot 12.
また実環境10の移動ロボット12は、例えば図3に示したようなレンジファインダ38、超音波センサ40、 The mobile robot 12 of the real environment 10, for example, range finder 38, as shown in FIG. 3, the ultrasonic sensor 40,
赤外線センサ42等のセンサを備えているが、同様に仮想環境モデル18の仮想ロボット20もレンジファインダ、超音波センサ等の同じセンサ機能を備えている。 While a sensor such as an infrared sensor 42, similarly in the virtual environment model 18 virtual robot 20 also range finder, and a same sensor function such as an ultrasonic sensor.

【0035】そして図2のシミュレータ24にあっては、仮想ロボット20が実環境10の移動ロボット12 [0035] Then In the simulator 24 in FIG. 2, the mobile virtual robot 20 of the real environment 10 robot 12
と同じように行動できるように物理現象をシミュレートしている。 It simulates the physical phenomena to be able to act in the same way as. 即ち、実環境10の移動ロボット12が壁等の物体にぶつかって止まったり、各種のセンサによってセンサ情報の測定結果が得られたら、同様に仮想環境モデル18の仮想ロボット20も停止したりセンサ情報を測定して送り返してくるようにする。 That is, the mobile robot 12 or stop collides with the object such as a wall of the real environment 10, if the measurement result of the sensor information obtained by the various sensors, as well as the virtual robot 20 also sensor information and stop the virtual environment model 18 It is measured so as to come send back to.

【0036】このような実環境10の実ロボット12と同じように仮想環境モデル18内で仮想ロボット20が行動できるようにするため、図7(B)のように三次元CADにより仮想環境モデル18を作成した際に、仮想環境モデル18内の物体には大きさ、形状に加え、重さ、重心、材質、鏡面係数、反射率等の属性情報を付加している。 [0036] In order to be able to act virtual robot 20 in the actual robot 12 equally within the virtual environment model 18 with such a real environment 10, the virtual environment model by the three-dimensional CAD as shown in FIG. 7 (B) 18 when you create a size on the object in the virtual environment model 18, in addition to the shape, weight, center of gravity, are added material, the specular coefficient, the attribute information such as reflectivity.

【0037】図8の左側のように、実環境10の移動ロボット12と仮想環境モデル18内の仮想ロボット20 [0037] As the left side of FIG. 8, the virtual robot 20 in the virtual environment model 18 and the mobile robot 12 of the real environment 10
を連動させ、それぞれのロボット12,20から送られてくるセンサ情報を比較し、センサ情報の違いを検出した場合に仮想環境モデル18を実環境10に等しくするように仮想環境モデル18を修正する。 It is interlocked, and compares the sensor information sent from each of the robot 12, 20, modifies the virtual environment model 18 so as to equalize the virtual environment model 18 in real environment 10 when it detects the difference in sensor information . 例えば図8にあっては、実環境10で移動ロボット12が障害物72に近づいており、これに連動して仮想環境モデル18の仮想ロボット20も移動している。 For example In the Figure 8, the mobile robot 12 in a real environment 10 is approaching the obstacle 72, and also moves the virtual robot 20 of the virtual environment model 18 in conjunction with this.

【0038】このロボット12,20の移動に伴い、それぞれ複数種類のセンサ情報を返してきており、センサ情報を比較すると、実環境10の移動ロボット12のセンサ情報に障害物72に関する情報が含まれている。 [0038] With the movement of the robot 12, 20, respectively have been returned several kinds of sensor information, comparing the sensor information, information about the obstacle 72 is included in the sensor information of the mobile robot 12 of the real environment 10 ing. これに対し仮想ロボット20からのセンサ情報には障害物72に関する情報が含まれておらず、センサ情報の違いが検出される。 In contrast does not contain information about the obstacle 72 on the sensor information from the virtual robot 20, a difference of the sensor information is detected.

【0039】このようにセンサ情報の違いが検出されると、実環境10に等しくするように仮想環境モデル18 [0039] With this difference in the sensor information is detected, the virtual environment model to equal the real environment 10 18
を修正する。 To correct. 即ち、仮想環境モデル18の中に実環境1 In other words, the real environment 1 in the virtual environment model 18
0の障害物72に対応した仮想障害物72Aを生成するように仮想環境モデル18の修正更新を行う。 To generate a virtual obstacle 72A corresponding to 0 of the obstacle 72 to correct updating of the virtual environment model 18. この移動ロボット12と仮想ロボット20のセンサ情報の違い検出による仮想環境モデル18の修正更新は、仮想環境モデル18に対する新たなオブジェクトの追加と、仮想環境モデル18からの不要となったオブジェクトの削除があり、それぞれ次のようにして行われる。 Modify Update virtual environment model 18 due to the difference detection sensor information of the mobile robot 12 and the virtual robot 20, an additional new object to the virtual environment model 18, deletion of the object is no longer needed from the virtual environment model 18 Yes, they are each carried out in the following manner.

【0040】オブジェクトの追加 仮想環境モデル18に存在する物体が実環境10に存在しない場合は、検出した位置にある仮想環境モデル18 [0040] If the objects present in additional virtual environment model 18 of the object does not exist in the real environment 10, the virtual environment model in the detected position 18
の物体の中心座標や半径等の情報により対応するオブジェクトを仮想環境データベース22から検索し、検索した物体を仮想環境データベース22から削除する。 Of searching corresponding object by center coordinates and information radius such objects from the virtual environment database 22, deletes the retrieved object from the virtual environment database 22.

【0041】物体の追加 仮想環境モデル18に存在しない物体が実環境10に存在する場合は、検出した位置の物体の中心座標や半径等から仮想環境モデル18に新しい物体を生成する。 [0041] If the object does not exist in the additional virtual environment model 18 of the object exists in the real environment 10 generates a new object in the virtual environment model 18 from the central coordinates and radius, etc. of the object detected position. この最初に仮想環境モデル18に生成する物体は基本形状をもったプロトタイプであり、その後に物体をセンサにより調査することで更に細かな物体の情報を取得して、実際の物体に近い情報を仮想環境モデル18に生成する。 Object to generate this first virtual environment model 18 is a prototype having a basic shape, then it obtains further information detailed objects by examining the sensor objects, virtual information close to the real object to generate the environment model 18.

【0042】ここで図2に示した仮想環境データベース22とは、仮想環境モデル18に存在する物体の情報をデータベース化したもので、物体の大きさ、形状、位置、属性等が記述されている。 [0042] The virtual environment database 22 shown here in Figure 2, virtual information of the object in the environment model 18 is a material obtained by database, object size, shape, location, attributes, etc. are described . 属性としては、重さ、重心、材質、鏡面係数、反射率等がある。 The attribute, weight, center of gravity, the material, the specular coefficient, there is a reflectance or the like. この仮想環境データベース22は、センサ情報として得られた大きさ、 The virtual environment database 22, the size obtained as the sensor information,
形状等をキー情報として検索することで、対応する物体を検索することができる。 By searching the shape and the like as the key information, it is possible to retrieve the corresponding object.

【0043】このような実環境10と仮想環境モデル1 [0043] such a real environment 10 virtual environment model 1
8のセンサ情報の違いから仮想環境モデル18を修正更新する処理は、移動ロボット12のセンサ能力に依存しており、図3に示したように複数種類のセンサを設け、 Processing for correcting updates the virtual environment model 18 from the difference of the sensor information 8 is dependent on the sensor capabilities of the mobile robot 12, provided with a plurality of types of sensors as shown in FIG. 3,
複数センサのセンサ情報を統合することによって、より正確な物体情報に基づく生成が実現できる。 By integrating the sensor information of the plurality sensors, generation can be realized based on more accurate object information. また仮想環境モデル18の違い検出に基づく修正は、基本的には実環境10と仮想環境モデル18に違いが発見されたときに行うが、任意の一点における違いの差では正確さを欠くため、予め定めた一定区間の移動ロボット12と仮想ロボット20のセンサ情報の差を蓄積し、この差情報を処理して適切な仮想環境モデル18の修正を行う。 The correction based on the difference detected in the virtual environment model 18, because basically performed when the difference is found between the actual environment 10 in the virtual environment model 18, which lacks accuracy in difference difference at any one point, accumulating the difference between the predetermined sensor information of the mobile robot 12 and the virtual robot 20 of the predetermined section, to correct the appropriate virtual environment model 18 processes the difference information.

【0044】更に実環境10と仮想環境モデル18の違いはそれぞれのロボット12,20によって発見されるため、1台のロボットでは更新される情報の量が限られ、全ての場所で常に最新の情報が得られることにはならない。 [0044] Further, since the difference of the actual environment 10 and the virtual environment model 18 is to be found by each of the robots 12 and 20, the amount of information that is updated in one of the robot is limited, always up-to-date information at all locations It does not mean that can be obtained. そこで十分な数のロボットを準備することができれば全ての場所で略リアルタイムで最新の情報が仮想環境モデル18に反映でき、その結果、ユーザは常時、 So be reflected date information in the virtual environment model 18 substantially in real time at a sufficient number of all locations if it is possible to prepare a robot, so that the user always
全ての位置における最新の実環境の情報を得ることができる。 It is possible to obtain information on the latest actual environment in all positions.

【0045】図9は図8のような移動ロボット12と仮想ロボット20のセンサ情報の違い検出に基づく仮想環境モデル18の更新処理のフローチャートである。 [0045] FIG. 9 is a flowchart of the update processing of the virtual environment model 18 and the mobile robot 12 based on the difference detected sensor information of the virtual robot 20 as shown in Figure 8. まず実環境10との相違を検出して仮想環境モデル18を修正する更新処理のためには、実環境10内で移動ロボット12を移動させ、これに連動して仮想ロボット20を仮想環境モデル18内で動かす必要がある。 First for update processing for correcting the virtual environment model 18 to detect differences between the real environment 10 moves the mobile robot 12 in a real environment 10, the virtual environment model 18 virtual robot 20 in conjunction with this it is necessary to move within.

【0046】実環境10における移動ロボット12の動きは、例えば図4に示したプログラムモジュール構成におけるロボット経路計画モジュール62により識別される計画経路を巡回させてもよいし、環境の変化の多いところを予測してそこで重点的に回るように経路設定をしてもよいし、更にユーザから与えられる移動命令に基づいて動いてもよい。 The movement of the mobile robot 12 in a real environment 10, for example, may also be visited planned route identified by the robot path planning module 62 in the program module configuration shown in FIG. 4, a to excessive changes in the environment it may be the path set as around predicted to where the focus may move based on movement instructions given from further user.

【0047】このようにして実環境10で移動ロボット12が行動すると、これに同期して仮想環境モデル18 [0047] In this way, the mobile robot 12 in a real environment 10 to act, the virtual environment model in synchronization with this 18
上で仮想ロボット20も行動し、移動ロボット12のセンサ情報と仮想ロボット20のセンサ情報を比較している。 Virtual robot 20 also act on, the sensor information of the mobile robot 12 and compares the sensor information of the virtual robot 20. このセンサ情報の比較により、図9のステップS1 By comparison of the sensor information, step S1 of FIG. 9
で仮想環境モデル18と実環境10の違いが検出されると、ステップS2に進み、実環境に存在するが仮想環境に存在しない物体か否かチェックする。 In the difference in the virtual environment model 18 and the actual environment 10 is detected, the process proceeds to step S2, existing in the real environment to check whether or not the object that does not exist in the virtual environment.

【0048】もし実環境に存在するが仮想環境に存在しない物体であれば、ステップS3に進み、仮想環境に新たに物体を追加する処理を指示する。 [0048] If present in the real environment as long as the object does not exist in the virtual environment, the process proceeds to step S3, and instructs the process of adding a new object in the virtual environment. この物体追加の指示を受けて、ステップS4で、例えばセンサ情報の差分から物体の形状を検出位置に生成する。 In response to an instruction of the object added, in step S4, and generates the detection position the shape of the object, for example, from the difference of the sensor information. 具体的には、 (実環境のセンサ情報)−(仮想環境のセンサ情報)> Specifically, (sensor information of the real environment) - (sensor information of the virtual environment)>
0 の場合は、 (物体情報)=(実環境のセンサ情報)−(仮想環境のセンサ情報) (1) を求め、この差分情報をそのまま物体情報としてオブジェクトを生成して、仮想環境モデルの検出位置に配置する。 0, (object information) = (sensor information of the real environment) - (sensor information of the virtual environment) seek (1), the difference information as it generates the object as the object information, detection of a virtual environment model It is placed in position.

【0049】続いてステップS5で、各種のセンサ情報によって物体の様々な属性が得られた場合には、その属性情報を物体に付加し、新たに生成した物体情報と共に仮想環境データベース22に配置する。 [0049] Subsequently, in step S5, when various different attributes of the object by the sensor information is obtained, adds the attribute information on the object is placed in the virtual environment database 22 together with the newly generated object information . 一方、ステップS2で仮想環境に存在するが実環境に存在しない物体であった場合には、ステップS6で仮想環境からの物体の削除を指示する。 On the other hand, present in the virtual environment at step S2 but if was an object that does not exist in the real environment, the instruction to delete the object from the virtual environment at step S6. これに基づき、ステップS7で仮想環境データベースから削除する物体を検索する。 Based on this, to find the object to be deleted from the virtual environment database in step S7. 即ち、 (仮想環境のセンサ情報)−(実環境のセンサ情報)> That is, (the sensor information of the virtual environment) - (sensor information of the real environment)>
0 が成立するときは、 (差分情報)=(仮想環境のセンサ情報)−(実環境のセンサ情報) として仮想環境から削除する物体の大きさを想定し、更にそのときのセンサ情報から得られる様々な属性情報も加えて仮想環境データベース22を検索して、該当する物体即ち削除対象とする物体を検索し、これをステップS8で仮想環境データベースから削除する。 When 0 is satisfied, (the difference information) = (sensor information of the virtual environment) - obtained from assuming the size of the object to be deleted from the virtual environment as a (sensor information of the real environment), further sensor information at that time searches the virtual environment database 22 also added various attribute information, and searches the object to the appropriate object words deleted, this is deleted from the virtual environment database in step S8.

【0050】図10は図9の仮想環境モデル更新処理における具体的な様子であり、図10(A)のモニタ32 [0050] Figure 10 is a specific state in the virtual environment model update process in FIG. 9, the monitor of FIG. 10 (A) 32
上に表示されたオフィスレイアウト情報である仮想環境モデル18において、図10(B)の実環境10の中を移動ロボット12が移動していたとすると、同じ実環境10の視点で図10(A)の仮想環境モデル18を表示すると、図10(C)のように実環境10に対応して仮想環境モデル18の中を仮想ロボット20が移動している様子を見ることができる。 In the virtual environment model 18 is an office layout information displayed on, when the mobile robot 12 through the real environment 10 shown in FIG. 10 (B) has moved, FIG. 10 from the perspective of the same real environment 10 (A) When displaying the virtual environment model 18, it can be seen how the virtual robot 20 through the virtual environment model 18 corresponds to the real environment 10 as shown in FIG. 10 (C) is moving.

【0051】この図10(B)(C)のような実環境1 The real environment 1 as in FIG. 10 (B) (C)
0の移動ロボット12と仮想環境モデル18の仮想ロボット20の連動した動きにより、図9のフローチャートに示したように、仮想環境モデル18を実環境10に等しくするように仮想環境を修正する更新処理が行われ、 The interlocking motion of the virtual robot 20 of the mobile robot 12 and the virtual environment model 18 of 0, as shown in the flowchart of FIG. 9, the update processing for correcting the virtual environment to equalize the virtual environment model 18 in real environment 10 It is carried out, and
これによって仮想環境モデル18は実環境10に近付いてくる。 This virtual environment model 18 comes closer to the real environment 10.

【0052】図11は図10の実環境10と仮想環境モデル18のロボット移動に伴う更新処理の繰り返しを模式的に表している。 [0052] Figure 11 represents schematically a repetition of the update processing associated with the robot moving virtual environment model 18 and the actual environment 10 of Figure 10. 即ち、実環境10と仮想環境モデル18のそれぞれにおける移動ロボット12と仮想ロボット20の連動した動きにより、レンジファインダ、超音波センサ、赤外線センサ、接触センサ、ジャイロ、エンコーダのそれぞれからセンサ情報が得られ、それぞれの差異が検出される。 That is, by the interlocking motion of the mobile robot 12 and the virtual robot 20 in each of the real environment 10 and the virtual environment model 18, range finder, ultrasonic sensors, infrared sensors, contact sensors, gyro, sensor information from each of the encoder is obtained each difference is detected.

【0053】これらのセンサ情報の差異は情報統合され、オブジェクトの生成・削除・修正のため、物体情報として提供される仮想環境データベースの参照を経て仮想環境モデル18に反映される。 [0053] The difference of these sensor information is information integration, for the generation, deletion, modification of objects are reflected in the virtual environment model 18 via a reference virtual environment database provided as the object information. この結果、実環境10 As a result, the actual environment 10
に仮想環境モデル18が時々刻々と近付いていくことになる。 The virtual environment model 18 is to be approaches from time to time to. 図12,図13は、図11のような仮想環境モデルの更新処理によって、図12(A)の初期モデル18 12 and 13, the update processing of the virtual environment model as shown in FIG. 11, the initial model of FIG. 12 (A) 18
Aから図12(B)のモデル18B、図12(C)のモデル18C、更に図13(D)のモデル18Dのように変化して、実環境に近付いていく様子を表している。 Model 18B shown in FIG. 12 (B) from A, then changes as model 18C, further model 18D of FIG. 13 (D) in FIG. 12 (C), the represents the manner in which approaches the real environment.

【0054】即ち図12(A)の初期モデル18Aについて、図12(B)のモデル18Bにあっては領域74 [0054] That is, FIG. 12 for the initial model 18A in (A), FIG. 12 region 74 In the model 18B of (B)
の相違が検出されてオブジェクトが付加され、更に図1 Differences are the object is added detection of further 1
2(C)にあっては領域76について壁による環境の相違が検出されて追加され、最終的に図13(D)のように左側の区画について新たな仕切り壁の配置による実環境と一致するための修正が行われている。 In the 2 (C) are added is detected differences in the environment due to the wall for the area 76 coincides with the real environment by finally disposed of new partition wall for partitioning the left as shown in FIG. 13 (D) fix for have been made.

【0055】ここで図11のオブジェクト生成、削除、 [0055] object generation of now to FIG. 11, delete,
修正のためのセンサ情報に基づくシミュレーションにあっては、センサ情報そのもののシミュレーションとオブジェクト干渉チェックのためのシミュレーションがある。 In the simulation based on sensor information for the modification, there is a simulation for the simulation and object interference check of the sensor information itself. まずセンサ情報のシミュレーションについては、図14(A)のように移動ロボット12を円筒体と見做し、例えば机を例にとったオブジェクト94を含有する最小球96との交点の計算でオブジェクト94の座標中心と大きさを認識する。 The first simulation of sensor information, the object 94 at the intersection of the calculation of the minimum sphere 96 containing objects 94 moving robot 12 regarded as a cylindrical body, for example, taking the desk example as shown in FIG. 14 (A) It recognizes coordinate center and the size of the. 次に図14(B)のようにオブジェクト94を含有する最小直方体98を設定し、最小直方体98の各面との交点を求めて詳しいオブジェクト94に関する情報を生成する。 Then set the minimum rectangular solid 98 containing objects 94 as shown in FIG. 14 (B), the generating the information about the detailed object 94 to obtain the intersection with each side of the smallest rectangular solid 98.

【0056】図15は移動ロボット12とオブジェクトの干渉チェックの処理である。 [0056] Figure 15 is a process of interference check of the mobile robot 12 and the object. この干渉チェックにあっては、図15(A)のように移動ロボット12を円筒体に近似し、オブジェクト94を含む最小球96を設定して、最小球96の座標中心とロボット12の円筒中心の交点間距離Lの計算で干渉チェックの目安をつけた後、 In the interference check, the mobile robot 12 similar to the cylindrical body, sets the minimum sphere 96 including the object 94, the cylindrical center of the coordinate center of the robot 12 of the smallest sphere 96 as shown in FIG. 15 (A) after wearing a measure of the interference check in the calculation of the point of intersection between the distance L,
図15(B)のようにオブジェクト94を含む最小直方体98を設定し、最小直方体98の各面との交点を計算して移動ロボット12に対する距離から干渉の有無をチェックする。 Figure 15 sets the minimum rectangular solid 98 including the object 94 as shown in (B), to check for interference from the distance to the mobile robot 12 by calculating the intersection of the surfaces of the smallest rectangular solid 98.

【0057】更に仮想環境モデル18を実環境10に近付けるためのロボット移動に伴う更新処理にあっては、 [0057] More there virtual environment model 18 to update processing associated with the robot movement for close to real environment 10,
ドアの開閉、人の移動等のオブジェクトシミュレーションや物体の衝突等の物理現象のダイナミックシミュレーション等がある。 Door opening and closing, there is a dynamic simulations of physical phenomena such as collision objects simulation and objects such as movement of people. オブジェクトシミュレーションについては、仮想環境データベースに登録している各オブジェクトに動作を記述しておく必要がある。 The object simulation, it is necessary to describe the operation to the objects that are registered in the virtual environment database.

【0058】例えばドアであったならば、支点を軸として回転するように動く等と記述しておく。 [0058] Once, for example, a door, have been written with such movement to rotate the fulcrum as an axis. ダイナミックシミュレーションは、外から力が加わったときに動いたりする量や変形する量をオブジェクトの属性モデルから物理法則に乗っ取ってリアルタイムで計算する機能として付加する。 Dynamic Simulation adds a function to calculate in real time taking over the amount to be the amount and deformation or movement when a force is applied from the outside from the attribute model of the object to physical laws. 次に図2の仮想環境システム14に設けたモニタ処理部30によるモニタ32上でのる仮想環境モデルの表示処理機能を説明する。 Next will be described a display processing function of the virtual environment model ride on the monitor 32 by the monitor processor 30 provided in the virtual environment system 14 of FIG. 図16はモニタ処理部30に設けられた記憶装置36による仮想環境モデルの情報記憶の説明図である。 Figure 16 is an explanatory diagram of the information storage in the virtual environment model by the storage device 36 provided in the monitor unit 30. この実施形態にあっては、記憶装置36には例えば図12の初期モデル18Aから図13のモデル18Dのように、仮想環境モデル18の更新が行われるごとに更新前の仮想環境モデルを時刻情報と共に記憶装置36に記憶している。 In the present embodiment, from the initial model 18A in FIG. 12 for example, the storage device 36 as a model 18D of FIG. 13, the time information a virtual environment model before updating every time updating of the virtual environment model 18 is performed stored in the storage device 36 together.

【0059】例えば記憶装置36には三次元仮想モデル情報76−1,76−2,・・・76−nが時刻情報t [0059] For example, in the storage device 36 three-dimensional virtual model information 76-1,76-2, ··· 76-n by the time information t
1,t2,・・・tnをインデックスとして記憶されている。 1, t2, are stored · · · tn as an index. このためユーザ34は、モニタ処理部30に対し見たい時刻の時刻情報Tiを指定することで記憶装置3 Thus the user 34, the storage device by specifying the time information Ti of time you want to see to the monitor processing circuit 30 3
6の中から任意の指定時刻Tsに対応した仮想環境モデル情報76−iを読み出し、モニタ32にそのとき指定した任意の視点から見た実環境の情報として表示させることができる。 Reads the virtual environment model information 76-i corresponding to any specified time Ts from the 6, can be displayed as information of the real environment as viewed from an arbitrary viewpoint specified at that time on the monitor 32.

【0060】即ち、任意の指定時刻Tsを設定すると、 [0060] In other words, if you set any of the specified time Ts,
指定時刻Tsと時刻情報t1〜tnとを比較し、例えば ti <Ts<ti+1 なら仮想環境モデル情報76−iを読み出して表示させる。 Comparing the specified time Ts and time information t1 to tn, for example, ti <displaying reads Ts <ti + 1 if the virtual environment model information 76-i. これによってユーザ34は好きな時刻と視点の実環境情報を必要に応じて常に見ることができる。 This allows the user 34 can be seen always as needed real-world information favorite time and point of view. このような実環境情報の見方は、例えば本発明を盗難監視等のセキュリティシステムに適用していた場合、異常発生のログ情報から異常発生時刻を知り、その時刻の仮想環境モデル情報を記憶装置36から読み出して表示させることで、異常発生時の実環境の様子を後からチェックすることができる。 This view of the actual environment information, for example when the present invention was applied to a security system, such as a theft monitoring, to know the abnormality occurrence time from the log information of the abnormality occurrence, the storage device a virtual environment model information of that time 36 be to read the display from, can be checked later state of abnormality when the real environment.

【0061】図17は図2のモニタ処理部30の他の実施形態であり、この実施形態にあっては、基本的な三次元の仮想環境モデルによる実環境の表示に加え、ユーザが実行するタスクに対応して分かりやすいような情報を付加的に追加できるようにしたことを特徴とする。 [0061] Figure 17 shows another embodiment of the monitoring unit 30 of FIG. 2, in the present embodiment, in addition to the display of the real environment by the virtual environment model of basic 3D, the user executes characterized in that to be able to additionally add information as meaningful in correspondence to the task. 図1 Figure 1
7において、現在の仮想環境モデル18もしくは記憶装置36に情報として記憶された仮想環境モデル18に対し、モニタ基本部30−1はフィルタ−78によって仮想環境モデルに1対1に対応した可視情報を生成してモニタ32に表示する。 In 7, with respect to the virtual environment model 18 stored in the current virtual environment model 18 or the storage device 36 as information, a monitor base portion 30-1 visible information corresponding to one-to-one to the virtual environment model by the filter -78 generated and displayed on the monitor 32. このようなモニタ基本部30−1 Such a monitor basic section 30-1
に対し、この実施形態にあってはモニタ追加部30−2 To, in this embodiment the monitor addition unit 30-2
とモニタ追加部30−3が設けられている。 Monitor additional portion 30-3 is provided with.

【0062】モニタ追加部30−2はフィルタ80によって仮想環境モデル18内に配置しているオブジェクトのもつ属性情報、例えば重さや重心を重視し、コンバータ82で重さや重心を示す数値情報を生成してモニタ3 [0062] monitor additional unit 30-2 attribute information possessed by the objects placed in the virtual environment model 18 by the filter 80, for example, it emphasizes the weight and center of gravity to generate numerical information indicating the weight and center of gravity in the converter 82 monitor on 3
2のオブジェクトに対応して表示している。 It is displayed in response to the second object. モニタ追加部30−3は、例えばロボット経路計画モジュール62 Monitor adding unit 30-3, for example, the robot path planning module 62
から行動情報84を取得し、フィルタ86によって経路情報と参照するランドマークを抽出し、コンバータ88 It acquires behavior information 84 from extracts landmark referencing the route information by the filter 86, the converter 88
で可視情報に変換してモニタ32上に表示している。 In is converted into visible information is displayed on the monitor 32.

【0063】図18は図16のモニタ基本部30−1、 [0063] FIG. 18 is monitoring the basic unit 30-1 in FIG. 16,
モニタ追加部30−2,30−3による表示処理の具体例である。 A specific example of the display processing by the monitor adding unit 30-2 and 30-3. まずモニタ基本部30−1は、そのときの仮想環境モデル18を可視情報に変換してモニタ32上に表示している。 First monitoring basic unit 30-1 displaying the virtual environment model 18 at that time on the monitor 32 is converted into visible information. モニタ追加部30−2は、例えば仮想環境モデル18内の机であるオブジェクト94について、 Monitor adding unit 30-2, the object 94 is, for example, a desk in the virtual environment model 18,
その属性情報95として重さと重心を抽出し、モニタ3 Extract the weight and center of gravity as the attribute information 95, the monitor 3
2の下側に拡大して示すオブジェクト94のように「重さ10kg」と重心の位置表示を行っている。 As object 94 shown enlarged in the lower side of the 2 "Weight 10kg" doing position display of the center of gravity.

【0064】更にモニタ追加部30−3にあっては、ロボット経路計画モジュール62から二次元情報として得られたコード情報84について、その中に含まれる経路情報90aとランドマーク情報92aを抽出して表示情報に変換し、モニタ32の中に経路情報90とランドマーク92を追加的に表示する。 [0064] In the further monitor additional portion 30-3, the code information 84 is obtained as two-dimensional information from the robot path planning module 62, extracts the path information 90a and landmark information 92a contained therein converting the display information, additionally displaying the route information 90 and the landmark 92 in the monitor 32. このように本発明で生成している仮想環境モデル18は、コンピュータ上の電子情報であるため、ユーザが必要とする任意の情報をユーザの必要に応じて任意に付加的に簡単に追加できる。 Thus the virtual environment model 18 that is generated in the present invention are the electronic information on a computer, it may optionally additionally easily added according any information required by the user to the needs of the user.

【0065】図19は本発明による実環境情報表示装置の他の実施形態であり、図2に示した各部の処理機能をコンピュータネットワーク上に繋がれた複数の計算機上に実装したことを特徴とする。 [0065] Figure 19 shows another embodiment of the real-world information display device according to the present invention, and characterized by being mounted on a plurality of computers each part of the processing functions of the tethered on a computer network shown in FIG. 2 to. 図19において、計算機100Aにはレイアウト情報格納部21、仮想環境モデル生成部16、仮想環境データベース22が配置され、 19, the computer 100A layout information storage unit 21, the virtual environment model generation unit 16, a virtual environment database 22 is arranged,
計算機100Bにはシミュレータ24が配置され、計算機100Cには違い検出器96が配置され、仮想環境モデル更新部28には計算機100Dが配置され、計算機100Eにはモニタ処理部30、モニタ32及び記憶装置36が配置されたユーザ端末となり、更に実環境10 The computer 100B are arranged simulator 24, the computer 100C is a difference detector 96 is disposed in the virtual environment model updating unit 28 is disposed a computer 100D are computer to 100E monitor processing unit 30, a monitor 32 and storage device 36 becomes a user terminal arranged further real environment 10
の移動ロボット12も独立した計算機装置として配置されている。 The mobile robot 12 has also been arranged as an independent computer system.

【0066】これら計算機100A〜100E及び実環境10の移動ロボット12はコンピュータネットワーク102に繋がれており、コンピュータネットワーク10 [0066] mobile robot 12 of these computers 100A~100E and real environment 10 is connected to the computer network 102, the computer network 10
2を経由したコマンドのやり取りで図2の装置構成と全く同じ機能を実現できる。 It can be realized exactly the same function as the device structure of FIG. 2 in exchange commands via the 2. 図20は図9のコンピュータネットワーク102で複数の計算機100A〜100E Figure 20 is a plurality of computers 100A~100E a computer network 102 of FIG. 9
及び移動ロボット12を繋ぎ合わせた実施形態におけるプログラム構成である。 And a program structure in the embodiment by connecting the mobile robot 12. 図20において、プログラムモジュールそのものは図4と同じであるが、命令受渡しモジュール54を中心として、この実施形態にあっては、 In Figure 20, the program module itself is the same as FIG. 4, about the command delivery module 54, in this embodiment,
各モジュール及びデータベースを例えばソックス・インタフェース104によりネットワークを通じて接続している。 It is connected through a network by each of the modules and database eg socks interface 104.

【0067】このようなネットワークを用いた本発明の実環境情報表示装置によれば、実環境情報表示装置を構築する図20のプログラムモジュール及びデータベースを複数のマシンに分散させ且つネットワークで繋げることで、遠隔地からロボットを動かしたり遠隔地で更新されていく仮想環境モデルに基づく実環境の監視ができる。 [0067] By connecting in such accordance network to the real environment information display device of the present invention using, and network disperse the program modules and databases of Figure 20 to construct a real-world information display device in a plurality of machines , you can monitor the real environment based on the virtual environment model, which will be updated at a remote location or move the robot from a remote location.

【0068】より具体的には、図20のプログラム構成と例えばソックス・インタフェース104を使用したネットワークを通じて様々なプラットフォームを用いた情報を見るための言語例えばJAVAやVRMLを利用した仕組みによって実現することができる。 [0068] More specifically, be implemented by a mechanism using a language for example JAVA or VRML for viewing information using a variety of platforms through a network using a program structure and, for example, socks interface 104 of FIG. 20 it can. 特にJAVA In particular, JAVA
やVRMLのようなマルチプラットフォームをサポートする言語を用いて記述することにより、プラットフォームに依存せずにどのマシンからも走査することができ、 By describing with or multi-platform to support languages ​​such as VRML, it can be scanned from any machine regardless of the platform,
例えば外出先等からの遠隔操作で実環境情報を操作することも可能となる。 For example it is possible to manipulate the actual environment information remotely from the go like.

【0069】更に詳細に説明すると、ネットワークを通じてJAVAやVRMLといったマルチプラットフォームの言語を用いて本発明の実環境情報表示装置を構築した場合には、CADの分野で用いられているフォーマット例えばGXFやIGESというフォーマットをモデリングを行い、次に物体に属性をつけることで本発明の仮想環境モデルに特有のフォーマットを構築する。 [0069] In more detail, when building the actual environment information display device of the present invention by using a multi-platform language such as JAVA and VRML through the network, the format example GXF and IGES are used in the field of CAD performs modeling format called, then construct a specific format in the virtual environment model of the present invention by attaching the attribute to the object. このフォーマットについて、更にマルチプラットフォームに対応している言語例えばVRMLに変換し、このデータを基に本発明のシミュレータによるシミュレーションを行えばよい。 This format, which is then converted into the language eg VRML and supported multi-platform may be performed simulation by the simulator of the present invention based on this data. 図21は、本発明の実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体の実施形態であり、この記録媒体には、CD Figure 21 is an embodiment of a computer-readable recording medium recording a program for executing the real-world information display process of the present invention, this recording medium, CD
−ROMやフロッピーディスク等のリムーバブルな可搬型記憶媒体、回線によりプログラムを提供するプログラム提供者の記憶装置、更にプログラムをインストールした処理装置のRAMやハードディスク等のメモリ装置がある。 Removable portable storage medium such as a -ROM or floppy disk storage device of a program provider who provides the program by the line, there is a further memory device such as a RAM or a hard disk of the installed processor program. また記録媒体によって提供されたプログラムは、 The program provided by the recording medium,
処理装置にローディングされ、その主メモリ上で実行される。 Loaded into the processor, it is executed on the main memory.

【0070】 [0070]

【発明の効果】以上説明してきたように本発明によれば、ロボット移動に伴う実環境の変化を三次元モデルとして作られた仮想環境モデルに反映してモニタさせることで、ユーザが見たい視点における見たい範囲の実環境の状況を表示し、ユーザの要求に応じた最適な実環境の三次元画像表示ができる。 According to the present invention as has been described above, according to the present invention, by monitoring reflected in the virtual environment model made the change in the actual environment with the robot movement as a three-dimensional model, the user wants to view viewpoint It displays the status of the real-world range you want to see in the can three-dimensional image display of the optimal real environment according to the user's request. また実環境の変化に対応して自動的にリアルタイムで結果を三次元の仮想環境モデルに反映することで、ユーザは常に最新の実環境の情報を見ることができる。 The results automatically in real time in response to changes in the real environment by reflecting the three-dimensional virtual environment model, the user can always see the latest information of the real environment.

【0071】更に仮想環境モデルを用いることで、IT [0071] Furthermore, by using the virtual environment model, IT
Vカメラ等では見ることのできない状況の把握に必要な付加的な情報、例えばロボット経路情報、ランドマーク等を可視化して情報として付け加えることができ、これによりモニタを見た場合の実環境の認識をより適切且つ迅速に行うことができる。 Additional information required to understand the situation that can not be seen in the V camera or the like, for example, a robot path information, it is possible to add a landmark such as information visualized, recognition of the real environment when Thus viewed monitor can be performed more appropriately and quickly. 更にモニタ対象とする三次元仮想モデルのファイル情報はデジタル情報であることから、検索や編集等の処理が容易であり、例えば三次元情報を二次元情報に変換することで状況の変化を直観的に捉えることができる。 Further since the file information of the three-dimensional virtual model to be monitored is digital information, it is easy to process in search and editing, etc., intuitive change in status by converting example three-dimensional information to two-dimensional information it can be captured to.

【0072】また実環境の変化に伴って更新されていく三次元の仮想環境モデルの情報を更新ごとに記憶保持しておくことで、ユーザはリアルタイムに加え、任意の時刻を指定した過去の実環境の情報を容易に見ることができる。 [0072] Also by storing stores information of the virtual environment model of the three-dimensional going updated with a change in the actual environment for each update, the user is added to the real-time, past actual specifying an arbitrary time you can see the information of the environment easily. 更に、装置構成をネットワーク化して複数の計算機に分散配置して実現することで計算機1台当たりの負荷を低減でき、更に遠隔地からネットワークを経由して実環境の様子を容易に把握し、必要な操作を行うことができる。 Furthermore, the networked device configuration can reduce the load per single computer by realized by distributed across multiple computers, to easily understand the state of the real environment via the network further remotely, need it is possible to perform a do operation.

【0073】更に、ネットワークを通じて操作する場合、三次元の仮想環境モデルの中で変化した情報のみを送ればよいことから、ネットワークに対する負荷も減少させることができる。 [0073] Furthermore, when operating over the network, since it send only information that has changed in the three-dimensional virtual environment model, it is possible to load on the network is also reduced.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の原理説明図 A view for describing the principles of the present invention; FIG

【図2】本発明の実施形態のブロック図 Block diagram of an embodiment of the present invention; FIG

【図3】本発明で使用する移動ロボットのブロック図 Block diagram of the mobile robot to be used in [3] The present invention

【図4】図2の装置機能を実現するプログラム構成の説明図 Figure 4 is an explanatory diagram of a program structure for implementing the system function in FIG. 2

【図5】図2の実環境表示処理のフローチャート Flowchart of real-world display process of FIG. 5 FIG. 2

【図6】本発明の三次元仮想モデル生成処理の説明図 Figure 6 is an explanatory diagram of a three-dimensional virtual model generation process of the present invention

【図7】CADを利用した図5の三次元モデル生成処理の具体的な説明図 [7] The specific illustration of the three-dimensional model generation process of FIG. 5 using CAD

【図8】本発明のロボット行動に伴う仮想環境モデルを更新する処理の説明図 Figure 8 is an explanatory diagram of a process for updating the virtual environment model with the robot action of the present invention

【図9】本発明の仮想環境モデル更新処理のフローチャート Flowchart of the virtual environment model update process of the present invention; FIG

【図10】モニタで見る本発明の仮想環境と実環境の説明図 Figure 10 is an explanatory diagram of a virtual and real environments of the present invention seen in the monitor

【図11】図9の仮想環境モデル更新処理を模式的に示した説明図 Figure 11 is an explanatory view schematically showing a virtual environment model update process in FIG. 9

【図12】仮想環境モデル更新処理に伴う仮想環境の変化を示した説明図 Figure 12 is an explanatory view showing a change in the virtual environment with the virtual environment model update process

【図13】仮想環境モデル更新処理に伴う仮想環境の変化を示した説明図(続き) Figure 13 is an explanatory view showing a change in the virtual environment with the virtual environment model update process (continued)

【図14】センサ情報に基づいてオブジェクトを認識する本発明のシミュレーションの説明図 Illustration of a simulation of the invention that recognize objects based on [14] Sensor information

【図15】ロボットとオブジェクトの干渉をチェックする本発明のシミュレーションの説明図 Figure 15 is an explanatory diagram of a simulation of the present invention for checking the interference between the robot and the object

【図16】本発明のモニタ処理における仮想環境モデルの記憶処理の説明図 Figure 16 is an explanatory diagram of a storing process of the virtual environment model in monitoring the treatment of the present invention

【図17】本発明のモニタ処理における付加機能の表示処理の説明図 Figure 17 is an explanatory diagram of a display processing of additional function in the monitoring process of the present invention

【図18】本発明のモニタ処理におけるオブジェクト属性、ランドマーク、経路情報の付加情報表示処理の説明図 Object attributes in the monitor processing of FIG. 18 the present invention, landmarks, illustration of the additional information display process of the route information

【図19】ネットワーク経由で構築した本発明の他の実施形態のブロック図 Figure 19 is a block diagram of another embodiment of the present invention constructed through the network

【図20】ネットワーク経由で構築した図19の装置機能を実現するプログラム構成の説明図 Figure 20 is an explanatory diagram of a program structure for implementing the system function in FIG. 19 constructed over the network

【図21】本発明の実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体の実施形態の説明図 Figure 21 is an explanatory view of an embodiment of the computer readable recording medium storing a program for executing the real-world information display process of the present invention

【符号の説明】 DESCRIPTION OF SYMBOLS

10:実環境 12:移動ロボット(実ロボット) 14:仮想環境システム 16:仮想環境モデル生成部 18:仮想環境モデル 20:仮想ロボット 20A:仮想ロボットシミュレータモジュール 20B:センサドライバモジュール 20C:モータドライバモジュール 21:レイアウト情報格納部 22:仮想環境データベース 24:シミュレータ 24A:仮想環境シミュレータモジュール 26:違い検出器 26A:違い検出モジュール 28:仮想環境モデル更新部 30:モニタ処理部 30−1:モニタ基本部 30−2,3:モニタ追加部 30A:モニタ処理モジュール 32:モニタ 34:ユーザ 36:記憶装置 37:コントローラ 38:レンジファインダ(走査型測距装置) 40:超音波センサ 42:赤外線センサ 44:接触 10: Real World 12: mobile robot (real robot) 14: Virtual Environment System 16: the virtual environment model generation unit 18: the virtual environment model 20: virtual robot 20A: virtual robot simulator module 20B: sensor driver module 20C: Motor driver module 21 : layout information storage unit 22: the virtual environment database 24: simulator 24A: the virtual environment simulator module 26: difference detector 26A: difference detection module 28: the virtual environment model updating unit 30: monitor processor 30-1: monitoring basic unit 30- 2,3: monitor addition unit 30A: monitoring processing module 32: monitor 34: user 36: storage device 37: controller 38: rangefinder (scanning distance measuring device) 40: ultrasonic sensor 42: infrared sensor 44: contact ンサ 45:ジャイロ(方位センサ) 46:エンコーダ(距離センサ) 48:通信インタフェース 50:移動モータ駆動部 52:アクチュエータ駆動部 54:命令受渡しモジュール 56:ユーザコマンドインタフェースモジュール 58:オブジェクト管理モジュール 60:ロボット知識データベース 62:ロボット径路計画モジュール 64:ソリッドモデルモジュレータ 66:オブジェクトモデラー 68:オブジェクトレイアウター 70:二次元レイアウト情報(図面情報) 72:障害物 72A:仮想障害物 76−1〜76−n:三次元仮想モデル情報 80,86:フィルター 82,88:コンバータ 84:行動情報 90:径路情報 92:ランドマーク 94:オブジェクト(机) 95:属性情報 96:最小球 98:最小直方 Capacitors 45: gyro (azimuth sensor) 46: encoder (distance sensor) 48: Communication Interface 50: moving motor driver 52: actuator drive unit 54: Instruction delivery module 56: user command interface module 58: Object Management Module 60: Robot Knowledge database 62: robot path planning module 64: solid models modulator 66: object modeler 68: object layouter 70: two-dimensional layout information (drawing information) 72: obstacle 72A: virtual obstacle 76-1~76-n: a three-dimensional virtual model information 80, 86: filter 82 and 88: The converter 84: the behavior information 90: path information 92: Landmarks 94: object (desk) 95: attribute information 96: minimum sphere 98: minimum Nogata 体 100A〜100D:計算機 102:コンピュータネットワーク 104:ソックス・インタフェース Body 100A to 100D: computer 102: Computer Network 104: Socks Interface

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡部 浩之 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内 (72)発明者 渡部 信雄 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Hiroyuki Okabe Kawasaki City, Kanagawa Prefecture Nakahara-ku, Kamikodanaka 4 chome No. 1 Fujitsu within Co., Ltd. (72) inventor Watanabe, Nobuo Kawasaki City, Kanagawa Prefecture Nakahara-ku, Kamikodanaka 4-chome 1 Ban No. 1 Fujitsu within Co., Ltd.

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】実環境に配置されて行動し、センサにより外界を認識できる実ロボットと、 前記実環境をモデル化した仮想環境モデルを生成する仮想環境モデル生成部と、 前記仮想環境モデルの中で前記実ロボットと同等のセンサ機能をシミュレーションすることにより仮想ロボットを生成し前記実ロボットと同期して行動させるシミュレータと、 前記シミュレータによる前記仮想ロボットのセンサ情報と前記実ロボットのセンサ情報とを比較して相違を検出する違い検出器と、 前記違い検出器でセンサ情報の違いを検出したときに、 1. A acted disposed real environment, the actual robot can recognize external by the sensor, the virtual environment model generation unit for generating a virtual environment model that models the real environment, in the virtual environment model in comparison the simulator to act to generate a virtual robot synchronized with the actual robot by simulating the actual robot equivalent sensor function, and the sensor information of the actual robot and sensor information of the virtual robot by the simulator a difference detector for to detect differences, upon detecting a difference of the sensor information by the difference detector,
    該センサ情報の違いをなくすように前記仮想環境モデルを更新する仮想環境モデル更新部と、 前記仮想環境モデルを表示させるモニタ部と、を備えたことを特徴とする実環境情報表示装置。 Virtual environment model and updating unit, wherein the monitoring unit for displaying the virtual environment model, a real environment information display apparatus comprising the updating of the virtual environment model to eliminate the difference of the sensor information.
  2. 【請求項2】請求項1記載の実環境情報表示装置に於いて、前記実ロボットは複数のセンサにより外界を認識し、前記実ロボットを実環境に複数台配置すると共に前記シミュレータで複数台の仮想ロボットを生成して各実ロボットと同期して行動させることを特徴とする実環境情報表示装置。 Wherein at the real environment information display device according to claim 1, wherein the real robot recognizes outside by a plurality of sensors, a plurality in the simulator with placing a plurality of the actual robot to the real environment actual environment information display device characterized by to act to generate a virtual robot synchronized with each real robot.
  3. 【請求項3】請求項1記載の実環境情報表示装置に於いて、前記仮想環境モデル更新部は、 センサ情報の相違から仮想空間に存在しない実空間の物体を認識した場合、仮想空間に新たに対応する仮想物体を生成し、 センサ情報の相違から仮想空間に存在するが実空間に存在しない物体を認識した場合、対応する仮想空間の仮想物体を削除することを特徴とする実環境情報表示装置。 3. In the actual environment information display device according to claim 1, wherein the virtual environment model updating unit, when recognizing the object in real space from the difference in the sensor information does not exist in the virtual space, a new virtual space corresponding to generate a virtual object, if it exists in the virtual space from the difference of the sensor information is recognized an object that does not exist in real space, real environment information and deletes a virtual object corresponding virtual space display apparatus.
  4. 【請求項4】請求項1記載の実環境情報表示装置に於いて、前記モニタ処理部は、前記仮想環境モデル更新部で更新する毎に、更新前の仮想環境モデルの情報を時系列的に保存する記憶装置を有し、該記憶装置から任意の更新時刻の情報を取り出して表示させることを特徴とする実環境情報表示装置。 4. In the actual environment information display device according to claim 1, wherein the monitor unit, for each to be updated in the virtual environment model updating unit, the information of the virtual environment model before updating chronologically a storage device that stores the actual environment information display device characterized by to retrieve and display information for any update time from the storage device.
  5. 【請求項5】請求項1記載の実環境情報表示装置に於いて、前記モニタ処理部は、前記仮想環境モデル生成部で初期生成した仮想環境モデルに対して、必要に応じて可視情報以外のモデル情報、前記実ロボットの経路計画に基づく行動情報等を可視化して付け加えることを特徴とする実環境情報表示装置。 5. In the actual environment information display device according to claim 1, wherein the monitoring processing unit, with respect to the virtual environment virtual environment model initially generated by the model generation unit, other than visible information as needed model information, the actual environment information display device, characterized in that adding to visualize the actual behavior information based on the path planning of a robot or the like.
  6. 【請求項6】前記実環境をモデル化した仮想環境モデルを生成する仮想環境モデル生成モジュールと、 実環境に配置されて行動しセンサにより外界を認識できる実ロボットと同等のセンサ機能を前記仮想環境モデルの中でシミュレーションすることにより仮想ロボットを生成し前記実ロボットと同期して行動させるシミュレータモジュールと、 前記シミュレータモジュールによる前記仮想ロボットのセンサ情報と前記実ロボットのセンサ情報とを比較して相違を検出する違い検出モジュールと、 前記違い検出モジュールでセンサ情報の違いを検出したときに、該センサ情報の違いをなくすように前記仮想環境モデルを更新する仮想環境モデル更新モジュールと、 前記仮想環境モデルを表示させるモニタ処理モジュールと、を備えたことを特 Wherein said generating a virtual environment model that models the real environment virtual environment model generation module and the actual environment disposed equivalent sensor function and the actual robot can recognize the external world by it act with sensors the virtual environment a simulator module which act to produce a virtual robot synchronized with the actual robot by simulating in the model, the difference by comparing the sensor information of the sensor information and the actual robot in the virtual robot by said simulator module a difference detecting module for detecting, when detecting a difference of the sensor information by the difference detection module, and the virtual environment model update module for updating the virtual environment model to eliminate the difference of the sensor information, the virtual environment model JP further comprising a monitor processing module for displaying, the 徴とする実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体。 Computer readable recording medium recording a program for executing the real-world information display processing according to symptoms.
JP27242097A 1997-10-06 1997-10-06 Real environment information display device and recording medium in which program for executing real environment information display process is recorded and which can be read by computer Pending JPH11104984A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27242097A JPH11104984A (en) 1997-10-06 1997-10-06 Real environment information display device and recording medium in which program for executing real environment information display process is recorded and which can be read by computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27242097A JPH11104984A (en) 1997-10-06 1997-10-06 Real environment information display device and recording medium in which program for executing real environment information display process is recorded and which can be read by computer

Publications (1)

Publication Number Publication Date
JPH11104984A true true JPH11104984A (en) 1999-04-20

Family

ID=17513670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27242097A Pending JPH11104984A (en) 1997-10-06 1997-10-06 Real environment information display device and recording medium in which program for executing real environment information display process is recorded and which can be read by computer

Country Status (1)

Country Link
JP (1) JPH11104984A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051021A (en) * 2001-08-03 2003-02-21 Mitsubishi Electric Corp Information updating device, information acquisition device and information update processing device
WO2004081683A1 (en) * 2003-03-14 2004-09-23 Matsushita Electric Works, Ltd. Autonomously moving robot
US7277559B2 (en) 2002-11-19 2007-10-02 Honda Motor Co., Ltd. Mobile apparatus
WO2009097336A3 (en) * 2008-01-28 2009-10-29 Seegrid Corporation Methods for repurposing temporal-spatial information collected by service robots
KR101026369B1 (en) * 2009-08-05 2011-04-05 (주)시뮬레이션연구소 Integrated control system for real and virtual robot
JP2011100306A (en) * 2009-11-06 2011-05-19 Hitachi Ltd Simulation system
JP2013527040A (en) * 2010-05-26 2013-06-27 ザ・ボーイング・カンパニーThe Boeing Company Method and system for placing the test sensor
KR101363092B1 (en) * 2012-09-20 2014-02-14 강원대학교산학협력단 Implementation method of rils(robot-in-the-loop simulation) in robot system
US8755936B2 (en) 2008-01-28 2014-06-17 Seegrid Corporation Distributed multi-robot system
US8838268B2 (en) 2008-01-28 2014-09-16 Seegrid Corporation Service robot and method of operating same
US8892256B2 (en) 2008-01-28 2014-11-18 Seegrid Corporation Methods for real-time and near real-time interactions with robots that service a facility
KR101487784B1 (en) * 2008-12-22 2015-01-29 삼성전자 주식회사 Robot system and embodiment method thereof
WO2016151617A1 (en) * 2015-03-23 2016-09-29 日本電気株式会社 Estimator management system

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051021A (en) * 2001-08-03 2003-02-21 Mitsubishi Electric Corp Information updating device, information acquisition device and information update processing device
US7277559B2 (en) 2002-11-19 2007-10-02 Honda Motor Co., Ltd. Mobile apparatus
WO2004081683A1 (en) * 2003-03-14 2004-09-23 Matsushita Electric Works, Ltd. Autonomously moving robot
US7684894B2 (en) 2003-03-14 2010-03-23 Panasonic Electric Works Co., Ltd. Autonomously moving robot
KR100773184B1 (en) * 2003-03-14 2007-11-02 마츠시다 덴코 가부시키가이샤 Autonomously moving robot
US8755936B2 (en) 2008-01-28 2014-06-17 Seegrid Corporation Distributed multi-robot system
WO2009097336A3 (en) * 2008-01-28 2009-10-29 Seegrid Corporation Methods for repurposing temporal-spatial information collected by service robots
US9603499B2 (en) 2008-01-28 2017-03-28 Seegrid Corporation Service robot and method of operating same
US8892256B2 (en) 2008-01-28 2014-11-18 Seegrid Corporation Methods for real-time and near real-time interactions with robots that service a facility
JP2011517350A (en) * 2008-01-28 2011-06-02 シーグリッド コーポレーション The method for performing Ripapashingu spatial information when collected by service robots
US8838268B2 (en) 2008-01-28 2014-09-16 Seegrid Corporation Service robot and method of operating same
US8433442B2 (en) 2008-01-28 2013-04-30 Seegrid Corporation Methods for repurposing temporal-spatial information collected by service robots
KR101487784B1 (en) * 2008-12-22 2015-01-29 삼성전자 주식회사 Robot system and embodiment method thereof
KR101026369B1 (en) * 2009-08-05 2011-04-05 (주)시뮬레이션연구소 Integrated control system for real and virtual robot
JP2011100306A (en) * 2009-11-06 2011-05-19 Hitachi Ltd Simulation system
JP2013527040A (en) * 2010-05-26 2013-06-27 ザ・ボーイング・カンパニーThe Boeing Company Method and system for placing the test sensor
KR101363092B1 (en) * 2012-09-20 2014-02-14 강원대학교산학협력단 Implementation method of rils(robot-in-the-loop simulation) in robot system
WO2016151617A1 (en) * 2015-03-23 2016-09-29 日本電気株式会社 Estimator management system
JPWO2016151617A1 (en) * 2015-03-23 2018-01-18 日本電気株式会社 Estimator management system

Similar Documents

Publication Publication Date Title
Luo et al. Data fusion and sensor integration: State-of-the-art 1990s
Skubic et al. Spatial language for human-robot dialogs
Kam et al. Sensor fusion for mobile robot navigation
US5721691A (en) Reconnaissance and characterization system for limited- or denied-access building and facilities
US5977992A (en) Apparatus and method for assembling content addressable video
Meijers et al. 3D geoinformation indoors: structuring for evacuation
Kostavelis et al. Semantic mapping for mobile robotics tasks: A survey
Kriegman et al. Stereo vision and navigation in buildings for mobile robots
Yamauchi et al. Place recognition in dynamic environments
Balakirsky et al. USARSim: providing a framework for multi-robot performance evaluation
Freksa Spatial aspects of task-specific wayfinding maps
Ricks et al. Ecological displays for robot interaction: A new perspective
Nüchter et al. 6D SLAM—3D mapping outdoor environments
Dudek et al. Robotic exploration as graph construction
Escrig et al. Qualitative spatial reasoning: Theory and practice: Application to robot navigation
Martin et al. Robot Evidence Grids.
Wang et al. Emerging areas: urban operations and UCAVs: a game engine based simulation of the NIST urban search and rescue arenas
Noser et al. Navigation for digital actors based on synthetic vision, memory, and learning
Andújar et al. Way‐Finder: guided tours through complex walkthrough models
US20040109012A1 (en) Virtual Environment capture
Anousaki et al. Simultaneous localization and map building for mobile robot navigation
Prescott Spatial representation for navigation in animats
Schwarz et al. VIASAT-A mobile highway survey system of high accuracy
Germs et al. A multi-view VR interface for 3D GIS
Carpin et al. High fidelity tools for rescue robotics: results and perspectives

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030610