JP4594663B2 - Security robot - Google Patents

Security robot Download PDF

Info

Publication number
JP4594663B2
JP4594663B2 JP2004193756A JP2004193756A JP4594663B2 JP 4594663 B2 JP4594663 B2 JP 4594663B2 JP 2004193756 A JP2004193756 A JP 2004193756A JP 2004193756 A JP2004193756 A JP 2004193756A JP 4594663 B2 JP4594663 B2 JP 4594663B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
sensor
robot
security
unit
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004193756A
Other languages
Japanese (ja)
Other versions
JP2006015435A (en )
Inventor
泰三 吉川
雅和 河合
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/026Acoustical sensing devices
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/19619Details of casing
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light or radiation of shorter wavelength; Actuation by intruding sources of heat, light or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle

Description

この発明は警備ロボットに関し、より具体的には車などの移動体に乗車(搭乗)し、移動体を盗難から守るようにした警備ロボットに関する。 The present invention relates to a security robots, riding in a more mobile of cars in particular (boarding), it relates to security robot so as protect the mobile from theft.

警備ロボットとしては、例えば特許文献1に記載の技術が知られている。 The security robots, for example, techniques described are known in US Pat. その技術にあっては、マイクロフォンやCCDカメラからなる外界センサを備えた、屋内を移動自在なペット型のロボットにおいて、ロボットが得た周辺の環境情報とオーナ情報などを警備会社などの外部に送信し、外部において送信された情報から周辺の環境に異常があると判断されるとき、オーナに通知するように構成している。 In the the art transmission, provided with a external sensor consisting of a microphone, a CCD camera, in freely pet type robot moving indoors, the environmental information and the owner information around the robot to obtain the outside such as a security company and, when it is determined that the information transmitted in the external is abnormal environment around, it is configured to notify the owner.
特開2001−222317号公報 JP 2001-222317 JP

しかしながら、特許文献1記載の技術にあっては、車などの移動体に搭乗可能なロボットではないことは勿論として、ロボットはセンサとして機能するに止まり、自ら異常の度合を判定して動作するものではなかった。 However, in the technology described in Patent Document 1, as well as not a boarding robotic in a mobile object such as a car, which the robot will stop to function as a sensor, it operates to determine the degree of their abnormal In did not. 即ち、ロボットは周辺の環境情報などを外部に送信し、外部側がそれに応じて動作するように構成されているため、異常事態に対処するに際して迅速性や即効性に欠ける憾みがあった。 That is, the robot sends a peripheral environmental information to the outside, because it is configured so that the external side is operated accordingly, there is hate lacks rapidity and immediate effect upon to deal with abnormal situations.

従って、この発明の目的は上記した課題を解決し、移動体に搭乗可能なロボットであってロボット自ら異常の度合を判定し、それに応じて動作するようにした警備ロボットを提供することにある。 An object of this invention is therefore to solve the above problems, a riding robotic the mobile determines the degree of their robot abnormality is to provide a security robot to work accordingly.

上記した課題を解決するために、請求項1にあっては、 基体に接続された2本の腕部と、前記基体に接続された2本の脚部とを備えると共に、移動体に搭乗可能な2足歩行ロボットであって、前記ロボットの内部状態を検出する少なくとも1個の内界センサ 、前記ロボットの外部状態を検出する少なくとも1個の外界センサ 、前記内界センサおよび外界センサの出力から得られる情報に基づいて前記移動体に生じつつある異常が異常の度合に応じて設定される複数の区分のいずれに属するか判断することで異常の度合を判定する異常度合判定手段 、前記判定された異常がSMALL,MEDIUM,LARGEのいずれかの内、前記SMALLのときに音声出力、前記MEDIUMのときに前記音声出力と前記腕部の駆動、前記LAR To solve the problems described above, in the claim 1, 2 and arm portion connected to the substrate, with and a two legs connected to the base body, you can board the mobile a two-legged walking robot, and at least one internal sensor for detecting the internal state of the robot, and at least one external sensor for detecting the external state of the robot, in said field sensor and external sensor and abnormality degree determination means for determining an abnormality of the degree by determining one of whether belongs plurality of sections to be set in accordance with the abnormality degree of abnormality is occurring in the moving body on the basis of information obtained from the output, the determined abnormality SMALL, MEDIUM, of any of LARGE, audio output when the SMALL, driving of the arm portion and the audio output when said MEDIUM, the LAR Eのときに前記音声出力と前記脚部の駆動によって防止動作を行う防止動作手段を備える如く構成した。 It was composed as and a preventive operation means for performing a preventive operation the audio output by the driving of the legs when the E.

請求項2に係る警備ロボットにあっては、さらに、少なくとも前記外界センサの出力から得られる情報を前記移動体の外部に送信する送信手段を備える如く構成した。 In the security robot according to claim 2 further was composed as a transmitting means for transmitting the information obtained from at least the output of said external sensor to the outside of the movable body.

請求項3に係る警備ロボットにあっては、前記内界センサが、前記ロボットに作用する加速度を検出する加速度センサである如く構成した。 In the security robot according to claim 3, wherein the field sensor is, was composed as an acceleration sensor for detecting acceleration acting on the robot.

請求項4に係る警備ロボットにあっては、前記外界センサが、視覚センサである如く構成した。 In the security robot according to claim 4, wherein the external sensor was composed as a visual sensor.

請求項5に係る警備ロボットにあっては、前記視覚センサが保護カバーの内側に収容されると共に、前記保護カバーの、前記視覚センサの受光孔に対応する位置に、前記受光孔と略同径の孔が穿設される如く構成した。 In the security robot according to claim 5, together with the visual sensor is housed inside the protective cover, the protective cover at a position corresponding to the light receiving hole of the visual sensor, the light receiving hole and substantially the same diameter hole of was constructed as being drilled.

請求項6に係る警備ロボットにあっては、前記外界センサが、聴覚センサである如く構成した。 In the security robot according to claim 6, wherein the external sensor was composed as a hearing sensor.

請求項1にあっては、 基体に接続された2本の腕部と、基体に接続された2本の脚部とを備えると共に、移動体に搭乗可能な2足歩行ロボットであって、その内部状態と外部状態を検出する少なくとも内界センサおよび外界センサの出力から得られる情報に基づいて移動体に生じつつある異常が異常の度合に応じて設定される複数の区分のいずれに属するか判断することで異常の度合を判定し、判定された異常がSMALL,MEDIUM,LARGEのいずれかの内、SMALLのときに音声出力、MEDIUMのときに音声出力と腕部の駆動、LARGEのときに音声出力と脚部の駆動によって防止動作を行う如く構成したので、盗難などの異常事態に対して迅速に対処できると共に、異常の度合に応じて動作することで、その状況で最 In the claim 1, 2 and arm portion connected to the substrate, with and a two legs connected to the substrate, a bipedal walking robot capable onboard the moving body, the determining one of whether belongs plurality of segments abnormality is occurring in the moving object based on at least internal sensor and information obtained from the output of the external sensor for detecting the internal state and external state is set according to the degree of abnormality determines the degree of abnormality by, the determined abnormality SMALL, MEDIUM, of any of LARGE, audio output when the SMALL, driving the audio output and the arm portion when the MEDIUM, voice when LARGE Owing to this arrangement performs the preventing operation by driving the output and the leg, it is possible to quickly cope with an abnormal situation such as theft, by operating according to the degree of abnormality, most in that situation 適切な対策をとることができる。 It is possible to take appropriate measures. また、車などの移動体に乗車(搭乗)するのが容易であると共に、腕部などを動作させて警告することも可能となり、警備効果を一層上げることができる。 Further, with an easy to ride (boarding) in a mobile object such as a car, it becomes possible to warn by operating and arms, can be further enhance the security effect.

請求項2に係る警備ロボットにあっては、さらに、少なくとも外界センサの出力から得られる情報を移動体の外部に送信する如く構成したので、上記した効果に加え、移動体の外部、例えばオーナに送信することで、外部側にあっては、離間した位置から移動体を監視できると共に、状況に応じて必要な対策を講じることができる。 In the security robot according to claim 2, further Owing to this construction transmits the information obtained from the output of the at least external sensor to the outside of the moving body, in addition to the effects mentioned above, external mobile, for example, the owner by transmitting, in the outer side, it is possible to monitor the moving object from a position apart, it may be necessary measures according to the situation.

請求項3に係る警備ロボットにあっては、内界センサがロボットに作用する加速度を検出する加速度センサである如く構成したので、上記した効果に加え、移動体に作用する振動を検出することができて移動体が盗難に遭遇する状況などを迅速に検知することができる。 In the security robot according to claim 3, since internal sensor is composed as an acceleration sensor for detecting acceleration acting on the robot, in addition to the effects mentioned above, to detect the vibration acting on the mobile can the moving body can be detected, such as a rapid situation encountered in the theft.

請求項4に係る警備ロボットにあっては、外界センサが視覚センサである如く構成したので、上記した効果に加え、移動体の周囲環境を視覚的に検出することができ、不審者が存在する状況などを的確に検出して必要な対策を講じることができる。 In the security robot according to claim 4, since external sensor is composed as a visual sensor, in addition to the effects mentioned above, the environment of the moving body can be detected visually, there is a suspicious person it is possible the necessary measures situation such as to accurately detect.

請求項5に係る警備ロボットにあっては、視覚センサが保護カバーの内側に収容されると共に、それの視覚センサの受光孔に対応する位置に受光孔と略同径の孔が穿設される如く構成したので、上記した効果に加え、保護カバーの外側にシールドを設けるときも、視覚センサの移動によってシールドを透過する光の屈折率が変化することがないことから、視覚センサから得られる撮影画像に歪みが生じることがなく、常に鮮明な撮影画像を得ることができる。 In the security robot according to claim 5, the visual sensor is housed inside the protective cover, a light receiving hole substantially the same diameter of the hole is bored at a position corresponding to the light receiving hole in it of a visual sensor Owing to this configuration, in addition to the effects mentioned above, even when provided shielding to the outside of the protective cover, since there is no the refractive index of the light passing through the shield by the movement of the visual sensor changes, resulting from the visual sensor shooting without distortion occurs in the image, always clear captured image can be obtained.

請求項6に係る警備ロボットにあっては、外界センサが聴覚センサである如く構成したので、上記した効果に加え、移動体の周囲環境を聴覚的に検出することができ、移動体をこじ開けようとする異音などを的確に検出して必要な対策を講じることができる。 In the security robot according to claim 6, since the external sensor is composed as a hearing sensor, in addition to the effects mentioned above, the environment of the moving body can be aurally detected, it will pry mobile can measures required by such a accurately detect abnormal noise to.

以下、添付図面に即してこの発明に係る警備ロボットを実施するための最良の形態について説明する。 Hereinafter, the best mode for carrying out the security robots according to the invention will now be explained with reference to the attached drawings.

以下、添付図面を参照してこの発明の第1実施例に係る警備ロボットを説明する。 Hereinafter, with reference to the accompanying drawings illustrating a security robot according to a first embodiment of the present invention.

図1はこの実施の形態に係る警備ロボットの正面図、図2はその側面図である。 Figure 1 is a front view of a security robot according to this embodiment, FIG. 2 is a side view thereof. 尚、警備ロボットとしては、2個の脚部と2個の腕部を備え、2足歩行して移動するヒューマノイド型(人間型)の脚式移動ロボットを例にとる。 As the security robots, it takes two legs and provided with two arms, the legged mobile robot of humanoid type that moves walking bipedal (humanoid) as an example.

図1に示すように、警備ロボット(以下「ロボット」という)1は、複数個(本)、より具体的には2個(本)の脚部2を備えると共に、その上方には基体(上体)3が設けられる。 As shown in FIG. 1, security robots (hereinafter referred to as "robot") 1 has a plurality (present), together with a more specifically comprises a leg 2 of 2 (the present), in its upper base (on body) 3 is provided. 基体3のさらに上方には頭部4が形成されると共に、基体3の両側には2個(本)の腕部5が連結される。 With the head 4 and more above the substrate 3 is formed, on both sides of the base body 3 is arms 5 of the two (this) is connected. また、図2に示すように、基体3の背部には格納部6が設けられ、その内部には電子制御ユニット(後述)およびバッテリなどが収容される。 Further, as shown in FIG. 2, the back of the body 3 storage unit 6 is provided, inside thereof, such as an electronic control unit (described later) and the battery is housed.

尚、図1および図2に示すロボット1は、内部構造を保護するためのカバーで被覆される。 Note that the robot 1 shown in FIGS. 1 and 2 is equipped with covers for protecting its internal structures.

図3はロボット1をスケルトンで示す説明図である。 Figure 3 is an explanatory view showing the robot 1 in the skeleton. 同図を参照してその内部構造を関節を中心に説明すると、図示の如く、ロボット1は、左右それぞれの脚部2および腕部5に、11個の電動モータで動力化された6個の関節を備える。 To describe the internal structure around the joints with reference to the figure, as shown, the robot 1, the right and left leg portions 2 and the arms 5, 6 which are motorized by eleven electric motors It provided with a joint.

即ち、ロボット1は、腰部(股部)の股関節に、脚部2を鉛直軸(Z軸あるいは鉛直軸)まわりに回転させる関節を駆動する電動モータ10R,10L(右側をR、左側をLとする。左右対称であることから、以下R,Lの表記を省略する)と、脚部2をピッチ(進行)方向(Y軸まわり)に揺動させる関節を駆動する電動モータ12と、脚部2をロール(左右)方向(X軸まわり)に回転させる関節を駆動する電動モータ14を備えると共に、膝部に脚部2の下部をピッチ方向(Y軸まわり)に回転させる膝関節を駆動する電動モータ16を備え、さらに足首に脚部2の先端側をピッチ方向(Y軸まわり)に回転させる足(足首)関節を駆動する電動モータ18とロール方向(X軸まわり)に回転させる足(足首)関節を駆動する電動モー That is, the robot 1, the hip of the waist (hip portion), and an electric motor 10R for driving the joints for rotating the legs 2 around a vertical axis (Z axis or vertical axis), 10L (the right side R, the left L to. because it is symmetrical, hereinafter R, abbreviated) notation L, the electric motor 12 for driving the joints for swinging the legs 2 in the pitch (traveling) direction (around the Y axis), the legs 2 with the comprises an electric motor 14 which drives a joint for rotating the roll (lateral) direction (around the X axis), for driving the knee joint to rotate the lower part of the leg 2 in the pitch direction (around the Y axis) to the knee an electric motor 16, further legs to rotate the distal end side of the leg 2 to the electric motor 18 and the roll direction for driving the foot (ankle) joints for rotating the pitch direction (about the Y-axis) (about the X axis) to the ankle ( electric motor to drive the ankle) joint 20を備える。 Equipped with a 20.

上記したように、図3において、関節はそれを駆動する電動モータ(あるいは電動モータに接続されてその動力を伝動するプーリなどの伝動要素)の回転軸線で示す。 As described above, in FIG. 3, the joint is indicated by the axis of rotation of the electric motor for driving the (or transmission element, such as a pulley connected to the electric motor to the transmission that power). 尚、脚部2の先端には足部22が取着される。 Incidentally, the tip of the leg portion 2 foot 22 is attached.

このように、脚部2の股関節には電動モータ10,12,14がそれらの回転軸線が直交するように配置されると共に、足関節(足首関節)には電動モータ18,20がそれらの回転軸線が直交するように配置される。 Thus, the electric motor 10, 12 to the hip of the leg portion 2 is arranged so that their axes of rotation oriented orthogonally, rotating electric motors 18 and 20 thereof to the ankle (ankle joint) axis are arranged perpendicular. 尚、股関節と膝関節は大腿リンク24で、膝関節と足関節は下腿リンク26で連結される。 The hip joints and knee joints are in the thigh link 24, the knee joints and ankle joints are connected by shank links 26.

脚部2は股関節を介して基体3に連結されるが、図3では基体3を基体リンク28として簡略的に示す。 Although the legs 2 is connected to the body 3 via the hip joints, schematically showing the FIG. 3, the base 3 as the base link 28. 前記したように、基体3には腕部5が連結される。 As mentioned above, the base body 3 arms 5 are connected.

腕部5も、脚部2と同様に構成される。 Arms 5 are configured similarly to the legs 2. 即ち、ロボット1は、肩部の肩関節に、腕部5をピッチ方向に回転させる関節を駆動する電動モータ30とロール方向に回転させる関節を駆動する電動モータ32を備えると共に、その自由端側を回転させる関節を駆動する電動モータ34と、肘部にそれ以降の部位を回転させる関節を駆動する電動モータ36を備え、さらにその先端側にそれを回転させる手首関節を駆動する電動モータ38を備える。 That is, the robot 1, the shoulder joint of the shoulder portion provided with a motor 32 for driving the joints for rotating the arms 5 in the electric motor 30 and the roll direction for driving joints to rotate in the pitch direction, the free end an electric motor 34 which drives a joint that rotates the, an electric motor 36 which drives a joint that rotates the subsequent sites elbow, the electric motor 38 for driving the wrist joints to further rotate it to its distal end provided. 手首の先にはハンド(エンドエフェクタ)40が取着される。 The wrist of the previous hand (end effector) 40 is attached.

即ち、腕部5の肩関節には電動モータ30,32,34がそれらの回転軸線が直交するように配置される。 That is, the shoulder joints of the arms 5 are electric motors 30, 32 and 34 are arranged such that their axes of rotation oriented orthogonally. 尚、肩関節と肘関節とは上腕リンク42で、肘関節と手首関節とは下腕リンク44で連結される。 It should be noted that the shoulder joint and the elbow joint with the upper arm link 42 and the elbow joints and wrist joints are connected by forearm links 44.

図示は省略するが、ハンド40は5本のフィンガ(指)40aの駆動機構を備え、フィンガ40aで物を把持するなどの作業ができるように構成される。 Although not shown, the hand 40 is provided with a driving mechanism of the five fingers (finger) 40a, configured to allow operations such as grasping an object with the fingers 40a.

また、頭部4は、鉛直軸まわりの電動モータ(首関節を構成)46と、それと直交する軸まわりに頭部4を回転させる頭部揺動機構48を介して基体3に連結される。 Also, the head 4 includes an electric motor (constituting a neck joint) 46 around the vertical axis, is connected to the body 3 of the head 4 around an axis perpendicular thereto a head swinging mechanism 48 that rotates. 図3に示す如く、頭部4の内部には2個のCCDカメラ(外界センサ)50がステレオ視自在に配置されると共に、音声入出力装置52が配置される。 As shown in FIG. 3, the interior of the head 4 with two CCD cameras (external sensor) 50 is arranged freely stereo vision, it is disposed audio input and output device 52. 音声入出力装置52は、後で図6に示す如く、マイクロフォン(外界センサ)52aおよびスピーカ52bを備える。 Audio input and output device 52, later as shown in FIG. 6, comprises a microphone (external sensor) 52a and a speaker 52b.

上記の構成により、脚部2は左右の足について6個の関節を備えて合計12の自由度を与えられ、6個の関節を適宜な角度で駆動(関節変位)することで、脚部2に所望の動きを与えることができ、ロボット1を任意に3次元空間において歩行させることができる。 With the above configuration, the legs 2 is given the freedom of total 12 includes six joints for each foot, by driving at appropriate angles six joints (joint displacement), the legs 2 desired movement can give, it is possible to walk in a three-dimensional space the robot 1 arbitrarily. また、腕部5も左右の腕について5個の関節を備えて合計10の自由度を与えられ、5個の関節を適宜な角度で駆動(関節変位)することで所望の作業を行わせることができる。 Further, the arm portion 5 also given freedom in total 10 comprises five joints for the left and right arms, the drive to appropriate angles five joints (joint displacement) possible to perform the desired work by can. さらに、頭部4は2つの自由度からなる関節あるいは揺動機構を与えられ、これらを適宜な角度で駆動することにより所望の方向に頭部4を向けることができる。 Furthermore, the head 4 is provided with a joint or swinging mechanism of two degrees of freedom, so that the head 4 can be faced in a desired direction by driving these to appropriate angles.

図4は、ロボット1が車(移動体)Vの助手席に着座した状態を示す側面図である。 Figure 4 is a side view showing a state where the robot 1 is seated in the passenger seat of the vehicle (moving object) V. このように、ロボット1は上記した関節を駆動することで、車Vなどの移動体に搭乗可能に構成される。 Thus, the robot 1 by driving the joints described above, boarding configured to enable mobile object such as a car V. この実施例にあっては、ロボット1は、車Vが駐車されていて運転者が不在な夜間などに助手席に乗車し、その警備を行う。 In the this example, the robot 1, the driver has been the car V is a car is riding in the passenger seat, such as the absence of night, performing their security.

電動モータ10などのそれぞれにはロータリエンコーダ(図示せず)が設けられ、電動モータの回転軸の回転を通じて対応する関節の角度、角速度、および角加速度の少なくともいずれかを示す信号を出力する。 Each, such as an electric motor 10 is a rotary encoder (not shown) is provided to the output angle of the corresponding joint via rotation of the rotating shaft of the electric motor, the angular velocity, and at least a signal indicating one of the angular acceleration.

足部22には公知の6軸力センサ(内界センサ。以下「力センサ」という)56が取着され、ロボットに作用する外力の内、接地面からロボット1に作用する床反力の3方向成分Fx,Fy,Fzとモーメントの3方向成分Mx,My,Mzを示す信号を出力する。 Known six-axis force sensor in the foot 22 (internal sensor. Hereinafter referred to as "force sensor") 56 is mounted, of the external forces acting on the robot, 3 of the floor reaction force acting from the ground plane to the robot 1 direction component Fx, Fy, 3 direction component of Fz and moment Mx, My, and outputs a signal indicating a Mz.

手首関節とハンド40の間には同種の力センサ(6軸力センサ)58が取着され、ロボット1に作用する床反力以外の外力、具体的にはハンド40に対象物から作用する外力(対象物反力)の3方向成分Fx,Fy,Fzとモーメントの3方向成分Mx,My,Mzを示す信号を出力する。 External force between the wrist joint and the hand 40 are attached force sensor (six-axis force sensor) 58 of the same kind, the external force other than the floor reaction force acting on the robot 1, specifically acting from the object to the hand 40 three directional components Fx of (object reaction force), Fy, three directional components of Fz and moment Mx, My, and outputs a signal indicating a Mz.

基体3には傾斜センサ(内界センサ)60が設置され、鉛直軸に対する基体3の傾き(傾斜角度)とその角速度の少なくともいずれか、即ち、ロボット1の基体3の傾斜(姿勢)などの状態量を示す信号を出力する。 The base body 3 inclination sensor (internal sensor) 60 is installed, the inclination of the base body 3 with respect to the vertical axis (tilt angle) and at least one of its angular velocity, i.e., conditions such as the inclination of the base body 3 of the robot 1 (orientation) and it outputs a signal indicating the amount.

頭部4の内部には、上記したCCDカメラ50および音声入出力装置52に加え、GPS(Global Positioning System)からの信号を受信するGPS受信器62およびジャイロ64が配置される。 Inside the head 4, in addition to the CCD camera 50 and the audio output device 52 described above, GPS receiver 62 and the gyro 64 receives signals from GPS (Global Positioning System) is disposed. また、傾斜センサ60の付近のロボット1の重心位置の付近には加速度センサ(内界センサ)66が配置され、ロボット1に作用する加速度に応じた信号を出力する。 Further, the acceleration sensor (internal sensor) 66 is disposed in the vicinity of the center of gravity of the robot 1 in the vicinity of the tilt sensor 60, and outputs a signal corresponding to the acceleration acting on the robot 1.

ここで、図5を参照して頭部4の頭部揺動機構48とCCDカメラ50の取り付けについて説明すると、頭部揺動機構48は、鉛直軸まわりに回転自在な第1の支持台48aと、ロール軸まわりに回転自在な第2の支持台48bとからなる。 Here, with reference to FIG. 5 will be described mounting of the head swing mechanism 48 and the CCD camera 50 of the head 4, the head swing mechanism 48 includes a first freely rotating around a vertical axis 1 of the support table 48a When, and a second mount 48b freely rotate about the roll axis.

頭部揺動機構48は、その第1の支持台48aを電動モータ(首関節)46に結合しつつ、第2の支持台48bを第1の支持台48aに結合してなり、CCDカメラ50は第2の支持台48bに取り付けられる。 Head swing mechanism 48, while coupling the first support table 48a to the electric motor (neck joint) 46, made by combining the second mount 48b to the first support base 48a, CCD camera 50 It is attached to the second support base 48b. そして、ロータリアクチュエータ48c(および図示しない残りの1個)を含む、それら第1、第2の支持台48a,48bを覆う、頭部4を構成するヘルメット部4aを、第2の支持台48bと実質的に一体をなすステー48dに紙面の前後方向において結合することで、頭部4が完成される。 Then, comprising a rotary actuator 48c (and the remaining one not shown), which first, second support bars 48a, covering 48b, a helmet portion 4a constituting the head 4, and a second mount 48b by substantially to bind in the longitudinal direction of the paper to stay 48d forming the integral head 4 is completed. 尚、図5で音声入出力装置52の図示は省略した。 The illustrated audio input and output device 52 in FIG. 5 is omitted.

頭部4のヘルメット部4aは、前面側でバイザ(保護カバー)4bに取り付けられると共に、その外側において透明のアクリル樹脂で曲面に形成されたシールド4cが同様にヘルメット部4aに取り付けられる。 Helmet portion 4a of the head 4, together with the attached to the visor (protective cover) 4b on the front side, the shield 4c formed in the curved surface of a transparent acrylic resin in the outside is attached to the likewise helmet portion 4a. CCDカメラ50はバイザ4bの内側に収容され、バイザ4bのCCDカメラ50の受光孔が対応する位置、即ち、CCDカメラ50のレンズ窓50aが覗く位置に対応するには、それと略同形の孔4b1が穿設される。 CCD camera 50 is housed inside the visor 4b, the light-receiving hole the corresponding positions of the CCD camera 50 of the visor 4b, i.e., to correspond to the position where the lens window 50a of the CCD camera 50 looks into the same of substantially the same shape hole 4b1 There is bored. 図示は省略するが、CCDカメラは2個設けられることから、孔4b1も、人の眼窩と同様、2個穿設される。 Although not shown, since the CCD camera are provided two, holes 4b1 as well, similar to the human eye sockets are two bored.

かかる構成により、頭部4を構成するヘルメット部4aは第2の支持台48bと実質的に一体をなしているので、第2の支持台48bに固定されるCCDカメラ50の受光方向とヘルメット部4aの動きは常に一致する。 With this configuration, since the helmet portion 4a constituting the head 4 forms a substantially integral with the second support bars 48b, the light receiving direction and the helmet of the CCD camera 50 which is fixed to the second mount 48b movement of 4a is always consistent. さらに、シールド4cはヘルメット部4aに取り付けられているので、CCDカメラ50がどの方向を向いても、シールド4cを透過する光は常に同一の部位を通ることになる。 Further, since the shield 4c is attached to the helmet portion 4a, also facing any direction CCD camera 50, light transmitted through the shield 4c will always pass through the same site. その結果、シールド4cの曲面が厳密に均一でなくても、シールド4cを透過する光の屈折率が変化することがないことから、CCDカメラ50から得られる撮影画像に歪みが生じることがなく、常に鮮明な撮影画像を得ることができる。 As a result, even if not strictly uniform curved surface of the shield 4c is, since there is no the refractive index of light transmitted through the shield 4c is changed, without distortion occurs in the captured image obtained from the CCD camera 50, always clear captured image can be obtained.

図3の説明に戻ると、これら力センサ56などの出力群は、格納部6に収容されたマイクロコンピュータからなる電子制御ユニット(Electric Control Unit 。以下「ECU」という)70に送られる(図示の便宜のためロボット1の右側についてのみ、入出力を図示する)。 Returning to the explanation of FIG. 3, the output unit such as these force sensors 56, an electronic control unit consisting housed in the storage portion 6 microcomputer sent to (Electric Control Unit. Hereinafter referred to as "ECU") 70 (shown the right side of the robot 1 for convenience only, illustrates the input and output).

図6は、ECU70の構成を示すブロック図である。 Figure 6 is a block diagram showing the configuration of ECU 70.

図示の如く、ECU70はCPU100a、記憶装置100bおよび入出力インターフェース100cからなるマイクロコンピュータ100を備え、ロボット1が安定な姿勢で移動できるように、関節角変位指令を算出して各関節を構成する電動モータ10などの駆動を制御する。 As illustrated, ECU 70 constitutes CPU 100a, a microcomputer 100 comprising a storage device 100b and output interface 100c, to the robot 1 can move in a stable posture, the joints by calculating the joint angle displacement command electric controlling the driving of a motor 10. また、ECU70は、後述するように警備に必要な種々の処理を行うが、それについては後述する。 Further, ECU 70 is performs various processes necessary for security as described below, which will be described later.

図7は、ECU70のマイクロコンピュータ100においてCPU100aが行う処理をブロック化して示すブロック図である。 Figure 7 is a block diagram illustrating as blocks a process CPU100a performed in the microcomputer 100 of the ECU 70. 尚、図7でセンサなどの図示は多く省略した。 It should be noted that an illustration such as sensors in Figure 7 are omitted many.

図7から明らかな如く、CPU100aは、画像認識部102、音声認識部104、自己位置推定部106、地図データベース108、それらが出力する情報に基づいてロボット1の行動を決定する行動決定部110、および行動決定部110によって決定された行動に基づいてロボット1の行動を制御する動作制御部112などを備える。 As is clear from FIG. 7, CPU 100a, the image recognition unit 102, the voice recognition unit 104, the self-position estimating unit 106, a map database 108, action determination unit 110 that determines the action of the robot 1 based on the information they output, and a like operation control unit 112 for controlling the action of the robot 1 based on the action determined by the action determination unit 110.

以下、それぞれ説明すると、画像認識部102は、距離認識部1 02a、移動体認識部102b、ジェスチャ認識部102c、姿勢認識部102d、顔領域認識部102e、指示領域認識部102f、不審者判別部102gならびに顔データベース102hからなる。 Hereinafter, when each is described, the image recognition unit 102, the distance recognition unit 1 02a, mobile recognition unit 102b, the gesture recognition unit 102c, posture recognition unit 102d, the face area recognition unit 102e, an instruction region recognition unit 102f, a suspicious person discriminator 102g, as well as consisting of face database 102h. 尚、2個のCCDカメラ50で周囲の環境をステレオ視して得られた撮影画像は、画像入力部114から距離認識部102aに入力される。 Incidentally, the two photographed images obtained by the stereo view of the surrounding environment by the CCD camera 50 is inputted from the image input unit 114 to the distance recognition unit 102a.

距離認識部102aは入力した撮影画像の視差から撮影対象までの距離情報を算出し、距離画像を生成する。 Distance identification unit 102a calculates distance information from a parallax of the captured image input to the photographing target, and generates a distance image. 移動体認識部102bは、距離画像を入力し、複数フレーム間の撮像画像の差分を算出して人や車などの移動するものを認識(検出)する。 Mobile recognition unit 102b, distance image type and recognizes what moves such as people and vehicles by calculating the difference between the captured images between a plurality of frames (detected).

ジェスチャ認識部102cは、先に提案した特開2003−077673号公報に記載される技術に基づいて人の手の動きを認識し、予め記憶されている手の特徴的な動きと比較して人が発話と共に行う、ジェスチャによる指示を認識する。 Gesture recognition unit 102c, human compared to the characteristic movement of the hand to recognize the movement of a person's hand based on the technique described in JP 2003-077673 JP previously proposed, are stored in advance There is carried out along with the speech, it recognizes the instruction by the gesture.

姿勢認識部102dは、同様に先に提案した特開2003−039365号に開示される技術に基づいて人の姿勢を認識する。 Posture recognition unit 102d recognizes a human posture based on the technique disclosed in JP 2003-039365 JP previously proposed as well. また、顔領域認識部102eは、同様に先に提案した特開2002−216129号に記載される技術に基づいて人の顔領域を認識する。 The face area recognition unit 102e recognizes the human face region based on the technique described in JP 2002-216129 JP previously proposed as well. また、指示領域認識部102fは、同様に先に提案した特開2003−094288号に開示される技術に基づいて人が手などで指示する方向を認識する。 Further, an instruction area recognition unit 102f, human based on the technique disclosed in JP 2003-094288 JP previously proposed similarly recognize the direction of indicated by hands.

不審者判別部102gは、認識された顔領域の顔を顔データベース102hに登録された顔と比較し、一致しないとき、撮影された人は不審者と判別する。 Suspicious person determination unit 102g compares the recognized face of the face area has been registered in the face database 102h face, when they do not match, the person taken discriminates a suspicious person. 顔データベース102hには、車Vのオーナ、その家族など、ロボット1が車Vの助手席に乗車している状態において車Vに接近しても、後述する警告などの防止動作を行う必要のない人の顔が予め登録される。 The face database 102h, the car V owner, such as their families, the robot 1 is also in close proximity to the vehicle V in a state in which riding in the passenger seat of the car V, there is no need to perform a preventive operation, such as a warning, which will be described later the face of the person is registered in advance.

音声認識部104は指示範囲特定部104aを備える。 Speech recognition unit 104 includes an instruction range specification section 104a. 指示範囲特定部104aは、音声入出力装置のマイクロフォン52aから入力された人の音声を入力し、記憶装置100bに予め記憶された語彙に基づき、人の指示を認識する。 Indicated range specification unit 104a receives the human voice input from the microphone 52a of the audio input and output device, based on the previously stored vocabulary storage device 100b, recognizes the instruction of the person. 尚、マイクロフォン52aから入力された音声は音源特定部116にも入力され、そこで音源の位置が特定されると共に、人の音声か、あるいはそれ以外のドアをこじ開けようとする異音などであるか否かが判別される。 Incidentally, if the voice input from the microphone 52a is also input to the sound source identification unit 116, where together with the position of the sound source is identified, is the abnormal sound to be pry speech or, or other doors of the human whether or not.

自己位置推定部106は、GPS受信器62を介して受信されたGPS信号などを入力し、ロボット1の現在位置と、向いている方向を推定(検出)する。 Self-position estimating section 106, such as by entering the GPS signal received through the GPS receiver 62 estimates the current position of the robot 1, the direction facing (detected).

地図データベース108は記憶装置100bに格納されてなり、そこには周囲環境について障害物の位置が登録された地図データが予め作成されて記憶される。 The map database 108 comprises stored in the storage unit 100b, there map data whose position is registered obstacle for the surrounding environment is created and stored in advance in the.

行動決定部110は、特定位置決定部110a、移動容易度判断部110bおよび異常度合判定部110cを備える。 Action decision unit 110 is provided with a specific position determination unit 110a, moving easiness determination unit 110b and the abnormality degree determination unit 110c.

特定位置決定部110aは、画像認識部102で認識された人の指示領域と、音声認識部104で絞り込まれた指示領域とから、移動の目標値として人が特定した位置を決定する。 Specific position determination unit 110a determines a designated area of ​​a person recognized by the image recognition unit 102, and a pointing area narrowed by the speech recognition unit 104, a position where the person is identified as the target value of the movement.

移動容易度判断部110bは、地図データ108から読み出されたロボット1の現在位置の周辺の地図データ上において障害物の位置を認識し、その付近を警戒領域として設定すると共に、設定された警戒領域から所定距離離れるまでの領域をマージン領域として設定し、それらから移動の容易度を「困難」、「要注意」などと判断する。 Moving easiness determining unit 110b, with recognizing the position of the obstacle on the periphery of the map data of the current position of the robot 1 which is read from the map data 108, sets the near as warning area, set warning set the region from the region to a predetermined distance away as a margin area, "difficult" ease of moving from them determines that such "suspect".

行動決定部110は、画像認識部102および音声認識部104の認識結果に基づき、特定位置決定部110aによって決定された特定位置への移動が必要か否か判断する。 Action decision section 110, based on the recognition result of the image recognition unit 102 and the voice recognition unit 104, is moved to a specific location determined by the particular position determination unit 110a determines whether or not it is necessary. さらに、行動決定部110は、移動容易度判断部110bによって判断された容易度に基づき、例えば「困難」と判断された場合、歩行速度を低下させるなどの決定を行うと共に、画像認識部102や音声認識部104などから入力される情報に応じてロボット1の次の行動を決定、例えば音源特定部116から音源の位置情報が出力された場合、ロボット1の向きを音源の方向に変えるなどの行動を決定する。 Furthermore, the action decision unit 110, based on the ease of which is determined by the mobile easiness determining unit 110b, for example, when it is determined that the "difficulty", together with the determination of such reducing the walking speed, Ya image recognition unit 102 determining a next action of the robot 1 in accordance with information input from the voice recognition unit 104, for example, when the position information of the sound source from the sound source identification unit 116 is output, such as changing the direction of the robot 1 in the direction of the sound source to determine the action.

尚、異常度合判定部110cについては後述する。 It will be described later abnormality degree determination unit 110c.

行動決定部110で決定された行動は、動作制御部112に送られる。 Action determined by the action determination unit 110 is sent to the operation controller 112. 動作制御部112は、決定された行動に応じ、移動制御部130や発話生成部132に行動の指示を出力する。 Operation control unit 112, according to the determined action, and outputs an instruction for action to the movement control unit 130 and the speech generating unit 132.

移動制御部130は、動作制御部112の指示に応じ、脚部2、頭部4、腕部5の電動モータ10などに駆動信号を出力し、ロボット1を移動(動作)させる。 Movement control unit 130, according to an instruction of the operation controller 112, the leg portion 2, and outputs a drive signal such as an electric motor 10 of the head 4, the arms 5, causes the movement of the robot 1 (operation).

発話生成部132は、動作制御部112の指示に従って記憶装置100bに記憶された発話すべき文字列データから発話すべき音声信号を合成し、音声入出力装置52のスピーカ52bを駆動する。 Utterance generation unit 132 synthesizes the speech signal to be uttered from the character string data to be uttered stored in the storage device 100b in accordance with an instruction of the operation control unit 112 to drive the speaker 52b of the audio input and output device 52. 尚、発話すべき文字列データとしては、警備の都合上、「止めなさい。警察に通報するぞ」などのデータを含む。 It should be noted that, as the character string data to be uttered, for the sake of security, including data such as "Please stop.'ll be reported to the police." また、発話生成部132は、人の音声のみならず、警告音からなる音声信号も合成し、スピーカ52bを駆動して発生させる。 Also, speech generator unit 132 includes not only the voice of a person, also synthesized speech signal consisting of alarm sound, it is generated by driving the speaker 52b.

次いで、異常度合判定部110cについて説明する。 Next, it will be described abnormality degree determination unit 110c.

上に述べた如く、この発明の目的は、移動体に搭乗可能なロボットであって、ロボット自ら異常の度合を判定し、それに応じて動作するようにした警備ロボットを提供することにある。 As mentioned above, object of the invention is to provide a boarding robotic the mobile determines the degree of their robot abnormality is to provide a security robot to work accordingly.

その意図から、この実施例にあっては、ロボット1の内部状態を検出する加速度センサ(内界センサ)66と、ロボット1の外部状態を検出するCCDカメラ(外界センサ)50とマイクロフォン(外界センサ)52aと、それらセンサ群の出力から得られる情報、具体的にはロボット1に作用する加速度情報、画像認識部102で得られる画像情報および音声認識部104で得られる音声情報を入力し、入力した情報に基づいて車(移動体)Vに生じつつある異常の度合を判定する異常度合判定部(異常度合判定手段)110cを備えると共に、動作制御部112を、判定された異常の度合に応じて防止動作を行う防止動作手段として動作させる如く構成した。 From the spirit, in this embodiment, an acceleration sensor (internal sensor) 66 for detecting the internal state of the robot 1, CCD camera (external sensor) for detecting the external state of the robot 1 50 and the microphone (external sensor ) and 52a, the information obtained from the output of the sensors groups, specifically inputting audio information obtained by the acceleration information, image information and the voice recognition unit 104 obtained by the image recognition unit 102 acting on the robot 1, the input provided with a vehicle abnormality degree determination unit for determining an abnormality degree that is being generated in (mobile) V (abnormality degree determination means) 110c, based on the information, the operation control unit 112, according to the degree of the determined abnormal was constructed as to operate as a preventive operation means for performing a preventive operation Te.

さらに、ECU70は、無線装置(送信手段)140を備え、無線装置140を介して外部、例えば車Vのオーナが所持するパーソナルコンピュータ200(あるいは車Vのオーナが所持する携帯電話)に、図示しないその無線通信端末を介して通信自在に構成され、少なくとも上記した外界センサ50,52aの出力から得られる画像情報および音声認識情報を車(移動体)Vの外部に送信するように構成した。 Further, ECU 70 is provided with a wireless device (transmission means) 140, the outside via a wireless device 140, for example, a personal computer 200 owner of the car V possessed (or a mobile phone owner of the car V possessed), not shown via its wireless communication terminal is configured communicate freely, and configured to transmit the image information and speech recognition information obtained from the output of the external sensor 50,52a that at least the car (moving body) to the outside of the V. 尚、車Vのオーナに代え、車Vの販売店あるいは警備会社などであっても良い。 It should be noted that, instead of the owner of the car V, it may be a dealer or a security company car V.

図8に、異常度合判定部110cが入力した情報に基づいて行う異常の度合と、それに応じて移動制御部130などが行う防止動作を示す。 8 shows an abnormality of the degree of performing on the basis of the abnormality degree determination unit 110c inputs information, preventing operation of such movement control unit 130 performs accordingly. 図示の如く、異常の度合は、SMALL(軽微)、MEDIUM(中程度)およびLARGE(重大)の3種に区分され、それに応じて注意、警告、制止からなる3種の防止動作が行われる。 As illustrated, abnormality degree, SMALL (minor), is divided into three MEDIUM (medium) and LARGE (critical), attention accordingly, warning, three prevention operation is performed consisting stop.

尚、図8の検出加速度に関し、第1、第2、第3の所定値はそれぞれ、例えば、0.05G,0.1G,0.2Gとする(G:重力加速度)。 Note relates detecting acceleration in FIG. 8, first, second, third predetermined value respectively, for example, 0.05 G, 0.1 G, and 0.2 G (G: gravitational acceleration). 加速度センサ66を設けてロボット1に作用する加速度を検出するようにしたのは、不審者が車Vのドアをこじ開けるなどして侵入し、運転席に座ってエンジンを始動させて車Vを移動させた場合、乗車しているロボット1にX,Y軸(図3に示す)方向の加速度が作用、即ち、振動が作用することから、その検出値から車Vが移動されたか否か推定できるためである。 Was provided an acceleration sensor 66 to detect the acceleration acting on the robot 1 moves suspicious person intrudes in such pry open the doors of the vehicle V, the vehicle V to start the engine sitting in the driver's seat If is, X in the robot 1 that are riding, Y-axis (FIG. 3) the direction of acceleration action, i.e., since the vibration is applied, it can be estimated whether the car V is moved from the detected value This is because.

次いで、図9フロー・チャートを参照して図1に示すロボット1の動作を説明する。 Next, the operation of the robot 1 shown in FIG 1 with reference to FIG. 9 flowchart. これは具体的には、ECU70のマイクロコンピュータ100においてCPU100aが行う動作である。 This is specifically the operation CPU100a performed in the microcomputer 100 of the ECU 70.

尚、図9に示す処理は、車Vが駐車されて停止しており、運転者は不在であって、助手席にロボット1が警備ロボットとして乗車している状況を前提とする。 The processing shown in FIG. 9 is stopped vehicle V is parked, the driver be absent, assume a situation where the robot 1 in the passenger seat is riding a security robots.

以下説明すると、S10において加速度センサ66の出力、および画像認識部102と音声認識部104の処理結果、即ち、それらの出力を読み出す。 Explaining, acceleration output of the sensor 66, and the image recognition unit 102 and the processing result of the speech recognition unit 104 in S10, i.e., reads their output. 次いで、S12に進み、車Vのオーナなどのパーソナルコンピュータ200からその無線通信端末およびECU70側の無線装置140を介して送信リクエストがなされているか否か判断し、肯定されるときはS14に進み、無線装置140などを介してパーソナルコンピュータ200に得られた出力の中、画像認識部102の処理結果を送信する。 Then, the program proceeds to S12, it is determined whether the transmission request from the personal computer 200, such as the owner of the vehicle V via the wireless communication terminal and the ECU70 side of the wireless device 140 have been made, the process proceeds to S14 when the result is affirmative, in the output obtained in the personal computer 200 via a wireless device 140, it transmits the processing result of the image recognition unit 102.

これにより、オーナなどは、離れた位置から車Vを監視することができる。 Thus, such owner can monitor the vehicle V from a distance. 尚、S12で否定されるとき、S14をスキップする。 Incidentally, if negative in S12, skipping S14.

次いでS16に進み、読み出された出力(情報)に基づいて上記したように異常の度合を判定し、S18に進み、判定された度合がSMALLか否か判断する。 Next, in S16, based on the read output (information) to determine the degree of abnormality as described above, the process proceeds to S18, the determined degree is determined whether SMALL. S18で肯定されるときはS20に進み、防止動作として図8に示す注意を実行する。 When the result is affirmative in S18 the process proceeds to S20, to execute the note shown in Figure 8 as preventing operation. この動作は具体的には、CPU100aにおいて動作制御部112は、異常度合判定部110cの判定結果から発話生成部132で警告音を合成させ、音声入出力装置52のスピーカ52bを駆動して警告音を発生させることで行う。 The operation specifically, the operation control unit 112 in CPU100a causes the synthesis of a warning sound from the determination result of the abnormality degree determination unit 110c in utterance generation unit 132, a warning sound by driving a speaker 52b of the audio input and output device 52 It carried out by generating.

S18で否定されるときはS22に進み、判定された度合がMEDIUMか否か判断し、肯定されるときはS24に進み、防止動作として図8に示す警告を実行する。 Proceeds to S22, if negative in S18, the determined degree is determined whether MEDIUM, in S24 when the result is affirmative, executes a warning illustrated in FIG. 8 as preventing operation. この動作は具体的には、CPU100aにおいて動作制御部112は、異常度合判定部110cの判定結果から発話生成部132で音声信号を合成させ、音声入出力装置52のスピーカ52bを駆動して発話させると共に、移動制御部130で腕部5を構成する電動モータ30などの駆動を制御させることで行う。 The operation specifically, the operation control unit 112 in CPU100a causes the synthesized speech signal in the speech generator 132 from the determination result of the abnormality degree determination unit 110c, is spoken by driving the speaker 52b of the audio input and output device 52 with it, thereby controlling the drive such as an electric motor 30 constituting the arm portion 5 in the mobile control unit 130.

また、S22で否定されるときはS26に進み、判定された度合がLARGEか否か判断し、肯定されるときはS28に進み、防止動作として図8に示す制止を実行する。 Further, in S26 when the determination is negative in S22, the determined degree is determined whether LARGE proceeds to S28 when the result is affirmative, executes stop shown in FIG. 8 as preventing operation. この動作は具体的には、CPU100aにおいて動作制御部112は、異常度合判定部110cの判定結果から発話生成部132で音声信号を合成させ、音声入出力装置52のスピーカ52bを駆動して発話させると共に、移動制御部130で脚部2を構成する電動モータ10など種々の電動モータの駆動を制御させることで行う。 The operation specifically, the operation control unit 112 in CPU100a causes the synthesized speech signal in the speech generator 132 from the determination result of the abnormality degree determination unit 110c, is spoken by driving the speaker 52b of the audio input and output device 52 with it, thereby controlling the driving of the various electric motor such as an electric motor 10 which constitutes the leg 2 in the mobile control unit 130.

尚、上記のS16からS28までの処理、特にS28の処理をECU70のマイクロコンピュータ100の記憶装置100bに記憶しておき、盗難などの異常の発生の経過を記録しておくものとする。 Note that the processing from S16 in the up S28, stores particular processing S28 in the storage unit 100b of the microcomputer 100 of the ECU 70, it is assumed that recording the course of the occurrence of abnormality, such as theft.

上記した如く、この実施例に係る警備ロボット1は基体3に接続された2本の腕部5と、前記基体に接続された2本の脚部2とを備えると共に、車(移動体)Vに搭乗可能な2足歩行ロボットであって、ロボット1の内部状態を検出する少なくとも1個の加速度センサ(内界センサ)66 、ロボット1の外部状態を検出する少なくとも1個の外界センサ、より具体的にはCCDカメラ50とマイクロフォン52aと、加速度センサ(内界センサ)66およびCCDカメラ50とマイクロフォン52a(外界センサ)の出力から得られる情報に基づいて車Vに生じつつある異常が異常の度合に応じて設定される複数の区分(SMALL,MEDIUM,LARGE)のいずれに属するか判断することで異常の度合を判定する異常度合判定手段 As described above, with provided with two arm portions 5 guard robot 1 which is connected to the base body 3 according to this embodiment, the two leg portion 2 connected to the base body, the car (moving object) V a biped walking robot capable boarding, and at least one acceleration sensor (internal sensor) 66 for detecting the internal state of the robot 1, at least one external sensor for detecting the external state of the robot 1, more a CCD camera 50 and the microphone 52a Specifically, the acceleration sensor (internal sensor) 66 and the CCD camera 50 and the microphone 52a is occurring in the vehicle V based on the information obtained from the output of the (external sensor) abnormality is abnormal a plurality of sections which are set according to the degree (SMALL, MEDIUM, LARGE) abnormality degree determination means for determining an abnormality of the degree by determining one of whether belongs CPU100a、異常度合判定部110c,S10から16) 、判定された異常の度合がSMALL,MEDIUM,LARGEのいずれかの内、前記SMALLのときに音声出力(注意)、前記MEDIUMのときに前記音声出力と前記腕部の駆動(警告)、前記LARGEのときに前記音声出力と前記脚部の駆動(制止)によって防止動作を行う防止動作手段(CPU100a、動作制御部112,S18から28) を備える如く構成したので、盗難などの異常事態に対して迅速に対処できると共に、異常の度合に応じて動作することで、その状況で最も適切な対策をとることができる。 CPU 100a, and the abnormality degree determination unit 110c, S10 16), among the degree of the determined abnormality SMALL, MEDIUM, one of LARGE, audio output when the SMALL (note), the voice when the MEDIUM output drive of the arm portion (warning), preventing operation means for performing a prevention operation by the sound output and the driving of the legs (stop) when the LARGE the (CPU 100a, the operation control unit 112, S18 28) and Owing to this arrangement comprises, along with respond quickly to an abnormal situation such as theft, by operating according to the degree of abnormality, it is possible to take the most appropriate measures in that situation. また、車Vなどの移動体に搭乗するのが容易であると共に、腕部5などを動作させて警告することも可能となり、警備効果を一層上げることができる。 Further, with an easy to board the moving body such as a vehicle V, it becomes possible to warn by operating like arms 5, it is possible to further increase the security effect.

さらに、少なくとも外界センサの出力から得られる情報、より具体的にはCCDカメラ50の出力を入力する画像認識部102の処理結果から得られる情報を車V(移動体)の外部、より具体的にはオーナのパーソナルコンピュータ200などに送信する無線装置(送信手段)140を備える如く構成したので、上記した効果に加え、車の外部に所在するオーナ側にあっては、離間した位置から車Vを監視できると共に、状況に応じて必要な対策を講じることができる。 Furthermore, at least the information obtained from the output of the external sensor, the external more specific to the image recognition unit 102 of the processing result information obtained from the vehicle V (mobile) for inputting the output of the CCD camera 50, more specifically Owing to this arrangement comprises a wireless device (transmission means) 140 that transmits to a personal computer 200 of the owner, in addition to the effects mentioned above, in the owner side, located in the car outside, the car V from a position separated together can be monitored, it may be necessary measures according to the situation.

また、内界センサがロボット1に作用する加速度を検出する加速度センサ66である如く構成したので、上記した効果に加え、車Vに作用する振動などを検出することができて車Vが盗難に遭遇する状況などを迅速に検知することができる。 Further, since the internal sensor is composed as an acceleration sensor 66 for detecting an acceleration acting on the robot 1, in addition to the effects mentioned above, the car V to be able to detect the vibration acting on the vehicle V is stolen and encountered the situation can be quickly detected.

また、外界センサがCCDカメラ(視覚センサ)50である如く構成したので、上記した効果に加え、車Vの周囲環境を視覚的に検出することができ、不審者が存在する状況などを的確に検出して警告するなど必要な対策を講じることができる。 Further, since the external sensor is composed as a CCD camera (visual sensor) 50, in addition to the effects mentioned above, the surrounding environment of the vehicle V can be detected visually, etc. accurately situation where a suspicious person is present it can be detected and measures necessary for such a warning.

また、CCDカメラ(視覚センサ)50がバイザ(保護カバー)4bの内側に収容されると共に、バイザ(保護カバー)4bの、CCDカメラ(視覚センサ)50のレンズ窓(受光孔)50aに対応する位置に、受光孔と略同径の孔4b1が穿設される如く構成したので、上記した効果に加え、バイザ(保護カバー)4bの外側にシールド4cを設けるときも、CCDカメラ(視覚センサ)50の移動によってシールド4cを透過する光の屈折率が変化することがないことから、CCDカメラ(視覚センサ)50から得られる撮影画像に歪みが生じることがなく、常に鮮明な撮影画像を得ることができる。 Further, the CCD camera (visual sensor) 50 is accommodated inside the visor (protective cover) 4b, visor (protective cover) 4b, corresponding to the lens window (light-receiving hole) 50a of the CCD camera (visual sensor) 50 the position, the light receiving hole and the hole 4b1 of substantially the same diameter was constructed as being drilled, in addition to the effects mentioned above, even when provided shield 4c on the outside of the visor (protective cover) 4b, CCD camera (visual sensor) since there is no the refractive index of light transmitted through the shield 4c is changed by the movement of 50, without distortion in the captured image obtained from the CCD camera (visual sensor) 50 is generated, to always obtain a clear captured image can.

また、外界センサがマイクロフォン(聴覚センサ)52aである如く構成したので、上記した効果に加え、車Vの周囲環境を聴覚的に検出することができ、車Vをこじ開けようとする異音などを的確に検出して警告するなど必要な対策を講じることができる。 Further, since the external sensor is composed as a microphone (auditory sensor) 52a, in addition to the effects mentioned above, it is possible to audibly detect the ambient environment of the vehicle V, and abnormal noise to be pry the car V it can take measures necessary, such as a warning to accurately detect.

尚、上記において、移動体の例として車Vを例にとったが、この発明はそれに限られるものではなく、移動体は船舶、航空機などであっても良い。 In the above, although as an example the vehicle V, as an exemplary moving object, the invention is not limited thereto, the mobile vessels may be an aircraft.

また、上記においてロボットとして2足歩行ロボットを例示したが、それに限られるものではなく、3足以上のロボットであっても良い。 Although illustrated biped walking robot as a robot in the above, is not limited thereto, it may be three feet or more robots. さらには、脚式移動ロボットに限られるものではなく、車輪式やクローラ式のロボットであっても良い。 Furthermore, not limited to the legged mobile robot may be a wheeled or crawler-type robot.

この発明の第1実施例に係る警備ロボットの正面図である。 It is a front view of a security robot according to a first embodiment of the present invention. 図1に示す警備ロボットの側面図である。 It is a side view of a security robot shown in FIG. 図1に示す警備ロボットをスケルトンで示す説明図である。 The security robots shown in FIG. 1 is an explanatory view showing the skeleton. 図1に示す警備ロボットが車(移動体)に乗車した状態を示す説明図である。 Security robots shown in FIG. 1 is an explanatory view showing a state where the riding in the vehicle (moving object). 図1に示す警備ロボットの頭部の内部構造を示す断面図である。 It is a sectional view showing the internal structure of the head of the security robots shown in FIG. 図3に示す電子制御ユニット(ECU)の構成を示すブロック図である。 It is a block diagram showing a configuration of an electronic control unit (ECU) shown in FIG. 図6に示す電子制御ユニット(ECU)のマイクロコンピュータの処理を構成として機能的に示すブロック図である。 It is a block diagram functionally showing a configuration of the processing of the microcomputer of the electronic control unit (ECU) shown in FIG. 図7に示す異常度合判定部が判別する異常の度合などを示す説明図である。 Is an explanatory view showing a like anomaly degree of the abnormality degree determination unit shown in FIG. 7 is determined. 図1に示す警備ロボットの動作を示すフロー・チャートである。 Is a flow chart showing the operation of a security robot shown in FIG.

符号の説明 DESCRIPTION OF SYMBOLS

1 ロボット(脚式移動ロボット、警備ロボット) 1 robot (legged mobile robot, security robot)
50 CCDカメラ(外界センサ) 50 CCD camera (external sensor)
52a マイクロフォン(外界センサ) 52a microphone (external sensor)
66 加速度センサ(内界センサ) 66 acceleration sensor (internal sensor)
70 電子制御ユニット(ECU) 70 electronic control unit (ECU)
100 マイクロコンピュータ100a CPU 100 micro-computer 100a CPU
102 画像認識部104 音声認識部110 行動決定部110c 異常度合判定部112 動作制御部140 無線装置200 パーソナルコンピュータV 車(移動体) 102 image recognition unit 104 a voice recognition unit 110 action determining unit 110c abnormality degree determination section 112 operation control unit 140 radio unit 200 personal computer V vehicle (moving object)

Claims (6)

  1. 基体に接続された2本の腕部と、前記基体に接続された2本の脚部とを備えると共に、移動体に搭乗可能な2足歩行ロボットであって、 2 and arm portion connected to the substrate, with and a two legs connected to the base body, a bipedal walking robot capable onboard the moving body,
    a. a. 前記ロボットの内部状態を検出する少なくとも1個の内界センサ And at least one internal sensor for detecting an internal state of the robot,
    b. b. 前記ロボットの外部状態を検出する少なくとも1個の外界センサ And at least one external sensor for detecting the external state of the robot,
    c. c. 前記内界センサおよび外界センサの出力から得られる情報に基づいて前記移動体に生じつつある異常が異常の度合に応じて設定される複数の区分のいずれに属するか判断することで異常の度合を判定する異常度合判定手段 Abnormality degree by determining one of whether belongs plurality of segments wherein while occurring in the mobile is abnormal is set according to the degree of abnormality on the basis of information obtained from the output of said field sensor and external sensor and the abnormal degree determination means for determining,
    d. d. 前記判定された異常の度合がSMALL,MEDIUM,LARGEのいずれかの内、前記SMALLのときに音声出力、前記MEDIUMのときに前記音声出力と前記腕部の駆動、前記LARGEのときに前記音声出力と前記脚部の駆動によって防止動作を行う防止動作手段 The determined degree of abnormality SMALL, MEDIUM, of any of LARGE, the audio output when the SMALL, driving of the arm portion and the audio output when said MEDIUM, the audio output when the LARGE and preventing operation means for performing a preventing operation by driving the legs and,
    を備えたことを特徴とする警備ロボット。 Security robot, comprising the.
  2. さらに、 further,
    e. e. 少なくとも前記外界センサの出力から得られる情報を前記移動体の外部に送信する送信手段、 At least transmitting means for transmitting information obtained from the output of said external sensor to the outside of the movable body,
    を備えたことを特徴とする請求項1記載の警備ロボット。 Security robots according to claim 1, comprising the.
  3. 前記内界センサが、前記ロボットに作用する加速度を検出する加速度センサであることを特徴とする請求項1または2記載の警備ロボット。 Claim 1 or 2 security robot, wherein the said field sensor is an acceleration sensor for detecting acceleration acting on the robot.
  4. 前記外界センサが、視覚センサであることを特徴とする請求項1から3のいずれかに記載の警備ロボット。 The external sensor is guard robot according to any one of claims 1 to 3, characterized in that the visual sensor.
  5. 前記視覚センサが保護カバーの内側に収容されると共に、前記保護カバーの、前記視覚センサの受光孔に対応する位置に、前記受光孔と略同径の孔が穿設されることを特徴とする請求項1から4のいずれかに記載の警備ロボット。 Together with the visual sensor is housed inside the protective cover, the protective cover, in a position corresponding to the light-receiving hole of the visual sensor, the light receiving hole and substantially the same diameter of the holes is characterized in that it is bored security robots according to any one of claims 1 to 4.
  6. 前記外界センサが、聴覚センサであることを特徴とする請求項1から5のいずれかに記載の警備ロボット。 The external sensor is security robots according to any of claims 1 5, characterized in that the auditory sensor.
JP2004193756A 2004-06-30 2004-06-30 Security robot Expired - Fee Related JP4594663B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004193756A JP4594663B2 (en) 2004-06-30 2004-06-30 Security robot

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004193756A JP4594663B2 (en) 2004-06-30 2004-06-30 Security robot
US11167207 US20060079998A1 (en) 2004-06-30 2005-06-28 Security robot

Publications (2)

Publication Number Publication Date
JP2006015435A true JP2006015435A (en) 2006-01-19
JP4594663B2 true JP4594663B2 (en) 2010-12-08

Family

ID=35790122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004193756A Expired - Fee Related JP4594663B2 (en) 2004-06-30 2004-06-30 Security robot

Country Status (2)

Country Link
US (1) US20060079998A1 (en)
JP (1) JP4594663B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8244542B2 (en) * 2004-07-01 2012-08-14 Emc Corporation Video surveillance
JP4786516B2 (en) * 2006-12-13 2011-10-05 三菱重工業株式会社 International subject identification method and process service system by a robot using the service system by robots
US8874261B2 (en) * 2007-07-25 2014-10-28 Deere & Company Method and system for controlling a mobile robot
US8026955B2 (en) 2007-08-30 2011-09-27 Honda Motor Co., Ltd. Camera exposure controller including imaging devices for capturing an image using stereo-imaging
JP4847420B2 (en) * 2007-08-30 2011-12-28 本田技研工業株式会社 Legged mobile robot
KR20090043088A (en) * 2007-10-29 2009-05-06 삼성전자주식회사 Apparatus and method for the self-diagnosis of robot defect with camera device
JP4857242B2 (en) * 2007-11-05 2012-01-18 株式会社日立製作所 robot
US20130117867A1 (en) * 2011-11-06 2013-05-09 Hei Tao Fung Theft Prevention for Networked Robot
ES2613138T3 (en) * 2013-08-23 2017-05-22 Lg Electronics Inc. Robot cleaner and method for controlling the same

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05139249A (en) * 1991-11-25 1993-06-08 Alpine Electron Inc Method and device for detecting vehicle burglary
JP2001287183A (en) * 2000-01-31 2001-10-16 Matsushita Electric Works Ltd Automatic conveyance robot
JP2002154084A (en) * 2000-11-17 2002-05-28 Honda Motor Co Ltd Head of robot
JP2002166379A (en) * 2000-09-19 2002-06-11 Toyota Motor Corp Robot to be mounted on movable body and movable body with the robot
JP2002239959A (en) * 2001-02-20 2002-08-28 Toyota Motor Corp Electronic partner system for vehicle
JP2002254374A (en) * 2001-02-28 2002-09-10 Toshiba Corp Robot system
JP2003326483A (en) * 2002-05-01 2003-11-18 Honda Motor Co Ltd Attitude control device of mobile robot
JP2004062386A (en) * 2002-07-26 2004-02-26 Fujitsu Ten Ltd Crime preventive device

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4799915A (en) * 1987-12-04 1989-01-24 Lehmann Roger W Radio-controlled robot operator for battery-powered toys
US4857912A (en) * 1988-07-27 1989-08-15 The United States Of America As Represented By The Secretary Of The Navy Intelligent security assessment system
US5202661A (en) * 1991-04-18 1993-04-13 The United States Of America As Represented By The Secretary Of The Navy Method and system for fusing data from fixed and mobile security sensors
EP0522200B1 (en) * 1991-07-10 1998-05-13 E.L.F. Limited Partnership Mobile monitoring device
US5559696A (en) * 1994-02-14 1996-09-24 The Regents Of The University Of Michigan Mobile robot internal position error correction system
US5821718A (en) * 1996-05-07 1998-10-13 Chrysler Corporation Robotic system for automated durability road (ADR) facility
JP3555107B2 (en) * 1999-11-24 2004-08-18 ソニー株式会社 Operation control method of a legged mobile robot and the legged mobile robot
JP2001191283A (en) * 1999-12-31 2001-07-17 Sony Corp Robot device and its controlling method
US6845297B2 (en) * 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
CA2440344C (en) * 2001-03-07 2007-06-26 Carnegie Mellon University Gas main robotic inspection system
US6507773B2 (en) * 2001-06-14 2003-01-14 Sharper Image Corporation Multi-functional robot with remote and video system
JP3900870B2 (en) * 2001-08-07 2007-04-04 オムロン株式会社 Information collecting apparatus, information collection method and information collection system,
JP4689107B2 (en) * 2001-08-22 2011-05-25 本田技研工業株式会社 Autonomous action of the robot
WO2003035334A1 (en) * 2001-10-22 2003-05-01 Sony Corporation Robot apparatus and control method thereof
JP2003296855A (en) * 2002-03-29 2003-10-17 Toshiba Corp Monitoring device
JP2003301994A (en) * 2002-04-10 2003-10-24 Matsushita Electric Ind Co Ltd Bearing integrated type rotary device
US7161479B2 (en) * 2002-08-12 2007-01-09 Sobol Raymond J Portable instantaneous wireless even based photo identification and alerting security system
US7340079B2 (en) * 2002-09-13 2008-03-04 Sony Corporation Image recognition apparatus, image recognition processing method, and image recognition program
JP3885019B2 (en) * 2002-11-29 2007-02-21 株式会社東芝 Security system and a mobile robot
US7350615B2 (en) * 2003-03-26 2008-04-01 Fujitsu Ten Limited Vehicle anti theft system, vehicle anti theft method, and computer program
US7999857B2 (en) * 2003-07-25 2011-08-16 Stresscam Operations and Systems Ltd. Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system
JP2005103678A (en) * 2003-09-29 2005-04-21 Toshiba Corp Robot apparatus
JP4257230B2 (en) * 2004-02-26 2009-04-22 株式会社東芝 Mobile robot
JP4305323B2 (en) * 2004-08-11 2009-07-29 ソニー株式会社 Operation control device and operation control method for a robot apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05139249A (en) * 1991-11-25 1993-06-08 Alpine Electron Inc Method and device for detecting vehicle burglary
JP2001287183A (en) * 2000-01-31 2001-10-16 Matsushita Electric Works Ltd Automatic conveyance robot
JP2002166379A (en) * 2000-09-19 2002-06-11 Toyota Motor Corp Robot to be mounted on movable body and movable body with the robot
JP2002154084A (en) * 2000-11-17 2002-05-28 Honda Motor Co Ltd Head of robot
JP2002239959A (en) * 2001-02-20 2002-08-28 Toyota Motor Corp Electronic partner system for vehicle
JP2002254374A (en) * 2001-02-28 2002-09-10 Toshiba Corp Robot system
JP2003326483A (en) * 2002-05-01 2003-11-18 Honda Motor Co Ltd Attitude control device of mobile robot
JP2004062386A (en) * 2002-07-26 2004-02-26 Fujitsu Ten Ltd Crime preventive device

Also Published As

Publication number Publication date Type
US20060079998A1 (en) 2006-04-13 application
JP2006015435A (en) 2006-01-19 application

Similar Documents

Publication Publication Date Title
US6693518B2 (en) Surround surveillance system for mobile body, and mobile body, car, and train using the same
US20060231313A1 (en) Coaxial motorcycle
US20080086241A1 (en) Autonomous Behaviors for a Remove Vehicle
Morita et al. Development of human symbiotic robot: WENDY
US20140148988A1 (en) Method and system for controlling a vehicle
Lee et al. Double-track mobile robot for hazardous environment applications
Ishida et al. Mechanical system of a small biped entertainment robot
US20100198443A1 (en) Path planning device, path planning method, and moving body
Bruemmer et al. Dynamic-Autonomy for Urban Search and Rescue.
US20060217837A1 (en) Robot device, movement method of robot device, and program
JP2007124866A (en) Travel device and its control method
JP2008163719A (en) Circumference monitor of working machine
US20030197601A1 (en) Collision preventing device for vehicle
CN1404806A (en) Blindman walking aid
US7330775B2 (en) Legged mobile robot controller, legged mobile robot and legged mobile robot control method
Song et al. Fast optical flow estimation and its application to real-time obstacle avoidance
Pires et al. RobChair-a powered wheelchair using a behaviour-based navigation
JP2007118129A (en) Communication robot and caution control system using the same
US20060055358A1 (en) Abnormality detector of moving robot
US6902015B2 (en) Two-leg walking humanoid robot
US20060217838A1 (en) Autonomous mobile robot
US8085139B2 (en) Biometric vehicular emergency management system
WO2008060689A2 (en) Autonomous behaviors for a remote vehicle
JP2005212709A (en) Vehicle driving supporting system
US8875815B2 (en) Mobile robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100917

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140924

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees