JP6607162B2 - ロボット、状態判定システム、状態判定方法及びプログラム - Google Patents

ロボット、状態判定システム、状態判定方法及びプログラム Download PDF

Info

Publication number
JP6607162B2
JP6607162B2 JP2016186080A JP2016186080A JP6607162B2 JP 6607162 B2 JP6607162 B2 JP 6607162B2 JP 2016186080 A JP2016186080 A JP 2016186080A JP 2016186080 A JP2016186080 A JP 2016186080A JP 6607162 B2 JP6607162 B2 JP 6607162B2
Authority
JP
Japan
Prior art keywords
robot
unit
imaging
determination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016186080A
Other languages
English (en)
Other versions
JP2018047538A (ja
Inventor
保 階上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016186080A priority Critical patent/JP6607162B2/ja
Priority to US15/668,092 priority patent/US20180088057A1/en
Priority to CN201710711760.7A priority patent/CN107866812B/zh
Publication of JP2018047538A publication Critical patent/JP2018047538A/ja
Application granted granted Critical
Publication of JP6607162B2 publication Critical patent/JP6607162B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/30Constructional details of charging stations
    • B60L53/305Communication interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/006Indicating maintenance
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts
    • G01N2201/0636Reflectors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/70Energy storage systems for electromobility, e.g. batteries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10Technologies relating to charging of electric vehicles
    • Y02T90/12Electric charging stations
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10Technologies relating to charging of electric vehicles
    • Y02T90/16Information or communication technologies improving the operation of electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

本発明は、ロボット、状態判定システム、状態判定方法及びプログラムに関する。
近年、工場、一般家庭等においてロボットが普及している。このようなロボットの故障診断を行うための技術が提案されている。
例えば、特許文献1には、自立走行を行う移動ロボットが充電ステーションに戻ったときに、移動ロボットの故障診断を行う故障診断手段が開示されている。この故障診断手段は、移動ロボットを収容した充電ステーションがターン機構及びチルト機構を駆動した場合に、移動ロボットの距離センサ、加速度センサ及び方向センサが適正な応答特性を示すかどうかによって移動ロボットの故障の有無を診断する。
特開2008−178959号公報
特許文献1の故障診断手段は、例えば、移動ロボットに物体が付着している、移動ロボットのフタが開いている等の移動ロボットの状態を判定することができない。
したがって、特許文献1の故障診断手段によれば、ロボットの状態(故障の有無を含む)を判定することは困難である。一方、前記のようなロボットの状態は、外観では明らかな場合が多い。
そこで、本発明はこのような事情に鑑みてなされたものであって、ロボットの外観を示す画像情報に基づいて、ロボットの状態を判定することができるロボット、状態判定システム、状態判定方法及びプログラムを提供することを目的とする。
前記目的を達成するため、本発明に係るロボットの一様態は、
光線を反射する鏡面に映った自装置の鏡像を撮像する撮像手段と、
前記撮像手段により撮像された前記自装置の前記鏡像に基づいて前記自装置の状態として、前記自装置が故障しているか否か、又は、前記自装置に物体が取り付けられているか否かを判定する判定手段と、
前記鏡面の位置を取得する取得手段と、
前記取得手段により取得された前記鏡面の位置を記憶する記憶手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る状態判定システムの一態様は、
基準位置に位置する自装置を撮像する撮像部と、
前記撮像部が鏡面に映った前記自装置の鏡像を撮像した画像を前記自装置の外観を示す画像情報として取得する画像情報取得部と、
前記画像情報取得部が取得した前記画像情報に基づいて、前記自装置の状態として、前記自装置が故障しているか否か、又は、前記自装置に物体が取り付けられているか否かを判定して判定結果を得る判定部と、
を有するロボットと、
前記鏡面と、
前記ロボットを充電するための充電部と、
を有する充電ステーションと、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る状態判定方法の一様態は、
光線を反射する鏡面に映ったロボットの鏡像を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された前記ロボットの前記鏡像に基づいて前記ロボットの状態として、前記ロボットが故障しているか否か、又は、前記ロボットに物体が取り付けられているか否かを判定する判定ステップと、
前記鏡面の位置を取得する取得ステップと、
前記取得ステップにより取得された前記鏡面の位置を記憶する記憶ステップと、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一様態は、
コンピュータを、
光線を反射する鏡面に映ったロボットの鏡像を撮像する撮像手段を制御する撮像制御手段、
前記撮像手段により撮像された前記ロボットの前記鏡像に基づいて前記ロボットの状態として、前記ロボットが故障しているか否か、又は、前記ロボットに物体が取り付けられているか否かを判定する判定手段、
前記鏡面の位置を取得する取得手段、
前記取得手段により取得された前記鏡面の位置を記憶する記憶手段、
として機能させる、
ことを特徴とする。
本発明によれば、ロボットの外観を示す画像情報に基づいて、ロボットの状態を判定することができる。
第1実施形態に係るロボットの外観を示す図である。 第1実施形態に係るロボットの構成例を示すブロック図である。 第1実施形態に係るロボットの状態判定の一例を説明するための図であり、(A)は参照画像を示す図であり、(B)は撮像画像を示す図である。 第1実施形態に係るロボットの状態判定処理のフローチャートを示す図である。 第2実施形態に係る状態判定システムの外観を示す図である。 第2実施形態に係るロボットの構成例を示すブロック図である。 第2実施形態に係る充電ステーションの構成例を示すブロック図である。 第2実施形態に係るロボットの状態判定処理のフローチャートを示す図である。 第3実施形態に係る状態判定システムの外観を示す図である。 第3実施形態に係るロボットの構成例を示すブロック図である。 第3実施形態に係る充電ステーションの構成例を示すブロック図である。 第3実施形態に係るロボットの状態判定処理のフローチャートを示す図である。 変形例に係る状態判定システムの外観を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
(第1実施形態)
図1に示すように、本実施形態に係るロボット100は、文字、色彩、画像等を表示する表示部140と、カメラである撮像部180と、を備える。なお、図1は、ロボット100の左手側から見た場合のロボット100の外観を示している。
ロボット100は、首、手足等の関節部分を駆動することが可能であり、二足歩行によって移動することが可能な人型ロボットである。ロボット100は、例えば、工場、住宅等において使用される。
ロボット100は、表示部140に文字、色彩、画像等を表示させ、ユーザに対するメッセージを出力する機能を有する。撮像部180は、ロボット100の頭部から前方に延びる触の先端に設けられる。撮像部180は、ロボット100の正面からロボット100を見下ろす方向で撮像を行う。撮像部180の撮像範囲は、破線で示すように、ロボット100の全体が撮像可能な範囲に設定される。
以下、図2を参照しながら、ロボット100の構成を説明する。
ロボット100は、通信部110と、駆動部120と、音声出力部130と、表示部140と、ROM(Read Only Memory)150と、RAM(Random Access Memory)160と、操作部170と、撮像部180と、制御部190と、を備える。
通信部110は、例えば、無線周波数(RF:Radio Frequency)回路、ベースバンド(BB:Base Band)回路、集積回路(LSI:Large Scale Integration)等から構成される。通信部110は、図示しないアンテナを介して信号の送受信を行い、外部装置(不図示)と無線通信を行う。なお、通信部110は、外部装置と有線通信を行うように構成されてもよい。
駆動部120は、例えば、ギア、モータ、アクチュエータなどから構成される。駆動部120は、制御部190からの駆動信号に応じて、ロボット100の各部を駆動する。
例えば、駆動部120は、ロボット100の首、手足等の関節部分を駆動することによって、ロボット100に二足歩行させたり、ロボット100の姿勢を変えたりする。
音声出力部130は、例えばスピーカー等から構成される。音声出力部130は、制御部190からの音声信号に応じて、音声を出力する。出力される音声は、例えば、ROM150又はRAM160に記憶されている予め定められた音声である。
表示部140は、例えば、LCD(Liquid Crystal Display)、EL(Electroluminescence)ディスプレイ等によって構成され、制御部190からの入力信号に応じて、文字、色彩、画像等を表示する。
ROM150は、フラッシュメモリ等の不揮発性メモリから構成され、制御部190が各種機能を制御するためのプログラム(ロボット100に判定用の動作を実行させるための動作プログラム、ロボット100の状態を判定するための判定プログラムを含む)や各種データを記憶する。
RAM160は、揮発性メモリから構成され、制御部190が各種処理を行うためにデータを一時的に記憶するための作業領域として用いられる。
操作部170は、操作ボタン、タッチパネル等から構成される。操作部170は、例えば、電源オンオフ、音声出力のボリューム調整等のユーザ操作を受け付けるためのインターフェースである。
撮像部180は、例えば、レンズ、撮像素子などから構成される。撮像部180は、ロボット100の全体を撮像し、ロボット100の姿勢、動作又はロボット100の表示部140に表示されている文字、色彩、画像等を撮像する。なお、撮像部180は、静止画を撮像する構成であってもよいし、動画を撮像する構成であってもよい。
制御部190は、プロセッサであり、CPU(Central Processing Unit)から構成される。制御部190は、ROM150に記憶された各種プログラム(動作プログラム、判定プログラムを含む)を実行することにより、ロボット100の全体の動作を制御する。
ここで、ロボット100の制御部190の機能的構成について説明する。制御部190は、表示制御部191、駆動制御部192、撮像制御部193、音声出力制御部194、画像情報取得部195、判定部196として機能する。
表示制御部191は、操作部170が受け付けたユーザ操作又はROM150に記憶されたプログラムの実行に応じて、表示部140の輝度、表示内容等を制御する。例えば、表示制御部191は、動作プログラムに基づいて、表示部140に予め定められたメッセージ、図形等を表示させる。
駆動制御部192は、モータ、ギア、アクチュエータ等の回転速度、変位量等を制御するための駆動信号を生成し、駆動部120を制御する。例えば、駆動制御部192は、動作プログラムに基づいて、駆動部120に予め定められた駆動動作を実行させる。
撮像制御部193は、撮像部180のオンオフ制御、撮像方向の制御、ピント合わせ等の制御信号を生成し、撮像部180を制御する。
音声出力制御部194は、ROM150に記憶されたプログラムを実行することによって音声信号を生成し、音声出力部130を制御する。また、音声出力制御部194は、操作部170が受け付けたボリューム調整等のユーザ操作に基づいて音声出力部130から出力される音声信号の大きさを制御する。
画像情報取得部195は、撮像部180によって撮像されたロボット100の外観を示す画像情報を取得する。
判定部196は、画像情報取得部195が取得した画像情報に基づいて、ロボット100の状態を判定する。以下、判定部196の具体的な判定方法について説明する。
まず、判定部196は、画像情報取得部195が取得した画像情報(すなわち撮像画像)を、参照画像と比較する。参照画像は、予めROM150に記憶されている判定基準用の画像であって、ロボット100の通常状態を示す画像である。参照画像は、例えば、出荷前の検査において、ロボット100に判定用の動作を実行させた様子を撮像した静止画又は動画である。
例えば、図3(A)には参照画像の一例が示され、図3(B)には撮像画像の一例が示されている。なお、撮像範囲に含まれる触は、判定対象には含まれないものとして、便宜上、図示省略する。以下、図3に示す一例において、判定部196がどのように判定するかを説明する。
まず、図3(A)及び図3(B)においてロボット100の左腕P2に着目すると、参照画像では、ロボット100の左腕P2が上方に上がっているのに対し、撮像画像では、ロボット100の左腕P2が上方ではなく側方に延びた状態になっている。また、撮像画像では、参照画像に比べて、ロボット100の左腕P2の取付位置が少しだけ上方にずれている。
この場合、ロボット100の状態は、例えば、左腕P2の取付不良、左腕P2を回転駆動するモータの動作不良、左腕P2の回転変位を検出するロータリーエンコーダの検出不良等と判定される。
ロボット100の表示部140に着目すると、参照画像では、表示部140に「こんにちは。」という文字が表示されているのに対し、撮像画像では、表示部140に「こん・・は・」という文字が表示されている。
この場合、撮像画像では、表示部140の表示内容において文字の欠落が生じており、本来表示すべき表示内容が表示されていない。そのため、ロボット100の状態は、例えば、表示部140の表示不良と判定される。
ロボット100の全体を観察すると、撮像画像において、参照画像には存在しないリボンP1がロボット100の頭部に取り付けられている。
この場合、ロボット100の状態は、例えば、ロボット100の頭部に「物体」が取り付けられていると判定される。
なお、判定部196は、取り付けられているものがリボン又は飾りであることを特定するように構成されてもよい。この場合、例えば、ロボット100の付属品としてリボンP1がある場合、リボンP1をさらに第2の参照画像としてROM150に予め記憶させておく。そして、判定部196が、第2の参照画像を撮像画像における「物体」と照合することによって、「物体」がリボンP1であることを特定する。
このように、判定部196は、参照画像と撮像画像とを比較して、両者の相違点に基づいてロボット100の状態を判定する。
以上、ロボット100の構成を説明した。以下、図4を参照しながら、ロボット100の制御部190が実行する状態判定処理を説明する。状態判定処理は、動作プログラム及び判定プログラムに基づいて行われる処理である。なお、この処理は、定期的に制御部190によって実行されてもよいし、ユーザ操作によって実行されてもよい。
まず、制御部190は、ROM150に記憶されている動作プログラムに基づいて、予め定められた判定用の動作を実行するようにロボット100の各部を制御する(ステップS101)。
具体的には、表示制御部191は、表示部140に判定用の動作として予め定められた表示動作を実行させる。駆動制御部192は、駆動部120に判定用の動作として予め定められた駆動動作を実行させる。なお、表示制御部191と駆動制御部192は、同じタイミングで表示動作及び駆動動作を行ってもよいし、異なるタイミングで表示動作及び駆動動作を行ってもよい。
ここで、状態の判定が動画によって行われる場合には、撮像制御部193は撮像部180に、判定用の動作を実行している時間にわたって継続的に撮像を実行させる。一方、状態の判定が静止画によって行われる場合には,撮像制御部193は、判定用の動作を実行した後に撮像部180に撮像を実行させる。このように、撮像部180は、ロボット100の判定用の動作又は判定用の動作後のロボット100の状態を撮像する。
次に、画像情報取得部195は、撮像部180から撮像部180が撮像したロボット100の画像情報を取得する(ステップS102)。
判定部196は、ROM150に記憶されている判定プログラムに基づいて、まず、ROM150に記憶されている参照画像を取得する(ステップS103)。次に、判定部196は、ステップS102で取得した画像情報と、ステップS103で取得した参照画像とを比較して、ロボット100の状態を判定する(ステップS104)。
制御部190は、判定部196の判定結果をユーザ又は外部装置に通知する(ステップS105)。例えば、制御部190が通信部110を介して外部装置に判定結果を送信することによって外部装置に通知する。なお、制御部190が表示部140に判定結果を表示させたり、音声出力部130に判定結果を音声として出力させたりすることによってユーザに通知してもよい。
以上説明したように、本実施形態のロボット100において、画像情報取得部195は、ロボット100の外観を示す画像情報を取得し、判定部196は、画像情報取得部195が取得した画像情報に基づいて、ロボット100の状態を判定する。そのため、ロボット100は、ロボット100の外観を示す画像情報に基づいて、自装置(ロボット100)の状態を判定することができる。
本実施形態のロボット100は、撮像部180を備え、画像情報取得部195は、撮像部180がロボット100を撮像した画像を画像情報として取得している。この場合、ロボット100以外の装置がなくても、ロボット100は、自装置の状態を判定することができる。
本実施形態のロボット100は、動作プログラムに基づいて、判定用の表示部140と駆動部120とに、判定用の動作として予め定められた表示動作と駆動動作とを実行させている。この場合、ロボット100は、表示部140の状態と駆動部120の状態とを含む全体的な判定を行うことができる。
(第2実施形態)
図5に示すように、本実施形態に係る状態判定システム800は、自装置の状態を判定するロボット200と、ロボット200を充電する充電ステーション300とを備える。なお、図5は、ロボット200が充電ステーション300に乗った状態を、ロボット200の左手側から見た場合の外観を示している。
ロボット200は、首、手足等の関節部分を駆動することが可能であり、二足歩行によって移動することが可能な人型ロボットである。ロボット200は、駆動電源として、二次電池(不図示)が内蔵されている。ロボット200は、例えば、工場、住宅等において使用される。
充電ステーション300は、上部に鏡部301を備え、下部に台座302を備える。台座302は、鏡部301を支持する柱状の支持部と、ロボット200を乗せる平板状の底部と、を備える。
台座302の底部の上面には充電部320が設けられている。ロボット200の足の裏面には、電極C1が設けられている。ロボット200は、充電部320の上に乗っている状態で電極C1を介して充電される。
鏡部301は、ロボット200と対向する面に鏡面M1を有している。鏡面M1は、凸面鏡であり、可視光線を反射する。ロボット200は、頭部の目に相当する位置にカメラである撮像部280を備えている。撮像部280は、ロボット200の前方を撮像する。
図5において破線で示すように、ロボット200の撮像部280の撮像範囲には、鏡面M1が含まれる。鏡面M1は、撮像部280から見た場合に、図5において一点鎖線で示される範囲が鏡像として映るように、形状、寸法及び取付位置が定められている。一点鎖線で示される範囲は、充電部320の上に乗っているロボット200の全体が収まる大きさである。
以下、図6を参照しながら、ロボット200の構成を説明する。なお、ロボット200の構成において、第1実施形態のロボット100と共通する構成要素には、同一の符号を付して説明を省略する。
ロボット200は、通信部210と、駆動部120と、音声出力部130と、表示部140と、ROM150と、RAM160と、操作部170と、撮像部280と、制御部290と、を備える。
通信部210は、例えば、無線周波数(RF)回路、ベースバンド(BB)回路、集積回路(LSI)等から構成される。通信部210は、図示しないアンテナを介して信号の送受信を行い、外部装置と無線通信を行う。なお、通信部210は、外部装置と有線通信を行うように構成されてもよい。外部装置は、例えば、充電ステーション300、サーバ装置、ユーザが携帯する無線端末、GPS(Global Positioning System)衛星等である。
撮像部280は、例えば、レンズ、撮像素子などから構成される。撮像部280は、ロボット200の前方を撮像する。なお、撮像部280は、静止画を撮像する構成であってもよいし、動画を撮像する構成であってもよい。
制御部290は、プロセッサであり、CPUから構成される。制御部290は、ROM150に記憶された各種プログラム(動作プログラム、判定プログラム、位置情報に基づいて基準位置にロボット200を移動させるための移動プログラムを含む)を実行することにより、ロボット200の全体の動作を制御する。
ここで、ロボット200の制御部290の機能的構成について説明する。制御部290は、表示制御部191、駆動制御部192、撮像制御部193、音声出力制御部194、画像情報取得部295、判定部296、位置情報取得部297として機能する。
画像情報取得部295は、撮像部280によって撮像された画像を画像情報として取得する。この画像情報には、充電ステーション300の鏡面M1に映っているロボット200の外観、すなわちロボット200の鏡像が含まれる。
判定部296は、画像情報取得部295が取得した画像情報に基づいて、ロボット200の状態を判定する。判定部296の具体的な判定方法は、第1実施形態において説明した判定部196の判定方法とほとんど同様である。
しかし、画像情報取得部295が取得する画像情報は、ロボット200の正像ではなく、鏡面M1で反射されたロボット200の鏡像である。そのため、画像情報取得部295又は判定部296は、画像情報取得部295が取得した画像情報(ロボット200の鏡像)の左右を反転する処理を行って、ロボット200の正像を示す画像情報に変換する。判定部296は、その変換によって得られたロボット200の正像を示す画像情報(変換された撮像画像)を、予めROM150に記憶されているロボット200の正像を示す参照画像と比較して、ロボット200の状態を判定する。
なお、画像情報取得部295又は判定部296は、画像情報取得部295が取得した画像情報の左右を反転する処理を行わない構成にされてもよい。この場合、例えば、ROM150に、ロボット200の鏡像を示す画像情報を参照画像として予め記憶させておく。そして、判定部296は、画像情報取得部295が取得した画像情報(ロボット200の鏡像)を、ロボット200の鏡像を示す参照画像と比較して、ロボット200の状態を判定する。
位置情報取得部297は、通信部210を介して外部装置から位置情報を取得する。位置情報は、例えば、ロボット200の現在位置、充電ステーション300の充電部320の位置、充電ステーション300の鏡面M1の位置である。例えば、位置情報取得部297は、緯度及び経度を示す情報を位置情報としてGPS衛星から取得してもよい。また、位置情報取得部297は、充電ステーション300の特定位置を基準とした相対的な位置を示す情報を位置情報として充電ステーション300から取得してもよい。
ここで、本実施形態において、充電部320の位置を基準位置とする。基準位置とは、ロボット200の状態の判定を行う場合にロボット200が移動すべき位置である。
なお、本実施形態の状態判定システム800では、ロボット200の充電を行う際に、併せてロボット200の状態の判定を行うため、充電部320の位置を基準位置としている。しかし、基準位置は、ロボット200の状態の判定を行う場合にロボット200が移動すべき位置である。そのため、基準位置は、鏡面M1にロボット200が映る位置であれば充電部320の位置以外の位置でもよい。
以上、ロボット200の構成を説明した。以下、図7を参照しながら、充電ステーション300の構成を説明する。
充電ステーション300は、通信部310と、充電部320と、ROM340と、RAM350と、操作部360と、制御部370と、を備える。
通信部310は、例えば、無線周波数(RF)回路、ベースバンド(BB)回路、集積回路(LSI)等から構成される。通信部310は、図示しないアンテナを介して信号の送受信を行い、外部装置と無線通信を行う。なお、通信部310は、外部装置と有線通信を行うように構成されてもよい。外部装置は、例えば、ロボット200、サーバ装置、ユーザが携帯する無線端末、GPS衛星等である。
充電部320は、例えば、電極、スイッチング回路等から構成される。充電部320は、制御部370からの制御信号に応じて電極に充電電圧を印加する。
ROM340は、フラッシュメモリ等の不揮発性メモリから構成され、制御部370が各種機能を制御するためのプログラム、各種データ等を記憶する。
RAM350は、揮発性メモリから構成され、制御部370が各種処理を行うためにデータを一時的に記憶するための作業領域として用いられる。
操作部360は、操作ボタン、タッチパネル等から構成される。操作部360は、例えば、電源オンオフ、充電電圧値の設定等のユーザ操作を受け付けるためのインターフェースである。
制御部370は、プロセッサであり、CPUから構成される。制御部370は、ROM340に記憶された各種プログラムを実行することにより、充電ステーション300の全体の動作を制御する。
ここで、制御部370の機能的構成について説明する。制御部370は、充電制御部371、位置情報通知部372として機能する。
充電制御部371は、充電部320の充電電圧を制御する。充電制御部371は、例えば、通信部310を介してロボット200から充電開始指示を示す信号を受信した場合に、充電部320の充電電圧をオンにし、充電完了指示を示す信号を受信した場合に、充電部320の充電電圧をオフにする。
位置情報通知部372は、通信部310を介して、充電ステーション300の充電部320の位置と、充電ステーション300の鏡面M1の位置とをロボット200に通知する。なお、ロボット200の位置情報取得部297が取得する位置情報が、充電ステーション300の特定位置を基準とした相対的な位置を示す情報である場合、位置情報通知部372は、さらに充電ステーション300の特定位置を基準としたロボット200の現在位置を通知する。
ここまでで、ロボット200と充電ステーション300とを備える状態判定システム800の構成を説明した。以下、図8を参照しながら、ロボット200の制御部290が実行する状態判定処理を説明する。
本実施形態の状態判定処理は、動作プログラム、判定プログラム及び移動プログラムに基づいて行われる処理である。なお、この処理は、定期的に制御部290によって実行されてもよいし、ユーザ操作によって実行されてもよい。
まず、制御部290の位置情報取得部297は、ROM150に記憶されている移動プログラムに基づいて、ロボット200の現在位置、充電ステーション300の充電部320の位置(基準位置)、及び鏡面M1の位置を示す位置情報を取得する(ステップS201)。位置情報取得部297は、上述したように、GPS衛星、サーバ装置、充電ステーション300等と通信部210を介して通信を行うことによって位置情報を取得する。
制御部290の駆動制御部192は、取得した位置情報に基づいて、駆動部120を制御して、ロボット200を基準位置に移動させる(ステップS202)。基準位置に到着すると、制御部290は、通信部210を介して、充電ステーション300に充電開始指示を示す信号を送信する。これにより、ロボット200は、充電ステーション300によって充電される状態になる。なお、制御部290は、この後に、ロボット200の内蔵電池が満充電になったことを検出した場合、通信部210を介して、充電ステーション300に充電完了指示を示す信号を送信する。
次に、制御部290は、ROM150に記憶されている動作プログラムに基づいて、予め定められた判定用の動作を実行するようにロボット200の各部を制御する(ステップS203)。
判定用の動作は、第1実施形態と同様に、表示動作と駆動動作とを含む。また、判定用の動作において、駆動制御部192は、位置情報取得部297が取得した鏡面M1の位置を示す位置情報に基づいて、駆動部120を制御する。具体的には、駆動制御部192は、ロボット200の判定の対象部分を鏡面M1に向けるように駆動部120を制御する。
撮像部280は、充電ステーション300の鏡面M1を撮像することによって、ロボット200の判定用の動作又は判定用の動作後のロボット200の状態を間接的に撮像する。
次に、画像情報取得部295は、撮像部280から撮像部280が撮像したロボット200の画像情報を取得する(ステップS204)。
判定部296は、ROM150に記憶されている判定プログラムに基づいて、まず、ROM150に記憶されている参照画像を取得する(ステップS205)。
次に、判定部296は、ステップS204で取得した画像情報と、ステップS205で取得した参照画像とを比較して、ロボット200の状態を判定する(ステップS206)。なお、判定部296は、上述したように、画像情報を正像に変換してから参照画像と比較してもよいし、鏡像である画像情報を鏡像である参照画像と比較してもよい。
制御部290は、判定部296の判定結果をユーザ又は外部装置に通知する(ステップS207)。具体的な通知方法は、第1実施形態の場合と同様である。
以上説明したように、本実施形態のロボット200において、撮像部280は、鏡面M1に映ったロボット200の鏡像を撮像し、画像情報取得部295は、撮像部280が取得した画像を画像情報として取得している。
この場合、ロボット200は、前方を撮像する撮像部280を備えていればよく、撮像部280が自装置であるロボット200を向いている必要は無い。そのため、撮像部280は、状態判定以外の用途に使用することも可能であり、撮像部280の汎用性を高くすることができる。また、撮像部280は、ロボット200より突出した位置に配置する必要もないため、ロボット200の外観に支障を与えることもない。
本実施形態の状態判定システム800において、ロボット200は、基準位置である充電ステーション300の充電部320の位置において、充電ステーション300の鏡面M1を利用して、自装置の状態を判定する。
この場合、ロボット200は、自装置の状態の判定に加えて、充電ステーション300で充電することも可能となる。
充電ステーション300の鏡面M1は、凸面鏡である。そのため、小さな面積であっても、ロボット200の全体を映すことができる。また、鏡面M1は、充電ステーション300の上部に設けられているため、ロボット200が充電ステーション300の下部に設けられた充電部320において充電する際に妨げとなることがない。
本実施形態において充電ステーション300は、基準位置をロボット200に通知し、ロボット200は、その通知に基づいて基準位置に移動する。そのため、ユーザがロボット200を基準位置に移動させなくても、ロボット200が自動的に基準位置に移動して状態を判定することができる。
また、本実施形態において、充電ステーション300は、さらに、鏡面M1の位置をロボット200に通知し、ロボット200は、その通知に基づいて鏡面M1に判定の対象部分を向けるように構成されている。
この場合、ロボット200は、判定の対象部分が映っている鏡面M1を撮像して、状態の判定に必要な画像情報を取得することができる。また、かかる構成によれば、判定の対象部分が鏡面M1に映った状態にすることがより確実となる。
この場合、鏡面M1は、ロボット200の全体が映らない大きさであっても、ロボット200の一部(すなわち判定の対象部分)だけが映る大きさであればよい。そのため、鏡面M1を小さくすることも可能である。
(第3実施形態)
図9に示すように、本実施形態に係る状態判定システム900は、自装置の状態を判定するロボット400と、ロボット400を充電する充電ステーション500とを備える。なお、図9は、ロボット400が充電ステーション500に乗った状態を、ロボット400の左手側から見た場合の外観を示している。なお、本実施形態の説明において、第1実施形態又は第2実施形態と共通する構成要素には、同一の符号を付して説明を省略する。
ロボット400は、首、手足等の関節部分を駆動することが可能であり、二足歩行によって移動することが可能な人型ロボットである。ロボット400は、駆動電源として、二次電池(不図示)が内蔵されている。ロボット400は、例えば、工場、住宅等において使用される。
充電ステーション500は、上部にカメラである撮像部510を備え、下部に台座502を備える。台座502は、撮像部510を支持する柱状の支持部と、ロボット400を乗せる平板状の底部とを備える。
台座502の底部の上面には充電部320が設けられている。ロボット400の足の裏面には、電極C1が設けられている。ロボット400は、充電部320の上に乗っている状態で電極C1を介して充電される。
撮像部510は、基準位置である充電部320の上に乗っているロボット400を撮像可能な向きで台座502の支持部に取り付けられる。また、図9において破線で示すように、撮像部510の撮像範囲は、充電部320の上に乗っているロボット400の全体が収まる大きさである。
以下、図10を参照しながら、ロボット400の構成を説明する。
ロボット400は、通信部210と、駆動部120と、音声出力部130と、表示部140と、ROM150と、RAM160と、操作部170と、制御部490と、を備える。なお、ロボット400は、ロボット100、200における撮像部180、280に相当する構成を備えていない。
制御部490は、プロセッサであり、CPUから構成される。制御部490は、ROM150に記憶された各種プログラム(動作プログラム、判定プログラム、移動プログラムを含む)を実行することにより、ロボット400の全体の動作を制御する。
ここで、ロボット400の制御部490の機能的構成について説明する。制御部490は、表示制御部191、駆動制御部192、音声出力制御部194、画像情報取得部495、判定部196、位置情報取得部497として機能する。
画像情報取得部495は、画像情報を取得する。具体的には、充電ステーション500の撮像部510が、基準位置である充電部320に乗っている状態のロボット400を撮像し、ロボット400の通信部210は、その撮像画像を示す信号を充電ステーション500から受信する。画像情報取得部495は、その通信部210が受信した受信信号に基づいて画像情報を取得する。
判定部196は、画像情報取得部495が取得した画像情報に基づいて、ロボット400の状態を判定する。判定部196の具体的な判定方法は、第1実施形態において既に説明した。
位置情報取得部497は、通信部210を介して外部装置から位置情報を取得する。位置情報は、例えば、ロボット400の現在位置、充電ステーション500の充電部320の位置、充電ステーション00の撮像部510の位置を示す情報である。例えば、位置情報取得部497は、緯度及び経度を示す情報を位置情報としてGPS衛星から取得してもよい。また、位置情報取得部497は、充電ステーション500の特定位置を基準とした相対的な位置を示す情報を位置情報として充電ステーション500から取得してもよい。
本実施形態において、充電部320の位置を基準位置とする。なお、本実施形態の状態判定システム900では、ロボット400の充電を行う際に、併せてロボット400の状態の判定を行うため、充電部320の位置を基準位置としている。しかし、基準位置は、充電ステーション500の撮像部510の撮像範囲にロボット400が映る位置であれば充電部320の位置以外の位置でもよい。
以上、ロボット400の構成を説明した。以下、図11を参照しながら、充電ステーション500の構成を説明する。
充電ステーション500は、通信部310と、充電部320と、音声入力部530と、ROM340と、RAM350と、操作部360と、撮像部510と、制御部570と、を備える。
音声入力部530は、例えばマイクロフォン等から構成される。音声入力部530は、ロボット400が出力した音声が入力され、その音声を音声情報として取得する。
撮像部510は、例えば、レンズ、撮像素子などから構成される。撮像部510は、基準位置である充電部320に位置するロボット400を撮像する。なお、撮像部510は、静止画を撮像する構成であってもよいし、動画を撮像する構成であってもよい。
制御部570は、プロセッサであり、CPUから構成される。制御部570は、ROM340に記憶された各種プログラムを実行することにより、充電ステーション500の全体の動作を制御する。
ここで、制御部570の機能的構成について説明する。制御部570は、充電制御部371、位置情報通知部572、音声認識部573、撮像制御部574として機能する。
位置情報通知部572は、通信部310を介して、充電ステーション500の充電部320の位置と、充電ステーション00の撮像部510の位置とをロボット400に通知する。なお、ロボット400の位置情報取得部497が取得する位置情報が、充電ステーション500の特定位置を基準とした相対的な位置を示す情報である場合、位置情報通知部572は、さらに充電ステーション500の特定位置を基準としたロボット400の現在位置を通知する。
音声認識部573は、音声入力部530が取得した音声情報を認識する。例えば、ロボット400が出力した判定開始の音声、判定終了の音声、充電開始の音声、充電終了の音声等を識別する。
撮像制御部574は、撮像部510のオンオフ制御、撮像方向の制御、ピント合わせ等の制御信号を生成し、撮像部510を制御する。
ここまでで、ロボット400と充電ステーション500とを備える状態判定システム900の構成を説明した。以下、図12を参照しながら、ロボット400の制御部490が実行する状態判定処理を説明する。
状態判定処理は、本実施形態の動作プログラム、判定プログラム及び移動プログラムに基づいて行われる処理である。なお、この処理は、定期的に制御部490によって実行されてもよいし、ユーザ操作によって実行されてもよい。
まず、制御部490の位置情報取得部497は、ROM150に記憶されている移動プログラムに基づいて、ロボット400の現在位置、充電ステーション500の充電部320の位置(基準位置)、及び撮像部510の位置を示す位置情報を取得する(ステップS301)。位置情報取得部497は、上述したように、GPS衛星、サーバ装置、充電ステーション500等と通信部210を介して通信を行うことによって位置情報を取得する。
制御部490の駆動制御部192は、取得した位置情報に基づいて、駆動部120を制御して、ロボット400を基準位置に移動させる(ステップS302)。基準位置に到着すると、制御部490は、通信部210を介して、充電ステーション500に充電開始指示を示す信号を送信する。これにより、ロボット400は、充電ステーション500によって充電される状態になる。制御部490は、この後に、ロボット200の内蔵電池が満充電になったことを検出した場合、通信部210を介して、充電ステーション500に充電完了指示を示す信号を送信する。
なお、制御部490が、通信部210を介して充電開始指示を示す信号、充電完了指示を示す信号等を充電ステーション500に送信しなくても、制御部490の音声出力制御部194が、音声出力部130に、充電開始の音声、充電完了の音声等を出力させるように構成されてもよい。
次に、制御部490の音声出力制御部194は、音声出力部130に判定開始の音声を出力させる(ステップS303)。充電ステーション500の音声認識部573は、この判定開始の音声を認識し、充電ステーション500の撮像制御部574は、撮像部510の制御を開始する。
次に、制御部490は、ROM150に記憶されている動作プログラムに基づいて、予め定められた判定用の動作を実行するようにロボット400の各部を制御する(ステップS304)。
判定用の動作は、第1実施形態と同様に、表示動作と駆動動作とを含む。また、判定用の動作において、駆動制御部192は、位置情報取得部497が取得した撮像部510の位置を示す位置情報に基づいて、駆動部120を制御する。具体的には、駆動制御部192は、ロボット400の判定の対象部分を撮像部510に向けるように駆動部120を制御する。
一方、充電ステーション500の撮像制御部574は、撮像部510に、ロボット400の判定用の動作又は判定用の動作後のロボット400の状態を撮像させる。また、充電ステーション500は、通信部310を介して、撮像した画像を示す信号をロボット400に送信する。
制御部490は、通信部210を介して、充電ステーション500から撮像部510が撮像した画像を示す信号を受信する。画像情報取得部495は、その受信信号に基づいて、ロボット400の画像情報を取得する(ステップS305)。
判定部196は、ROM150に記憶されている判定プログラムに基づいて、まず、ROM150に記憶されている参照画像を取得する(ステップS306)。
次に、判定部196は、ステップS305で取得した画像情報と、ステップS306で取得した参照画像とを比較して、ロボット400の状態を判定する(ステップS307)。
制御部490は、判定部196の判定結果をユーザ又は外部装置に通知する(ステップS308)。具体的な通知方法は、第1実施形態の場合と同様である。
ここで、制御部490の音声出力制御部194は、音声出力部130に判定終了の音声を出力させる。充電ステーション500の音声認識部573は、この判定終了の音声を認識し、充電ステーション500の撮像制御部574は、撮像部510の制御を終了する。なお、制御部490の音声出力制御部194が音声出力部130に判定終了の音声を出力させなくても、制御部490が通信部210を介して判定終了を示す信号を充電ステーション500に送信するように構成されてもよい。
以上説明したように、本実施形態のロボット400において、画像情報取得部495は、通信部210が受信した受信信号に基づいて、基準位置に位置する自装置(ロボット400)を撮像した画像情報を取得している。
この場合、ロボット400が、自装置を撮像するための構成を備えている必要はない。そのため、ロボット400の構成を簡易にすることができる。また、ロボット400は、外部装置である充電ステーション500が撮像した画像に基づいて、ロボット400の状態を判定している。そのため、より客観的な判定が可能となる。
本実施形態の状態判定システム900において、ロボット400は、基準位置である充電ステーション500の充電部320の位置において、自装置の状態を判定している。
この場合、ロボット400は、自装置の状態の判定に加えて、充電ステーション500で充電することも可能となる。
本実施形態において充電ステーション500は、基準位置をロボット400に通知し、ロボット400は、その通知に基づいて基準位置に移動する。そのため、ユーザがロボット400を基準位置に移動させなくても、ロボット400が自動的に基準位置に移動して状態を判定することができる。
また、本実施形態において、充電ステーション500は、さらに、撮像部510の位置をロボット400に通知し、ロボット400は、その通知に基づいて撮像部510に判定の対象部分を向けるように構成されている。
かかる構成によれば、判定の対象部分が撮像部510の撮像される状態にすることがより確実となる。この場合、撮像部510の撮像範囲は、ロボット400の全体が入らない大きさであってもよく、ロボット400の一部(すなわち判定の対象部分)だけが入る大きさであればよい。すなわち、撮像部510の撮像範囲を小さくすることができる。
本実施形態において、ロボット400は判定を開始することを示す音声を出力し、充電ステーション500はその音声を音声認識している。充電ステーション500の撮像部510は、その音声認識の後に撮像を開始している。また、ロボット400は判定を終了することを示す音声を出力し、充電ステーション500はその音声を音声認識している。充電ステーション500の撮像部510は、その音声認識の後に撮像を終了している。
この場合、ユーザが充電ステーション500を操作しなくても、ロボット400と充電ステーション500との協働によって撮像が自動的に開始又は終了する。そのため、ロボット400の状態を判定するための処理を円滑に進行させることができる。
以上が実施形態の説明である。なお、第1実施形態、第2実施形態、及び第3実施形態(以下、上記実施形態と称する)は一例であり、各装置の具体的な構成や処理の内容などは、上記実施形態で説明したものに限らず、適宜変更可能である。また、上記実施形態を組み合わせて変形することも可能である。以下、上記実施形態の変形例について説明する。
(変形例)
第2実施形態では、鏡面M1は、充電ステーション300の上部に設けられた凸面鏡である。また、基準位置は、充電部320の位置である。しかし、本発明は、このような構成に限られない。
例えば、第2実施形態に係る状態判定システム800は、図13に示す変形例のように、変形されてもよい。この変形例では、状態判定システム850は、鏡700とロボット600とを備える。
鏡700は、鏡部701を上部に備え、鏡部701を支持する台座702を下部に備える。鏡部701は、平面鏡であり、可視光線を反射する鏡面M2が設けられる。鏡700は、例えば、家具として販売される据置型の鏡である。
ロボット600は、鏡700の正面に移動して、鏡面M2に映った自装置の外観を撮像部280によって撮像する。これによって、ロボット600は、自装置の状態を判定する。
この変形例では、基準位置は、ロボット600の全身又は判定対象部分が鏡面M2に映る距離又は範囲内における位置L3である。この変形例では、状態判定システム850が充電ステーション300、500を備えていない。そのため、ロボット600は、外部装置(例えば、サーバ装置、GPS衛星、ユーザの携帯端末等)からロボット600の現在位置、鏡700の位置、基準位置等を示す位置情報を取得して基準位置である位置L3に移動する。
この変形例に示すように、本発明において、基準位置は、充電ステーション300、500の台座302、502の上面に設けられた充電部320の位置に限られない。
第2実施形態において、鏡面M1は、凸面鏡であるため、ロボット200の鏡像は歪みを含んでしまう。歪みが小さい場合には、判定に支障が生じない。また、参照画像が撮像画像と同じ歪みを有する画像であれば、判定に支障が生じない。
しかし、歪みが大きい場合には、歪みを除去してから判定を行う構成にしなければならない。これに対し、変形例に係る構成によれば、鏡面M2は、平面鏡であるため、ロボット600の鏡像に歪みが生じない。そのため、正確に判定することが可能となる。なお、この点を考慮して、第2実施形態の画像情報取得部295又は判定部296は、撮像画像の歪みを除去する構成にされてもよい。
第1実施形態において、図3を参照しながら、判定部196が、左腕P2の取付不良、表示部140の表示不良、「物体」が取り付けられている等の状態を判定する例を説明した。しかし、判定される状態は、これらの例に限られない。例えば、ロボット100、200、400、600のフタが開いている、ロボット100、200、400、600の腕がない等の状態が判定されてもよい。
また、ロボット100、200、400、600は、判定部196、296が「物体」が飾りであることを特定した場合に、音声出力部130又は表示部140を介して、「ありがとう」、「似合う?」等の予め定められたメッセージを出力する構成にされてもよい。かかるメッセージは、ROM150に記憶しておけばよい。
上記実施形態では、ロボット100、200、400、600が自装置の状態を判定する構成を備えている。しかし、ロボット100、200、400、600の構成要素の一部を、ロボット100、200、400、600から独立させて、状態判定装置としてもよい。この場合、ロボット100、200、400、600の外部の状態判定装置は、自装置の外観を示す画像情報に基づいて自装置の状態を判定して判定結果を得て、ロボット100、200、400、600に評価結果を含んだ送信信号を送る。そして、ロボット100、200、400、600は、通信部110、210が受信した受信信号に基づいて、自装置の状態を判定した判定結果を入手する。
上記実施形態において、ロボット100、200、400、600は、ROM150に記憶されている動作プログラムに基づいて判定用の動作を行っている。しかし、本発明は、これに限られない。
例えば、ロボット100、200、400、600は、通信部110、210を介して、外部装置から状態の判定に必要な動作プログラムを受信し、その受信した動作プログラムに基づいて判定用の動作を行う構成にされてもよい。外部装置は、例えば、サーバ装置、ユーザの携帯端末、充電ステーション300、500等である。
上記実施形態において、ロボット100、200、400、600は、駆動部120、表示部140を備え、判定用の動作として駆動動作、表示動作を行うように構成されている。
しかし、ロボット100、200、400、600は、さらに、各種センサである計測部を備え、判定用の動作として、さらに計測動作を行う構成にされてもよい。また、ロボット100、200、400、600は、判定用の動作として、さらに音声出力部130の音声出力動作を行う構成にされてもよい。かかる構成によれば、計測部、音声出力部130の状態を含む状態判定(例えば、異常の有無の判定)を行うことが可能となる。
上記実施形態において、ロボット100、200、400、600は、駆動部120、音声出力部130、及び表示部140を備える。しかし、ロボット100、200、400、600は、駆動部120、音声出力部130、表示部140、及び計測部のいずれか一つ以上を備える構成にされてもよい。この場合、判定用の動作は、表示動作、駆動動作、音声出力動作、及び計測動作のいずれか一つ以上を含んでいればよい。
上記実施形態において、ロボット100、200、400、600の制御部190、290、490は、ユーザ操作に応じて、又は定期的に、状態判定処理を行っている。しかし、状態判定を行うタイミングはこのような場合に限られない。
例えば、ロボット100、200、400、600の制御部190、290、490は、ロボット100、200、400、600の内蔵電池の残量に応じて、充電が必要な場合に状態判定処理を行うように構成されてもよい。また、ロボット100、200、400、600の制御部190、290、490は、故障頻度に応じた間隔で、状態判定処理を行う構成にされてもよい。
ロボット100、200、400、600は、周囲に人間が存在しないことを検出可能な構成としてもよい。この場合、ロボット100、200、400、600の制御部190、290、490は、周囲に人間が存在しないことを検出した場合に、状態判定処理を行う構成にされてもよい。
上記実施形態において、ロボット100、200、400、600が実行する判定用の動作には、複数パターンが設定されていてもよい。例えば、ロボット100、200、400、600は、内蔵電池の残量に応じて、判定用の動作を変更してもよい。これにより、内蔵電池の残量がゼロにならない範囲で判定用の動作を行うことが可能となる。
上記実施形態において、ロボット100、200、400、600は、人型ロボットである。しかし、ロボット100、200、400、600は、動物型ロボットであってもよい。ロボット100、200、400、600は、二足歩行ではなく、タイヤの回転によって移動可能に構成されてもよい。
また、ロボット100、200、400、600は、足、タイヤ等によって移動可能なロボットでなくてもよい。例えば、ロボット100、200、400、600は、上半身のみからなるロボットであってもよい。ただし、この場合、ロボット100、200、400、600の基準位置に移動するための構成は省略される。
第1実施形態において、撮像部180は、ロボット100の触の先端に設けられている。しかし、撮像部180は、他の部分に設けられてもよい。
例えば、撮像部180がロボット100の手に設けられ、撮像時にロボット100が手を前方に差し出してロボット100を撮像するように構成されてもよい。また、撮像部180は、撮像しない状態においてロボット100の内部に収納され、撮像する状態においてロボット100の外部に出てくる構成にされてもよい。
上記実施形態において、位置情報取得部297、497は、外部装置から位置情報を取得するように構成されている。しかし、本発明は、このような構成に限られない。例えば、位置情報は、ロボット100、200、400、600のROM150又はRAM160に予め記憶されていてもよい。この場合、ロボット100、200、400、600は、外部装置と通信を行わなくても、ROM150又はRAM160から位置情報を取得することができる。
ロボット100、200、400、600の制御部190、290、490が実行する状態判定処理は、図4、図8、及び図12のフローチャートに限らず、適宜変更可能である。例えば、各ステップの順番を変更してもよい。
上記実施形態において、ROM150に記憶されるデータは、RAM160に記憶されてもよい。RAM160に記憶されるデータは、ROM150に記憶されてもよい。
また、上記実施形態の状態判定処理は、ロボット100、200、400、600によって実現されるのではなく、例えば、コンピュータがプログラムを実行することで実現してもよい。かかるプログラムは、USB(Universal Serial Bus)メモリ、CD−ROM(Compact Disc−Read Only Memory)、DVD(Digital Versatile Disc)、HDD(Hard Disc Drive)等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
以上、本発明の好ましい実施形態及び変形例について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
可視光線を反射する鏡面に映った自装置の鏡像を撮像する撮像手段と、
前記撮像手段により撮像された前記自装置の前記鏡像に基づいて前記自装置の状態を判定する判定手段と、
を備える、
ことを特徴とするロボット。
(付記2)
前記鏡面の前に自ら移動する、
ことを特徴とする付記1に記載のロボット。
(付記3)
前記鏡面の位置を記憶する記憶手段を更に備える、
ことを特徴とする付記1又は2に記載のロボット。
(付記4)
前記鏡面の位置を取得する取得手段を更に備える、
ことを特徴とする付記1から3のいずれか1つに記載のロボット。
(付記5)
前記鏡面は、前記自装置の充電ステーションに設けられている、
ことを特徴とする付記1から4のいずれか1つに記載のロボット。
(付記6)
前記自装置の状態は、前記自装置の故障状態である、
ことを特徴とする付記1から5のいずれか1つに記載のロボット。
(付記7)
カメラによって撮像された自装置の画像に基づいて、前記自装置の状態を判定する判定手段と、又は、前記カメラによって撮像された前記自装置の前記画像に基づく前記自装置の状態の判定を前記自装置の外部の他の装置に行わせる制御手段と、
を備える、
ことを特徴とするロボット。
(付記8)
前記自装置を撮像する前記カメラの前に自ら移動する、
ことを特徴とする付記7に記載のロボット。
(付記9)
自装置の外観を示す画像情報に基づいて前記自装置の状態を判定した判定結果を入手する入手手段、
を備える、
ことを特徴とするロボット。
(付記10)
前記自装置の前記外観を示す前記画像情報を取得する画像情報取得手段と、
前記画像情報取得手段が取得した前記画像情報に基づいて、前記自装置の状態を判定して前記判定結果を得る判定手段と、
を備える、
ことを特徴とする付記9に記載のロボット。
(付記11)
撮像手段をさらに備え、
前記画像情報取得手段は、前記撮像手段が前記自装置を撮像した画像を前記画像情報として取得する、
ことを特徴とする付記10に記載のロボット。
(付記12)
基準位置に位置する前記自装置を撮像する撮像手段をさらに備え、
前記画像情報取得手段は、前記撮像手段が鏡面に映った前記自装置の鏡像を撮像した画像を前記画像情報として取得する、
ことを特徴とする付記10に記載のロボット。
(付記13)
他の装置と通信を行う通信手段をさらに備え、
前記画像情報取得手段は、前記通信手段が受信信号を受信することにより、基準位置に位置する前記自装置を撮像した前記画像情報を取得する、
ことを特徴とする付記10に記載のロボット。
(付記14)
他の装置と通信を行う通信手段をさらに備え、
前記入手手段は、前記通信手段が受信信号を受信することにより、前記自装置の状態を判定した前記判定結果を入手する、
ことを特徴とする付記9に記載のロボット。
(付記15)
外部装置から判定に必要な動作プログラムを受信し、前記動作プログラムに基づいて、判定用の動作を行う、
ことを特徴とする付記9から14のいずれか1つに記載のロボット。
(付記16)
表示手段及び駆動手段のいずれか一つ以上をさらに備え、
前記判定用の動作は、前記表示手段による表示動作及び前記駆動手段による駆動動作のいずれか一つ以上を含む、
ことを特徴とする付記15に記載のロボット。
(付記17)
付記12に記載のロボットと、
前記鏡面と前記ロボットを充電するための充電手段とを備える充電ステーションと、
を備える、
ことを特徴とする状態判定システム。
(付記18)
付記13に記載のロボットと、
前記ロボットを撮像する撮像手段と前記ロボットを充電するための充電手段と前記ロボットと前記通信を行う通信手段とを備える充電ステーションと、
を備え、
前記ロボットは前記充電ステーションから前記画像情報を取得する、
ことを特徴とする状態判定システム。
(付記19)
可視光線を反射する鏡面に映ったロボットの鏡像を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された前記ロボットの前記鏡像に基づいて、前記ロボットの状態を判定する判定ステップと、
を含む、
ことを特徴とする状態判定方法。
(付記20)
コンピュータを、
可視光線を反射する鏡面に映ったロボットの鏡像を撮像する撮像手段を制御する撮像制御手段、
前記撮像手段により撮像された前記ロボットの前記鏡像に基づいて前記ロボットの状態を判定する判定手段、
として機能させる、
ことを特徴とするプログラム。
100,200,400,600…ロボット、300,500…充電ステーション、800,850,900…状態判定システム、110,210,310…通信部、120…駆動部、130…音声出力部、140…表示部、150,340…ROM、160,350…RAM、170,360…操作部、180,280,510…撮像部、190,290,370,490,570…制御部、191…表示制御部、192…駆動制御部、193…撮像制御部、194…音声出力制御部、195,295,495…画像情報取得部、196,296…判定部、297,497…位置情報取得部、C1…電極、M1,M2…鏡面、301,701…鏡部、302,502,702…台座、320…充電部、371…充電制御部、372,572…位置情報通知部、530…音声入力部、573…音声認識部、574…撮像制御部、700…鏡

Claims (8)

  1. 光線を反射する鏡面に映った自装置の鏡像を撮像する撮像手段と、
    前記撮像手段により撮像された前記自装置の前記鏡像に基づいて前記自装置の状態として、前記自装置が故障しているか否か、又は、前記自装置に物体が取り付けられているか否かを判定する判定手段と、
    前記鏡面の位置を取得する取得手段と、
    前記取得手段により取得された前記鏡面の位置を記憶する記憶手段と、
    を備える、
    ことを特徴とするロボット。
  2. 自装置の充電ステーションに設けられた鏡面に映った前記自装置の鏡像を撮像する撮像手段と、
    前記撮像手段により撮像された前記自装置の前記鏡像に基づいて前記自装置の状態として、前記自装置が故障しているか否か、又は、前記自装置に物体が取り付けられているか否かを判定する判定手段と、
    を備える、
    ことを特徴とするロボット。
  3. 前記判定手段の判定結果をユーザ又は外部装置に通知する通知手段をさらに備える、
    ことを特徴とする請求項1又は2に記載のロボット。
  4. 基準位置に位置する自装置を撮像する撮像部と、
    前記撮像部が鏡面に映った前記自装置の鏡像を撮像した画像を前記自装置の外観を示す画像情報として取得する画像情報取得部と、
    前記画像情報取得部が取得した前記画像情報に基づいて、前記自装置の状態として、前記自装置が故障しているか否か、又は、前記自装置に物体が取り付けられているか否かを判定して判定結果を得る判定部と、
    を有するロボットと、
    前記鏡面と、
    前記ロボットを充電するための充電部と、
    を有する充電ステーションと、
    を備える、
    ことを特徴とする状態判定システム。
  5. 光線を反射する鏡面に映ったロボットの鏡像を撮像する撮像ステップと、
    前記撮像ステップにおいて撮像された前記ロボットの前記鏡像に基づいて前記ロボットの状態として、前記ロボットが故障しているか否か、又は、前記ロボットに物体が取り付けられているか否かを判定する判定ステップと、
    前記鏡面の位置を取得する取得ステップと、
    前記取得ステップにより取得された前記鏡面の位置を記憶する記憶ステップと、
    を含む、
    ことを特徴とする状態判定方法。
  6. ロボットの充電ステーションに設けられた鏡面に映った前記ロボットの鏡像を撮像する撮像ステップと、
    前記撮像ステップにおいて撮像された前記ロボットの前記鏡像に基づいて前記ロボットの状態として、前記ロボットが故障しているか否か、又は、前記ロボットに物体が取り付けられているか否かを判定する判定ステップと、
    を含む、
    ことを特徴とする状態判定方法。
  7. コンピュータを、
    光線を反射する鏡面に映ったロボットの鏡像を撮像する撮像手段を制御する撮像制御手段、
    前記撮像手段により撮像された前記ロボットの前記鏡像に基づいて前記ロボットの状態として、前記ロボットが故障しているか否か、又は、前記ロボットに物体が取り付けられているか否かを判定する判定手段、
    前記鏡面の位置を取得する取得手段、
    前記取得手段により取得された前記鏡面の位置を記憶する記憶手段、
    として機能させる、
    ことを特徴とするプログラム。
  8. コンピュータを、
    ロボットの充電ステーションに設けられた鏡面に映った前記ロボットの鏡像を撮像する撮像手段を制御する撮像制御手段、
    前記撮像手段により撮像された前記ロボットの前記鏡像に基づいて前記ロボットの状態として、前記ロボットが故障しているか否か、又は、前記ロボットに物体が取り付けられているか否かを判定する判定手段、
    として機能させる、
    ことを特徴とするプログラム。
JP2016186080A 2016-09-23 2016-09-23 ロボット、状態判定システム、状態判定方法及びプログラム Active JP6607162B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016186080A JP6607162B2 (ja) 2016-09-23 2016-09-23 ロボット、状態判定システム、状態判定方法及びプログラム
US15/668,092 US20180088057A1 (en) 2016-09-23 2017-08-03 Status determining robot, status determining system, status determining method, and non-transitory recording medium
CN201710711760.7A CN107866812B (zh) 2016-09-23 2017-08-18 机器人、状态判定系统、状态判定方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016186080A JP6607162B2 (ja) 2016-09-23 2016-09-23 ロボット、状態判定システム、状態判定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018047538A JP2018047538A (ja) 2018-03-29
JP6607162B2 true JP6607162B2 (ja) 2019-11-20

Family

ID=61686112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016186080A Active JP6607162B2 (ja) 2016-09-23 2016-09-23 ロボット、状態判定システム、状態判定方法及びプログラム

Country Status (3)

Country Link
US (1) US20180088057A1 (ja)
JP (1) JP6607162B2 (ja)
CN (1) CN107866812B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677198B2 (ja) * 2017-03-16 2020-04-08 トヨタ自動車株式会社 ロボットの故障診断支援システム及び故障診断支援方法
JP6747423B2 (ja) * 2017-12-22 2020-08-26 カシオ計算機株式会社 ロボット、ロボット制御システム、ロボットの制御方法及びプログラム
CN112204611A (zh) * 2018-06-05 2021-01-08 索尼公司 信息处理设备、信息处理系统、程序和信息处理方法
JP7107017B2 (ja) * 2018-06-21 2022-07-27 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN112384344A (zh) * 2018-07-13 2021-02-19 索尼公司 控制设备、控制方法和程序
JP2020013242A (ja) * 2018-07-17 2020-01-23 富士ゼロックス株式会社 ロボット制御システム、ロボット装置およびプログラム
CN109491875A (zh) * 2018-11-09 2019-03-19 浙江国自机器人技术有限公司 一种机器人信息显示方法、系统及设备
KR102203438B1 (ko) * 2018-12-26 2021-01-14 엘지전자 주식회사 이동 로봇 및 이동 로봇의 제어방법
WO2020213755A1 (ko) * 2019-04-17 2020-10-22 엘지전자 주식회사 로봇 및 이를 이용한 지도 업데이트 방법
WO2020262712A1 (ko) * 2019-06-24 2020-12-30 엘지전자 주식회사 영상 디스플레이 방법 및 이를 구현하는 이동 로봇
CN113378750B (zh) * 2021-06-23 2024-06-07 北京哈崎机器人科技有限公司 一种充电桩对接方法、装置、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61226289A (ja) * 1985-03-29 1986-10-08 株式会社神戸製鋼所 ロボツト・マニピユレ−タの診断装置
KR100656701B1 (ko) * 2004-10-27 2006-12-13 삼성광주전자 주식회사 로봇청소기 시스템 및 외부충전장치 복귀 방법
EP2806326B1 (en) * 2005-09-02 2016-06-29 Neato Robotics, Inc. Multi-function robotic device
CN202035099U (zh) * 2011-04-11 2011-11-09 张营营 全方位显像梳妆台
JP2013052485A (ja) * 2011-09-06 2013-03-21 Seiko Epson Corp 侵入検出装置及びロボットシステム
JP5857747B2 (ja) * 2012-01-05 2016-02-10 富士通株式会社 撮像装置を搭載したロボットの動作設定法。
CN203592488U (zh) * 2013-11-18 2014-05-14 潘恬恬 人用辅助喂食机
KR102104896B1 (ko) * 2014-01-17 2020-05-29 엘지전자 주식회사 로봇청소기 및 이를 이용한 휴먼 케어방법

Also Published As

Publication number Publication date
CN107866812A (zh) 2018-04-03
US20180088057A1 (en) 2018-03-29
JP2018047538A (ja) 2018-03-29
CN107866812B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
JP6607162B2 (ja) ロボット、状態判定システム、状態判定方法及びプログラム
US9683834B2 (en) Adaptable depth sensing system
US10229501B2 (en) Mobile robot and method for controlling the same
CN110967024A (zh) 可行驶区域的检测方法、装置、设备及存储介质
US11338429B2 (en) Robot
KR101793396B1 (ko) 모바일 디바이스용 자율 로봇
KR102573769B1 (ko) 전자장치 및 그 거치대
WO2011089783A1 (ja) 携帯端末および位置測位方法
US20180329409A1 (en) Portable mobile robot and operation thereof
KR101623642B1 (ko) 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템
US9743048B2 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
JP2016045874A (ja) 情報処理装置、情報処理方法、及びプログラム
US20210200247A1 (en) Gimbal control method, gimbal, mobile platform and computer-readable storage medium
US20130234956A1 (en) Electronic device and method of data transmission
TWI524211B (zh) 電子裝置及其顯示角度調整方法
JP2017102538A (ja) 自律移動装置、自律移動方法及びプログラム
JP2018140686A (ja) 移動体装置及び移動体システム
KR101378305B1 (ko) 로봇맵 생성 방법 및 시스템
EP3329347B1 (en) Electronic device and cradle thereof
JP2018185780A (ja) 対話機能を実行するための電子装置及び方法
CN111567019B (zh) 记录介质以及电子设备
CN113490576A (zh) 用于提供与针对壳体的输入相应的反馈的电子装置
JP5710809B2 (ja) 寸法測定端末
WO2017168622A1 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
JP2018064181A (ja) 位置通知装置、位置通知プログラムおよび位置通知制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R150 Certificate of patent or registration of utility model

Ref document number: 6607162

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150