JP5946147B2 - 可動式ヒューマンインターフェースロボット - Google Patents
可動式ヒューマンインターフェースロボット Download PDFInfo
- Publication number
- JP5946147B2 JP5946147B2 JP2014234846A JP2014234846A JP5946147B2 JP 5946147 B2 JP5946147 B2 JP 5946147B2 JP 2014234846 A JP2014234846 A JP 2014234846A JP 2014234846 A JP2014234846 A JP 2014234846A JP 5946147 B2 JP5946147 B2 JP 5946147B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- sensor
- scene
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 236
- 238000001514 detection method Methods 0.000 claims description 91
- 230000033001 locomotion Effects 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 8
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 39
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000009471 action Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 25
- 238000005259 measurement Methods 0.000 description 20
- 238000013507 mapping Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 230000005855 radiation Effects 0.000 description 13
- 238000001125 extrusion Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002688 persistence Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 241001272996 Polyphylla fullo Species 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 101100162169 Xenopus laevis adrm1-a gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 230000009012 visual motion Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/22—Telecentric objectives or lens systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Description
本米国特許出願は、2010年12月30日に出願された米国仮出願第61/428,717号、2010年12月30日に出願された米国仮出願第61/428,734号、2010年12月30日に出願された米国仮出願第61/428,759号、2011年1月5日に出願された米国仮出願第61/429,863号、2011年2月22日に出願された米国仮出願第61/445,408号、2011年2月22日に出願された米国仮出願第61/445,473号、および2011年4月25日に出願された米国仮出願第61/478,849号に対する米国特許法第119条(e)の下の優先権、ならびに2011年2月22日に出願された米国特許出願第13/032,312号、および2011年2月22日に出願された米国特許出願第13/032,228号に対する米国特許法120条の下の優先権を主張する。これらの先願の開示は、本願の開示の一部であると見なされ、それらの全体が参照することによって本明細書に組み込まれる。
死角センサの検出界は、体積点群撮像デバイスによって検出不可能な空間体積(すなわち、死角)を包囲し得る。いくつかの実施例では、体積点群撮像デバイスによって検出不可能な空間体積は、第1の角度、第2の角度、および半径によって画定される(例えば、57°×45°×50cm)。死角センサの検出界は、体積点群撮像デバイスと体積点群撮像デバイスの検出界との間に配設されてもよい。いくつかの実施例では、死角センサは、死角センサから外向きに少なくとも3メートル延在する視界を有する。この例では、死角センサは、経路計画および障害物回避のために、死角内の比較的短い距離用、および比較的遠い物体を検出するための長距離センサとしての二重目的であることができる。
場合によっては、コントローラは、標的物体上の一次スペックルパターンを判定し、一次スペックルパターンと基準画像のスペックルパターンとの間のそれぞれの相互相関および非相関のうちの少なくとも1つを演算する。
可動式ロボットは、人と対話またはやりとりして、在宅支援から商業支援、およびその他に及ぶ多数のサービスを提供することができる。在宅支援の例では、可動式ロボットは、投薬計画の維持、移動支援、通信支援(例えば、テレビ会議、電話通信、インターネットアクセス等)、住居もしくは現場監視(屋内および/または屋外)、人監視、および/または個人用緊急対応システム(PERS)の提供を含むが、これらに限定されない、高齢者の日常生活を支援することができる。商業支援では、可動式ロボットは、テレビ会議(例えば、病院状況における)、売り場専用端末、対話型情報/マーケティング端末等を提供することができる。
この配設では、前進させるために、コントローラ500は、第1の駆動車輪210aを順転方向に駆動させ、第2および第3の駆動車輪210b、210cを第1の駆動車輪210aと同等の速度で逆方向に駆動させる、駆動コマンドを発行してもよい。
脚部130は、第1の脚部分132に対して第2の脚部分134を移動させるためのアクチュエータアセンブリ136(図8C)を含んでもよい。アクチュエータアセンブリ136は、コントローラ500に位置フィードバックを提供する、リフトモータ138bおよびエンコーダ138cと通信している、モータドライバ138aを含んでもよい。
胴部140は、マイクロコントローラ145と、マイクロフォン(単数または複数)330と、スピーカ(単数または複数)340と、撮像センサ450(走査3−D画像センサ450a等)と、コントローラ500がユーザの接触またはタッチを受信し、それに応答する(例えば、胴部140を基部120に対して移動させる、首部150を回動およびもしくは傾斜させる、ならびに/またはこれらに応えて駆動システム200にコマンドを発行することによって)ことを可能にする、胴部タッチセンサシステム480とを収容してもよい。首部150は、対応するモータドライバ156aおよびエンコーダ158aを有する回動モータ152と、対応するモータドライバ156bおよびエンコーダ158bを有する傾斜モータ154とを含んでもよい、回動−傾斜アセンブリ151を収容してもよい。頭部160は、1つ以上のウェブパッド310(例えば、ロボット100と通信している遠隔コンピューティングデバイスであってもよい)と、カメラ320とを収容してもよい。
本実現形態は、1)潜在的な段差の早期検出(未知の環境内でのより速い移動速度を可能にし得る)、2)段差事象が本当に安全ではないものであるか否か、または安全に横断すること(例えば、敷居を登って越える等)ができるものであるか否かを知るために、コントローラ500が段差検出近接センサ420からの段差撮像情報を受信することによる、自律的可動性の信頼性の増加、3)段差の誤検出の低減(例えば、縁部検出対複数の狭い視界を伴う別個のIR近接センサの使用による)を可能にする。冗長性のため、および距離感知カメラが特定のタイプの段差を確実に検出することができない状況を検出するために、「脱輪」センサとして配設される追加のセンサを使用することができる。
搭載物が支持される際、コントローラ500は、全体重心CGRへの負荷影響を計測し、ロボットの移動の慣性モーメントを監視してもよい。例えば、胴部140および/または首部150は、歪みを計測する、歪みゲージを含んでもよい。これが可能ではない場合、コントローラ500は、安全限界を実験的に判定するために、駆動車輪210に試験トルクコマンドを適用し、IMU470を使用して、ロボットの実際の線形加速および角加速を計測してもよい。
3−D画像センサ450は、画像パターン合致、源から放射され、標的から反射される光の飛行時間および/または位相遅延偏移計測によって、そのようなデータを取得してもよい。
また、撮像センサ450は、光源1172から発される光の反射光を含む、情景10からの反射光を捕捉する(例えば、情景深度画像として)、撮像部1174(例えば、光感知ピクセル1174pのアレイ)も含んでもよい。いくつかの実施例では、撮像センサ450は、放射される光および受信される反射光をそれぞれ操作する(例えば、スペックリングまたは集束させる)ために、光源レンズ1176および/または検出器レンズ1178を含む。ロボットコントローラ500またはロボットコントローラ500と通信しているセンサコントローラ(図示せず)は、撮像部1174によって捕捉される反射光の画像パターン合致および/または飛行時間特性に基づき、情景10内の物体12の深度情報を判定するために、撮像部1174(例えば、ピクセル1174p)から光信号を受信する。
例えば、情景内の感知されるアイテムは、情景10内の高くなっている可能性のある物体12(例えば、戸口、敷居、または段差)を感知するために、動作を繰り返す(1212)頻度を増加させる事象をトリガし得る。追加の実施例では、検出された物体12間の経過時間事象が、動作を繰り返す(1212)頻度を低下させ得る、またはある期間停止させ得る(例えば、別の事象によって起こされるまで活動停止状態になる)。いくつかの実施例では、情景10内の物体12の1つ以上の特徴を検出する(1208)動作は、画像深度データが取得される速度を増加させるために、比較的大きい頻度の繰り返し動作(1212)をもたらす、特徴検出事象をトリガする。画像深度データの比較的大きい獲得速度は、情景内の相対的により信頼できる特徴追跡を可能にすることができる。
コントローラ500は、捕捉される体積点群のデータを解析するために、骨格/デジタル認識ソフトウェアを実行してもよい。
例えば、スケールおよび回転不変のために適用される変換は、深度マップが特徴の方向への移動量によってインデックスを付けられる場合、深度マップ内の局所特徴を認識するのに、依然として効果的であり得る。
Lecture Notes in Computer Science, Volume 3667. pp. 91−103、Ivan Laptev, Barbara Caputo, Christian Schuldt and Tony Lindeberg (2007). “Local velocity−adapted motion events for spatio−temporal recognition”. Computer Vision and Image Understanding 108: 207−229、Scovanner, Paul; Ali, S; Shah, M (2007). “A 3−dimensional sift descriptor and its application to action recognition”. Proceedings of the 15th International Conference on Multimedia, pp. 357−360、Niebles, J. C. Wang, H. and Li, Fei−Fei (2006). “Unsupervised Learning of Human Action Categories Using Spatial−Temporal Words”. Proceedings of the British Machine Vision Conference (BMVC). Edinburghに見ることができる。
いずれの実施例でも、コントローラ500と通信しているアクチュエータ138(回転アクチュエータ等)は、胴部140を基部120に対して回転させる(例えば、胴部140を脚部130に対して回転させるか、および/または脚部130を基部120に対して回転させるかのいずれかによって)。回転胴部140は、撮像センサ450を、Z軸を中心に、ロボット100の周囲の最大で360°の視界452を提供する回動運動で移動させる。ロボット100は、胴部140を順駆動方向Fに対して連続して360°または+/−角度≦180°枢動させてもよい。
Claims (28)
- 可動式ロボット(100)であって、
順駆動方向(F)を有する駆動システム(200)と、
前記駆動システム(200)と通信しているコントローラ(500)と、
前記駆動システム(200)の上方に支持され、かつ前記可動式ロボット(100)の移動方向の床面を含む空間体積から点群を取得することができるように下向きに方向付けられる、体積点群撮像デバイス(450)と、
水平面上にある物体を検出するための上向き視界を有する近接センサ(410)と、を備え、
前記コントローラ(500)は、前記撮像デバイス(450)から点群信号と、前記近接センサ(410)から検出信号とを受信し、少なくとも部分的に前記受信した点群信号および検出信号に基づき、前記駆動システム(200)に駆動コマンドを発行し、
前記撮像デバイス(450)は、前記近接センサ(410)の上向き視界よりも上方の、前記可動式ロボット(100)の垂直方向位置に設けられ、
前記撮像デバイス(450)の視界と前記近接センサ(410)の上向き視界とは、前記可動式ロボット(100)の前方において交差する、可動式ロボット(100)。 - 前記近接センサ(410)のアレイを備え、この近接センサ(410)のアレイは、前記可動式ロボット(100)の基部(120)の周囲に配置され、かつ上向き視界を伴って配設される、請求項1に記載の可動式ロボット(100)。
- 前記近接センサ(410)のアレイは、前記可動式ロボット(100)の周囲に検出カーテン(412)を生じさせ、この検出カーテン(412)は、横方向突出部分を有する障害物を検出する、請求項2に記載の可動式ロボット(100)。
- 前記近接センサ(410)は、物体としてのテーブル上部を見る能力を提供する、請求項1〜3のいずれかに記載の可動式ロボット(100)。
- 前記コントローラ(500)は、前記近接センサ(410)からの検出信号に基づき、前記可動式ロボット(100)の速度または進行方向を変更させるように、前記駆動システム(200)に駆動コマンドを発行する、請求項1〜4のいずれかに記載の可動式ロボット(100)。
- 前記コントローラ(500)は、近隣の壁による前記近接センサ(410)からの検出信号に基づき、前記可動式ロボット(100)を減速させるように、前記駆動システム(200)に駆動コマンドを発行する、請求項5に記載の可動式ロボット(100)。
- 前記可動式ロボット(100)の速度設定を調節するように構成された速度挙動(600c)を更に備え、この速度挙動(600c)は、前記近接センサ(410)をポーリングするように構成されている、請求項1〜6のいずれかに記載の可動式ロボット(100)。
- 前記体積点群撮像デバイス(450)によって検出不可能な空間体積(453)内の物体(12)を検出するように配設される検出界(492、2192)を有する、死角センサ(490、2190)を更に備える、請求項1〜7のいずれかに記載の可動式ロボット(100)。
- 前記死角センサ(490、2190)は、体積点群撮像デバイス(450)、ソナーセンサ、カメラ、超音波センサ、LIDAR、LADAR、光学センサ、および赤外線センサのうちの少なくとも1つを備える、請求項8に記載の可動式ロボット(100)。
- 前記死角センサ(490、2190)の前記検出界(492、2192)は、前記体積点群撮像デバイス(450)によって検出不可能な空間体積(453)を包囲する、請求項8又は9に記載の可動式ロボット(100)。
- 前記体積点群撮像デバイス(450)によって検出不可能な前記空間体積(453)は、第1の角度(α)、第2の角度(β)、および半径(RS)である57°×45°×50cmによって画定される、請求項10に記載の可動式ロボット(100)。
- 前記死角センサ(490)の前記検出界(492)は、前記体積点群撮像デバイス(450)と前記体積点群撮像デバイス(450)の検出界(457)との間に配設される、請求項8〜11のいずれかに記載の可動式ロボット(100)。
- 前記死角センサ(2190)は、前記死角センサ(2190)から外向きに少なくとも3メートル延在する視界(2192)を有する、請求項8〜12のいずれかに記載の可動式ロボット(100)。
- 前記体積点群撮像デバイス(450)によって検出不可能な前記空間体積(453)内の物体(12)を検出するように配設される検出界(492、2192)を有する少なくとも1つの死角センサ(490、2190)を含む死角センサ(490、2190)のアレイをさらに備え、死角センサ(490)の前記アレイは、それらの視界(492、2192)が、前記順駆動方向(F)に沿った状態で、または前記ロボット(100)によって画定される垂直中心軸(Z)を中心に均等に分配された状態で配設される、請求項8〜13のいずれかに記載の可動式ロボット(100)。
- 前記撮像デバイス(450)は、第1および第2の部分(450a、450b)を備え、
前記第1の部分(450a)は、実質的に地面上に光を放射し、前記地面から前記放射光の反射を受けとるように配設され、
前記第2の部分(450b)は、前記地面の実質的に上方の情景(10)内に光を放射し、前記ロボット(100)の周囲の前記情景(10)から前記放射光の反射を受けとるように配設される、請求項1〜14のいずれかに記載の可動式ロボット(100)。 - 可動式ロボット(100)のための物体検出の方法であって、
下向きに方向付けられた撮像センサ(450)を、前記ロボット(100)の垂直軸(Z)を中心に回転させるステップを含み、前記撮像センサ(450)は、前記ロボット(100)の周囲の情景(10)に光を放射し、前記情景(10)の画像を捕捉し、前記画像は、(a)3次元深度画像、(b)アクティブ照明画像、および(c)周囲照明画像のうちの少なくとも1つを含み、
前記画像に基づき、前記情景(10)内の物体(12)の位置を判定するステップと、
前記物体位置に信頼レベルを割り当てるステップと、
前記物体位置および対応する信頼レベルに基づき、前記情景(10)内で前記ロボット(100)を機動させるステップと、
上向き視界を有する近接センサ(410)を使用して、水平面上にある物体を検出するステップと、
前記検出された物体に基づき、前記可動式ロボット(100)の速度または進行方向を変更させるステップと、を更に含み、
前記撮像センサ(450)は、前記近接センサ(410)の上向き視界よりも上方の、前記可動式ロボット(100)の垂直方向位置に設けられ、
前記撮像センサ(450)の視界と前記近接センサ(410)の上向き視界とは、前記可動式ロボット(100)の前方において交差する、方法。 - 前記情景(10)の物体占領マップ(1700)を構築するステップをさらに含む、請求項16に記載の方法。
- それぞれの物体位置が新たに判定される物体位置で更新されるまで、前記各物体位置の前記信頼レベルを経時的に低下させることをさらに含む、請求項16または17に記載の方法。
- 前記撮像センサ(450)によって検出不可能な空間体積(453)内の物体(12)を検出するように配設される検出界(492、2192)を有する死角センサ(490、2190)を使用して、前記撮像センサ(450)によって検出不可能な前記空間体積(453)内の物体(12)を検出するステップと、
前記検出された物体(12)の前記信頼レベルの低下を中止するステップと、をさらに含む、請求項18に記載の方法。 - 前記撮像センサ(450)によって検出不可能な前記空間体積(453)にその物体(12)がないことを検出すると、前記検出された物体(12)の前記信頼レベルの低下を継続することをさらに含む、請求項19に記載の方法。
- 前記ロボット(100)を、少なくとも、
a)前記物体(12)と接触させ、前記物体(12)の周辺に沿って追従させるように、または
b)前記物体(12)を回避するように、
機動させることをさらに含む、請求項16〜20のいずれかに記載の方法。 - 間欠パルスの前記光を前記情景(10)に放射し、この放射させる前記光のパルスの周波数を任意選択により変化させるステップであって、前記光を第1の省電力周波数で放射し、センサ事象を受信すると、前記光を第2のアクティブ周波数で放射し、前記センサ事象は、前記情景(10)内の物体(12)の存在を示すセンサ信号を含む、前記ステップをさらに含む、請求項16〜21のいずれかに記載の方法。
- 光のスペックルパターンを前記情景(10)に放射するステップと、
前記情景(10)内の前記物体(12)から前記スペックルパターンの反射を受けとるステップと、
前記情景(10)内の基準物体(12)から反射される前記スペックルパターンの基準画像を記憶ステップであって、前記基準画像は、前記基準物体(12)から様々な異なる距離(Zn)で捕捉される、前記ステップと、
前記情景(10)内の標的物体(12)から反射される前記スペックルパターンの少なくとも1つの標的画像を捕捉するステップと、
前記少なくとも1つの標的画像を前記基準画像と比較して、前記標的物体(12)の前記反射面の距離(ΔZ)を判定するステップと、
によって、前記情景(10)の前記3次元深度画像を構築するステップをさらに含む、請求項16〜22のいずれかに記載の方法。 - 前記標的物体(12)上の一次スペックルパターンを判定するステップと、前記一次スペックルパターンと前記基準画像の前記スペックルパターンとの間のそれぞれの相互相関および非相関のうちの少なくとも1つを演算するステップとをさらに含む、請求項23に記載の方法。
- 約10Hz〜約90Hzの或るフレーム速度で、前記標的物体(12)の表面からの前記放射されたスペックルパターンの反射のフレームを捕捉するステップと、任意選択により、前記標的物体(12)の識別のために、連続フレーム内に捕捉されるスペックルパターンの間の差を解決することをさらに含む、請求項23または24に記載の方法。
- 前記近接センサ(410)のアレイを備え、この近接センサ(410)のアレイは、前記可動式ロボット(100)の基部(120)の周囲に配置され、かつ上向き視界を伴って配設される、請求項17に記載の方法。
- 前記近接センサ(410)のアレイは、前記可動式ロボット(100)の周囲に検出カーテン(412)を生じさせ、この検出カーテン(412)は、横方向突出部分を有する障害物を検出する、請求項26に記載の方法。
- 前記近接センサ(410)は、物体としてのテーブル上部を見る能力を提供する、請求項26または27に記載の方法。
Applications Claiming Priority (17)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201061428759P | 2010-12-30 | 2010-12-30 | |
US201061428717P | 2010-12-30 | 2010-12-30 | |
US201061428734P | 2010-12-30 | 2010-12-30 | |
US61/428,759 | 2010-12-30 | ||
US61/428,734 | 2010-12-30 | ||
US61/428,717 | 2010-12-30 | ||
US201161429863P | 2011-01-05 | 2011-01-05 | |
US61/429,863 | 2011-01-05 | ||
US201161445408P | 2011-02-22 | 2011-02-22 | |
US13/032,312 US8918209B2 (en) | 2010-05-20 | 2011-02-22 | Mobile human interface robot |
US13/032,312 | 2011-02-22 | ||
US13/032,228 | 2011-02-22 | ||
US13/032,228 US9400503B2 (en) | 2010-05-20 | 2011-02-22 | Mobile human interface robot |
US61/445,408 | 2011-02-22 | ||
US201161478849P | 2011-04-25 | 2011-04-25 | |
US61/478,849 | 2011-04-25 | ||
PCT/US2011/059980 WO2012091807A2 (en) | 2010-12-30 | 2011-11-09 | Mobile human interface robot |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013547473A Division JP2014509417A (ja) | 2010-12-30 | 2011-11-09 | 可動式ヒューマンインターフェースロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015092348A JP2015092348A (ja) | 2015-05-14 |
JP5946147B2 true JP5946147B2 (ja) | 2016-07-05 |
Family
ID=45375473
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013547473A Pending JP2014509417A (ja) | 2010-12-30 | 2011-11-09 | 可動式ヒューマンインターフェースロボット |
JP2014234846A Active JP5946147B2 (ja) | 2010-12-30 | 2014-11-19 | 可動式ヒューマンインターフェースロボット |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013547473A Pending JP2014509417A (ja) | 2010-12-30 | 2011-11-09 | 可動式ヒューマンインターフェースロボット |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP2659320A2 (ja) |
JP (2) | JP2014509417A (ja) |
AU (1) | AU2011352997B2 (ja) |
CA (1) | CA2824606A1 (ja) |
DE (1) | DE112011104645T5 (ja) |
GB (1) | GB2502213A (ja) |
WO (1) | WO2012091807A2 (ja) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8958911B2 (en) * | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
CN102880178B (zh) * | 2012-08-23 | 2015-06-10 | 群耀光电科技(苏州)有限公司 | 虚拟墙系统 |
PL2898384T3 (pl) * | 2012-09-19 | 2020-05-18 | Follow Inspiration Unipessoal, Lda. | System automatycznie śledzący i jego sposób działania |
US9367065B2 (en) | 2013-01-25 | 2016-06-14 | Google Inc. | Modifying behavior of autonomous vehicles based on sensor blind spots and limitations |
US11172126B2 (en) | 2013-03-15 | 2021-11-09 | Occipital, Inc. | Methods for reducing power consumption of a 3D image capture system |
US9208566B2 (en) | 2013-08-09 | 2015-12-08 | Microsoft Technology Licensing, Llc | Speckle sensing for motion tracking |
DE102014206086A1 (de) | 2014-03-31 | 2015-10-01 | Robert Bosch Gmbh | Verfahren zum Betreiben einer selbstbeweglichen mobilen Plattform |
EP3191264A4 (en) | 2014-09-12 | 2018-04-25 | University of Washington | Integration of auxiliary sensors with point cloud-based haptic rendering and virtual fixtures |
JP6377536B2 (ja) * | 2015-01-15 | 2018-08-22 | 株式会社東芝 | 空間情報可視化装置、プログラムおよび空間情報可視化方法 |
US9630319B2 (en) * | 2015-03-18 | 2017-04-25 | Irobot Corporation | Localization and mapping using physical features |
US9625582B2 (en) * | 2015-03-25 | 2017-04-18 | Google Inc. | Vehicle with multiple light detection and ranging devices (LIDARs) |
EP3203412A1 (en) * | 2016-02-05 | 2017-08-09 | Delphi Technologies, Inc. | System and method for detecting hand gestures in a 3d space |
JP7035300B2 (ja) * | 2016-03-15 | 2022-03-15 | アクチエボラゲット エレクトロルックス | ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品 |
US10394244B2 (en) * | 2016-05-26 | 2019-08-27 | Korea University Research And Business Foundation | Method for controlling mobile robot based on Bayesian network learning |
JP6786912B2 (ja) * | 2016-07-05 | 2020-11-18 | 富士ゼロックス株式会社 | 移動ロボットおよび移動制御システム |
JP6565853B2 (ja) | 2016-09-29 | 2019-08-28 | トヨタ自動車株式会社 | コミュニケーション装置 |
KR101865161B1 (ko) * | 2016-12-13 | 2018-06-07 | 주식회사 아프리카티비 | 방송 촬영 방법 및 장치 |
JP6974821B2 (ja) * | 2017-03-27 | 2021-12-01 | 地方独立行政法人東京都立産業技術研究センター | 移動ロボット及び制御回路 |
KR102326077B1 (ko) * | 2017-06-15 | 2021-11-12 | 엘지전자 주식회사 | 3차원 공간의 이동 객체를 식별하는 방법 및 이를 구현하는 로봇 |
DE102017117545A1 (de) | 2017-08-02 | 2019-02-07 | Jungheinrich Aktiengesellschaft | Verfahren zur Überwachung des Fahrwegs eines Flurförderzeuges sowie ein Flurförderzeug |
CN107289967B (zh) * | 2017-08-17 | 2023-06-09 | 珠海一微半导体股份有限公司 | 可分离式光学里程计及移动机器人 |
FR3070294B1 (fr) | 2017-08-28 | 2021-01-22 | Fogale Nanotech | Dispositif de detection multi-distances pour un robot, et robot equipe de tel(s) dispositif(s) |
DE102017217844A1 (de) | 2017-10-06 | 2019-04-11 | Robert Bosch Gmbh | Verfahren und ein maschinelles Lernsystem zur Klassierung von Objekten |
DE112018006578T5 (de) * | 2018-01-24 | 2020-11-05 | Ford Global Technologies, Llc | Wegplanung für autonome sich bewegende vorrichtungen |
US11879958B2 (en) | 2018-06-06 | 2024-01-23 | Honeywell International Inc. | System and method for using an industrial manipulator for atmospheric characterization lidar optics positioning |
KR102165352B1 (ko) * | 2018-06-25 | 2020-10-13 | 엘지전자 주식회사 | 로봇 |
JP7035886B2 (ja) * | 2018-07-30 | 2022-03-15 | トヨタ自動車株式会社 | 画像処理装置、画像処理方法 |
EP3844432A4 (en) | 2018-08-30 | 2022-06-15 | Veo Robotics, Inc. | SYSTEMS AND METHODS FOR AUTOMATIC SENSOR ALIGNMENT AND CONFIGURATION |
CN110967703A (zh) * | 2018-09-27 | 2020-04-07 | 广东美的生活电器制造有限公司 | 使用激光雷达和摄像头的室内导航方法及室内导航装置 |
US11921218B2 (en) * | 2018-11-30 | 2024-03-05 | Garmin Switzerland Gmbh | Marine vessel LIDAR system |
CN109828564B (zh) * | 2019-01-28 | 2022-06-17 | 广州杰赛科技股份有限公司 | 一种无人驾驶汽车路径规划的优化方法、装置及终端设备 |
US11607804B2 (en) * | 2019-05-28 | 2023-03-21 | X Development Llc | Robot configuration with three-dimensional lidar |
CN115122323A (zh) * | 2019-08-09 | 2022-09-30 | 科沃斯机器人股份有限公司 | 自主移动设备 |
CN114271042B (zh) * | 2019-09-23 | 2024-03-08 | 株式会社富士 | 周边监视装置 |
RU2769921C2 (ru) * | 2019-11-21 | 2022-04-08 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для автоматизированного определения присутствия объектов |
US11618167B2 (en) * | 2019-12-24 | 2023-04-04 | X Development Llc | Pixelwise filterable depth maps for robots |
CN111157996B (zh) * | 2020-01-06 | 2022-06-14 | 珠海丽亭智能科技有限公司 | 一种停车机器人行驶安全检测方法 |
DE102021000600A1 (de) | 2021-02-05 | 2022-08-11 | Mercedes-Benz Group AG | Verfahren und Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera |
WO2023137552A1 (en) * | 2022-01-21 | 2023-07-27 | Kinova Inc. | System for teaching a robotic arm |
KR20240016707A (ko) * | 2022-07-29 | 2024-02-06 | 삼성전자주식회사 | 라이다 센서가 탑재된 로봇 및 그의 제어 방법 |
KR102479774B1 (ko) * | 2022-09-15 | 2022-12-21 | 주식회사 라스테크 | 로봇팔을 구비하는 휴머노이드 로봇 |
KR102631521B1 (ko) * | 2023-12-01 | 2024-01-31 | 주식회사세오 | 바닥 감지 장치가 구비된 자율 주행 로봇 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06202732A (ja) * | 1993-01-06 | 1994-07-22 | Amada Metrecs Co Ltd | 移動体の運航装置及びその装置を利用したセキュリティロボット |
JPH0764631A (ja) * | 1993-08-27 | 1995-03-10 | Nissan Motor Co Ltd | 移動探査機の経路探索方法 |
US20020195548A1 (en) | 2001-06-06 | 2002-12-26 | Dowski Edward Raymond | Wavefront coding interference contrast imaging systems |
JP3531268B2 (ja) * | 1995-04-05 | 2004-05-24 | 松下電器産業株式会社 | 自走式掃除機 |
JPH09249908A (ja) * | 1996-03-14 | 1997-09-22 | Kawasaki Steel Corp | 竪型円筒容器積載台車の停止位置制御方法および装置 |
JP3601737B2 (ja) * | 1996-03-30 | 2004-12-15 | 技術研究組合医療福祉機器研究所 | 搬送ロボットシステム |
JP2000292538A (ja) * | 1999-04-07 | 2000-10-20 | Mitsubishi Electric Corp | 車両用障害物検出装置 |
US6323942B1 (en) | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
US6515740B2 (en) | 2000-11-09 | 2003-02-04 | Canesta, Inc. | Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation |
WO2003076984A1 (en) | 2002-03-14 | 2003-09-18 | Ramot At Tel Aviv University Ltd. | All optical extended depth-of-field imaging system |
JP2003316438A (ja) * | 2002-04-22 | 2003-11-07 | Fuji Heavy Ind Ltd | 自律走行作業車 |
JP2004034272A (ja) * | 2002-07-08 | 2004-02-05 | Mitsubishi Heavy Ind Ltd | 移動体の自己位置同定装置 |
JP2005216022A (ja) * | 2004-01-30 | 2005-08-11 | Funai Electric Co Ltd | 自律走行ロボットクリーナー |
EP1741044B1 (en) * | 2004-03-27 | 2011-09-14 | Harvey Koselka | Autonomous personal service robot |
KR20060059006A (ko) * | 2004-11-26 | 2006-06-01 | 삼성전자주식회사 | 이동형 가전기기가 장애물을 회피하며 벽을 따라 이동하는방법 및 장치 |
US8935006B2 (en) * | 2005-09-30 | 2015-01-13 | Irobot Corporation | Companion robot for personal interaction |
US8400494B2 (en) | 2005-10-11 | 2013-03-19 | Primesense Ltd. | Method and system for object reconstruction |
US8050461B2 (en) | 2005-10-11 | 2011-11-01 | Primesense Ltd. | Depth-varying light fields for three dimensional sensing |
KR101290367B1 (ko) * | 2005-12-02 | 2013-07-26 | 아이로보트 코퍼레이션 | 자동 커버리지 로봇 운행 시스템 |
JP4506685B2 (ja) * | 2006-02-17 | 2010-07-21 | トヨタ自動車株式会社 | 移動型ロボット |
JP4917615B2 (ja) * | 2006-02-27 | 2012-04-18 | プライム センス リミティド | スペックルの無相関を使用した距離マッピング(rangemapping) |
CN101496033B (zh) | 2006-03-14 | 2012-03-21 | 普莱姆森斯有限公司 | 利用散斑图案的三维传感 |
CN101657825B (zh) | 2006-05-11 | 2014-02-19 | 普莱姆传感有限公司 | 根据深度图对人形进行建模 |
WO2008087652A2 (en) | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Depth mapping using multi-beam illumination |
US8150142B2 (en) | 2007-04-02 | 2012-04-03 | Prime Sense Ltd. | Depth mapping using projected patterns |
US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
US8116910B2 (en) * | 2007-08-23 | 2012-02-14 | Intouch Technologies, Inc. | Telepresence robot with a printer |
JP2009070343A (ja) * | 2007-09-18 | 2009-04-02 | Univ Of Electro-Communications | 移動体制御装置 |
WO2009093228A2 (en) | 2008-01-21 | 2009-07-30 | Prime Sense Ltd. | Optical designs for zero order reduction |
JP5081661B2 (ja) * | 2008-02-19 | 2012-11-28 | 株式会社Ihi | 水溜まり検出装置、無人走行車両及び水溜まり検出方法 |
JP4788722B2 (ja) * | 2008-02-26 | 2011-10-05 | トヨタ自動車株式会社 | 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造 |
-
2011
- 2011-11-09 AU AU2011352997A patent/AU2011352997B2/en not_active Ceased
- 2011-11-09 GB GB1313410.1A patent/GB2502213A/en not_active Withdrawn
- 2011-11-09 EP EP11799334.5A patent/EP2659320A2/en not_active Withdrawn
- 2011-11-09 CA CA2824606A patent/CA2824606A1/en not_active Abandoned
- 2011-11-09 DE DE112011104645T patent/DE112011104645T5/de not_active Withdrawn
- 2011-11-09 WO PCT/US2011/059980 patent/WO2012091807A2/en active Application Filing
- 2011-11-09 JP JP2013547473A patent/JP2014509417A/ja active Pending
-
2014
- 2014-11-19 JP JP2014234846A patent/JP5946147B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2012091807A2 (en) | 2012-07-05 |
CA2824606A1 (en) | 2012-07-05 |
JP2015092348A (ja) | 2015-05-14 |
GB201313410D0 (en) | 2013-09-11 |
DE112011104645T5 (de) | 2013-10-10 |
EP2659320A2 (en) | 2013-11-06 |
AU2011352997A8 (en) | 2013-09-05 |
GB2502213A (en) | 2013-11-20 |
AU2011352997B2 (en) | 2015-06-18 |
JP2014509417A (ja) | 2014-04-17 |
WO2012091807A3 (en) | 2013-07-25 |
AU2011352997A1 (en) | 2013-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5946147B2 (ja) | 可動式ヒューマンインターフェースロボット | |
JP5963372B2 (ja) | 移動式ロボットを作動させて人について行くようにする方法 | |
US8958911B2 (en) | Mobile robot | |
JP6039611B2 (ja) | 可動式ロボットシステム | |
US9400503B2 (en) | Mobile human interface robot | |
US10705535B2 (en) | Systems and methods for performing simultaneous localization and mapping using machine vision systems | |
US11400600B2 (en) | Mobile robot and method of controlling the same | |
TWI660703B (zh) | 移動式清掃機器人及其控制方法 | |
JP6526613B2 (ja) | 可動式ロボットシステム | |
CN106537186B (zh) | 用于使用机器视觉系统执行同时定位和映射的系统和方法 | |
WO2011146259A2 (en) | Mobile human interface robot | |
US20220257074A1 (en) | Mobile robot using artificial intelligence and controlling method thereof | |
AU2015202200A1 (en) | Mobile human interface robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5946147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |