JP7366735B2 - 位置計測システム、及び位置計測方法 - Google Patents

位置計測システム、及び位置計測方法 Download PDF

Info

Publication number
JP7366735B2
JP7366735B2 JP2019231336A JP2019231336A JP7366735B2 JP 7366735 B2 JP7366735 B2 JP 7366735B2 JP 2019231336 A JP2019231336 A JP 2019231336A JP 2019231336 A JP2019231336 A JP 2019231336A JP 7366735 B2 JP7366735 B2 JP 7366735B2
Authority
JP
Japan
Prior art keywords
moving body
reference point
reflector
measuring device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019231336A
Other languages
English (en)
Other versions
JP2021099681A (ja
Inventor
篤康 安保
文敬 山崎
高志 狩野
均 斉藤
一也 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hazama Ando Corp
IXS Co Ltd
Original Assignee
Hazama Ando Corp
IXS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hazama Ando Corp, IXS Co Ltd filed Critical Hazama Ando Corp
Priority to JP2019231336A priority Critical patent/JP7366735B2/ja
Publication of JP2021099681A publication Critical patent/JP2021099681A/ja
Application granted granted Critical
Publication of JP7366735B2 publication Critical patent/JP7366735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本願発明は、自律走行する移動体の位置を計測する技術であり、より具体的には、自走可能な移動体の位置を同じく自走可能な別の移動体によって計測する位置計測システムと、これを用いた位置計測方法に関するものである。
近年、我が国では少子高齢化の進行もあって労働者不足が大きな問題となっている。平成30年12月に「出入国管理及び難民認定法(いわゆる入管法)」の改正法が成立したのも、国内の人材不足を改善するため外国人労働者を受け入れやすくするためといわれている。特に建設業では、2020年の東京オリンピックに関連する建設工事が急ピッチで進められているうえ、度重なる自然災害の発生により至るところで災害対策工事が行われており、慢性的な労働者不足に陥っている。そのため、これまでにも増して自動化施工への取り組みが積極的となり、簡易作業等を行うためのロボット化なども精力的に進められている。
建設作業用のロボットや、工場内の作業用ロボット、あるいは原子力発電所の内部など人が立ち入ることができない場所で任務を果たすロボットなどは、通常、目的とする場所までの移動を伴う。ロボットの移動は、2足歩行に限らず、タイヤやクローラ、あるいは飛行用の回転翼などが利用される。特にタイヤを利用して移動する場合は、いわゆる台車が利用されることが多い。目的の場所まで台車で移動するとともに、移動後は台車に搭載された種々の装置で所定の作業を行うわけである。例えば、台車に搭載されたカメラで画像を取得したり、台車に搭載された各種センサーで計測を行ったり、あるいは台車に搭載された器具で種々の作業(例えば溶接など)を行うことができる。
台車が移動する多くの場合、台車は無人の自走式とされ、すなわち指令された目的地まで台車が自律走行していく。そして台車を目的地に到達させるにあたっては、移動中の台車の現在位置(以下、「自位置」という。)が計測される。これにより自位置と目的地の関係から今後の経路を修正することができ、また目的地周辺に到達したことを把握できるわけである。
従来、自走式の台車の自位置を計測するにあたっては、屋外であれば衛星測位システム(GNSS:Global Navigation Satellite System)が利用され、屋内であれば様々な屋内測位手法が採用されていた。この屋内測位手法としては、無線LANのアクセスポイントを利用する測位方法や、室内に電波発信機を配置して測位するIMES(Indoor Messaging System)、LEDの高速点滅を信号として伝送する可視光通信を利用した測位方法、赤外線通信を利用した測位方法、あるいはレーザーセンサーや光学センサーによる計測を利用したSLAM(Simultaneous Localization and Mapping)などが挙げられる。例えば特許文献1では、自走式検査装置が進行支障部に遭遇した際にSLAMの手法を利用して自位置を推定する技術について提案している。
特開2015-161577号公報
特許文献1に示すようなSLAMの手法を用いれば、自位置を計測できるうえ同時に環境地図も作成できるという長所がある反面、得られる自位置の精度が高くないという短所もある。一般的に、SLAMの手法による自位置の精度はcmオーダーであって、mmオーダーでは把握できないとされている。ところが、上記したように画像を取得したり、各種センサーで計測を行ったり、あるいは溶接等の作業を行ったりするケースでは、正確な位置に台車を設置する必要があり、そのためには相当に高い精度(例えばmmオーダー)で台車の位置を計測することが求められる。しかしながら、少なくともSLAMの手法のみではこのような要求には応えられない。
従来、台車など自走する物(以下、「移動体」という。)の位置を高い精度(例えばmmオーダー)で得取するには、トータルステーション(TS:Total Station)が用いられていた。測量者が三脚を用いて基準点(座標が既知の点)にトータルステーションを設置し(据え)、移動体に搭載された測量用プリズム(ミラーやターゲットとも呼ばれる)を計測するわけである。このとき、自動追尾型のトータルステーションを利用すれば、人が操作することなく移動中の移動体(測量用プリズム)をトータルステーションが検出したうえで計測することができる。
ところが、屋内など障害物(例えば、コンクリート柱など)」という。)がある場所を移動体が自走するケースでは、この障害物に遮られることによって自動追尾型のトータルステーションでも測量用プリズムを検出することができず、その結果、移動体の位置を計測することができないことがある。また、移動体がトータルステーションから遠ざかるように自走するケースでは、やはり自動追尾型のトータルステーションでも測量用プリズムを検出することができなくなる。このような場合、測量用プリズムを検出することができない状態となった時点で、移動体を見通しやすい別の基準点に測量者がトータルステーションを据えることになる。しかしながら、これでは測量者の負担軽減につながらず、自走する作業用ロボットや自動追尾型トータルステーションを採用したとしてもその効果が半減することとなる。
そこで発明者らは、トータルステーションを移動させるという技術思想を想到した。すなわち、トータルステーションを自走台車などに搭載し、移動体(例えば作業用ロボット)の測量用プリズムを検出することができない状態となると、トータルステーション搭載台車を別の基準点まで自走させるわけである。これにより、測量者の手間を要することなく継続的に移動体(例えば作業用ロボット)の位置を計測できる。ただし、トータルステーション搭載台車が目的の基準点まで適切に移動し、しかもトータルステーションを基準点の位置に正確に配置するには、その自位置を取得する必要がある。しかしながら、トータルステーション搭載台車の位置を取得するため、他のトータルステーションに頼ると上記した障害物による遮蔽問題が解決されず、一方、SLAMの手法によれば基準点の位置に高い精度(例えばmmオーダー)でトータルステーションを配置することができないという問題がある。
本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、移動体の測量用プリズムを検出することができない状態となっても、測量者の手間を要することなく継続的に移動体の位置を計測することができる位置計測システムと、これを用いた位置計測方法を提供することである。
本願発明は、例えば作業用ロボットなどの移動体の位置を計測する計測機器を移動させるという点、そして計測機器の位置と基準点との較差を画像によって把握するという点に着目してなされたものであり、これまでにない発想に基づいて行われた発明である。
本願発明の位置計測システムは、自走可能な第1移動体の位置を、自走可能な第2移動体によって計測するシステムであって、第1移動体と第2移動体を備えたものである。第1移動体は、反射体を有しており、一方の第2移動体は、計測機器と機器目印表示手段、画像取得手段を有している。なお、この計測機器は反射体を検出して反射体を計測するものであり、機器目印表示手段は「機器目印(計測機器の位置を表す目印)」を表示する手段であり、画像取得手段は取得する手段である。計測機器が反射体を検出しない領域に第1移動体が移動したとき、座標が既知の基準点まで第2移動体が移動し、第2移動体が基準点まで移動すると基準点と機器目印とを含む画像を画像取得手段が取得する。そして、計測機器によって計測された反射体の位置に基づいて、移動中の第1移動体の位置を求める。
本願発明の位置計測システムは、画像取得手段によって取得された画像に基づいて、機器目印と基準点との平面較差を求めるものとすることもできる。この場合、平面較差に応じて基準点の座標を補正したうえで第1移動体の位置を求める。
本願発明の位置計測システムは、第2移動体が基準点まで移動する期間は第1移動体が停止し、第2移動体が基準点周辺で停止した後に第1移動体が移動を再開するものとすることもできる。
本願発明の位置計測システムは、基準点選出手段をさらに備えたものとすることもできる。基準点選出手段は、複数設定された基準点の中から第2移動体が移動する基準点を選出する手段である。なお基準点選出手段は、あらかじめ用意された環境地図に基づいて、計測機器が第1移動体の反射体を検出し得る基準点を選出する。
第2移動体が基準点まで移動する期間は第1移動体が停止し、第2移動体が基準点周辺で停止した後に第1移動体が移動を再開する
本願発明の位置計測方法は、本願発明の位置計測システムを用いて自走可能な第1移動体の位置を計測する方法であって、初期計測工程と移設工程、画像取得工程、中間計測工程を備えた方法である。このうち初期計測工程では、第1の基準点(座標が既知の点)に計測機器が位置するように第2移動体を配置し、計測機器によって反射体を検出するとともにその反射体を計測し、反射体の位置に基づいて移動中の第1移動体の位置を求める。また移設工程では、計測機器が反射体を検出しない領域に第1移動体が移動したとき、第2の基準点(座標が既知の点)まで第2移動体を移動させる。画像取得工程では、第2移動体が第2の基準点まで移動すると、第2の基準点と機器目印表示手段によって表示された機器目印とを含む画像を画像取得手段によって取得する。そして中間計測工程では、第2の基準点まで移動した第2移動体の計測機器によって反射体を検出するとともにその反射体を計測し、反射体の位置に基づいて移動中の第1移動体の位置を求める。
本願発明の位置計測システム、及び位置計測方法には、次のような効果がある。
(1)移動体の測量用プリズムを検出することができない状態となっても、測量者の手間を要することなく継続的に移動体の位置を計測することができる。
(2)基準点の位置に正確に計測機器を配置する必要がないため、計測機器の移設(盛り替え)時間を大幅に短縮することができる。
(3)資機材の運搬や材料の取り付けといった種々の機能を移動体に持たせることによって作業の自動化を図ることができ、その結果、省力化につながり、また原子力発電所の内部など人が立ち入ることができない場所でも作業を行うことができる。
本願発明の位置計測システムを用いて、本願発明の位置計測方法を実施している状況を模式的に示すモデル図。 本願発明の位置計測システムの主な構成を示すブロック図。 (a)は第1移動体を示す側面図、(b)は第1移動体を上方から見た平面図。 (a)は遮蔽手段が下方に位置することで「反射状態」となった反射体を示す側面図、(b)は遮蔽手段が上方に移動することによって「非反射状態」となった反射体を示す側面図。 (a)は支柱の上方に位置することで「反射状態」となった反射体を示す側面図、(b)は降下して支柱内に収められたことによって「非反射状態」となった反射体を示す側面図。 第2移動体を示す側面図。 機器目印と基準点を含む画像を模式的に示すモデル図。 位置計測システムの主な処理の流れを示すフロー図。 位置計測システムの主な処理を示すステップ図。 本願発明の位置計測方法の主な工程を示すフロー図。
本願発明の位置計測システム、及び位置計測方法の実施形態の例を図に基づいて説明する。
1.全体概要
図1は、本願発明の位置計測システム100を用いて、本願発明の位置計測方法を実施している状況を模式的に示すモデル図である。この図に示すように本願発明は、例えば作業用ロボットなど自走する移動体の位置を、同じく自走する移動体によって計測することをひとつの特徴としている。ここでは自走する2つの移動体を区別するため、その位置が計測される移動体(例えば作業用ロボットなど)のことを「第1移動体110」、第1移動体110の位置を計測する移動体のことを「第2移動体120」ということとする。
この第1移動体110には、測量用プリズムといった反射体が搭載され、一方の第2移動体120には、トータルステーションなどの計測機器が搭載されており、第2移動体120の計測機器が第1移動体110の反射体を計測することによって、第1移動体110の位置を求める。計測機器で反射体を計測するにあたっては、あらかじめ設定された基準点(座標既知)に計測機器が位置するように(据えられるように)第2移動体120を配置し、さらに参照点PR(座標既知)を視準することで、計測機器の位置と方向を設定しておく。なお、第1移動体110は例えば指定された目的地(作業場所など)まで移動し、すなわち第2移動体120の計測機器は移動中の第1移動体110の反射体を計測することになる。そのため第2移動体120の計測機器は、反射体を自動的に追尾する自動追尾式のトータルステーションなどを採用するとよい。
計測機器が反射体を計測している間、第2移動体120は基準点上で固定されており、これに対して第1移動体110は計測機器による計測中も移動している。このような状況では、第1移動体110が障害物に隠れてしまい第2移動体120からは見えない状態となることもある。例えば図1では、第1移動体110が移動する領域内(室内)に複数のコンクリート柱CPがあり、このコンクリート柱CPの背後に第1移動体110が移動すると第2移動体120からは見えない状態となるため、計測機器が反射体を検出できなくなり、その結果、第1移動体110の位置が求められなくなる。
そこで本願発明は、このような状態になったときに第2移動体120を別の基準点まで移動させることとした。すなわち、計測機器が反射体を検出しない領域(以下、便宜上ここでは「不可視領域」という。)に第1移動体110が移動したとき、第2移動体120を別の基準点まで移動させ、改めて参照点PRを視準したうえで、計測機器が反射体を検出して計測するわけである。したがって第2移動体120は、そこに計測機器を据えれば反射体を検出することができる基準点まで移動する。このような第2移動体120の移動は、例えばコンピュータを利用した制御装置130によって制御され、また目的地までの第1移動体110の移動もこの制御装置130によって制御される。
2.位置計測システム
本願発明の位置計測システム100の例を、図に基づいて説明する。なお、本願発明の位置計測方法は、本願発明の位置計測システムを用いて計測する方法であり、したがってまずは本願発明の位置計測システムについて説明し、その後に本願発明の位置計測方法について説明することとする。
図2は、本願発明の位置計測システム100の主な構成を示すブロック図である。この図に示すように位置計測システム100は、第1移動体110と第2移動体120を含んで構成され、さらに制御装置130を含んで構成することもできる。また第1移動体110は、反射体111や遮蔽手段112、第1測位手段113、第1自走台車114を含んで構成され、第2移動体120は、計測機器121や機器目印表示手段122、画像取得手段123、第2自走台車124、第2測位手段125を含んで構成され、制御装置130は、基準点選出手段131や反射体制御手段132、位置特定手段133、姿勢特定手段134、移動制御手段135、移動情報記憶手段136、環境地図記憶手段137を含んで構成される。
(第1移動体)
第1移動体110は、図2に示すように第1自走台車114に反射体111を設置したものであり、さらに遮蔽手段112や第1測位手段113を設置したものとすることもできる。図3は、第1移動体110を説明する図であり、(a)はその側面図、(b)は上方から見たその平面図である。図3(a)に示す反射体111は、支柱115を介して第1自走台車114の上部に設置されており、第1測位手段113もやはり第1自走台車114の上部に設置されているが、それぞれ所定の機能を果たすことができれば設置位置は任意に設計することができる。
反射体111は、測量用プリズム(ミラーやターゲットとも呼ばれる)などを利用することができ、第1移動体110が自走している間も第2移動体120の計測機器121によって追尾することができるように、特に全周囲反射型の測量用プリズムを採用するとよい。なお図3(a)では、第1自走台車114の上部に設置された支柱115上に反射体111を配置しているが、計測機器121から視準できる状況であれば、第1自走台車114の上に直接、反射体111を設置してもよい。また第1自走台車114には、複数(図3では4個)の反射体111を設置してもよいし、1の反射体111を設置してもよい。ただし、第1移動体110(第1自走台車114)の姿勢を把握する場合は、1直線上に並ばないように3以上の反射体111を配置する必要がある。
第1自走台車114は、蓄電池やエンジン等を動力とする自走(無人走行)式である。なお、図3(b)では車輪を回転させる仕組みとしているが、円盤状の車輪のほか球状の車輪を採用することもできるし、あるいはクローラなど他の手段を採用してもよい。
第1測位手段113は、移動中における第1移動体110の自位置を計測するものであり、例えばレーザーセンサーを利用することができる。第1測位手段113としてレーザーセンサーを用いる場合は、SLAM(Simultaneous Localization and Mapping)によって自位置を計測するとよい。そのほか、第1移動体110の自位置を計測する手法としては、屋内であれば画像を用いたSLAMや、無線LANのアクセスポイントを利用する測位方法、室内に電波発信機を配置して測位するIMES、LEDの高速点滅を信号として伝送する可視光通信を利用した測位方法、赤外線通信を利用した測位方法、屋外であれば衛星測位システム(GNSS:Global Navigation Satellite System)など、従来用いられている様々な測位方法を採用することができる。
既述したとおり第2移動体120の計測機器121は、自動追尾型のトータルステーションなどを採用するとよい。ところで、図3に示すように複数の反射体111が第1移動体110に設置されている場合、計測機器121は、どの反射体111を視準すべきか、あるいは視準した反射体111はどれか、を特定することができない。そこで、第1移動体110に複数の反射体111が設置されている場合は、制御装置130の反射体制御手段132が、1の反射体111のみを「計測機器121による計測が可能となる状態(以下、「反射状態」という。)」とし、他の反射体111は「計測機器121による計測が不可となる状態(以下、「非反射状態」という。)」とする仕様にするとよい。以下、図3を参照しながら具体的に説明する。
まず反射体制御手段132が、反射体111aを「反射状態」、他の反射体111b、111c、111dを「非反射状態」とした状態で、計測機器121が反射体111aを視準して計測する。次いで、反射体制御手段132が、反射体111bを「反射状態」、他の反射体111a、111c、111dを「非反射状態」とした状態で、計測機器121が反射体111bを視準して計測する。このように、繰り返し反射体111a~111dを「反射状態」としつつ他の反射体111を「非反射状態」としながら、計測機器121がそれぞれ「反射状態」の反射体111を視準して計測していく。なお、反射体制御手段132が反射体111(例えば、反射体111a)を「反射状態」に制御した時刻と、計測機器121が反射体111(例えば、反射体111a)を視準した時刻とを関連付けて(つまり同期して)記憶すれば、計測機器121が視準した反射体111を特定することができる。
反射体111は、反射体制御手段132が遮蔽手段112を操作することによって、「反射状態」とし、「非反射状態」とすることができる。図4は、遮蔽手段112を上下することによって反射体111の状態を変化させる状況を示す側面図である。図4(a)では、遮蔽手段112が下方に位置することで反射体111は「反射状態」とされ、図4(b)では、反射体制御手段132が遮蔽手段112を上方に移動させたことによって反射体111が「非反射状態」とされている。
図5は、反射体111そのものが上下することによって反射体111の状態を変化させる状況を示す側面図である。図5(a)では、反射体111が支柱115の上方に位置することで反射体111は「反射状態」とされ、図5(b)では、反射体制御手段132が反射体111を降下させて支柱115内に収めたことによって反射体111が「非反射状態」とされている。すなわち図5では、支柱115が遮蔽手段112を兼用するわけである。なお、図4や図5に示す例のほか、反射体111を倒すことで「非反射状態」とするなど、種々の手法で反射体111の状態(反射状態/非反射状態)を変更することができる。
また、複数の反射体111が第1移動体110に設置されている場合、計測機器121から見て手前側の反射体111が障壁となって、後方の反射体111を視準することができないことも考えられる。この場合、図3(a)に示すように、反射体111の設置高さ(第1自走台車114や床面からの高さ)をそれぞれ異なる高さにするとよい。例えば、計測機器121からの相対距離が変わらないときは、計測機器121に近い方の反射体111(図3では反射体111aと111b)を低い設置高さとし、計測機器121から遠い方の反射体111(図3では反射体111cと111d)を高い設置高さとする。また同様の理由から、図3(b)に示すように、計測機器121に近い方の反射体111(図3では反射体111aと111b)を第1自走台車114の内側に配置し、計測機器121から遠い方の反射体111(図3では反射体111cと111d)を第1自走台車114の外側に配置するとよい。
(第2移動体)
第2移動体120は、図2に示すように第2自走台車124に計測機器121と機器目印表示手段122、画像取得手段123を設置したものであり、さらに第2測位手段125を設置したものとすることもできる。図6は、第2移動体120を説明する側面図である。この図6の例では、計測機器121と第2測位手段125が第2移動体120の上部に設置されており、機器目印表示手段122と画像取得手段123が第2移動体120の内部に設置されているが、それぞれ所定の機能を果たすことができれば設置位置は任意に設計することができる。
計測機器121は、第1移動体110の反射体111や参照点PRを視準して距離や角度を計測するものであり、トータルステーション(TS)を好適に利用することができる。特に、第1移動体110が自走している間も反射体111を検出して視準することから自動追尾式トータルステーションの採用が望ましく、また自動整準機能を備えたものが好適である。
第2自走台車124は、第1自走台車114と同様、蓄電池やエンジン等を動力とする自走(無人走行)式であり、円盤状の車輪のほか球状の車輪を採用することもできるし、あるいはクローラなど他の手段を採用してもよい。
第2測位手段125は、移動中における第2移動体120の自位置を計測するものであり、第1測位手段113と同様、例えばレーザーセンサーを利用することができる。第2測位手段125としてレーザーセンサーを用いる場合は、SLAMによって自位置を計測するとよい。そのほか、第2移動体120の自位置を計測する手法としては、屋内であれば画像を用いたSLAMや、無線LANのアクセスポイントを利用する測位方法、室内に電波発信機を配置して測位するIMES、LEDの高速点滅を信号として伝送する可視光通信を利用した測位方法、赤外線通信を利用した測位方法、屋外であれば衛星測位システム(GNSS)など、従来用いられている様々な測位方法を採用することができる。
機器目印表示手段122は、計測機器121の中心位置を表すマーク(以下、「機器目印MK」という。)を表示するものであり、例えばレーザーを照射する装置や、他の光(LEDなど)を照射する装置、あるいは墨やペンキを滴下する装置などを利用することができる。つまり、図6に示すように、計測機器121の中心位置を機器目印MKとして床面などに表示するわけである。この機器目印表示手段122は、機器目印MKを表示するため、計測機器121の中心とその平面位置が一致するように設置するとよい。図6の例では、レーザー照射装置を利用した機器目印表示手段122が、計測機器121中心の直下に配置され、しかも鉛直下向きにレーザーLSを照射する仕様としている。これにより、自動整準機能によって水平姿勢とされた計測機器121の中心位置から、床面に対してレーザーLSが鉛直下向きに照射され、その結果、計測機器121の中心位置が機器目印MK(レーザーLSの反射点)として床面にいわば再現されるわけである。なお機器目印表示手段122は、機器目印MKを常時表示する仕様にすることもできるし、後述する画像取得手段123が画像を取得するタイミングで機器目印MKを表示する仕様にすることもできる。
画像取得手段123は、図7に示すように機器目印MKと基準点PSを含む画像IMを取得するものであり、従来用いられているデジタルカメラやデジタルビデオ、あるいはスマートフォンを含む種々の携帯端末などを利用することができる。図7は、画像取得手段123によって取得された画像IMであって、機器目印MKと基準点PSを含む画像IMを模式的に示すモデル図である。
既述したとおり、第1移動体110が不可視領域に移動すると、第2移動体120は別の基準点PSまで移動する。このとき第2移動体120は、第2測位手段125によって自位置を計測しながら目的の基準点PSまで自律走行することになる。しかしながら、例えばSLAMによって自位置を計測する場合、その位置精度が比較的高くない(cmオーダー)ため、基準点PSと計測機器121の中心位置が一致するように第2移動体120を配置する(停止させる)ことは極めて困難である。したがって、第2移動体120が自律走行によって目的の基準点PSまで移動したとしても、図7に示すように機器目印MKと基準点PSには較差(ずれ)が生じる。
機器目印MKと基準点PSに較差が生じたとしても、その較差を把握すれば計測機器121による計測は継続することができる。すなわち、機器目印MKと基準点PSとの較差に基づいて基準点PSの平面座標を補正したうえで、つまり機器目印MKの位置(計測機器121の中心)の座標を求めたうえで、第1移動体110の反射体111を計測するわけである。図7の例では、機器目印MKと基準点PSとの間には、X軸方向に△x,Y軸方向に△yの較差が生じており、画像IMから読み取った△x,△yと基準点PSの平面座標によって計測機器121の中心位置を求めることができる。あるいは、△x,△yだけさらに第2移動体120を移動させてもよい。
このように機器目印MKと基準点PSとの較差(△x,△y)を画像IMから読み取るには、画像IMは正射画像とされるのが望ましい。ところが、画像取得手段123によって上方から画像IMを取得しようとすると、画像取得手段123が障壁となって機器目印MKが床面などに表示されないこともある。このような場合、図6に示すようにハーフミラー126を利用するとよい。ハーフミラー126はレーザーLSを透過させることから、床面に機器目印MKが表示され、しかもハーフミラー126は床面にある基準点PSと表示された機器目印MKを反射する。これにより、画像取得手段123がハーフミラー126の反射画面を撮影することによって(いわばハーフミラー126を介して)、床面の基準点PSと機器目印MKを含む画像IMを取得することができるわけである。なお、画像取得手段123の設置姿勢(図6では略水平)とハーフミラー126の設置姿勢は、正射画像の画像IMを取得することができるように適宜設計して設定することができる。
(制御装置)
制御装置130は、図2に示すように基準点選出手段131や反射体制御手段132、位置特定手段133、姿勢特定手段134、移動制御手段135、移動情報記憶手段136、環境地図記憶手段137を含んで構成される。このうち移動制御手段135は、移動情報記憶手段136から移動情報(移動経路を含む)を読み出し、その移動情報に基づいて第1移動体110(第1自走台車114)を指定された目的地(作業場所など)まで移動させる手段である。また移動制御手段135は、第1移動体110が不可視領域に移動したときに、第2移動体120を別の基準点PSまで移動させる。
基準点選出手段131は、第1移動体110が不可視領域に移動したときに第2移動体120が移動すべき別の基準点PSを選出する手段である。基準点選出手段131が基準点PSを選出するにあたっては、第1移動体110が移動する領域(例えば図1に示す室内)の地図(以下、「環境地図」という。)を環境地図記憶手段137から読み出し、この環境地図と第1移動体110の自位置に基づいて、「そこに計測機器121を据えれば反射体111を検出することができる基準点PS」を選出する。具体的には、環境地図に記録されたコンクリート柱CPなどの障害物と、第1移動体110の自位置に基づいて、環境地図に記録された複数の基準点PSの中から適切な基準点PSを選出する。そのため、計測機器121あるいは第1測位手段113によって得られた第1移動体110の自位置は、移動中も制御装置130に随時送信される仕様にするとよい。
既述したとおり反射体制御手段132は、1の反射体111のみを反射状態とし、他の反射体111を非反射状態とする手段である。位置特定手段133は、計測機器121が計測した反射体111の座標から第1移動体110の位置を特定する手段である。例えば、第1移動体110に1の反射体111が設置されている場合は、その反射体111の座標(あるいは、あらかじめ設定されたセットオフによる座標)を第1移動体110の位置として特定し、第1移動体110に複数の反射体111が設置されている場合は、複数の反射体111の位置から算出される座標(例えば複数反射体111の中心)を第1移動体110の位置として特定する。また姿勢特定手段134は、1直線上に並ばないように配置された3以上の反射体111の位置から算出される座標に基づいて、第1移動体110(第1自走台車114)の姿勢(ω,φ,κ)を特定する手段である。具体的には、3以上の反射体111の座標に基づいて第1移動体110(第1自走台車114)を構成する平面(例えば上面や下面)上にある3以上の点の座標を求め(例えば図3(a)に示すケースでは支柱115分の高さを差し引く等)、これら平面上の点から平面の一般式を決定し、その平面の傾きを第1移動体110(第1自走台車114)の姿勢として特定する。
制御装置130を構成する基準点選出手段131や反射体制御手段132、位置特定手段133、姿勢特定手段134、移動制御手段135は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、パーソナルコンピュータ(PC)や、iPad(登録商標)といったタブレット型PC、スマートフォンを含む携帯端末などによって構成することができる。コンピュータ装置は、CPU等のプロセッサ、ROMやRAMといったメモリを具備しており、さらにマウスやキーボード等の入力手段やディスプレイを含むものもある。
また制御装置130を構成する移動情報記憶手段136や環境地図記憶手段137は、汎用的コンピュータの記憶装置を利用することもできるし、データベースサーバに構築することもできる。データベースサーバに構築する場合、ローカルなネットワーク(LAN:Local Area Network)に置くこともできるし、インターネット経由(つまり無線通信)で保存するクラウドサーバとすることもできる。
なお制御装置130は、第1移動体110に構築することもできるし、第2移動体120に構築することもできるし、あるいは第1移動体110や第2移動体120とは異なる場所に構築することもできる。第1移動体110や第2移動体120とは異なる場所に制御装置130を構築する場合は、制御装置130と第1移動体110、制御装置130と第2移動体120の間で、それぞれ情報(データ)の送受信を行うための無線通信手段(状況によっては有線通信手段)を設けるとよい。
(使用例)
図8と図9を参照しながら、本願発明の位置計測システム100の使用例について説明する。図8は、位置計測システム100の主な処理の流れを示すフロー図であり、図9は、位置計測システム100の主な処理を示すステップ図である。なお図8では、左列に第1移動体110が実施する処理(行為)を示し、右列に第2移動体120が実施する処理(行為)を示している。
はじめに、図9(a)に示すようにあらかじめ定められた基準点PS(以下、「第1基準点PS1」という。)に、計測機器121の中心が位置するように第2移動体120を配置し、参照点PRを視準することで、計測機器121の位置と方向を設定しておく。このとき、第1基準点PS1と計測機器121の中心位置が一致するように第2移動体120を配置してもよいし、第2移動体120を第1基準点PS1周辺の概ねの位置に配置することもできる。第2移動体120を概略位置に配置した場合、計測機器121によって機器目印MKを表示し、画像取得手段123によって機器目印MKと基準点PSを含む画像IMを取得するとともに、機器目印MKと基準点PSとの較差(△x,△y)に基づいて基準点PSの平面座標を補正する。
第2移動体120を第1基準点PS1に配置すると、第1移動体110が移動を開始する(Step101)。より詳しくは、移動制御手段135が移動情報記憶手段136から移動情報を読み出し、その移動情報に基づいて第1移動体110(第1自走台車114)を目的地(作業場所など)まで移動させる。また制御装置130は、計測機器121による計測を開始するよう制御する(Step201)。第1移動体110が移動している間、計測機器121は連続的(あるいは、定期的、断続的)に移動中の第1移動体110の反射体111を検出しながらその位置を求める。そして、反射体111の座標を受け取った位置特定手段133が第1移動体110の位置を特定し、姿勢特定手段134が第1移動体110(第1自走台車114)の姿勢を特定する。
図9(b)に示すように第1移動体110が不可視領域に進入すると(Step102)、第1移動体110が不可視領域にある状態(以下、「不可視状態」という。)を制御装置130が認識する。不可視状態であることを制御装置130が認識するにあたっては、環境地図と第1基準点PS1に基づいて「第1基準点PS1に係る不可視領域」をあらかじめ設定しておき、その不可視領域に第1移動体110が進入した時点で不可視状態と認識することができる。この場合、基準点PSごとに不可視領域を設定し、この「各基準点PSに係る不可視領域」は移動情報記憶手段136に記憶させておくとよい。なお第1移動体110の自位置は、計測機器121よって得られた第1移動体110の位置とすることもできるし、あるいは第1測位手段113によって得られた第1移動体110の自位置とすることもできる。また、「各基準点PSに係る不可視領域」を設定する仕様に代えて(あるいは加えて)、計測機器121によって反射体111を検出することができない状態となった時点で不可視状態と認識する仕様としてもよい。
制御装置130が不可視状態を認識すると、移動制御手段135が第1移動体110(第1自走台車114)を停止させ(Step103)、第2移動体120が移動すべき次の基準点PS(以下、「第2基準点PS2」という。)を基準点選出手段131が選出するとともに、図9(c)に示すように移動制御手段135が第2移動体120(第2自走台車124)を第2基準点PS2まで移動させる(Step202)。なお、基準点選出手段131が第2基準点PS2を選出する仕様に代えて(あるいは加えて)、環境地図と第1基準点PS1に基づいて「第1基準点PS1に係る第2基準点PS2」をあらかじめ設定しておく仕様としてもよい。この場合、基準点PSごとに次に移動すべき基準点PSを設定し、この「各基準点PSに係る移動すべき基準点PS」は移動情報記憶手段136に記憶させておくとよい。また、第1移動体110が第1基準点PS1から第2基準点PS2まで移動する経路は、あらかじめ設定しておくこともできるし、その都度、移動制御手段135が空間演算することによって設定することもできる。
第2移動体120(第2自走台車124)が、自位置を取得しながら第2基準点PS2まで移動すると、移動制御手段135が第2移動体120(第2自走台車124)を停止させる(Step203)。ただし既述したとおり、SLAM等による自位置の計測はその位置精度が比較的高くない(cmオーダー)ため、第2基準点PS2と計測機器121中心に較差(ずれ)が生じた状態で第2移動体120は停止する。そして画像取得手段123が、第2基準点PS2と機器目印表示手段122によって表示された機器目印MKを含む画像IMを取得する(Step204)とともに、画像IMから読み取った機器目印MKと基準点PSとの較差(△x,△y)に基づいて第2基準点PS2の平面座標を補正する(Step205)。あるいは、移動制御手段135が△x,△yだけさらに第2移動体120(第2自走台車124)を移動させてもよい。
計測機器121が第2基準点PS2周辺に配置されると、参照点PRを視準することで計測機器121の方向を設定する(Step206)。このとき、第1基準点PS1上で計測機器121が参照した参照点PRを利用することもできるし、第2基準点PS2専用として設けられた別の参照点PRを利用することもできる。あるいは、各基準点PSから共通して視準できるような標準的な参照点PRを(例えば天井面などに)設置したうえで、この標準的な参照点PRを視準してもよい。なお、計測機器121が参照点PRを視準するにあたっては。制御装置130が第2基準点PS2と視準する参照点PRに基づいてその方向を求めたうえで計測機器121を制御する仕様とすることもできるし、計測機器121が視準すべき参照点PRを自動追尾する仕様とすることもできる。計測機器121が参照点PRを自動追尾する場合、計測機器121による自動追尾が可能な参照点PRを設置するとよい。
計測機器121の位置と方向が設定されると、再び移動制御手段135が第1移動体110(第1自走台車114)を移動させ(Step101)、制御装置130が、再び計測機器121による計測を開始するよう制御する(Step201)。そして、また第1移動体110が不可視領域に進入すると(Step102)、制御装置130が不可視状態を認識し、第1移動体110の停止(Step103)、移動体120の移動(Step202)~参照点PRの視準(Step206)が繰り返し行われる。
3.位置計測方法
続いて、本願発明の位置計測方法について図10を参照しながら説明する。なお、本願発明の位置計測方法は、ここまで説明した位置計測システム100を用いて計測を行う方法であり、したがって位置計測システム100で説明した内容と重複する説明は避け、本願発明位置計測方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「2.位置計測システム」で説明したものと同様である。
図10は、本願発明の位置計測方法の主な工程を示すフロー図である。まず、図9(a)に示すように第1基準点PS1に、計測機器121の中心が位置するように第2移動体120を配置し、参照点PRを視準することで、計測機器121の位置と方向を設定しておく。そして、第1移動体110が移動している間、計測機器121によって連続的(あるいは、定期的、断続的)に移動中の第1移動体110の反射体111を検出しながらその位置を求めるとともに、第1移動体110の位置や姿勢を特定する(初期計測工程:Step10)。
制御装置130が不可視状態を認識すると、第1移動体110が停止し、移動すべき次の第2基準点PS2まで第2移動体120が移動する(移設工程:Step20)。そして画像取得手段123によって第2基準点PS2と機器目印MKを含む画像IMを取得する(画像取得工程:Step30)とともに、画像IMから読み取った機器目印MKと基準点PSとの較差(△x,△y)に基づいて第2基準点PS2の平面座標を補正する。また、第2基準点PS2上に設置された計測機器121から参照点PRを視準することで、計測機器121の方向を設定する。
計測機器121の位置と方向を設定すると、第1移動体110が再び移動を開始するとともに、計測機器121によって第1移動体110の反射体111を計測していく(中間計測工程:Step40)。そして、また第1移動体110が不可視領域に進入すると、移設工程(Step20)~中間計測工程(Step40)が繰り返し行われる。
本願発明の位置計測システム、及び位置計測方法は、カメラを搭載した自走台車や、計測用センサーを搭載した自走台車、溶接器具を搭載した自走台車といった自走台車の位置計測に特に有効に利用することができる。本願発明によれば、我が国の喫緊の課題である労働者不足の改善につながるとともに、原子力発電所の内部など人が立ち入ることができない場所での作業を前進させることができることを考えれば、本願発明は産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。
100 本願発明の位置計測システム
110 (位置計測システムの)第1移動体
111 (第1移動体の)反射体
112 (第1移動体の)遮蔽手段
113 (第1移動体の)第1測位手段
114 (第1移動体の)第1自走台車
115 (第1移動体の)支柱
120 (位置計測システムの)第2移動体
121 (第2移動体の)計測機器
122 (第2移動体の)機器目印表示手段
123 (第2移動体の)画像取得手段
124 (第2移動体の)第2自走台車
125 (第2移動体の)第2測位手段
126 (第2移動体の)ハーフミラー
130 (位置計測システムの)制御装置
131 (制御装置の)基準点選出手段
132 (制御装置の)反射体制御手段
133 (制御装置の)位置特定手段
134 (制御装置の)姿勢特定手段
135 (制御装置の)移動制御手段
136 (制御装置の)移動情報記憶手段
137 (制御装置の)環境地図記憶手段
CP コンクリート柱
IM 画像
LS レーザー
MK 機器目印
PR 参照点
PS 基準点
PS1 第1基準点
PS2 第2基準点
PS3 第3基準点

Claims (6)

  1. 自走可能な第1移動体の位置を、自走可能な第2移動体によって計測するシステムであって、
    反射体を有する前記第1移動体と、
    前記反射体を検出して該反射体を計測する計測機器と、該計測機器の中心位置を表す機器目印を表示する機器目印表示手段と、画像を取得する画像取得手段と、を有する前記第2移動体と、を備え、
    前記計測機器が前記反射体を検出しない領域に、前記第1移動体が移動したとき、座標が既知の基準点まで前記第2移動体が移動し、
    前記第2移動体が前記基準点まで移動すると、該基準点と、前記機器目印表示手段によって表示された前記機器目印とを含む前記画像を前記画像取得手段が取得し、
    前記画像取得手段によって取得された前記画像に基づいて前記機器目印と前記基準点との平面較差を求めるとともに、該平面較差に応じて該基準点の座標を補正して前記計測機器の中心位置を求めたうえで、前記計測機器によって計測された前記反射体の位置に基づいて、移動中の前記第1移動体の位置を求める、
    ことを特徴とする位置計測システム。
  2. 前記機器目印表示手段は、レーザー光を含む光を照射することによって、前記機器目印を表示する、
    ことを特徴とする請求項1記載の位置計測システム。
  3. 前記第2移動体は、該基準点と、前記機器目印表示手段によって表示された前記機器目印と、を反射するハーフミラーをさらに有し、
    前記画像取得手段は、前記ハーフミラーの反射画面を撮影することによって、該基準点と前記機器目印とを含む前記画像を取得する、
    ことを特徴とする請求項1又は請求項2記載の位置計測システム。
  4. 前記機器目印表示手段は、前記画像取得手段が前記画像を取得するタイミングで、前記機器目印を表示する、
    ことを特徴とする請求項1又は請求項2記載の位置計測システム。
  5. 自走可能な第1移動体の位置を、自走可能な第2移動体によって計測する方法であって、
    前記第1移動体は、反射体を有し、
    前記第2移動体は、計測機器と、該計測機器の中心位置を表す機器目印を表示する機器目印表示手段と、画像を取得する画像取得手段と、を有し、
    座標が既知の第1の基準点に前記計測機器が位置するように前記第2移動体を配置し、前記計測機器によって前記反射体を検出するとともに該反射体を計測し、該反射体の位置に基づいて移動中の前記第1移動体の位置を求める初期計測工程と、
    前記計測機器が前記反射体を検出しない領域に、前記第1移動体が移動したとき、座標が既知の第2の基準点まで前記第2移動体を移動させる移設工程と、
    前記第2移動体が前記第2の基準点まで移動すると、前記機器目印表示手段によって前記機器目印を表示するとともに、前記機器目印と該第2の基準点とを含む前記画像を、前記画像取得手段によって取得する画像取得工程と、
    前記画像取得手段によって取得された前記画像に基づいて、前記機器目印と前記第2の基準点との平面較差を求めるとともに、該平面較差に応じて該第2の基準点の座標を補正したうえで前記計測機器の中心位置を求める工程と、
    前記第2の基準点まで移動した前記第2移動体の前記計測機器によって前記反射体を検出するとともに該反射体を計測し、該反射体の位置に基づいて移動中の前記第1移動体の位置を求める中間計測工程と、を備えた、
    ことを特徴とする位置計測方法。
  6. 自走可能な第1移動体の位置を、自走可能な第2移動体によって計測する方法であって、
    前記第1移動体は、反射体を有し、
    前記第2移動体は、計測機器と、該計測機器の中心位置を表す機器目印を表示する機器目印表示手段と、画像を取得する画像取得手段と、を有し、
    座標が既知の第1の基準点に前記計測機器が位置するように前記第2移動体を配置し、前記計測機器によって前記反射体を検出するとともに該反射体を計測し、該反射体の位置に基づいて移動中の前記第1移動体の位置を求める初期計測工程と、
    前記計測機器が前記反射体を検出しない領域に、前記第1移動体が移動したとき、座標が既知の第2の基準点まで前記第2移動体を移動させる移設工程と、
    前記第2移動体が前記第2の基準点まで移動すると、前記機器目印表示手段によって前記機器目印を表示するとともに、前記機器目印と該第2の基準点とを含む前記画像を、前記画像取得手段によって取得する画像取得工程と、
    前記画像取得手段によって取得された前記画像に基づいて、前記機器目印と前記第2の基準点との平面較差を求めるとともに、該平面較差だけ前記第2移動体を移動させる工程と、
    前記第2の基準点まで移動した前記第2移動体の前記計測機器によって前記反射体を検出するとともに該反射体を計測し、該反射体の位置に基づいて移動中の前記第1移動体の位置を求める中間計測工程と、を備えた、
    ことを特徴とする位置計測方法。
JP2019231336A 2019-12-23 2019-12-23 位置計測システム、及び位置計測方法 Active JP7366735B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019231336A JP7366735B2 (ja) 2019-12-23 2019-12-23 位置計測システム、及び位置計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019231336A JP7366735B2 (ja) 2019-12-23 2019-12-23 位置計測システム、及び位置計測方法

Publications (2)

Publication Number Publication Date
JP2021099681A JP2021099681A (ja) 2021-07-01
JP7366735B2 true JP7366735B2 (ja) 2023-10-23

Family

ID=76541989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019231336A Active JP7366735B2 (ja) 2019-12-23 2019-12-23 位置計測システム、及び位置計測方法

Country Status (1)

Country Link
JP (1) JP7366735B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7201863B1 (ja) 2022-06-28 2023-01-10 クモノスコーポレーション株式会社 計測装置及び計測方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100215433A1 (en) 2007-06-21 2010-08-26 Leica Geosystems Ag Optical guidance system for a laying engine for producing a concrete or asphalt top layer
KR101631555B1 (ko) 2011-04-14 2016-06-17 헥사곤 테크놀로지 센터 게엠베하 측정 시스템 및 새로운 포인트들을 결정하기 위한 방법
JP2018173388A (ja) 2017-03-31 2018-11-08 計測技研株式会社 位置計測装置及び位置計測方法
JP2019052864A (ja) 2017-09-13 2019-04-04 計測技研株式会社 芯座標計測装置及び芯座標計測方法
JP2019078569A (ja) 2017-10-20 2019-05-23 株式会社竹中工務店 位置認識方法、位置認識装置、基準点設置用移動体、作業用移動体、及び位置認識システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100215433A1 (en) 2007-06-21 2010-08-26 Leica Geosystems Ag Optical guidance system for a laying engine for producing a concrete or asphalt top layer
KR101631555B1 (ko) 2011-04-14 2016-06-17 헥사곤 테크놀로지 센터 게엠베하 측정 시스템 및 새로운 포인트들을 결정하기 위한 방법
JP2018173388A (ja) 2017-03-31 2018-11-08 計測技研株式会社 位置計測装置及び位置計測方法
JP2019052864A (ja) 2017-09-13 2019-04-04 計測技研株式会社 芯座標計測装置及び芯座標計測方法
JP2019078569A (ja) 2017-10-20 2019-05-23 株式会社竹中工務店 位置認識方法、位置認識装置、基準点設置用移動体、作業用移動体、及び位置認識システム

Also Published As

Publication number Publication date
JP2021099681A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
KR101606447B1 (ko) 물체 표면의 3d 좌표들을 결정하기 위한 측정 시스템
US20190137627A1 (en) Mobile three-dimensional measuring instrument
US20140267703A1 (en) Method and Apparatus of Mapping Landmark Position and Orientation
US7742176B2 (en) Method and system for determining the spatial position of a hand-held measuring appliance
US9744665B1 (en) Optimization of observer robot locations
JP7022559B2 (ja) 無人航空機の制御方法および無人航空機の制御用プログラム
US20040122628A1 (en) Method and device for generating two-dimensional floor plans
EP3781367A1 (en) Systems and methods for surgical robotic cart placement
US20160280036A1 (en) Inclination detection method, inclination detection apparatus, and equipment for detecting inclination
JP7378545B2 (ja) ターゲット装置および測量方法
KR20180109118A (ko) QR Code Tag, 비콘단말기, 엔코더와 관성센서를 융합하여 로봇의 정확한 현재위치를 식별하기 위한 방법
WO2009086495A2 (en) Robotic arm for accurate positioning in three-dimensional space, measurement of three-dimensional coordinates, and remote tooling operations in three-dimensional space
JP6074205B2 (ja) 自律移動体
JP2013020345A (ja) 移動体の位置・姿勢推定システム
JP7366735B2 (ja) 位置計測システム、及び位置計測方法
US10755478B1 (en) System and method for precision indoors localization and mapping
US20230064401A1 (en) System for 3d surveying by a ugv and a uav with automatic provision of referencing of ugv lidar data and uav lidar data
EP1804149A1 (en) Mobile robot
CN215881648U (zh) 一种建筑施工用移动式砖块铺设机器人系统
CN113758480B (zh) 一种面型激光定位系统、agv定位校准系统、以及agv定位方法
JP7176994B2 (ja) 位置計測システム、及び位置計測方法
KR20200080598A (ko) 이동 로봇의 주행 평가 방법
US11002541B2 (en) Target positioning with electronic distance measuring and bundle adjustment
KR102551241B1 (ko) 위치 계측 시스템
EP3958086A1 (en) A method and a system of improving a map for a robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7366735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150