JP6689046B2 - 物体検出システム - Google Patents

物体検出システム Download PDF

Info

Publication number
JP6689046B2
JP6689046B2 JP2015171620A JP2015171620A JP6689046B2 JP 6689046 B2 JP6689046 B2 JP 6689046B2 JP 2015171620 A JP2015171620 A JP 2015171620A JP 2015171620 A JP2015171620 A JP 2015171620A JP 6689046 B2 JP6689046 B2 JP 6689046B2
Authority
JP
Japan
Prior art keywords
grid
coordinates
distance
client machine
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015171620A
Other languages
English (en)
Other versions
JP2017049739A (ja
Inventor
豊司 畑中
豊司 畑中
Original Assignee
株式会社データ変換研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社データ変換研究所 filed Critical 株式会社データ変換研究所
Priority to JP2015171620A priority Critical patent/JP6689046B2/ja
Publication of JP2017049739A publication Critical patent/JP2017049739A/ja
Application granted granted Critical
Publication of JP6689046B2 publication Critical patent/JP6689046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、空間内において移動体からある距離の範囲に存在する物体を検出するための物体検出システムに関する。
ロボットや自動車等の移動体の自律制御、自動運転または遠隔操縦を実施する際には、当該移動体の周囲に存在している障害物や建物、あるいは他の移動体といった物体の存在を知得して、それら物体との衝突や干渉を回避する必要がある。
移動体の現在位置の緯度及び経度をGPS(Global Positioning System)を用いて把握し、その現在位置を地図上に示すとともに、その現在位置から指定された距離の範囲に存在する店舗や施設等の情報を表示するカーナビゲーションシステムが公知である(例えば、下記特許文献を参照)。しかし、既製のカーナビゲーションシステムは、画面表示用の画像としての地図データを包有するものであるに過ぎず、移動体の周囲にある物体の形状及び寸法、移動体から物体の外周部までの距離や方向について精確な情報を提供できるわけではない。よって、移動体と物体との衝突や干渉を回避する目的には必ずしも役立たない。
移動体の自律制御、自動運転または遠隔操縦の用途に供するためには、空間内に存在する物体の位置や形状を精密にデータ化し蓄積しておかなければならない。だが、データ形式に工夫を凝らさないと、空間内に無数に存在し得る物体に関するデータ量が膨大となる上、そのデータを利用して移動体からの距離や方向を把握するための処理が徒に複雑化し、計算量が増大して処理の遅延を招く懸念がある。
特開2005−339101号公報
本発明は、移動体を運用する空間内に存在している物体の位置や形状を軽量かつ利用容易なデータの形で表現し、移動体の周囲に存在する物体の検出ひいては移動体の制御に寄与することを所期の目的としている。
上述した課題を解決するべく、本発明では、空間を一定の緯度及び一定の経度の大きさのグリッドに分割した場合における、当該空間内に存在している物体と重なる一または複数のグリッドに対応した位置の座標を格納する物体位置データベースと、前記物体位置データベースに格納されている座標のうち、前記空間内を移動する移動体の位置の座標から与えられた距離内にある座標を抽出することを通じて、当該移動体の位置から当該距離の範囲に存在する物体を検出する物体検出部とを具備する物体検出システムを構成した。
また、前記物体位置データベースが、前記物体と重なる一つ一つのグリッド毎に、そのグリッドの四隅またはその近傍である四つの位置の座標を格納し、前記物体検出部が、あるグリッドの四隅またはその近傍である四つの位置の座標のうちの少なくとも一つが、前記移動体の位置の座標から与えられた距離内に存在することを以て、当該グリッドに重なる物体または物体の部分が当該移動体の位置から当該距離の範囲に存在していると判断するものとすれば、物体検出部における物体の検出の精度が向上する。
本発明によれば、移動体を運用する空間内に存在している物体の位置や形状を軽量かつ利用容易なデータの形で表現でき、移動体の周囲に存在する物体の検出ひいては移動体の制御に寄与し得る。
本発明の一実施形態の物体検出システムの全体構成を示す図。 同実施形態のクライアント機用情報処理端末が有するハードウェア資源を示す図。 同実施形態のクライアント機本体が有するハードウェア資源を示す図。 同実施形態の物体検出システムの機能ブロック図。 同実施形態において空間内の物体を表現するグリッドを例示する図。 同実施形態においてグリッドに付与する基本点及びダミー点の位置座標を例示する図。 同実施形態において物体位置データベースが格納している情報を例示する図。
本発明の一実施形態を、図面を参照して説明する。図1に示すように、本実施形態の物体検出システムは、空間内において自律制御、自動運転または遠隔操縦が可能な移動体であるクライアント機1を主体とする。クライアント機1は、当該クライアント機1を遠隔監視または遠隔操縦する者が使用する端末であるコントロール機2、及びこれらクライアント機1及びコントロール機2と併用されるサーバ装置3と電気通信回線4を介して接続しており、クライアント機1とサーバ装置3との間、及びコントロール機2とサーバ装置3との間でそれぞれ情報通信が可能である。
電気通信回線4の具体例としては、インターネット、公衆電話網や、携帯電話網、PHS(Personal Handyphone System)網、公衆無線LAN(Local Area Network)、WiMAX(登録商標)その他の移動体無線通信網のような、公開のネットワークが挙げられる。尤も、クライアント機1とサーバ装置3とを繋ぐ通信路の全体が公開ネットワークであるとは限られず、コントロール機2とサーバ装置3とを繋ぐ通信路の全体が公開ネットワークであるとも限られない。例えば、クライアント機1やコントロール機2は、直接には非公開の有線LANまたは無線LANに接続しており、そのLANを経由して間接的にインターネット等の公開ネットワークに接続することがある。
サーバ装置3と接続するクライアント機1は複数存在することがあり、及び/または、サーバ装置3と接続するコントロール機2が複数存在することもある。あるユーザがある一台のクライアント機1を監視または操作し、他のユーザが別の一台のクライアント機1を監視または操作するような場合、前者のユーザが使用するコントロール機2と前者のクライアント機1とが一対一対応し、後者のユーザが使用するコントロール機2と後者のクライアント機1とが一対一対応していることがある。
クライアント機1は、何らかの作動を行う作動機構1q、及び各種の情報を取得するセンサ1k、1l、1m、1n、1o、1pを有した、遠隔操縦可能なロボット、作業用機器または監視用機器である。作動機構の具体例としては、クライアント機1自身を移動させるための車輪(駆動輪)1qや無限軌道、回転翼及び舵を含む飛行機構といった移動用の機構、クライアント機1の周囲に存在する物に対して物理的な作業を行うためのロボットアーム等の作業用の機構、太陽光発電パネルや風力発電用風車等の発電用の機構、等が挙げられる。
センサ1k、1l、1m、1n、1o、1pは、クライアント機1の所在する場所に関する情報を収集するためのものであったり、クライアント機1自身の状況を知得するためのものであったりする。センサの具体例としては、クライアント機1の周辺を撮影するカメラ(イメージセンサ)1k、音声を録音するマイク1lの他、温度センサ(クライアント機1の周辺の温度を計測するものと、クライアント機1内部の温度を計測するものとを含む)1m、湿度センサ、気圧センサ、照度センサ、クライアント機1の周辺環境における風速や風の流量を計測するセンサ、水流が存在している場合の流速や流量を検出するセンサ、火炎が存在している場合の火力や熱量を検出するセンサ、放射線量を計測するセンサ、二酸化炭素や酸素等の所定種類のガスの濃度を計測するセンサ、クライアント機1の付近に存在する何らかの物と当該クライアント機1との距離を計測する対物距離センサ(測距センサ)またはレーダ(レーザ、赤外線、超音波、パノラマカメラ等)1n、降雨の有無または降雨量を検出する降雨センサ、クライアント機1が所在する場所の土壌に含まれる水分量を計測するセンサ、クライアント機1が所在する場所の落ち葉の堆積量を検出するセンサ、クライアント機1に隣接または近接して存在する段差の大きさを検出するセンサ、クライアント機1の周囲にいる人または動物の存在を感知する人感センサ(パッシブ赤外線センサ)、GPSやQZSS(Quasi−Zenith Satellite System)といった航法衛星システム(衛星測位システム)によりクライアント機1の現在位置の緯度及び経度を知得するための航法信号受信装置1o、クライアント機1の移動方向や移動速度を検出するための加速度センサ(モーションセンサ、慣性センサまたはジャイロセンサ)または移動走行用の車輪の回転量を検出する回転センサ1p、ロボットアームの姿勢を決定するサーボモータまたはステッピングモータのコントローラ(ロボットアームに設けられたモータの回転量等を出力する)、ロボットアームに加えられている荷重の大きさを計測する重量センサ、発電機構による発電量(電圧及び/または電流)を検出する回路、クライアント機1に実装されたバッテリの現在の充電量(バッテリ電圧及び/またはバッテリ電流)を検出する回路、ユーザが手動で操作できるスイッチ(例えば、クライアント機1を起動または停止させるためのスイッチ)等が挙げられる。
クライアント機1を制御しようとする者は、コントロール機2を使用し、電気通信回線4を通じて対象のクライアント機1にコマンドを送信することができる。コマンドは、クライアント機1の有する作動機構1qやセンサを作動させまたはその作動を停止させるための指令、例えばクライアント機1の移動方向、移動距離または移動速度の指定を含む移動命令や、ロボットアームの駆動命令、カメラ1kによる撮影及び撮影した静止画像または動画像の送出命令、等である。
他方、クライアント機1は、当該コントロール機2に対し、電気通信回線4を通じて種々の情報をレポートとして提供する。クライアント機1が発信する情報は、クライアント機1に実装された上記の各センサ1k、1l、1m、1n、1o、1pにより撮影、録音、計測等して得られる情報や、コントロール機2から与えられた指令に従い作動を実行した結果の情報、または作動実行中の自身若しくは作動機構1qの状態を示す情報、作動を実行するために算出した各種の変数値等である。コントロール機2を制御するユーザは、これら情報をコントロール機2により受信して、その内容を確認することができる。
コントロール機2が発信するコマンドは、一旦サーバ装置3に受信され、このサーバ装置3からクライアント機1に送信される。クライアント機1が発信する種々の情報もまた、一旦サーバ装置3に受信され、このサーバ装置3からコントロール機2に送信される。尤も、クライアント機1とコントロール機2とがサーバ装置3を介さずにP2P(Peer To Peer)でコマンドやレポートをやり取りすることを妨げない。
また、あるクライアント機1と他のクライアント機1との間で情報の授受を行うことも考えられる。その場合にも、あるクライアント機1が発信する情報が一旦サーバ装置3に受信され、サーバ装置3から他のクライアント機1に送信される。無論、クライアント機1同士がサーバ装置3を介さずにP2Pで情報を送受信しても構わない。
本実施形態のクライアント機1は、作動機構1q及び各種センサ1k、1l、1m、1n、1o、1pを備える本体11に汎用のコンピュータ12を搭載して構成される。コンピュータ12の具体例としては、携行可能な小形のパーソナルコンピュータ、ワークステーション、携帯電話端末(特に、スマートフォン)、タブレット型端末、ビデオゲーム機、等が挙げられる。
図2に示すように、コンピュータ12は、CPU(Central Processing Unit)1a、メインメモリ1b、補助記憶デバイス1c、操作入力デバイス1d、オーディオコーデック1e、ビデオコーデック1f、通信インタフェース1g、スピーカ1h、ディスプレイ1i等のハードウェア資源を備え、これらがコントローラ(システムコントローラ、I/Oコントローラ等)1jにより制御されて連携動作するものである。
補助記憶デバイス1cは、ハードディスクドライブ、フラッシュメモリ、光学ディスクドライブ、その他である。操作入力デバイス1dは、手指で操作可能なタッチパネル、トラックパッド、マウス、押下ボタンやキーボード等である。オーディオコーデック1eは、符号化されている音声データを復号化してスピーカ1hから音声出力する。ビデオコーデック1fは、CPU1aより受けた描画指示をもとに表示させるべき画面を生成しその画面信号をディスプレイ1iに向けて送出するGPU(Graphics Processing Unit)、画面や画像のデータを一時的に格納しておくビデオメモリ等を要素とする。オーディオコーデック1e、ビデオコーデック1fはそれぞれ、ハードウェアでなくソフトウェアとして実装することも可能である。
通信インタフェース1gは、外部と情報の授受を行うためのデバイスであって、Ethernet(登録商標)用のNIC(Network Interface Card)や無線LAN用のWi−Fi(登録商標)デバイス、移動体無線通信網用の無線デバイス、短距離通信用のBluetooth(登録商標)トランシーバ等である。これら以外に、USB(Universal Serial Bus)、IEEE1394等のインタフェースを実装していることもある。
また、図3に示すように、クライアント機1の本体11は、カメラ1k、マイク1l、温度センサ1m、測距センサ1n、航法信号受信装置1o、加速度センサ1p、バッテリ充電量検出回路等の各種センサ、移動機構1qやロボットアーム、発電機構等の作動機構、並びに、通信インタフェース1r及びこれらを制御する制御回路1sを備えている。
クライアント機1の本体11とコンピュータ12とは、Bluetooth(登録商標)やUSB等の通信インタフェース1g、1rを介して接続する。
CPU1aによって実行されるべきプログラムは補助記憶デバイス1cに格納されており、プログラムの実行の際には補助記憶デバイス1cからメインメモリ1bに読み込まれ、CPU1aによって解読される。本実施形態では、既知のOS(Operating System)プログラムやこれに付帯する各種デバイスドライバプログラムが予めインストールされ、他のプログラムによる上記ハードウェア資源の利用を仲介する。
しかして、コンピュータ12には、本実施形態の通信システムを構築するために必要となるクライアント機1用プログラムがインストールされる。当該コンピュータ12は、プログラムに従い、図4に示す物体位置データベース101、物体検出部102、情報発信部103及び情報受信部104としての機能を発揮する。
物体位置データベース101は、メインメモリ1bまたは補助記憶デバイス1cの所要の記憶領域を利用して、空間内に存在している個々の物体の位置及び形状を表現するデータを格納する。図5に例示するように、本実施形態では、クライアント機1を運用する空間を一定の緯度及び一定の経度間隔の格子によって区画される、一定の緯度及び一定の経度の大きさのグリッドGに分割するとともに、空間内に存在する物体の平面視形状を各物体毎に一または複数のグリッドGの集合として表現するものとしている。
グリッドGは、空間内に存在する物体の位置の抽象化表現LLQuad(Latitude Longitude Quadrangle)である。一つのグリッドGは、緯度方向及び経度方向にそれぞれ所定寸法を有した方形(四辺形)である。そして、一つのグリッドGを表すために、少なくとも、一つの位置座標を付与する。但し、後述するように、一つのグリッドGに対してさらに複数のダミー点PDの位置座標を付与することがある。この位置座標は、対象のグリッドG内に存在する何れかの地点、例えば当該グリッドGの角(北東角、南東角、北西角または南西角)や中心等の地点PBの緯度及び経度である。それら緯度及び経度はそれぞれ、所定桁数の値とする。緯度及び経度の有効桁数を小数点以下6桁までとする場合、即ちあるグリッドGを表すデータとして位置座標(緯度,経度)を
(35.6751260°N,139.7524720°E)
のように与える場合、当該グリッドGの北に隣接したグリッドGに与えるべき位置座標は、北緯に0.000001°を加算した
(35.6751270°N,139.7524720°E)
となる。また、当該グリッドGの西に隣接したグリッドGに与えるべき位置座標は、東経から0.000001°を減算した
(35.6751260°N,139.7524710°E)
となる。なお、小数点以下7桁目は、後述するダミー点PDの位置座標を表現するためのものである。そして、緯度及び経度の有効桁数を小数点以下6桁までとする場合、一つのグリッドは緯度方向及び経度方向にそれぞれ0.000001°分の寸法を有した方形となる。その具体的な大きさは、緯度及び経度の影響を受けるため、あらゆるグリッドGが同一の寸法を有するわけではない(北極または南極に近づくほど単位経度あたりの距離は顕著に小さくなり、また単位緯度あたり方向の寸法は若干ではあるが大きくなる)。日本国内では、一つのグリッドGの緯度方向の寸法は南北に約11cm、経度方向の寸法は東西に約9cmとなる。尤も、日本列島は南北に伸びているので、所在地の緯度による寸法の伸縮を無視するべきではない。因みに、位置座標の緯度及び経度の有効桁数を小数点以下5桁までとする場合には、一つのグリッドGの緯度方向の寸法は約1.1m、経度方向の寸法は約0.9mとなる。位置座標の緯度及び経度の有効桁数は、用途に応じて、また各物体の寸法に応じて、任意に設定することができる。
加えて、個々のグリッドGに対して、高さの情報を付与してもよい。高さの情報は、当該グリッドGに存在している物体またはその部分の全高、即ち当該物体またはその部分の上面の高さを表現する。なお、クライアント機1の存在する地面または床面よりも低い位置に存在する物体、例えば溝や穴、河川や湖、海等を表現する際には、高さの情報に負の数値を与える。高さとして所定値(例えば、0.1m)を与えたグリッドGにより、側溝のようなものを表現することもできる。
個々のグリッドGに対して、地上高の情報を付与することも考えられる。地上高の情報は、当該グリッドGに存在している物体またはその部分の下面の高さを表現する。橋桁や梁、門等のように、クライアント機1の存在する地面または床面から浮いている物を表現する際には、地上高に正の数値を与える。地面に接地している多くの物体については、地上高は0mとなる。
また、個々のグリッドGに対して、当該グリッドGが表現する物体またはその部分の色等の情報を追加的に付与しても構わない。
対象となる物体は、例えば、建物や樹木等の不動産や、クライアント機1の移動や動作の妨げとなり得る種々の障害物、あるいは他のクライアント機1やロボット、自動車その他の移動体である。既に述べた通り、これら物体はそれぞれ、当該物体が空間内で現在占有している一または複数のグリッドGの形で表現することができる。つまり、当該物体が占有しているグリッドGの位置座標の集合として、当該物体をデータ化することができる。全長50cm、幅30cmの一台のロボットは、位置座標の緯度及び経度の有効桁数を小数点以下6桁とすれば、(当該ロボットの向きにもよるが)15個程度のグリッドGの集合体として捉えることができ、同数の位置座標の集合としてデータ化できる。また、建物面積400m2の建物は、位置座標の緯度及び経度の有効桁数を小数点以下5桁とすれば、400個程度のグリッドGの集合体として捉えることができ、同数の位置座標の集合としてデータ化できる。
図7に、物体位置データベース101に格納する、空間内に存在する物体を表現するデータの例を示す。物体を表現する各グリッドGの位置座標の値は、上記の高さ情報、地上高情報、色情報等を付加した上で、当該位置座標が表現している物体を識別する識別子に関連づけて記憶する。同一の物体を表現する複数のグリッドGの位置座標にはそれぞれ、同一の物体識別子を与えることになる。
さらに、物体を表現する各グリッドGに対して、ダミー点PDの位置座標を付与することがある。本実施形態では、基準位置PS、典型的にはクライアント機1の現在、過去または未来の位置から、ある距離D内に存在する物体を検索することを想定している。そのために、下記物体検出部102において、基準位置PSの座標を起点から与えられた距離D内にあるグリッドGの位置座標を、物体位置データベース101から検索する処理を行う。仮に、物体を表現する各グリッドG毎に一つの位置座標のみを与える、例えば図6に示す各グリッドGの北東角PBの位置座標のみをデータベース化しているとすると、基準位置PSが対象のグリッドGの北東方向に位置する場合には、当該基準位置PSから見て南西方向にある対象のグリッドGの北東角PBの位置座標ひいては当該グリッドGを精確に検出することができる。しかしながら、基準位置PSが対象のグリッドGの南側または西側に位置する場合、換言すれば基準位置PSから見て北方向または東側にあるグリッドGを検索しようとする場合には、対象のグリッドGが与えられた距離D内に存在するにもかかわらず、当該グリッドGの北東角PBの位置座標が距離Dの範囲から外れてしまい、当該グリッドGを検出できないということが起こり得る。
そこで、本実施形態では、物体を表現する各グリッドG毎に複数の位置座標を与えることで、検索精度の向上即ち検索漏れの防止を図っている。具体的には、図6に示しているように、物体を表現する各グリッドGについて、基本となる北東角PBの位置座標の他に、当該グリッドG内に存在する一または複数の地点PD、例えば当該グリッドGの南西角近傍、北西角近傍及び南東角近傍の位置座標を付与し、それらダミー点PDの位置座標を、基本点PBである北東角の位置座標とともに物体識別子に関連づけて物体位置データベース101に格納している。これにより、与えられた距離Dの範囲から基本点PBの位置座標が外れたとしても、ダミー点PDの位置座標がその距離Dの範囲内に捕捉されるようになり、当該ダミー点PDの位置座標及び当該ダミー点PDの属するグリッドGを正しく検出することが可能となる。緯度及び経度の有効桁数を小数点以下6桁までとし、あるグリッドGを表す基本点PB即ち北東角の位置座標が
(35.6751260°N,139.7524720°E)
である場合、当該グリッドGに与えるべきダミー点PDの位置座標は、当該グリッドGの南西角、北西角及び南東角よりも若干内側の地点
(35.6751251°N,139.7524711°E)
(35.6751259°N,139.7524711°E)
(35.6751251°N,139.7524719°E)
のようになり、緯度及び経度の有効桁数を超えた小数点以下7桁目を利用して記述される。
物体位置データベース101では、空間内に存在する物体を表現する多数のグリッドGの基本点PB及びダミー点PDの位置座標を、インデックス化して格納している。即ち、検索キーとなる緯度及び/経度の範囲と、その緯度及び/または経度の範囲に属するグリッドGの位置座標群を格納している記憶領域へのポインタとの組であるインデックス情報を生成した上で、グリッドGの位置座標群とともに記憶保持している。
物体位置データベース101に格納するデータは、予め与えられていることもあれば、クライアント機1において動的に生成することもある。建物や樹木といった不動産や、原則として固定の障害物は、クライアント機1の運用に先んじて予めデータベース化しておくことが可能であり、そのデータを頻繁に更新する必要もない。一方で、空間内で活動するクライアント機1やロボット、自動車その他の移動体については、その存在/不存在や位置が刻々と変化するため、データを適時更新する必要がある。
クライアント機1には、カメラ1kや、対物距離センサまたはレーダ1nを実装しており、これを用いて空間内に存在する他の物体を発見することが可能である。そして、クライアント機1は、発見した物体の位置情報を、当該物体が占有している一または複数のグリッドGの(基本点PB及びダミー点PDの)位置座標の形で、自身が保有する物体位置データベース101に格納する。また、後述するように、この位置座標のデータを、コントロール機2やサーバ装置3、または自身以外の他のクライアント機1に送信して提供することができる。
同様に、クライアント機1は、航法信号受信装置1oを利用して知得した自身の現在位置の座標を、コントロール機2やサーバ装置3、または他のクライアント機1に送信して提供することができる。他のクライアント機1から見れば、自身もまた空間内に存在する障害物となり得る物体である。それ故、他のクライアント機1に自身の位置情報を提供することで、他のクライアント機1において自身の存在を検出可能とするのである。
さらに、後述するように、クライアント機1が、コントロール機2やサーバ装置3、または他のクライアント機1からもたらされる位置座標のデータを受信して、物体位置データベース101に格納することも可能である。
物体検出部102は、基準位置PS、典型的にはクライアント機1の現在、過去または未来の位置から、与えられた距離Dの範囲に存在する物体を検出する。具体的には、物体位置データベース101に格納しているグリッドGの位置座標のうち、基準位置PSの座標から与えられた距離D内にある位置座標を抽出することを通じて、基準位置PSから与えられた距離Dの範囲内に存在する、物体により占有されているグリッドGを検出する。
基準位置PSの座標となるクライアント機1の現在または過去の位置座標は、自身に実装されている航法信号受信装置1oを利用して検出することができる。また、クライアント機1の未来の位置座標は、例えばクライアント機1の現在の位置座標及び移動方向、移動速度を基に推測することができる。無論、クライアント機1が移動しようとしている移動先(目的地)の位置座標を基準位置PSの座標とすることも当然に可能である。
基準位置PSからの検索範囲を示す距離Dの値は、固定値でもよいし、クライアント機1(の本体11またはコンピュータ12)で実行している自動運転または自律制御用のプログラムに従い状況に応じて設定する可変値としてもよい。基準位置PSや検索範囲の距離Dがユーザによって指定される、即ちユーザが使用するコントロール機2から電気通信回線4を介してもたらされる検索指令コマンドに基準位置PSの指定や検索範囲の距離Dの値が含まれていてもよい。
基準位置PSの座標及び検索範囲の距離Dが与えられた物体検出部102は、まず、検索範囲の距離Dの値を基に、空間内において検索対象となる最大及び最小の緯度及び経度の範囲を決定する。物体位置データベース101に格納している各グリッドGの位置座標の経度及び緯度の有効桁数が小数点以下6桁である場合、日本国内では一つのグリッドGの緯度方向(南北)の寸法が約11cm、経度方向(東西)の寸法が約9cmである。そして、検索対象範囲が基準位置PSから5mであるとすると、緯度方向には基準位置PSから北方及び南方にそれぞれ46個分のグリッドG、即ち基準位置PSからの緯度が±0.000046°の範囲にあるグリッドGが検索対象となり、経度方向には基準位置PSから東方及び西方にそれぞれ56個分のグリッドG、即ち基準位置PSからの経度が±0.000056°の範囲にあるグリッドGが検索対象となる。
但し、グリッドGの寸法は、当該グリッドGが所在している地球上の場所即ち緯度による影響を受ける。特に、グリッドGの経度方向の寸法は、緯度が1°異なるだけで無視できない程度に変化する。つくば市のある北緯36°の場所ではグリッドGの経度方向寸法がほぼ9cmであるが、京都市のある北緯35°の場所ではこれが約9.13cmに拡大する。従って、検索対象となる最大及び最小の緯度及び経度の範囲を決定するに際しては、例えば、メインメモリ1bまたは補助記憶デバイス1cに、基準位置PSの緯度とグリッドGの寸法との関係を規定したテーブルまたは演算式を予め格納しておき、それを用いて基準位置PSの緯度に対応したグリッドGの寸法を知得することが好ましい。
次いで、物体検出部102は、物体位置データベース101のインデックスを参照し、基準位置PSから検索対象となる最大及び最小の緯度及び経度の範囲内にある位置座標を順次読み出す。そして、物体位置データベース101から読み出した位置座標と基準位置PSの座標との間の距離である測地線長を算出し、算出した測地線長を与えられた検索範囲の距離Dの値と比較する。基本点PB及びダミー点PDのうち少なくとも一つと基準位置PSとの間の測地線長が、与えられた検索範囲の距離Dの値以下であるならば、その基本点PBまたはダミー点PDの属するグリッドGが検索範囲の距離D内に存在する、ひいてはそのグリッドGが表現している物体が基準位置PSから見て検索範囲の距離D内に存在しているということになる。
加えて、物体検出部102は、基準位置PSから検索範囲の距離D内に存在するグリッドGについて、基準位置PSから見た方位角を算出することもできる。
ここで、基準位置PSと対象位置との距離である測地線長、及び基準位置PSから見た対象位置の方位角の計算方法の一例を示す。以下に述べる計算方法は、国土地理院ウェブサイト(http://vldb.gsi.go.jp/sokuchi/surveycalc/surveycalc/bl2stf.html)で紹介されているものである。
基準位置PSの緯度をφ1、経度をL1とおき、対象位置の緯度をφ2、経度をL2とおく。但し、北緯を正、南緯を負、東経を正、西経を(360°−経度)とする。また、L=L2−L1が負値となる場合には、基準位置PSの緯度をφ2、経度をL2とし、対象位置の緯度をφ1、経度をL1として、Lを正値化する。並びに、地球楕円体(準拠楕円体)の長半径をa、扁平率をfとおく。
L=L2−L1; L’=180°−L (但し、0°≦L≦180°)
Δ=φ2−φ1; Σ=φ1+φ2
1=tan-1[(1−f)tanφ1]; u2=tan-1[(1−f)tanφ2
Σ’=u1+u2; Δ’=u2−u1 (但し、−180°≦Σ’≦180°、−180°≦Δ’≦180°)
ξ=cos(Σ’/2); ξ’=sin(Σ’/2)
η=sin(Δ’/2); η’=cos(Δ’/2)
x=sinu1sinu2; y=cosu1cosu2
c=ycosL+x
ε=[f(2−f)]/[(1−f)2
以降、cの値に応じて一部計算式が異なり、c≧0が成立する場合をゾーン1、0>c≧−cos(3°cosu1)が成立する場合をゾーン2、c<−cos(3°cosu1)が成立する場合をゾーン3とする。
θの初期値θ(0)について、ゾーン1ではθ(0)=L(1+fy)とし、ゾーン2ではθ(0)=L’とする。
ゾーン3では、Σ=0であるゾーン3(a)と、Σ≠0であるゾーン3(b)とで計算方法が分かれる。
R=fπcos21[1−(1/4)f(1+f)sin21+(3/16)f2sin41
1=L’cosu1−R; d2=|Σ’|+R
q=L’/(fπ); f1=(1/4)f[1+(1/2)f]; γ0=q+f1q−f13
ゾーン3(a)でのθ(0)の計算は、
0=tan-1(d1/d2) (但し、−90°≦A0≦90°)
0=sin-1[R/√(d1 2+d2 2)] (但し、0°≦B0≦90°)
ψ=A0+B0; j=γ0/cosu1
k=(1+f1)|Σ’|(1−fy)/(fπy); j1=j/(1+ksecψ)
ψ’=sin-11 (但し、0°≦ψ’≦90°)
ψ’’=sin-1(j1cosu1/cosu2) (但し、0°≦ψ’’≦90°)
θ(0)=2tan-1{tan[(ψ’+ψ’’)/2]sin(|Σ’|/2)/cos(Δ’/2)}
他方、ゾーン3(b)では、d1>0の場合にθ(0)=L’とする。ゾーン3(b)でd1≦0である場合の測地線長及び方位角の計算に関しては、別途述べる。
(ゾーン3(b)でd1≦0である場合を除く)下記θの算出において、一回目の演算ではθ(n)≡θ(0)とし、二回目以降の演算ではθ(n+1)≡θ(n)とする。
ゾーン1では、g=√[η2cos2(θ(n)/2)+ξ2sin2(θ(n)/2)]
ゾーン1以外では、g=√[η2sin2(θ(n)/2)+ξ2cos2(θ(n)/2)]
ゾーン1では、h=√[η’2cos2(θ(n)/2)+ξ’2sin2(θ(n)/2)]
ゾーン1以外では、h=√[η’2sin2(θ(n)/2)+ξ’2cos2(θ(n)/2)]
σ=2tan-1(g/h); J=2gh; K=h2−g2
γ=(y/J)sinθ(n); Γ=1−γ2; ζ=ΓK−2x; ζ’=ζ+x
D=(1/4)f(1+f)−(3/16)f2Γ
E=(1−DΓ)fγ{σ+DJ[ζ+DK(2ζ2−Γ2)]}
ゾーン1では、F=θ(n)−L−E
ゾーン1以外では、F=θ(n)−L’+E
G=fγ2(1−2DΓ)+fζ’(σ/J)[1−DΓ+(1/2)fγ2]+(1/4)f2ζζ’
θ(n+1)=θ(n)−F/(1−G)
上記を所要回数反復することで、θを求める。その反復的な演算は、|F|<10-15となるまで続行することが好ましい。
(ゾーン3(b)でd1≦0である場合を除く)測地線長sは、
0=εΓ/[√(1+εΓ)+1]2; A=(1+n0)[1+(5/4)n0 2
B=ε[1−(3/8)n0 2]/[√(1+εΓ)+1]2
s=(1−f)aA(σ−BJ{ζ−(1/4)B[K(Γ2−2ζ2)−(1/6)Bζ(1−4K2)(3Γ2−4ζ2)]})
(ゾーン3(b)でd1≦0である場合を除く)基準位置PSから見た対象位置の方位角αは、
ゾーン1では、α=tan-1[ξtan(θ/2)/η]−tan-1[ξ’tan(θ/2)/η’]
ゾーン1以外では、α=tan-1[η’tan(θ/2)/ξ’]−tan-1[ηtan(θ/2)/ξ]
但し、基準位置PSの緯度及び経度を(φ2,L2)とし、対象位置の緯度及び経度を(φ1,L1)としているのであれば、
ゾーン1では、α=180°+tan-1[ξtan(θ/2)/η]+tan-1[ξ’tan(θ/2)/η’]
ゾーン1以外では、α=360°−tan-1[η’tan(θ/2)/ξ’]−tan-1[ηtan(θ/2)/ξ]
なお、ゾーン3(b)でd1=0である場合の測地線長s及び方位角αは、
Γ=sin21
0=εΓ/[√(1+εΓ)+1]2; A=(1+n0)[1+(5/4)n0 2
s=(1−f)aAπ
α=90°
但し、基準位置PSの緯度及び経度を(φ2,L2)とし、対象位置の緯度及び経度を(φ1,L1)としているのであれば、α=270°
また、ゾーン3(b)でd1<0である場合の測地線長s及び方位角αは、下記に則って算出する。一回目の演算ではγ(n)≡γ(0)とし、二回目以降の演算ではγ(n+1)≡γ(n)として、
Γ=1−γ(n) 2; D=(1/4)f(1+f)−(3/16)f2Γ
γ(n+1)=q/(1−DΓ)
上記を所要回数反復することで、Γ及びDを求める。その反復的な演算は、|γ(n)−γ(n-1)|<10-15となるまで続行することが好ましい。そして、
0=εΓ/[√(1+εΓ)+1]2; A=(1+n0)[1+(5/4)n0 2
s=(1−f)aAπ
m=1−qsecu1; n=DΓ/(1−DΓ); w=m−n+mn
w≦0のとき、α=90°
w>0のとき、α=90°−2sin-1√(w/2)
但し、基準位置PSの緯度及び経度を(φ2,L2)とし、対象位置の緯度及び経度を(φ1,L1)としているのであれば、
w≦0のとき、α=270°
w>0のとき、α=270°+2sin-1√(w/2)
物体検出部102が物体位置データベース101を検索して抽出した、基準位置PSから与えられた距離D内に存在する物体に関する情報は、メインメモリ1bまたは補助記憶デバイス1cの所要の記憶領域に書き込むことでクライアント機1で実行している自動運転または自律制御用のプログラムによる利用に供してもよいし、クライアント機1上のディスプレイ1iに画面表示させてもよい。または、ユーザが使用するコントロール機2やサーバ装置3、あるいは他のクライアント機1等に向けて、電気通信回線4を介して送信してもよい。基準位置PSから与えられた距離D内に存在する物体に関する情報とは、例えば、基準位置PSから与えられた距離D内に存在するグリッドGの位置座標や物体識別子、基準位置PSから当該グリッドGまでの距離、基準位置PSから見た当該グリッドGの方位角、等である。当該グリッドGまでの距離や方位角は、基準位置PSから与えられた距離内に存在する物体までの距離や、基準位置PSから見た当該物体の方位角を示唆する。
物体検出部102が、基準位置PSから見て与えられた方位角の範囲内に存在する物体のみを検索して抽出することもあり得る。検索範囲を示す方位角の値は、固定値でもよいし、クライアント機1で実行している自動運転または自律制御用のプログラムに従い状況に応じて設定する可変値としてもよい。検索対象となる方位角の範囲がユーザによって指定される、即ちユーザが使用するコントロール機2から電気通信回線4を介してもたらされる検索指令コマンドに検索範囲を示す方位角の値が含まれていてもよい。
例えば、クライアント機1が前進移動している最中において、前方に障害物が存在しないかどうかを確認することを目的とする検索処理では、基準位置PSとなるクライアント機1の現在位置の後方に存在する物体については検出する必要性が乏しい。そのような場合には、クライアント機1の現在位置から与えられた距離Dの範囲内に存在し、かつクライアント機1の現在の移動方向から所定の方位角の範囲内(移動方向の左右45°の範囲等)に存在している物体に係るグリッドGの位置座標のみを、上述した検索処理を通じて物体位置データベース101から抽出する。そして、その位置座標や当該位置座標に関連づけられた物体識別子、基準位置PSからの距離等の情報を、メインメモリ1bまたは補助記憶デバイス1cの記憶領域に書き込んだり、クライアント機1上のディスプレイ1iに画面表示させたり、コントロール機2やサーバ装置3、他のクライアント機1等に向けて送信したりする。
情報発信部103は、コンピュータ12の通信インタフェース1gを利用し、クライアント機1からコントロール機2やサーバ装置3、または他のクライアント機1に伝達するべき情報を、電気通信回線4を介して送信する。クライアント機1から発信する情報には、当該クライアント機1がカメラ1kや対物距離センサまたはレーダ1n等を介して発見した空間内の物体の位置情報や、当該クライアント機1が航法信号受信装置1oを介して知得した自身の現在位置の座標等が含まれる。この情報は、他のクライアント機1において物体位置データベース101を構成するデータの一部となり得る。
また、当該クライアント機1が物体位置データベース101を検索して知得した、基準位置PSから与えられた距離D内に存在する物体に関する情報を、検索指令コマンドに対するレポートとしてコントロール機1に返信することがあり、また、その検索処理の結果の情報を他のクライアント機1に提供するべく送信することもある。
情報受信部104は、コンピュータ12の通信インタフェース1gを利用し、コントロール機2やサーバ装置3、または他のクライアント機1からもたらされる情報を、電気通信回線4を介して受信する。クライアント機1が受信する情報には、他のクライアント機1が空間内で発見した物体の位置情報や、他のクライアント機1自身の現在位置の座標、またはユーザその他の人手により入力された既知の物体の位置情報等が含まれる。このような情報を受信したクライアント機1(のコンピュータ12)は、受信した情報を物体位置データベース101に格納して、以後の物体の検索処理に利用する。
また、コントロール機2からもたらされる各種のコマンドを受信し、そのコマンドに応じた処理を実行することもある。ユーザの使用するコントロール機2から検索指令コマンドがもたらされたときには、上述した物体検出部102による物体位置データベース101の検索処理の実行を開始する。その検索指令コマンドには、少なくとも、検索対象範囲を指定する基準位置PSからの距離Dの値が含まれる。さらに、検索指令コマンドに、検索対象となる方位角の範囲を示す値が含まれることがある。
本実施形態では、空間を一定の緯度及び一定の経度の大きさのグリッドGに分割した場合における、当該空間内に存在している物体と重なる一または複数のグリッドGに対応した位置の座標を格納する物体位置データベース101と、前記物体位置データベース101に格納されている座標のうち、前記空間内を移動する移動体の位置の座標から与えられた距離D内にある座標を抽出することを通じて、当該移動体の位置から当該距離Dの範囲に存在する物体を検出する物体検出部102とを具備する物体検出システムを構成した。
本実施形態によれば、移動体を運用する空間内に存在している物体の位置や形状を軽量かつ利用容易なデータの形で表現でき、移動体の周囲に存在する物体の検出ひいては移動体の制御に寄与し得る。
本物体検出システムの用途は、幾つか考えられる。まず第一に、クライアント機1に代表されるロボットその他の移動体の自律制御、自動運転または遠隔操縦支援が挙げられる。即ち、本物体検出システムを利用すれば、移動体の周囲に存在している物体を高速かつ精確に検出できるため、当該移動体の移動や各種動作を安全確実ならしめることができる。典型的には、障害物の回避行動をとることが容易となる。
第二に、空間内に存在しているが未知の物体の発見を容易にする。物体位置データベース101に格納されているデータは、既知の物体に関するものである。従って、クライアント機1がカメラ1kや対物距離センサまたはレーダ1n等を用いて発見した物体に関する位置情報が、物体位置データベース101を検索しても抽出できなかった(物体位置データベース101に登録されていなかった)場合、その物体は新たに発見した未知の物体ということになる。
第三に、空間内に様々な物体が存在している風景をモデリングして描画しようとする際に、物体位置データベース101に格納されている各グリッドGの位置座標、高さ情報、地上高情報、色情報等を利用して、与えられた視点の位置座標及び視線の方向に基づき、透視図法等により物体を三次元モデリング表現で画面表示させることが可能となる。即ち、空間内に存在する各物体をそれぞれ、一個の直方体ブロックまたは複数個の直方体ブロックの集合体として表現することができる。物体を構成する直方体ブロックは、その位置及び底面積がグリッドGの位置情報として規定され、その高さ寸法及び地上高が高さ情報及び地上高情報として規定され、その色が色情報として規定される。クライアント機1等の移動体の位置座標及び向きが分かれば、その移動体から見える風景を再現できる。
第四に、空間内に様々な物体が存在する風景を時系列で表現し、またその時系列の情報の保全が可能である。物体位置データベース101に、まず不動産その他の恒常的に存在する固定物を表現するグリッドGの位置情報等を格納しておき、その上で、ある時点にのみ存在した物体を表現するグリッドGの位置情報等を、固定物を表現するグリッドGの位置情報等に対する差分の情報として格納、記憶保持するようにすれば、複数の時点のそれぞれにおいて空間内に存在した物体に関する情報の時系列を、少ないデータ量で表現することが可能となる。
また、固定物を表現するグリッドGの位置情報等を共通のデータベースとして共有化またはクラウド化しておき、固定物以外の物体を表現するグリッドGの位置情報等のみを運搬したり送受信したりすることも可能である。固定物を表現するグリッドGの位置情報等と、固定物以外の物体を表現するグリッドGの位置情報等とを重ね合わせれば、全ての物体が存在する空間の風景を再現できる。
前記物体位置データベースが、前記物体と重なる一つ一つのグリッドG毎に、そのグリッドGに属する複数の位置(基本点PB及びダミー点PD)の座標を格納しているため、基準位置PSから与えられた距離D内に存在する物体(を表現するグリッドG)の検索漏れの懸念が小さくなり、物体の検出精度が増す。
なお、本発明は以上に詳述した実施形態に限られるものではない。例えば、上記実施形態では、移動体であるクライアント機1自身が物体位置データベース101及び物体検出部102を備えていたが、これらの機能を移動体1(のコンピュータ12)以外のコンピュータ、即ち移動体1と電気通信回線4を介して通信可能なコントロール機2やサーバ装置3に実装することも考えられる。
さらには、複数のコンピュータが協働して、物体位置データベース及び物体検出部の機能を具現し、本発明に係る物体検出システムを構成することを妨げない。
その他、各部の具体的な構成や処理の手順等は、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
101…物体位置データベース
102…物体検出部
D…検索範囲として与えられた距離
G…グリッド
PB…グリッドの基本点
PD…グリッドのダミー点
PS…基準位置

Claims (2)

  1. 空間を一定の緯度及び一定の経度の大きさのグリッドに分割した場合における、当該空間内に存在している物体と重なる一または複数のグリッドに対応した位置の座標を格納する物体位置データベースと、
    前記物体位置データベースに格納されている座標のうち、前記空間内を移動する移動体の位置の座標から与えられた距離内にある座標を抽出することを通じて、当該移動体の位置から当該距離の範囲に存在する物体を検出する物体検出部とを具備し、
    前記物体位置データベースが、前記物体と重なる一つ一つのグリッド毎に、そのグリッドの四隅またはその近傍である四つの位置の座標を格納しており、
    前記物体検出部は、あるグリッドの四隅またはその近傍である四つの位置の座標のうちの少なくとも一つが、前記移動体の位置の座標から与えられた距離内に存在することを以て、当該グリッドに重なる物体または物体の部分が当該移動体の位置から当該距離の範囲に存在していると判断する物体検出システム。
  2. 請求項1記載の物体検出システムを構築するために用いられるものであって、コンピュータを、
    空間を一定の緯度及び一定の経度の大きさのグリッドに分割した場合における、当該空間内に存在している物体と重なる一または複数のグリッドに対応した位置の座標を格納する物体位置データベース、並びに、
    前記物体位置データベースに格納されている座標のうち、前記空間内を移動する移動体の位置の座標から与えられた距離内にある座標を抽出することを通じて、当該移動体の位置から当該距離の範囲内に存在する物体を検出する物体検出部として機能させ、
    前記物体位置データベースが、前記物体と重なる一つ一つのグリッド毎に、そのグリッドの四隅またはその近傍である四つの位置の座標を格納しており、
    前記物体検出部は、あるグリッドの四隅またはその近傍である四つの位置の座標のうちの少なくとも一つが、前記移動体の位置の座標から与えられた距離内に存在することを以て、当該グリッドに重なる物体または物体の部分が当該移動体の位置から当該距離の範囲に存在していると判断するプログラム。
JP2015171620A 2015-09-01 2015-09-01 物体検出システム Active JP6689046B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015171620A JP6689046B2 (ja) 2015-09-01 2015-09-01 物体検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015171620A JP6689046B2 (ja) 2015-09-01 2015-09-01 物体検出システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020068746A Division JP2020115379A (ja) 2020-04-07 2020-04-07 物体検出システム

Publications (2)

Publication Number Publication Date
JP2017049739A JP2017049739A (ja) 2017-03-09
JP6689046B2 true JP6689046B2 (ja) 2020-04-28

Family

ID=58279737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015171620A Active JP6689046B2 (ja) 2015-09-01 2015-09-01 物体検出システム

Country Status (1)

Country Link
JP (1) JP6689046B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6913353B2 (ja) 2017-05-26 2021-08-04 株式会社データ変換研究所 移動体制御システム
JP7000870B2 (ja) * 2018-01-16 2022-01-19 株式会社豊田自動織機 無人搬送車およびその制御方法
KR102049433B1 (ko) * 2018-01-19 2020-01-22 주식회사유넷컨버전스 Gps 좌표의 활주로 내 이물질 위치를 공항 그리드 맵에 표시하는 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296658A (ja) * 1998-04-13 1999-10-29 Matsushita Electric Ind Co Ltd イメージファイル管理方法
JP2003202805A (ja) * 2002-01-09 2003-07-18 Tokyo Gas Co Ltd 地図データベース変換システム
JP4061596B2 (ja) * 2004-05-20 2008-03-19 学校法人早稲田大学 移動制御装置、環境認識装置及び移動体制御用プログラム
JP2008224625A (ja) * 2007-03-15 2008-09-25 Yanmar Co Ltd 作業車両
JP5597322B1 (ja) * 2012-11-05 2014-10-01 パナソニック株式会社 自律走行装置の走行情報生成装置、方法、及びプログラム、並びに自律走行装置

Also Published As

Publication number Publication date
JP2017049739A (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
US11668573B2 (en) Map selection for vehicle pose system
WO2018198281A1 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
JP6689046B2 (ja) 物体検出システム
JP2021162572A (ja) 位置算出方法及び情報処理システム
CN113433937A (zh) 基于启发式探索的分层导航避障系统、分层导航避障方法
US20210357620A1 (en) System, moving object, and information processing apparatus
EP3234505B1 (en) Providing constraint to a position
JP6730763B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
CN112506187A (zh) 移动机器人监控方法、装置及存储介质
JP6559556B2 (ja) 物体位置データベース構築システム
KR102368734B1 (ko) 드론 및 드론 제어 방법
JP2020115379A (ja) 物体検出システム
JP6913338B2 (ja) 描画支援装置及びプログラム
CN115326057A (zh) 路径规划方法、装置、机器人以及可读存储介质
JP7396618B2 (ja) 移動体位置推定システム
CN108124269B (zh) 一种网络覆盖的确定方法及装置
JP2020057313A (ja) 経路探索装置及びプログラム
KR20190013176A (ko) 드론을 이용한 구조물의 변화 탐지 방법 및 장치
JP6678983B1 (ja) 飛行体の管理サーバ及び管理システム
Shu et al. An imu/sonar-based extended kalman filter for mini-uav localization in indoor environment
JP2021068426A (ja) 飛行体の飛行経路作成方法及び管理サーバ
Garate et al. Autonomous swarm of low-cost commercial unmanned aerial vehicles for surveillance
CN116222544B (zh) 一种面向饲养场的投料车自动导航定位方法及装置
JP6810497B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200407

R150 Certificate of patent or registration of utility model

Ref document number: 6689046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250