JPWO2016093241A1 - 位置方位検出装置及び位置方位検出プログラム - Google Patents

位置方位検出装置及び位置方位検出プログラム Download PDF

Info

Publication number
JPWO2016093241A1
JPWO2016093241A1 JP2016563690A JP2016563690A JPWO2016093241A1 JP WO2016093241 A1 JPWO2016093241 A1 JP WO2016093241A1 JP 2016563690 A JP2016563690 A JP 2016563690A JP 2016563690 A JP2016563690 A JP 2016563690A JP WO2016093241 A1 JPWO2016093241 A1 JP WO2016093241A1
Authority
JP
Japan
Prior art keywords
mark
orientation detection
output signal
orientation
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016563690A
Other languages
English (en)
Other versions
JP6389275B2 (ja
Inventor
山下 昌哉
昌哉 山下
士朗 小林
士朗 小林
啓介 重田
啓介 重田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asahi Kasei Corp
Original Assignee
Asahi Kasei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Corp filed Critical Asahi Kasei Corp
Publication of JPWO2016093241A1 publication Critical patent/JPWO2016093241A1/ja
Application granted granted Critical
Publication of JP6389275B2 publication Critical patent/JP6389275B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)

Abstract

機器に搭載されたセンサの出力信号を取得し、出力信号に基づいて、機器に搭載された撮影器へ撮影を指示する撮影指示部と、撮影指示部の指示に基づき撮影された画像に含まれるマークからマークに含まれる位置情報と方位情報とを読み取るマーク読み取り部と、画像に含まれるマークの幾何形状に基づいて、マークに対する機器の相対位置と相対方位とを算出する相対位置方位算出部と、位置情報、方位情報、相対位置、及び相対方位に基づいて、機器の絶対位置と絶対方位とを算出する位置方位算出部とを備え、撮影指示部は、センサの出力信号がマークの位置と関連する形状である場合に、撮影器に撮影を指示する位置方位検出装置を提供する。

Description

本発明は、位置方位検出装置及び位置方位検出プログラムに関する。
従来、マークを撮影することにより位置及び方位を検出する位置方位検出装置が知られている。位置方位検出装置は、マークから読み取った位置情報及び方位情報と、マークに対する相対位置及び相対方位とに基づき、利用者の位置及び方位を検出する(例えば、特許文献1参照)。
特許文献1 特開2008−309530号公報
しかしながら、従来の位置方位検出装置は、利用者が意識せずに位置及び方位を検出するためには、連続的もしくは定期的に撮影器を作動させなくてはならない。そのため、従来の位置方位検出装置は、消費電力が大きいという問題がある。
本発明の第1の態様においては、機器に搭載されたセンサの出力信号を取得し、出力信号に基づいて、機器に搭載された撮影器へ撮影を指示する撮影指示部と、撮影指示部の指示に基づき撮影された画像に含まれるマークからマークに含まれる位置情報と方位情報とを読み取るマーク読み取り部と、画像に含まれるマークの幾何形状に基づいて、マークに対する機器の相対位置と相対方位とを算出する相対位置方位算出部と、位置情報、方位情報、相対位置、及び相対方位に基づいて、機器の絶対位置と絶対方位とを算出する位置方位算出部とを備え、撮影指示部は、センサの出力信号がマークの位置と関連する形状である場合に、撮影器に撮影を指示する位置方位検出装置を提供する。
本発明の第2の態様においては、コンピュータを、第1の態様に記載の位置方位検出装置における撮影指示部、マーク読み取り部と、相対位置方位算出部と、位置方位算出部として機能させるための位置方位検出プログラム を提供する。
本発明の第3の態様においては、機器に搭載され、マークの位置と関連する信号を取得するセンサと、センサの出力信号を取得し、出力信号に基づいて、撮影を指示する撮影指示部と、機器に搭載され、撮影指示部の指示に基づいて、画像を撮影する撮影器と、撮影された画像に含まれるマークからマークに含まれる位置情報と方位情報とを読み取るマーク読み取り部と、画像に含まれるマークの幾何形状に基づいて、マークに対する機器の相対位置と相対方位とを算出する相対位置方位算出部と、位置情報、方位情報、相対位置、及び相対方位に基づいて、機器の絶対位置と絶対方位とを算出する位置方位算出部とを備え、撮影指示部は、撮影指示部は、センサの出力信号がマークの位置と関連する形状である場合に、撮影器に撮影を指示する位置方位検出システムを提供する。
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
位置方位検出装置100の構成の一例を示す。 位置方位検出システム200の構成例を示す概略ブロック図である。 位置方位検出システム200の構成例を示す概略ブロック図である。 天井に設置するマーク400の設置場所を示す商業施設の見取り図である。 角速度センサ信号の時間変化の模式図を示す。 磁気センサ信号の時間変化の模式図を示す。 照度センサを用いる場合のマーク400の設置例を示す。 照度センサ信号の時間変化の模式図を示す。 照度センサを用いる場合のマーク400の設置例を示す。 照度センサ信号の時間変化の模式図を示す。 比較例に係る位置方位検出装置500の構成の一例を示す。 位置方位検出装置500の撮影タイミングの一例を示す。 位置方位検出システム200の動作の一例を示す。 位置方位検出システム250の構成例を示す概略ブロック図である。 位置方位検出システム250の動作の一例を示す。 本発明の実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、位置方位検出システム200の使用例を示す。本例の位置方位検出システム200は、ショッピングカート300に搭載される。
位置方位検出システム200は、商業施設の天井に設置されたマーク400を撮影する。マーク400は、位置情報及び方位情報を記録した幾何形状を含む。例えば、マーク400は、QRコード(登録商標)である。位置方位検出システム200は、撮影した画像に基づいて、絶対位置及び絶対方位を検出する。絶対位置とは、緯度及び経度等の利用者がいる場所を示すものである。また、絶対方位とは、利用者の向いている方位である。絶対方位は、北を基準としたときの利用者の向きの方位角である。
なお、本明細書では、説明を簡潔にするために、利用者の位置及び方位が、位置方位検出システム200の位置及び方位と等しいことを前提とする。即ち、単に利用者の位置及び方位と称する場合は、位置方位検出システム200の位置及び方位を指してよい。利用者の位置及び方位が、位置方位検出システム200の位置及び方位と異なる場合は、利用者と位置方位検出システム200との関係に応じて位置及び方位を補正すればよい。
図2は、位置方位検出システム200の構成例を示す概略ブロック図である。位置方位検出システム200は、位置方位検出装置100、センサ210及び撮影器220を備える。
センサ210は、マーク400の設置場所に関連する信号を取得する。マーク400の設置場所と関連する信号とは、例えば、マーク400の設置場所から所定の距離内で検出される信号の形状と、マーク400の設置場所から所定の距離外で検出される信号の形状とが、識別可能な程度に異なる信号を指す。信号の形状とは、信号の時間波形の形状であってよく、信号のスペクトルの形状であってもよい。また、信号は、電気信号、光信号、磁気信号等どのような種類の信号であってもよい。
また、センサ210は、マーク400が生成した信号を検出してよく、マーク400の周囲に配置された配置物が生成した信号を検出してもよい。また、センサ210からの信号に応答してマーク400又は周辺物が信号を生成し、センサ210は当該信号を検出してもよい。さらに、センサ210は、マーク400が配置された場所において利用者が行う可能性の高い動作を検出してもよい。例えば、センサ210は、加速度センサ、角速度センサ、磁気センサ、照度センサ、気圧センサ、電波受信機、マイクロホンである。いずれのセンサを用いるかは、センサ210を利用する環境及び目的等に応じて適宜選択すればよい。
撮影器220は、商業施設の天井を撮影できる姿勢でショッピングカート300に設置される。よって、撮影器220は、利用者がマーク400の下に移動した場合に、マーク400を撮影できる。本例の撮影器220は、位置方位検出装置100からの撮影指示に応じて、天井の撮影を行う。なお、本明細書では、説明を簡潔にするために、撮影器220の位置及び方位は、位置方位検出システム200の位置及び方位と同一とみなす。
位置方位検出装置100は、撮影指示部10、マーク読み取り部20、相対位置方位算出部30、及び位置方位算出部40を備える。位置方位検出装置100は、センサ210からの出力信号に基づいて、利用者の絶対位置及び絶対方位を出力する。例えば、絶対位置及び絶対方位は、商業施設の地図上における、利用者の位置及び方位である。
撮影指示部10は、センサ210からの出力信号に基づいて、利用者がマーク400の設置場所にいるか否かを判断する。例えば、利用者がマーク400の設置場所にいるか否かの判断は、出力信号の形状に基づく。出力信号の形状に基づく判断には、センサ210の出力信号の強度に基づく判断も含む。また、出力信号の形状に基づく判断には、センサ210の出力信号の変化パターンが予め定められたパターンである場合の判断も含む。変化パターンとは、例えば、センサ210の出力信号の値が予め定められた閾値より大きくなるパターン、予め定められた閾値より小さくなるパターン、センサ210の出力信号の時間変化パターンである。撮影指示部10は、利用者がマーク400の設置場所にいると判断すると、撮影器220に撮影指示を出力する。
マーク読み取り部20は、撮影器220が撮影した撮影画像中のマーク400に記録された位置情報及び方位情報を読み取る。撮影画像中のマーク400が撮影器220に対して傾きを有する場合、マーク読み取り部20は、マーク400が撮影器220に対して正対するように位置方位算出部40の傾きを補正してよい。マーク読み取り部20は、読み取った位置情報及び方位情報を位置方位算出部40に出力する。
相対位置方位算出部30は、撮影器220が撮影した撮影画像中のマーク400に基づき、マーク400に対する相対位置及び相対方位を算出する。相対位置とは、マーク400を基準とした利用者の位置を指す。また、相対方位は、マーク400の基準方位に対する利用者の向いている方位を指す。相対位置方位算出部30は、算出した相対位置及び相対方位を位置方位算出部40に出力する。
位置方位算出部40は、入力された位置情報、方位情報、相対位置及び相対方位に基づき、利用者の絶対位置及び絶対方位を算出する。利用者がマーク400の位置にいる場合、利用者の絶対位置は位置情報と等しくなる。また、利用者がマーク400の基準方位を向いている場合、利用者の絶対方位は方位情報と等しくなる。一方、利用者がマーク400の位置にいない場合、利用者の絶対位置は相対位置を用いて補正された位置となる。また、利用者がマーク400の基準方位を向いていない場合、利用者の絶対方位は相対方位を用いて補正された方位となる。
本例の位置方位検出装置100は、利用者がマーク400の設置場所にいると判断した場合にのみ、撮影器220を動作させる。即ち、位置方位検出システム200は、利用者がマーク400の設置場所にいない場合に撮影器220を動作させないので、消費電力を低減できる。
図3は、位置方位検出システム200の構成例を示す概略ブロック図である。本例の位置方位検出装置100は、マーク判定部50を更に備える。
マーク判定部50は、撮影器220から入力された撮影画像に基づいて、撮影画像中にマーク400が有るか否かを判定する。マーク判定部50は、撮影画像中にマーク400が無い場合、撮影画像を棄却する。一方、マーク判定部50は、撮影画像中にマーク400が有る場合、撮影画像をマーク読み取り部20及び相対位置方位算出部30に出力する。マーク400の有無は、撮影画像からマーク400に記載された情報を取得できるか否かによって分かれる。つまり、撮影画像にマーク400が含まれている場合であっても、マーク400が含む情報を取得できなければ、マーク400が無い場合となる。本例の位置方位検出装置100は、マーク判定部50が撮影画像中にマーク400が有ると判定した場合にのみ、マーク読み取り部20及び相対位置方位算出部30を動作させるので消費電力をさらに低減できる。
以下の各実施形態(実施形態1〜4)において、センサ210の出力信号は、マーク400の設置場所と関連する。実施形態1〜4では、センサ210の出力信号に基づいて、マーク400の設置場所に利用者がいるか否かを判断する方法について説明する。
(実施形態1)
図4は、天井に設置するマーク400の設置場所を示す商業施設の見取り図である。本例では、通路の内、利用者のターン動作が期待される交差点にマーク400を設置する。本例の位置方位検出システム200は、ショッピングカート300に設置された角速度センサの出力信号からマーク400の設置場所か否かを判断する。なお、マーク400の設置場所は、利用者のターン動作を検出できる場所であれば、通路の曲がり角及び曲り道等であってもよい。
図5は、角速度センサ信号の時間変化の模式図を示す。縦軸は角速度センサ信号の鉛直成分の絶対値を示し、横軸は時間tを示す。角速度センサ信号とは、センサ210が角速度センサである場合における、センサ210からの出力信号を指す。なお、角速度センサ信号の鉛直成分は、利用者が交差点を曲がる場合に発生する成分である。
撮影指示部10は、角速度センサから入力される信号の鉛直成分の絶対値を予め定められた閾値と比較する。撮影指示部10は、角速度センサ信号の鉛直成分の絶対値が閾値を超えた場合、利用者はターン動作中であると判断する。この場合、撮影指示部10は、利用者がマーク400の設置されている交差点にいると判断する。また、撮影指示部10は、ターン動作中であると判断した時間が、予め定められた時間以上となった場合に、利用者が交差点にいると判断してもよい。
また、撮影指示部10は、角速度センサ信号の鉛直成分を予め定められた時間で時間積分した値の絶対値に基づいて、利用者がターン動作中であるか否かを判断してよい。この場合、撮影指示部10は、時間積分した値の絶対値が予め定められた閾値より大きい場合、利用者はターン動作中であり、交差点にいると判断する。センサ210は、利用者が交差点にいると判断できるセンサであればどのようなセンサを用いてもよい。例えば、位置方位検出システム200は、センサ210として加速度センサを用いることができる。
(実施形態2)
図6は、磁気センサ信号の時間変化の模式図を示す。磁気センサ信号とは、センサ210が磁気センサである場合における、センサ210からの出力信号を指す。本例のセンサ210は、ショッピングカート300に設置され、外部磁場を検出する磁気センサである。本実施形態では、実施形態1に係る場合と同様に、商業施設の交差点の天井にマーク400を設置する。縦軸は磁気センサ信号の所定時間での差分値の絶対値を示し、横軸は時間tを示す。例えば、磁気センサ信号の差分値とは、安定した状態での磁気センサ信号と測定時の磁気センサ信号との差分である。
撮影指示部10は、磁気センサ信号の所定時間での差分値の絶対値を予め定められた閾値と比較する。撮影指示部10は、磁気センサ信号の差分値の絶対値が閾値を超えた場合、利用者はターン動作中であると判断する。この場合、撮影指示部10は、利用者がマーク400の設置されている交差点にいると判断する。また、撮影指示部10は、ターン動作中であると判断した時間が、予め定められた時間以上となった場合に、利用者が交差点にいると判断してもよい。
(実施形態3)
図7は、照度センサを用いる場合のマーク400の設置例を示す。図7は、商業施設を水平方向から見たときのものである。進行方向に沿って複数の照明が設置された通路において、隣接する2つの照明の中間にマーク400を設置する。本例のセンサ210は、ショッピングカート300に設置され、天井からの照明を検知する照度センサである。位置方位検出システム200は、照度センサの検知した信号に基づいて、利用者がマーク400の設置場所にいるか否かを判断する。
図8は、照度センサ信号の時間変化の模式図を示す。照度センサ信号とは、センサ210が照度センサである場合における、センサ210からの出力信号を指す。縦軸は照度センサ信号を示し、横軸は時間tを示す。
撮影指示部10は、照度センサ信号を予め定められた閾値と比較する。撮影指示部10は、照度センサ信号が閾値より小さい場合に、利用者は隣接する2つの照明の中間であると判断する。この場合、2つの照明の中間にマーク400が設置されているので、撮影指示部10は、利用者がマーク400の下にいると判断する。また、撮影指示部10は、照度センサ信号が極大値となり、その後、照度センサ信号が予め定められた閾値よりも小さくなった場合に、利用者がマーク400の下にいると判断してもよい。
また、マーク400は、照明の近傍に設置されてもよい。この場合、撮影指示部10は、照度センサ信号が閾値より大きい場合に、利用者は照明近傍のマーク400の下にいると判断する。
(実施形態4)
予め定められた点滅パターンを繰り返す照明の近傍にマーク400を設置し、ショッピングカート300に設置された照度センサの出力信号からマーク400の設置場所か否かを判断する実施形態について説明する。
図9は、照度センサを用いる場合のマーク400の設置例を示す。図9は、商業施設を水平方向から見たときのものである。本例のマーク400は、照合デジタル信号パターンを繰り返す照明の近傍に設置される。照合デジタル信号パターンとは、予め定められた照度センサ信号と照合できるようなデジタル信号パターンを指す。本例のセンサ210は、ショッピングカート300に設置され、天井からの照明を検知する照度センサである。位置方位検出システム200は、照度センサの検知した信号に基づいて、利用者がマーク400の設置場所にいるか否かを判断する。
図10は、照度センサ信号の時間変化の模式図を示す。縦軸はデジタル変換後の照度センサ信号を示し、横軸は時間tを示す。
撮影指示部10は、入力された照度センサ信号をデジタル変換する。また、撮影指示部10は、予め定められた時間内で、予め定められた点滅パターンに対応する照合デジタル信号パターンが存在するか否かを判定する。予め定められた時間内にデジタル信号パターンが存在する場合、利用者は予め定められた点滅パターンを繰り返す照明の設置場所、即ちマーク400の設置場所に利用者がいると判断する。
期間Aでは、照合デジタル信号パターンの一部を検出している。しかし、期間Aでは、照合デジタル信号パターンの全てを検出していないので、撮影指示部10は、利用者がマーク400の設置場所にいないと判断する。
一方、期間B及びCでは、照合デジタル信号パターンの全てを検出している。そのため、撮影指示部10は、利用者がマーク400の設置場所にいると判断する。
期間Dでは、照合デジタル信号パターンを検出しておらず、一定の照度センサ信号が入力されている。そのため、撮影指示部10は、利用者がマーク400の設置場所にいないと判断する。
以上の通り、撮影指示部10は、照合デジタル信号パターンに基づいて、利用者が予め定められた点滅パターンを有する照明の位置にいるか否かを判断する。これにより、位置方位検出システム200は、マーク400の位置に利用者がいることを検出できる。また、本例では、マーク400が通路の交差点に設置される必要がない点で、マーク400を設置する場所の自由度が高い。
なお、位置方位検出システム200は、一例として、マーク400と関連付けて設置した角速度センサ、加速度センサ、磁気センサ、及び照度センサを用いた。但し、位置方位検出システム200は、屋内外接続場所やエアコン設置場所にマーク400を設置して気圧センサで利用者の位置を検知してもよい。また、位置方位検出システム200は、電波発信機とセットでマーク400を設置して電波受信機で利用者の位置を検知してもよい。更に、位置方位検出システム200は、スピーカーとセットでマーク400を設置してマイクロホンで利用者の位置を検知してもよい。
実施形態1〜4のいずれにおいても、センサ210からの出力信号が予め定められた形状となることが期待される場所の天井にマーク400を設置する。これにより、センサ210の出力信号とマーク設置場所を紐付けることにより、位置方位検出装置100は、間欠的な撮影でありながら、センサ210からの出力信号に基づいてマーク400の設置が期待される場所だけで撮影器220を動作させる。
実施形態1及び2において、センサ210の出力信号は、利用者の運動情報に基づいて、マーク400の位置と関連付けられた信号である。実施形態1及び2における利用者の運動情報は、利用者が交差点を曲がる場合に検出される角速度センサ信号及び磁気センサ信号である。また、実施形態3及び4において、センサ210の出力信号は、利用者の運動情報と無関係に、マーク400の位置と関連付けられた信号である。実施形態3及び4では、利用者の運動による影響を受けない。なお、位置方位検出システム200は、実施形態1〜4をそれぞれ組み合わせることにより、利用者の位置の検出精度を上げることができる。
(比較例)
図11は、比較例に係る位置方位検出装置500の構成の一例を示す。位置方位検出装置500は、撮影器510、マーク読み取り部520、相対位置方位算出部530及び相対位置方位算出部540を備える。
撮影器510は、マークが撮影範囲に含まれるか否かによらず撮影を開始する。撮影器510は、読み取った撮影画像をマーク読み取り部520に出力する。
マーク読み取り部520は、撮影画像からマークを読み取る。マーク読み取り部520は、撮影画像中のマークが傾斜している場合、正面から正対して見た場合のマークに補正してよい。マーク読み取り部520は、補正したマークから、位置情報、方位情報、及び傾き情報を取出し、位置方位算出部540に出力する。傾き情報とは、マークを補正する前後のマークの傾きである。傾き情報は、マークに対する利用者の位置を算出するために用いられる。また、マーク読み取り部520は、マークからマークサイズ及び補正処理情報を取出し、相対位置方位算出部530に出力する。補正処理情報とは、マークサイズを算出するために撮影画像に施した補正処理に関する情報である。例えば、補正処理情報には、撮影画像の回転情報及び縮尺情報が含まれる。
相対位置方位算出部530は、補正前後のマークサイズの比を計算する。相対位置方位算出部530は、事前に記憶しているサイズ比と距離の対応表を参照して、マークに対する利用者の相対位置を検出する。また、相対位置方位算出部530は、補正処理情報から、利用者の相対方位を検出する。
位置方位算出部540は、マークから読み取られた位置情報及び方位情報と、マークに対する利用者の相対位置及び相対方位とに基づき、位置方位検出装置500の絶対位置及び絶対方位を検出する。
図12は、位置方位検出装置500の撮影タイミングの一例を示す。図12(a)は、定期的に撮影器510に撮影を実行させた場合の撮影実行タイミングを示す。図12(b)は、利用者がマーク設置場所に移動し、マークを撮影できるマーク撮影可能タイミングを示す。
撮影実行タイミングとマーク撮影可能タイミングとが重なったタイミングが、マークを撮影できるマーク撮影成功タイミングである。図12(a)において、マーク撮影成功タイミングを斜線部で表す。一方、図12(a)において、斜線部を除く四角はすべて、撮影器510が撮影を実行しているにもかかわらずマークが撮影されないタイミングである。このように、位置方位検出装置500は、マーク撮影可能タイミングであるか否かによらず、定期的に撮影を実行する。この場合、撮影を実行してもマークが写りこむか否かは確率論となる。つまり、位置方位検出装置500を用いたシステムは、マーク撮影可能タイミング以外にも撮影器を動作させるので消費電力が大きい。
(実施例1)
図13は、位置方位検出システム200の動作の一例を示す。図13(a)は、撮影実行タイミングを示し、図13(b)は、マーク撮影可能タイミングを示す。なお、位置方位検出システム200は、実施形態1〜4のいずれの実施形態を用いてもよい。
位置方位検出システム200は、センサ210からの出力信号と関連付けられる場所にマーク400を設置し、出力信号に基づき撮影を実行する。これにより、位置方位検出システム200は、マーク撮影可能タイミングでのみ撮影を実行する。即ち、位置方位検出システム200は、マーク400の撮影による位置及び方位の検出を自動化しても消費電力を低減できる。
(実施例2)
図14は、位置方位検出システム250の構成例を示す概略ブロック図である。本例の位置方位検出システム250は、自律航法装置230を更に備える。
自律航法装置230は、センサ210からの出力信号に基づいて、利用者の位置及び方位を算出する。例えば、利用者の位置及び方位は、加速度センサ信号と、角速度センサ信号と、磁気センサ信号と、気圧センサ信号とから算出される。しかしながら、算出された利用者の位置及び方位には、位置方位検出誤差が生じる場合がある。位置方位検出誤差とは、自律航法装置230が算出した利用者の位置及び方位と、利用者の真の位置及び方位とのずれである。
また、自律航法装置230は、事前に作成した統計データを用いて位置方位検出誤差を推定する。例えば、統計データは、自律航法装置230が算出した利用者の位置及び方位と、利用者の真の位置及び方位との平均的なずれを示したデータである。平均的なずれとは、検出開始からの経過時間、及び利用者のターン動作の回数に応じて生じる誤差の平均である。自律航法装置230は、統計データとの相関を利用して、利用者の位置方位検出誤差を推定し、撮影指示部10に出力する。
撮影指示部10は、位置方位検出誤差が予め定められた閾値よりも大きくなったか否かを判断する。また、撮影指示部10は、センサ210の出力信号から、利用者がマーク400の設置場所にいるか否かを判断する。つまり、撮影指示部10は、マーク400を撮影可能であるとの判断に加え、位置方位検出誤差が大きくなりマーク400の撮影が必要であるとの判断に応じて、撮影器220に撮影を指示する。
図15は、位置方位検出システム250の動作の一例を示す。図15(a)は、撮影実行タイミングを示し、図15(b)は、マーク撮影可能タイミングを示す。
位置方位検出システム250は、センサ210からの出力信号に基づき利用者がマーク400の設置場所にいると判断することに加え、自律航法装置230の位置方位検出誤差が大きいと判断したときにのみ撮影する。即ち、撮影器220は、マーク撮影可能タイミングであっても、位置方位検出誤差が小さい場合には動作しない。よって、位置方位検出システム250は、位置方位検出精度を高精度に維持したまま、さらに消費電力を低減できる。
以上の通り、実施例1に係る位置方位検出装置100は、センサ210の出力信号に基づき、利用者がマーク400の設置場所にいるか否かを判断して撮影を実行する。よって、位置方位検出装置100は、利用者がマーク400の設置場所にいる場合のみ撮影器220を動作させるので、撮影器220の消費電力を低減できる。また、実施例2に係る位置方位検出装置100は、マーク400の設置場所にいるか否かに加えて、位置方位検出誤差が大きいか否かを判断して撮影を実行する。そのため、本例の位置方位検出装置100は、利用者がマーク400の設置場所にいて、且つ、位置方位検出誤差が大きい場合のみ撮影器220を動作させるので、撮影器220の消費電力をさらに低減できる。
図16は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びCD−ROMドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、CD−ROMドライブ2060を接続する。通信インターフェイス2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。CD−ROMドライブ2060は、CD−ROM2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、CD−ROM2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
コンピュータ1900にインストールされ、コンピュータ1900を位置方位検出装置100として機能させるプログラムは、撮影指示モジュールと、マーク読み取りモジュールと、相対位置方位算出モジュールと、位置方位算出モジュールとを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、位置方位検出装置としてそれぞれ機能させる。
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である撮影指示部10、マーク読み取り部20、相対位置方位算出部30及び位置方位算出部40として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の位置方位検出装置100が構築される。
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はCD−ROM2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
また、CPU2000は、ハードディスクドライブ2040、CD−ROMドライブ2060(CD−ROM2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、CD−ROM2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10・・・撮影指示部、20・・・マーク読み取り部、30・・・相対位置方位算出部、40・・・位置方位算出部、50・・・マーク判定部、100・・・位置方位検出装置、200・・・位置方位検出システム、210・・・センサ、220・・・撮影器、230・・・自律航法装置、250・・・位置方位検出システム、300・・・ショッピングカート、400・・・マーク、500・・・位置方位検出装置、510・・・撮影器、520・・・マーク読み取り部、530・・・相対位置方位算出部、540・・・位置方位算出部

Claims (15)

  1. 機器に搭載されたセンサの出力信号を取得し、前記出力信号に基づいて、前記機器に搭載された撮影器へ撮影を指示する撮影指示部と、
    前記撮影指示部の指示に基づき撮影された画像に含まれるマークから前記マークに含まれる位置情報と方位情報とを読み取るマーク読み取り部と、
    前記画像に含まれる前記マークの幾何形状に基づいて、前記マークに対する前記機器の相対位置と相対方位とを算出する相対位置方位算出部と、
    前記位置情報、前記方位情報、前記相対位置、及び前記相対方位に基づいて、前記機器の絶対位置と絶対方位とを算出する位置方位算出部と
    を備え、
    前記撮影指示部は、
    前記センサの出力信号が前記マークの位置と関連する形状である場合に、前記撮影器に撮影を指示する 位置方位検出装置。
  2. 前記センサの出力信号は、前記機器の利用者の運動情報に基づいて、前記マークの位置と関連付けられた信号である請求項1に記載の位置方位検出装置。
  3. 前記センサの出力信号は、前記機器の利用者の運動情報と無関係に、前記マークの位置と関連付けられた信号である請求項1に記載の位置方位検出装置。
  4. 前記撮影指示部は、
    前記センサの出力信号の値が予め定められた閾値より大きい場合、または予め定められた閾値より小さい場合に、前記撮影器に撮影を指示する
    請求項2または3に記載の位置方位検出装置。
  5. 前記撮影指示部は、
    前記センサの出力信号の時間変化パターンが予め定められたパターンである場合に、前記撮影器に撮影を指示する
    請求項2または3に記載の位置方位検出装置。
  6. 前記撮影指示部は、
    前記機器に搭載された角速度センサの出力信号を取得し、前記出力信号の鉛直成分の絶対値が予め定められた閾値より大きい場合に、前記撮影器に撮影を指示する
    請求項4に記載の位置方位検出装置。
  7. 前記撮影指示部は、
    前記機器に搭載された角速度センサの出力信号を取得し、前記出力信号の鉛直成分の値を予め定められた時間で積分し、前記積分された値が予め定められた閾値より大きい場合に、前記撮影器に撮影を指示する
    請求項4に記載の位置方位検出装置。
  8. 前記撮影指示部は、
    前記機器に搭載された磁気センサの出力信号を取得し、前記出力信号の予め定められた時間での差分値を計算し、前記差分値の絶対値が予め定められた閾値より大きい場合に、前記撮影器に撮影を指示する
    請求項4に記載の位置方位検出装置。
  9. 前記撮影指示部は、
    前記機器に搭載された照度センサの出力信号を取得し、前記出力信号の値が予め定められた閾値より大きいまたは小さい場合に、前記撮影器に撮影を指示する
    請求項4に記載の位置方位検出装置。
  10. 前記撮影指示部は、
    前記機器に搭載された照度センサの出力信号を取得し、前記出力信号をデジタル信号に変換し、前記デジタル信号の時間変化パターンが予め定められたパターンである場合に、前記撮影器に撮影を指示する
    請求項5に記載の位置方位検出装置。
  11. 前記撮影指示部は、
    前記センサの出力信号に基づき位置及び方位を検出する前記機器に搭載された自律航法装置の位置方位検出誤差を取得し、前記位置方位検出誤差が予め定められた閾値より大きい場合に、前記撮影器に撮影を指示する
    請求項1から10のいずれか一項に記載の位置方位検出装置。
  12. 前記自律航法装置の位置方位検出誤差は、
    統計データに基づき、位置方位検出開始からの経過時間と、利用者のターン動作の回数と、から推定された真の位置及び方位からのずれである
    請求項11に記載の位置方位検出装置。
  13. 前記画像を取得し、前記画像に前記マークが含まれているか否かを判定するマーク判定部を更に備え、
    前記マーク判定部は、
    前記画像に前記マークが含まれている場合に、前記マーク読み取り部と前記相対位置方位算出部に前記画像を出力する
    請求項1から12のいずれか一項に記載の位置方位検出装置。
  14. 前記マーク判定部は、
    前記画像に前記マークが含まれていない場合に、前記画像を棄却する
    請求項13に記載の位置方位検出装置。
  15. コンピュータを、請求項1に記載の位置方位検出装置における前記撮影指示部、前記マーク読み取り部と、前記相対位置方位算出部と、前記位置方位算出部として機能させるための位置方位検出プログラム。
JP2016563690A 2014-12-09 2015-12-08 位置方位検出装置及び位置方位検出プログラム Expired - Fee Related JP6389275B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014249138 2014-12-09
JP2014249138 2014-12-09
PCT/JP2015/084422 WO2016093241A1 (ja) 2014-12-09 2015-12-08 位置方位検出装置及び位置方位検出プログラム

Publications (2)

Publication Number Publication Date
JPWO2016093241A1 true JPWO2016093241A1 (ja) 2017-09-21
JP6389275B2 JP6389275B2 (ja) 2018-09-12

Family

ID=56107418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016563690A Expired - Fee Related JP6389275B2 (ja) 2014-12-09 2015-12-08 位置方位検出装置及び位置方位検出プログラム

Country Status (4)

Country Link
US (1) US10451424B2 (ja)
JP (1) JP6389275B2 (ja)
CN (1) CN107003135B (ja)
WO (1) WO2016093241A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401371B (zh) * 2020-08-05 2024-03-26 深圳市浩瀚卓越科技有限公司 追踪控制方法、装置、对象追踪部件和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249735A (ja) * 2006-03-17 2007-09-27 Fujitsu Ltd ロボット位置制御装置およびロボット自己位置回復方法
JP2008309530A (ja) * 2007-06-12 2008-12-25 National Institute Of Information & Communication Technology 位置検出装置、それにおける位置の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009070357A (ja) * 2007-08-21 2009-04-02 Yaskawa Electric Corp 移動体の誘導システム
JP2011048415A (ja) * 2009-08-25 2011-03-10 Hitachi Ltd 位置情報マーク作製装置および位置情報マークの製造方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7126558B1 (en) * 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
CN100410622C (zh) * 2004-05-14 2008-08-13 佳能株式会社 用于获得目标物体的位置和方位的信息处理方法和设备
TWI307484B (en) * 2006-02-21 2009-03-11 Univ Nat Chiao Tung Image capture apparatus calibration system and method there
KR20110017258A (ko) * 2009-08-13 2011-02-21 에스케이씨앤씨 주식회사 사용자 참여형 피트니스 강좌시스템 및 이를 이용한 피트니스 훈련방법
EP2590395A4 (en) * 2010-06-30 2014-02-19 Fujifilm Corp IMAGE PROCESSING AND DEVICE
JP2012043194A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9046933B2 (en) * 2011-07-19 2015-06-02 Mckesson Financial Holdings Displaying three-dimensional image data
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN103427902A (zh) * 2013-04-09 2013-12-04 北京半导体照明科技促进中心 利用可见光传输信息的方法、装置和系统以及光源
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US9361733B2 (en) * 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US10521050B2 (en) * 2014-11-13 2019-12-31 Maxell, Ltd. Projection video display apparatus and video display method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249735A (ja) * 2006-03-17 2007-09-27 Fujitsu Ltd ロボット位置制御装置およびロボット自己位置回復方法
JP2008309530A (ja) * 2007-06-12 2008-12-25 National Institute Of Information & Communication Technology 位置検出装置、それにおける位置の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009070357A (ja) * 2007-08-21 2009-04-02 Yaskawa Electric Corp 移動体の誘導システム
JP2011048415A (ja) * 2009-08-25 2011-03-10 Hitachi Ltd 位置情報マーク作製装置および位置情報マークの製造方法

Also Published As

Publication number Publication date
US10451424B2 (en) 2019-10-22
JP6389275B2 (ja) 2018-09-12
WO2016093241A1 (ja) 2016-06-16
CN107003135B (zh) 2020-04-21
US20170268885A1 (en) 2017-09-21
CN107003135A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
US8350916B2 (en) Image processing device, photographing device, reproducing device, integrated circuit, and image processing method
JP2022036143A (ja) 物体追跡システム、物体追跡装置、および物体追跡方法
US20140315570A1 (en) Localization systems and methods
US20200264011A1 (en) Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle
WO2017103068A1 (en) Method and apparatus for determining spacecraft attitude by tracking stars
US20170138740A1 (en) Utilizing camera to assist with indoor pedestrian navigation
WO2021147113A1 (zh) 一种平面语义类别的识别方法以及图像数据处理装置
CN112907658A (zh) 视觉定位评估方法和电子设备
WO2018092283A1 (ja) 制御装置、撮像システム、移動体、制御方法、およびプログラム
JP6389275B2 (ja) 位置方位検出装置及び位置方位検出プログラム
US20170289522A1 (en) Light-field camera and controlling method
JP6599097B2 (ja) 位置方位検出装置及び位置方位検出プログラム
US11165960B2 (en) Electronic device and method for processing image thereof
JP2009260475A (ja) 情報処理装置及び情報処理方法及びプログラム
TW201621273A (zh) 行動定位裝置及其定位方法
EP3547213A1 (en) Information processing system and information processing method
JP6501091B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
US20190272426A1 (en) Localization system and method and computer readable storage medium
JP2019175423A (ja) 情報処理システムおよび情報処理方法
JP6965325B2 (ja) 自動検出システムおよび自動検出プログラム
WO2018109847A1 (ja) 制御装置、撮像装置、移動体、制御方法、およびプログラム
KR20120111857A (ko) 로봇물고기의 물체 추적 방법
JP6543879B2 (ja) 無人航空機、決定方法、およびプログラム
US20230162376A1 (en) Method and system for estimating motion of real-time image target between successive frames

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180816

R150 Certificate of patent or registration of utility model

Ref document number: 6389275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees