JP6521923B2 - 作業支援装置及び作業支援方法 - Google Patents
作業支援装置及び作業支援方法 Download PDFInfo
- Publication number
- JP6521923B2 JP6521923B2 JP2016183892A JP2016183892A JP6521923B2 JP 6521923 B2 JP6521923 B2 JP 6521923B2 JP 2016183892 A JP2016183892 A JP 2016183892A JP 2016183892 A JP2016183892 A JP 2016183892A JP 6521923 B2 JP6521923 B2 JP 6521923B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- gaze
- work support
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 78
- 238000012545 processing Methods 0.000 claims description 109
- 230000003190 augmentative effect Effects 0.000 claims description 59
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 description 19
- 239000003550 marker Substances 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 238000006467 substitution reaction Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
非特許文献2は、AR画像を表示する位置を認識する方法として、“マーカ型の画像認識AR”及び“マーカレス型の画像認識AR”を開示している。前者は、マーカとして市松模様の図形を現実世界の対象物に張り付けておく方法である。後者は、特別なマーカを使用することなく、対象物そのものの2次元形状又は3次元形状をマーカとしてそのまま利用する方法である。
そこで、本発明は、作業を容易に続行でき、任意の時点で作業を中断できる作業支援装置を提供することを目的とする。
その他の手段については、発明を実施するための形態のなかで説明する。
図1に沿って、作業支援装置1の構成及び環境を説明する。作業員3は、作業支援装置1を携帯して設備2を点検している。本実施形態の設備2は、空調システムの屋外機である。作業支援装置1は、一般的な携帯型の端末装置(いわゆるタブレット)である。作業員3は、作業支援装置1のカメラ17を設備2に向けて、設備2の画像を撮像する。作業支援装置1の出力装置13は、カメラ17が撮像した注視画像及び予め記憶されている拡張現実画像(詳細後記)を重ねて表示する。
作業は、ある作業場所において作業員3が行う業務である。本実施形態では、作業員3が行う1つの作業が、1つの作業場所に対応している。個々の作業は、時系列の複数の進捗段階を有する。例えば、“屋外機を点検する”という作業の最初の進捗段階は、“屋外機のカバーの四隅にあるネジをネジまわしで回転し、その後カバーを手前に取り外すこと”である。次の進捗段階は、“露出したファンの固定部材をスパナで取り外すこと”である(以下省略)。
作業手順書は、相互に関連付けられた見本画像及び拡張現実画像の組合せを、作業の進捗段階ごとに記憶したデータである(詳細後記)。
図2〜図5に沿って、本実施形態の基本的な考え方を説明する。これらの図のうち、図2及び図3は、作業支援装置1が既存技術のみを実施する場合を説明する図である。図4及び図5は、作業支援装置1が、既存技術とは異なる本実施形態を実施する場合を説明する図である。
図6に沿って、作業手順書31を説明する。作業手順書31においては、作業場所ID欄101に記憶された作業場所IDに関連付けて、進捗段階ID欄102には進捗段階IDが、見本画像ID欄103には見本画像IDが、拡張現実画像ID欄104には拡張現実画像IDが、表示画像欄105には表示画像が、注視画像撮像要否欄106には注視画像撮像要否が、注視画像ID欄107には注視画像IDが記憶されている。
進捗段階ID欄102の進捗段階IDは、前記した作業段階を一意に特定する識別子である。ある作業場所における最初の進捗段階の進捗段階IDには“start”が付され、最後の進捗段階の進捗段階IDには“end”が付される。移動中の進捗段階の進捗段階IDは、“T08:T11” のように、前後の進捗段階IDの組合せになっている。
拡張現実画像ID欄104の拡張現実画像IDは、拡張現実画像を一意に特定する識別子である。但し、例外的に、作業員3が移動中の進捗段階“T08:T11”等には、位置情報が記憶されている。
(相違点1)
前記の図6の1行目のレコードでは、注視画像IDは“P?”である。それに対して、図7の1行目のレコードでは、注視画像IDは“P01”である。このことは、以下のことを示している。
・進捗段階T01startにおいて、作業場所では予定通り注視画像が撮像されたこと。
・その注視画像を特定する注視画像IDが“P01”であること。
なお、図6及び図7の3〜8及び15行目のレコードについても同様である。
前記の図6の2行目のレコードでは、注視画像撮像要否は“要”であり、注視画像IDは“P?”である。それに対して、図7の2行目のレコードでは、注視画像撮像要否は“否”であり、注視画像IDは“R02”であり、さらにエビデンス“##”が追加されている。このことは、以下のことを示している。
・そのため、見本画像“R02”が、本来撮像されるべき注視画像と看做されたこと。
・作業員が作業場所“SS01”において確かに作業を行っていたことを示すエビデンスが取得されたこと。
前記の図6の10〜13行目のレコードでは、注視画像撮像要否は“要”であり、注視画像IDは“P?”である。それに対して、図7の10〜13行目のレコードでは、注視画像撮像要否は“否”であり、注視画像IDは“R11”、“R12”、“R13”及び“R14”であり、さらにエビデンス“##”が追加されている。このことは、以下のことを示している。
・そのため、見本画像“R11”、“R12”、“R13”及び“R14”が、本来撮像されるべき注視画像と看做されたこと。
・作業員が作業場所“SS02”において確かに作業を行っていたことを示すエビデンスが取得されたこと。
2つの画像間の類似度を比較する技術が一般に普及している。本実施形態において、作業支援装置1は、任意の既存技術を使用して2つの画像間の類似度を算出する。ここでの既存技術とは、例えば、エッジ(輪郭)検出、エッジの方向検出、形状検出、画素値検出、色彩検出、見本画像をテンプレートとしたテンプレートマッチング、検出結果の数値化等の技術を含む。作業支援装置1は、このような既存技術を使用し、2つの画像間の差異を数値化し、その差異が小さいほど大きな類似度を出力するものとする。作業支援装置1がこのように2つの画像間の類似度を算出する場合は2種類存在する。その1つは、撮像された画像が注視画像であるか否かを判断する場合であり、他の1つは、注視画像を見本画像と比較する場合である。
図8に沿って、撮像された画像が注視画像であるか否かを判断する方法を説明する。まず、図8(a)に注目する。いま、カメラ17は、11個の連続画像A、B、・・・、Kを所定の時間周期(例えば1秒)で撮像したとする。作業支援装置1は、時間的に隣接する2個の画像について、“画像間の類似度”で前記した既存の方法で類似度を算出する。すると、画像Aと画像Bとの類似度、画像Bと画像Cとの類似度、・・・、画像Jと画像Kとの類似度のように、合計10個の類似度が算出されることになる。
作業支援装置1は、“画像間の類似度”で前記した既存の方法で、注視画像と見本画像との間の類似度を算出する。その際に類似度に対して適用される閾値は、図8の閾値とは、同じものであってもよいし、別のものであってもよい。以降では、注視画像と見本画像との間の類似度を算出するための閾値(“マッチング閾値”と呼ぶ)が、撮像された画像が注視画像であるか否かを判断するための閾値(図8)とは別のものであることを前提として説明を続ける。マッチング閾値が必要以上に厳しいと、注視画像が取得されても、作業支援装置1は、注視画像は見本画像に類似していないと判断し続けることになる。したがって、後記するフローチャートにおいて、作業支援装置1は、マッチング閾値を変更する。
図9に沿って、処理手順を説明する。処理手順を開始する前提として、ユーザ(作業員3又はその管理者)は、作業手順書31、見本画像32及び拡張現実画像33を既に作成し終えているものとする。さらに、説明の単純化のため、作成済の作業手順書31は、図6の1行目〜8行目のレコードのみを有しているものとする。他のレコードについては、別途説明する。
第3に、画像入力処理部21は、ステップS201の“第1”及び“第2”において受け付けた情報を補助記憶装置15に記憶する。
つまり、注視画像代替部23は、対象見本画像のコピーを作成し、作成したコピーを注視画像34として補助記憶装置15に記憶する。そして、ここで看做された注視画像(対象見本画像のコピーである注視画像)を、以降“看做し注視画像”と呼ぶことがある。なお、これらのことは、後記するステップS232及びS237においても同様である。
第2に、画像出力処理部22は、ステップS211の“第1”において取得した拡張現実画像IDが特定する拡張現実画像33を補助記憶装置15から取得する。
第2に、画像入力処理部21は、ユーザが表示されている見本画像のうち任意のものを選択するのを受け付ける。ここで選択された見本画像を“やり直し起点見本画像”とも呼ぶ。
ステップS222の次に戻るステップS202においては、やり直し起点見本画像が、対象見本画像となり、やり直し起点見本画像の見本画像IDを有する作業手順書31のレコードが、対象レコードとなる。
図10に沿って、ステップS223の詳細を説明する。
ステップS231において、作業支援装置1の画像出力処理部22は、一時中断するか否かを判断する。具体的には、画像出力処理部22は、ユーザが入力装置12を介して作業を一時中断する旨の指示、又は、作業を続行する旨の指示を入力するのを受け付ける。そして、画像出力処理部22は、一時中断する旨の指示を受け付けた場合(ステップS231“Yes”)、ステップS232に進み、続行する旨の指示を受け付けた場合(ステップS231“No”)、ステップS234に進む。
前記では、作成済の作業手順書31は、図6の1行目〜8行目のレコードのみを有しているものとした。次に、作業手順書31が図6の9行目のレコード(以降、“移動案内レコード”と呼ぶこともある。)を有している場合の処理の流れを説明する。
ステップS206において、画像入力処理部21は、現在の位置情報を取得し、ユーザが入力装置12を介して案内情報要求ボタンを押下するのを受け付ける。
ステップS210において、第1に、画像出力処理部22は、現在の位置情報と対象位置情報との間の距離を算出する。
第2に、画像出力処理部22は、算出した距離が所定の閾値以下である場合、ステップS211に進み、それ以外の場合、メッセージ“正しい作業場所に戻ってください”を出力装置13に表示した後、処理を終了する。
ステップS212において、画像出力処理部22は、拡張現実画像33(案内情報)を出力装置13に表示する。
ステップS213において、画像出力処理部22は、すべての進捗段階が終了したか否かを判断する。具体的には、画像出力処理部22は、対象レコードの次のレコードがない場合、処理手順を終了し、それ以外の場合、ステップS202に戻る。
ある作業場所において撮影条件が不良であり、当該作業場所における一連の進捗段階を完了するまでに撮像条件が回復する見込みがない場合もある。この場合、ステップS204において、画像入力処理部21は、カメラ17を使用しない旨の指示とともに、カメラの使用を連続的に停止する旨の指示を受け付ける。すると、画像入力処理部21は、以降の繰り返し処理において、必ずステップS204“No”を経由する。その結果として、更新後の作業手順書31は、図7の10行目〜13行目のようなレコードを有することになる。
本実施形態の作業支援装置の効果は以下の通りである。
(1)作業支援装置は、注視画像を見本画像と比較することによって拡大現実画像を特定する。そして、カメラ不使用時、又は、撮像条件不良時には、見本画像を注視画像と看做す。したがってユーザは、カメラ不使用時、又は、撮像条件不良時であっても、確実に拡大現実画像を見ることができる。そして、ユーザは、そのためにわざわざ既存のアルゴリズムを大きく変更する必要がない。
(2)ユーザは、任意の進捗段階で作業を一時中断することができる。このとき、過去の注視画像が保存される。したがって、ユーザは、次の進捗段階から作業を再開することができる。
(3)ユーザは、注視画像を見本画像と比較する際の類似度の閾値を緩くすることができる。したがって、撮像条件が完全に良好でなくても作業を続行できる。
(5)ユーザは、撮像条件が不良となった場合でも、切りのよい進捗段階まで作業を行ったうえで、作業を一時中断することができる。
(6)ユーザは、所定の作業場所で作業を行っていた証拠を残すことができる。
(7)ユーザは、取得しやすい情報(位置情報、時刻情報又は写りの悪い注視画像)を証拠とすることができる。
(8)ユーザは、作業場所を移動する際、案内情報を見ることができる。
(9)ユーザは、撮像条件に応じて、カメラを使用するか否かを自由に選択できる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
2 設備
3 作業員
4 サーバ(外部記憶装置)
5 ネットワーク
6 ARマーカ
11 中央制御装置
12 入力装置
13 出力装置
14 主記憶装置(記憶部)
15 補助記憶装置(記憶部)
16 通信装置
17 カメラ
21 画像入力処理部
22 画像出力処理部
23 注視画像代替部
31 作業手順書
32 見本画像
33 拡張現実画像
34 注視画像
Claims (11)
- 作業の対象とするべき対象物を予め撮像した見本画像と、前記作業の内容を拡張現実の手法で示す拡張現実画像と、が前記作業の進捗段階に対応付けて格納される記憶部と、
作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、
前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示する画像出力処理部と、
ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做す注視画像代替部と、
を備えることを特徴とする作業支援装置。 - 前記画像出力処理部は、
前記作業員が前記作業を一時中断する場合、前記撮像された注視画像又は前記看做された注視画像を時系列で記憶すること、
を特徴とする請求項1に記載の作業支援装置。 - 前記注視画像を前記見本画像と比較し、所定の基準を満たす程度に両者が類似していれば前記注視画像と前記拡張現実画像とを重ねて表示する場合において、
前記画像出力処理部は、
前記注視画像が前記見本画像に類似していない場合が所定の回数以上繰り返され、かつ、前記作業員が前記作業を続行する場合、前記所定の基準をより緩いものに更新すること、
を特徴とする請求項2に記載の作業支援装置。 - 前記注視画像代替部は、
ある進捗段階において前記所定の基準が下限に達し、かつ、前記カメラの使用が停止される場合、当該進捗段階の前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做すこと、
を特徴とする請求項3に記載の作業支援装置。 - 前記注視画像代替部は、
前記注視画像が前記見本画像に類似していない場合が所定の回数以上繰り返され、かつ、ある進捗段階において前記作業員が前記作業を一時中断する場合、当該進捗段階の前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做すこと、
を特徴とする請求項4に記載の作業支援装置。 - 前記注視画像代替部は、
前記見本画像自身を、前記見本画像と比較されるべき前記注視画像と看做す場合、前記作業員が所定の作業場所で作業を行っていたことを示す証拠を取得すること、
を特徴とする請求項5に記載の作業支援装置。 - 前記証拠は、
前記作業が行われた作業場所の位置情報、作業が行われた時点の時刻情報、及び、前記注視画像のうちの少なくともいずれか1つを含むこと、
を特徴とする請求項6に記載の作業支援装置。 - 前記画像出力処理部は、
前記作業員がある作業場所から他の作業場所に移動して作業を行う場合、前記ある作業場所から前記他の作業場所への案内情報を表示すること、
を特徴とする請求項7に記載の作業支援装置。 - 前記画像入力処理部は、
前記作業員が、前記カメラを使用するか否かを入力するのを受け付けること、
を特徴とする請求項8に記載の作業支援装置。 - 作業の対象とするべき対象物を予め撮像した見本画像と、前記作業の内容を拡張現実の手法で示す拡張現実画像と、が作業の進捗段階に対応付けて格納される外部記憶装置と通信可能な作業支援装置であって、
作業員が注視している対象物をカメラが撮像した注視画像を取得する画像入力処理部と、
前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示する画像出力処理部と、
ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做す注視画像代替部と、
を備えることを特徴とする作業支援装置。 - 作業支援装置の記憶部は、
作業の対象とするべき対象物を予め撮像した見本画像と、前記作業の内容を拡張現実の手法で示す拡張現実画像と、を作業の進捗段階に対応付けて格納しており、
前記作業支援装置の画像入力処理部は、
作業員が注視している対象物をカメラが撮像した注視画像を取得し、
前記作業支援装置の画像出力処理部は、
前記注視画像と、前記見本画像に対応する前記拡張現実画像とを重ねて表示し、
前記作業支援装置の注視画像代替部は、
ある進捗段階において、前記カメラが使用されない場合、又は、前記注視画像が前記見本画像に類似しない場合、当該進捗段階の前記見本画像自身を、前記見本画像と重ねて表示されるべき前記注視画像と看做すこと、
を特徴とする作業支援装置の作業支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016183892A JP6521923B2 (ja) | 2016-09-21 | 2016-09-21 | 作業支援装置及び作業支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016183892A JP6521923B2 (ja) | 2016-09-21 | 2016-09-21 | 作業支援装置及び作業支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018049421A JP2018049421A (ja) | 2018-03-29 |
JP6521923B2 true JP6521923B2 (ja) | 2019-05-29 |
Family
ID=61766372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016183892A Active JP6521923B2 (ja) | 2016-09-21 | 2016-09-21 | 作業支援装置及び作業支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6521923B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6542445B1 (ja) | 2018-07-31 | 2019-07-10 | 株式会社 情報システムエンジニアリング | 情報提供システム及び情報提供方法 |
JP6607590B1 (ja) * | 2019-03-29 | 2019-11-20 | 株式会社 情報システムエンジニアリング | 情報提供システム及び情報提供方法 |
JP6651189B1 (ja) | 2019-03-29 | 2020-02-19 | 株式会社 情報システムエンジニアリング | 機械学習用のデータ構造、学習方法及び情報提供システム |
JP6607589B1 (ja) * | 2019-03-29 | 2019-11-20 | 株式会社 情報システムエンジニアリング | 情報提供システム及び情報提供方法 |
JP7245139B2 (ja) * | 2019-09-26 | 2023-03-23 | 株式会社日立製作所 | 作業支援装置、作業支援システムおよび作業支援方法 |
JP7383470B2 (ja) * | 2019-12-20 | 2023-11-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7470017B2 (ja) | 2020-11-13 | 2024-04-17 | シャープ株式会社 | 表示制御システム、表示制御方法、及び表示制御プログラム |
JP7347409B2 (ja) * | 2020-12-28 | 2023-09-20 | 横河電機株式会社 | 装置、方法及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003281297A (ja) * | 2002-03-22 | 2003-10-03 | National Institute Of Advanced Industrial & Technology | 情報提示装置および情報提示方法 |
JP2005216137A (ja) * | 2004-01-30 | 2005-08-11 | Chugoku Electric Power Co Inc:The | 保守支援システムおよび方法 |
JP4456437B2 (ja) * | 2004-08-06 | 2010-04-28 | 株式会社野村総合研究所 | 画像処理システム、画像処理プログラム及び画像処理方法 |
JP4913913B2 (ja) * | 2010-04-28 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP5839553B2 (ja) * | 2011-10-28 | 2016-01-06 | 株式会社日立製作所 | 作業支援システム、作業支援方法、および、作業用端末 |
-
2016
- 2016-09-21 JP JP2016183892A patent/JP6521923B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018049421A (ja) | 2018-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6521923B2 (ja) | 作業支援装置及び作業支援方法 | |
JP6961363B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
US9978174B2 (en) | Remote sensor access and queuing | |
JP2014153813A5 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20170193302A1 (en) | Task management system and method using augmented reality devices | |
US20150356840A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP2007280043A (ja) | 映像監視検索システム | |
JP2019121136A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
JPWO2016132731A1 (ja) | 作業支援装置、作業支援システム、作業支援方法及び作業支援プログラムを記憶する記録媒体 | |
US20160349972A1 (en) | Data browse apparatus, data browse method, and storage medium | |
JP2015018340A (ja) | 画像処理装置、画像処理方法 | |
JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
US10032248B2 (en) | Image switching method and apparatus | |
JP5478242B2 (ja) | 地図表示装置、地図表示方法、およびプログラム | |
JP2020144776A (ja) | 作業支援システム、作業支援装置、及び作業支援方法 | |
US12039218B2 (en) | Methods and systems for sharing an experience between users | |
Xie et al. | Iterative design and prototyping of computer vision mediated remote sighted assistance | |
JPWO2016098720A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US11176360B2 (en) | Work skill supporting device and work skill supporting system | |
WO2017195646A1 (ja) | 作業支援装置 | |
JP7094759B2 (ja) | システム、情報処理方法及びプログラム | |
JP4972013B2 (ja) | 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体 | |
US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
JP4478047B2 (ja) | 情報提示装置及び情報提示方法とそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6521923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |