JP7389423B2 - 情報処理方法、情報処理装置、プログラム、及び情報処理システム - Google Patents

情報処理方法、情報処理装置、プログラム、及び情報処理システム Download PDF

Info

Publication number
JP7389423B2
JP7389423B2 JP2021198953A JP2021198953A JP7389423B2 JP 7389423 B2 JP7389423 B2 JP 7389423B2 JP 2021198953 A JP2021198953 A JP 2021198953A JP 2021198953 A JP2021198953 A JP 2021198953A JP 7389423 B2 JP7389423 B2 JP 7389423B2
Authority
JP
Japan
Prior art keywords
state
moving image
work
worker
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021198953A
Other languages
English (en)
Other versions
JP2022043130A5 (ja
JP2022043130A (ja
Inventor
太郎 片岡
真人 藤野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fairy Devices Inc
Original Assignee
Fairy Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fairy Devices Inc filed Critical Fairy Devices Inc
Priority to JP2021198953A priority Critical patent/JP7389423B2/ja
Publication of JP2022043130A publication Critical patent/JP2022043130A/ja
Publication of JP2022043130A5 publication Critical patent/JP2022043130A5/ja
Application granted granted Critical
Publication of JP7389423B2 publication Critical patent/JP7389423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85403—Content authoring by describing the content as an MPEG-21 Digital Item
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、情報処理方法、情報処理装置、プログラム、及び情報処理システムに関する。
従来、テキストやアニメーションを表示させて、作業員の作業を支援する技術が知られている（例えば、特許文献１を参照）。
特開２０１６－１４４８４６号公報
しかしながら、従来技術では、例えば、作業員の作業を適切に支援することが困難な場合がある。
本開示は、作業員の作業を適切に支援することができる技術を提供することを目的とする。
本開示の第１の態様による情報処理方法は、情報処理装置が、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する。これにより、作業員の作業を適切に支援することができる。
また、本開示の第２の態様は、第１の態様に記載の情報処理方法であって、前記再生させる処理では、前記動画像が撮影されている間に、ユーザにより所定の操作がされた際の時点、及びユーザにより所定の発話がされた際の時点の少なくとも一方に基づいて、前記動画像の再生位置を決定する。
また、本開示の第３の態様は、第１または２の態様に記載の情報処理方法であって、前記再生させる処理では、所定の期間の前記動画像を逆方向に再生させる。
また、本開示の第４の態様は、第３の態様に記載の情報処理方法であって、前記再生させる処理では、ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、前記所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定する。
また、本開示の第５の態様は、第４の態様に記載の情報処理方法であって、前記再生させる処理では、さらに、前記所定の作業が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報をユーザに提示する。
また、本開示の第６の態様は、第１から５のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、ユーザによる発話、及び前記動画像の少なくとも一つに基づいて推定された、前記所定の作業を示す情報をユーザに提示する。
また、本開示の第７の態様は、第１から６のいずれかの態様に記載の情報処理方法であって、前記情報処理装置が、前記動画像に基づいて、前記オブジェクトを前記第２状態から前記第１状態に戻す作業の誤りを提示する処理を実行する。
また、本開示の第８の態様は、第１から７のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記動画像に基づいて認識されたユーザの作業の手順と、設定されている手順とが異なる場合、設定されている手順を示す情報をユーザに提示する。
また、本開示の第９の態様は、第１から８のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記オブジェクトの状態が変化していない期間の再生時間を短縮して再生させる。
また、本開示の第１０の態様は、第１から９のいずれかの態様に記載の情報処理方法であって、前記再生させる処理では、前記オブジェクトの状態が変化している領域を拡大して画面に表示させる。
また、本開示の第１１の態様による情報処理装置は、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行する。
また、本開示の第１２の態様によるプログラムは、情報処理装置に、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる処理を実行させる。
また、本開示の第１３の態様による情報処理システムは、サーバと端末とを含む情報処理システムであって、前記サーバは、オブジェクトが第１状態から第２状態に変化される際に前記オブジェクトが前記端末により撮影された動画像を、前記オブジェクトが前記第２状態から前記第１状態に戻される際に再生させる情報を前記端末に送信し、前記端末は、前記サーバから受信した情報に基づいて、前記動画像を再生させて画面に表示させる。
実施形態に係る通信システムのシステム構成の一例を示す図である。 実施形態に係るサーバ、及び端末のハードウェア構成の一例を示す図である。 実施形態に係るサーバの機能構成の一例を示す図である。 実施形態に係る通信システムの処理の一例を示すシーケンス図である。 実施形態に係る作業ＤＢの一例について説明する図である。 実施形態に係るタグ群の一例について説明する図である。 実施形態に係る端末の表示画面一例について説明する図である。
以下、各実施形態について図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
＜システム構成＞
はじめに、通信システム１のシステム構成について説明する。図１は、実施形態に係る通信システム１のシステム構成の一例を示す図である。図１に示すように、通信システム１は、サーバ１０、及び端末２０Ａ、端末２０Ｂ、端末２０Ｃ（以下で、区別する必要がない場合は、単に、「端末２０」と称する。）を有する。なお、サーバ１０、及び端末２０の数は、図１の例に限定されない。
サーバ１０と端末２０とは、例えば、ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、及び携帯電話網等のネットワークＮを介して通信を行ってもよい。なお、携帯電話網は、例えば、５Ｇ（第５世代移動通信システム）、４Ｇ、及びＬＴＥ（Long Term Evolution）等の通信規格に準拠していてもよい。
端末２０は、例えば、動画像を撮影するカメラ、音声を集音するマイク、ディスプレイ、及び通信装置を有する情報処理装置である。端末２０は、複数の情報処理装置を含んでもよい。この場合、端末２０は、例えば、カメラ等を有するウェアラブルデバイスと、ディスプレイ等を有する情報処理装置とを含んでもよい。この場合、ディスプレイ等を有する情報処理装置は、例えば、タブレット端末、スマートフォン、及びノートＰＣ（Personal Computer）等でもよい。この場合、ウェアラブルデバイスは、タブレット端末等を介してネットワークＮに接続してもよいし、タブレット端末等を介さずにネットワークＮに接続してもよい。
また、端末２０は、例えば、作業員（ユーザ）の頭部に装着可能なヘッドマウントディスプレイ方式の拡張現実ウェアラブルコンピュータ（スマートグラス）でもよい。
サーバ１０は、端末２０で撮影された動画像（動画）を保存し、保存している動画像等に基づいたコンテンツを端末２０に表示させる。サーバ１０は、例えば、端末２０を使用する作業員の作業現場において、現場の作業対象の物品（機器、設置物）、及び現場の施設等のオブジェクト（物体）が第１状態（元の状態）から第２状態に変化される際に端末２０により撮影された動画像（以下で、適宜「変更時の動画像」とも称する。）を保存する。そして、サーバ１０は、作業対象のオブジェクトを第２状態から第１状態に戻す（原状回復、原状復帰、復旧、復元、修理）作業が作業員により行われる際に、当該動画像を端末２０に逆方向（前方）に再生（逆再生、リバース再生）、または順方向（後方）に再生（順再生、通常の再生）させる。これにより、例えば、現場に設置されている物品を移動（撤去）させて養生や足場を設置し、工事等が完了した後に養生や足場を撤去して当該物品を元の配置に戻す作業を適切に支援できる。また、例えば、機器を分解し、機器内部の部品の配線を取り外して当該部品を新しい部品に交換した後、配線を再度接続し、当該機器を再度組み立てる作業を適切に支援できる。
なお、以下では、適宜、逆再生、及び順再生を、単に「再生」とも称する。なお、サーバ１０は、各端末２０の作業員毎に、動画像を逆再生するか順再生するかを各端末２０での各作業員の操作により予め指定できるようにしてもよい。
＜サーバ１０、及び端末２０のハードウェア構成＞
次に、実施形態に係るサーバ１０、及び端末２０のハードウェア構成について説明する。図２は、実施形態に係るサーバ１０、及び端末２０のハードウェア構成の一例を示す図である。以下では、サーバ１０を例として説明するが、端末２０のハードウェア構成もサーバ１０のハードウェア構成と同様でもよい。
図２に示すように、サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３を有する。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３は、いわゆるコンピュータを形成する。また、サーバ１０は、補助記憶装置１０４、表示装置１０５、操作装置１０６、Ｉ／Ｆ（Interface）装置１０７、ドライブ装置１０８を有する。サーバ１０の各ハードウェアは、バスＢを介して相互に接続される。
ＣＰＵ１０１は、補助記憶装置１０４にインストールされている各種プログラム（例えば、機械学習プログラム等）を実行する演算デバイスである。ＲＯＭ１０２は、不揮発性メモリである。ＲＯＭ１０２は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムをＣＰＵ１０１が実行するために必要な各種プログラムやデータ等を格納する。具体的には、ＲＯＭ１０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
ＲＡＭ１０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１０３は、主記憶デバイスとして機能し、補助記憶装置１０４にインストールされている各種プログラムがＣＰＵ１０１によって実行される際に展開される作業領域を提供する。
補助記憶装置１０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。
表示装置１０５は、各種の情報を表示する表示デバイスである。操作装置１０６は、各種操作を受け付けるための操作デバイスである。Ｉ／Ｆ装置１０７は、外部の機器と通信する通信デバイスである。
ドライブ装置１０８は記録媒体１１０をセットするためのデバイスである。ここでいう記録媒体１１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体１１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置１０４にインストールされる各種プログラムは、例えば、配布された記録媒体１１０がドライブ装置１０８にセットされ、該記録媒体１１０に記録された各種プログラムがドライブ装置１０８により読み出されることでインストールされる。あるいは、補助記憶装置１０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることで、インストールされてもよい。
＜機能構成＞
次に、図３を参照し、実施形態に係るサーバ１０の機能構成について説明する。図３は、実施形態に係るサーバ１０の機能構成の一例を示す図である。
サーバ１０は、取得部１１、記憶部１２、制御部１３、及び表示制御部１４を有する。これら各部は、例えば、サーバ１０にインストールされた１以上のプログラムと、サーバ１０のＣＰＵ１０１等のハードウェアとの協働により実現されてもよい。
取得部１１は、各種の情報を端末２０から取得する。記憶部１２は、各種の情報を記憶する。記憶部１２は、例えば、作業ＤＢ（データベース）１２１を有する。
制御部１３は、サーバ１０の各部を制御する。表示制御部１４は、端末２０に表示させる情報を端末２０に送信し、端末２０で表示される表示画面を制御する。
＜処理＞
次に、図４から図６を参照し、実施形態に係る通信システム１の処理の一例について説明する。図４は、実施形態に係る通信システム１の処理の一例を示すシーケンス図である。図５Ａは、実施形態に係る作業ＤＢ１２１の一例について説明する図である。図５Ｂは、実施形態に係るタグ群の一例について説明する図である。図６は、実施形態に係る端末２０の表示画面一例について説明する図である。
なお、端末２０は、作業員ＩＤとパスワードによるユーザ認証等をサーバ１０から受けてサーバ１０にログインし、ＨＴＴＰＳ (Hypertext Transfer Protocol Secure)等を用いた暗号化された通信セッションにより以下の通信を行ってもよい。
ステップＳ１において、端末２０は、オブジェクトが第１状態から第２状態に変化される際に、当該オブジェクトが被写体とされた動画像を撮影する。続いて、端末２０は、撮影した動画像をサーバ１０に送信する（ステップＳ２）。ここで、端末２０は、例えば、撮影している動画像をリアルタイムでサーバ１０に送信してもよい。また、端末２０は、例えば、作業員の操作に応答して、撮影して記録していた動画像をサーバ１０に送信してもよい。
続いて、サーバ１０の制御部１３は、受信した動画像を記憶部１２の作業ＤＢ１２１記録する（ステップＳ３）。ここで、サーバ１０は、図５Ａに示す作業ＤＢ（データベース）１２１の例では、受信した動画像にタグを対応付けて記録している。図５Ａの例では、作業員ＩＤ及び作業ＩＤに対応付けて、作業情報、動画像及びタグ群の組（データセット）が記録されている。
作業員ＩＤは、端末２０を使用する作業員の識別情報である。作業ＩＤは、当該作業員が行う作業の識別情報である。作業情報は、当該作業に関する各種の情報である。作業情報には、例えば、当該作業が行われた日時、場所、客先名称、作業対象の機器、及び作業内容等を示す情報が含まれてもよい。サーバ１０は、端末２０にて作業員に入力された作業情報を、端末２０から受信して記録してもよい。
図５Ｂの例では、図５Ａの動画像に対応付けられたタグ群Ａ１２１１に含まれる各タグには、作業項目、開始時刻、及び終了時刻の組のデータが含まれている。作業項目は、作業にて実施される各項目を示す情報である。開始時刻、及び終了時刻は、それぞれ、各項目に対応する作業期間の開始時刻、及び終了時刻である。サーバ１０の制御部１３は、端末２０にて作業員に入力されたタグを、端末２０から受信して記録してもよい。また、サーバ１０の制御部１３は、端末２０から受信した動画像、及び音声の少なくとも一方に基づいて、タグを生成してもよい。
（発話に基づくタグの生成）
サーバ１０は、端末２０の作業員の発話に基づいて、タグを生成してもよい。この場合、サーバ１０は、例えば、端末２０から受信した音声を認識し、当該音声が発話された時点と、音声認識の結果とに基づいて、タグを生成してもよい。これにより、動画像において、オブジェクトが第１状態から第２状態に変化される際（「動画像が撮影されている間」の一例。）に作業員に指示された時点にタグを付加することができる。
サーバ１０は、例えば、端末２０の作業員の発話に基づいて、所定の作業項目の作業が行われている期間を推定してもよい。この場合、サーバ１０は、例えば、作業員による「現場物品の移動開始」との音声をＡＩ（Artificial Intelligence）により認識して、「現場物品移動」の作業項目を生成し、当該音声が発話された時刻を当該作業項目の開始時刻として記録してもよい。そして、サーバ１０は、例えば、作業員による「終了」との音声をＡＩにより認識して、当該音声が発話された時刻を当該作業項目の終了時刻として記録してもよい。また、サーバ１０は、例えば、一の作業項目の終了時刻が記録されていない状態で、他の作業項目の開始時刻が記録された場合、当該他の作業項目の開始時刻に基づく時刻を、当該一の作業項目の終了時刻として記録してもよい。
（作業者の入力操作に基づくタグの生成）
サーバ１０は、端末２０の作業員の入力操作に基づいて、タグを生成してもよい。この場合、サーバ１０は、例えば、端末２０の作業員に入力された情報に基づいて、タグを生成してもよい。この場合、端末２０は、例えば、作業項目を指定する操作と、現在日時を開始時刻として指定する操作、または現在日時を終了時刻として指定する操作とを受け付けてもよい。
（動画像等に基づくタグの生成）
また、サーバ１０は、端末２０の作業員による発話、及び端末２０で撮影された動画像の少なくとも一つに基づいて、所定の作業項目の作業が行われている期間を推定し、タグを生成してもよい。この場合、サーバ１０は、例えば、ディープラーニング等の機械学習を用いたＡＩにより、動画像に基づいて、作業項目、開始時刻、及び終了時刻を認識（推論）してもよい。また、サーバ１０は、ＡＩにより、端末２０の作業員による発話に基づいて、作業項目、開始時刻、及び終了時刻の少なくとも一つを認識してもよい。
続いて、サーバ１０の制御部１３は、端末２０に配信するコンテンツを決定する（ステップＳ４）。ここで、サーバ１０は、例えば、オブジェクトが第２状態から第１状態に戻される際に、コンテンツを端末２０に再生させるようにしてもよい。
（作業員に指定されたタグに基づく再生位置の決定）
サーバ１０は、ステップＳ４の処理で、作業員に指定されたタグに基づいて、動画像の再生位置を決定してもよい。この場合、端末２０は、作業員がオブジェクトを第２状態から第１状態に戻す際に、タグを指定する操作を作業員から受け付けてもよい。なお、サーバ１０は、例えば、図５Ａの作業ＤＢ１２１に記録されているタグ群に含まれる各タグの一覧を端末２０に表示させ、一のタグを作業員に選択させてもよい。また、サーバ１０は、作業員に発話された音声を認識し、当該音声で指定された作業項目のタグを判定してもよい。
そして、サーバ１０は、図５Ａの作業ＤＢ１２１を参照し、指定されたタグの開始時刻と終了時刻とに基づいて、動画像を再生させる区間の開始位置（再生開始位置）と終了位置（再生終了位置）とを決定してもよい。ここで、サーバ１０は、指定されたタグの開始時刻と終了時刻とを、それぞれ、端末２０にて再生させる動画像の再生開始位置と再生終了位置としてもよい。
また、サーバ１０は、指定されたタグの終了時刻と開始時刻とを、それぞれ、端末２０にて再生させる動画像の再生開始位置と再生終了位置とし、当該動画像を端末２０に逆再生させてもよい。これにより、作業員は、例えば、分解した機器を組み立てて元に戻す際に、当該機器を分解した際の動画像を逆再生して閲覧することができる。そのため、機器を分解した手順の逆を表す動画像により、機器を元の状態に組み立てる手順を適切に把握することができる。
また、サーバ１０は、動画像を端末２０に再生させる際、当該動画像に対応付けられた作業項目を示す情報（「作業を示す情報」の一例。）を作業員に提示してもよい。この場合、サーバ１０は、例えば、指定されたタグの作業項目の文字データを当該動画像に重畳させて表示させてもよい。これにより、例えば、作業員は、動画像の逆再生が開始された際に、これから行う作業項目の内容を把握することができる。また、サーバ１０は、当該タグが作業員の音声に基づいて生成されたタグである場合、当該音声を端末２０に再生させてもよい。
（組み立ての手順の提示）
サーバ１０は、作業員に指定されたタグの作業項目が、分解の手順と組み立ての手順とが異なる作業である場合、組み立ての手順を示す情報を作業員に提示してもよい。これにより、作業員は、分解の手順と組み立ての手順とが異なる場合は、組み立て手順書等に基づいて、機器を元の状態に組み立てる手順を適切に把握することができる。そのため、例えば、より適切な手順で組み立てることができる。
この場合、例えば、指定された作業項目が「機器組み立て」であり、作業対象の機器が、分解の手順と組み立ての手順とが異なる機種であることがサーバ１０に予め登録されている場合、サーバ１０は、当該機種の組み立て手順書のデータを端末２０に表示させてもよい。
（モデル手順の提示）
サーバ１０は、動画像に基づいて認識された作業員の作業の手順と、モデルとして設定されている手順とが異なる場合、モデルとして設定されている手順を示す情報を作業員に提示してもよい。これにより、例えば、作業員が機器の分解等の作業に手間取り、不要等の手順を行っていた等の場合に、モデルとして設定されている組み立て作業の手順を作業員に提示できる。
この場合、サーバ１０は、例えば、ＡＩ等により、動画像に基づいて、作業員による第１状態から第２状態に変化される際の順番を認識してもよい。そして、サーバ１０は、認識した手順と、モデルとして設定されている手順との乖離度が閾値以上の場合、モデルとして設定されている手順の動画像を再生してもよい。
なお、サーバ１０は、例えば、習熟度の高い作業員により行われた作業の動画像に基づいて認識した手順を、モデルとして設定してもよい。この場合、サーバ１０は、例えば、作業員Ａによる作業対象の機器に対する分解作業の所要時間と、作業員Ｂによる当該機器に対する分解作業の所要時間との比の値が閾値以上である場合、作業員Ｂによる手順を作業員Ａに提示してもよい。
続いて、サーバ１０の表示制御部１４は、決定したコンテンツを端末２０に配信する（ステップＳ５）。続いて、端末２０は、受信したコンテンツを表示させる（ステップＳ６）。
ステップＳ５の処理で、サーバ１０は、作業対象の物品の状態が変化していない期間の再生時間を短縮して再生させるようにしてもよい。これにより、例えば、分解時に作業が進捗していなかった際の動画像が組み立て時に再生される時間を省くことができる。
この場合、サーバ１０は、例えば、動画像のうち、作業員の手が映っていない期間の動画像をスキップさせて（飛ばして）再生させてもよい。また、サーバ１０は、動画像に基づいてＡＩにより各物品の配置を認識し、配置が変更されていない期間の動画像をスキップさせて再生させてもよい。
また、サーバ１０は、作業対象の物品の状態が変化している領域を拡大して画面に表示させてもよい。これにより、例えば、分解時に作業員が作業していた領域を拡大して、作業員に提示することができる。
この場合、サーバ１０は、例えば、動画像のうち、作業員の手が映っている領域を拡大（ズーム）して再生させてもよい。また、サーバ１０は、ＡＩにより、動画像に基づいて各物品の配置を認識し、配置が変化している領域を拡大して再生させてもよい。
（原状回復作業の誤りの提示）
サーバ１０は、変更時の動画像と、作業対象の物品を第２状態から第１状態に戻す際の動画像とに基づいて、作業対象の物品を第２状態から第１状態に戻す作業における誤りを作業員に提示してもよい。これにより、例えば、作業員は、元の状態と異なる部分があることを把握することができる。
この場合、サーバ１０は、例えば、まず、作業員により現在行われていた作業項目が完了したことを検出してもよい。ここで、サーバ１０は、例えば、端末２０にて現在撮影され、端末２０からリアルタイムでサーバ１０に送信されている動画像（以下で、適宜「現在の動画像」とも称する。）に基づいて作業項目が完了したことを検出してもよい。この場合、サーバ１０は、例えば、動画像に基づいて作業対象の機器の筐体の蓋が作業員により閉じられたこと検出した場合に、作業項目が完了したと判定してもよい。
また、サーバ１０は、作業員からの音声、または手動操作に基づいて作業項目が完了したことを検出してもよい。
そして、サーバ１０は、変更時の動画像における変更前の各被写体の配置と、当該作業項目が完了した際の動画像における各被写体の配置とが異なる場合、誤りが発生したと判定してもよい。この場合、サーバ１０は、例えば、分解作業が開始された際の第１静止画を拡大・縮小、回転、及び平行移動させて、組み立て作業が終了された際の第２静止画と最も一致する状況を判定し、当該一致する状況でＲＧＢ値の差が閾値以上である画素の数が閾値以上である場合に、誤りが発生したと判定してもよい。
そして、サーバ１０は、作業員の端末２０に警報のメッセージ、及び音声を出力させてもよい。また、サーバ１０は、変更時の動画像のうち、誤りが検出された被写体の配置が変更された時点を含む所定の期間の動画像または静止画像を端末２０に再生させ、図６に示すように、当該被写体に対応付けて所定の表示オブジェクトを動画像または静止画像に重畳して表示させてもよい。
図６の例では、サーバ１０は、端末２０の表示画面６０１において、変更時の動画像のうち、変更前のケーブルのコネクタ６０２に対応付けて、組み立て時に分解前との誤りが検出された旨を示すメッセージを含む表示オブジェクト６０３を表示させている。
（各被写体の状態に応じた再生）
サーバ１０は、作業員が作業対象の物品を第２状態から第１状態に戻す際の動画像の各被写体の状態に応じて、変更時の動画像を再生させてもよい。これにより、例えば、作業員は各手順を実行する毎に、次の手順を表す動画像を作業員に提示することができる。
この場合、サーバ１０は、まず、変更時の動画像に基づいて、状態が変化させられた各被写体の順番を判定してもよい。そして、サーバ１０は、現在の動画像に基づいて、第１被写体が、第２状態から第１状態に戻されたことを検出した場合、変更時の動画像のうち、当該第１被写体よりも一つ前に変化させられた第２被写体の状態が変化された際の動画像を再生してもよい。これにより、例えば、端末２０で現在撮影されているケーブルの状況が、当該ケーブルを取り外す際の開始時点と同様の状況になったら、次に接続するケーブルが取り外された際の動画像を逆再生等して作業員に提示することができる。
＜変形例＞
サーバ１０の各機能部は、例えば１以上のコンピュータにより提供されるクラウドコンピューティングにより実現されていてもよい。また、サーバ１０の各処理を、端末２０にて実行する構成としてもよい。この場合、記憶部１２、制御部１３、及び表示制御部１４の少なくとも一部の処理を端末２０にて実行する構成としてもよい。また、記憶部１２、制御部１３、及び表示制御部１４を端末２０に設け、サーバ１０を有しない構成（スタンドアローン型）としてもよい。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
１ 通信システム
１０ サーバ
１１ 取得部
１２ 記憶部
１３ 制御部
１４ 表示制御部
２０ 端末

Claims (16)

  1. 現場の作業を支援する、動画像を再生させる処理を実行する情報処理方法であって、
    作業対象が第１状態から第２状態に変化されるときに、前記作業対象が被写体とされた動画像を撮影するステップと、
    前記動画像に対し、少なくとも前記第２状態を示す画像にタグを対応付けて記憶部に記憶するステップと、
    前記作業対象を前記第２状態から前記第１状態に変化させる必要が生じた場合に、トリガに応じて、前記第２状態に関するタグに基づいて決定された再生位置から前記動画像を逆方向に再生するステップと
    を含む、情報処理方法。
  2. 前記動画像の再生中に、前記作業対象が被写体とされた動画像を撮影するステップ、
    を含む、請求項１に記載の情報処理方法。
  3. 前記トリガは、作業員によって入力された指示を取得することである、請求項１または２に記載の情報処理方法。
  4. 前記トリガは、作業員の発話内容を取得して解析することである、請求項１または２に記載の情報処理方法。
  5. 前記再生させる処理では、
    前記動画像が撮影されている間に、作業員により所定の操作がされた際の時点、及び作業員により所定の発話がされた際の時点の少なくとも一方に基づいて、前記動画像の再生位置を決定する、
    請求項１から４のいずれか一項に記載の情報処理方法。
  6. 前記再生させる処理では、
    作業員による発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作業が行われている期間に基づいて、前記動画像を逆方向に再生する区間を決定する、
    請求項１から５のいずれか一項に記載の情報処理方法。
  7. 前記再生させる処理では、
    作業員による発話、及び前記動画像の少なくとも一つに基づいて推定された、所定の作
    業を示す情報を作業員に提示する、
    請求項１から６のいずれか一項に記載の情報処理方法。
  8. 前記再生させる処理では、
    前記動画像に基づいて、前記作業対象を前記第２状態から前記第１状態に戻す作業
    の誤りを提示する処理を実行する、
    請求項１から７のいずれか一項に記載の情報処理方法。
  9. 前記再生させる処理では、
    前記記憶部に記憶された前記第２状態から前記第１状態に戻す際の正しい手順と、前記作業対象が前記第２状態から前記第１状態に変化されるときに前記作業対象が被写体とされた動画像に基づいて認識された作業員の作業の手順と、を比較し、
    前記作業対象を前記第２状態から前記第１状態に戻す作業に誤りがあるときは、前記誤りを提示する処理を実行する、
    請求項１から８のいずれか一項に記載の情報処理方法。
  10. 前記再生させる処理では、
    前記動画像に基づいて認識された作業員の組み立ての作業の手順と、モデル手順とが異なる場合、モデル手順を示す情報を作業員に提示する、
    請求項１から９のいずれか一項に記載の情報処理方法。
  11. 前記再生させる処理では、
    前記作業対象の状態が変化していない期間の再生時間を短縮して再生させる、
    請求項１から１０のいずれか一項に記載の情報処理方法。
  12. 前記再生させる処理では、
    前記作業対象の状態が変化している領域を拡大して画面に表示させる、
    請求項１から１１のいずれか一項に記載の情報処理方法。
  13. 作業対象が第１状態から第２状態に変化されるときに前記作業対象が被写体として撮影された動画像を受信する受信部と、
    前記動画像と、少なくとも前記第２状態を示す画像に対応付けたタグと、を記憶する記憶部と、
    前記作業対象を前記第２状態から前記第１状態に変化させる必要が生じた場合に、トリガに応じて、前記第２状態に関するタグに基づいて決定された再生位置から前記記憶部に記憶された前記動画像を逆方向に再生する動画像を送信する送信部と
    を有する、サーバ。
  14. 前記サーバは、
    作業員の発話内容を前記受信部にて受信し、
    前記発話内容を解析し前記動画像の中から前記第２状態を判定した結果に基づいて、前記第２状態に関するタグを特定する、請求項１３に記載のサーバ。
  15. コンピュータに、
    作業対象が第１状態から第２状態に変化されるときに、前記作業対象が被写体とされた動画像を撮影する処理、
    前記動画像に対し、少なくとも前記第２状態を示す画像にタグを対応付けて記憶部に記憶する処理、
    前記作業対象を前記第２状態から前記第１状態に変化させる必要が生じた場合に、トリガに応じて、前記第２状態に関するタグに基づいて決定された再生位置から前記動画像を逆方向に再生する処理
    を実行させるプログラム。
  16. サーバと端末とを含む通信システムであって、
    作業対象が第１状態から第２状態に変化されるときに、前記作業対象が被写体とされた動画像を撮影し、
    前記動画像に対し、少なくとも前記第２状態を示す画像にタグを対応付けて記憶部に記憶し、
    前記作業対象を前記第２状態から前記第１状態に変化させる必要が生じた場合に、トリガに応じて、前記第２状態に関するタグに基づいて決定された再生位置から前記動画像を逆方向に再生する
    通信システム。

JP2021198953A 2020-05-14 2021-12-08 情報処理方法、情報処理装置、プログラム、及び情報処理システム Active JP7389423B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021198953A JP7389423B2 (ja) 2020-05-14 2021-12-08 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020084910A JP6997996B2 (ja) 2020-05-14 2020-05-14 情報処理方法、情報処理装置、プログラム、及び情報処理システム
JP2021198953A JP7389423B2 (ja) 2020-05-14 2021-12-08 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020084910A Division JP6997996B2 (ja) 2020-05-14 2020-05-14 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Publications (3)

Publication Number Publication Date
JP2022043130A JP2022043130A (ja) 2022-03-15
JP2022043130A5 JP2022043130A5 (ja) 2022-04-18
JP7389423B2 true JP7389423B2 (ja) 2023-11-30

Family

ID=78510541

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020084910A Active JP6997996B2 (ja) 2020-05-14 2020-05-14 情報処理方法、情報処理装置、プログラム、及び情報処理システム
JP2021198953A Active JP7389423B2 (ja) 2020-05-14 2021-12-08 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020084910A Active JP6997996B2 (ja) 2020-05-14 2020-05-14 情報処理方法、情報処理装置、プログラム、及び情報処理システム

Country Status (5)

Country Link
US (1) US12100424B2 (ja)
EP (1) EP4152242A4 (ja)
JP (2) JP6997996B2 (ja)
CN (1) CN115552913A (ja)
WO (1) WO2021230181A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815895B2 (en) * 2022-01-30 2023-11-14 Xtend Ai Inc. Method of offline operation of an intelligent, multi-function robot
JP7470466B1 (ja) 2023-08-08 2024-04-18 株式会社G-ant ブロックオブジェクトの設計図を生成する方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028046A (ja) 1999-07-15 2001-01-30 Sharp Corp 画像認識装置
JP2004030623A (ja) 1993-02-04 2004-01-29 Matsushita Electric Ind Co Ltd 作業状況管理装置
JP2008289083A (ja) 2007-05-21 2008-11-27 Funai Electric Co Ltd 映像記録再生装置および映像表示システム
JP2012099976A (ja) 2010-10-29 2012-05-24 Keyence Corp 動画追尾装置、動画追尾方法および動画追尾プログラム
JP2012137943A (ja) 2010-12-27 2012-07-19 Shimizu Corp 施工状況記録システム
JP2016004179A (ja) 2014-06-18 2016-01-12 株式会社アーテック 授業支援システム
JP2019176423A (ja) 2018-03-29 2019-10-10 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
JP2020023024A (ja) 2018-08-08 2020-02-13 オムロン株式会社 制御システム、解析装置および制御方法
JP2020040519A (ja) 2018-09-11 2020-03-19 株式会社小松製作所 端末装置、作業機械システム、情報処理方法、およびサーバ装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546598A (en) 1993-02-04 1996-08-13 Matsushita Electric Industrial Co., Ltd. Working situation management apparatus
JP3689226B2 (ja) * 1997-03-13 2005-08-31 富士通株式会社 分解経路生成装置
JP2002056406A (ja) * 2000-08-08 2002-02-22 Clim Ncd:Kk 組立工程支援システム及びそのデータを記録した記録媒体
DE10161570A1 (de) * 2001-12-14 2003-07-03 Fette Wilhelm Gmbh Verfahren zur Instruktion einer Bedienperson bei Wartungs- und Reparaturarbeiten an einer Tablettenpresse
WO2004109602A1 (ja) * 2003-06-03 2004-12-16 Toyota Jidosha Kabushiki Kaisha 工程アニメーションの自動生成方法及びシステム
JP4767216B2 (ja) * 2007-06-05 2011-09-07 パナソニック株式会社 ダイジェスト生成装置、方法及びプログラム
JP5595849B2 (ja) * 2010-09-27 2014-09-24 株式会社東芝 画像記録装置と動画像データの記録方法
JP6075180B2 (ja) * 2013-04-18 2017-02-08 オムロン株式会社 作業管理システムおよび作業管理方法
JP6272249B2 (ja) 2015-02-09 2018-01-31 株式会社日立製作所 組立ナビゲーションシステム及び組立ナビゲーション方法
CN108139739B (zh) * 2015-09-30 2020-12-08 富士通株式会社 制造状态显示系统和显示方法及记录制造状态显示程序的记录介质
JP6304293B2 (ja) * 2016-03-23 2018-04-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR102314370B1 (ko) 2017-05-17 2021-10-19 엘지전자 주식회사 이동 단말기
US11861898B2 (en) * 2017-10-23 2024-01-02 Koninklijke Philips N.V. Self-expanding augmented reality-based service instructions library
US11074292B2 (en) * 2017-12-29 2021-07-27 Realwear, Inc. Voice tagging of video while recording
CN108322831A (zh) * 2018-02-28 2018-07-24 广东美晨通讯有限公司 视频播放控制方法、移动终端及计算机可读存储介质
JP2020052664A (ja) * 2018-09-26 2020-04-02 キヤノン株式会社 作業管理装置、その制御方法、およびプログラム
JP7155946B2 (ja) 2018-11-28 2022-10-19 マツダ株式会社 エンジンの制御装置
US11209795B2 (en) * 2019-02-28 2021-12-28 Nanotronics Imaging, Inc. Assembly error correction for assembly lines
US11442609B1 (en) * 2020-04-08 2022-09-13 Gopro, Inc. Interface for setting speed and direction of video playback

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030623A (ja) 1993-02-04 2004-01-29 Matsushita Electric Ind Co Ltd 作業状況管理装置
JP2001028046A (ja) 1999-07-15 2001-01-30 Sharp Corp 画像認識装置
JP2008289083A (ja) 2007-05-21 2008-11-27 Funai Electric Co Ltd 映像記録再生装置および映像表示システム
JP2012099976A (ja) 2010-10-29 2012-05-24 Keyence Corp 動画追尾装置、動画追尾方法および動画追尾プログラム
JP2012137943A (ja) 2010-12-27 2012-07-19 Shimizu Corp 施工状況記録システム
JP2016004179A (ja) 2014-06-18 2016-01-12 株式会社アーテック 授業支援システム
JP2019176423A (ja) 2018-03-29 2019-10-10 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
JP2020023024A (ja) 2018-08-08 2020-02-13 オムロン株式会社 制御システム、解析装置および制御方法
JP2020040519A (ja) 2018-09-11 2020-03-19 株式会社小松製作所 端末装置、作業機械システム、情報処理方法、およびサーバ装置

Also Published As

Publication number Publication date
US20230186952A1 (en) 2023-06-15
JP2021180408A (ja) 2021-11-18
WO2021230181A1 (ja) 2021-11-18
US12100424B2 (en) 2024-09-24
CN115552913A (zh) 2022-12-30
EP4152242A1 (en) 2023-03-22
JP6997996B2 (ja) 2022-01-18
JP2022043130A (ja) 2022-03-15
EP4152242A4 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
JP7389423B2 (ja) 情報処理方法、情報処理装置、プログラム、及び情報処理システム
US10860345B2 (en) System for user sentiment tracking
CN113038287B (zh) 多人视频直播业务实现方法、装置、计算机设备
CN109803180B (zh) 视频预览图生成方法、装置、计算机设备及存储介质
CN112511818A (zh) 视频播放质量检测方法、装置
WO2020052062A1 (zh) 检测方法和装置
US20240073273A1 (en) Method and processing unit for creating and rendering synchronized content for content rendering environment
CN113469378A (zh) 检修方法及检修设备
CN111583348A (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
JP2022043130A5 (ja)
US9805764B2 (en) Methods and systems of creation and catalog of media recordings
CN110892427B (zh) 用于检索数据包的方法和设备
KR101947553B1 (ko) 객체 기반 동영상 편집 장치 및 방법
CN111918112B (zh) 一种视频优化的方法、装置、存储介质及终端
CN115474089A (zh) 一种音视频的在线审片方法和相关设备
CN114357554A (zh) 模型的渲染方法、渲染装置、终端、服务器和存储介质
JP4519805B2 (ja) 映像編集方法及び装置
US8463754B2 (en) Electronic equipment and log output method
US20200335004A1 (en) Systems and methods for facilitating creating of customizable tutorials for instruments specific to a particular facility
CN113992878B (zh) 远程桌面操作审计方法、装置及设备
CN115174812A (zh) 视频生成方法、视频生成装置及电子设备
CN117834832A (zh) 视频录制解码方法、系统以及存储介质
JP4289179B2 (ja) 対話型アニメーション生成方法及び装置及び対話型アニメーション生成プログラム及び対話型アニメーションプログラムを格納した記憶媒体
CN104917986A (zh) 信息处理装置、信息处理系统以及信息处理方法
CN115102917A (zh) 消息发送方法、消息处理方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231108

R150 Certificate of patent or registration of utility model

Ref document number: 7389423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150