JP7358848B2 - 生産ナビゲーション装置、生産ナビゲーション方法及びプログラム - Google Patents

生産ナビゲーション装置、生産ナビゲーション方法及びプログラム Download PDF

Info

Publication number
JP7358848B2
JP7358848B2 JP2019157278A JP2019157278A JP7358848B2 JP 7358848 B2 JP7358848 B2 JP 7358848B2 JP 2019157278 A JP2019157278 A JP 2019157278A JP 2019157278 A JP2019157278 A JP 2019157278A JP 7358848 B2 JP7358848 B2 JP 7358848B2
Authority
JP
Japan
Prior art keywords
work
information
work area
worker
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019157278A
Other languages
English (en)
Other versions
JP2021033962A (ja
Inventor
博一 貞富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2019157278A priority Critical patent/JP7358848B2/ja
Publication of JP2021033962A publication Critical patent/JP2021033962A/ja
Application granted granted Critical
Publication of JP7358848B2 publication Critical patent/JP7358848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Description

本発明は、生産ナビゲーション装置、生産ナビゲーション方法及びプログラムに関する。
近年、多くの工場においては多品種少量生産が行われている。多品種少量生産を行う工場では、1人の作業者が、部品倉庫に格納された多様な部品の中から生産対象の製品に応じた部品を採取し、製品を組み立てる場合が多い。そのため、作業者による誤作業の防止や組立作業の効率化のための技術が求められている。
その例として、下記特許文献1には、複数の棚の中から作業内容に応じてピッキングを行うべき棚を決定し、決定した棚に作業者を誘導する技術が開示されている。かかる技術では、作業者が誤った間口から物品を取り出した場合などに、バイブレーションによる刺激として注意を作業者に対して与えることができる。
また、下記特許文献2には、作業者が指示された作業と異なる作業を行うと、作業者に対して警告を行う技術が開示されている。さらに、下記特許文献3には、板状部材が設けられた棚を部品倉庫として用い、組み立て手順や採取すべき部品を指示する情報をプロジェクタによって板状部材に投影する技術が開示されている。
特開2014-122075号公報 特開2013-20433号公報 特開2018-45669号公報
しかし、一つの作業エリアに置くことができる部品には限りがある。そのため、作業者は、一つの作業エリアから他の作業エリアに移動する必要が生じる場合がある。
そこで、本発明は上記課題に鑑みてなされたものであり、本発明の目的とするところは、作業者が作業エリア間を移動すべき場合に、作業エリア間を移動すべきことを容易に把握することが可能な、新規且つ改良された仕組みを提供することにある。
上記課題を解決するために、本発明のある観点によれば、第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、前記第2の作業エリアに対応する生産ナビゲーションシステムに作業完了情報が送信されるように通信部を制御する通信制御部と、を備える、生産ナビゲーション装置が提供される。
前記通信制御部は、前記実績作業情報と前記予定作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアに対応する生産ナビゲーションシステムに前記作業完了情報が送信されるように前記通信部を制御してもよい。
前記提示制御部は、第3の作業エリアに対応する生産ナビゲーションシステムから作業完了情報が受信された場合、前記予定作業情報が示す作業のナビゲーションを開始してもよい。
前記作業完了情報は、前記予定作業情報が示す作業によって組み立てられる製品の識別情報であってもよい。
前記提示制御部は、作業開始情報が読み取られた場合、前記第1の作業エリアが最初に作業を行うべき作業エリアであるかが判定され、前記第1の作業エリアが最初に作業を行うべき作業エリアではないと判定された場合、最初に作業を行うべき作業エリアへの移動を促すための情報が提示されるように前記提示部を制御してもよい。
前記提示制御部は、前記第1の作業エリアが最初に作業を行うべき作業エリアであると判定された場合、前記予定作業情報が示す作業のナビゲーションを開始してもよい。
前記作業開始情報は、前記予定作業情報が示す作業によって組み立てられる製品の識別情報であってもよい。
前記判定部は、撮像部により撮像された前記作業者を含む撮像画像に基づいて、前記実績作業情報を判定してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、を備え、前記提示制御部は、第3の作業エリアに対応する生産ナビゲーションシステムから作業完了情報が受信された場合、前記予定作業情報が示す作業のナビゲーションを開始する、生産ナビゲーション装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、を備え、前記提示制御部は、作業開始情報が読み取られた場合、前記第1の作業エリアが最初に作業を行うべき作業エリアであるかが判定され、前記第1の作業エリアが最初に作業を行うべき作業エリアではないと判定された場合、最初に作業を行うべき作業エリアへの移動を促すための情報が提示されるように前記提示部を制御し、前記提示制御部は、前記第1の作業エリアが最初に作業を行うべき作業エリアであると判定された場合、前記予定作業情報が示す作業のナビゲーションを開始する、生産ナビゲーション装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得することと、前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定することと、前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御することと、前記第2の作業エリアに対応する生産ナビゲーションシステムに作業完了情報が送信されるように通信部を制御することと、を備える、コンピュータにより実行される生産ナビゲーション方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、前記第2の作業エリアに対応する生産ナビゲーションシステムに作業完了情報が送信されるように通信部を制御する通信制御部と、を備える生産ナビゲーション装置として機能させるためのプログラムが提供される。
以上説明したように本発明によれば、作業者が作業エリア間を移動すべきタイミングを把握することが可能な仕組みが提供される。
本発明の一実施形態に係るシステムの概略的な構成の一例を示す図である。 本実施形態に係る生産ナビゲーションシステムの論理的な構成の一例を示す図である。 本実施形態に係る生産ナビゲーションシステムの物理的な構成の一例を示す図である。 本実施形態に係る表示機構による情報表示の様子を概略的に示す図である。 本実施形態に係る生産ナビゲーションシステムの詳細な構成の一例を示す図である。 本実施形態に係る生産ナビゲーションシステムを前方から見たときの構成の一例を示す図である。 製品番号、予定作業情報及びガイダンス情報の例を示す図である。 生産ナビゲーションシステムの制御装置によって取得される前後作業棚情報の例を示す図である。 生産ナビゲーションシステムの制御装置によって取得される前後作業棚情報の例を示す図である。 作業開始前のガイダンス情報の例を示す図である。 本実施形態に係る採取指示情報の表示の一例を説明するための図である。 本実施形態に係る警告情報の表示の一例を説明するための図である。 本実施形態に係る警告情報の表示の一例を説明するための図である。 作業完了後のガイダンス情報の例を示す図である。 本実施形態に係る生産ナビゲーションシステムによる表示処理の流れの一例を示すフローチャートである。 生産ナビゲーションシステムのハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<<1.構成例>>
<1.1.全体構成例>
図1は、本発明の一実施形態に係るシステム1の概略的な構成の一例を示す図である。システム1は、サーバ90及び複数の生産ナビゲーションシステム10を含む。システム1は、製品を生産する(即ち、組み立てる)工場において実装される。
生産ナビゲーションシステム10は、工場で働く作業者に対し様々な情報を提示して、製品の組立作業を支援するシステムである。図1に示すように、システム1は、複数の生産ナビゲーションシステム10(図1に示した例では、生産ナビゲーションシステム10-1及び生産ナビゲーションシステム10-2)を含む。生産ナビゲーションシステム10の数は、2つに限定されない。以下では、生産ナビゲーションシステム10-1及び生産ナビゲーションシステム10-2を特に区別する必要がない場合に、単に「生産ナビゲーションシステム10」と称する場合がある。生産ナビゲーションシステム10の構成については、後に詳しく説明する。
作業者(本実施形態では、主に組立作業者)は、生産ナビゲーションシステム10による支援を受けて、単位期間において1種類の製品を生産する(即ち、組み立てる)。
サーバ90は、システム1に含まれる生産ナビゲーションシステム10を管理する情報処理装置である。サーバ90は、管理下の生産ナビゲーションシステム10と有線又は無線のネットワーク80を介して接続され、互いに情報を送受信する。
<1.2.論理的な構成例>
図2は、本実施形態に係る生産ナビゲーションシステム10の論理的な構成の一例を示す図である。図2に示すように、本実施形態に係る生産ナビゲーションシステム10は、通信部110、表示部120、センサ部130、入力部140、記憶部150、及び制御部160を含む。
(通信部110)
通信部110は、他の装置との間で情報の送受信を行う機能を有する。通信部110は、LAN(Local Area Network)、無線LAN、又はWi-Fi(登録商標)等の有線/無線の任意の通信規格に準拠した通信を行う。例えば、通信部110は、サーバ90との間で情報を送受信する。
(表示部120)
表示部120は、情報の表示を行う機能を有する。表示部120は、例えば作業者に対する情報を表示する。
(センサ部130)
センサ部130は、作業者による作業に関する情報をセンシングする機能を有する。センシングの対象は、例えば、作業者全体、作業者の特定部位(例えば、手)、部品、又は部品倉庫の少なくともいずれかである。センサ部130は、画像、音、深度情報、慣性情報、又は生体情報等の任意の情報をセンシングする。センサ部130は、センシング結果を示す情報を制御部160に出力する。
(入力部140)
入力部140は、情報の入力を受け付ける機能を有する。入力部140は、作業者からの情報の入力を受け付ける。
(記憶部150)
記憶部150は、生産ナビゲーションシステム10の動作のための各種情報を記憶する機能を有する。例えば、記憶部150は、入力部140により入力された情報、並びに部品載置部21(図3)ごとの載置された部品の識別情報及び数等を記憶する。
(制御部160)
制御部160は、生産ナビゲーションシステム10の動作全般を制御する機能を有する。制御部160は、取得部161、判定部163、提示制御部165、通信制御部167、及び記憶制御部169を含む。例えば、提示制御部165は、表示部120による情報の表示を制御する機能を有する。記憶制御部169は、記憶部150への情報の記憶及びその読み出しを制御する機能を有する。これらの構成要素の詳細な動作については、後に詳しく説明する。
<1.3.物理的な構成例>
以下、図3~図9を参照しながら、本実施形態に係る生産ナビゲーションシステム10の物理的な構成の一例を説明する。
図3は、本実施形態に係る生産ナビゲーションシステム10の物理的な構成の一例を示す図である。図3に示すように、生産ナビゲーションシステム10は、制御装置11、棚12、作業台13、撮像部14、表示機構15、コード入力部19、及びモーションキャプチャカメラ20を備える。図3に示すように、本明細書及び図面では、棚12から作業台13への方向を前方向とし、その逆方向を後方向とし、作業台13から棚12を見たときの上下左右の方向を、それぞれ上方向、下方向、左方向、及び右方向とする。
図4は、本実施形態に係る表示機構15による情報表示の様子を概略的に示す図である。図4では、生産ナビゲーションシステム10を左方向から見たときの様子が図示されている。図5は、本実施形態に係る生産ナビゲーションシステム10の詳細な構成の一例を示す図である。図5では、棚12の一部を左方向から見たときの詳細な構成が示されている。図6は、本実施形態に係る生産ナビゲーションシステム10を前方から見たときの構成の一例を示す図である。
図4に示すように、棚12の前方には、組立作業を行うための組立作業空間SP1が設けられている。組立作業者は、組立作業空間SP1に立ち、棚12から部品を採取しながら作業台13上で組立作業を行う。
(制御装置11)
制御装置11は、生産ナビゲーションシステム10の動作全般を制御する情報処理装置(ナビゲーション装置)である。制御装置11は、図2を参照しながら説明した、通信部110、記憶部150及び制御部160に相当する。
(棚12)
棚12は、部品倉庫として機能する。棚12には、部品が載置される複数の部品載置部21が設けられており、図3~図6に示した例では、縦方向に4段、横方向に6列、合計24個の部品載置部21が設けられている。これら複数の部品載置部21は、例えばトレイとして構成され、隣接するトレイの間は各々のトレイの側壁により区切られる。さらに、棚12には、複数の仕切板22が設けられている。それぞれの仕切板22は、略鉛直方向に配置されており、個々の部品載置部21を区切っている。図5に示すように、仕切板22は、先端が棚12の前面から前方に突出するように配置されている。他方、仕切板22は、後端が棚12の後面から後方に突出するように配置されていてもよい。各部品載置部21には、トレイが載置されており、そのトレイには単一種類の部品(例えば、ネジやブラケット、ローラ等)が収納されている。なお、部品載置部21には、例えば、電動ドライバ等の組立ツールが載置されてもよい。
図5に示す、各々の部品載置部21の前方の開口51(51A~51D)を、以下では採取口51も称する。例えば、組立作業者は、採取口51から部品載置部21に手を入れて、部品載置部21に載置された部品を採取する。なお、採取口51は、典型的には、上を第2の板状部材34により、下を部品載置部21により区切られた空間である。
図5に示すように、各部品載置部21は、後方部分よりも前方部分が下がるように、傾斜して設けられている。最下段の部品載置部21の下方の空間は、棚12の前面部分からアクセスし難いデッドスペースになっており、図3及び図4に示すように、そのスペースに制御装置11が配置されている。これにより、棚12内の空間の効率的な活用が可能となる。また、部品載置部21には、複数のトレイが載置されてもよい。これにより、生産ナビゲーションシステム10は、空になった前方のトレイを取り除いて、空になったトレイの後方に載置されていた新しいトレイを棚12の前面付近の位置に配置させることができる。
なお、図6に示すように、各々の部品載置部21は、符号「21」の後に付されたアルファベット2文字により区別され得る。アルファベット1文字目は、部品載置部21が配置された段(上から下にかけて1段目はa、2段目はb、3段目はc、4段目はd)を示す。アルファベット2文字目は、部品載置部21が配置された列(左から右にかけて1列目はa、2列目はb、3列目はc、4列目はd、5列目はe、6列目はf)を示す。例えば、上から1段目、右から2列目の部品載置部21は、部品載置部21abである。
(作業台13)
作業台13は、組立作業者が部品組立等に利用する台である。作業台13は、平坦な台面(上面)を備えている。その台面は、棚12の全幅に亘って、水平方向に延在するように配置されている。また、作業台13は、プロジェクタ31から投影された投影画像が結像される投影可能領域としても機能し得る。図6に示した例では、作業台13に、組み立ての見本を撮影した動画(組立動画)が表示される領域である組立動画表示領域37、注意喚起が表示される領域である注意喚起表示領域38、及び、作業指示書が表示される領域である作業指示書表示領域39が存在している。しかし、組立動画表示領域37、注意喚起表示領域38及び作業指示書表示領域39は、作業台13とは異なる場所に存在してもよい。
(撮像部14)
撮像部14は、作業者を撮像し、作業者を含む撮像画像を制御装置11に出力する。撮像部14は、例えばUSB(Universal Serial Bus)カメラであってもよい。撮像部14は、図2を参照しながら説明したセンサ部130に相当する。
撮像部14は、作業者(組立作業者)を撮像する。撮像部14は、ミラー32を支持する支持フレーム44によって、標準的な身長の作業者の頭の高さよりも上の位置(例えば、最上段の部品載置部21よりも上方の位置)で、かつ、棚12の前面よりも前方の位置に配置される。これにより、生産ナビゲーションシステム10の前方に位置する組立作業者を含む撮像画像を撮像することができる。ここで、撮像部14は、撮像方向を棚12の方向に向けて配置されており、棚12に設けられた全ての部品載置部21の採取口51を撮像範囲に含むよう配置される。これにより、部品を採取するために、又は一度採取した部品を元に戻すために、組立作業者が採取口51から部品載置部21に入れた手を含む、棚12の前面の撮像画像を撮像することができる。
(表示機構15)
表示機構15は、作業者に対し各種情報を表示するための機構である。表示機構15は、図2を参照しながら説明した表示部120に相当する。本実施形態では、表示機構15は、プロジェクタ31、ミラー32、第1の板状部材33、及び第2の板状部材34を含む。表示機構15は、いわゆるプロジェクションマッピング技術を用いて、第1の板状部材33及び第2の板状部材34に情報(詳しくは、投影画像)を投影する。
・プロジェクタ31
図3及び図4に示すように、プロジェクタ31は、棚12の上に配置されている。プロジェクタ31は、ミラー32に向けて投影光を照射する。プロジェクタ31から照射された投影光は、ミラー32に反射されて、第1の板状部材33及び第2の板状部材34に到達する。即ち、プロジェクタ31は、ミラー32を介して第1の板状部材33及び第2の板状部材34に情報を投影する。ミラー32は、作業台13の上面又は床面等の他の領域にも情報を投影してもよい。なお、プロジェクタ31は、棚12の上に限らず、第1の板状部材33及び第2の板状部材34、作業台13の上面又は床面等の他の領域に直接投影光が到達する角度の位置(図示しない天井や壁)に配置されてもよい。その場合、プロジェクタ31は、複数配置されてもよく、第1の板状部材33及び第2の板状部材34に直接投影光を投影するプロジェクタと、作業台13の上面又は床面等の他の領域に直接投影光を投影するプロジェクタとに分けて配置されてもよい。
・ミラー32
図4に示すように、ミラー32は、支持フレーム44によって、標準的な身長の作業者の頭の高さよりも上の位置(例えば、最上段の部品載置部21よりも上方の位置)で、且つ、棚12の前面よりも前方の位置に配置されている。具体的には、ミラー32は、作業台13の上方でかつ棚12の斜め上方向に、反射面がプロジェクタ31並びに第1の板状部材33に対向するように配置されている。そして、図4に示すように、ミラー32は、プロジェクタ31から照射された投影光を、第1の板状部材33及び第2の板状部材34に向けて反射する。
ミラー32は、反射角度が上下方向に変更できるように、支持機構によって回動可能に支持されており、任意の反射角度で固定設置され得る。
・第1の板状部材33
第1の板状部材33は、プロジェクタ31から投影された投影画像が結像される投影可能領域として機能する。第1の板状部材33は、棚12の全幅に亘って左右方向(横方向)に延在し、且つ上下方向(縦方向)の長さは第2の板状部材34と比較して長い。そのため、第1の板状部材33は、比較的広い面積を要する情報の提示に適している。図6に示した例では、第1の板状部材33に、作業者の識別情報(作業者ID)が表示される領域である作業者ID表示領域35、及び、組立作業者が組み立てるべき製品の識別情報(製品番号)が表示される領域である製品番号表示領域36が存在している。しかし、作業者ID表示領域35及び製品番号表示領域36は、第1の板状部材33とは異なる場所に存在してもよい。第1の板状部材33は、部品載置部21の上方及び下方のいずれか一方又は双方の位置に配置される。好ましくは、第1の板状部材33は、部品載置部21の上方(即ち、棚12の最上段)に配置されることが望ましい。これにより、作業者がどの部品載置部21に手を入れた場合であっても、投影光が作業者の手により遮られることがないので、投影された情報の視認性を常に高く維持することが可能となる。
・第2の板状部材34
第2の板状部材34もまた、プロジェクタ31から投影された投影画像が結像される投影可能領域として機能する。第2の板状部材34は、棚12の全幅に亘って左右方向(横方向)に延在し、且上下方向(縦方向)の長さは第1の板状部材33と比較して短い。第2の板状部材34は、比較的狭い面積しか要さない情報の提示に適している。そのような情報の一例として、部品の採取を指示する指示情報(後述する採取指示情報)が挙げられる。例えば、第2の板状部材34のうち、作業者が部品を採取すべき部品載置部21付近の領域に採取指示情報が投影される。これにより、作業者は、部品を採取すべき部品載置部21を容易に認識することが可能となる。第2の板状部材34は、各々の部品載置部21の上方及び下方のいずれか一方又は双方の位置に配置される。好ましくは、第2の板状部材34は、各々の部品載置部21の上方にそれぞれ配置されることが望ましい。その結果、採取指示情報に従って部品載置部21に作業者が手を入れた際に、当該指示情報の投影光が作業者の手により遮られずに済むので、指示情報の視認性を維持することが可能となる。
図6に示すように、前方から棚12をみると、上から1段目~3段目の部品載置部21の下部には、第2の板状部材34が配置される。他方、上から4段目の部品載置部21の下部には第2の板状部材34が配置されない。
・第1の板状部材33及び第2の板状部材34の傾斜
図5に示すように、第1の板状部材33及び第2の板状部材34は、棚12の前面に斜めに傾斜して配置される。とりわけ、第1の板状部材33及び第2の板状部材34は、上端よりも下端の方が前方に位置するように、傾斜して配置される。そして、その傾斜は下方に配置されるものほど強い(即ち、水平に近づく)。これにより、第1の板状部材33及び第2の板状部材34と投影光との角度をより垂直に近づけることができ、より視認性のよい投影が可能となる。
(コード入力部19)
コード入力部19は、情報コードの読み取りを行う。コード入力部19は、図2を参照しながら説明した入力部140に相当する。例えば、コード入力部19は、スキャナとして構成され、バーコード又は二次元コード等の各種情報コードを読み取る。コード入力部19は、スキャナに限定されず、例えばICカードリーダ又はキーボード等の各種入力装置により構成されてもよい。
(モーションキャプチャカメラ20)
モーションキャプチャカメラ20は、作業者の様子を撮像する。モーションキャプチャカメラ20は、図2を参照して上記説明したセンサ部130に相当する。モーションキャプチャカメラ20は、少なくとも作業者の上半身を含む、作業者のほぼ全体像を撮像する。モーションキャプチャカメラ20は、例えば棚12の側方に配置されている。制御装置11は、モーションキャプチャカメラ20によって撮像された動画像に基づいて、作業者の動線や顔の向き等を解析することができる。
<<2.技術的特徴>>
<2.1.組立作業のナビゲーション>
制御装置11は、作業者(組立作業者)による組立作業、とりわけ組立のために部品を棚12から採取する採取作業を支援するための、ナビゲーションを行う。以下、この点について詳しく説明する。なお、棚12は、作業者によって作業が行われるエリア(作業エリア)の一例に該当する。したがって、作業エリアは、棚12でなくてもよく、作業者によって作業が行われるエリアの単位であてもよい。例えば、部品が台に載置される場合には、作業エリアは、部品が載置される台であってもよい。
ここでは、ある製品番号「1234」の製品を作業者が組み立てるに際して、生産ナビゲーションシステム10-1に対応する棚12での作業を最初に行い、生産ナビゲーションシステム10-2に対応する棚12での作業を次に行うのが正常である場合を主に想定する。
(1)情報の取得
制御装置11において、取得部161は、製品番号及び作業者IDを取得する。ここでは、一例として、製品番号及び作業者IDは、情報コードとして作業計画書等の書類に付され、最初に作業を行うべき棚に対応する生産ナビゲーションシステム10-1のコード入力部19から読み取られる場合を想定する。この場合、採取作業者は、最初に作業を行うべき棚での採取作業の開始前に、作業計画書に付された情報コードをコード入力部19にかざして読み取らせる。製品番号の読み取りによって、ナビゲーション(以下の(3)採取指示情報の表示)が開始される。
一方、2番目以降に作業を行うべき棚に対応する生産ナビゲーションシステム10-2においては、通信部110によって、直前に作業を行うべき棚に対応する生産ナビゲーションシステム10-1から、製品番号及び作業者IDを受信する。そして、製品番号の受信によって、ナビゲーションが開始される。なお、生産ナビゲーションシステム間を送受信される製品番号は、作業が完了したことを示す情報(作業完了情報)の一例に該当し得る。
そして、取得部161は、製品番号に対応する、予定作業情報、前後作業棚情報、及びガイダンス情報を取得する。ここでは、予定作業情報、前後作業棚情報、及びガイダンス情報が、製品番号に対応付けられて生産ナビゲーションシステム10の記憶部150によってあらかじめ記憶されている場合を想定する。そして、取得部161によって、製品番号に対応する、予定作業情報、前後作業棚情報、及びガイダンス情報が、記憶部150によって取得される場合を想定する。しかし、他の一例として、予定作業情報、前後作業棚情報、及びガイダンス情報は、製品番号に対応付けられてサーバ90によってあらかじめ記憶されていてもよい。かかる場合には、取得部161によって、製品番号に対応する予定作業情報、前後作業棚情報、及びガイダンス情報が、通信部110を介してサーバ90から取得されてよい。
予定作業情報は、棚12に載置された部品を用いた製品の組立計画を示す。ここで、取得部161によって取得される予定作業情報は、当該生産ナビゲーションシステム10に対応する棚12での予定作業情報である。より詳細には、生産ナビゲーションシステム10-1において、取得部161は、生産ナビゲーションシステム10-1に対応する棚12での予定作業情報を取得し、生産ナビゲーションシステム10-2において、取得部161は、生産ナビゲーションシステム10-2に対応する棚12での予定作業情報を取得する。
図7は、製品番号、予定作業情報及びガイダンス情報の例を示す図である。図7に示したように、予定作業情報は、順序、行、列、及び必要数量を含む。順序、行、列及び必要要数量によって、上記した採取指示情報61が構成される。順序は、部品の採取順序を示す情報である。行と列は、組立作業者が製品の組み立てのために採取すべきひとつ以上の部品の各々についての、採取先の部品載置部21である。例えば、行が1、列が2の部品載置部21は、上から1段目、右から2列目の部品載置部21に該当し、部品載置部21ab(図6)に該当する。必要数量は、組立作業者が製品の組み立てのために採取すべきひとつ以上の部品の各々についての、採取すべき数を示す情報である。
また、図7に示したように、ガイダンス情報は、予定作業情報の各順序(各作業)に対応付けられており、組立動画ファイル名(組立動画)、指示書ファイル名(作業指示書)、及び注意喚起を含む。これらのガイダンス情報は、後にも説明するように、各作業に対応して表示される。
なお、ここでは、図7に示した予定作業情報及びガイダンス情報が、生産ナビゲーションシステム10-1の取得部161によって取得される場合を主に想定する。しかし、生産ナビゲーションシステム10-2の取得部161によって取得される予定作業情報及びガイダンス情報の形式も、生産ナビゲーションシステム10-1の取得部161によって取得される予定作業情報及びガイダンス情報と同様の形式であってよい。
前後作業棚情報は、当該棚12での作業の直前に作業を行うべき棚、及び、当該棚12での作業の次に作業を行うべき棚を示す。
図8は、生産ナビゲーションシステム10-1の制御装置11によって取得される前後作業棚情報の例を示す図である。図8に示したように、生産ナビゲーションシステム10-1の取得部161によって取得される前後作業棚情報は、直前に作業を行うべき棚を示す情報(直前作業棚)、及び、次に作業を行うべき棚を示す情報(次作業棚)を有する。ここで、生産ナビゲーションシステム10-1に対応する棚12での作業の前に作業が行われるべき棚はないため、直前作業棚には「-(なし)」が設定されている。さらに、生産ナビゲーションシステム10-2に対応する棚12での作業の次に作業が行われるべき棚は、生産ナビゲーションシステム10-2に対応する棚であるため、次作業棚には「002(生産ナビゲーションシステム10-2に対応する棚)」が設定されている。
図9は、生産ナビゲーションシステム10-2の制御装置11によって取得される前後作業棚情報の例を示す図である。図9に示したように、生産ナビゲーションシステム10-2の取得部161によって取得される前後作業棚情報は、直前作業棚、及び、次作業棚を有する。ここで、生産ナビゲーションシステム10-2に対応する棚12での作業の前に作業が行われるべき棚は、生産ナビゲーションシステム10-1に対応する棚であるため、直前作業棚には「001(生産ナビゲーションシステム10-1に対応する棚)」が設定されている。さらに、生産ナビゲーションシステム10-2に対応する棚12での作業の次に作業が行われるべき棚はないため、次作業棚には「-(なし)」が設定されている。
(2)作業開始前のガイダンス表示
上記したように、作業者が製品を組み立てるに際して、生産ナビゲーションシステム10-1に対応する棚12での作業を最初に行い、生産ナビゲーションシステム10-2に対応する棚12での作業を次に行うのが正常である。したがって、作業者が、最初に作業を行うべき棚に対応する生産ナビゲーションシステム10-1から最初に作業を開始しようとした場合には、正常にナビゲーションが開始される。
一方、作業者が誤って、2番目以降に作業を行うべき棚に対応する生産ナビゲーションシステム10-2から最初に作業を開始しようとした場合には、最初に作業を行うべき棚への移動を促すための情報が表示される。これによって、作業者は、最初に作業を行う棚を誤ったこと、及び、直前に作業を行うべき棚を認識することができる。
より詳細には、コード入力部19によって製品番号が読み取られ、取得部161によって取得された場合には、判定部163は、製品番号を読み取ったコード入力部19に対応する棚が最初に作業を行うべき棚であるかを判定する。一例として、判定部163は、前後作業棚情報の直前作業棚に「-(なし)」が設定されているか否かによって、製品番号を読み取ったコード入力部19に対応する棚が最初に作業を行うべき棚であるか否かを判定してもよい。なお、コード入力部19によって読み取られる製品番号は、作業の開始を示す情報(作業開始情報)の一例に該当し得る。
提示制御部165は、判定部163によって、製品番号を読み取ったコード入力部19に対応する棚が最初に作業を行うべき棚であると判定された場合には、ナビゲーションを行う。一方、提示制御部165は、判定部163によって、製品番号を読み取ったコード入力部19に対応する棚が最初に作業を行うべき棚ではないと判定された場合には、最初に作業を行うべき棚への移動を促すための情報、及び、直前に作業を行うべき棚(直前に作業を行うべき棚の識別情報)が表示されるように表示部120を制御する。
例として、生産ナビゲーションシステム10-1において、コード入力部19によって製品番号が読み取られ、取得部161によって取得された場合には、判定部163は、前後作業棚情報(図8)の直前作業棚に「-(なし)」が設定されているため、生産ナビゲーションシステム10-1に対応する棚が最初に作業を行うべき棚であると判定してよい。そして、提示制御部165は、ナビゲーションを行ってよい。
一方、生産ナビゲーションシステム10-2において、コード入力部19によって製品番号が読み取られ、取得部161によって取得された場合には、判定部163は、前後作業棚情報(図9)の直前作業棚に「001(生産ナビゲーションシステム10-1に対応する棚)」が設定されているため、生産ナビゲーションシステム10-2に対応する棚が最初に作業を行うべき棚ではないと判定してよい。そして、提示制御部165は、最初に作業を行うべき棚への移動を促すための情報、及び、直前作業棚「001(生産ナビゲーションシステム10-1に対応する棚)」が表示されるように表示部120を制御してよい。
図10は、作業開始前のガイダンス情報の例を示す図である。図10に示したように、作業開始前のガイダンス情報は、「最初に作業を行うべき棚に移動してください 棚001(生産ナビゲーションシステム10-1に対応する棚)での作業を先に行ってください」といったメッセージであってもよい。なお、図10に示したように、作業開始前のガイダンス情報は、典型的には、生産ナビゲーションシステム10-2に対応する作業台13の注意喚起表示領域38に表示されてよい。しかし、作業開始前のガイダンス情報が表示される場所は限定されない。
(3)採取指示情報の表示
制御装置11(例えば、提示制御部165)は、部品が載置される複数の部品載置部21が設けられた棚12からの、組立作業者による部品の採取作業を指示する採取指示情報を生成し、生成した採取指示情報を表示するよう表示機構15を制御する。制御装置11は、予定作業情報に従って、採取指示情報を生成する。採取指示情報は、第1の板状部材33及び/又は第2の板状部材34に表示される。採取指示情報は、予定作業情報において計画された製品の組み立てのために採取すべきひとつ以上の部品のうち、未採取の部品の採取を指示する情報である。
・部品を採取すべき部品載置部21を示す情報
採取指示情報は、部品を採取すべき部品載置部21を示す情報を含む。かかる情報が表示されることにより、採取作業者は、どの部品載置部21から部品を採取すべきかを認識することが可能となる。そして、採取指示情報は、部品を採取すべき部品載置部21に対応付けられた領域に表示される。これにより、部品を採取すべき部品載置部21を示す情報が、当該部品載置部21に対応付けられた領域に表示されるので、どの部品載置部21から部品を採取すべきかをより容易に認識することが可能となる。採取示情報の表示例について、図11を参照して具体的に説明する。
図11は、本実施形態に係る採取指示情報の表示の一例を説明するための図である。図11では、生産ナビゲーションシステム10を前方から見たときの採取指示情報の表示の一例が示されている。図11では、矢印として採取指示情報61が表示されている。採取指示情報61は、矢印の向く先にある部品載置部21abを、部品を採取すべき部品載置部21として示している。そして、採取指示情報61は、部品を採取すべき部品載置部21abに対応付けられた領域として、部品載置部21abの直上の第2の板状部材34に表示される。このように、採取指示情報61が、部品載置部21abの付近に表示されることで、採取作業者は、部品を部品載置部21abから採取すべきことを容易に認識することが可能となる。
なお、部品を採取すべき部品載置部21を指示する情報は、矢印の他に、テキスト、動画、又は画像として表示されてもよい。
・採取すべき部品の識別情報
採取指示情報は、採取すべき部品の識別情報を含んでいてもよい。ここでの部品の識別情報は、例えば、部品の名称、部品の画像、又は部品のイラスト等である。これにより、採取すべき部品を誤ることが防止される。また、採取指示情報が採取すべき部品の識別情報を含む場合、複数の部品に関する採取指示情報が一度に投影されてもよい。
・採取すべき部品の数を示す情報
採取指示情報は、採取すべき部品の数を示す情報を含んでいてもよい。なお、採取すべき部品の数は、採取すべき部品の総数であってもよいし、採取すべき部品の総数からすでに採取された部品の数を差し引いた、採取すべき部品の残数であってもよい。いずれにしろ、採取作業者は、採取すべき部品の数を容易に認識することが可能となる。
・その他の情報
さらに、提示制御部165は、採取指示情報以外の情報も表示されるように表示部120を制御する。例えば、図6に示したように、提示制御部165は、組み立ての見本を撮影した組立動画を組立動画表示領域37に表示させ、注意喚起を注意喚起表示領域38に表示させ、作業指示書を作業指示書表示領域39に表示させてよい。また、提示制御部165は、コード入力部19によって読み取られた作業者ID、又は、通信部110によって受信された作業者IDを作業者ID表示領域35に表示させてよい。また、提示制御部165は、コード入力部19によって読み取られた製品番号、又は、通信部110によって受信された製品番号を、製品番号表示領域36に表示させてよい。
・補足
提示制御部165は、後述する作業状況の判定により、採取指示情報において指示された採取作業が完了したと判定部163によって判定された場合、次に採取すべき部品に関する採取指示情報が表示されるように表示部120を制御する。提示制御部165は、予定作業情報において採取が計画された全ての部品の採取が完了するまで、対象とする部品を切り替えながら採取指示情報を表示する。
(4)作業状況の判定
制御装置11(例えば、判定部163)は、撮像部14により撮像された作業者を含む撮像画像に基づいて、作業者による採取作業の状況を判定する。以下、判定対象について詳しく説明する。
・採取作業の内容の判定
制御装置11は、採取作業者が部品載置部21に手を入れたか否かを判定する。例えば、制御装置11は、予め作業開始前に撮像された撮像画像と、作業中に撮像された撮像画像との間で差分が生じた領域が、採取口51に対応する領域である場合に、採取作業者が部品載置部21に手を入れたと判定する。
制御装置11は、採取作業者が部品載置部21に手を入れたと判定した場合、採取作業者が手を入れた部品載置部21を特定する。例えば、制御装置11は、上記の撮像画像間で差分が生じた領域がどの部品載置部21の採取口51に対応する領域であるかを判定することで、採取作業者が手を入れた部品載置部21を特定する。
制御装置11は、一度の採取作業において、採取作業者が部品載置部21から採取する部品の数を識別する。例えば、制御装置11は、採取作業者が部品載置部21に手を入れて出す回数を撮像画像から認識することによって、採取作業者が部品載置部21から採取した部品の数を識別する。
・採取作業の正誤の判定
制御装置11は、上記説明した、採取作業の内容の判定結果に基づいて、採取指示情報により示される採取作業が採取作業者により行われたか否かを判定する。採取指示情報により示される採取作業と同一の作業を、以下では正しい採取作業とも称する。採取指示情報により示される採取作業と異なる採取作業を、以下では誤った採取作業とも称する。
制御装置11は、採取作業者が採取した部品に関し、採取作業の正誤を判定する。この場合、正しい採取作業は、採取指示情報において採取先として指示された部品載置部21から部品を採取することである。他方、誤った採取作業は、採取指示情報において採取先として指示された部品載置部21とは異なる部品載置部21から部品を採取することである。
・採取作業の経過の把握
制御装置11は、上記説明した、採取作業の内容の判定結果に基づいて、部品載置部21ごとに載置された部品の数を、部品が採取される度に減算し、部品が戻される度に加算する。かかる計算は、識別情報が同一の部品ごとに行われる。これにより、制御装置11は、どの部品載置部21にどの部品が何個載置されているかを、常時把握することが可能となる。
制御装置11(例えば、判定部163)は、採取指示情報において指示された採取作業が完了したか否かを判定する。例えば、制御装置11は、予定作業情報において採取が計画された部品の全てに対し、正しい採取作業が行われた場合に完了したと判定し、そうでない場合に未完了であると判定する。
(5)警告情報の表示
制御装置11(例えば、提示制御部165)は、誤った採取作業が採取作業者により行われると判定された場合に、警告情報を表示するよう表示機構15を制御する。これにより、採取作業者は、誤った採取作業を行ったことを容易に認識することができ、誤った採取作業をやり直すことが可能となり、部品の誤採取が防止される。警告情報の一例を、図12を参照しながら説明する。
図12は、本実施形態に係る警告情報の表示の一例を説明するための図である。図12では、生産ナビゲーションシステム10を前方から見たときの警告情報の表示の一例が示されている。図12に示すように、採取指示情報61と共に、警告情報62が表示されている。警告情報62は4段の第2の板状部材34の全てに亘って表示される。これにより、警告情報62の視認性が確保される。ここで、警告情報62は、採取指示情報61とは異なる形態で表示される。一例として、採取指示情報61は緑で表示され、警告情報62は赤で表示される。他の一例として、採取指示情報61は点灯し続け、警告情報62は点滅してもよい。これによっても、警告情報62の視認性が確保される。なお、図12では、採取指示情報61と警告情報62とが同時に表示される例が示されているが、採取指示情報61の表示が中断され、警告情報62のみが表示されてもよい。
警告情報は、誤った採取作業において部品が採取された部品載置部21を示す情報を含んでいてもよい。これにより、採取作業者は、誤って採取された部品を戻そうとする際に、どの部品載置部21に部品を戻せばよいかを容易に認識することが可能となる。この点について、図13を参照して詳しく説明する。
図13は、本実施形態に係る警告情報の表示の一例を説明するための図である。図13では、生産ナビゲーションシステム10を前方から見たときの警告情報の表示の一例が示されている。図13に示すように、採取指示情報61と共に、警告情報62が表示されている。ここでは一例として、採取指示情報61において部品載置部21abから部品を採取するよう指示されていたにもかかわらず、部品載置部21bcから部品が採取されたものとする。そのため、図13に示す警告情報62は、誤った採取作業において部品が採取された部品載置部21bcを示す誤り位置情報63を含んでいる。誤り位置情報63は、誤った採取作業において部品が採取された部品載置部21bcに対応付けられた領域として、部品載置部21bcの直上の第2の板状部材34に表示される。このように、誤り位置情報63が、部品載置部21bcの付近に表示されることで、採取作業者は、部品載置部21bcから誤って部品を採取したこと、及び部品載置部21bcにかかる部品を戻すべきことを容易に認識することが可能となる。
なお、警告情報は、テキスト、動画、又は画像として表示されてもよい。また、警告情報は、上記説明した情報に付随して、任意の情報を含み得る。
一例として、警告情報は、誤った採取作業において採取された部品の識別情報を含んでいてもよい。ここでの部品の識別情報は、例えば、部品の名称、部品の画像、又は部品のイラスト等である。これにより、誤って採取された部品を戻そうとする際に、部品の戻し間違いが防止される。
制御装置11は、誤った採取作業において採取された部品が部品載置部21に戻された場合に、警告情報の表示を停止するよう表示機構15を制御する。例えば、図13に示した例において、部品載置部21bcに誤って採取された部品が戻されると、制御装置11は、警告情報62の表示を停止する。なお、誤って採取された部品が正しく戻されたか否かは、採取作業者が誤って部品が採取された部品載置部21に手を入れて出す動作が撮像画像から認識されるか否かによって判定されてもよい。これにより、採取作業者は、誤って採取された部品が、取り違えることなく戻されたことを容易に認識することが可能となる。
(6)作業完了後のガイダンス表示
上記したように、制御装置11(例えば、判定部163)は、採取指示情報において指示された採取作業が完了したか否かを判定する。
より詳細に、判定部163は、正しい採取作業が行われる度に、当該生産ナビゲーションシステム10に対応する棚12において作業者によって実施される予定の作業を示す予定作業情報(図7)と作業者によって当該棚12において実施された作業を示す実績作業情報とが合致するか否かを判定する。これによって、判定部163は、採取作業が完了したか否かを判定する。
提示制御部165は、作業予定情報と実績作業情報とが合致する場合、かつ、当該予定作業情報が示す作業に続いて、他の棚において作業者によって作業が実施される予定の情報が登録されている場合、当該他の棚への移動を促すための情報(以下、「作業完了後のガイダンス情報」とも言う。)が表示されるように表示部120を制御する。これによって、作業者が作業エリア間を移動すべき場合に、作業エリア間を移動すべきことを容易に把握することが可能となる。
例として、生産ナビゲーションシステム10-1において、取得部161によって取得された予定作業情報(図7)の順序1~4の「行」「列」「必要数量」に示される通りに作業が実施されたと判定部163によって判定された場合を想定する。このとき、前後作業棚情報(図8)の次作業棚に「002(生産ナビゲーションシステム10-2に対応する棚)」が設定されているため、提示制御部165は、生産ナビゲーションシステム10-2に対応する棚への移動を促すための情報(作業完了後のガイダンス情報)が表示されるように表示部120を制御してよい。そして、通信制御部167は、製品番号及び作業者IDが生産ナビゲーションシステム10-2に送信されるように通信部110を制御してよい。上記したように、生産ナビゲーションシステム間を送受信される製品番号は、作業完了情報の一例に該当し得る。
図14は、作業完了後のガイダンス情報の例を示す図である。図14に示したように、作業完了後のガイダンス情報は、「棚002(生産ナビゲーションシステム10-2に対応する棚)での作業を次に行ってください」といったメッセージであってもよい(次作業棚の識別情報を含んでもよい)。なお、図14に示したように、作業完了後のガイダンス情報は、典型的には、生産ナビゲーションシステム10-1に対応する作業台13の注意喚起表示領域38に表示されてよい。しかし、作業完了後のガイダンス情報が表示される場所は限定されない。
一方、生産ナビゲーションシステム10-2において、取得部161によって取得された予定作業情報に示される通りに作業が実施されたと判定部163によって判定された場合を想定する。このとき、前後作業棚情報(図9)の次作業棚に「-(なし)」が設定されているため、提示制御部165は、次の棚への移動を促すための(作業完了後のガイダンス情報)を表示させなくてよい。その代わりに、提示制御部165は、製品の組み立て完了を示す情報が表示されるように表示部120を制御してよい。
<2.3.記録処理>
制御装置11(例えば、記憶制御部169)は、作業者による作業の様子を記録してもよい。例えば、制御装置11は、撮像部14及び/又はモーションキャプチャカメラ20により撮像された画像(静止画像/動画像)を記憶する。
そして、制御装置11は、記憶された画像に基づいて作業者の作業内容を分析する。例えば、作業者の動線、顔の向き、部品の採取のために手が入れられた部品載置部21の分布、及び作業時間等が解析される。その結果、例えば、部品の採取のために手が入れられる頻度の高い部品載置部21ほど手を入れやすい位置に分布するよう、棚12における部品の配置が改善され得る。分析結果は、例えばシステム1の管理者に対して出力され得る。
<2.4.処理の流れ>
図15は、本実施形態に係る生産ナビゲーションシステム10による表示処理の流れの一例を示すフローチャートである。図15に示すように、まず、判定部163は、コード入力部19によって作業計画書に付された製品番号(作業開始情報)が読み取られたかを判定する(ステップS100)。判定部163は、コード入力部19によって製品番号が読み取られなかったと判定した場合(ステップS100/NO)、通信部110によって製品番号(作業完了情報)が受信されたかを判定する(ステップS106)。判定部163によって、製品番号(作業完了情報)が受信されなかったと判定された場合(ステップS106/NO)、処理はステップ100に戻る。一方、判定部163によって、製品番号(作業完了情報)が受信されたと判定された場合(ステップS106/YES)、処理はステップS108に進む。
判定部163は、コード入力部19によって製品番号が読み取られたと判定した場合(ステップS100/YES)、当該生産ナビゲーションシステム10に対応する棚が最初に作業を行うべき棚であるかを判定する(ステップS102)。提示制御部165は、判定部163によって、当該生産ナビゲーションシステム10に対応する棚が最初に作業を行うべき棚ではないと判定された場合(ステップS102/NO)、最初に作業を行うべき棚への移動を促すための情報が表示されるように表示部120を制御して(ステップS104)、処理は終了する。このとき、提示制御部165は、直前に作業を行うべき棚の識別情報を表示させてもよい。一方、判定部163によって、当該生産ナビゲーションシステム10に対応する棚が最初に作業を行うべき棚であると判定された場合(ステップS102/YES)、処理はステップS108に進む。
続いて、提示制御部165は、当該生産ナビゲーションシステム10に対応する棚における作業のナビゲーションを行う(ステップS108)。詳しくは、提示制御部165は、第1の板状部材33及び/又は第2の板状部材34に採取指示情報を表示するよう表示機構15を制御する。次いで、判定部163は、正しい採取作業が行われたか否かを判定する(ステップS110)。誤った採取作業が行われたと判定された場合(ステップS110/NO)、提示制御部165は、警告情報を表示するよう表示機構15を制御する(ステップS112)。誤って採取された部品が部品載置部21に戻されると、警告情報の表示は停止され、処理はステップS108に戻る。正しい採取作業が行われたと判定された場合(ステップS110/YES)、判定部163は、予定作業情報において計画された組立作業が完了したか否かを判定する(ステップS114)。計画された組立作業が完了していないと判定された場合(ステップS114/NO)、処理はステップS108に戻る。一方、判定部163は、計画された組立作業が完了したと判定された場合(ステップS114/YES)、処理はステップS116に進む。
次いで、判定部163は、当該生産ナビゲーションシステム10に対応する棚の次に作業を行うべき棚があるかを判定する(ステップS116)。そして、次に作業を行うべき棚がないと判定された場合(ステップS116/NO)、処理は終了する。一方、次に作業を行うべき棚があると判定された場合(ステップS116/YES)、提示制御部165は、次に作業を行うべき棚への移動を促すための情報が表示されるように表示部120を制御する(ステップS118)。このとき、提示制御部165は、次に作業を行うべき棚の識別情報を表示させてもよい。また、通信制御部167は、次に作業を行うべき棚に対応する生産ナビゲーションシステム10に製品番号(作業完了情報)が送信されるように通信部110を制御する(ステップS119)。その後、処理は終了する。
<<3.変形例>>
上記実施形態では、作業者が手で部品を採取するものと説明したが、本発明はかかる例に限定されない。例えば、作業者が、ロボットアーム等を操作して部品を採取してもよい。その場合も、作業者が手で作業する場合と同様の採取指示情報の表示、作業状況の判定、及び警告情報の表示、各種のガイダンス情報の表示等が行われる。
上記実施形態では、採取指示情報、警告情報及び各種のガイダンス情報が表示されるものとして説明したが、本発明はかかる例に限定されない。採取指示情報、警告情報及び各種のガイダンス情報は、表示と共に、又は表示に変えて、音又は触覚刺激等の任意の手段により出力されてもよい。すなわち、表示部120は、採取指示情報、警告情報及び各種のガイダンス情報を提示する提示部に置き換えられてもよい。このとき、提示制御部165は、これらの情報が提示部によって提示されるように提示部を制御してもよい。
上記実施形態では、ある棚での作業が完了して次の棚に対応する生産ナビゲーションシステムから製品情報(作業完了情報)が送信されると、当該次の棚に対応する生産ナビゲーションシステムにおける製品情報の受信によって当該次の棚におけるナビゲーションが始まる。このとき、作業者は、次の棚に表示される採取指示情報61を見ても、次の棚を認識することができる。しかし、複数の作業者によって同時に作業が行われる場合などには、複数の棚それぞれに同時に採取指示情報61が表示されてしまう場合もある。かかる場合であっても、作業者は、各棚に表示される作業者IDを見れば、自分が作業すべき次の棚を認識することができる。あるいは、棚で作業を行う作業者IDに応じて採取指示情報61の色が異なってもよい。
上記実施形態では、生産ナビゲーションシステム10ごとに、当該生産ナビゲーションシステム10に対応する棚での予定作業情報を記憶する場合を説明した。しかし、複数の生産ナビゲーションシステム10に対応する棚での予定作業情報は、サーバ90によって一括して記憶されていてもよい。かかる場合には、判定部163による判定(例えば、次に作業を行うべき棚があるか、当該生産ナビゲーションシステムに対応する棚が最初に作業を行うべき棚であるか、といった判定など)は、生産ナビゲーションシステム10の代わりに、サーバ90によって行われてもよい。
上記実施形態では、当該生産ナビゲーションシステムに対応する棚の次に作業を行うべき棚が1つである場合を説明した。しかし、次に作業を行うべき棚として複数の棚が設定されていてもよい。かかる場合には、当該複数の棚のいずれかに作業者は移動すればよい。これに関連して、当該生産ナビゲーションシステムに対応する棚の直前に作業を行うべき棚として複数の棚が設定されていてもよい。かかる場合には、当該複数の棚のいずれかから作業者が移動してくる可能性がある。
上記実施形態では、1つの予定作業情報によって示される作業が1つの棚だけで行われる場合を説明した。しかし、製品の組み立てに必要な部品の数が多い場合、又は、1つあたりの棚のサイズが小さい場合などには、1つの予定作業情報によって示される作業を複数の棚で行いたい場合も想定される。したがって、作業予定情報に作業を行うべき棚の識別情報も設定しておき、提示制御部165は、作業を行うべき棚の識別情報に基づいて、複数の棚のいずれの棚に対して作業を行うべきかをナビゲーションしてもよい。
<<4.ハードウェア構成>>
以上、本発明の各実施形態を説明した。上述した作業状況の判定、並びに採取指示情報の表示、警告情報の表示、各種のガイダンス情報の表示等の情報処理は、ソフトウェアと、以下に説明する生産ナビゲーションシステム10のハードウェアとの協働により実現される。
図16は、生産ナビゲーションシステム10のハードウェア構成を示したブロック図である。生産ナビゲーションシステム10は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、を備える。また、生産ナビゲーションシステム10は、ブリッジ205と、外部バス206と、インタフェース207と、入力装置208と、表示装置209と、音声出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、ネットワークインタフェース215とを備える。
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って生産ナビゲーションシステム10内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。CPU201はRAM203においてソフトウェアに従った処理を行うことにより、上述した制御部160の機能を実現し得る。
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなど作業者が情報を入力するための入力手段と、作業者による入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。作業者は、該入力装置208を操作することにより、生産ナビゲーションシステム10に対して各種のデータを入力したり処理動作を指示したりすることができる。これらの入力装置208は、入力部140の機能を実現し得る。
また、入力装置208は、作業者に関する情報を検出する装置により形成され得る。例えば、入力装置208は、画像センサ(例えば、カメラ)、深度センサ(例えば、ステレオカメラ)、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。これらの入力装置208は、センサ部130の機能を実現し得る。
表示装置209は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、プロジェクタ装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、音声出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。表示装置209は、上述した表示部120の機能を実現し得る。
ストレージ装置211は、本実施形態にかかる生産ナビゲーションシステム10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)またはSSD(Solid Strage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置211は、ストレージを駆動し、CPU201が実行するプログラムや各種データを格納する。当該ストレージ装置211は、上述した記憶部150の機能を実現し得る。
ドライブ212は、記憶媒体用リーダライタであり、生産ナビゲーションシステム10に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体214に記録されている情報を読み出して、RAM203またはストレージ装置211に出力する。また、ドライブ212は、リムーバブル記憶媒体214に情報を書き込むこともできる。
ネットワークインタフェース215は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース215は、無線LAN(Local Area Network)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。ネットワークインタフェース215は、上述した通信部110の機能を実現し得る。
<<5.補足>>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。
また、上記説明した制御装置11の機能は、複数の装置に分散して実装されてもよい。
1 システム
10 生産ナビゲーションシステム
11 制御装置
12 棚
13 作業台
14 撮像部
15 表示機構
19 コード入力部
110 通信部
120 表示部
130 センサ部
140 入力部
150 記憶部
160 制御部
161 取得部
163 判定部
165 提示制御部
167 通信制御部
169 記憶制御部
20 モーションキャプチャカメラ
21 部品載置部
22 仕切板
31 プロジェクタ
32 ミラー
33 第1の板状部材
34 第2の板状部材
35 作業者ID表示領域
36 製品番号表示領域
37 組立動画表示領域
38 注意喚起表示領域
39 作業指示書表示領域
44 支持フレーム
51 採取口
61 採取指示情報
62 警告情報
63 位置情報
80 ネットワーク
90 サーバ

Claims (12)

  1. 第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、
    前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、
    前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、
    前記第2の作業エリアに対応する生産ナビゲーションシステムに作業完了情報が送信されるように通信部を制御する通信制御部と、
    を備える、生産ナビゲーション装置。
  2. 前記通信制御部は、
    前記実績作業情報と前記予定作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアに対応する生産ナビゲーションシステムに前記作業完了情報が送信されるように前記通信部を制御する、
    請求項1に記載の生産ナビゲーション装置。
  3. 前記提示制御部は、第3の作業エリアに対応する生産ナビゲーションシステムから作業完了情報が受信された場合、前記予定作業情報が示す作業のナビゲーションを開始する、
    請求項1または2に記載の生産ナビゲーション装置。
  4. 前記作業完了情報は、前記予定作業情報が示す作業によって組み立てられる製品の識別情報である、
    請求項1~のいずれか一項に記載の生産ナビゲーション装置。
  5. 前記提示制御部は、作業開始情報が読み取られた場合、前記第1の作業エリアが最初に作業を行うべき作業エリアであるかが判定され、前記第1の作業エリアが最初に作業を行うべき作業エリアではないと判定された場合、最初に作業を行うべき作業エリアへの移動を促すための情報が提示されるように前記提示部を制御する、
    請求項1に記載の生産ナビゲーション装置。
  6. 前記提示制御部は、前記第1の作業エリアが最初に作業を行うべき作業エリアであると判定された場合、前記予定作業情報が示す作業のナビゲーションを開始する、
    請求項5に記載の生産ナビゲーション装置。
  7. 前記作業開始情報は、前記予定作業情報が示す作業によって組み立てられる製品の識別情報である、
    請求項5または6に記載の生産ナビゲーション装置。
  8. 前記判定部は、撮像部により撮像された前記作業者を含む撮像画像に基づいて、前記実績作業情報を判定する、
    請求項1に記載の生産ナビゲーション装置。
  9. 第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、
    前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、
    前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、
    を備え、
    前記提示制御部は、第3の作業エリアに対応する生産ナビゲーションシステムから作業完了情報が受信された場合、前記予定作業情報が示す作業のナビゲーションを開始する、
    生産ナビゲーション装置。
  10. 第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、
    前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、
    前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、
    を備え、
    前記提示制御部は、作業開始情報が読み取られた場合、前記第1の作業エリアが最初に作業を行うべき作業エリアであるかが判定され、前記第1の作業エリアが最初に作業を行うべき作業エリアではないと判定された場合、最初に作業を行うべき作業エリアへの移動を促すための情報が提示されるように前記提示部を制御し、
    前記提示制御部は、前記第1の作業エリアが最初に作業を行うべき作業エリアであると判定された場合、前記予定作業情報が示す作業のナビゲーションを開始する、
    生産ナビゲーション装置。
  11. 第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得することと、
    前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定することと、
    前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御することと、
    前記第2の作業エリアに対応する生産ナビゲーションシステムに作業完了情報が送信されるように通信部を制御することと、
    を備える、コンピュータにより実行される生産ナビゲーション方法。
  12. コンピュータを、
    第1の作業エリアにおいて作業者によって実施される予定の作業を示す予定作業情報を取得する取得部と、
    前記作業者によって前記第1の作業エリアにおいて実施された作業を示す実績作業情報を判定するとともに、前記第1の作業エリアに対して前記第1の作業エリアの次に作業が行われる予定の第2の作業エリアが関連付けられて登録されているかを判定する判定部と、
    前記予定作業情報と前記実績作業情報とが合致すると判定された場合、かつ、前記第1の作業エリアに対して前記第2の作業エリアが関連付けられて登録されていると判定された場合、前記第2の作業エリアへの移動を促すための情報が提示されるように提示部を制御する提示制御部と、
    前記第2の作業エリアに対応する生産ナビゲーションシステムに作業完了情報が送信されるように通信部を制御する通信制御部と、
    を備える生産ナビゲーション装置として機能させるためのプログラム。
JP2019157278A 2019-08-29 2019-08-29 生産ナビゲーション装置、生産ナビゲーション方法及びプログラム Active JP7358848B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019157278A JP7358848B2 (ja) 2019-08-29 2019-08-29 生産ナビゲーション装置、生産ナビゲーション方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019157278A JP7358848B2 (ja) 2019-08-29 2019-08-29 生産ナビゲーション装置、生産ナビゲーション方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021033962A JP2021033962A (ja) 2021-03-01
JP7358848B2 true JP7358848B2 (ja) 2023-10-11

Family

ID=74675990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019157278A Active JP7358848B2 (ja) 2019-08-29 2019-08-29 生産ナビゲーション装置、生産ナビゲーション方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7358848B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030189A1 (ja) 2016-08-10 2018-02-15 コニカミノルタ株式会社 端末装置
JP2018045669A (ja) 2016-09-12 2018-03-22 沖電気工業株式会社 生産ナビゲーションシステム、そのサポートシステム、及び、データ管理方法
JP2020095617A (ja) 2018-12-14 2020-06-18 コニカミノルタ株式会社 安全管理支援システム、および制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030189A1 (ja) 2016-08-10 2018-02-15 コニカミノルタ株式会社 端末装置
JP2018045669A (ja) 2016-09-12 2018-03-22 沖電気工業株式会社 生産ナビゲーションシステム、そのサポートシステム、及び、データ管理方法
JP2020095617A (ja) 2018-12-14 2020-06-18 コニカミノルタ株式会社 安全管理支援システム、および制御プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ニッポン製造業の生きる道 身の丈カイゼンで強さ伸ばし弱点補う,日経ビジネス,日経BP社,2017年04月10日,第1886号,p.32-37
杉本 榮次,デジタル表示器による物流・生産効率化推進システム,月刊自動認識,日本工業出版株式会社,2011年06月10日,第24巻 第6号,p.1-5

Also Published As

Publication number Publication date
JP2021033962A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
TWI544447B (zh) 擴增實境的方法及系統
JP6517726B2 (ja) ピックアップ装置
JP7139570B2 (ja) 生産ナビゲーションシステム
EP2570891A1 (en) Projector
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
EP3611117A1 (en) Article management assistance device, article management assistance system, and article management assistance method
CN110889317A (zh) 操作辅助装置
JP2012171759A (ja) 物品管理システム
JP7358848B2 (ja) 生産ナビゲーション装置、生産ナビゲーション方法及びプログラム
JP5773003B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP7322423B2 (ja) 情報処理装置、生産ナビゲーションシステム、情報処理方法及びプログラム
JP7020490B2 (ja) 情報処理装置、制御方法、及びプログラム
KR102465862B1 (ko) 입력 장치 및 그 제어방법
EP2816455B1 (en) Projector with photodetector for inclination calculation of an object
JP2005096956A (ja) 書籍管理システム
CN115361542A (zh) 投影机清洁度自检方法、装置、设备及存储介质
JP7452088B2 (ja) 作業支援装置、作業支援方法及びプログラム
JP7435021B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023080230A1 (ja) 管理装置、管理システム、管理方法および管理プログラム
JP2010079529A (ja) 情報処理装置、情報処理方法、そのプログラム及および記録媒体
JP6827717B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2021012586A (ja) データ生成装置、データ生成システムおよびデータ生成方法
JP2022130814A (ja) 情報処理装置、情報処理システム、及びプログラム
US11367176B2 (en) Commodity management device and commodity management system
JP2023034399A (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7358848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150