JPWO2018131081A1 - 作業支援プログラム、作業支援装置および作業支援方法 - Google Patents

作業支援プログラム、作業支援装置および作業支援方法 Download PDF

Info

Publication number
JPWO2018131081A1
JPWO2018131081A1 JP2018561127A JP2018561127A JPWO2018131081A1 JP WO2018131081 A1 JPWO2018131081 A1 JP WO2018131081A1 JP 2018561127 A JP2018561127 A JP 2018561127A JP 2018561127 A JP2018561127 A JP 2018561127A JP WO2018131081 A1 JPWO2018131081 A1 JP WO2018131081A1
Authority
JP
Japan
Prior art keywords
information
command
worker
character string
work support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018561127A
Other languages
English (en)
Other versions
JP6725010B2 (ja
Inventor
真史 山田
正敏 波吉
継一 谷畠
稔 澤田石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018131081A1 publication Critical patent/JPWO2018131081A1/ja
Application granted granted Critical
Publication of JP6725010B2 publication Critical patent/JP6725010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

作業支援装置2は、特定の作業者に対して他の作業者の発音情報と非類似の発音情報を生成し、作業者毎にコマンドと発音情報とを関連付けて記憶する記憶部23に、特定の作業者に対して生成した発音情報を関連付けて格納し、特定の作業者に関連付けた発音情報を特定の作業者に送信する。作業支援装置2は、マイクに入力された音声情報を受信し、記憶部23を参照して、受信した音声情報と所定の類似度以上となる発音情報を検出する場合に、発音情報に関連付けられたコマンドを実行することで、音声により端末を操作する場合に、正確な端末操作を可能とする。

Description

本発明は、作業支援プログラムなどに関する。
製造現場などの作業者が装着している端末の画面に作業を進めるうえで必要となるマニュアルなどの情報を表示し、作業者が正確に作業を進めることを支援するシステムがある。かかるシステムでは、作業者は、1つの作業を完了すると、次の工程のマニュアルを画面に表示させるために端末を音声で操作し、画面を進める。すなわち、端末は、作業者の音声を検出し、端末を操作するコマンドとして認識する。
また、作業指示を必要とする組立作業場において、予め登録されたメッセージ文節を持つコンピュータが、作業工程に対応し予め登録されたメッセージ文節の受け渡しにより作業者へ決められた作業指示をする(例えば、特許文献1参照)。ここでいうメッセージ文節には、例えば、作業する製品の識別を問い合わせる「製品名をどうぞ」、作業名を問い合わせる「作業名をどうぞ」や作業の工程を指示するメッセージ文節が挙げられる。そして、「製品名は何ですか」とのコンピュータからの問合せでスタートし、一つの作業場内で交信を行い、作業者からの「終了です」の返事で最初に戻る。
特開平11−272747号公報 特開2011−34230号公報
しかしながら、端末が、予め登録されたキーワードを作業者の音声から検出し、端末を操作するコマンドとすると、端末が意図しない操作をしてしまう場合があるという問題がある。例えば、端末が、作業場の騒音により作業者の音声を全て認識できない場合には、キーワードとなる音声を検出できず、端末が意図しない操作をしてしまう場合がある。また、端末が、近くにいる別の作業者の音声を誤って検出する場合がある。一例として、別の作業者の音声が、コマンドとしての音声でなく、会話としての音声である場合である。かかる場合には、端末は、別の作業者の音声からキーワードを検出してしまい、端末を操作するコマンドとして認識し、端末が意図しない操作をしてしまう。
1つの側面では、音声により端末を操作する場合に、正確な端末操作を可能とすることを目的とする。
1つの態様では、作業支援プログラムは、コンピュータに、特定の作業者に対して他の作業者の発音情報と非類似の発音情報を生成し、作業者毎に実行情報と発音情報とを関連付けて記憶する記憶部に、前記特定の作業者に対して生成した前記発音情報を関連付けて格納し、前記発音情報を前記特定の作業者に送信し、マイクに入力された音声情報を受信し、前記記憶部を参照して、受信した前記音声情報と所定の類似度以上となる発音情報を検出する場合に、前記発音情報に関連付けられた実行情報を実行する、処理を実行させる。
1つの態様によれば、音声により端末を操作する場合に、正確な端末操作を可能とする。
図1は、実施例に係る作業支援装置を含むシステムの構成図である。 図2は、実施例に係るシステム共通情報のデータ構造の一例を示す図である。 図3は、実施例に係るコマンド管理情報のデータ構造の一例を示す図である。 図4は、作業指示情報のデータ構造の一例を示す図である。 図5は、コンテンツ情報のデータ構造の一例を示す図である。 図6は、実施例に係るコマンド音声送信処理のフローチャートの一例を示す図である。 図7は、実施例に係る新規コマンド生成処理のフローチャートの一例を示す図である。 図8は、実施例に係るコマンド音声受付処理のフローチャートの一例を示す図である。 図9は、実施例に係るシステムの具体例を示す図である。 図10は、作業支援プログラムを実行するコンピュータの一例を示す図である。
以下に、本願の開示する作業支援プログラム、作業支援装置および作業支援方法の実施例を図面に基づいて詳細に説明する。なお、実施例によりこの発明が限定されるものではない。
[作業支援装置を含むシステムの構成]
図1は、実施例に係る作業支援装置を含むシステムの構成図である。図1に示す作業支援システム9は、工場などの製造現場の作業者が作業を正確に進めることを支援するシステムである。作業管理システム9は、携帯端末1および作業支援装置2を有する。作業支援装置2は、携帯端末1とネットワーク3で接続される。
携帯端末1は、作業者が携帯可能かつ装着可能な端末である。1台の携帯端末1は、1人の作業者によって携帯される。携帯端末1は、作業者の音声を入力するマイクを含むヘッドセットを有する。作業者は、携帯端末1への、作業に関わる操作(コマンド)を作業支援装置2から与えられるコマンド文字列をマイクに発声することにより行う。すなわち、作業者は、ヘッドセットを装着し、作業支援装置2から作業指示およびコマンドとしての役割を担うコマンド文字列を音声で受け、作業が完了したら、コマンド文字列を発声することで次の作業指示を要求する。ここでいう「コマンド文字列」とは、携帯端末1を操作するコマンド用の文字列のことをいう。「コマンド文字列」は、会話で用いられる単語や文ではなく、例えば、数字列である。なお、携帯端末1は、図1では1台を示しているが、製造現場で作業支援を所望する作業者の人数分の台数であれば良い。
作業支援装置2は、音声を用いて携帯端末1を操作する作業者の作業を支援する。例えば、作業支援装置2は、特定の作業者に対して現に作業中の他の作業者の発音情報と非類似の発音情報を生成する。そして、作業支援装置2は、作業者毎に、発音情報を関連付けて記憶する記憶部に、特定の作業者に該生成した発音情報を関連付けて格納する。そして、作業支援装置2は、特定の作業者に関連付けた発音情報を特定の作業者の携帯端末1に送信する。特定の作業者の所持するマイクに入力された音声情報を受信した作業支援装置2は、受信した音声情報と記憶部に記憶されたいずれかの発音情報とが所定の類似度以上である場合に、特定の作業者に対して所定の類似度以上である発音情報に対応するコマンドを実行する。すなわち、作業支援装置2は、特定の作業者の作業指示が音声により要求される場合に、要求時点の発音情報が他の作業者の発音情報と類似しないように、特定の作業者の発音情報をコマンドとして生成する。
携帯端末1は、OS(Operating System)11、制御部12および記憶部13を有する。
OS11は、画面出力デバイス111、タッチ入力デバイス112、音声入出力デバイス113および通信部114を有する。画面出力デバイス111は、画面に情報を出力するデバイスである。タッチ入力デバイス112は、タッチによって入力を検知するデバイスである。タッチ入力デバイス112には、例えば、タッチパッド、キーボードやマウスのドライバが挙げられる。音声入出力デバイス113は、音声を入力したり、音声を出力したりするデバイスである。音声入出力デバイス113には、例えば、音声を入力するデバイスとしてマイクのドライバが挙げられる。音声入出力デバイス113には、例えば、音声を出力するデバイスとしてスピーカーのドライバが挙げられる。通信部114は、ネットワーク3を介して通信するために用いられるデバイスである。
制御部12は、CPU(Central Processing Unit)などの電子回路に対応する。そして、制御部12は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部12は、作業指示要求部121、コンテンツ読み上げ部122およびコマンド音声送信部123を有する。なお、コマンドは、実行情報の一例である。
記憶部13は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部13は、システム共通情報131を有する。システム共通情報131は、作業支援システム9内で共通に用いられる情報である。システム共通情報131には、例えば、作業支援装置2によって生成されるコマンド文字列の長さやコマンドとして判断するための文字列の長さが挙げられる。なお、システム共通情報131は、後述する作業支援装置2に記憶されるシステム共通情報231と同じ情報である。そして、システム共通情報231のデータ構造は、後述するものとする。
作業指示要求部121は、ログイン後に、作業指示の要求を作業支援装置2へ送信する。作業指示要求部121は、作業指示の要求に対して、作業に対応するコンテンツ(マニュアル)およびコマンド文字列を応答として受信する。このコマンド文字列が、携帯端末1に対するコマンド用の文字列であり、作業者がコマンドとして音声で発する文字列である。
コンテンツ読み上げ部122は、作業支援装置2から受信したコンテンツを、音声入出力デバイス113を介して読み上げる。
コマンド音声送信部123は、携帯端末1のマイクより入力された音声を文字列に変換し、所定の長さの文字列が出現した場合に、コマンド文字列と判断し、コマンド文字列と判断した文字列をコマンド音声として作業支援装置2へ送信する。所定の長さとは、例えば、コマンド文字列長以下かつ確定文字列長以上である。なお、以降では、変換される文字列を数値列として説明する。
作業支援装置2は、OS21、制御部22および記憶部23を有する。
OS21は、通信部211を有する。通信部211は、ネットワーク3を介して通信するために用いられるデバイスである。
制御部22は、CPUなどの電子回路に対応する。そして、制御部22は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部22は、新規コマンド生成部221、コマンド音声受付部222およびログイン受付部223を有する。なお、新規コマンド生成部221は、生成部、格納部および送信部の一例である。コマンド音声受付部222は、実行部の一例である。
記憶部23は、例えば、RAM、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部23は、システム共通情報231、コマンド管理情報232、作業指示情報233およびコンテンツ情報234を有する。
システム共通情報231は、作業支援システム9内で共通に用いられる情報である。
ここで、システム共通情報231のデータ構造の一例を、図2を参照して説明する。図2は、実施例に係るシステム共通情報のデータ構造の一例を示す図である。図2に示すように、システム共通情報231は、コマンド文字列長231aおよび確定文字列長231bを対応付けて記憶する。コマンド文字列長231aは、コマンド文字列の長さである。確定文字列長231bは、コマンドとして確定するための文字列長である。コマンド文字列長231aは、確定文字列長231b以上である。一例として、コマンド文字列長231aが「5」である場合に、確定文字列長231bとして「4」と記憶している。なお、システム共通情報231は、システムが運用される前に、予め定められる。
なお、携帯端末1に記憶されるシステム共通情報131は、システム共通情報231と同じ情報である。したがって、システム共通情報131は、コマンド文字列長131aおよび確定文字列長131bを対応付けて記憶する。コマンド文字列長131aおよび確定文字列長131bに記憶される内容は、それぞれコマンド文字列長231aおよび確定文字列長231bと同様である。
コマンド管理情報232は、現に作業中の作業者とコマンド文字列とを対応付けて管理する情報である。なお、コマンド管理情報232は、記憶部の一例である。
ここで、コマンド管理情報232のデータ構造の一例を、図3を参照して説明する。図3は、実施例に係るコマンド管理情報のデータ構造の一例を示す図である。図3に示すように、コマンド管理情報232は、作業者コード232a、オーダID(Identifier)232bおよびコマンド文字列232cを対応付けて記憶する。作業者コード232aは、作業者を識別するための識別子である。オーダID232bは、オーダを識別するための識別子である。ここでいうオーダは、工程および作業で表わされ、1つの製品を完成するプロセスの中の一部である。1つの工程および作業は、1つのオーダIDを持つ。コマンド文字列232cは、携帯端末1を操作するコマンド用の文字列である。一例として、作業者コード232aが「MAN−001」である場合に、オーダID232bとして「OD001−01」、コマンド文字列232cとして「59825」と記憶している。なお、コマンド管理情報232では、オーダID232bがコマンドに関連する情報である。
作業指示情報233は、作業者へ作業指示される情報である。
ここで、作業指示情報233のデータ構造の一例を、図4を参照して説明する。図4は、実施例に係る作業指示情報のデータ構造の一例を示す図である。図4に示すように、作業指示情報233は、オーダID233a、工程番号233b、工程名233c、作業番号233d、作業名233e、作業場所コード233f、担当者コード233gおよび作業状況233hを対応付けて記憶する。オーダID233aは、オーダを識別するための識別子である。オーダID233aは、コマンド管理情報232のオーダID232bに対応する。工程番号233bは、工程を識別するための番号である。工程名233cは、工程の名称である。作業番号233dは、作業を識別するための番号である。作業名233eは、作業の名称である。作業場所コード233fは、作業場所を識別するための識別子である。担当者コード233gは、作業指示を出す先となる担当者を識別するための識別子である。作業状況233hは、作業の進捗状況である。なお、オーダID233a〜担当者コード233gは、システムが運用される前に予め定められる。作業状況233hは、後述するコマンド音声受付部222によって設定される。
一例として、オーダID233aが「OD001−01」である場合に、工程番号233bとして「1」、工程名233cとして「一次加工」と記憶している。また、作業番号233dとして「11」、作業名233eとして「孔あけ」、作業場所コード233fとして「LINE01A」、担当者コード233gとして「MAN−001」、作業状況233hとして「完了」と記憶している。すなわち、オーダID233a「OD001−01」は、工程番号233b「1」および作業番号233d「11」で一意に表わされたものである。
コンテンツ情報234は、作業者が作業中に参照するコンテンツの情報である。コンテンツ情報234は、作業ごとのコンテンツの情報である。
ここで、コンテンツ情報234のデータ構造の一例を、図5を参照して説明する。図5は、実施例に係るコンテンツ情報のデータ構造の一例を示す図である。図5に示すように、コンテンツ情報234は、作業番号234aおよびコンテンツ234bを対応付けて記憶する。作業番号234aは、作業を識別するための番号である。作業番号234aは、作業指示情報233の作業番号233dに対応する。コンテンツ234bは、作業者へ指示するコンテンツ(マニュアル)が存在するパスであり、例えば、コンテンツのウェブページを示す。作業者は、コンテンツが存在するパスからコンテンツ(マニュアル)を読み込んで作業指示を音声で受けることになる。一例として、作業番号234aが「11」である場合に、コンテンツ234bとして「B01P08.htm」を記憶している。なお、コンテンツ234bは、コンテンツが存在するパスと説明したが、コンテンツそのものであっても良い。また、コンテンツ情報234は、システムが運用される前に予め定められる。
ログイン受付部223は、携帯端末1からログインを受け付ける。例えば、ログイン受付部223は、携帯端末1からユーザ名およびパスワードを受け付ける。ログイン受付部223は、受け付けたユーザ名およびパスワードを用いてログインの認証を行う。ログイン受付部223は、認証に成功した場合には、成功した旨を携帯端末1に送信する。ログイン受付部223は、認証に失敗した場合には、失敗した旨を携帯端末1に送信する。
新規コマンド生成部221は、携帯端末1からログイン後の作業指示の要求に応じて、または、作業完了後の次の作業指示の要求に応じて、携帯端末1の作業者に対して現に作業中の他の作業者のコマンド文字列と類似しないコマンド文字列を生成する。なお、作業指示の要求は、例えば、作業を識別するオーダIDをパラメータとする。例えば、新規コマンド生成部221は、システム共通情報231に記憶されたコマンド文字列長231aを持つ数値列(数値並び)を、乱数を用いて生成する。新規コマンド生成部221は、生成したコマンド文字列長231aの数値列から、確定文字列長231bを持つ数値列を複数抽出する。新規コマンド生成部221は、コマンド管理情報232に、抽出した数値列を含むコマンド文字列232cが存在するか否かを判定する。新規コマンド生成部221は、コマンド管理情報232に、抽出した数値列を含むコマンド文字列232cが存在する場合には、新たなコマンド文字列を生成する。すなわち、新規コマンド生成部221は、コマンド管理情報232に、生成したコマンド文字列に類似する数値列を含むコマンド文字列232cが存在する場合には、別の文字列を生成する。つまり、新規コマンド生成部221は、現に作業中の他の作業者のコマンド文字列232cと非類似のコマンド文字列を生成する。なお、新規コマンド生成部221は、乱数を用いて数値列を生成すると説明したが、予め定められた辞書を用いて数値列を生成しても良い。辞書には、コマンド文字列として適用される文字列であって他の文字列と非類似の文字列が複数登録される。そして、新規コマンド生成部221は、辞書に登録された複数の文字列の中から、現に使用されていない文字列をコマンド文字列として適用すれば良い。
また、新規コマンド生成部221は、生成されたコマンド文字列を作業と対応付けてコマンド管理情報232に登録する。例えば、新規コマンド生成部221は、作業指示の要求があった携帯端末1の作業者の作業者コードと、作業者に作業指示する作業を示すオーダIDと、生成されたコマンド文字列とを対応付けてコマンド管理情報232に格納する。
また、新規コマンド生成部221は、作業指示の要求があった携帯端末1に応答すべく、作業に対応するコンテンツの末尾に、生成されたコマンド文字列を付加した情報を当該携帯端末1に送信する。
コマンド音声受付部222は、携帯端末1からコマンド音声を受信し、受信したコマンド音声を解析し、有効なコマンド文字列を確定する。例えば、コマンド音声受付部222は、受信したコマンド音声とコマンド管理情報232に記憶されたいずれかのコマンド文字列232cとが所定の類似度以上となる場合に、所定の類似度以上となるコマンド文字列を特定する。一例として、コマンド音声受付部222は、コマンド音声から、システム共通情報231の確定文字列長231b以上の数値列(数値並び)を複数抽出する。コマンド音声受付部222は、それぞれの数値列をキーにして、数値列を含むコマンド文字列を持つレコードを、コマンド管理情報232から検索する。コマンド音声受付部222は、検索した結果、レコードが存在する場合には、存在したレコードのうち最も長い数値列を含むコマンド文字列を持つレコードを特定する。すなわち、コマンド音声受付部222は、受信したコマンド音声から、所定の類似度以上となるコマンド文字列を特定し、最も類似度が高いコマンド文字列を有効なコマンド文字列として確定する。つまり、コマンド音声受付部222は、受信したコマンド音声がコマンド管理情報232に記憶されたコマンド文字列232cと完全に一致していなくても、一定の類似度に達した場合には受信したコマンド音声を有効なコマンド文字列として確定する。
また、コマンド音声受付部222は、確定したコマンド文字列に対応するコマンドを実行する。例えば、コマンド音声受付部222は、コマンド管理情報232から、確定したコマンド文字列232cを持つレコードのオーダID232bを抽出する。コマンド音声受付部222は、作業指示情報233から、抽出したオーダID232bと一致するオーダID233aを持つレコードを検索し、作業状況233hを「完了」に更新する。その後、コマンド音声受付部222は、抽出したオーダID232bの次のオーダIDの作業状況232hを「作業中」に更新する。そして、コマンド音声受付部222は、次の作業指示の要求をすべく、例えば、次のオーダIDをパラメータとして新規コマンド生成部221に遷移する。
[コマンド音声送信処理のフローチャート]
次に、携帯端末1のコマンド音声送信部123が実行するコマンド音声送信処理のフローチャートを、図6を参照して説明する。図6は、実施例に係るコマンド音声送信処理のフローチャートの一例を示す図である。なお、携帯端末1は、作業支援装置2から作業に対応するコンテンツ(マニュアル)およびコマンド文字列を受信しているものとする。また、携帯端末1は、音声をマイクから入力するものとする。
図6に示すように、コマンド音声送信部123は、音声を検知したか否かを判定する(ステップS11)。音声を検知していないと判定した場合には(ステップS11;No)、コマンド音声送信部123は、音声を検知するまで、判定処理を繰り返す。一方、音声を検知したと判定した場合には(ステップS11;Yes)、コマンド音声送信部123は、検知した音声を文字列に変換する(ステップS12)。
そして、コマンド音声送信部123は、変換した文字列に、コマンド文字列長以下かつ確定文字列長以上の数値列(数値並び)が存在するか否かを判定する(ステップS13)。例えば、コマンド音声送信部123は、システム共通情報131に記憶されたコマンド文字列長131aおよび確定文字列長131bを取得し、変換した文字列に、コマンド文字列長131a以下かつ確定文字列長131b以上の数値列が存在するか否かを判定する。
コマンド文字列長以下かつ確定文字列長以上の数値列(数値並び)が存在しないと判定した場合には(ステップS13;No)、コマンド音声送信部123は、検知した音声がコマンド音声でないと判断し、コマンド音声送信処理を終了する。
一方、コマンド文字列長以下かつ確定文字列長以上の数値列(数値並び)が存在すると判定した場合には(ステップS13;Yes)、コマンド音声送信部123は、数値列(数値並び)をコマンド音声として作業支援装置2へ送信する(ステップS14)。そして、コマンド音声送信部123は、コマンド音声送信処理を終了する。
[新規コマンド生成処理のフローチャート]
次に、作業支援装置2の新規コマンド生成部221が実行する新規コマンド生成処理のフローチャートを、図7を参照して説明する。図7は、実施例に係る新規コマンド生成処理のフローチャートの一例を示す図である。なお、新規コマンド生成部221は、携帯端末1からログイン後の作業指示の要求として、または、コマンド音声受付部222から作業完了後の次の作業指示の要求として、オーダIDを受け付けるものとする。
新規コマンド生成部221は、オーダIDを受け付けたか否かを判定する(ステップS21)。オーダIDを受け付けていないと判定した場合には(ステップS21;No)、新規コマンド生成部221は、オーダIDを受け付けるまで、判定処理を繰り返す。
一方、オーダIDを受け付けたと判定した場合には(ステップS21;Yes)、新規コマンド生成部221は、コマンド文字列長の数値列(数値並び)を生成する(ステップS22)。例えば、新規コマンド生成部221は、システム共通情報231からコマンド文字列長231aを取得する。新規コマンド生成部221は、抽出したコマンド文字列長231aの数値並びを、乱数を用いて生成する。
そして、新規コマンド生成部221は、生成した数値列から確定文字列長の数値並びの群を抽出する(ステップS23)。例えば、新規コマンド生成部221は、システム共通情報231から確定文字列長231bを取得する。新規コマンド生成部221は、生成した数値列から、確定文字列長231bの連続した数値列を複数抽出する。
そして、新規コマンド生成部221は、確定文字列長の数値並びの群のそれぞれの数値並びをキーにして、コマンド管理情報232から、数値並びを含むコマンド文字列を持つレコードを検索する(ステップS24)。新規コマンド生成部221は、検索した結果、レコードが存在するか否かを判定する(ステップS25)。レコードが存在すると判定した場合には(ステップS25;Yes)、新規コマンド生成部221は、新たなコマンド文字列長の数値並びを生成すべく、ステップS22に移行する。すなわち、新規コマンド生成部221は、確定文字列長の数値並びの群の中にコマンド管理情報232に記憶されたコマンド文字列232cと類似する数値並びが存在すると判断したものである。
一方、レコードが存在しないと判定した場合には(ステップS25;No)、新規コマンド生成部221は、生成した数値列をコマンド文字列としてコマンド管理情報232に追加する(ステップS26)。すなわち、新規コマンド生成部221は、確定文字列長の数値並びの群の中にコマンド管理情報232に記憶されたコマンド文字列232cと類似する数値並びが存在しないと判断し、生成した数値列をコマンド文字列としたものである。例えば、新規コマンド生成部221は、該当する作業者の作業者コードと、受け付けたオーダIDと、生成した数値列(コマンド文字列)とを対応付けてコマンド管理情報232に格納する。
そして、新規コマンド生成部221は、作業指示情報233から、受け付けたオーダIDに対応する作業番号233dを抽出する(ステップS27)。新規コマンド生成部221は、コンテンツ情報234から、抽出した作業番号233dをキーにして該当作業に対応するコンテンツ234bを抽出する(ステップS28)。そして、新規コマンド生成部221は、コンテンツ234bの末尾にコマンド文字列を付加する(ステップS29)。
そして、新規コマンド生成部221は、コンテンツ234bおよびコマンド文字列を携帯端末1に送信する(ステップS30)。そして、新規コマンド生成部221は、新規コマンド生成処理を終了する。
[コマンド音声受付処理のフローチャート]
次に、作業支援装置2のコマンド音声受付部222が実行するコマンド音声受付処理のフローチャートを、図8を参照して説明する。図8は、実施例に係るコマンド音声受付処理のフローチャートの一例を示す図である。なお、コマンド音声受付部222は、携帯端末1からコマンド音声を受け付けるものとする。
コマンド音声受付部222は、コマンド音声を受け付けたか否かを判定する(ステップS31)。コマンド音声を受け付けていないと判定した場合には(ステップS31;No)、コマンド音声受付部222は、コマンド音声を受け付けるまで、判定処理を繰り返す。
一方、コマンド音声を受け付けたと判定した場合には(ステップS31;Yes)、コマンド音声受付部222は、受け付けたコマンド音声から確定文字列長以上の数値列(数値並び)の群を抽出する(ステップS32)。例えば、コマンド音声受付部222は、システム共通情報231から確定文字列長231bを取得する。コマンド音声受付部222は、コマンド音声から、確定文字列長231b以上の連続した数値列を複数抽出する。
そして、コマンド音声受付部222は、数値並びの群のそれぞれの数値並びをキーにして、コマンド管理情報232から、数値並びを含むコマンド文字列を持つレコードを検索する(ステップS33)。コマンド音声受付部222は、検索した結果、レコードが存在するか否かを判定する(ステップS34)。レコードが存在しないと判定した場合には(ステップS34;No)、コマンド音声受付部222は、コマンド音声がコマンド文字列でないと判断し、コマンド音声受付処理を終了する。
一方、レコードが存在すると判定した場合には(ステップS34;Yes)、コマンド音声受付部222は、存在するレコードのうち最も長い数値並びを含むコマンド文字列232cを持つレコードを特定する(ステップS35)。
そして、コマンド音声受付部222は、特定したレコードのオーダID232bを抽出する(ステップS36)。コマンド音声受付部222は、作業指示情報233から、オーダIDが抽出したオーダID232bと一致するレコードを検索し、作業状況233hを「完了」に更新する(ステップS37)。コマンド音声受付部222は、次オーダIDに対応する作業状況233hを「作業中」に更新する(ステップS38)。
そして、コマンド音声受付部222は、次オーダIDをパラメータとして新規コマンド生成処理を呼び出す(ステップS39)。すなわち、コマンド音声受付部222は、作業完了後の次の作業指示の要求として、次オーダIDを新規コマンド生成部221に引き渡す。そして、コマンド音声受付部222は、コマンド音声受付処理を終了する。
[作業支援システムの具体例]
次に、実施例に係る作業支援システム9の具体例を、図9を参照して説明する。図9は、実施例に係るシステムの具体例を示す図である。なお、システム共通情報231に記憶されたコマンド文字列長231aおよび確定文字列長231bは、それぞれ「5」および「4」であるとする。また、現に作業中の作業者は、作業者A、作業者B、作業者Cであり、それぞれの作業者がヘッドセットを備える携帯端末1を装着しているものとする。ここでは、作業者Aに着目して説明する。
作業支援装置2は、作業者Aの「溶接工程1」の作業(オーダIDに対応)に対応するコマンド文字列を、他の作業者のコマンド文字列と非類似の「59825」と生成し、コマンド管理情報232に登録する。そして、作業支援装置2は、「溶接工程1」の作業に対応するコンテンツおよび生成されたコマンド文字列を携帯端末1に送信する。
携帯端末1は、「溶接工程1」の作業に対応するコンテンツおよびコマンド文字列を受信する。そして、携帯端末1は、受信したコンテンツを、音声入力デバイス113を介して読み上げ、作業者Aの「溶接工程1」の作業を支援する。そして、作業者Aが「溶接工程1」の作業を終了すると、ヘッドセットのマイクよりコマンド文字列を発声する。ここでは、作業者Aは、「59825」と発声したものとする。
すると、携帯端末1は、検知した音声を文字列に変換する。携帯端末1は、変換した文字列がコマンド文字列長231a以下かつ確定文字列長231b以上の数値列(数値の並び)であれば、コマンド文字列と判断する。そして、携帯端末1は、コマンド文字列と判断した数値列をコマンド音声として作業支援装置2へ送信する。ここでは、携帯端末1は、確定文字列長231bが「4」であるので、検知した音声が「59825」、「5982」または「9825」である場合には、検知した音声をコマンド文字列と判断する。そして、携帯端末1は、コマンド文字列と判断した数値列をコマンド音声として作業支援装置2へ送信する。
作業支援装置2は、コマンド音声を受信する。そして、作業支援装置2は、コマンド管理情報232から、コマンド音声と一定の類似度に達しているコマンド文字列232cを持つレコードを特定する。ここでは、作業支援装置2は、受信したコマンド音声が「59825」である場合には、「59825」をコマンド文字列232cとして持つレコードを特定する。また、作業支援装置2は、受信したコマンド音声が「5982」である場合には、「59825」をコマンド文字列232cとして持つレコードを特定する。また、作業支援装置2は、受信したコマンド音声が「9825」である場合には、「59825」をコマンド文字列232cとして持つレコードを特定する。つまり、作業支援装置2は、受信したコマンド音声がコマンド管理情報232に記憶されたコマンド文字列232cと完全に一致していなくても、一定の類似度に達している場合には、コマンド文字列232cを有効なコマンド文字列として確定する。
そして、作業支援装置2は、コマンド文字列232cを持つレコードの作業の次の作業(オーダIDに対応)を作業指示情報233から取得し、取得した次の作業(オーダIDに対応)に対応するコマンド文字列を生成することになる。
[実施例の効果]
このようにして、作業支援装置2は、特定の作業者からの要求に応じて、特定の作業者に対して他の作業者の発音情報と非類似の発音情報を生成する。作業支援装置2は、作業者毎に実行情報と発音情報を関連付けて記憶するコマンド管理情報232に、特定の作業者に対して生成した発音情報を関連付けて格納する。作業支援装置2は、特定の作業者に関連付けた発音情報を特定の作業者に送信する。そして、作業支援装置2は、マイクに入力された音声情報を受信すると、以下の処理を行う。すなわち、作業支援装置2は、コマンド管理情報232を参照して、受信した音声情報と所定の類似度以上となる発音情報を検出する場合に、発音情報に関連付けられたコマンドを実行する。かかる構成によれば、作業支援装置2は、複数の作業者により同時に発音される可能性がある発音情報が類似した音声とならないため、特定の作業者により発音される発音情報が完全に検出されなくても、コマンドとしての発音情報を的確に特定することができる。この結果、作業支援装置2は、作業者の正確な操作を促すことが可能となる。
また、作業支援装置2は、特定の作業者に対して他の作業者と異なる発音情報であって会話と異なる発音情報を生成する。かかる構成によれば、作業支援装置2は、特定の作業者により発音される発音情報が日常会話とぶつからないため、コマンドとしての発音情報を的確に特定することができる。
また、作業支援装置2は、発音情報を数値の並びとして生成する。かかる構成によれば、作業支援装置2は、発音情報を数字の並びとすることで、特定の作業者により発音される発音情報が日常会話とぶつからないため、コマンドとしての発音情報をより的確に特定することができる。
また、作業支援装置2は、所定の類似度以上となる発音情報が複数存在する場合には、最も類似度が高い発音情報に対応するコマンドを実行する。かかる構成によれば、作業支援装置2は、特定の作業者の音声情報がいずれの発音情報と完全一致でなくとも、最も類似度が高い発音情報を用いることで、特定の作業者の正確な端末操作を促すことが可能となる。
[その他]
なお、操作支援装置2は、既知のパーソナルコンピュータ、ワークステーションなどの情報処理装置に、上記した制御部22および記憶部23などの各機能を搭載することによって実現することができる。
また、上記実施例では、図示した装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、ログイン受付部223とコマンド音声受付部222とを受付部として統合しても良い。新規コマンド生成部221を、新規のコマンド文字列を生成する生成部と、生成したコマンド文字列を作業と対応付けて登録する登録部とに分散しても良い。また、コマンド音声受付部222をコマンド音声を受け付ける受付部と、受け付けたコマンド音声をコマンド文字列として確定する確定部と、コマンド文字列に対応するコマンドを実行する実行部とに分散しても良い。また、記憶部23を作業支援装置2の外部装置としてネットワーク経由で接続するようにしても良い。
また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図1に示した作業支援装置2と同様の機能を実現する作業支援プログラムを実行するコンピュータの一例を説明する。図10は、作業支援プログラムを実行するコンピュータの一例を示す図である。
図10に示すように、コンピュータ400は、各種演算処理を実行するCPU403と、ユーザからのデータの入力を受け付ける入力装置415と、表示装置409を制御する表示制御部407とを有する。また、コンピュータ400は、記憶媒体からプログラムなどを読取るドライブ装置413と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部417とを有する。また、コンピュータ400は、各種情報を一時記憶するメモリ401と、HDD(Hard Disk Drive)405を有する。そして、メモリ401、CPU403、HDD405、表示制御部407、ドライブ装置413、入力装置415、通信制御部417は、バス419で接続されている。
ドライブ装置413は、例えばリムーバブルディスク211用の装置である。HDD405は、作業支援プログラム405aおよび作業支援関連情報405bを記憶する。
CPU403は、作業支援プログラム405aを読み出して、メモリ401に展開し、プロセスとして実行する。かかるプロセスは、作業支援装置2の各機能部に対応する。作業支援関連情報405bは、システム共通情報231、コマンド管理情報232、作業指示情報233およびコンテンツ情報234に対応する。そして、例えばリムーバブルディスク411が、作業支援プログラム405aなどの各情報を記憶する。
なお、作業支援プログラム405aについては、必ずしも最初からHDD405に記憶させておかなくても良い。例えば、コンピュータ400に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ400がこれらから作業支援プログラム405aを読み出して実行するようにしても良い。
1 携帯端末
11、21 OS
111 画面出力デバイス
112 タッチ入力デバイス
113 音声入出力デバイス
114、211 通信部
12、22 制御部
121 作業指示要求部
122 コンテンツ読み上げ部
123 コマンド音声送信部
13、23 記憶部
131、231 システム共通情報
2 作業支援装置
221 新規コマンド生成部
222 コマンド音声受付部
223 ログイン受付部
232 コマンド管理情報
233 作業指示情報
234 コンテンツ情報
9 作業支援システム

Claims (6)

  1. コンピュータに、
    特定の作業者に対して他の作業者の発音情報と非類似の発音情報を生成し、
    作業者毎に実行情報と発音情報とを関連付けて記憶する記憶部に、前記特定の作業者に対して生成した前記発音情報を関連付けて格納し、
    前記発音情報を前記特定の作業者に送信し、
    マイクに入力された音声情報を受信し、
    前記記憶部を参照して、受信した前記音声情報と所定の類似度以上となる発音情報を検出する場合に、前記発音情報に関連付けられた実行情報を実行する、
    処理を実行させる作業支援プログラム。
  2. 該生成する処理は、前記特定の作業者に対して他の作業者と異なる発音情報であって会話と異なる発音情報を生成する
    処理を実行させる請求項1に記載の作業支援プログラム。
  3. 前記発音情報は、数字の並びである
    ことを特徴とする請求項1または請求項2に記載の作業支援プログラム。
  4. 該実行する処理は、所定の類似度以上となる発音情報が複数存在する場合には、最も類似度が高い発音情報に関連付けられた実行情報を実行する
    ことを特徴とする請求項1に記載の作業支援プログラム。
  5. 作業者毎に実行情報と発音情報とを関連付けて記憶する記憶部と、
    特定の作業者に対して他の作業者の発音情報と非類似の発音情報を生成する生成部と、
    前記記憶部に、前記特定の作業者に対して生成した前記発音情報を関連付けて格納する格納部と、
    前記特定の作業者に関連付けた発音情報を前記特定の作業者に送信する送信部と、
    マイクに入力された音声情報を受信し、前記記憶部を参照して、受信した前記音声情報と所定の類似度以上となる発音情報を検出する場合に、前記発音情報に関連付けられた実行情報を実行する実行部と、
    を有することを特徴とする作業支援装置。
  6. コンピュータが、
    特定の作業者に対して他の作業者の発音情報と非類似の発音情報を生成し、
    作業者毎に実行情報と発音情報とを関連付けて記憶する記憶部に、前記特定の作業者に対して生成した前記発音情報を関連付けて格納し、
    前記特定の作業者に関連付けた発音情報を前記特定の作業者に送信し、
    マイクに入力された音声情報を受信し、前記記憶部を参照して、受信した前記音声情報と所定の類似度以上となる発音情報を検出する場合に、前記発音情報に関連付けられた実行情報を実行する、
    各処理を実行する作業支援方法。
JP2018561127A 2017-01-10 2017-01-10 作業支援プログラム、作業支援装置および作業支援方法 Active JP6725010B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/000517 WO2018131081A1 (ja) 2017-01-10 2017-01-10 作業支援プログラム、作業支援装置および作業支援方法

Publications (2)

Publication Number Publication Date
JPWO2018131081A1 true JPWO2018131081A1 (ja) 2019-11-07
JP6725010B2 JP6725010B2 (ja) 2020-07-15

Family

ID=62839374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561127A Active JP6725010B2 (ja) 2017-01-10 2017-01-10 作業支援プログラム、作業支援装置および作業支援方法

Country Status (2)

Country Link
JP (1) JP6725010B2 (ja)
WO (1) WO2018131081A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130205A (ja) * 2003-10-23 2005-05-19 Chugoku Electric Power Co Inc:The 業務支援システム及び方法
JP2011118683A (ja) * 2009-12-03 2011-06-16 Toshiba Tec Corp 調理補助端末及びプログラム
JP2013109041A (ja) * 2011-11-17 2013-06-06 Bridgestone Corp 現像装置および画像形成装置
JP2016129007A (ja) * 2015-01-08 2016-07-14 ザ・ボーイング・カンパニーThe Boeing Company モノのインターネット・ネットワークを用いて工場生産を管理するためのシステムおよび方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6168976B2 (ja) * 2013-12-05 2017-07-26 株式会社東芝 製造検査支援装置、製造検査支援方法、及び製造検査支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130205A (ja) * 2003-10-23 2005-05-19 Chugoku Electric Power Co Inc:The 業務支援システム及び方法
JP2011118683A (ja) * 2009-12-03 2011-06-16 Toshiba Tec Corp 調理補助端末及びプログラム
JP2013109041A (ja) * 2011-11-17 2013-06-06 Bridgestone Corp 現像装置および画像形成装置
JP2016129007A (ja) * 2015-01-08 2016-07-14 ザ・ボーイング・カンパニーThe Boeing Company モノのインターネット・ネットワークを用いて工場生産を管理するためのシステムおよび方法

Also Published As

Publication number Publication date
JP6725010B2 (ja) 2020-07-15
WO2018131081A1 (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
KR102173100B1 (ko) 개발자 보이스 액티비티 시스템
US8682676B2 (en) Voice controlled wireless communication device system
US7689420B2 (en) Personalizing a context-free grammar using a dictation language model
KR101213835B1 (ko) 음성 인식에 있어서 동사 에러 복원
JP7046575B2 (ja) システム、およびシステムにおける方法
US20070239453A1 (en) Augmenting context-free grammars with back-off grammars for processing out-of-grammar utterances
US7526286B1 (en) System and method for controlling a computer via a mobile device
KR20170033722A (ko) 사용자의 발화 처리 장치 및 방법과, 음성 대화 관리 장치
US20120166176A1 (en) Speech translation system, dictionary server, and program
JP2010102254A (ja) 話者テンプレートを更新する装置及び方法
US20140164597A1 (en) Method and apparatus for detecting user id changes
KR20030086612A (ko) 정보 처리 장치와 그 방법, 및 프로그램
JP5263875B2 (ja) 発話入力の音声認識のためのコンピュータ・システム、並びにその方法及びコンピュータ・プログラム
WO2016147342A1 (ja) 情報提供システム
KR102280439B1 (ko) 질의의도를 분석하기 위한 장치 및 방법
JP2004038179A (ja) 音声命令語処理装置及び方法
WO2018131081A1 (ja) 作業支援プログラム、作業支援装置および作業支援方法
US11756538B1 (en) Lower latency speech processing
JPWO2018088534A1 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP7192348B2 (ja) 制御装置、制御システム及びプログラム
JP2009294269A (ja) 音声認識システム
TW201812612A (zh) 文本自適應linkify方法及其處理器
JP2001306090A (ja) 対話装置および方法、音声制御装置および方法、ならびにコンピュータを対話装置および音声制御装置として機能させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
JP5184071B2 (ja) 書き起こしテキスト作成支援装置、書き起こしテキスト作成支援プログラム、及び書き起こしテキスト作成支援方法
JP2005092310A (ja) 音声キーワード認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200608

R150 Certificate of patent or registration of utility model

Ref document number: 6725010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150