JP6551531B2 - 製造状態表示システム、製造状態表示方法および製造状態表示プログラム - Google Patents

製造状態表示システム、製造状態表示方法および製造状態表示プログラム Download PDF

Info

Publication number
JP6551531B2
JP6551531B2 JP2017542618A JP2017542618A JP6551531B2 JP 6551531 B2 JP6551531 B2 JP 6551531B2 JP 2017542618 A JP2017542618 A JP 2017542618A JP 2017542618 A JP2017542618 A JP 2017542618A JP 6551531 B2 JP6551531 B2 JP 6551531B2
Authority
JP
Japan
Prior art keywords
manufacturing
time
unit
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017542618A
Other languages
English (en)
Other versions
JPWO2017056263A1 (ja
Inventor
一樹 ▲高▼橋
一樹 ▲高▼橋
威彦 西村
威彦 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017056263A1 publication Critical patent/JPWO2017056263A1/ja
Application granted granted Critical
Publication of JP6551531B2 publication Critical patent/JP6551531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、製造状態表示システム、製造状態表示方法および製造状態表示プログラムに関する。
企業の活動に伴うデータを蓄積して活用することが行われている。例えば、製品の組み立てラインにおける製造装置の動作ログ等のデータを蓄積し、生産工程の改善に活用することが行われている。また、各工程と時刻とで表わされるグラフに、製品の流れをプロットすることで、各工程の製造状況を可視化して表示することが提案されている。
特開２０１５−０７５７９５号公報
しかしながら、各工程の製造状況を可視化したグラフをユーザが視認して、更なる確認が必要な工程の存在に気が付いた場合に、ユーザは、その工程での作業がどのように行われていたのか確認したい場合がある。
一つの側面では、本発明は、指定された工程および製品に対応する動画像を再生できる製造状態表示システム、製造状態表示方法および製造状態表示プログラムを提供することにある。
一つの態様では、複数の製造工程を経て製造される製品の製造状況を表示する製造状態表示システムにおいて、前記製造状態表示システムは、グラフ表示部と、受付部と、画像表示部とを有する。グラフ表示部は、製造工程の開始時刻と終了時刻との情報に基づいて、前記複数の製造工程のそれぞれにおける製造工程の開始から終了までの経過時間を示すグラフを、前記複数の製造工程の実行順に製造工程毎に区分した状態で、時間軸を同じ方向に揃えて表示する。受付部は、表示した前記グラフ内で、いずれかの製造工程におけるいずれかの製品に係る製造を示す部分に対する指定を受け付ける。画像表示部は、記憶部に記憶された前記複数の製造工程についての撮像画像のうち、前記指定を受け付けた部分により特定される、特定の製造工程における特定の製品に係る製造の開始時刻から終了時刻に相当する撮像画像を再生表示する。
指定された工程および製品に対応する動画像を再生できる。
図１は、実施例の製造状態表示システムの構成の一例を示すブロック図である。 図２は、製造工程の一例を示す図である。 図３は、製造工程の状況を表すグラフの一例を示す図である。 図４は、履歴ＤＢの一例を示す図である。 図５は、カメラ定義テーブルの一例を示す図である。 図６は、画像ＤＢの一例を示す図である。 図７は、通常再生モードの表示画面の一例を示す図である。 図８は、通常再生モードの表示画面の他の一例を示す図である。 図９は、範囲指定再生モードの表示画面の一例を示す図である。 図１０は、範囲指定再生モードの表示画面の他の一例を示す図である。 図１１は、比較再生モードの表示画面の一例を示す図である。 図１２は、比較再生ウィンドウの表示画面の一例を示す図である。 図１３は、実施例の表示処理の一例を示すフローチャートである。 図１４は、実施例の表示処理の一例を示すフローチャートである。 図１５は、比較対象設定処理の一例を示すフローチャートである。 図１６は、製造状態表示プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する製造状態表示システム、製造状態表示方法および製造状態表示プログラムの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図１は、実施例の製造状態表示システムの構成の一例を示すブロック図である。図１に示す製造状態表示システム１は、管理装置１００を有する。製造状態表示システム１は、管理装置１００の他に、例えば、各製造工程の制御装置、工作機械の制御装置、温度試験等の各種試験装置等を含んでもよく、管理装置１００は、各種装置からログデータを取得できる。また、製造状態表示システム１は、管理者用の端末装置を含んでもよい。管理装置１００および各種装置との間は、図示しないネットワークを介して相互に通信可能に接続される。なお、以下の説明では、製品の組立ラインの各種情報をログデータとして取得する場合を一例として説明する。
図１に示す製造状態表示システム１の管理装置１００は、複数の製造工程を経て製造される製品の製造状況を表示する。表示される製造状況は、例えば、ログデータに基づく各製造工程の開始時刻と終了時刻との情報に基づくグラフ、および、各製造工程を撮像した撮像画像である。なお、以下の説明では、製造工程を単に工程ともいう。管理装置１００は、製造工程の開始時刻と終了時刻との情報に基づいて、複数の製造工程のそれぞれにおける製造工程の開始から終了までの経過時間を示すグラフを、複数の製造工程の実行順に製造工程毎に区分した状態で、時間軸を同じ方向に揃えて表示する。管理装置１００は、表示したグラフ内で、いずれかの製造工程におけるいずれかの製品に係る製造を示す部分に対する指定を受け付ける。管理装置１００は、記憶部に記憶された複数の製造工程についての撮像画像のうち、指定を受け付けた部分により特定される、特定の製造工程における特定の製品に係る製造の開始時刻から終了時刻に相当する撮像画像を再生表示する。これにより、管理装置１００は、指定された工程および製品に対応する動画像を再生できる。
図２を用いて本実施例における製造工程の一例を説明する。図２は、製造工程の一例を示す図である。図２に示すように、製造工程は、工程Ａから工程Ｇまでの７つの工程を有する。各工程では、例えば、作業員により製品に対して組立作業が実施される。図２の例では、各工程の開始および終了のタイミングをＰ１〜Ｐ８で表す。本実施例では、例えば、製造ライン上を製品が流れるために、例えば、工程Ａの終了のタイミングと、工程Ｂの開始のタイミングとが同時であるとして説明する。なお、各工程の開始および終了のタイミングは、各工程間において製品の移動がある場合には、異なるタイミングとしてもよい。また、図２の製造工程の例では、工程Ａを撮像するカメラＣ１、工程ＢおよびＣを撮像するカメラＣ２、工程Ｄを撮像するカメラＣ３、および、工程Ｅ〜Ｇを撮像するカメラＣ４が設置されている。
図３を用いて本実施例における製造工程の状況を表すグラフの一例を説明する。図３は、製造工程の状況を表すグラフの一例を示す図である。図３に示すように、製造工程の状況を表すグラフ（以下、タイムライングラフという。）は、図２に示す製造工程に対応し、各工程における経過時間を示すグラフである。図３に示すタイムライングラフの時間軸Ｐ１は、図２における工程Ａの開始のタイミングＰ１に対応する。また、図３に示すタイムライングラフの時間軸Ｐ２は、図２における工程Ａの終了および工程Ｂの開始のタイミングＰ２に対応する。以下同様に、図３に示すタイムライングラフの時間軸Ｐ３〜Ｐ８は、図２における各工程の開始および終了のタイミングＰ３〜Ｐ８に対応する。また、図３のタイムライングラフの上部には、図２に示すカメラＣ１〜Ｃ４と工程Ａ〜Ｇとの関係を示す。また、タイムライングラフでは、製品の流れについて各工程間を結ぶ線分で示す。当該線分は、製品の製造工程における流れをトレースするので、トレースグラフとも表現する。
また、図３に示すタイムライングラフでは、例えば、予め各工程の作業時間の平均値、標準値等に基づいて、各工程の異常値を判定する閾値を設定しておき、工程ごとに異常が発生した部分のトレースグラフを強調表示する。異常が発生した部分（異常部分）は、所定の状態を示すものである。また、各工程の異常値の判定は、例えば、タイムライングラフ上で所定以上の傾きがあることや、作業時間が所定以上長いことで判定できる。図３の例では、ある製品のトレースグラフの工程Ｂに対応する部分１１、および、工程Ｅに対応する部分１２が、異常部分として強調表示されている。
次に、図１に戻って、管理装置１００の構成について説明する。図１に示すように、管理装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、管理装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、図示しないネットワークを介して各種装置と有線または無線で接続され、各種装置との間で情報の通信を司る通信インタフェースである。通信部１１０は、各種装置からログデータを受信する。通信部１１０は、受信したログデータを制御部１３０に出力する。
表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。
操作部１１２は、製造状態表示システム１の管理者から各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、管理者によって入力された操作を操作情報として制御部１３０に出力する。操作情報は、例えば、マウスカーソルを表示オブジェクトに合わせるポイント操作時における表示画面上の位置情報（以下、カーソル位置情報ともいう。）を含む。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、履歴データベース１２１と、カメラ定義テーブル１２２と、画像データベース１２３とを有する。なお、以下の説明では、データベースをＤＢと省略して表現する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
履歴ＤＢ１２１は、複数の工程による製造が順に行われることにより製造される製品の各製造工程における履歴を記憶するデータベースである。すなわち、履歴ＤＢ１２１は、ログデータに基づいて、各工程における製造を開始した時刻、および、終了した時刻を製品ごとに履歴として記憶する。図４は、履歴ＤＢの一例を示す図である。図４に示すように、履歴ＤＢ１２１は、「製品番号」、工程ごとの「開始時刻」および「終了時刻」といった項目を有する。履歴ＤＢ１２１は、例えば、製品ごとに１レコードとして記憶する。
「製品番号」は、工場で製造される製品ごとに一意に付される番号であり、製品を識別する識別子である。「開始時刻」は、対応する工程において製造が開始された時刻を示す情報である。「終了時刻」は、対応する工程において製造が終了した時刻を示す情報である。図４の１行目の例では、製品番号「SN0001」の製品について、工程Ａは「9:00:00」に開始して「9:00:05」に終了し、工程Ｂは「9:00:05」に開始して「9:00:20」に終了し、工程Ｃは「9:00:20」に開始して「9:00:30」に終了したことを示す。図４の１行目の例では、以下、工程Ｄ〜Ｇについても同様に、各工程の開始時刻と終了時刻とを示している。
図１の説明に戻って、カメラ定義テーブル１２２は、各工程に対応するカメラのカメラＩＤを記憶する。図５は、カメラ定義テーブルの一例を示す図である。図５に示すように、カメラ定義テーブル１２２は、「工程」、「カメラＩＤ」、「マスク」、「Ｘ」、「Ｙ」、「Ｗｉｄｔｈ」、「Ｈｅｉｇｈｔ」といった項目を有する。カメラ定義テーブル１２２は、例えば、工程ごとに１レコードとして記憶する。
「工程」は、工程を識別する識別子である。「カメラＩＤ」は、各工程を撮像するカメラを識別する識別子である。「マスク」は、カメラが複数の工程を撮像する場合に、指定された工程を単体で表示するために、他の工程をマスクするか否かの情報である。「マスク」は、他の工程をマスクする場合には「Ｔｒｕｅ」とし、他の工程をマスクしない場合には「Ｆａｌｓｅ」とする。「Ｘ」および「Ｙ」は、「マスク」が「Ｔｒｕｅ」である場合に、表示する矩形の原点を指定するための座標情報である。「Ｗｉｄｔｈ」および「Ｈｅｉｇｈｔ」は、「マスク」が「Ｔｒｕｅ」である場合に、表示する矩形の幅および高さを指定するための情報である。
図１の説明に戻って、画像ＤＢ１２３は、カメラで撮像された撮像画像を記憶する。図６は、画像ＤＢの一例を示す図である。図６に示すように、画像ＤＢ１２３は、「カメラＩＤ」、「記録開始日時」、「記録終了日時」、「ファイル名」といった項目を有する。画像ＤＢ１２３は、例えば、１回の撮像画像の記録ごとに１レコードとして記憶する。
「カメラＩＤ」は、各工程を撮像するカメラを識別する識別子である。「記録開始日時」は、撮像画像の記録開始日時を示す情報である。「記録終了日時」は、撮像画像の記録終了日時を示す情報である。「ファイル名」は、記憶部１２０に記憶されている撮像画像のファイル名を示す情報である。「ファイル名」は、例えば、カメラＩＤと記録開始日時または記録終了日時とに基づいて決定される。図６の１行目の例では、カメラＩＤ「カメラＣ１」について、「２０１５／７／１０ ８：５５」に記録開始され、「２０１５／７／１０ １９：０５」に記録終了された撮像画像のファイル名が「Ｃ１−２０１５０７１０．ｍｐ４」であることを示す。
すなわち、画像ＤＢ１２３は、撮像画像の検索時には、カメラＩＤおよび日時に基づいて、所望の撮像画像のファイルを特定できる。なお、撮像画像は、動画像であってもよいし静止画像であってもよく、音声を含んでいてもよい。また、以下の説明では、撮像画像は動画像である場合を一例として説明する。また、画像ＤＢ１２３は、各工程における作業時間の標準値、平均値および最速値に対応する動画像を記憶する。
図１の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、グラフ表示部１３１と、受付部１３２と、特定部１３３と、画像表示部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。なお、以下の説明では、各製品に対応する線分をトレースグラフとも表現し、各工程の時間軸と各製品に対応するトレースグラフとを含むグラフ全体をタイムライングラフと表現する。
グラフ表示部１３１は、製造状況を表示する表示画面を表示させる旨の操作情報が操作部１１２から入力されると、履歴ＤＢ１２１を参照して、タイムライングラフを生成する。すなわち、グラフ表示部１３１は、製造工程の開始時刻と終了時刻との情報に基づいて、複数の製造工程のそれぞれにおける製造工程の開始から終了までの経過時間を示すタイムライングラフを生成する。また、グラフ表示部１３１は、生成されたタイムライングラフについて、複数の製造工程の実行順に製造工程毎に区分した状態で、時間軸を同じ方向に揃えて表示部１１１に表示させる。
グラフ表示部１３１は、履歴ＤＢ１２１の各工程における各製品の開始時刻と終了時刻とを取得する。グラフ表示部１３１は、各工程における経過時間を示す時間軸Ｐ１〜Ｐ８を生成し、製品ごとに時間軸を結ぶ線分（トレースグラフ）を生成する。なお、グラフ表示部１３１は、時間軸の方向を、例えば、タイムライングラフの上側から下側に向けて時刻順となるように生成する。タイムライングラフでは、時間軸間が各工程に対応し、図３の例では、時間軸Ｐ１とＰ２との間が工程Ａに要した時間を示すことになる。グラフ表示部１３１は、各製品について同様に線分を生成する。
グラフ表示部１３１は、各工程の実行順、つまり図２および図３の例では、工程Ａ〜Ｇの順に、時間軸Ｐ１〜Ｐ８および工程Ａ〜Ｇを配置する。グラフ表示部１３１は、工程と、時間軸と、線分とを配置したタイムライングラフを含む表示画面を生成し、生成した表示画面を表示部１１１に出力して表示させる。なお、表示画面は、タイムライングラフと、カメラの撮像画像とを表示する領域を含む。また、グラフ表示部１３１は、生成した表示画面を特定部１３３および画像表示部１３４に出力する。
また、グラフ表示部１３１は、タイムライングラフ内の、製造工程におけるそれぞれの製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す部分を、所定の状態ではないことを示す部分とは識別可能な状態で表示する。図３の例では、部分１１および部分１２が所定の状態であることを示す部分に相当する。
なお、グラフ表示部１３１は、タイムライングラフとして、各工程を時間軸に対応させ、同一製品の各工程の開始時刻同士および終了時刻同士を線分で結ぶグラフを生成するようにしてもよい。当該グラフは、例えば、複数の工程とそれぞれ対応づけられて互いに平行に配置される時間軸を配置する。また、当該グラフは、例えば、同一の製品についての複数の工程それぞれでの製造処理の開始時刻または終了時刻のいずれかに相当する該時間軸上の位置のうち、製造の順が隣り合う関係を持つ位置同士を結ぶ線分を配置する。
すなわち、グラフ表示部１３１は、画面上の第一の領域に、複数の工程とそれぞれ対応づけられて互いに平行に配置される時間軸と、同一の製品についての複数の工程それぞれでの製造処理の開始時刻または終了時刻のいずれかに相当する該時間軸上の位置のうち、製造の順が隣り合う関係を持つ位置同士を結ぶ線分とを含むグラフを表示する。
受付部１３２は、グラフ表示部１３１により表示画面が表示部１１１に表示されると、操作部１１２から入力される操作情報のうち、カーソル位置情報に基づいて、トレースグラフの部分に対する指定を受け付ける。すなわち、受付部１３２は、表示したタイムライングラフ内で、いずれかの製造工程におけるいずれかの製品に係る製造を示すトレースグラフの部分に対する指定を受け付ける。また、受付部１３２は、所定の状態であることを示す部分に対する指定を受け付ける。なお、受付部１３２は、タイムライングラフが各工程を時間軸に対応させたグラフである場合には、各工程の開始時刻同士および終了時刻同士を結ぶ線分の特定を受け付ける。言い換えると、受付部１３２は、第一の領域に表示した線分の中から、第一の線分の特定を受け付ける。また、受付部１３２は、所定の状態であることを示す線分の中から、第一の線分の特定を受け付ける。
受付部１３２は、カーソル位置情報と、表示画面上の座標とを比較するとともに、所定の開始操作が行われたか否かを判定する。受付部１３２は、所定の開始操作として、例えば、マウスの左クリック操作が行われた場合には、通常再生または範囲指定再生の開始操作であるとして、通常／範囲指定再生情報を特定部１３３に出力する。受付部１３２は、所定の開始操作として、例えば、マウスの右クリック操作が行われた場合には、他の画像との比較を行う比較再生の開始操作であるとして、比較再生情報を特定部１３３に出力する。また、受付部１３２は、比較対象を設定する場合には、比較再生情報を特定部１３３に出力した後に、タイムライングラフ上でトレースグラフの部分の指定を受け付ける。言い換えると、受付部１３２は、第一の領域に表示した線分の中から、さらに第二の線分の特定を受け付ける。受付部１３２は、受け付けた部分の指定を特定部１３３に出力する。
特定部１３３は、受付部１３２において指定を受け付けたトレースグラフの部分に基づいて、再生表示する動画像を特定する。以下の説明では、動画像の再生モードとして、通常再生モード、範囲指定再生モードおよび比較再生モードについて説明する。
（通常または範囲指定再生モード）
特定部１３３は、グラフ表示部１３１から表示画面が入力され、受付部１３２から通常／範囲指定再生情報が入力されると、受付部１３２で判定した左クリック操作が行われた箇所を特定する。すなわち、特定部１３３は、左クリック操作が行われた時点において、各工程における各製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す部分、つまり異常部分がポイントされているか否かを判定する。図３の例では、トレースグラフの部分１１または部分１２がポイントされているか否かが判定される。なお、所定の状態は、例えば、当該製品に対する作業時間が予め定めた異常値を判別する閾値を超えた状態である。
（通常再生モード）
特定部１３３は、異常部分がポイントされていない場合には、通常再生モードに遷移する。特定部１３３は、通常再生モードとして、まず、カーソル位置情報が示すポイント位置に基づいて、表示指定日時を算出する。また、特定部１３３は、ポイント位置に基づいて、表示指定工程を特定する。なお、ポイント位置は、操作部１１２がタッチパネルである場合には、タッチ位置が示すポイント位置となる。
特定部１３３は、算出した表示指定日時、および、特定した表示指定工程に基づいて、ポイント位置がいずれかの工程上にあるか否かを判定する。特定部１３３は、ポイント位置がいずれかの工程上にない場合には、画像ＤＢ１２３を参照し、全カメラの表示指定日時の動画像を取得して、取得した動画像を画像表示部１３４に出力する。
特定部１３３は、ポイント位置がいずれかの工程上にある場合には、カメラ定義テーブル１２２を参照し、ポイント位置がある工程に対応するカメラ、つまり表示指定カメラのカメラＩＤを取得する。特定部１３３は、表示画面に設けられた強調ボタンおよび単体表示ボタンの選択状況に基づいて、表示方法について強調および単体表示のうち、いずれが選択されているかを判定する。特定部１３３は、強調が選択されている場合には、画像ＤＢ１２３を参照し、全カメラの表示指定日時の動画像を取得して、取得した動画像を画像表示部１３４に出力する。また、特定部１３３は、取得したカメラＩＤに対応する動画像の表示枠を強調表示する強調指示を画像表示部１３４に出力する。
特定部１３３は、単体表示が選択されている場合には、画像ＤＢ１２３を参照し、取得したカメラＩＤに対応する表示指定日時の動画像を取得して、取得した動画像を画像表示部１３４に出力する。また、特定部１３３は、カメラ定義テーブル１２２を参照し、取得したカメラＩＤのマスク項目が「Ｔｒｕｅ」であるか否かを判定する。特定部１３３は、取得したカメラＩＤのマスク項目が「Ｔｒｕｅ」である場合には、取得したカメラＩＤに対応する工程以外の工程をマスクするマスク指示を画像表示部１３４に出力する。なお、特定部１３３は、カメラ定義テーブル１２２の「Ｘ」、「Ｙ」、「Ｗｉｄｔｈ」および「Ｈｅｉｇｈｔ」の各項目に基づいて、マスクの大きさおよび位置を決定する。特定部１３３は、取得したカメラＩＤのマスク項目が「Ｔｒｕｅ」でない場合には、マスク指示を出力しない。なお、特定部１３３は、強調または単体表示が選択されている場合には、動画像の表示領域は、強調と単体表示とで異なる領域としてもよいし、同一の領域において、それぞれ切り替えて表示するようにしてもよい。
特定部１３３は、強調および単体表示がどちらも選択されている場合には、全カメラの動画像を表示する領域に対して、強調が選択されている場合と同様の処理を実行する。また、特定部１３３は、単体表示の動画像を表示する領域に対して、単体表示が選択されている場合と同様の処理を実行する。すなわち、強調および単体表示がどちらも選択されている場合とは、強調と単体表示とで異なる領域に動画像が表示される場合である。
特定部１３３は、通常再生モードにおいて、撮像画像の表示中、つまり動画像の再生中に、動画像の最後、すなわち再生終了時刻に到達したか否か、または、操作部１１２から終了操作の操作情報が入力されたか否かを判定する。特定部１３３は、再生終了時刻に到達していない場合、または、終了操作の操作情報が入力されていない場合には、動画像の再生を継続する。特定部１３３は、再生終了時刻に到達した場合、または、終了操作の操作情報が入力された場合には、動画像の再生を停止する停止指示を画像表示部１３４に出力する。
（範囲指定再生モード）
異常部分がポイントされているか否かの判定の説明に戻る。特定部１３３は、異常部分がポイントされている場合には、範囲指定再生モードに遷移する。特定部１３３は、範囲指定再生モードとして、まず、カーソル位置情報が示すポイント位置に基づいて、表示指定日時を算出する。また、特定部１３３は、ポイント位置に基づいて、表示指定工程を特定する。特定部１３３は、カメラ定義テーブル１２２を参照し、特定した表示指定工程に対応する表示指定カメラのカメラＩＤを取得する。
特定部１３３は、算出した表示指定日時、および、特定した表示指定工程に基づいて、履歴ＤＢ１２１を参照し、異常部分に対応する線分に係る特定した表示指定工程の開始時刻と終了時刻とを取得する。特定部１３３は、取得した開始時刻および終了時刻と、カメラＩＤとに基づいて、画像ＤＢ１２３を参照し、異常部分に対応する線分に係る撮像画像、すなわち異常部分の工程の動画像を取得して、取得した動画像を画像表示部１３４に出力する。
特定部１３３は、表示画面に設けられた強調ボタンおよび単体表示ボタンの選択状況に基づいて、表示方法について強調および単体表示のうち、いずれが選択されているかを判定する。表示方法は強調および単体表示のうち、いずれが選択されているかの判定に基づく処理については、通常再生モードの場合と同様であるので、その説明を省略する。
特定部１３３は、範囲指定再生モードにおいて、撮像画像の表示中、つまり動画像の再生中に、動画像の異常部分の工程の終了時刻に到達したか否か、または、操作部１１２から終了操作の操作情報が入力されたか否かを判定する。特定部１３３は、異常部分の工程の終了時刻に到達していない場合、または、終了操作の操作情報が入力されていない場合には、動画像の再生を継続する。特定部１３３は、異常部分の工程の終了時刻に到達した場合、または、終了操作の操作情報が入力された場合には、動画像の再生を停止する停止指示を画像表示部１３４に出力する。
（比較再生モード）
受付部１３２から入力される情報に基づく判定の説明に戻る。特定部１３３は、グラフ表示部１３１から表示画面が入力され、受付部１３２から比較再生情報が入力されると、受付部１３２で判定した右クリック操作が行われた箇所を特定する。すなわち、特定部１３３は、右クリック操作が行われた時点において、各工程における各製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す部分、つまり異常部分がポイントされているか否かを判定する。
特定部１３３は、異常部分がポイントされていない場合には、受付部１３２の所定の開始操作が行われたか否かの判定に戻る。特定部１３３は、異常部分がポイントされている場合には、比較再生モードに遷移する。特定部１３３は、比較再生モードとして、まず、カーソル位置情報が示すポイント位置に基づいて、表示指定日時を算出する。また、特定部１３３は、ポイント位置に基づいて、表示指定工程を特定する。また、特定部１３３は、カメラ定義テーブル１２２を参照し、特定した表示指定工程に対応する表示指定カメラのカメラＩＤを取得する。さらに、特定部１３３は、カーソル位置にコンテキストメニューを表示させる。
コンテキストメニューは、例えば、比較対象である標準値、平均値、最速値および自由選択といった項目を有する。標準値は、例えば、特定された表示指定工程の標準作業時間に対応する動画像を選択するための項目である。平均値は、例えば、特定された表示指定工程について、当日、１週間、１ヶ月といった期間における平均作業時間に対応する動画像を選択するための項目である。最速値は、例えば、特定された表示指定工程について最も作業時間が短い、すなわち最も作業が速い場合の動画像を選択するための項目である。自由選択は、例えば、特定された表示指定工程と同一の工程における他の製品の動画像を選択するための項目である。つまり、比較対象は、各工程の手本となる動画像、ある作業員の当日における、同一工程の異なる製品に対する作業の動画像等、様々な動画像を用いることができる。
特定部１３３は、コンテキストメニューの項目に対する選択を受け付ける。特定部１３３は、コンテキストメニューの項目に対する選択を受け付けると、比較再生ウィンドウを生成する。比較再生ウィンドウには、特定した表示指定工程の動画像と、比較対象の動画像とをそれぞれ再生する２つの動画領域が、設定される動画像の属性情報とともに配置される。なお、属性情報は、例えば、コンテキストメニューの項目を用いることができる。また、それぞれの動画領域は、枠や背景色をタイムライングラフ上の異常部分の色と合わせたり、平均値や標準値等の属性情報によって色を変更するようにしてもよい。また、それぞれの動画領域は、比較対象が自由選択である場合には、選択順を表す番号を併せて表示してもよい。
特定部１３３は、受け付けた選択が自由選択であるか、標準値、平均値または最速値、つまり自由選択以外であるか否かを判定する。特定部１３３は、受け付けた選択が自由選択以外である場合には、画像ＤＢ１２３を参照して、受け付けた選択項目に対応する設定済みの標準値、平均値または最速値の動画像を、比較再生ウィンドウの一方の動画領域に設定する。
また、特定部１３３は、算出した表示指定日時、および、特定した表示指定工程に基づいて、履歴ＤＢ１２１を参照し、異常部分に対応する線分に係る特定した表示指定工程の開始時刻と終了時刻とを取得する。特定部１３３は、取得した開始時刻および終了時刻と、カメラＩＤとに基づいて、画像ＤＢ１２３を参照し、異常部分に対応する線分に係る撮像画像、すなわち異常部分の工程の動画像を取得して、取得した動画像を比較再生ウィンドウの他方の動画領域に設定する。特定部１３３は、動画領域に対する動画像の設定が完了した比較再生ウィンドウを画像表示部１３４に出力して、動画像の再生を開始する。なお、特定部１３３は、それぞれの動画像の再生について、当該工程における製造の開始時刻の同期をとって再生を開始するようにしてもよい。すなわち、特定部１３３は、例えば、それぞれの動画像の当該工程における製造の開始時刻から同時に再生を開始するようにしてもよい。
特定部１３３は、受け付けた選択が自由選択である場合には、比較対象設定処理を実行する。特定部１３３は、比較対象設定処理として、まず、ポイントされた異常部分以外の同一工程のトレースグラフの部分、すなわちポイントされた異常部分に対応する製品と異なる製品の同一工程のトレースグラフの部分を強調して表示させる比較候補強調指示を画像表示部１３４に出力する。
特定部１３３は、受付部１３２から入力された部分に対する指定に基づいて、異なる製品の同一工程の強調表示されたトレースグラフの部分が選択されたか否かを判定する。特定部１３３は、当該部分が選択されていない場合には、選択されるまで待機する。特定部１３３は、当該部分が選択された場合には、選択された部分を比較対象として設定する。特定部１３３は、比較対象の部分を設定すると、強調表示された部分を元に戻す強調終了指示を画像表示部１３４に出力する。特定部１３３は、比較対象の設定が完了すると、比較対象設定処理を終了する。
特定部１３３は、比較対象設定処理で比較対象が設定されると、画像ＤＢ１２３を参照して、比較対象として設定された部分の動画像を、比較再生ウィンドウの一方の動画領域に設定する。また、特定部１３３は、コンテキストメニューで自由選択以外が選択された場合と同様に、ポイントされた異常部分の工程の動画像を取得して、取得した動画像を比較再生ウィンドウの他方の動画領域に設定する。特定部１３３は、動画領域に対する動画像の設定が完了した比較再生ウィンドウを画像表示部１３４に出力して、動画像の再生を開始する。なお、特定部１３３は、それぞれの動画像の再生について、当該工程における製造の開始時刻の同期をとって再生を開始するようにしてもよい。
特定部１３３は、比較再生モードにおいて、撮像画像の表示中、つまり動画像の再生中に、比較再生ウィンドウを閉じる操作が入力されたか否かを判定する。特定部１３３は、比較再生ウィンドウを閉じる操作が入力されていない場合には、比較再生ウィンドウでの再生を継続する。特定部１３３は、比較再生ウィンドウを閉じる操作が入力された場合には、比較再生ウィンドウを閉じてタイムライングラフと動画像とを表示する表示画面に戻るウィンドウ閉指示を画像表示部１３４に出力する。なお、特定部１３３は、比較再生ウィンドウで再生される動画像が最後まで再生されると、比較再生ウィンドウを閉じる操作が入力されるまで待機する。
また、特定部１３３は、タイムライングラフおよび動画像の表示画面の表示中に、操作部１１２から表示を終了する旨の操作情報が入力されたか否かを判定する。特定部１３３は、表示を終了する旨の操作情報が入力されない場合には、引き続きタイムライングラフおよび動画像の表示画面を表示させる。特定部１３３は、表示を終了する旨の操作情報が入力された場合には、タイムライングラフおよび動画像の表示画面の表示を終了する終了指示を画像表示部１３４に出力する。
画像表示部１３４は、グラフ表示部１３１から表示画面が入力される。画像表示部１３４は、特定部１３３から動画像が入力されると、表示画面のカメラの動画像を表示する領域に動画像を表示するように表示画面を更新する。また、画像表示部１３４は、特定部１３３から強調指示が入力されると、強調指示に対応する動画像の表示枠を強調表示するように表示画面を更新する。また、画像表示部１３４は、特定部１３３からマスク指示が入力されると、カメラ定義テーブル１２２を参照して、マスク指示に対応するマスクを描画するように表示画面を更新する。
また、画像表示部１３４は、特定部１３３から停止指示が入力されると、動画像の再生を停止する。また、画像表示部１３４は、特定部１３３から比較再生ウィンドウが入力されると、入力された比較再生ウィンドウを表示画面上に重畳表示する。また、画像表示部１３４は、特定部１３３からウィンドウ閉指示が入力されると、比較再生ウィンドウを閉じて表示画面を更新する。また、画像表示部１３４は、特定部１３３から比較候補強調指示が入力されると、タイムライングラフの比較対象候補のトレースグラフの当該部分を強調表示するように表示画面を更新する。また、画像表示部１３４は、特定部１３３から強調終了指示が入力されると、タイムライングラフの比較対象候補のトレースグラフの当該部分の強調表示を元に戻すように表示画面を更新する。さらに、画像表示部１３４は、特定部１３３から終了指示が入力されると、表示画面の表示を終了する。
ここで、特定部１３３と画像表示部１３４とは、１つの画像表示部としてもよい。すなわち、当該画像表示部は、画像ＤＢ１２３に記憶された複数の製造工程についての撮像画像のうち、指定を受け付けた部分により特定される、特定の製造工程における特定の製品に係る製造の開始時刻から終了時刻に相当する撮像画像を再生表示する。また、当該画像表示部は、指定を受け付けた複数の部分のそれぞれについて、対応する製造工程で対応する時刻に撮影された撮像画像を、どの部分に対応する撮像画像であるかを識別可能な状態で表示する。また、当該画像表示部は、複数の部分のそれぞれにより特定される製造の開始時刻の同期をとって、該複数の部分それぞれに対応する撮像画像の再生を開始する。
さらに、当該画像表示部は、各工程を時間軸に対応させ、同一製品の各工程の開始時刻同士および終了時刻同士を線分で結ぶグラフを生成する場合にも適用できる。すなわち、当該画像表示部は、画面上の第二の領域に、特定を受け付けた第一の線分に対応する工程で、該第一の線分により特定される時刻間に撮影された画像を表示する。また、当該画像表示部は、グラフ内の線分のうち、工程におけるそれぞれの製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す線分を、所定の状態ではないことを示す線分とは識別可能な状態で表示する。また、当該画像表示部は、第一の線分と第二の線分とのそれぞれについて、対応する工程で対応する時刻に撮影された画像を、いずれの線分に対応する画像であるかを識別可能な状態で表示する。また、当該画像表示部は、第一の線分により特定される製造の開始時刻と、第二の線分により特定される製造の開始時刻との同期をとって、第一の線分に対応する第一の画像と第二の線分に対応する第二の画像との再生を開始する。
ここで、図７および図８を用いて通常再生モードの表示画面の一例について説明する。なお、図７および図８では、表示方法として、強調および単体表示が選択されているものとする。図７は、通常再生モードの表示画面の一例を示す図である。図７に示すように、表示画面２１は、通常再生モードの表示画面の一例であり、タイムライングラフを表示する領域２２と、全カメラの動画像を表示する領域２３と、ポイント位置に応じた工程に対応するカメラの動画像を単体表示する領域２４とを有する。領域２３は、例えば、カメラが４台ある場合には、領域２３を４分割し、それぞれの領域に各カメラに対応する動画像を表示する。また、表示画面２１は、表示方法を選択するための強調ボタン２５と、単体表示ボタン２６とを有する。
図７に示すように、表示画面２１では、カーソル２７は工程Ｃ上に存在し、カーソル２７の位置に対応するライン２８が示す時刻ｔ０の動画像が領域２３および領域２４に表示される。領域２３には、工程Ｃに対応するカメラＣ２の動画像２９について、例えば表示枠を太くして着色する等により強調して表示される。また、領域２４には、カメラＣ２の動画像３０が単体表示される。なお、領域２４は、単体表示時に表示枠を太くして着色する等により強調して表示してもよい。
表示画面２１では、左クリック操作が行われポイントされた箇所は、工程Ｃ上の時刻ｔ０であるので、ポイントされた時刻ｔ０を開始時刻として、動画像の再生が開始される。表示画面２１では、時刻ｔ０から動画像の再生が開始されると、ライン２８が、時刻ｔ１、時刻ｔ２へと動画像の撮像日時に合わせて移動する。このとき、領域２３および領域２４には、ライン２８が示す撮像日時の動画像が再生表示される。また、表示画面２１では、動画像の再生が、動画像の最後、すなわち再生終了時刻に到達したか、または、操作部１１２から終了操作の操作情報が入力されると、動画像の再生が停止される。
図８は、通常再生モードの表示画面の他の一例を示す図である。図８に示すように、表示画面３１は、通常再生モードにおいて、カーソル位置によって単体表示の領域２４に表示される動画像を変更する場合の一例である。また、表示画面３１では、ライン２８が示す時刻ｔ３の動画像が領域２３および領域２４に表示される。なお、表示画面３１では、ライン２８は、時間軸に沿って移動し、ライン２８の移動に伴って、領域２３および領域２４に表示される動画像も変化する。
また、表示画面３１では、例えば、カーソル２７が工程Ｃから工程Ｅへと移動した場合に、領域２３では、工程Ｅに対応するカメラＣ４の動画像３２が強調して表示される。また、領域２４では、表示される動画像が、工程Ｃに対応するカメラＣ２の動画像から、工程Ｅに対応するカメラＣ４の動画像３３に変更される。動画像３３には、工程Ｅと、時刻ｔ３時点で工程Ｅにある製品とが容易に判別できるように、工程Ｅに対応する領域３５以外をマスクするようにマスク３４が表示される。なお、表示画面３１では、どの工程が強調および単体表示されているかを容易に判別できるように、タイムライングラフの工程Ｅの部分について、例えば、着色する等により他の工程と判別可能に表示されている。
次に、図９および図１０を用いて範囲指定再生モードの表示画面の一例について説明する。なお、図９および図１０では、表示方法として、強調および単体表示が選択されているものとする。図９は、範囲指定再生モードの表示画面の一例を示す図である。図９に示すように、表示画面４１は、範囲指定再生モードの表示画面の一例であり、図７に示す表示画面２１と同様に、領域２２と、領域２３と、領域２４とを有する。
図９に示すように、表示画面４１では、カーソル２７が異常部分である部分１２上にポイントされた状態で左クリック操作が行われると、部分１２の開始時刻である時刻ｔ４から、部分１２に対応する工程Ｅの動画像の再生が開始される。すなわち、領域２３では、工程Ｅに対応するカメラＣ４の動画像３２について、例えば表示枠を太くして着色する等により強調して表示される。また、領域２４では、カメラＣ４の動画像３３が単体表示される。なお、領域２４は、単体表示時に表示枠を太くして着色する等により強調して表示してもよい。また、表示画面４１では、部分１２に対応する工程Ｅの動画像のみが再生される。すなわち、表示画面４１では、ライン４２で示す時刻ｔ４から、ライン４３で示す部分１２の終了時刻である時刻ｔ５までの動画像が再生される。
図１０は、範囲指定再生モードの表示画面の他の一例を示す図である。図１０に示す表示画面４１は、図９の表示画面４１にて動画像の再生が開始され、当該動画像の再生中の一例である。表示画面４１では、時刻ｔ４から動画像の再生が開始されると、ライン４４が時刻ｔ６、時刻ｔ５へと動画像の撮像日時に合わせて移動する。このとき、領域２３および領域２４には、ライン４４が示す撮像日時の動画像が再生表示される。また、表示画面４１では、動画像の再生が、部分１２に対応する工程Ｅの動画像の最後、すなわち異常部分の工程の終了時刻に到達したか、または、操作部１１２から終了操作の操作情報が入力されると、動画像の再生が停止される。
次に、図１１および図１２を用いて比較再生モードの表示画面の一例について説明する。なお、図１１および図１２では、表示方法として、強調および単体表示が選択されているものとする。図１１は、比較再生モードの表示画面の一例を示す図である。図１１に示すように、表示画面５１は、比較再生モードの表示画面の一例であり、図７に示す表示画面２１と同様に、領域２２と、領域２３と、領域２４とを有する。
図１１に示すように、表示画面５１では、カーソル２７が異常部分である部分１２上にポイントされた状態で右クリック操作が行われると、コンテキストメニュー５２が表示される。コンテキストメニュー５２では、各項目のうちいずれか１つの項目が選択される。表示画面５１では、例えば、平均値が選択されると、比較再生ウィンドウが表示画面５１の上に重畳表示される。
図１２は、比較再生ウィンドウの表示画面の一例を示す図である。図１２に示す比較再生ウィンドウ５３は、比較対象の動画像を表示する領域５４と、選択された部分の動画像を表示する領域５５とを有する。比較再生ウィンドウ５３では、例えば、図１１の表示画面５１において、コンテキストメニュー５２で平均値が選択されると、作業時間の平均値に対応する動画像５６が領域５４に設定される。また、比較再生ウィンドウ５３では、動画像５６に対して、工程Ｅの領域５８以外をマスクするようにマスク５７が表示される。
また、比較再生ウィンドウ５３では、例えば、選択された部分の動画像３３が領域５５に設定され、動画像３３に対して、部分１２に対応する工程Ｅの領域３５以外をマスクするようにマスク３４が表示される。比較再生ウィンドウ５３では、領域５４に設定された動画像５６、および、領域５５に設定された動画像３３について、動画像の再生が開始される。図１２の例では、工程Ｅにおける製造の開始時刻の同期をとって再生が開始され、選択部分である部分１２に対応する製品の製造作業が、平均値よりも遅れている状態である。比較再生ウィンドウ５３では、比較再生ウィンドウ５３を閉じる操作が入力された場合には、比較再生ウィンドウ５３が閉じられて表示画面５１に戻る。
次に、実施例の管理装置１００の動作について説明する。図１３および図１４は、実施例の表示処理の一例を示すフローチャートである。
グラフ表示部１３１は、製造状況を表示する表示画面を表示させる旨の操作情報が操作部１１２から入力されると、履歴ＤＢ１２１を参照して、タイムライングラフを生成する（ステップＳ１）。グラフ表示部１３１は、生成したタイムライングラフを含む表示画面を生成し、生成した表示画面を表示部１１１に出力して表示させる。また、グラフ表示部１３１は、生成した表示画面を特定部１３３および画像表示部１３４に出力する。
受付部１３２は、グラフ表示部１３１により表示画面が表示部１１１に表示されると、操作部１１２から入力される操作情報のうち、カーソル位置情報と、表示画面上の座標とを比較するとともに、所定の開始操作が入力されたか否かを判定する（ステップＳ２）。受付部１３２は、所定の開始操作として、例えば、マウスの左クリック操作が行われた場合には（ステップＳ２：通常／範囲指定再生操作）、通常再生または範囲指定再生の開始操作であるとして、通常／範囲指定再生情報を特定部１３３に出力する。
特定部１３３は、グラフ表示部１３１から表示画面が入力され、受付部１３２から通常／範囲指定再生情報が入力されると、異常部分がポイントされているか否かを判定する（ステップＳ３）。特定部１３３は、異常部分がポイントされていない場合には（ステップＳ３：否定）、通常再生モードに遷移する。
特定部１３３は、画像ＤＢ１２３を参照し、ポイントされた時刻に対応する動画像を取得して、取得した動画像を画像表示部１３４に出力する。画像表示部１３４は、グラフ表示部１３１から表示画面が入力され、特定部１３３から動画像が入力されると、表示画面のカメラの動画像を表示する領域に動画像を表示させて、ポイントされた時刻から動画像の再生を開始する（ステップＳ４）。
特定部１３３は、通常再生モードにおいて、動画像の再生中に、再生終了時刻に到達したか否か、または、操作部１１２から終了操作の操作情報が入力されたか否かを判定する（ステップＳ５）。特定部１３３は、再生終了時刻に到達していない場合、または、終了操作の操作情報が入力されてない場合には（ステップＳ５：否定）、動画像の再生を継続し、ステップＳ５の判定を繰り返す。
特定部１３３は、再生終了時刻に到達した場合、または、終了操作の操作情報が入力された場合には（ステップＳ５：肯定）、動画像の再生を停止する停止指示を画像表示部１３４に出力する。画像表示部１３４は、特定部１３３から停止指示が入力されると、動画像の再生を停止する。特定部１３３は、操作部１１２から表示を終了する旨の操作情報が入力されたか否かを判定する（ステップＳ６）。すなわち、特定部１３３は、タイムライングラフおよび撮像画像の表示画面の表示中に、操作部１１２から表示を終了する旨の操作情報が入力されたか否かを判定する。
特定部１３３は、表示を終了する旨の操作情報が入力されない場合には（ステップＳ６：否定）、ステップＳ２に戻る。特定部１３３は、表示を終了する旨の操作情報が入力された場合には（ステップＳ６：肯定）、タイムライングラフおよび撮像画像の表示画面の表示を終了する終了指示を画像表示部１３４に出力する。画像表示部１３４は、特定部１３３から終了指示が入力されると、表示画面の表示を終了する。
ステップＳ３の説明に戻る。特定部１３３は、異常部分がポイントされている場合には（ステップＳ３：肯定）、範囲指定再生モードに遷移する。特定部１３３は、画像ＤＢ１２３を参照し、異常部分の工程の動画像を取得して、取得した動画像を画像表示部１３４に出力する。画像表示部１３４は、グラフ表示部１３１から表示画面が入力され、特定部１３３から動画像が入力されると、表示画面のカメラの動画像を表示する領域に動画像を表示させて、異常部分の工程の開始時刻から動画像の再生を開始する（ステップＳ７）。
特定部１３３は、範囲指定再生モードにおいて、動画像の再生中に、動画像の異常部分の工程の終了時刻に到達したか否か、または、操作部１１２から終了操作の操作情報が入力されたか否かを判定する（ステップＳ８）。特定部１３３は、異常部分の工程の終了時刻に到達していない場合、または、終了操作の操作情報が入力されてない場合には（ステップＳ８：否定）、動画像の再生を継続し、ステップＳ８の判定を繰り返す。
特定部１３３は、異常部分の工程の終了時刻に到達した場合、または、終了操作の操作情報が入力された場合には（ステップＳ８：肯定）、動画像の再生を停止する停止指示を画像表示部１３４に出力する。画像表示部１３４は、特定部１３３から停止指示が入力されると、動画像の再生を停止する。特定部１３３は、操作部１１２から表示を終了する旨の操作情報が入力されたか否かを判定する（ステップＳ６）。
特定部１３３は、表示を終了する旨の操作情報が入力されない場合には（ステップＳ６：否定）、ステップＳ２に戻る。特定部１３３は、表示を終了する旨の操作情報が入力された場合には（ステップＳ６：肯定）、タイムライングラフおよび撮像画像の表示画面の表示を終了する終了指示を画像表示部１３４に出力する。画像表示部１３４は、特定部１３３から終了指示が入力されると、表示画面の表示を終了する。
ステップＳ２の説明に戻る。受付部１３２は、所定の開始操作として、例えば、マウスの右クリック操作が行われた場合には（ステップＳ２：比較再生操作）、比較再生の開始操作であるとして、比較再生情報を特定部１３３に出力する。特定部１３３は、グラフ表示部１３１から表示画面が入力され、受付部１３２から比較再生情報が入力されると、異常部分がポイントされているか否かを判定する（ステップＳ９）。特定部１３３は、異常部分がポイントされていない場合には（ステップＳ９：否定）、ステップＳ２に戻る。
特定部１３３は、異常部分がポイントされている場合には（ステップＳ９：肯定）、比較再生モードに遷移する。特定部１３３は、カーソル位置にコンテキストメニューを表示させる（ステップＳ１０）。特定部１３３は、コンテキストメニューの項目に対する選択を受け付ける。特定部１３３は、コンテキストメニューの項目に対する選択を受け付けると、比較再生ウィンドウを生成する。
特定部１３３は、コンテキストメニューにおいて、どのメニュー項目が選択されたかを判定する（ステップＳ１１）。すなわち、特定部１３３は、受付けた選択が自由選択であるか、自由選択以外であるかを判定する。特定部１３３は、受付けた選択が自由選択以外である場合には（ステップＳ１１：「自由選択」以外）、受付けた選択項目に対応する設定済みの標準値、平均値または最速値の動画像を、画像ＤＢ１２３から取得する。特定部１３３は、取得した動画像を比較再生ウィンドウの一方の動画領域に設定する（ステップＳ１２）。
特定部１３３は、ポイントされている異常部分の工程の動画像を、画像ＤＢ１２３から取得する。特定部１３３は、取得した動画像を比較再生ウィンドウの他方の動画領域に設定する（ステップＳ１３）。特定部１３３は、動画領域に対する動画像の設定が完了した比較再生ウィンドウを画像表示部１３４に出力する。画像表示部１３４は、特定部１３３から比較再生ウィンドウが入力されると、入力された比較再生ウィンドウを表示画面上に重畳表示して、動画像の再生を開始する（ステップＳ１４）。
特定部１３３は、比較再生モードにおいて、動画像の再生中に、比較再生ウィンドウを閉じる操作が入力されたか否かを判定する（ステップＳ１５）。特定部１３３は、比較再生ウィンドウを閉じる操作が入力されていない場合には（ステップＳ１５：否定）、比較再生ウィンドウでの再生を継続し、ステップＳ１５の判定を繰り返す。特定部１３３は、比較再生ウィンドウを閉じる操作が入力された場合には（ステップＳ１５：肯定）、ウィンドウ閉指示を画像表示部１３４に出力する。画像表示部１３４は、特定部１３３からウィンドウ閉指示が入力されると、比較再生ウィンドウを閉じて表示画面を更新し、ステップＳ６に進む。
ステップＳ１１の説明に戻る。特定部１３３は、受付けた選択が自由選択である場合には（ステップＳ１１：「自由選択」）、比較対象設定処理を実行する（ステップＳ１６）。ここで、図１５を用いて比較対象設定処理について説明する。図１５は、比較対象設定処理の一例を示すフローチャートである。
特定部１３３は、ポイントされた異常部分以外の同一工程のトレースグラフの部分を強調して表示させる比較候補強調指示を画像表示部１３４に出力する。画像表示部１３４は、特定部１３３から比較候補強調指示が入力されると、タイムライングラフの比較対象候補のトレースグラフの当該部分を強調表示するように表示画面を更新する（ステップＳ１６１）。
受付部１３２は、タイムライングラフ上でトレースグラフの部分の指定を受け付ける。受付部１３２は、受け付けた部分の指定を特定部１３３に出力する。特定部１３３は、受付部１３２から入力された部分に対する指定に基づいて、ポイントされた異常部分以外の同一工程における、強調表示されたトレースグラフの部分が選択されたか否かを判定する（ステップＳ１６２）。特定部１３３は、当該部分が選択されていない場合には（ステップＳ１６２：否定）、ステップＳ１６２の判定を繰り返す。
特定部１３３は、当該部分が選択された場合には（ステップＳ１６２：肯定）、選択された部分を比較対象として設定する（ステップＳ１６３）。特定部１３３は、比較対象の部分を設定すると、強調表示された部分を元に戻す強調終了指示を画像表示部１３４に出力する。画像表示部１３４は、特定部１３３から強調終了指示が入力されると、タイムライングラフの比較対象候補のトレースグラフの当該部分の強調表示を元に戻すように表示画面を更新し（ステップＳ１６４）、比較対象設定処理を終了して元の処理に戻る。これにより、管理装置１００は、比較再生モードにおける比較対象として、タイムライングラフ上の他の部分を選択できる。
図１３および図１４の表示処理の説明に戻る。特定部１３３は、比較対象設定処理で比較対象が設定されると、画像ＤＢ１２３を参照して、比較対象として設定された部分の動画像を、比較再生ウィンドウの一方の動画領域に設定する。また、特定部１３３は、ポイントされた異常部分の工程の動画像を取得して、取得した動画像を比較再生ウィンドウの他方の動画領域に設定する（ステップＳ１７）。特定部１３３は、動画領域に対する動画像の設定が完了した比較再生ウィンドウを画像表示部１３４に出力して、ステップＳ１４に進む。これにより、管理装置１００は、指定された工程および製品に対応する動画像を再生できる。
このように、管理装置１００は、製造工程の開始時刻と終了時刻との情報に基づいて、複数の製造工程のそれぞれにおける製造工程の開始から終了までの経過時間を示すグラフを、複数の製造工程の実行順に製造工程毎に区分した状態で、時間軸を同じ方向に揃えて表示する。また、管理装置１００は、表示したグラフ内で、いずれかの製造工程におけるいずれかの製品に係る製造を示す部分に対する指定を受け付ける。また、管理装置１００は、画像ＤＢ１２３に記憶された複数の製造工程についての撮像画像のうち、指定を受け付けた部分により特定される、特定の製造工程における特定の製品に係る製造の開始時刻から終了時刻に相当する撮像画像を再生表示する。その結果、指定された工程および製品に対応する動画像を再生できる。
また、管理装置１００は、グラフ内の、製造工程におけるそれぞれの製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す部分を、所定の状態ではないことを示す部分とは識別可能な状態で表示する。また、管理装置１００は、所定の状態であることを示す部分に対する指定を受け付ける。その結果、タイムライングラフ内の所定の状態、すなわち異常部分を容易に識別でき、異常部分に係る工程および製品に対応する動画像を再生できる。
また、管理装置１００は、グラフ内のそれぞれの製造工程におけるそれぞれの製品に係る製造の開始から終了までを表す部分の中から、複数の部分の指定を受け付ける。また、管理装置１００は、指定を受け付けた複数の部分のそれぞれについて、対応する製造工程で対応する時刻に撮影された撮像画像を、どの部分に対応する撮像画像であるかを識別可能な状態で表示する。その結果、異常部分の動画像を正常な動画像と容易に比較できる。
また、管理装置１００は、複数の部分のそれぞれにより特定される製造の開始時刻の同期をとって、該複数の部分それぞれに対応する撮像画像の再生を開始する。その結果、異常部分の動画像を正常な動画像と容易に比較できる。
また、管理装置１００は、画面上の第一の領域に、複数の工程とそれぞれ対応づけられて互いに平行に配置される時間軸と、同一の製品についての複数の工程それぞれでの製造処理の開始時刻または終了時刻のいずれかに相当する該時間軸上の位置のうち、製造の順が隣り合う関係を持つ位置同士を結ぶ線分とを含むグラフを表示する。また、管理装置１００は、第一の領域に表示した線分の中から、第一の線分の特定を受け付ける。また、管理装置１００は、画面上の第二の領域に、特定を受け付けた第一の線分に対応する工程で、該第一の線分により特定される時刻間に撮影された画像を表示する。その結果、指定された工程および製品に対応する動画像を再生できる。
また、管理装置１００は、グラフ内の線分のうち、工程におけるそれぞれの製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す線分を、所定の状態ではないことを示す線分とは識別可能な状態で表示する。また、管理装置１００は、所定の状態であることを示す線分の中から、第一の線分の特定を受け付ける。その結果、タイムライングラフ内の所定の状態、すなわち異常部分を容易に識別でき、異常部分に係る工程および製品に対応する動画像を再生できる。
また、管理装置１００は、第一の領域に表示した線分の中から、さらに第二の線分の特定を受け付ける。また、管理装置１００は、第一の線分と第二の線分とのそれぞれについて、対応する工程で対応する時刻に撮影された画像を、いずれの線分に対応する画像であるかを識別可能な状態で表示する。その結果、異常部分の動画像を正常な動画像と容易に比較できる。
また、管理装置１００では、画像は動画像である。また、管理装置１００は、第一の線分により特定される製造の開始時刻と、第二の線分により特定される製造の開始時刻との同期をとって、第一の線分に対応する第一の画像と第二の線分に対応する第二の画像との再生を開始する。その結果、異常部分の動画像を正常な動画像と容易に比較できる。
なお、上記実施例では、複数の工程を撮像した撮像画像が表示される場合に、マスク処理によってポイントされている工程に対応する部分を表示したが、これに限定されない。例えば、マスク処理を行わず、複数の工程を撮像した撮像画像に対して、どの工程の画像が所望の画像であるかを製造状態表示システム１の管理者が判断してもよい。これにより、前後の製品の様子も表示できるので、より状況を把握しやすくなる。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、グラフ表示部１３１と画像表示部１３４とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１６は、製造状態表示プログラムを実行するコンピュータの一例を示す図である。
図１６に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０４と、各種装置と接続するためのインタフェース装置２０５と、他の情報処理装置等と有線または無線により接続するための通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８とを有する。また、各装置２０１〜２０８は、バス２０９に接続される。
ハードディスク装置２０８には、図１に示したグラフ表示部１３１、受付部１３２、特定部１３３および画像表示部１３４の各処理部と同様の機能を有する製造状態表示プログラムが記憶される。また、ハードディスク装置２０８には、履歴ＤＢ１２１、カメラ定義テーブル１２２、画像ＤＢ１２３、および、製造状態表示プログラムを実現するための各種データが記憶される。入力装置２０２は、例えば、コンピュータ２００の管理者から操作情報、管理情報等の各種情報の入力を受け付ける。モニタ２０３は、例えば、コンピュータ２００の管理者に対して表示画面、管理情報の画面および各種画面を表示する。インタフェース装置２０５は、例えば印刷装置等が接続される。通信装置２０６は、例えば、図１に示した通信部１１０と同様の機能を有し図示しないネットワークと接続され、各種装置と各種情報をやりとりする。
ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラムを読み出して、ＲＡＭ２０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ２００を図１に示したグラフ表示部１３１、受付部１３２、特定部１３３および画像表示部１３４として機能させることができる。
なお、上記の製造状態表示プログラムは、必ずしもハードディスク装置２０８に記憶されている必要はない。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの製造状態表示プログラムを記憶させておき、コンピュータ２００がこれらから製造状態表示プログラムを読み出して実行するようにしてもよい。
１ 製造状態表示システム
１００ 管理装置
１１０ 通信部
１１１ 表示部
１１２ 操作部
１２０ 記憶部
１２１ 履歴ＤＢ
１２２ カメラ定義テーブル
１２３ 画像ＤＢ
１３０ 制御部
１３１ グラフ表示部
１３２ 受付部
１３３ 特定部
１３４ 画像表示部

Claims (12)

  1. 複数の製造工程を経て製造される製品の製造状況を表示する製造状態表示システムにおいて、
    製造工程の開始時刻と終了時刻との情報に基づいて、前記複数の製造工程のそれぞれにおける製造工程の開始から終了までの経過時間を示すグラフを、前記複数の製造工程の実行順に製造工程毎に区分した状態で、時間軸を同じ方向に揃えて表示するグラフ表示部と、
    表示した前記グラフ内で、いずれかの製造工程におけるいずれかの製品に係る製造を示す部分に対する指定を受け付ける受付部と、
    記憶部に記憶された前記複数の製造工程についての動画像である撮像画像のうち、前記指定を受け付けた部分により特定される、特定の製造工程における特定の製品に係る製造の開始時刻から終了時刻に相当する撮像画像を再生表示する画像表示部と、
    を有することを特徴とする製造状態表示システム。
  2. 前記グラフ表示部は、前記グラフ内の、製造工程におけるそれぞれの製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す部分を、所定の状態ではないことを示す部分とは識別可能な状態で表示し、
    前記受付部は、前記所定の状態であることを示す部分に対する指定を受け付ける、
    ことを特徴とする請求項１に記載の製造状態表示システム。
  3. 前記受付部は、前記グラフ内のそれぞれの製造工程におけるそれぞれの製品に係る製造の開始から終了までを表す部分の中から、複数の部分の指定を受け付け、
    前記画像表示部は、指定を受け付けた前記複数の部分のそれぞれについて、対応する製造工程で対応する時刻に撮影された撮像画像を、どの部分に対応する撮像画像であるかを識別可能な状態で表示する、
    ことを特徴とする請求項１または２に記載の製造状態表示システム。
  4. 前記画像表示部は、前記複数の部分のそれぞれにより特定される製造の開始時刻の同期をとって、該複数の部分それぞれに対応する撮像画像の再生を開始する、
    ことを特徴とする請求項３に記載の製造状態表示システム。
  5. 複数の工程による製造が順に行われることにより製造される製品の、製造状況を可視化する製造状態表示システムにおいて、
    画面上の第一の領域に、前記複数の工程とそれぞれ対応づけられて互いに平行に配置される時間軸と、同一の製品についての前記複数の工程それぞれでの製造処理の開始時刻または終了時刻のいずれかに相当する該時間軸上の位置のうち、前記製造の順が隣り合う関係を持つ位置同士を結ぶ線分とを含むグラフを表示するグラフ表示部と、
    前記第一の領域に表示した前記線分の中から、第一の線分の特定を受け付ける受付部と、
    前記画面上の第二の領域に、特定を受け付けた前記第一の線分に対応する工程で、該第一の線分により特定される時刻間に撮影された画像を表示する画像表示部と、
    を有することを特徴とする製造状態表示システム。
  6. 前記グラフ表示部は、前記グラフ内の線分のうち、工程におけるそれぞれの製品に係る製造の開始から終了までの経過時間が所定の状態であることを示す線分を、所定の状態ではないことを示す線分とは識別可能な状態で表示し、
    前記受付部は、前記所定の状態であることを示す線分の中から、前記第一の線分の特定を受け付ける、
    ことを特徴とする請求項５に記載の製造状態表示システム。
  7. 前記受付部は、前記第一の領域に表示した前記線分の中から、さらに第二の線分の特定を受け付け、
    前記画像表示部は、前記第一の線分と前記第二の線分とのそれぞれについて、対応する工程で対応する時刻に撮影された画像を、いずれの線分に対応する画像であるかを識別可能な状態で表示する、
    ことを特徴とする請求項５または６に記載の製造状態表示システム。
  8. 前記画像は動画像であり、
    前記画像表示部は、前記第一の線分により特定される製造の開始時刻と、前記第二の線分により特定される製造の開始時刻との同期をとって、前記第一の線分に対応する第一の画像と前記第二の線分に対応する第二の画像との再生を開始する、
    ことを特徴とする請求項７に記載の製造状態表示システム。
  9. 複数の製造工程を経て製造される製品の製造状況を表示する製造状態表示方法において、
    製造工程の開始時刻と終了時刻との情報に基づいて、前記複数の製造工程のそれぞれにおける製造工程の開始から終了までの経過時間を示すグラフを、前記複数の製造工程の実行順に製造工程毎に区分した状態で、時間軸を同じ方向に揃えて表示し、
    表示した前記グラフ内で、いずれかの製造工程におけるいずれかの製品に係る製造を示す部分に対する指定を受け付け、
    記憶部に記憶された前記複数の製造工程についての動画像である撮像画像のうち、前記指定を受け付けた部分により特定される、特定の製造工程における特定の製品に係る製造の開始時刻から終了時刻に相当する撮像画像を再生表示する、
    処理をコンピュータが実行することを特徴とする製造状態表示方法。
  10. 複数の工程による製造が順に行われることにより製造される製品の、製造状況を可視化する製造状態表示方法において、
    画面上の第一の領域に、前記複数の工程とそれぞれ対応づけられて互いに平行に配置される時間軸と、同一の製品についての前記複数の工程それぞれでの製造処理の開始時刻または終了時刻のいずれかに相当する該時間軸上の位置のうち、前記製造の順が隣り合う関係を持つ位置同士を結ぶ線分とを含むグラフを表示し、
    前記第一の領域に表示した前記線分の中から、第一の線分の特定を受け付け、
    前記画面上の第二の領域に、特定を受け付けた前記第一の線分に対応する工程で、該第一の線分により特定される時刻間に撮影された画像を表示する、
    処理をコンピュータが実行することを特徴とする製造状態表示方法。
  11. 複数の製造工程を経て製造される製品の製造状況を表示する処理をコンピュータに実行させる製造状態表示プログラムにおいて、
    製造工程の開始時刻と終了時刻との情報に基づいて、前記複数の製造工程のそれぞれにおける製造工程の開始から終了までの経過時間を示すグラフを、前記複数の製造工程の実行順に製造工程毎に区分した状態で、時間軸を同じ方向に揃えて表示し、
    表示した前記グラフ内で、いずれかの製造工程におけるいずれかの製品に係る製造を示す部分に対する指定を受け付け、
    記憶部に記憶された前記複数の製造工程についての動画像である撮像画像のうち、前記指定を受け付けた部分により特定される、特定の製造工程における特定の製品に係る製造の開始時刻から終了時刻に相当する撮像画像を再生表示する、
    処理をコンピュータに実行させることを特徴とする製造状態表示プログラム。
  12. 複数の工程による製造が順に行われることにより製造される製品の、製造状況を可視化する処理をコンピュータに実行させる製造状態表示プログラムにおいて、
    画面上の第一の領域に、前記複数の工程とそれぞれ対応づけられて互いに平行に配置される時間軸と、同一の製品についての前記複数の工程それぞれでの製造処理の開始時刻または終了時刻のいずれかに相当する該時間軸上の位置のうち、前記製造の順が隣り合う関係を持つ位置同士を結ぶ線分とを含むグラフを表示し、
    前記第一の領域に表示した前記線分の中から、第一の線分の特定を受け付け、
    前記画面上の第二の領域に、特定を受け付けた前記第一の線分に対応する工程で、該第一の線分により特定される時刻間に撮影された画像を表示する、
    処理をコンピュータに実行させることを特徴とする製造状態表示プログラム。
JP2017542618A 2015-09-30 2015-09-30 製造状態表示システム、製造状態表示方法および製造状態表示プログラム Active JP6551531B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077829 WO2017056263A1 (ja) 2015-09-30 2015-09-30 製造状態表示システム、製造状態表示方法および製造状態表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2017056263A1 JPWO2017056263A1 (ja) 2018-07-19
JP6551531B2 true JP6551531B2 (ja) 2019-07-31

Family

ID=58423156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017542618A Active JP6551531B2 (ja) 2015-09-30 2015-09-30 製造状態表示システム、製造状態表示方法および製造状態表示プログラム

Country Status (4)

Country Link
US (1) US10791297B2 (ja)
JP (1) JP6551531B2 (ja)
CN (1) CN108139739B (ja)
WO (1) WO2017056263A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532762B2 (ja) * 2015-06-02 2019-06-19 株式会社東芝 情報生成システム、装置、方法、及びプログラム
JP6922239B2 (ja) * 2017-02-06 2021-08-18 コニカミノルタ株式会社 工程監視装置、工程監視装置の制御方法およびプログラム
JP6939135B2 (ja) * 2017-06-23 2021-09-22 カシオ計算機株式会社 電子機器、プログラム、サーバ、グラフ画像生成方法およびグラフ画像生成システム
US11054811B2 (en) * 2017-11-03 2021-07-06 Drishti Technologies, Inc. Systems and methods for line balancing
CN108683879A (zh) * 2018-05-14 2018-10-19 付发明 一种基于智能摄像头的特征标签识别及快速查看系统
US10728438B1 (en) * 2018-05-31 2020-07-28 Amazon Technologies, Inc. Distributed video and network camera management
JP7251057B2 (ja) * 2018-06-13 2023-04-04 富士フイルムビジネスイノベーション株式会社 表示システムおよびプログラム
KR102490912B1 (ko) * 2018-09-12 2023-01-20 삼성전자주식회사 서버 및 서버의 제어 방법
JP7038642B2 (ja) * 2018-11-20 2022-03-18 株式会社日立製作所 作業習熟支援装置、及び作業習熟支援システム
USD928198S1 (en) * 2018-12-05 2021-08-17 Traddictiv Pte. Ltd. Electronic device display screen or portion thereof with graphical user interface
JP7022204B2 (ja) * 2019-04-03 2022-02-17 三菱電機株式会社 表示制御プログラム、表示制御装置、および表示制御方法
JP6938563B2 (ja) * 2019-05-17 2021-09-22 株式会社日立製作所 製造の管理を支援するシステム及び方法
JP7291061B2 (ja) * 2019-11-14 2023-06-14 株式会社日立製作所 分析システムおよび分析方法
JP6931439B1 (ja) * 2020-07-03 2021-09-08 株式会社東京ファクトリー プログラム、方法、及びシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4205400A1 (de) * 1992-02-20 1993-08-26 Markus Barainsky Verbrauchsgegenstand
JP3270023B2 (ja) * 1999-05-25 2002-04-02 ニチハ株式会社 被加工物識別システム
US6850636B1 (en) * 1999-05-25 2005-02-01 Nichiha Corporation Surface inspection system
JP2003150230A (ja) * 2001-11-14 2003-05-23 Sharp Corp 作業画像管理システムおよび作業画像管理方法
CA2443286A1 (en) * 2003-10-01 2005-04-01 Aryan Saed Digital composition of a mosaic motion picture
US20070081133A1 (en) * 2004-12-14 2007-04-12 Niikon Corporation Projection exposure apparatus and stage unit, and exposure method
JP3922266B2 (ja) * 2004-04-19 2007-05-30 オムロン株式会社 監視装置、監視方法、プログラム、および、プログラムを記録した記録媒体
JP2006172350A (ja) * 2004-12-20 2006-06-29 Hitachi Kokusai Electric Inc 画像記録システムおよび記録画像の表示方法
US20060187230A1 (en) * 2005-01-31 2006-08-24 Searete Llc Peripheral shared image device sharing
JP4670455B2 (ja) * 2005-04-22 2011-04-13 オムロン株式会社 工程異常検知システム
JP4735172B2 (ja) * 2005-10-06 2011-07-27 オムロン株式会社 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム
ES2452022T3 (es) * 2006-02-06 2014-03-31 Abb Research Ltd. Sistema de línea de prensas y método
US8620715B2 (en) * 2006-06-10 2013-12-31 Schlumberger Technology Corporation Method including a field management framework for optimization of field development and planning and operation
JP5192938B2 (ja) * 2008-08-08 2013-05-08 株式会社日立製作所 作業管理システムおよび作業管理方法
US8311279B2 (en) * 2010-02-23 2012-11-13 Fuji Xerox Co., Ltd. System and method for improved image analysis through gaze data feedback
CN103733153B (zh) 2011-09-05 2015-08-05 株式会社小林制作所 作业管理系统、作业管理终端以及作业管理方法
JP6287018B2 (ja) * 2013-10-04 2018-03-07 富士通株式会社 可視化方法、表示方法、情報処理装置、可視化プログラム及び表示プログラム

Also Published As

Publication number Publication date
US10791297B2 (en) 2020-09-29
JPWO2017056263A1 (ja) 2018-07-19
CN108139739B (zh) 2020-12-08
WO2017056263A1 (ja) 2017-04-06
US20180191988A1 (en) 2018-07-05
CN108139739A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
JP6551531B2 (ja) 製造状態表示システム、製造状態表示方法および製造状態表示プログラム
JP6519656B2 (ja) 製造工程管理システム、製造工程管理方法および製造工程管理プログラム
US9420239B2 (en) Apparatus for playing back recorded video images related to event, and method thereof
US10873719B2 (en) Image processing device, image processing system, image processing method, and computer program product
US20090317056A1 (en) System and method for managing schedules of monitoring device
JP6631638B2 (ja) 表示方法、表示プログラム及び表示制御装置
TWI632478B (zh) 製造程序的視覺化程式、製造程序的視覺化方法及製造程序的視覺化系統
JP2017010277A (ja) 作業分析システム及び作業分析方法
JP2014033429A (ja) 画像処理プログラムおよび画像処理装置
US20180365789A1 (en) Device management apparatus, device management method, and non-transitory computer readable storage medium
KR101460860B1 (ko) 상태 기반의 테스트 시나리오 모델을 이용한 gui 테스트 장치 및 방법
JP2017146729A (ja) 情報処理装置、操作支援方法および操作支援プログラム
JP6948294B2 (ja) 作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラム
EP3301529A1 (en) Method and apparatus for displaying monitoring information
JP2009157555A (ja) 画像解析プログラム、画像解析装置、および画像解析方法
JP6819333B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2017011498A (ja) 動画再生装置及び動画再生方法
JP6806070B2 (ja) 管理システム、管理方法および管理プログラム
CN111819506A (zh) 信息处理装置、控制方法和程序
JP7487392B1 (ja) システム、方法、およびプログラム
JP7155610B2 (ja) 表示プログラム、表示方法および表示制御装置
JP7392312B2 (ja) 生産実績記録システムおよび生産実績記録プログラム
JP2018041201A (ja) 表示制御プログラム、表示制御方法および情報処理装置
JP2022105385A (ja) 進捗判定システム、進捗判定方法、プログラム、及び記憶媒体
JP2019110353A (ja) マルチメディア再生装置、及び、マルチメディア生成装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6551531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150