WO2022107521A1 - 作業観察システム、作業解析方法、及び教育支援システム - Google Patents

作業観察システム、作業解析方法、及び教育支援システム Download PDF

Info

Publication number
WO2022107521A1
WO2022107521A1 PCT/JP2021/038282 JP2021038282W WO2022107521A1 WO 2022107521 A1 WO2022107521 A1 WO 2022107521A1 JP 2021038282 W JP2021038282 W JP 2021038282W WO 2022107521 A1 WO2022107521 A1 WO 2022107521A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
image
observation system
tool
posture
Prior art date
Application number
PCT/JP2021/038282
Other languages
English (en)
French (fr)
Inventor
裕 吉川
洋輝 大橋
洋登 永吉
靖之 水野
優作 岡山
光太 星野
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2022107521A1 publication Critical patent/WO2022107521A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • a typical example of the invention disclosed in the present application is as follows. That is, it is a work observation system that images a state in which an operator works in a work area using a tool, and is a first image pickup device that images the work area from a first direction and acquires a first image. Then, the work is performed using the second image pickup device that captures the work area from the second direction and acquires the second image including the distance information, and the first image and the second image.
  • the analysis device includes an analysis device for analysis, and the analysis device calculates at least the feature amount of the position and posture of the tool reflected in the second image, and outputs the feature amount of the position and posture of the tool in the work. It is characterized by.
  • FIG. 1 is a diagram showing a configuration of a work observation system according to an embodiment of the present invention
  • FIG. 2 is a diagram showing an arrangement of each device of the work observation system.
  • a circular portion 32 is attached to a main body portion 31 having a quadrangular outer shape.
  • the circular portion 32 which is a circular electronic component, is a component that needs to be electrically connected to the main body portion 31.
  • the circular portion 32 is provided with an electrode portion 300a, and the main body portion 31 is provided with an electrode portion 300b.
  • the wiring portion 300c is connected to the electrode portion 300b, and the connection destination of the wiring portion 300c is not shown in FIG.
  • the uneven portion when the resin member of the circular portion 32 and the main body portion 31 is manufactured by injection molding, laminated molding, or the like, the fine uneven portion may not be fitted due to burrs or heat shrinkage of the uneven portion.
  • a scribing needle, an end mill, a blade, or the like is used as the tool 5, and fine processing is performed so that the circular portion 32 and the uneven portion of the main body portion 31 can be fitted by cutting or deforming.
  • the side cameras 22 and 23 may be installed equidistant from the work area 1.
  • the side cameras 22 and 23 are arranged on a frame so that they can move freely in the horizontal direction, or arranged so that they can move on an arcuate rail centered on the work area 1.
  • the side camera 22 may be installed so as to be able to change its position in the vertical direction (for example, on a pan head with an elevator).
  • the side camera 22 may be installed on a pan head that can swing its head up and down and left and right so that the shooting direction can be changed.
  • the pan head may simply be a pedestal, a tripod, or the like.
  • the analysis device 10 is composed of a computer having a processor (CPU) 11, a memory 12, an auxiliary storage device 13, a communication interface 14, an input interface 15, and an output interface 18.
  • the communication interface 14 is a network interface device that controls communication with other devices (microscope camera 20, side cameras 22, 23, etc.) according to a predetermined protocol.
  • the deviation determination unit 44 monitors the position of the tool 5 during work estimated by the tool position estimation unit 43, compares it with the threshold value set as the standard work model 48, and notifies the output unit 45 when it is determined to be abnormal. do.
  • the output unit 45 outputs an alarm to the operator when the deviation determination unit 44 determines that the position of the tool 5 is abnormal.
  • the output unit 45 outputs the moving image data during work stored in the image data 46 and the estimation result of the position of the tool 5 recorded in the tool position data 49 (see FIG. 13).
  • FIG. 7 is a flowchart of the calibration process executed by the calibration unit 42
  • FIGS. 8 and 9 are diagrams showing an example of the calibration screen.
  • step S103 even if the size of the calibration sphere is unknown, an object having a known size or a distance between recognition targets (for example, a test pattern in which a figure of a predetermined size is drawn) is used. Then, the zoom magnifications of the cameras 20, 22, and 23 may be estimated. In this case, the test pattern reveals the zoom magnification of each camera 20, 22, 23, and the calibration ball reveals the positional relationship of each camera 20, 22, 23.
  • a known size or a distance between recognition targets for example, a test pattern in which a figure of a predetermined size is drawn
  • FIG. 10 is a flowchart of the measurement process executed by the analysis device 10.
  • the image acquisition unit 41 displays the screen shown in FIG. 11 and starts the countdown to start shooting by operating the "measurement start / stop" button. Then, the image acquisition unit 41 sends a shooting start instruction to the signal generator 24 so that the cameras 20, 22, and 23 start shooting a moving image in synchronization at the timing when the count reaches 0 (S111). ..
  • the signal generator 24 sends a shooting start trigger to the microscope camera 20 and the side cameras 22 and 23 at the timing when the shooting start counter of the analyzer 10 becomes 0, and the microscope camera 20 and the side cameras 22 and 23 take a picture.
  • the start trigger is received, the shooting of the moving image is started in synchronization.
  • the image acquisition unit 41 acquires moving images from the cameras 20, 22, and 23 and stores them in the image data 46 (S112).
  • polar coordinates are used in which the center of the circular portion 32 is the pole (origin) and the direction of one side of the image taken by the microscope camera 20 is 0 degrees on the plane including the upper surface of the work 3. Then, the distance r from the origin and the declination ⁇ from the reference axis may be calculated.
  • the tool position estimation unit 43 calculates the origin and the reference direction of the work coordinates from the positions of the markers 33A to 33D of the work 3 taken by the microscope camera 20, and calculates the conversion parameters with the coordinates of the microscope camera image.
  • the tip position of the tip 51 calculated in step S115 of the work coordinate system is calculated and recorded in the tool position data 49 (S116).
  • the microscope coordinates of the image taken by the microscope camera 20 are polar coordinates with one point in the work 3 as the origin and a predetermined direction in the image as 0 degrees, or specific sides of the work 3 with one point in the work 3 as the origin.
  • the analysis by these tool position estimation units 43 may be performed every frame of the moving image, but may be performed every few frames so as not to cause a delay in issuing the deviation alarm.
  • the deviation determination unit 33 compares the position of the tool 5 estimated in steps S111 to S114 with the threshold value determined as the standard working model 48, and issues a deviation alarm when the deviation is out of the normal value range. Notify the output unit 45 (S117).
  • a "Video / Chart” button for switching between displaying a moving image (Fig. 13) and a time-series chart (Fig. 14), and a teacher on the left side of the "Video / Chart” button.
  • a teacher data display area for displaying data and a worker data display area for displaying the worker's data are provided on the right side of the "video / chart” button.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

作業者が工具を用いて作業領域で作業する状態を撮像する作業観察システムであって、第１の方向から前記作業領域を撮像して、第１の画像を取得する第１の撮像装置と、第２の方向から前記作業領域を撮像して、距離情報を含む第２の画像を取得する第２の撮像装置と、前記第１の画像及び前記第２の画像を用いて、作業を解析する解析装置とを備え、前記解析装置は、少なくとも前記第２の画像に映る前記工具の位置及び姿勢の特徴量を計算し、前記作業における前記工具の位置及び姿勢の特徴量を出力する。

Description

作業観察システム、作業解析方法、及び教育支援システム 参照による取り込み
　本出願は、令和２年（２０２０年）１１月１９日に出願された日本出願である特願２０２０－１９２４３５の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、作業観察システムに関する。
　精密機器の微細な加工のような熟練手技を必要とする作業者の育成において、定性的な指導が中心であり、手技の結果としての出来栄えを確認しながら試行錯誤を繰り返して、手技を習得させて、作業品質を向上している。
　本技術分野の背景技術として、特開２０１２－１９８６４４号公報（特許文献１）、特開２０１１－１３４２２４号公報（特許文献２）、特開２０１７－７１０３３号公報（特許文献３）がある。
　特開２０１２－１９８６４４号公報には、一作業区間に関する第１の一連の作業画像情報を記憶する記憶部と、前記一作業区間に関する第２の一連の作業画像情報をカメラから取得する取得部と、前記記憶部に記憶された第１の一連の作業画像情報と、前記取得部により取得された第２の一連の作業画像情報と、を比較することにより、前記第１の一連の作業画像情報の撮影時の作業に対する前記第２の一連の作業画像情報の撮影時の作業の良否を判定する判定部と、前記判定部による判定結果に応じて、前記第１の一連の作業画像情報を前記第２の一連の作業画像情報に更新する更新部と、前記更新部による更新結果を出力する出力部と、を備えることを特徴とする作業支援装置が記載されている。
　特開２０１１－１３４２２４号公報には、組立作業における作業者への作業を支援する組立作業支援システムであって、作業のシナリオを記録する作業シナリオ記録手段と、前記作業のシナリオに従って行われる作業の作業時間を計測する作業時間計測手段と、前記作業時間計測手段で計測された作業時間の最も短い作業から予め定められた順番までの作業を撮像した動画、および前記作業時間計測手段で計測された作業時間の最も長い作業から予め定められた順番までの作業を撮像した動画を記録する動画記録手段とを備えることを特徴とする組立作業支援システムが記載されている。
　特開２０１７－７１０３３号公報には、ロボットアームを有するロボット装置で使用され、光学的に検知して前記ロボットアームの制御に用いる座標系を調整可能な指標を有する作業用基準物体における指標の位置ずれ情報を測定する測定工程と、前記測定工程により測定した前記位置ずれ情報を、光学的に読み取り可能な情報画像に変換して前記作業用基準物体に記録する記録工程と、を有することを特徴とする作業用基準物体の製造方法が記載されている。
　精密機器の微細な加工のような熟練手技を必要とする作業者の育成において、定性的な指導が中心であり、手技の結果としての出来栄えを確認しながら試行錯誤を繰り返して、手技を習得させている。そのため、微細な加工のような熟練手技の場合は、指導にあたる熟練作業者の微細な加工中の動作や加工対象の状態を指導を受ける作業者が直接観察できないことがあり、作業者の育成に数か月あるいはそれ以上の時間を要することがあり、早期に作業者を技能向上させ生産性を向上させることが望まれていた。
　前述した先行技術を用いると技能者の育成を支援できるが、特開２０１２－１９８６４４号公報に記載の作業支援装置では、作業者の手本動画になるより良い動画を判定して更新する。また、特開２０１１－１３４２２４号公報に記載の組立作業支援システムでは、作業者の手本動画になるより良い動画を判定して更新する。また、特開２０１７－７１０３３号公報に記載の作業用基準物体の製造方法では、ロボットアーム先端のマーカーを固定カメラで座標取得し位置ずれ判定するが、固定カメラとロボットアームにカメラを配置する。このようにいずれの先行技術でも、微細な加工の熟練手技の早期育成について考慮されていない。
　本願発明では、作業者を従来よりも早期に育成し、作業品質の平準化を図る作業観察システムの提供を目的とする。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、作業者が工具を用いて作業領域で作業する状態を撮像する作業観察システムであって、第１の方向から前記作業領域を撮像して、第１の画像を取得する第１の撮像装置と、第２の方向から前記作業領域を撮像して、距離情報を含む第２の画像を取得する第２の撮像装置と、前記第１の画像及び前記第２の画像を用いて、作業を解析する解析装置とを備え、前記解析装置は、少なくとも前記第２の画像に映る前記工具の位置及び姿勢の特徴量を計算し、前記作業における前記工具の位置及び姿勢の特徴量を出力することを特徴とする。
　本発明の一態様によれば、作業品質を向上できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
作業観察システムの構成を示す図である。 作業観察システムの各機器の配置を示す図である。 ワークの構成例を示す図である。 工具の構成例を示す図である。 解析装置の物理的な構成を示す図である。 解析装置の論理的な構成を示す図である。 キャリブレーション処理のフローチャートである。 キャリブレーション画面の例を示す図である。 キャリブレーション画面の例を示す図である。 計測処理のフローチャートである。 計測画面の例を示す図である。 計測画面の例を示す図である。 解析結果表示画面の例を示す図である。 解析結果表示画面の例を示す図である。 解析結果表示画面の例を示す図である。
　以下、本発明の実施例を図面を参照して説明する。
　図１は本発明の実施例の作業観察システムの構成を示す図であり、図２は作業観察システムの各機器の配置を示す図である。
　まず、本実施例の作業観察システムの概要を説明する。ステレオ画像を撮影する側方カメラ２２、２３を作業者の手元に設置し、作業者が持つ工具５に取り付けた二つの微小な第２のマーカ５２Ａ、５２Ｂを２台の側方カメラ２２、２３に同時に映るように撮影する。顕微鏡カメラ２０は、作業者が使用する顕微鏡２の鏡筒に取り付けており、作業者が作業中に視認する画像、すなわち複数のマーカ３３Ａ～３３Ｄを取り付けられたワーク３を撮影する。
　作業前のキャリブレーションで、顕微鏡カメラ２０と側方カメラ２２、２３で撮影した映像間の幾何的な関係を取得する。側方カメラ２２、２３で工具５のマーカ５２Ａ、５２Ｂの三次元位置を計測して、工具５の先端部５１の位置を計算する。そして、計算された先端位置を顕微鏡カメラ２０の座標に変換する（Ｓ１１５）。さらに、顕微鏡カメラ２０でワーク３のマーカ３３Ａ～３３Ｄを計測して、ワーク３に対する工具５の細かな動きを取得する。
　次に、本実施例の作業観察システムの詳細を説明する。本実施例の作業観察システムは、作業領域１を撮影する顕微鏡カメラ２０と、作業領域１を撮影する側方カメラ２２、２３と、複数のカメラ２０、２２、２３に同期信号を供給する信号発生器２４と、作業解析を実行する解析装置１０と、解析装置１０に接続されたディスプレイ装置２７及びスピーカ２８によって構成される。
　顕微鏡カメラ２０は、作業領域１を拡大して撮影し、撮影した画像を解析装置１０に送信する。顕微鏡カメラ２０が搭載される顕微鏡２は、作業者が作業領域１を見るための接眼レンズ２１を有する。これによって、顕微鏡カメラ２０は、作業者が見る画像と同じ画像を撮影できる。
　作業領域１には、加工対象であるワーク３が置かれる治具４が設置されている。作業者は、工具５を使用してワーク３を加工する。顕微鏡２は、顕微鏡支柱６を介して、作業台上に置かれた治具４と連結されている。
　ワーク３の一例は、図３に示すように、四角形の外形の本体部３１に円形部３２が取り付けられている。円形の電子部品である円形部３２は、本体部３１に電気的に接続が必要な部品である。円形部３２に電極部３００ａが、本体部３１に電極部３００ｂがそれぞれ設けられている。電極部３００ｂには配線部３００ｃが接続されており、図３では配線部３００ｃの接続先の図示を省略している。
　電極部３００ａと電極部３００ｂは対応する形状であり、一般にリフロー後の半田が接続しやすいよう電極部３００ａより電極部３００ｂの方が大きい。電極部３００ａ、３００ｂは、図示した以外の形状でもよい。また、電極部３００ａは円形部３２の上面だけでなく側面部に伸びるように配置すると、より電極部３００ａと電極部３００ｂとの接続が強固となる。なお、図８以降では、円形部３２や本体部３１に設けられる電極部３００ａ、３００ｂ、３００ｃの図示を省略する。
　まず、作業者は、電極部３００ｂにはんだペーストを塗布する。その後、作業者は、本体部３１上に電極部３００ａと電極部３００ｂの位置を仮決めし、円形部３２を配置する。次に、作業者は、工具５を用いてはんだペーストを適切な厚みや塗布量となるように整形する。塗布され工具５によって整形されたはんだペーストのリフローを行うと、はんだペーストの量や厚みによって、電子部品である円形部３２の移動や傾きが生じるため、適切な量のはんだペーストとする必要がある。
　また、電子部品である円形部３２や電極部３００ａの形状や厚みにばらつきが生じるため、円形部３２や電極部３００ａや電極部３００ｂの形状や厚みのばらつきを考慮して、作業者は工具５を用いてはんだペーストを伸ばしたり整形する。工具５の先端部５１は細く形成された形状以外にもゴムや樹脂製のスキージ等であって先端が平らで変形するような部材でもよい。代表して円形部３２を電子部品として説明したが、円形部３２は他の形状であっても、複数の電極部３００ａを有してもよい。また、円形部３２は複数の電子部品を有する基板でもよい。
　他の例として、はんだペーストとリフロー工程を設けず、電極部３００ａと電極部３００ｂを直接はんだ付けを行ってもよい。この場合は、一組の電極部３００ａと電極部３００ｂをはんだ付けにより位置を仮決めし、他の電極部３００ａと３００ｂとの組をはんだ付けすることで位置合わせができる。
　次に、マーカの認識方法について説明する。円形部３２には複数のマーカ３３Ａ～３３Ｄが設けられている。マーカ３３Ａ～３３Ｄは、作業領域１においてカメラで認識しやすい色や形（例えば所定色の正方形）とするとよい。例えば、作業領域１の背景と異なる色にすることによって、作業領域１におけるマーカ３３Ａ～３３Ｄのカメラによる視認性を向上できる。図示したワーク３には四つのマーカ３３Ａ～３３Ｄが設けられるが、少なくとも二つのマーカを設ければ、本体部３１や円形部３２の位置ずれや回転を測定できる。また、各マーカ３３Ａ～３３Ｄは、区別可能な態様（例えば、色及び／又は形状が異なる）とすることによって、本体部３１や円形部３２の位置ずれや回転を測定できる。また、電極部３００ａや電極部３００ｂをマーカとして利用してもよい。
　また、他の例として、円形部３２と本体部３１が樹脂で形成されており、図示しない円形部３２に凸部と、円形部３２の凸部に対応する凹部を本体部３１に設け、これらの凹凸部を嵌め合わせる構造である場合について説明する。
　凹凸部は、円形部３２と本体部３１の樹脂部材が射出成形や積層造形等によって製造された場合に、凹凸部のバリや熱収縮によって、微細な凹凸部が嵌め合わせられない場合がある。このような場合に、工具５としてけがき針、エンドミル、刃物等を用いて、円形部３２と本体部３１の凹凸部を切削又は変形させることによって嵌め合わせできるように微細な加工を行う。
　工具５は、図４に示すように、先端部５１が取り付けられた柄５３によって構成されている。先端部５１には、複数のマーカ５２Ａ、５２Ｂが取り付けられている。マーカ５２Ａ、５２Ｂは、作業領域１においてカメラで認識しやすい色や形（例えば白色の球形）となっている。マーカ５２Ａ、５２Ｂ及び先端部５１の先端は、後述するキャリブレーション処理において認識され、それらの位置関係が測定される。マーカ５２Ａ、５２Ｂの取付位置が工具５よって異なっても、これらの位置関係が測定されることによって、マーカ５２Ａ、５２Ｂの距離、及びマーカ５２Ａと先端部５１の先端との距離を知ることができる。そして、キャリブレーション処理における測定結果を用いて、作業中に測定されるマーカ５２Ａ、５２Ｂの位置から先端部５１の先端位置や、先端部５１の傾きを計算できる。
　側方カメラ２２、２３は、顕微鏡カメラ２０と異なる方向から作業領域１、すなわち作業者の手元でマーカ５２Ａ、５２Ｂを撮影する。側方カメラ２２と側方カメラ２３は、異なる方向から作業領域１を撮影してステレオ画像を撮影するステレオカメラを構成している。すなわち、側方カメラ２２、２３がマーカ５２Ａ、５２Ｂを撮影することによって、マーカ５２Ａ、５２Ｂの距離情報を含む三次元画像が得られる。側方カメラ２２、２３は、一体に構成し、画像情報と距離情報を含む距離画像を出力するように構成してもよい。
　側方カメラ２２、２３は、作業領域１から等距離に設置するとよい。例えば、側方カメラ２２、２３は、水平方向に自由に移動できるようにフレームに配置したり、作業領域１を中心とした円弧状のレール上を移動できるように配置する。また、側方カメラ２２は、垂直方向の位置を変えられるように（例えば、エレベータ付き雲台上に）設置されるとよい。さらに側方カメラ２２は、上下及び左右に首を振ることができる雲台上に設置して、撮影方向を変えられるようにしてもよい。雲台は、単に台座や三脚等でもよい。
　信号発生器２４は、複数のカメラ２０、２２、２３に同期信号を供給する。複数のカメラ２０、２２、２３に信号発生器２４から出力された同期信号をトリガとして動画像の撮影を開始する。また、信号発生器２４は、複数のカメラ２０、２２、２３に共通の時刻を提供して、各カメラ２０、２２、２３が同期した時刻で動画像を撮影してもよい。さらに、信号発生器２４を設けずに、１台のカメラが他のカメラに同期信号を供給してもよい。この場合の同期信号は、動画像撮影開始トリガでも、共通の時刻でもよい。必ずしも各カメラの同期は必要ではないが、各カメラを同期することによって、作業者や先端部５１の動作をより高い精度で検出できる。
　各カメラ２０、２２、２３と解析装置１０との間は、ネットワークで接続されるとよいが、専用のケーブルで接続されてもよい。また、信号発生器２４と各カメラ２０、２２、２３との間は、信号伝送の遅延が生じないように専用のケーブルで接続されるとよいが、遅延の影響がないプロトコルを用いれば、ネットワークで接続されてもよい。
　解析装置１０は、図５に示すように、プロセッサ（ＣＰＵ）１１、メモリ１２、補助記憶装置１３、通信インターフェース１４、入力インターフェース１５及び出力インターフェース１８を有する計算機によって構成される。
　プロセッサ１１は、メモリ１２に格納されたプログラムを実行する。具体的には、プロセッサ１１がプログラムを実行することによって、後述する画像取得部４１と、キャリブレーション部４２と、工具位置推定部４３と、逸脱判定部４４と、出力部４５とが実現される。なお、プロセッサ１１がプログラムを実行して行う処理の一部を、他の形式の（例えばハードウェアによる）演算装置（例えば、ＦＰＧＡ（Field Programable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等）で実行してもよい。
　メモリ１２は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、プログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、プロセッサ１１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
　補助記憶装置１３は、例えば、磁気記憶装置（ＨＤＤ：Hard Disk Drive）、フラッシュメモリ（ＳＳＤ：Solid State Drive）等の大容量かつ不揮発性の記憶装置であり、プロセッサ１１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１３から読み出されて、メモリ１２にロードされて、プロセッサ１１によって実行される。補助記憶装置１３は、解析装置１０の内部に設けられても、解析装置１０と別体に設けられたストレージ装置でもよい。
　通信インターフェース１４は、所定のプロトコルに従って、他の装置（顕微鏡カメラ２０、側方カメラ２２、２３など）との通信を制御するネットワークインターフェース装置である。
　入力インターフェース１５は、キーボード１６やマウス１７などが接続され、オペレータからの入力を受けるインターフェースである。出力インターフェース１８は、ディスプレイ装置２７やスピーカ２８などが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。入力インターフェース１５と出力インターフェース１８は、タッチパネルによる入力手段と液晶等による画面表示が可能な出力手段が一体となるタブレット端末でもよい。
　プロセッサ１１が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワークを介して解析装置１０に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１３に格納される。このため、解析装置１０は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
　解析装置１０は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。た、解析装置１０の各機能部は異なる計算機上で実現されてもよい。
　図６は、解析装置１０の論理的な構成を示す図である。
　解析装置１０は、機能ブロックとして、画像取得部４１、キャリブレーション部４２、工具位置推定部４３、逸脱判定部４４及び出力部４５を有する。また、解析装置１０は、画像データ４６、カメラパラメータ４７、標準作業モデル（閾値）４８及び工具位置データ４９を補助記憶装置１３に格納する。
　画像取得部４１は、カメラ２０、２２、２３が撮影した動画像を画像データ４６に格納する。また、画像取得部４１は、カメラ２０、２２、２３が撮影したキャリブレーション用静止画像をキャリブレーション部４２に送る。また、画像取得部４１は、カメラ２０、２２、２３が撮影した作業中の動画像を工具位置推定部４３に送る。
　キャリブレーション部４２は、カメラ２０、２２、２３が撮影したキャリブレーション用静止画像を用いてキャリブレーション処理を実行して、キャリブレーション結果をカメラパラメータ４７に記録する（図７、図８、図９参照）。
　工具位置推定部４３は、カメラ２０、２２、２３が撮影した作業中の動画像から工具５の位置及び姿勢の特徴量を推定し、逸脱判定部４４に送り、工具位置データ４９に記録する。工具位置推定部４３が推定する位置及び姿勢の特徴量は例えば下記のものがある。
・ワーク３の原点位置から先端部５１の先端位置までの距離ｒ
・ワーク３の基準方向から先端部５１の先端位置の偏角θ
・画像内の基準方向から先端部５１の先端位置の偏角φ
・工具５の傾き（先端部５１とワーク３の表面（水平面）との角度）
・作業開始から作業終了までの作業時間
・先端部５１が円形部３２の外周を移動する角速度
・１工程の作業において、先端部５１がワーク３に接触した回数
・１工程の作業において、先端部５１がワーク３に最初に接触した位置
・１工程の作業において、先端部５１がワーク３から離れた位置
・１工程の作業において、先端部５１がワーク３に接触してから離れるまでの時間
　逸脱判定部４４は、工具位置推定部４３が推定した作業中の工具５の位置を監視し、標準作業モデル４８として定められた閾値と比較し、異常と判定された場合に出力部４５に通知する。
　出力部４５は、逸脱判定部４４によって工具５の位置が異常と判定された場合、作業者に対してアラームを出力する。本実施例の作業観察システムでは、作業中の作業者は接眼レンズ２１から目を離さないので、音や接眼レンズ２１を通して視認可能な画像を出力して作業者に警告するとよい。また、出力部４５は、画像データ４６に蓄積された作業中の動画像データや、工具位置データ４９に記録された工具５の位置の推定結果を出力する（図１３参照）。
　画像データ４６は、カメラ２０、２２、２３が撮影し、画像取得部４１が取得した作業中の動画像である。カメラパラメータ４７は、キャリブレーション部４２によるキャリブレーション処理の結果である。標準作業モデル４８は、標準作業として定められた工具５の位置及び姿勢のデータであり、逸脱を判定するための閾値が記録される。また、標準作業モデル４８には、熟練者の作業で記録された工具５の位置データを記録してもよい。工具位置データ４９は、工具位置推定部４３による工具５の位置の推定結果の時系列データである。
　次に、キャリブレーション処理について説明する。図７はキャリブレーション部４２が実行するキャリブレーション処理のフローチャートであり、図８、図９はキャリブレーション画面の例を示す図である。
　キャリブレーション処理が起動されると、まず、水平に置かれた工具５を撮影し、工具５に取り付けられたマーカ５２Ａ、５２Ｂと先端部５１の先端を認識し、マーカ５２Ａ、５２Ｂの位置と先端部５１の先端位置を計測し、マーカ５２Ａ、５２Ｂの距離、及びマーカ５２Ａと先端部５１の先端との距離を計算する（Ｓ１０１）。計算されたこれらの距離を用いると、作業中に測定されるマーカ５２Ａ、５２Ｂの位置から工具５の先端の位置を計算できる。なお、マーカ５２Ａ、５２Ｂの位置が既知の場合、ステップＳ１０１のキャリブレーション処理は省略できる。また、顕微鏡カメラ２０のように、光軸が鉛直方向と一致するカメラでは、工具５を水平に設置して撮影するとよい。このように設置することで、レンズの歪みによる要因を除けば、画像上で計測した距離の比率と、実際の三次元世界における距離の比率とが一致するため、キャリブレーションが容易になる。顕微鏡カメラ２０のようにレンズの歪みが少なく、かつ倍率が高いカメラを用いることによって、より正確なキャリブレーションができる。
　次に、側方カメラ２２、２３の内部パラメータ（例えば、側方カメラ２２、２３の焦点距離）及び外部パラメータ（側方カメラ２２、２３の位置関係）を推定する（Ｓ１０２）。例えば、二つの側方カメラ２２、２３で３点の相対位置が決まっている図形（例えば市松模様のテストパターン）を撮影し、当該３点の画像内の位置関係から、側方カメラ２２、２３が撮影する画像内の点の位置関係を取得する。キャリブレーション用の点は最低３点が必要だが、４点以上を用いると精度を向上できる。なお、側方カメラ２２、２３の位置関係や撮影パラメータ（ズーム倍率）が不変なステレオカメラである場合、ステップＳ１０２のキャリブレーションは不要である。
　次に、顕微鏡カメラ２０の内部パラメータ（例えば、焦点距離）及び外部パラメータ（顕微鏡カメラ２０と側方カメラ２２、２３の相対位置関係）を推定する（Ｓ１０３）。例えば、キャリブレーション部４２は、各カメラ２０、２２、２３が所定のキャリブレーション用治具を撮影した画像から、大きさが既知の物体（キャリブレーション球）を認識する。図８に示すキャリブレーション画面には、右側に顕微鏡カメラ２０の画像、左側に側方カメラ２２、２３の画像が表示される。「キャリブレーション開始」ボタンを操作すると、ステップＳ１０３のキャリブレーション処理を開始し、画面に撮影指示が表示される。作業者が「撮影」ボタンを操作するとフレーム画像がキャプチャーされ、これを繰り返して複数枚（例えば１５枚）の静止画像を撮影する。
　顕微鏡カメラ２０と治具４の距離は既知なので、顕微鏡カメラ２０が撮影した画像中の認識結果（キャリブレーション球の大きさ）によって、顕微鏡カメラ２０のズーム倍率を計算できる。また、側方カメラ２２、２３のズーム倍率が計算されているので、側方カメラ２２、２３が撮影した画像中の認識結果（キャリブレーション球の大きさ）によって、側方カメラ２２、２３と治具４の距離を計算できる。これによって、顕微鏡カメラ２０と側方カメラ２２、２３との位置関係が分かる。同時に撮影された三つの画像において、キャリブレーション球が認識され、各画像内の位置関係が計算される。また、複数枚の静止画像から認識されたキャリブレーション球の大きさを平均化すると、計算される位置関係の精度を向上できる。
　なお、ステップＳ１０３で、キャリブレーション球の大きさが未知であっても、別の大きさや認識ターゲット間の距離が既知の物体（例えば、所定の大きさの図形が描かれたテストパターン）を使用して各カメラ２０、２２、２３のズーム倍率を推定すればよい。この場合、テストパターンによって各カメラ２０、２２、２３のズーム倍率が分かり、キャリブレーション球によって各カメラ２０、２２、２３の位置関係が分かる。
　次に、ワーク３の上面の位置及び傾きを計測する（Ｓ１０４）。例えば、先端部５１の先端がワーク３に接した状態に工具５を置き、顕微鏡カメラ２０及び側方カメラ２２、２３で作業領域１を撮影する。図９に示すキャリブレーション画面には、顕微鏡カメラ２０の画像が表示される。「キャリブレーション開始」ボタンを操作すると、ステップＳ１０４のキャリブレーション処理を開始し、画面に撮影指示が表示される。作業者が「撮影」ボタンを操作すると側方カメラ２２、２３が撮影したフレーム画像がキャプチャーされ、これを繰り返して複数枚（例えば３枚）の静止画像を撮影する。撮影された画像において、マーカ５２Ａ、５２Ｂが認識される。マーカ５２Ａ、５２Ｂの間隔とマーカ５２Ａと先端部５１の先端の距離は、ステップＳ１０１のキャリブレーションで計算されていることから、側方カメラ２２、２３が撮影した画像からワーク３の上面の垂直方向の位置を計算できる。また、複数枚の静止画像から認識されたキャリブレーション球の大きさを平均化すると、計算される位置関係の精度を向上できる。
　全てのキャリブレーションの終了後、計測待機状態になる。
　図１０は、解析装置１０が実行する計測処理のフローチャートである。
　まず、計測待機状態から計測処理が起動されると、画像取得部４１は、図１１に示す画面を表示し、「計測開始／停止」ボタンの操作によって、撮影開始のカウントダウンを開始する。そして、画像取得部４１は、カウント０になったタイミングで、各カメラ２０、２２、２３が同期して動画像の撮影を開始するような、撮影開始指示を信号発生器２４に送る（Ｓ１１１）。信号発生器２４は、解析装置１０の撮影開始カウンタが０になるタイミングで、撮影開始トリガを顕微鏡カメラ２０及び側方カメラ２２、２３に送る、顕微鏡カメラ２０及び側方カメラ２２、２３は、撮影開始トリガを受信すると、同期して動画像の撮影を開始する。
　図１１に示す画面は、左上部にステータス表示として計測開始までの時間を表示し、画面左側に顕微鏡カメラ２０が撮影した画像が表示される領域と、画面右側に工具５（先端部５１の先端）の動きを解析した位置データの経時変化が表示される領域を有する。
　また、画面上部には、画面に表示する作業員名を選択するための「作業員名」ボタンと、作業者が行った作業を選択するための「作業選択」ボタンと、計測を開始又は停止するための「計測開始／停止」ボタンが設けられる。また、画面下部には、前の画面に戻るための「戻る」ボタンと、過去に記録された動画像を再生するための「再生」ボタンと、表示中の作業記録を解析するための「解析」ボタンと、作業中の計測値が所定の閾値から逸脱したことを示す警告を発報するかを切り替えるための「逸脱アラート」スイッチ（チェックボックス）と、解析された位置データに閾値を重畳して表示するかを切り替えるための「しきい値」スイッチ（チェックボックス）が設けられる。
　図１０に戻ってフローチャートの説明を続ける。次に、画像取得部４１は、各カメラ２０、２２、２３から動画像を取得し、画像データ４６に格納する（Ｓ１１２）。
　次に、工具位置推定部４３は、側方カメラ２２、２３が撮影した画像からマーカ５２Ａ、５２Ｂの位置を認識する。そして、キャリブレーション処理のＳ１０１で計算されたマーカ５２Ａ、５２Ｂの距離、及びマーカ５２Ａと先端部５１の先端との距離を用いて、認識されたマーカ５２Ａ、５２Ｂの位置から、先端部５１の先端位置を計算して、工具位置データ４９に記録する（Ｓ１１３）。
　次に、工具位置推定部４３は、側方カメラ２２、２３が撮影した画像から認識されたマーカ５２Ａ、５２Ｂの位置と、キャリブレーション処理のＳ１０４で計算されたワーク３の上面の傾きから、ワーク３の上面に対する先端部５１の角度αを計算して、工具位置データ４９に記録する（Ｓ１１４）。
　次に、工具位置推定部４３は、顕微鏡カメラ２０が撮影した画像の座標における先端部５１の先端位置を推定して、工具位置データ４９に記録する（Ｓ１１５）。例えば、顕微鏡カメラ２０が撮影した画像における顕微鏡座標系は、当該画像における１点を原点として画像中の所定の方向を０度とする極座標や、当該画像における１点を原点として画像の特定の辺をＸ軸又はＹ軸とする直交座標であるが、工具５の動きを的確に解析できるように、ワーク３によって変えるとよい。図３に示すワーク３では、ワーク３の上面を含む平面において、円形部３２の中心を極（原点）として、顕微鏡カメラ２０が撮影した画像の一つの辺の方向を０度とした極座標を用いて、原点からの距離ｒ、基準軸からの偏角φを計算するとよい。
　次に、工具位置推定部４３は、顕微鏡カメラ２０が撮影したワーク３のマーカ３３Ａ～３３Ｄの位置からワーク座標の原点及び基準方向を計算し、顕微鏡カメラ画像の座標との変換パラメータを計算し、計算された変換パラメータと線形変換や射影変換などの数学的手法を用いて、ワーク座標系のステップＳ１１５で計算された先端部５１の先端位置を計算して、工具位置データ４９に記録する（Ｓ１１６）。例えば、顕微鏡カメラ２０が撮影した画像の顕微鏡座標は、ワーク３における１点を原点として画像中の所定の方向を０度とする極座標や、ワーク３における１点を原点としてワーク３の特定の辺をＸ軸又はＹ軸とする直交座標であるが、工具５の動きを的確に解析できるように、ワーク３によって変えるとよい。図３に示すワーク３では、ワーク３の上面を含む平面において、円形部３２の中心を極（原点）として、円形部３２のマーカ３３Ａ～３３Ｄのいずれか一つの位置を０度とした極座標を用いて、偏角θを推定するとよい。なお、ステップＳ１１５で使用される極座標と、ステップＳ１１６で使用される極座標は、半径ｒは同じであるが、円形部３２の回転によってθの基準方向とφの基準方向が異なるため、基準方向の差だけθとφが異なる。
　これらの工具位置推定部４３による解析は動画像の毎フレームで行ってもよいが、逸脱アラームの発報に遅延が生じない程度で、数フレーム毎に行ってもよい。
　次に、逸脱判定部３３は、ステップＳ１１１～Ｓ１１４で推定された工具５の位置を標準作業モデル４８として定められた閾値と比較し、正常値の範囲を逸脱した場合に逸脱アラームを発報するよう出力部４５に通知する（Ｓ１１７）。
　次に、出力部４５は、蓄積された画像データ４６及び記録された工具位置データ４９を読み出して、動画像及び時系列チャートを表示するための表示データを出力する（Ｓ１１８）。例えば、出力部４５は、図１２に示すように、画面左側上部にステータス表示として「計測中」及び撮影開始からの経過時間を、画面左側に顕微鏡カメラ２０が撮影した画像を、画面右側に工具５（先端部５１の先端）の動きを解析した位置データの経時変化を表示する。図１２に示す画面の他の要素は図１１に示す画面と同じである。
　図１３から図１５は、出力部４５が出力する解析結果表示画面の例を示す図である。図１３に示す解析結果表示画面は計測された作業者の動作と、事前に計測された熟練者の教師データとを比較可能に表示し、図１４に示す解析結果表示画面は熟練者及び作業者の動作を解析した時系列チャートを比較可能に表示する。
　画面上部には、作業者が行った作業を選択するための「作業選択」ボタンと、画面に表示する作業員名を選択するための「作業員選択」ボタンと、画面で再生する教師データの動画像ファイル又は解析結果の時系列チャートを選択するための「教師データ選択」ボタンと、再生する作業者の動画像ファイル又は時系列チャートを選択するための「動画選択」ボタンが設けられる。
　画面中央には、動画像を表示するか（図１３）、時系列チャートを表示するか（図１４）を切り替えるための「動画／チャート」ボタンと、当該「動画／チャート」ボタンの左側に教師データを表示する教師データ表示領域と、当該「動画／チャート」ボタンの右側に当該作業者のデータを表示する作業者データ表示領域が設けられる。
　また、画面下部には、動画像の再生を制御するための再生ボタンと、動画像の生成位置を指定するためのタイムスライダと、再生方法選択ラジオボタンが設けられる。また、制御領域の下部には、前の画面に戻るための「戻る」ボタンと、作業者の動作の評価結果を表示する（図１５参照）ための「評価」ボタンが設けられる。
　熟練者の動画像はディスプレイ装置２７に表示するだけでなく、作業中の作業者が視認できるようにしてもよい。例えば、ワーク３にプロジェクションマッピングによって熟練者の動画像を投影して、作業者に見せてもよい。また、顕微鏡２の接眼レンズ２１から対物レンズまでの光路にプリズムを配置して、小型ディスプレイ装置の画像を接眼レンズ２１に導いてもよく、熟練者の動画像が接眼レンズ２１から視認できるようにしてもよい。さらに、デジタル顕微鏡を使用する場合は、接眼レンズ２１から視認される画像に熟練者の動画像を重畳して、作業者が視認できるようにしてもよい。
　図１３、図１４に示す解析結果表示画面では、熟練者及び作業者の動画像や動作を解析した時系列チャートを並べて表示することによって、作業者と熟練者の作業の違いを分かりやすく表示でき、学習効果を向上できる。
　図１５に示す解析結果表示画面は、作業者の動作の解析結果をスコア化した評価結果をレーダーチャートで表示する。
　画面上部には、作業者が行った作業の動画ファイルを選択するための「作業１動画選択」ボタン及び「作業２動画選択」ボタンと、画面に表示する作業員名を選択するための「作業員選択」ボタンが設けられる。
　画面中央には、選択された作業を解析した時系列チャートを表示するデータ表示領域と、スコア化した作業員の動作を表示するレーダーチャート表示領域が設けられる。
　また、画面下部には、前の画面に戻るための「戻る」ボタンが設けられる。
　図１５に示す解析結果表示画面によって、熟練者と比較した作業者の習熟度を分かりやすく表示でき、学習効果を向上できる。
　次に、前述した実施例の作業観察システムを適用した教育支援システムについて説明する。本実施例の教育支援システムは、前述した作業観察システムに記憶された作業データと熟練者の動作を比較・分析して、作業者と熟練者の作業の違いを分かりやすく表示でき、高い教育効果を得られる。また、作業者の動作の解析結果をスコア化した評価結果を表示して、作業者の動作の優劣を分かりやすく表示でき、高い教育効果を得られる。
　以上に説明したように、本実施例の作業観察システムは、第１の方向から作業領域１を撮像して、第１の画像を取得する第１の撮像装置（顕微鏡カメラ２０）と、第２の方向から作業領域１を撮像して、距離情報を含む第２の画像を取得する第２の撮像装置（側方カメラ２２、２３）と、第１の画像及び第２の画像を用いて、作業を解析する解析装置１０とを備え、解析装置１０は、少なくとも第２の画像に映る工具５の位置及び姿勢の特徴量を計算し、作業における工具５の位置及び姿勢の特徴量を出力するので、作業品質を向上できる。すなわち、従来は、手技の結果としての出来栄えを確認しながら試行錯誤を繰り返す定性的な指導により手技を習得させており、技能者の育成に数カ月要していた。そこで、作業者の動作をデジタル化して、一般作業者の手技と熟練作業者の手技とを比較して、作業者を早期に育成できる。
　また、顕微鏡カメラ２０と側方カメラ２２、２３とは異なる倍率で作業領域１を撮影してもよく、顕微鏡カメラ２０は側方カメラ２２、２３より高い倍率で作業領域１を撮影してもよい。例えば、顕微鏡カメラ２０による拡大画像を用いる微細な手作業（微細な加工）を１ミリメートル以下の精度で三次元定位できる。微細な手作業又は微細な加工とは、作業者の加工中の動作、加工対象のワーク３、及び加工に用いる工具５を第三者が肉眼による観察が難しい作業である。つまり、肉眼による観察は、ワーク３によって工具５が隠れたり、工具５によってワーク３が隠れることによって、作業者の加工中の動作、ワーク３、工具５を肉眼では複数の視野で肉眼で観察することは難しい。ワーク３の加工領域や工具５が小さいため、ルーペ等によって倍率を上げることで肉眼で観察することが可能であるが、肉眼では他の視野で観察することは難しい。そのため、前述した異なる倍率のカメラによって三次元的に観察することが可能となる。
　また、前記作業領域に配置される作業対象物（ワーク３）には、少なくとも二つの第１のマーカ３３Ａ～３３Ｄが付されているので、ワーク３中に円形部３２のような円形の部分があっても、円形部３２の回転を検出できる。
　また、第１の画像は、作業者が視認する画像と同じ方向から撮影されたものであるので、作業者視点の画像を用いることによって、作業内容を分かりやすく作業者に説明でき、教育効果を向上できる。
　また、顕微鏡カメラ２０と側方カメラ２２、２３とは、同期した時刻に基づいて、前記作業領域を撮影するので、時間的ズレがない画像を撮影でき、特徴量を正確に分析できる。
　また、第１のマーカ３３Ａ～３３Ｄの各々は、作業領域１の背景と異なり、かつ互いに異なる色に着色されているので、作業領域１におけるマーカ３３Ａ～３３Ｄの視認性を向上でき、マーカ３３Ａ～３３Ｄの視認性誤認識を低減できる。
　また、工具５には、少なくとも二つの第２のマーカ５２Ａ、５２Ｂが付されているので、マーカ５２Ａ、５２Ｂの位置の計測によって、工具５の位置及び姿勢の特徴量を計算できる。
　また、第２のマーカ５２Ａ、５２Ｂは、球形であり、第２のマーカ５２Ａ、５２Ｂの各々は、工具５の先端から異なる位置に設けられるので、工具５の位置及び姿勢の特徴量を簡単に計算できる。
　また、解析装置１０は、第２のマーカ５２Ａ、５２Ｂの位置関係を用いて、工具５の位置及び姿勢を計算するので、工具５の位置及び姿勢の特徴量を簡単に計算できる。
　また、解析装置１０は、工具５の位置及び姿勢の特徴量と予め記憶された標準的な位置及び姿勢の特徴量とを比較して、比較の結果を出力するので、作業者と熟練者の作業の違いを分かりやすく表示でき、学習効果を向上できる。
　また、第２の画像に映る工具５の位置の特徴量は、顕微鏡カメラ２０から工具５までの距離情報及び側方カメラ２２から工具５までの距離情報及び側方カメラ２３から工具５までの距離情報を含むので、各カメラが正確に設置されていなくても、キャリブレーションによって工具５の位置を正確に測定できる。
　また、出力部４５が、作業観察システムが、第１の作業者について計測した特徴量と、第２の作業者について計測した特徴量とに基づいて作成されたグラフを表示するためのデータを出力するので、作業者による差を分かりやすく表示でき、効果的な教育を実施できる。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、フラッシュメモリ、ＤＶＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (16)

  1. 　作業者が工具を用いて作業領域で作業する状態を撮像する作業観察システムであって、
    　第１の方向から前記作業領域を撮像して、第１の画像を取得する第１の撮像装置と、
    　第２の方向から前記作業領域を撮像して、距離情報を含む第２の画像を取得する第２の撮像装置と、
    　前記第１の画像及び前記第２の画像を用いて、作業を解析する解析装置とを備え、
    　前記解析装置は、
    　少なくとも前記第２の画像に映る前記工具の位置及び姿勢の特徴量を計算し、
    　前記作業における前記工具の位置及び姿勢の特徴量を出力することを特徴とする作業観察システム。
  2. 　請求項１に記載の作業観察システムであって、
    　前記作業領域に配置される作業対象物には、少なくとも二つの第１のマーカが付されていることを特徴とする作業観察システム。
  3. 　請求項１に記載の作業観察システムであって、
    　前記第１の画像は、作業者が視認する画像と同じ方向から撮影されたものであることを特徴とする作業観察システム。
  4. 　請求項１に記載の作業観察システムであって、
    　前記第１の撮像装置と前記第２の撮像装置とは異なる倍率で前記作業領域を撮影することを特徴とする作業観察システム。
  5. 　請求項４に記載の作業観察システムであって、
    　前記第１の撮像装置は、前記第２の撮像装置より高い倍率で前記作業領域を撮影することを特徴とする作業観察システム。
  6. 　請求項１に記載の作業観察システムであって、
    　前記第１の撮像装置と前記第２の撮像装置とは、同期した時刻に基づいて、前記作業領域を撮影することを特徴とする作業観察システム。
  7. 　請求項２に記載の作業観察システムであって、
    　前記第１のマーカの各々は、前記作業領域の背景と異なり、かつ互いに異なる色に着色されていることを特徴とする作業観察システム。
  8. 　請求項１に記載の作業観察システムであって、
    　前記工具には、少なくとも二つの第２のマーカが付されていることを特徴とする作業観察システム。
  9. 　請求項８に記載の作業観察システムであって、
    　前記第２のマーカは、球形であり、
    　前記第２のマーカの各々は、前記工具の先端から異なる位置に設けられることを特徴とする作業観察システム。
  10. 　請求項９に記載の作業観察システムであって、
    　前記解析装置は、前記第２のマーカの位置関係を用いて、前記工具の位置及び姿勢を計算することを特徴とする作業観察システム。
  11. 　請求項１に記載の作業観察システムであって、
    　前記解析装置は、前記工具の位置及び姿勢の特徴量と予め記憶された標準的な位置及び姿勢の特徴量とを比較して、前記比較の結果を出力することを特徴とする作業観察システム。
  12. 　請求項１に記載の作業観察システムであって、
    　前記解析装置は、前記工具の先端位置、前記工具の角度、前記工具が作業対象物に接した回数のいずれかを前記位置及び姿勢の特徴量として計算することを特徴とする作業観察システム。
  13. 　請求項１に記載の作業観察システムであって、
    　前記第２の画像に映る前記工具の位置の特徴量は、前記各撮像装置から前記工具までの距離情報を含むことを特徴とする作業観察システム。
  14. 　請求項１に記載の作業観察システムであって、
    　前記解析装置が、第１の作業者について計測した前記特徴量と、第２の作業者について計測した前記特徴量とに基づいて作成されたグラフを表示するためのデータを出力する出力部を有することを特徴とする作業観察システム。
  15. 　作業領域で工具によって行われる作業を解析装置が解析する作業解析方法であって、
    　前記解析装置は、
    　所定の演算処理を実行して以下の各機能部を実現する演算装置と、前記演算処理に使用されるデータが記憶される記憶装置とを有し、
    　前記作業解析方法は、
    　前記演算装置が、第１の方向から前記作業領域を撮像した第１の画像を取得する第１の撮像装置と、第２の方向から前記作業領域を撮像した、距離情報を含む第２の画像を取得する第２の撮像装置とから画像を取得し、
    　前記解析装置が、少なくとも前記第２の画像に映る前記工具の位置及び姿勢の特徴量を計算し、
    　前記演算装置が、前記作業における前記工具の位置及び姿勢の特徴量を出力することを特徴とする作業解析方法。
  16. 　作業者が工具を用いて作業領域で作業する状態を撮像する教育支援システムであって、
    　第１の方向から前記作業領域を撮像して、第１の画像を取得する第１の撮像装置と、
    　第２の方向から前記作業領域を撮像して、距離情報を含む第２の画像を取得する第２の撮像装置と、
    　前記第１の画像及び前記第２の画像を用いて、作業を解析する解析装置とを備え、
    　前記第１の撮像装置と前記第２の撮像装置とは異なる倍率で前記作業領域を撮影するものであって、
    　前記解析装置は、
    　少なくとも前記第２の画像に映る前記工具の位置及び姿勢の特徴量を計算し、
    　前記作業における前記工具の位置及び姿勢の特徴量を出力することを特徴とする教育支援システム。
PCT/JP2021/038282 2020-11-19 2021-10-15 作業観察システム、作業解析方法、及び教育支援システム WO2022107521A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-192435 2020-11-19
JP2020192435A JP7453126B2 (ja) 2020-11-19 2020-11-19 作業観察システム、作業解析方法、及び教育支援システム

Publications (1)

Publication Number Publication Date
WO2022107521A1 true WO2022107521A1 (ja) 2022-05-27

Family

ID=81709002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038282 WO2022107521A1 (ja) 2020-11-19 2021-10-15 作業観察システム、作業解析方法、及び教育支援システム

Country Status (2)

Country Link
JP (1) JP7453126B2 (ja)
WO (1) WO2022107521A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051712A (ja) * 1999-08-09 2001-02-23 Kawasaki Heavy Ind Ltd ロボットの技能教示方法及び装置
JP2019012328A (ja) * 2017-06-29 2019-01-24 株式会社 日立産業制御ソリューションズ 人行動推定システム
JP2019056622A (ja) * 2017-09-21 2019-04-11 株式会社日立製作所 接合工程ライン監視システム
JP2019217607A (ja) * 2018-06-21 2019-12-26 三菱電機株式会社 ティーチング装置、ロボット制御システム及びティーチング方法
JP2020154434A (ja) * 2019-03-18 2020-09-24 大豊精機株式会社 作業管理システム及び作業管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051712A (ja) * 1999-08-09 2001-02-23 Kawasaki Heavy Ind Ltd ロボットの技能教示方法及び装置
JP2019012328A (ja) * 2017-06-29 2019-01-24 株式会社 日立産業制御ソリューションズ 人行動推定システム
JP2019056622A (ja) * 2017-09-21 2019-04-11 株式会社日立製作所 接合工程ライン監視システム
JP2019217607A (ja) * 2018-06-21 2019-12-26 三菱電機株式会社 ティーチング装置、ロボット制御システム及びティーチング方法
JP2020154434A (ja) * 2019-03-18 2020-09-24 大豊精機株式会社 作業管理システム及び作業管理方法

Also Published As

Publication number Publication date
JP2022081102A (ja) 2022-05-31
JP7453126B2 (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
KR102227194B1 (ko) 터치 프로브에 대하여 시각 시스템을 켈리브레이팅하기 위한 시스템 및 방법
US11254008B2 (en) Method and device of controlling robot system
CN109031688B (zh) 一种光学模组中显示屏的定位方法以及定位装置
CN111515944B (zh) 非固定路径机器人自动标定方法
JP5525953B2 (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
US9990739B1 (en) Method and device for fisheye camera automatic calibration
JP2014055864A (ja) 画像測定装置、その制御方法及び画像測定装置用のプログラム
CN111609995A (zh) 一种光学模组装调测试方法及装置
JP5467962B2 (ja) 測定設定データ作成装置、測定設定データ作成方法、測定設定データ作成装置用のプログラム及び寸法測定装置
WO2022107521A1 (ja) 作業観察システム、作業解析方法、及び教育支援システム
KR20200072535A (ko) 다중-레이어 뷰잉 시스템 및 방법
CN111833406A (zh) 机械手与3d相机的旋转式自动标定模块、系统及方法
JP2000205821A (ja) 三次元形状計測装置及びその三次元形状計測方法
CN114062265B (zh) 一种用于视觉系统的支撑结构稳定性的评估方法
JP2005323905A (ja) 眼球運動測定装置、及び眼球運動測定プログラム
CN210862528U (zh) 一种高精度快速导航光源
CN111372074B (zh) 一种双目摄像头光轴平行度检测方法
JPH11295045A (ja) 検査装置
JPH08285532A (ja) 移動体の位置計測方法及びその装置
WO2022172471A1 (ja) 支援システム、画像処理装置、支援方法およびプログラム
CN212365044U (zh) 机械手与3d相机的旋转式自动标定模块
KR100910832B1 (ko) 이송 궤적 실시간 추적 방법과 이를 구현하기 위한 추적장치 및 기록매체
JPH05329793A (ja) 視覚センサ
KR100399146B1 (ko) 검사장비 및 그의 오프셋 측정방법
JP2006220425A (ja) プリント基板外観検査装置及びプリント基板外観検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894395

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894395

Country of ref document: EP

Kind code of ref document: A1