JP5610297B2 - Head-mounted imaging system, head-mounted imaging device, and image display method - Google Patents

Head-mounted imaging system, head-mounted imaging device, and image display method Download PDF

Info

Publication number
JP5610297B2
JP5610297B2 JP2011044740A JP2011044740A JP5610297B2 JP 5610297 B2 JP5610297 B2 JP 5610297B2 JP 2011044740 A JP2011044740 A JP 2011044740A JP 2011044740 A JP2011044740 A JP 2011044740A JP 5610297 B2 JP5610297 B2 JP 5610297B2
Authority
JP
Japan
Prior art keywords
head
unit
work
work object
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011044740A
Other languages
Japanese (ja)
Other versions
JP2012182701A (en
Inventor
裕樹 菅股
裕樹 菅股
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2011044740A priority Critical patent/JP5610297B2/en
Publication of JP2012182701A publication Critical patent/JP2012182701A/en
Application granted granted Critical
Publication of JP5610297B2 publication Critical patent/JP5610297B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、作業者の視界方向を撮像することができる頭部装着撮像装置及びこれを用いた頭部装着型遠隔撮像システム、画像表示方法に関する。   The present invention relates to a head-mounted imaging device capable of imaging the visual field direction of an operator, a head-mounted remote imaging system using the same, and an image display method.

特許文献１には、遠隔地にある撮像装置を撮像することができる技術が提案されている。そして、特許文献２には、ユーザの頭部に装着され、ユーザが画像及び外界を視認することができるシースルー型のヘッドマウントディスプレイが提案されている。特許文献１に示される撮像装置を、特許文献２に示されるようなヘッドマウントディスプレイに取り付けたならば、ユーザはハンドフリーで視界方向を撮像することができるともに、画像も同時に視認することがきる。   Patent Document 1 proposes a technique capable of capturing an image of an imaging device located at a remote place. Patent Document 2 proposes a see-through type head mounted display that is mounted on the user's head and allows the user to visually recognize the image and the outside world. If the imaging device shown in Patent Document 1 is attached to a head-mounted display as shown in Patent Document 2, the user can pick up the direction of the field of view in a hands-free manner and can also view the image at the same time. .

このような構成のヘッドマウントディスプレイは、作業支援に使用されることが期待されている。例えば、作業者は作業を行いながら作業対象物を撮像し、作業支援者は、撮像された撮像画像に基づいてヘッドマウントディスプレイに作業指示画像を表示させることにより、作業支援を行うことができる。   The head-mounted display having such a configuration is expected to be used for work support. For example, the worker can perform work support by capturing an image of a work object while performing the work, and the work supporter can display a work instruction image on a head-mounted display based on the captured image.

特開平１１−２７５７２号公報JP-A-11-27572 特開２０１０−１６４８１４号公報JP 2010-164814 A

例えば、ヘッドマウントディスプレイがシースルー型の場合、作業者は、画像とともに外界もまた視認することができる。そのため、作業対象物とヘッドマウントディスプレイで表示される画像が重なった場合には、作業者は前記画像を視認することが難しい。そこで、作業者は、作業を一時中断して、前記画像を視認するための動作を行う必要がある。この動作は、例えば、視線を背景が無地の方向に向けるなどである。このため、作業対象物が撮像されず、作業指示者が作業対象物を視認することができないことから、作業指示者がヘッドマウントディスプレイに適切な作業指示画像を表示させることができないという問題があった。
本発明は、上記問題を解決し、作業者の視界方向に関わらず、作業支援者が作業対象物を視認することができる頭部装着型撮像システムを提供することを目的とする。 For example, when the head-mounted display is a see-through display, the operator can visually recognize the outside world as well as the image. Therefore, when the work object and the image displayed on the head mounted display overlap, it is difficult for the worker to visually recognize the image. Therefore, the worker needs to temporarily suspend the work and perform an operation for visually recognizing the image. This operation is, for example, turning the line of sight toward a plain background. For this reason, since the work object is not imaged and the work instructor cannot visually recognize the work object, there is a problem that the work instructor cannot display an appropriate work instruction image on the head mounted display. It was.
An object of the present invention is to solve the above-described problem and provide a head-mounted imaging system that allows a work supporter to visually recognize a work object regardless of the worker's viewing direction.

上記課題を解決するためになされた請求項１に記載の発明は、
作業者の頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、作業者の視界方向を連続的に撮像して撮像データを生成する撮像部と、
前記頭部装着部に取り付けられ、作業者に画像を視認させるシースルー型の頭部装着側表示部と、
外部と通信し、前記撮像データを送信する頭部装着側通信部を有する頭部装着撮像装置と、
前記頭部装着側通信部と通信し、前記撮像データを受信する遠隔側通信部と、
前記遠隔側通信部が受信した撮像データを表示する遠隔側表示部を有する遠隔側装置を備え、
前記撮像データが記憶される記憶部と、
作業者の作業状態を検出する作業状態検出部と、
前記作業状態検出部が検出した作業者の作業状態に基づき、作業対象物が作業者の視界に入っているか否かを判断する作業対象物検出判断手段と、
前記作業対象物検出判断手段が、作業対象物が作業者の視界に入っていないと判断した場合には、前記記憶部に記憶されている前記撮像データに基づいて、作業対象物が含まれる静止画像を前記遠隔側表示部に表示させる静止画像表示手段が、前記頭部装着撮像装置又は前記遠隔側装置のいずれかに設けられていることを特徴とする。 The invention according to claim 1, which has been made to solve the above problems,
A head mounting part to be mounted on the operator's head;
An imaging unit that is attached to the head-mounted unit and continuously captures the visual field direction of the operator to generate imaging data;
A see-through type head-mounted display unit that is attached to the head-mounted unit and allows an operator to visually recognize an image;
A head-mounted imaging device having a head-mounted communication unit that communicates with the outside and transmits the imaging data;
A remote communication unit that communicates with the head-mounted communication unit and receives the imaging data;
Comprising a remote side device having a remote side display unit for displaying imaging data received by the remote side communication unit,
A storage unit for storing the imaging data;
A work state detection unit for detecting the work state of the worker;
Based on the work state of the worker detected by the work state detection unit, work object detection determination means for determining whether the work object is in the worker's field of view,
When the work object detection determining means determines that the work object is not in the field of view of the worker, the stationary object containing the work object is included based on the imaging data stored in the storage unit. Still image display means for displaying an image on the remote display unit is provided in either the head-mounted imaging device or the remote device.

請求項２に記載の発明は、請求項１に記載の発明において、
前記作業状態検出部は、前記頭部装着撮像装置に設けられていることを特徴とする。
これにより、遠隔側装置の構成をシンプルにすることができる。 The invention according to claim 2 is the invention according to claim 1,
The work state detection unit is provided in the head-mounted imaging device.
Thereby, the structure of a remote side apparatus can be simplified.

請求項３に記載の発明は、請求項２に記載の発明において、
前記作業状態検出部は、前記頭部装着撮像装置の傾きを検出する傾きセンサーであり、
前記作業対象物検出判断手段は、前記傾きセンサーが検出した前記頭部装着撮像装置の傾きに基づき、作業対象物が作業者の視界に入っているか否かを判断し、
前記頭部装着撮像装置には、前記作業対象物検出判断手段が前記頭部装着側表示部の傾きにより判断する基準を入力するための操作部が設けられていることを特徴する。
これにより、作業者が操作部を操作することにより、作業対象物の位置に応じて、作業対象物が作業者の視界に入る範囲を設定することが可能となる。 The invention according to claim 3 is the invention according to claim 2,
The work state detection unit is an inclination sensor that detects an inclination of the head-mounted imaging device ,
The work object detection determining means determines whether or not the work object is in the field of view of the worker based on the tilt of the head-mounted imaging device detected by the tilt sensor,
The head-mounted imaging device is provided with an operation unit for inputting a reference that the work object detection determination unit determines based on an inclination of the head-mounted display unit.
Accordingly, when the operator operates the operation unit, it is possible to set a range in which the work object enters the worker's field of view according to the position of the work object.

請求項４に記載の発明は、請求項１に記載の発明において、
前記作業状態検出部は、前記撮像部であり、
前記作業対象物検出判断手段は、前記遠隔側装置に設けられ、前記撮像データから作業対象物を検出することを特徴とする。
これにより、頭部装着撮像装置の構成をシンプルにすることができる。 The invention according to claim 4 is the invention according to claim 1,
The work state detection unit is the imaging unit,
The work object detection determination means is provided in the remote device and detects a work object from the imaging data.
Thereby, the configuration of the head-mounted imaging device can be simplified.

請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
前記作業対象物検出判断手段が、作業対象物が作業者の視界に入っていないと判断した場合には、前記撮像データに基づいて、作業対象物が含まれる静止画像を頭部装着側表示部に表示させる頭部装着側静止画像表示手段を有することを特徴とする。
これにより、作業者は、作業指示画像とともに作業対象物が含まれる静止画像を視認することにより、作業指示画像の内容をより容易に把握することができる。 The invention according to claim 5 is the invention according to claims 1 to 4,
If the work object detection determining means determines that the work object is not in the field of view of the worker, a still image including the work object is displayed on the head-mounted display unit based on the imaging data. Characterized in that it has a head-mounted still image display means to be displayed.
Thereby, the operator can grasp | ascertain the content of a work instruction image more easily by visually recognizing the still image containing a work target object with a work instruction image.

請求項６に記載の発明は、
作業者の頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、作業者の視界方向を連続的に撮像して撮像データを生成する撮像部と、
前記頭部装着部に取り付けられ、作業者に画像を視認させるシースルー型の頭部装着側表示部と、
前記撮像データが記憶される記憶部と、
前記撮像データが表示される遠隔側表示部を有する遠隔側装置と通信し、前記撮像データを送信する頭部装着側通信と、
作業者の作業状態を検出する作業状態検出部と、
前記作業状態検出部が検出した作業者の作業状態から、作業対象物が作業者の視界に入っているか否かを判断する作業対象物検出判断手段を有し、
前記作業対象物検出判断手段が、作業対象物が作業者の視界に入っていないと判断した場合には、前記遠隔側装置に送信された撮像データに基づいて、作業対象物が含まれる静止画像が生成され、当該静止画像が前記遠隔側表示部に表示されるように構成されていることを特徴する。 The invention described in claim 6
A head mounting part to be mounted on the operator's head;
An imaging unit that is attached to the head-mounted unit and continuously captures the visual field direction of the operator to generate imaging data;
A see-through type head-mounted display unit that is attached to the head-mounted unit and allows an operator to visually recognize an image;
A storage unit for storing the imaging data;
Communication with a remote device having a remote display unit on which the imaging data is displayed, and head-mounted communication for transmitting the imaging data;
A work state detection unit for detecting the work state of the worker;
From the work state of the worker detected by the work state detection unit, it has a work object detection determination means for determining whether the work object is in the worker's field of view,
If the work object detection determining means determines that the work object is not in the field of view of the worker, a still image containing the work object is based on the imaging data transmitted to the remote device. Is generated, and the still image is displayed on the remote display unit.

請求項７に記載の発明は、
作業者の頭部に装着された撮像部により連続的に撮像された撮像データから作業対象物を含む静止画像を遠隔側画像表示装置に表示させる画像表示方法であって、
作業者の作業状態が検出される作業状態検出工程と、
前記検出された作業者の作業状態に基づき、作業対象物が作業者の視界に入っているか否かが判断される作業対象物検出判断工程と、
前記作業対象物検出判断工程において、前記作業対象物が作業者の視界に入っていないと判断された場合には、前記撮像データに基づいて、作業対象物が含まれる静止画像が前記遠隔側画像表示装置に表示される静止画像表示工程を有することを特徴とする。 The invention described in claim 7
An image display method for causing a remote image display device to display a still image including a work object from imaging data continuously captured by an imaging unit mounted on a worker's head,
A work state detection process in which the work state of the worker is detected;
Based on the detected work state of the worker, a work object detection determination step for determining whether or not the work object is in the worker's field of view;
In the work object detection determination step, when it is determined that the work object is not in the field of view of the worker, a still image including the work object is displayed on the remote side image based on the imaging data. It has the still image display process displayed on a display apparatus , It is characterized by the above-mentioned.

本発明によれば、作業対象物が作業者の視界に入っていないと判断された場合には、作業者の頭部に装着された撮像部により撮像された撮像データに基づいて、作業対象物が含まれる静止画像が遠隔側表示部に表示される。これにより、作業者の視界方向に関わらず、作業支援者は作業対象物を視認することができ、円滑に作業支援を行うことが可能となる。   According to the present invention, when it is determined that the work target is not in the field of view of the worker, the work target is based on the imaging data captured by the imaging unit attached to the worker's head. Is displayed on the remote display unit. As a result, regardless of the worker's view direction, the work supporter can visually recognize the work target and can smoothly support the work.

本発明の実施の形態を示す頭部装着型撮像システムの概要図である。1 is a schematic diagram of a head-mounted imaging system showing an embodiment of the present invention. 作業対象物が作業者の視界に入る範囲を表した作業者の視線方向の説明図である。It is explanatory drawing of the operator's gaze direction showing the range into which a work target object enters a worker's visual field. 第１の実施形態の頭部装着型撮像システムのブロック図である。1 is a block diagram of a head-mounted imaging system according to a first embodiment. 第１の実施形態のフロー図である。It is a flowchart of a 1st embodiment. 第２の実施形態の頭部装着型撮像システムのブロック図である。It is a block diagram of the head mounted imaging system of a 2nd embodiment. 第２の実施形態のフロー図である。It is a flowchart of a 2nd embodiment. 第３の実施形態の頭部装着型撮像システムのブロック図である。It is a block diagram of the head mounted imaging system of a 3rd embodiment. 第３の実施形態のフロー図である。It is a flowchart of a 3rd embodiment.

（頭部装着型遠隔撮像システムの構成）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図１に示されるように、本発明の頭部装着型遠隔撮像システムは、作業者の頭部に装着される頭部装着撮像装置５０と、作業者から離れた場所にいる作業支援者が使用する遠隔側装置１００とから構成されている。 (Configuration of head mounted remote imaging system)
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. As shown in FIG. 1, the head-mounted remote imaging system of the present invention is used by a head-mounted imaging device 50 that is mounted on the operator's head and a work supporter who is away from the worker. Remote-side device 100.

頭部装着撮像装置５０は、頭部装着部１、頭部装着側表示部２１、撮像部２２を有している。本実施形態では、頭部装着部１は、眼鏡のフレーム形状であるが、ヘルメット形状等であっても差し支え無い。
頭部装着側表示部２１は、頭部装着部１に取り付けられている。頭部装着側表示部２１は、画像を生成し、当該画像を作業者に視認させるものである。画頭部装着側表示部２１は、作業者が画像を視認することができると同時に外界もまた視認することができるシースルー型のディスプレイである。
撮像部２２は、頭部装着部１に取り付けられている。撮像部２２は、作業者の視界方向を連続的に撮像し撮像データを生成するものである。頭部装着撮像装置５０は、遠隔側装置１００と通信する頭部装着側通信部１４（図３に示す）を有している。 The head-mounted imaging device 50 includes a head-mounted unit 1, a head-mounted display unit 21, and an imaging unit 22. In the present embodiment, the head mounting portion 1 has a frame shape of glasses, but may be a helmet shape or the like.
The head mounting side display unit 21 is attached to the head mounting unit 1. The head mounting side display unit 21 generates an image and makes the operator visually recognize the image. The image head-mounted display unit 21 is a see-through display that allows an operator to visually recognize an image and at the same time also visually recognize the outside world.
The imaging unit 22 is attached to the head mounting unit 1. The imaging unit 22 continuously captures the worker's field of view and generates imaging data. The head-mounted imaging device 50 has a head-mounted communication unit 14 (shown in FIG. 3) that communicates with the remote device 100.

遠隔側装置１００は、いわゆるパーソナルコンピュータ等で構成され、遠隔側装置本体１１０、遠隔側表示部１２０、入力部１３０を有している。遠隔側装置本体１１０は、頭部装着撮像装置５０と通信する遠隔側通信部１１４（図３に示す）を有している。遠隔側表示部１２０は、液晶ディスプレイ等で構成されている。頭部装着側通信部１４と遠隔側通信部１１４は、有線ＬＡＮ、無線ＬＡＮ、インターネット回線等の通信回線９９９（図３に示す）で接続され、相互に通信可能となっている。入力部１３０は、作業支援者の入力操作を受け付けるものであり、いわゆるキーボード、マウスやトラックパッド等のポインティングデバイスが含まれる。   The remote device 100 is configured by a so-called personal computer or the like, and includes a remote device body 110, a remote display unit 120, and an input unit 130. The remote-side device main body 110 has a remote-side communication unit 114 (shown in FIG. 3) that communicates with the head-mounted imaging device 50. The remote display unit 120 is configured with a liquid crystal display or the like. The head-mounted communication unit 14 and the remote communication unit 114 are connected via a communication line 999 (shown in FIG. 3) such as a wired LAN, a wireless LAN, and an Internet line, and can communicate with each other. The input unit 130 receives an input operation of a work supporter, and includes a so-called keyboard, a pointing device such as a mouse and a track pad.

（頭部装着型遠隔撮像システムの概要）
撮像部２２で撮像された撮像データは、遠隔側装置本体１１０に送信され、遠隔側表示部１２０で表示される。作業支援者は、遠隔側表示部１２０に表示される作業者の視界方向の画像を視認しつつ、入力部１３０を操作することにより、頭部装着側表示部２１に作業指示画像７００をさせる。なお、図２において、ａで示される範囲は、作業対象物が作業者の視界に入る作業者の視線方向の範囲、つまり、作業対象物が撮像部２２で撮像される作業者の視線方向の範囲である。ｂで示される範囲は、作業対象物が作業者の視界に入らない範囲、つまり、作業対象物が撮像部２２で撮像されない作業者の視線方向の範囲である。本発明では、作業者の視線方向が、図２のａの範囲にある場合には、撮像部２２で撮像された作業対象物を含む動画が遠隔側表示部１２０で表示される。一方で、作業者の視線方向が、図２のｂの範囲にある場合には、撮像部２２で既に撮像された作業対象物を含む動画に基づき、作業対象物を含む静止画が生成され、当該静止画が遠隔側表示部１２０で表示される。このように本発明では、作業者の視界方向に関わらず、作業対象物が遠隔側表示部１２０で表示されるようになっている。このため、作業支援者は作業対象物を常に視認することができるので、円滑に作業支援を行うことが可能となる。以下に、このような機能を有する頭部装着型遠隔撮像システムの具体的な構成について説明する。 (Outline of the head-mounted remote imaging system)
Imaging data captured by the imaging unit 22 is transmitted to the remote apparatus body 110 and displayed on the remote display unit 120. The work supporter causes the head-mounted display unit 21 to display the work instruction image 700 by operating the input unit 130 while visually recognizing the worker's field-of-view image displayed on the remote display unit 120. In FIG. 2, the range indicated by a is the range of the worker's line of sight in which the work object enters the worker's field of view, that is, the line of sight of the worker whose work object is imaged by the imaging unit 22. It is a range. The range indicated by b is a range in which the work object does not enter the worker's field of view, that is, a range of the worker's line-of-sight direction in which the work object is not imaged by the imaging unit 22. In the present invention, when the operator's line-of-sight direction is in the range of a in FIG. 2, a moving image including the work object imaged by the imaging unit 22 is displayed on the remote display unit 120. On the other hand, when the worker's line-of-sight direction is in the range of b in FIG. 2, a still image including the work object is generated based on the moving image including the work object already captured by the imaging unit 22. The still image is displayed on the remote display unit 120. As described above, in the present invention, the work object is displayed on the remote display unit 120 regardless of the view direction of the worker. For this reason, since the work supporter can always visually recognize the work object, the work support can be performed smoothly. Hereinafter, a specific configuration of the head-mounted remote imaging system having such a function will be described.

（第１の実施形態の頭部装着型遠隔撮像システムのブロック図）
図３を用いて、第１の実施形態の頭部装着型遠隔撮像システムのブロック図の説明をする。頭部装着撮像装置５０は、ＣＰＵ１１、ＲＡＭ１２、記憶装置１３、頭部装着側通信部１４、画像処理部１５、周辺インターフェース１６を有している。これらの構成は、相互にバス９で接続されている。画像処理部１５には、頭部装着側表示部２１が接続されている。周辺インターフェース１６には、撮像部２２、操作部２３、センサー２４が接続されている。 (Block diagram of the head-mounted remote imaging system of the first embodiment)
A block diagram of the head-mounted remote imaging system of the first embodiment will be described with reference to FIG. The head-mounted imaging device 50 includes a CPU 11, a RAM 12, a storage device 13, a head-mounted communication unit 14, an image processing unit 15, and a peripheral interface 16. These components are connected to each other by a bus 9. A head-mounted display unit 21 is connected to the image processing unit 15. An imaging unit 22, an operation unit 23, and a sensor 24 are connected to the peripheral interface 16.

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、記憶装置１３と協動して、各種演算、処理を行う。
ＲＡＭ１２は、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータを、そのアドレス空間に一時的に記憶する。 A CPU (Central Processing Unit) 11 performs various operations and processes in cooperation with a RAM (Random Access Memory) 12 and a storage device 13.
The RAM 12 temporarily stores a program processed by the CPU 11 and data processed by the CPU 11 in its address space.

記憶装置１３には、不揮発性メモリーやハードディスク等の補助記憶装置が含まれる。記憶装置１３には、頭部装着撮像装置５０を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１１で処理されることにより、各種機能が実現される。
記憶装置１３には、作業対象物検出判断プログラム１３ａと、頭部装着側静止画像表示プログラム１３ｂが記憶されている。
作業対象物検出判断プログラム１３ａは、作業対象物が作業者の視界に入っているか否かを判断するプログラムである。
頭部装着側静止画像表示プログラム１３ｂは、撮像データに基づいて、作業対象物を含む静止画像を、頭部装着側表示部２１に表示させるプログラムである。 The storage device 13 includes an auxiliary storage device such as a nonvolatile memory or a hard disk. The storage device 13 stores various programs and parameters for controlling the head-mounted imaging device 50. Various functions are realized by the CPU 11 processing the various programs.
The storage device 13 stores a work object detection determination program 13a and a head-mounted still image display program 13b.
The work object detection / determination program 13a is a program for determining whether or not the work object is in the field of view of the worker.
The head-mounted side still image display program 13b is a program for causing the head-mounted side display unit 21 to display a still image including a work object based on the imaging data.

頭部装着側通信部１４は、ＬＡＮ、無線ＬＡＮ、インターネット回線等の通信回線９９９に接続され、前記した通信方式に対応した通信インターフェースで構成されている。
画像処理部１５は、頭部装着側表示部２１に出力する画像信号を生成するものであり、画像処理回路及びビデオメモリを有している。
頭部装着側表示部２１には、レーザ光を直接作業者の眼球に走査することにより、作業者に画像を視認させる網膜走査型ディスプレイや、液晶ディスプレイ、有機ＥＬディスプレイ、デジタルミラーデバイス (Digital Mirror Device)等の空間光変調器と、この空間光変調器が生成する画像光が作業者の網膜とが共役になるように、画像光を集光するともに作業者の眼球に向けて反射させるための、レンズ系やハーフミラーなどを含む接眼光学系を組み合わせたディスプレイが含まれる。 The head-mounted communication unit 14 is connected to a communication line 999 such as a LAN, a wireless LAN, or an Internet line, and includes a communication interface corresponding to the communication method described above.
The image processing unit 15 generates an image signal to be output to the head-mounted display unit 21 and includes an image processing circuit and a video memory.
The head-mounted display unit 21 has a retinal scanning display, a liquid crystal display, an organic EL display, a digital mirror device (Digital Mirror device) that allows an operator to visually recognize an image by scanning laser light directly on the worker's eyeball. In order to collect image light and reflect it toward the operator's eyeball so that the image light generated by this spatial light modulator is conjugate to the operator's retina. The display includes a combination of an eyepiece optical system including a lens system and a half mirror.

周辺インターフェース１６は、信号の物理的・論理的な形式を変換するものである。
撮像部２２は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、この撮像素子に光を結像させる結像光学系を有している。また、撮像部２２は、前記撮像素子から出力された信号を量子化してデジタル信号に変換するＡＤコンバータ、変換されたデジタル信号に基づいて撮像データを生成する信号処理回路を有している。 The peripheral interface 16 converts the physical / logical format of the signal.
The imaging unit 22 includes an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and an imaging optical system that forms an image of light on the imaging element. The imaging unit 22 includes an AD converter that quantizes a signal output from the imaging element and converts the signal into a digital signal, and a signal processing circuit that generates imaging data based on the converted digital signal.

操作部２３は、作業者の操作が入力されるものであり、例えば、物理的なボタンやタッチパネル等で構成されている。操作部２３が出力した操作信号は、周辺インターフェース１６で信号の物理的・論理的な形式が変換されて、操作情報としてバス９に入力される。なお、操作部として、視線センサーを用い、ユーザの視線入力を検知し、前記入力に対応する操作信号がバス９に入力される構成であっても差し支え無い。或いは、撮像部２２でユーザの手を撮像し、撮像されたユーザの手の形状や、動作により、ユーザの操作が認識されて、前記操作に対応する操作信号がバス９に入力される構成であっても差し支え無い。
作業者は、操作部２３を操作することにより、作業対象物検出判断プログラム１３ａが、作業対象物が作業者の視界に入っているか否かを判断するための基準（図２に示される範囲ａ又は範囲ｂ）を設定することができる。設定された前記基準は、ＲＡＭ１２又は記憶装置１３に記憶される。 The operation unit 23 is used to input an operation by an operator, and includes, for example, a physical button or a touch panel. The operation signal output from the operation unit 23 is converted into a physical / logical format of the signal by the peripheral interface 16 and input to the bus 9 as operation information. It should be noted that a line-of-sight sensor may be used as the operation unit to detect a user's line-of-sight input, and an operation signal corresponding to the input may be input to the bus 9. Alternatively, the imaging unit 22 captures the user's hand, the user's operation is recognized by the captured user's hand shape and operation, and an operation signal corresponding to the operation is input to the bus 9. There is no problem even if it exists.
The operator operates the operation unit 23 so that the work object detection determination program 13a determines whether or not the work object is in the field of view of the worker (range a shown in FIG. 2). Or the range b) can be set. The set reference is stored in the RAM 12 or the storage device 13.

センサー２４は、作業者の作業状態を検出するものである。センサー２４には、傾きセンサー、視線センサーが含まれる。傾きセンサーは、頭部装着撮像装置５０の傾きを検知することにより、作業者の視線方向を検知する。傾きセンサーとしては、例えば、ジャイロセンサーや加速度センサーなどが含まれる。視線センサーは、作業者の視線方向を検知する。視線センサーとしては、例えば、ユーザの眼を撮像する外部カメラを用いる方式（強膜反射法、角膜反射法など）や、電極を用いて網膜角膜電位を検出する方式（ＥＯＧ法）等が利用可能である。   The sensor 24 detects the work state of the worker. The sensor 24 includes a tilt sensor and a line-of-sight sensor. The tilt sensor detects the direction of the operator's line of sight by detecting the tilt of the head-mounted imaging device 50. Examples of the tilt sensor include a gyro sensor and an acceleration sensor. The gaze sensor detects the gaze direction of the worker. As a line-of-sight sensor, for example, a method using an external camera for imaging the user's eyes (scleral reflection method, corneal reflection method, etc.), a method for detecting retinal corneal potential using electrodes (EOG method), etc. can be used. It is.

遠隔側装置本体１１０は、ＣＰＵ１１１、ＲＡＭ１１２、記憶装置１１３、遠隔側通信部１１４、画像処理部１１５、周辺インターフェース１１６を有している。これらの構成は、相互にバス１０９で接続されている。画像処理部１１５には、遠隔側表示部１２０が接続されている。周辺インターフェース１１６には、入力部１３０が接続されている。   The remote device body 110 includes a CPU 111, a RAM 112, a storage device 113, a remote communication unit 114, an image processing unit 115, and a peripheral interface 116. These components are connected to each other by a bus 109. A remote display unit 120 is connected to the image processing unit 115. An input unit 130 is connected to the peripheral interface 116.

ＣＰＵ１１１は、ＲＡＭ１１２、記憶装置１１３と協動して、各種演算、処理を行う。
ＲＡＭ１１２は、ＣＰＵ１１１で処理されるプログラムや、ＣＰＵ１１１が処理するデータを、そのアドレス空間に一時的に記憶する。ＲＡＭ１１２は、撮像データが記憶される撮像データ記憶領域１１２ａを有している。また、ＲＡＭ１１２は、作業対象物を含む静止画像が記憶される静止画像記憶領域１１２ｂを有している。
記憶装置１１３には、不揮発性メモリーやハードディスク等の補助記憶装置が含まれる。記憶装置１１３には、静止画像表示プログラム１１３ａが記憶されている。静止画像表示プログラム１１３ａは、撮像データ記憶領域１１２ａに記憶されている撮像データに基づいて、作業対象物を含む静止画像を生成し、当該静止画像を遠隔側表示部１２０に表示させるプログラムである。記憶装置１１３は、作業指示画像記憶領域１１３ｂを有している。作業指示画像記憶領域１１３ｂには、作業手順書、図面等の文字や画像からなる作業指示画像が記憶されている。 The CPU 111 performs various calculations and processes in cooperation with the RAM 112 and the storage device 113.
The RAM 112 temporarily stores programs processed by the CPU 111 and data processed by the CPU 111 in its address space. The RAM 112 has an imaging data storage area 112a in which imaging data is stored. The RAM 112 has a still image storage area 112b in which a still image including a work object is stored.
The storage device 113 includes an auxiliary storage device such as a nonvolatile memory or a hard disk. The storage device 113 stores a still image display program 113a. The still image display program 113a is a program that generates a still image including a work object based on the imaging data stored in the imaging data storage area 112a and displays the still image on the remote display unit 120. The storage device 113 has a work instruction image storage area 113b. The work instruction image storage area 113b stores work instruction images made up of characters and images such as work procedure manuals and drawings.

遠隔側通信部１１４は、ＬＡＮ、無線ＬＡＮ、インターネット回線等の通信回線９９９に接続され、前記した通信方式に対応した通信インターフェースで構成されている。
画像処理部１１５は、遠隔側表示部１２０に出力する画像信号を生成するものであり、画像処理回路及びビデオメモリを有している。
周辺インターフェース１１６は、信号の物理的・論理的な形式を変換するものである。作業支援者が、入力部１３０を操作すると、周辺インターフェース１１６からバス１０９に操作信号が入力される。 The remote-side communication unit 114 is connected to a communication line 999 such as a LAN, a wireless LAN, or an Internet line, and includes a communication interface corresponding to the communication method described above.
The image processing unit 115 generates an image signal to be output to the remote display unit 120, and includes an image processing circuit and a video memory.
The peripheral interface 116 converts the physical / logical format of the signal. When the work support person operates the input unit 130, an operation signal is input from the peripheral interface 116 to the bus 109.

（第１の実施形態の頭部装着撮像装置メイン処理）
図４の（Ａ）を用いて、第１の実施形態の頭部装着撮像装置メイン処理について説明する。頭部装着撮像装置５０に電源が投入されると、Ｓ１１１の処理に進む。 (Main process of the head-mounted imaging device of the first embodiment)
The main process of the head-mounted imaging device according to the first embodiment will be described with reference to FIG. When the head-mounted imaging device 50 is turned on, the process proceeds to S111.

Ｓ１１１「作業指示画像受信」の判断処理において、ＣＰＵ１１は、頭部装着側通信部１４が作業指示画像を受信したか否かを判断する。ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信したと判断した場合には（Ｓ１１１の判断処理がＹＥＳ）、Ｓ１１２の処理に進む。一方で、ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信していないと判断した場合には（Ｓ１１１の判断処理がＮＯ）、Ｓ１１３の処理に進む。   In the determination process of S111 “work instruction image reception”, the CPU 11 determines whether or not the head mounting side communication unit 14 has received the work instruction image. When the CPU 11 determines that the head-mounted communication unit 14 has received the work instruction image (YES in S111), the process proceeds to S112. On the other hand, when the CPU 11 determines that the head-mounted communication unit 14 has not received the work instruction image (NO in S111), the process proceeds to S113.

Ｓ１１２「作業指示画像記憶」の処理において、ＣＰＵ１１は、頭部装着側通信部１４で受信した作業指示画像を、ＲＡＭ１２に記憶する。Ｓ１１２の処理が終了すると、Ｓ１１３の処理に進む。   In the process of S <b> 112 “work instruction image storage”, the CPU 11 stores the work instruction image received by the head mounting side communication unit 14 in the RAM 12. When the process of S112 ends, the process proceeds to S113.

Ｓ１１３「撮像開始」の処理において、撮像部２２での撮像が開始され、ＲＡＭ１２に撮像データが記憶される。なお、撮像部２２は、所定の時間間隔（例えば、数十ミリ秒毎）に静止画像を撮像する。撮像データは、数十ミリ秒毎に撮像された静止画像の集合である。S１１３の処理が終了すると、S１１４の処理に進む。   In the process of S <b> 113 “Start imaging”, imaging by the imaging unit 22 is started, and imaging data is stored in the RAM 12. Note that the imaging unit 22 captures still images at predetermined time intervals (for example, every several tens of milliseconds). The imaging data is a set of still images taken every tens of milliseconds. When the process of S113 ends, the process proceeds to S114.

Ｓ１１４「撮像データ送信開始」の処理において、ＲＡＭ１２に記憶されている撮像データの頭部装着側通信部１４から遠隔側通信部１１４への送信が開始される。Ｓ１１４の処理が終了すると、Ｓ１１５の処理に進む。   In the process of S114 “Start imaging data transmission”, transmission of imaging data stored in the RAM 12 from the head-mounted communication unit 14 to the remote communication unit 114 is started. When the process of S114 ends, the process proceeds to S115.

Ｓ１１５「作業対象物が作業者の視界に入っているか判断」の処理において、作業対象物検出判断プログラム１３ａは、作業対象物が作業者の視界に入っているか否かを判断し、判断結果をＲＡＭ１２に記憶させる。具体的には、作業対象物検出判断プログラム１３ａは、センサー２４からの検出信号に基づき、作業者の視線方向が図２に示されるａの範囲に入っているか否かを判断することにより、作業対象物が作業者の視界に入っているか否かを判断する。Ｓ１１５の処理が終了すると、Ｓ１１６の処理に進む。   In the process of S115 “determining whether the work object is in the worker's field of view”, the work object detection / determination program 13a determines whether the work object is in the worker's field of view, and determines the determination result. It is stored in the RAM 12. Specifically, the work object detection determination program 13a determines whether or not the worker's line-of-sight direction is within the range a shown in FIG. 2 based on the detection signal from the sensor 24. It is determined whether or not the object is in the field of view of the worker. When the process of S115 ends, the process proceeds to S116.

Ｓ１１６「判断結果情報送信」の処理において、ＲＡＭ１２に記憶されている判断結果が、頭部装着側通信部１４を介して、遠隔側通信部１１４に送信される。Ｓ１１６の処理が終了すると、Ｓ１１７の判断処理に進む。   In the process of S116 “transmission of determination result information”, the determination result stored in the RAM 12 is transmitted to the remote communication unit 114 via the head-mounted communication unit 14. When the process of S116 ends, the process proceeds to the determination process of S117.

Ｓ１１７「作業対象物が作業者の視界に入っている」の判断処理において、作業対象物検出判断プログラム１３ａは、ＲＡＭ１２に記憶されている判断結果を参照し、作業対象物が作業者の視界に入っているか否かを判断する。作業対象物検出判断プログラム１３ａが、作業対象物が作業者の視界に入っていると判断した場合には（Ｓ１１７の判断処理がＹＥＳ）、Ｓ１１８の処理に進む。一方で、作業対象物検出判断プログラム１３ａが、作業対象物が作業者の視界に入っていないと判断した場合には（Ｓ１１７の判断処理がＮＯ）、Ｓ１１９の処理に進む。   In the determination processing of S117 “work object is in the worker's field of view”, the work object detection / determination program 13a refers to the determination result stored in the RAM 12, and the work object is in the worker's field of view. Judge whether it is in or not. When the work object detection / determination program 13a determines that the work object is in the field of view of the worker (YES in S117), the process proceeds to S118. On the other hand, when the work object detection / determination program 13a determines that the work object is not in the worker's field of view (NO in S117), the process proceeds to S119.

Ｓ１１８「頭部装着側表示部オフ」の処理において、ＣＰＵ１１は、頭部装着側表示部２１の表示機能をオフにする。これにより、頭部装着側表示部２１で作業指示画像が表示されないので、作業者は作業対象物を容易に視認することができる。Ｓ１１８の処理が終了すると、Ｓ１２０の判断処理に進む。   In the process of S118 “head-mounted side display unit OFF”, the CPU 11 turns off the display function of the head-mounted side display unit 21. Thereby, since the work instruction image is not displayed on the head-mounted side display unit 21, the worker can easily visually recognize the work object. When the process of S118 ends, the process proceeds to the determination process of S120.

Ｓ１１９「作業指示画像表示」の処理において、ＣＰＵ１１は、ＲＡＭ１２に記憶されている作業指示画像を頭部装着側表示部２１で表示させる描画命令を画像処理部１５に出力する。作業者は頭部装着側表示部２１で表示された作業指示画像を視認することにより、作業内容を把握することができる。なお、S１１１の判断処理において、頭部装着側通信部１４が作業指示画像を受信していない場合には、ＣＰＵ１１は、作業指示に関連するデフォルト画像を頭部装着側表示部２１で表示させる描画命令を画像処理部１５に出力する。Ｓ１１９の処理が終了すると、Ｓ１２０の判断処理に進む。   In the process of S119 “work instruction image display”, the CPU 11 outputs to the image processing unit 15 a drawing command for displaying the work instruction image stored in the RAM 12 on the head-mounted display unit 21. The worker can grasp the work contents by visually recognizing the work instruction image displayed on the head-mounted display unit 21. In the determination process of S111, when the head-mounted communication unit 14 has not received a work instruction image, the CPU 11 displays a default image related to the work instruction on the head-mounted side display unit 21. The command is output to the image processing unit 15. When the process of S119 ends, the process proceeds to the determination process of S120.

Ｓ１２０「作業指示画像受信」の判断処理において、ＣＰＵ１１は、頭部装着側通信部１４が作業指示画像を受信したか否かを判断する。ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信したと判断した場合には（Ｓ１２０の判断処理がＹＥＳ）、Ｓ１２１の処理に進む。一方で、ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信していないと判断した場合には（Ｓ１２０の判断処理がＮＯ）、Ｓ１１５の処理に戻る。   In the determination process of S120 “Receive work instruction image”, the CPU 11 determines whether or not the head mounting side communication unit 14 has received the work instruction image. When the CPU 11 determines that the head-mounted communication unit 14 has received the work instruction image (YES in S120), the process proceeds to S121. On the other hand, if the CPU 11 determines that the head-mounted communication unit 14 has not received the work instruction image (NO in S120), the process returns to S115.

Ｓ１２１「作業指示画像記憶」の処理において、ＣＰＵ１１は、頭部装着側通信部１４で受信した作業指示画像を、ＲＡＭ１２に記憶する。Ｓ１２１の処理が終了すると、Ｓ１１５の処理に戻る。   In the process of S121 “work instruction image storage”, the CPU 11 stores the work instruction image received by the head-mounted communication unit 14 in the RAM 12. When the process of S121 ends, the process returns to S115.

なお、遠隔側表示部１２０に静止画が表示されている場合は（Ｓ１４０）、Ｓ１３２の処理において作業指示画像とともに作業対象物を含む静止画像が送信され、S１１９の処理において、前記作業指示画像とともに前記撮像データが頭部装着側表示部２１に並列表示される実施形態であっても差し支え無い。すると、作業者は、作業指示画像とともに作業対象物が含まれる静止画像を視認することができ、作業指示画像の内容をより容易に把握することができる。   When a still image is displayed on the remote display unit 120 (S140), a still image including a work object is transmitted together with the work instruction image in the process of S132, and together with the work instruction image in the process of S119. There is no problem even if the imaging data is displayed in parallel on the head-mounted display unit 21. Then, the worker can visually recognize the still image including the work object together with the work instruction image, and can easily grasp the contents of the work instruction image.

（第１の実施形態の遠隔側装置メイン処理）
図４の（Ｂ）を用いて、第１の実施形態の遠隔側装置メイン処理について説明する。
遠隔側装置１００に電源が投入されると、Ｓ１３１の判断処理に進む。
Ｓ１３１「作業指示有り」の判断処理において、ＣＰＵ１１１は、作業指示画像を頭部装着側表示部２１に表示させる操作信号がバス１０９に入力されたか否かを判断する。ＣＰＵ１１１が、前記操作信号がバス１０９に入力されたと判断した場合には（Ｓ１３１の判断処理がＹＥＳ）、Ｓ１３２の処理に進む。一方で、ＣＰＵ１１１が、前記操作信号がバス１０９に入力されていないと判断した場合には（Ｓ１３１の判断処理がＮＯ）、Ｓ１３３の判断処理に進む。 (Remote-side apparatus main processing of the first embodiment)
The remote-side apparatus main process of the first embodiment will be described with reference to FIG.
When the remote apparatus 100 is powered on, the process proceeds to the determination process of S131.
In the determination process of S131 “work instruction present”, the CPU 111 determines whether or not an operation signal for displaying the work instruction image on the head-mounted display unit 21 is input to the bus 109. If the CPU 111 determines that the operation signal has been input to the bus 109 (YES in S131), the process proceeds to S132. On the other hand, when the CPU 111 determines that the operation signal is not input to the bus 109 (NO in S131), the process proceeds to S133.

Ｓ１３２「作業指示画像送信」の処理において、ＣＰＵ１１１は、Ｓ１３１の処理でバス１０９に入力された操作信号に基づき、作業指示画像記憶領域１１３ｂに記憶されている作業指示画像を選択し、当該作業指示画像を、遠隔側通信部１１４を介して頭部装着側通信部１４に送信させる。Ｓ１３２の処理が終了すると、Ｓ１３３の判断処理に進む。   In the process of S132 “work instruction image transmission”, the CPU 111 selects the work instruction image stored in the work instruction image storage area 113b based on the operation signal input to the bus 109 in the process of S131, and the work instruction The image is transmitted to the head-mounted communication unit 14 via the remote communication unit 114. When the process of S132 ends, the process proceeds to the determination process of S133.

Ｓ１３３「撮像データ受信」の判断処理において、ＣＰＵ１１１は、遠隔側通信部１１４が撮像データを受信したか否かを判断する。ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信したと判断した場合には（Ｓ１３３の判断処理がＹＥＳ）、Ｓ１３４の処理に進む。一方で、ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信したと判断しない場合には（Ｓ１３３の判断処理がＮＯ）、Ｓ１３５の判断処理に進む。   In the determination process of S133 “image data reception”, the CPU 111 determines whether the remote communication unit 114 has received image data. If the CPU 111 determines that the remote communication unit 114 has received the image data (YES in S133), the process proceeds to S134. On the other hand, when the CPU 111 does not determine that the remote communication unit 114 has received the imaging data (NO in S133), the process proceeds to S135.

Ｓ１３４「撮像データ記憶」の処理において、ＣＰＵ１１１は、遠隔側通信部１１４が受信した撮像データを撮像データ記憶領域１１２ａに記憶させる。なお、撮像データ記憶領域１１２ａには、所定フレーム分の静止画像が記憶される。つまり、順次受信した静止画像が撮像データ記憶領域１１２ａに更新記録されるとともに、古いフレームの静止画像から順に撮像データ記憶領域１１２ａから削除される。Ｓ１３４の処理が終了すると、Ｓ１３５の判断処理に進む。   In the process of S134 “image data storage”, the CPU 111 stores the image data received by the remote communication unit 114 in the image data storage area 112a. Note that still images for a predetermined frame are stored in the imaging data storage area 112a. That is, the still images that are sequentially received are updated and recorded in the imaging data storage area 112a, and are deleted from the imaging data storage area 112a in order from the still image of the old frame. When the process of S134 ends, the process proceeds to the determination process of S135.

Ｓ１３５「判断結果情報受信」の判断処理において、ＣＰＵ１１１は、遠隔側通信部１１４が判断結果情報を受信したか否かを判断する。ＣＰＵ１１１が、遠隔側通信部１１４が判断結果情報を受信したと判断した場合には（Ｓ１３５の判断処理がＹＥＳ）、Ｓ１３６の処理に進む。一方で、ＣＰＵ１１１が、遠隔側通信部１１４が判断結果情報を受信したと判断しない場合には（Ｓ１３５の判断処理がＮＯ）、Ｓ１３６の判断処理に進む。   In the determination process of S135 “reception of determination result information”, the CPU 111 determines whether or not the remote communication unit 114 has received the determination result information. If the CPU 111 determines that the remote communication unit 114 has received the determination result information (YES in S135), the process proceeds to S136. On the other hand, when the CPU 111 does not determine that the remote communication unit 114 has received the determination result information (NO in S135), the process proceeds to S136.

Ｓ１３６「判断結果情報記憶」の処理において、ＣＰＵ１１１は、遠隔側通信部１１４で受信した判断結果情報を、ＲＡＭ１１２に記憶させる。Ｓ１３６の処理が終了すると、Ｓ１３７の判断処理に進む。   In the process of S136 “determination result information storage”, the CPU 111 causes the RAM 112 to store the determination result information received by the remote communication unit 114. When the process of S136 ends, the process proceeds to the determination process of S137.

Ｓ１３７「作業対象物が作業者の視界に入っている」の判断処理において、ＣＰＵ１１１は、ＲＡＭ１１２に記憶されている判断結果情報を参照することにより、作業対象物が作業者の視界に入っているか否かを判断する。ＣＰＵ１１１が、作業対象物が作業者の視界に入っていると判断した場合には（Ｓ１３７の判断処理がＹＥＳ）、Ｓ１３８の処理に進む。一方で、ＣＰＵ１１１が、作業対象物が作業者の視界に入っていないと判断した場合には（Ｓ１３７の判断処理がＮＯ）、Ｓ１４０の処理に進む。   In the determination processing of S137 “work object is in the worker's view”, the CPU 111 refers to the determination result information stored in the RAM 112 to determine whether the work object is in the worker's view. Judge whether or not. When the CPU 111 determines that the work object is in the field of view of the worker (YES in the determination process in S137), the process proceeds to S138. On the other hand, when the CPU 111 determines that the work object is not in the worker's field of view (NO in S137), the process proceeds to S140.

Ｓ１３８「撮像データ表示」の処理において、ＣＰＵ１１１は、撮像データ記憶領域１１２ａに記憶されている撮像データを遠隔側表示部１２０で表示させる描画命令を画像処理部１１５に出力する。Ｓ１３８の処理が終了すると、Ｓ１３９の処理に進む。   In the process of S138 “image data display”, the CPU 111 outputs a drawing command to display the image data stored in the image data storage area 112a on the remote display unit 120 to the image processing unit 115. When the process of S138 ends, the process proceeds to S139.

Ｓ１３９「静止画像記憶」の処理において、静止画像表示プログラム１１３ａは、Ｓ１３８の処理において、遠隔側表示部１２０で表示している撮像データから、１フレーム分の静止画像を静止画像記憶領域１１２ｂに記憶させる。Ｓ１３７の判断処理において、作業者が作業対象物を見ていると判断されているので、静止画像記憶領域１１２ｂに記憶される静止画像には、作業対象物が含まれる。Ｓ１３９の処理が終了すると、Ｓ１３１の判断処理に戻る。   In the process of S139 “still image storage”, the still image display program 113a stores a still image for one frame in the still image storage area 112b from the imaging data displayed on the remote display unit 120 in the process of S138. Let Since it is determined in the determination process of S137 that the worker is looking at the work object, the still image stored in the still image storage area 112b includes the work object. When the process of S139 ends, the process returns to the determination process of S131.

Ｓ１４０「作業対象物を含む静止画像表示」の処理において、静止画像表示プログラム１１３ａは、静止画像記憶領域１１２ｂに記憶されている作業対象物を含む静止画像を遠隔側表示部１２０に表示させる描画命令を画像処理部１１５に出力する。なお、遠隔側表示部１２０に表示されている画像が静止画像であることを作業指示者に認識させるために、静止画像表示プログラム１１３ａは前記静止画像に「静止画像」等のマークを重畳表示させることが好ましい。Ｓ１４０の処理が終了すると、Ｓ１３１の判断処理に戻る。   In the process of S140 “Display Still Image Including Work Object”, the still image display program 113a causes the remote display unit 120 to display a still image including the work object stored in the still image storage area 112b. Is output to the image processing unit 115. In order to make the work instructor recognize that the image displayed on the remote display unit 120 is a still image, the still image display program 113a displays a mark such as “still image” superimposed on the still image. It is preferable. When the process of S140 ends, the process returns to the determination process of S131.

このように、作業者の視界方向に関わらず、作業対象物を含む画像が遠隔側表示部１２０で表示されるので、作業支援者は作業対象物を常時視認することができ、円滑に作業支援を行うことが可能となる。   Thus, since the image including the work object is displayed on the remote display unit 120 regardless of the worker's view direction, the work support person can always visually recognize the work object and smoothly support the work. Can be performed.

なお、Ｓ１４０の処理において、静止画像表示プログラム１１３ａは、静止画像記憶領域１１２ｂに記憶されている所定フレーム前の静止画像を遠隔側表示部１２０に表示させる描画命令を画像処理部１１５に出力することにより、作業対象物を含む静止画像を遠隔側表示部１２０に表示させることにしても差し支え無い。前記所定のフレーム数は、固定値でもよいし、フレームレートやセンサー２４が検出する信号の変化量（つまり、作業者の首振り速度）に基づいて決定されても差し支え無い。
或いは、静止画像表示プログラム１１３ａは、静止画像記憶領域１１２ｂに記憶されている静止画像から、パターンマッチングにより、作業対象物が含まれている静止画像を検索し、当該静止画像を遠隔側表示部１２０に表示させる描画命令を画像処理部１１５に出力することにしても差し支え無い。これにより、頭を傾けている最中に、Ｓ１１７の判断処理で、作業対象物が作業者の視界に入っていると判断された場合において、撮像データに作業対象物が含まれていない可能性があるが、この実施形態では、確実に、作業対象物が遠隔側表示部１２０で表示される。 In the process of S140, the still image display program 113a outputs to the image processing unit 115 a drawing command for causing the remote display unit 120 to display a still image before a predetermined frame stored in the still image storage area 112b. Accordingly, it is possible to display a still image including the work object on the remote display unit 120. The predetermined number of frames may be a fixed value, or may be determined based on a frame rate or a change amount of a signal detected by the sensor 24 (that is, an operator's swing speed).
Alternatively, the still image display program 113a searches the still image stored in the still image storage area 112b for a still image including the work object by pattern matching, and the remote image is displayed on the remote display unit 120. The drawing command to be displayed on the screen may be output to the image processing unit 115. As a result, when it is determined in S117 that the work object is in the field of view of the worker while the head is tilted, there is a possibility that the work object is not included in the imaging data. However, in this embodiment, the work object is surely displayed on the remote display unit 120.

（第２の実施形態の頭部装着型遠隔撮像システムのブロック図）
図５を用いて、第１の実施形態と異なる点について、第２の実施形態の頭部装着型遠隔撮像システムのブロック図の説明をする。第２の実施形態では、遠隔側装置本体１１０において、ＲＡＭ１１２に撮像データ記憶領域１１２ａが、記憶装置１１３に撮像指示画像記憶領域１１３ｂが、それぞれ設けられている。そして、第１の実施形態において存在した静止画像記憶領域１１２ｂ、静止画像表示プログラム１１３ａは、第２の実施形態では不要である。それ以外の第２の実施形態の頭部装着型遠隔撮像システムの構成は、第１の実施形態と同一である。 (Block diagram of the head-mounted remote imaging system of the second embodiment)
With reference to FIG. 5, a block diagram of the head-mounted remote imaging system of the second embodiment will be described with respect to differences from the first embodiment. In the second embodiment, in the remote apparatus main body 110, an imaging data storage area 112a is provided in the RAM 112, and an imaging instruction image storage area 113b is provided in the storage apparatus 113. The still image storage area 112b and the still image display program 113a that existed in the first embodiment are not necessary in the second embodiment. Other configurations of the head-mounted remote imaging system of the second embodiment are the same as those of the first embodiment.

（第２の実施形態の頭部装着撮像装置メイン処理）
図６の（Ａ）を用いて、第２の実施形態の頭部装着撮像装置メイン処理について説明する。頭部装着撮像装置５０に電源が投入されると、Ｓ２１１の処理に進む。
Ｓ２１１「作業指示画像受信」の判断処理において、ＣＰＵ１１は、頭部装着側通信部１４が作業指示画像を受信したか否かを判断する。ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信したと判断した場合には（Ｓ２１１の判断処理がＹＥＳ）、Ｓ２１２の処理に進む。一方で、ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信していないと判断した場合には（Ｓ２１１の判断処理がＮＯ）、Ｓ２１２の処理に進む。 (Head-mounted imaging device main process of the second embodiment)
The main process of the head-mounted image pickup apparatus according to the second embodiment will be described with reference to FIG. When the head-mounted imaging device 50 is powered on, the process proceeds to S211.
In the determination process of S211 “work instruction image reception”, the CPU 11 determines whether or not the head mounting side communication unit 14 has received the work instruction image. When the CPU 11 determines that the head-mounted communication unit 14 has received the work instruction image (YES in S211), the process proceeds to S212. On the other hand, if the CPU 11 determines that the head-mounted communication unit 14 has not received the work instruction image (NO in S211), the process proceeds to S212.

Ｓ２１２「作業指示画像記憶」の処理において、ＣＰＵ１１は、頭部装着側通信部１４で受信した作業指示画像を、ＲＡＭ１２に記憶する。Ｓ２１２の処理が終了すると、Ｓ２１５の判断処理に進む。   In the process of S212 “work instruction image storage”, the CPU 11 stores the work instruction image received by the head-mounted communication unit 14 in the RAM 12. When the process of S212 ends, the process proceeds to the determination process of S215.

Ｓ２１５「作業対象物が作業者の視界に入っているか判断」の処理において、作業対象物検出判断プログラム１３ａは、作業対象物が作業者の視界に入っているか否かを判断する。作業対象物検出判断プログラム１３ａが、作業対象物が作業者の視界に入っていると判断した場合には（Ｓ２１５の判断処理がＹＥＳ）、Ｓ２１６の処理に進む。一方で、作業対象物検出判断プログラム１３ａが、作業対象物が作業者の視界に入っていないと判断した場合には（Ｓ２１５の判断処理がＮＯ）、Ｓ２２０の処理に進む。   In the process of S215 “determining whether the work object is in the worker's view”, the work object detection determining program 13a determines whether the work object is in the worker's view. When the work object detection / determination program 13a determines that the work object is in the field of view of the worker (YES in S215), the process proceeds to S216. On the other hand, when the work object detection / determination program 13a determines that the work object is not in the worker's field of view (NO in S215), the process proceeds to S220.

Ｓ２１６「頭部装着側表示部オフ」の処理において、ＣＰＵ１１は、頭部装着側表示部２１の表示機能をオフにする。Ｓ２１６の処理が終了すると、Ｓ２１７の処理に進む。   In the process of S216 “head-mounted side display unit OFF”, the CPU 11 turns off the display function of the head-mounted side display unit 21. When the process of S216 ends, the process proceeds to S217.

Ｓ２１７「撮像」の処理において、撮像部２２は撮像して撮像データを生成する。生成された撮像データは、ＲＡＭ１２に記憶される。なお、Ｓ２１５の判断処理において、作業者が作業対象物を見ていると判断されているので、作業対象物を含む撮像データが生成される。S２１７の処理が終了すると、S２１８の処理に進む。   In the process of S217 “Imaging”, the imaging unit 22 performs imaging to generate imaging data. The generated imaging data is stored in the RAM 12. In the determination process of S215, since it is determined that the worker is looking at the work object, imaging data including the work object is generated. When the process of S217 ends, the process proceeds to S218.

Ｓ２１８「撮像データ送信」の処理において、ＲＡＭ１２に記憶されている撮像データが、頭部装着側通信部１４を介して、遠隔側通信部１１４に送信される。Ｓ２１８の処理が終了すると、Ｓ２２１の判断処理に進む。   In the process of S218 “image data transmission”, the image data stored in the RAM 12 is transmitted to the remote communication unit 114 via the head-mounted communication unit 14. When the process of S218 ends, the process proceeds to the determination process of S221.

Ｓ２２０「作業指示画像表示」の処理において、ＣＰＵ１１は、ＲＡＭ１２に記憶されている作業指示画像を頭部装着側表示部２１で表示させる描画命令を画像処理部１５に出力する。Ｓ２２０の処理が終了すると、Ｓ２２１の判断処理に進む。   In the process of S220 “work instruction image display”, the CPU 11 outputs to the image processing unit 15 a drawing command for displaying the work instruction image stored in the RAM 12 on the head-mounted side display unit 21. When the process of S220 ends, the process proceeds to the determination process of S221.

Ｓ２２１「作業指示画像受信」の判断処理において、ＣＰＵ１１は、頭部装着側通信部１４が作業指示画像を受信したか否かを判断する。ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信したと判断した場合には（Ｓ２２１の判断処理がＹＥＳ）、Ｓ２２２の処理に進む。一方で、ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信していないと判断した場合には（Ｓ２２１の判断処理がＮＯ）、Ｓ２１５の判断処理に戻る。   In the determination process of S221 “work instruction image reception”, the CPU 11 determines whether or not the head-mounted communication unit 14 has received a work instruction image. When the CPU 11 determines that the head-mounted communication unit 14 has received the work instruction image (YES in S221), the process proceeds to S222. On the other hand, if the CPU 11 determines that the head-mounted communication unit 14 has not received the work instruction image (NO in S221), the process returns to the determination process in S215.

Ｓ２２２「作業指示画像記憶」の処理において、ＣＰＵ１１は、頭部装着側通信部１４で受信した作業指示画像を、ＲＡＭ１２に記憶する。Ｓ２２２の処理が終了すると、Ｓ２１５の判断処理に戻る。   In the process of S222 “work instruction image storage”, the CPU 11 stores the work instruction image received by the head-mounted communication unit 14 in the RAM 12. When the process of S222 ends, the process returns to the determination process of S215.

（第２の実施形態の遠隔側装置メイン処理）
図６の（Ｂ）を用いて、第２の実施形態の遠隔側装置メイン処理について説明する。遠隔側装置１００に電源が投入されると、Ｓ２３１の判断処理に進む。
Ｓ２３１「作業指示有り」の判断処理において、ＣＰＵ１１１は、作業指示画像を頭部装着側表示部２１に表示させる操作信号がバス１０９に入力されたか否かを判断する。ＣＰＵ１１１が、前記操作信号がバス１０９に入力されたと判断した場合には（Ｓ２３１の判断処理がＹＥＳ）、Ｓ２３２の処理に進む。一方で、ＣＰＵ１１１が、前記操作信号がバス１０９に入力されていないと判断した場合には（Ｓ２３１の判断処理がＮＯ）、Ｓ２３３の判断処理に進む。 (Remote-side apparatus main processing of the second embodiment)
The remote side apparatus main process of the second embodiment will be described with reference to FIG. When the remote apparatus 100 is turned on, the process proceeds to the determination process of S231.
In the determination process of S231 “work instruction present”, the CPU 111 determines whether or not an operation signal for displaying the work instruction image on the head-mounted display unit 21 is input to the bus 109. If the CPU 111 determines that the operation signal is input to the bus 109 (YES in S231), the process proceeds to S232. On the other hand, when the CPU 111 determines that the operation signal is not input to the bus 109 (NO in S231), the process proceeds to S233.

Ｓ２３２「作業指示画像送信」の処理において、ＣＰＵ１１１は、Ｓ２３１の判断処理でバス１０９に入力された操作信号に基づき、作業指示画像記憶領域１１３ｂに記憶されている作業指示画像を選択し、当該作業指示画像を、遠隔側通信部１１４を介して頭部装着側通信部１４に送信させる。Ｓ２３２の処理が終了すると、Ｓ２３３の判断処理に進む。   In the process of S232 “work instruction image transmission”, the CPU 111 selects a work instruction image stored in the work instruction image storage area 113b based on the operation signal input to the bus 109 in the determination process of S231, and The instruction image is transmitted to the head-mounted communication unit 14 via the remote communication unit 114. When the process of S232 ends, the process proceeds to the determination process of S233.

Ｓ２３３「撮像データ受信」の判断処理において、ＣＰＵ１１１は、遠隔側通信部１１４が撮像データを受信したか否かを判断する。ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信したと判断した場合には（Ｓ２３３の判断処理がＹＥＳ）、受信した撮像データを、撮像データ記憶領域１１２ａに記憶させ、Ｓ２３４の処理に進む。一方で、ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信していないと判断した場合には（Ｓ２３３の判断処理がＮＯ）、Ｓ２３１の判断処理に戻る。   In the determination processing of S233 “image data reception”, the CPU 111 determines whether the remote communication unit 114 has received image data. When the CPU 111 determines that the remote communication unit 114 has received the imaging data (YES in S233), the received imaging data is stored in the imaging data storage area 112a, and the process proceeds to S234. On the other hand, when the CPU 111 determines that the remote communication unit 114 has not received the imaging data (NO in S233), the process returns to the determination process in S231.

Ｓ２３４「撮像データ更新表示」の処理において、ＣＰＵ１１１は、撮像データ記憶領域１１２ａに記憶されている撮像データを遠隔側表示部１２０で表示させる描画命令を画像処理部１１５に出力する。すると、遠隔側表示部１２０で、撮像データが更新表示される。なお、Ｓ２３３の判断処理において、遠隔側通信部１１４で撮像データが受信されない場合には、最後に受信された撮像データが遠隔側表示部１２０で表示され続ける。Ｓ２３４の処理が終了すると、Ｓ２３１の判断処理に戻る。   In the process of S234 “imaging data update display”, the CPU 111 outputs a drawing command for displaying the imaging data stored in the imaging data storage area 112a on the remote display unit 120 to the image processing unit 115. Then, the imaging data is updated and displayed on the remote display unit 120. In the determination process of S233, when the imaging data is not received by the remote communication unit 114, the imaging data received last is continuously displayed on the remote display unit 120. When the process of S234 ends, the process returns to the determination process of S231.

このように、第２の実施形態では、Ｓ２１５の判断処理において、作業対象物が作業者の視界に入っていないと判断された場合には（Ｓ２１５の判断処理がＮＯ）、撮像部２２で撮像されず、撮像データが遠隔側装置１００に送信されない。一方で、Ｓ２１５の判断処理において、作業対象物が作業者の視界に入っていると判断された場合には（Ｓ２１５の判断処理がＹＥＳ）、Ｓ２１７の処理において、撮像部２２で作業対象物を含む撮像データが撮像され、Ｓ２１８の処理において、当該撮像データが遠隔側装置１００に送信される。これにより、作業対象物が作業者の視界に入っていると判断された場合に限り、Ｓ２３４の処理において、作業対象物を含む撮像データが遠隔側表示部１２０で更新表示される一方で、作業対象物が作業者の視界に入っていないと判断された場合には、作業対象物を含む撮像データが遠隔側表示部１２０で表示され続ける。このため、作業者の視界方向に関わらず、作業対象物を含む画像が遠隔側表示部１２０で表示されるので、作業支援者は作業対象物を常時視認することができ、円滑に作業支援を行うことが可能となる。   As described above, in the second embodiment, when it is determined in the determination process in S215 that the work target is not in the field of view of the worker (the determination process in S215 is NO), the image capturing unit 22 performs image capturing. The imaging data is not transmitted to the remote device 100. On the other hand, when it is determined in the determination process of S215 that the work object is in the field of view of the worker (YES in S215), in the process of S217, the image capturing unit 22 selects the work object. The captured image data is captured, and the captured data is transmitted to the remote apparatus 100 in the process of S218. As a result, only when it is determined that the work object is in the field of view of the worker, the image data including the work object is updated and displayed on the remote display unit 120 in the process of S234. When it is determined that the object is not in the field of view of the worker, the imaging data including the work object is continuously displayed on the remote display unit 120. For this reason, since the image including the work object is displayed on the remote display unit 120 regardless of the view direction of the worker, the work support person can always visually recognize the work object and smoothly support the work. Can be done.

なお、Ｓ２３４の処理において、ＣＰＵ１１１は、撮像データ記憶領域１１２ａに記憶されている何フレームか前の撮像データを画像処理部１１５に出力することにより、作業対象物を含む静止画像を遠隔側表示部１２０に表示させることにしても差し支え無い。これにより、頭を傾けている最中に、Ｓ２１５の判断処理で、作業対象物が作業者の視界に入っていると判断された場合において、撮像データに作業対象物が含まれていない可能性があるが、この実施形態では、確実に、作業対象物が遠隔側表示部１２０で表示される。   In the process of S234, the CPU 111 outputs the still image including the work object to the remote display unit by outputting the imaging data of several frames before stored in the imaging data storage area 112a to the image processing unit 115. It may be displayed on 120. As a result, when it is determined in S215 that the work object is in the operator's field of view while the head is tilted, there is a possibility that the work object is not included in the imaging data. However, in this embodiment, the work object is surely displayed on the remote display unit 120.

なお、Ｓ２３２の処理において、作業指示画像とともに受信した撮像データが送信され、S２２２の処理において、前記作業指示画像とともに前記撮像データが頭部装着側表示部２１に並列表示される実施形態であっても差し支え無い。すると、作業者は、作業指示画像とともに作業対象物が含まれる静止画像を視認することができ、作業指示画像の内容をより容易に把握することができる。   Note that the imaging data received together with the work instruction image is transmitted in the process of S232, and the imaging data together with the work instruction image is displayed in parallel on the head-mounted side display unit 21 in the process of S222. There is no problem. Then, the worker can visually recognize the still image including the work object together with the work instruction image, and can easily grasp the contents of the work instruction image.

（第３の実施形態の頭部装着型遠隔撮像システムのブロック図）
図７を用いて、第１の実施形態と異なる点について、第３の実施形態の頭部装着型遠隔撮像システムのブロック図の説明をする。第３の実施形態では、センサー２４、作業対象物検出判断プログラム１３ａ、頭部装着側静止画像表示プログラム１３ｂは不要である。第３の実施形態では、記憶装置１１３には、作業対象物検出判断プログラム１１３ｃが記憶されている。また、記憶装置１１３には、作業対象物のパターンデータが記憶されるパターンデータ記憶領域１１３ｄを有している。
作業対象物検出判断プログラム１１３ｃは、パターンデータ記憶領域１１３ｄに記憶されているパターンデータを参照し、パターンマッチングにより、撮像データに前記パターンデータと一致する特徴があるか否かを判断し、撮像データに作業対象物が有るか否かを判断するプログラムである。
それ以外の第３の実施形態の頭部装着型遠隔撮像システムの構成は、第１の実施形態と同一である。 (Block diagram of the head-mounted remote imaging system of the third embodiment)
With reference to FIG. 7, a block diagram of the head-mounted remote imaging system of the third embodiment will be described with respect to differences from the first embodiment. In the third embodiment, the sensor 24, the work object detection determination program 13a, and the head-mounted still image display program 13b are unnecessary. In the third embodiment, the storage device 113 stores a work object detection determination program 113c. Further, the storage device 113 has a pattern data storage area 113d in which pattern data of the work object is stored.
The work object detection determination program 113c refers to the pattern data stored in the pattern data storage area 113d, determines whether or not the imaging data has a feature that matches the pattern data by pattern matching, and the imaging data Is a program for judging whether or not there is a work object.
Other configurations of the head-mounted remote imaging system of the third embodiment are the same as those of the first embodiment.

（第３の実施形態の頭部装着撮像装置メイン処理）
図８の（Ａ）を用いて、第３の実施形態の頭部装着撮像装置メイン処理について説明する。頭部装着撮像装置５０に電源が投入されると、Ｓ３１１の処理に進む。
Ｓ３１１「撮像開始」の処理において、撮像部２２での撮像が開始され、ＲＡＭ１２に撮像データが記憶される。なお、撮像部２２は、数十ミリ秒毎に静止画像を撮像する。撮像データは、数十ミリ秒毎に撮像された静止画像の集合である。S３１１の処理が終了すると、S３１２の処理に進む。 (Head-mounted imaging device main process of the third embodiment)
The main process of the head-mounted image pickup apparatus according to the third embodiment will be described with reference to FIG. When the head-mounted imaging device 50 is turned on, the process proceeds to S311.
In the process of S 311 “Start imaging”, imaging by the imaging unit 22 is started, and imaging data is stored in the RAM 12. Note that the imaging unit 22 captures a still image every several tens of milliseconds. The imaging data is a set of still images taken every tens of milliseconds. When the process of S311 ends, the process proceeds to S312.

Ｓ３１２「撮像データ送信開始」の処理において、ＲＡＭ１２に記憶されている撮像データの頭部装着側通信部１４から遠隔側通信部１１４への送信が開始される。Ｓ３１２の処理が終了すると、Ｓ３１３の判断処理に進む。   In the process of S 312 “Start imaging data transmission”, transmission of imaging data stored in the RAM 12 from the head-mounted communication unit 14 to the remote communication unit 114 is started. When the process of S312 ends, the process proceeds to the determination process of S313.

Ｓ３１３「作業指示画像受信」の判断処理において、ＣＰＵ１１は、頭部装着側通信部１４が作業指示画像を受信したか否かを判断する。ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信したと判断した場合には（Ｓ３１３の判断処理がＹＥＳ）、Ｓ３１４の処理に進む。一方で、ＣＰＵ１１が、頭部装着側通信部１４が作業指示画像を受信していないと判断した場合には（Ｓ３１３の判断処理がＮＯ）、Ｓ３１４の処理に進まない。   In the determination process of S313 “work instruction image reception”, the CPU 11 determines whether or not the head mounting side communication unit 14 has received the work instruction image. When the CPU 11 determines that the head-mounted communication unit 14 has received the work instruction image (YES in S313), the process proceeds to S314. On the other hand, if the CPU 11 determines that the head-mounted communication unit 14 has not received the work instruction image (NO in S313), the process does not proceed to S314.

Ｓ３１４「作業指示画像記憶」の処理において、ＣＰＵ１１は、頭部装着側通信部１４で受信した作業指示画像を、ＲＡＭ１２に記憶する。Ｓ３１４の処理が終了すると、Ｓ３１５の処理に進む。   In the process of S <b> 314 “work instruction image storage”, the CPU 11 stores the work instruction image received by the head-mounted communication unit 14 in the RAM 12. When the process of S314 is completed, the process proceeds to S315.

Ｓ３１５の処理において、ＣＰＵ１１は、ＲＡＭ１２に記憶されている作業指示画像を頭部装着側表示部２１で表示させる描画命令を画像処理部１５に出力する。Ｓ３１５の処理が終了すると、Ｓ３１３の判断処理に戻る。   In the process of S <b> 315, the CPU 11 outputs a drawing command for displaying the work instruction image stored in the RAM 12 on the head-mounted side display unit 21 to the image processing unit 15. When the process of S315 ends, the process returns to the determination process of S313.

（第３の実施形態の遠隔側装置メイン処理）
図８の（Ｂ）を用いて、第３の実施形態の遠隔側装置メイン処理について説明する。遠隔側装置１００に電源が投入されると、Ｓ３３１の判断処理に進む。
Ｓ３３１「撮像データ受信」の判断処理において、ＣＰＵ１１１は、遠隔側通信部１１４が撮像データを受信したか否かを判断する。ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信したと判断した場合には（Ｓ３３１の判断処理がＹＥＳ）、ＣＰＵ１１１は受信した撮像データを撮像データ記憶領域１１２ａに記憶させ、Ｓ３３２の判断処理に進む。一方で、ＣＰＵ１１１が、遠隔側通信部１１４が撮像データを受信していない判断した場合には（Ｓ３３１の判断処理がＮＯ）、Ｓ３３２の判断処理に進まない。 (Remote-side apparatus main processing of the third embodiment)
The remote side apparatus main process of the third embodiment will be described with reference to FIG. When the remote apparatus 100 is powered on, the process proceeds to S331.
In the determination process of S331 “image data reception”, the CPU 111 determines whether the remote communication unit 114 has received image data. When the CPU 111 determines that the remote-side communication unit 114 has received the imaging data (YES in S331), the CPU 111 stores the received imaging data in the imaging data storage area 112a and performs the determination process in S332. move on. On the other hand, when the CPU 111 determines that the remote communication unit 114 has not received the imaging data (NO in S331), the CPU 111 does not proceed to the determination process in S332.

Ｓ３３２「撮像データに作業対象物有り」の判断処理において、作業対象物検出判断プログラム１１３ｃは、撮像データ記憶領域１１２ａに記憶されている撮像データに作業対象物が有るか否かを判断する。作業対象物検出判断プログラム１１３ｃが、撮像データに作業対象物が有ると判断した場合には（Ｓ３３２の判断処理がＹＥＳ）、Ｓ３３３の処理に進む。一方で、作業対象物検出判断プログラム１１３ｃが、撮像データに作業対象物が無いと判断した場合には（Ｓ３３２の判断処理がＮＯ）、Ｓ３３７の処理に進む。   In the determination processing of S332 “Imaging data is a work object”, the work object detection determination program 113c determines whether there is a work object in the imaging data stored in the imaging data storage area 112a. If the work object detection determination program 113c determines that there is a work object in the imaging data (YES in S332), the process proceeds to S333. On the other hand, if the work object detection determination program 113c determines that there is no work object in the imaging data (NO in S332), the process proceeds to S337.

Ｓ３３３「撮像データ表示」の処理において、ＣＰＵ１１１は、撮像データ記憶領域１１２ａに記憶されている撮像データを遠隔側表示部１２０で表示させる描画命令を画像処理部１１５に出力する。Ｓ３３３の処理が終了すると、Ｓ３３４の処理に進む。   In the process of S333 “display imaging data”, the CPU 111 outputs a drawing command for displaying the imaging data stored in the imaging data storage area 112a on the remote display unit 120 to the image processing unit 115. When the process of S333 ends, the process proceeds to S334.

Ｓ３３４「静止画像記憶」の処理において、静止画像表示プログラム１１３ａは、Ｓ３３３の処理において、遠隔側表示部１２０で表示している撮像データから、１フレーム分の静止画像を静止画像記憶領域１１２ｂに記憶させる。Ｓ３３２の判断処理において、撮像データには作業対象物が有ると判断されているので、静止画像記憶領域１１２ｂに記憶される静止画像には作業対象物が含まれる。Ｓ３３４の処理が終了すると、Ｓ３３５の判断処理に進む。   In the process of S334 “still image storage”, the still image display program 113a stores a still image for one frame in the still image storage area 112b from the imaging data displayed on the remote display unit 120 in the process of S333. Let In the determination process of S332, since it is determined that the imaging data has a work object, the still image stored in the still image storage area 112b includes the work object. When the process of S334 ends, the process proceeds to the determination process of S335.

Ｓ３３５「作業指示有り」の判断処理において、ＣＰＵ１１１は、作業指示画像を頭部装着側表示部２１に表示させる操作信号がバス１０９に入力されたか否かを判断する。ＣＰＵ１１１が、前記操作信号がバス１０９に入力されたと判断した場合には（Ｓ３３５の判断処理がＹＥＳ）、Ｓ３３６の処理に進む。一方で、ＣＰＵ１１１が、前記操作信号がバス１０９に入力されていないと判断した場合には（Ｓ３３５の判断処理がＮＯ）、Ｓ３３２の判断処理に進む。   In the determination process of S335 “work instruction present”, the CPU 111 determines whether or not an operation signal for displaying the work instruction image on the head-mounted display unit 21 is input to the bus 109. If the CPU 111 determines that the operation signal has been input to the bus 109 (YES in S335), the process proceeds to S336. On the other hand, when the CPU 111 determines that the operation signal is not input to the bus 109 (NO in S335), the process proceeds to S332.

Ｓ３３６「作業指示画像送信」の処理において、ＣＰＵ１１１は、Ｓ３３５の判断処理でバス１０９に入力された操作信号に基づき、作業指示画像記憶領域１１３ｂに記憶されている作業指示画像を選択し、当該作業指示画像を、遠隔側通信部１１４を介して頭部装着側通信部１４に送信させる。Ｓ３３６の処理が終了すると、Ｓ３３２の判断処理に進む。   In the process of S336 “work instruction image transmission”, the CPU 111 selects the work instruction image stored in the work instruction image storage area 113b based on the operation signal input to the bus 109 in the determination process of S335, and The instruction image is transmitted to the head-mounted communication unit 14 via the remote communication unit 114. When the process of S336 ends, the process proceeds to the determination process of S332.

Ｓ３３７「作業対象物を含む静止画像表示」の処理において、静止画像表示プログラム１１３ａは、静止画像記憶領域１１２ｂに記憶されている作業対象物を含む静止画像を遠隔側表示部１２０に表示させる描画命令を画像処理部１１５に出力する。なお、遠隔側表示部１２０に表示されている画像が静止画像であることを作業指示者に認識させるために、静止画像表示プログラム１１３ａは、前記静止画像に「静止画像」等のマークを重畳表示させることが好ましい。Ｓ３３７の処理が終了すると、Ｓ３３５の判断処理に進む。   In the processing of S337 “Still image display including work object”, the still image display program 113a displays a drawing command for causing the remote display unit 120 to display a still image including the work object stored in the still image storage area 112b. Is output to the image processing unit 115. In order to make the work instructor recognize that the image displayed on the remote display unit 120 is a still image, the still image display program 113a displays a mark such as “still image” superimposed on the still image. It is preferable to make it. When the process of S337 ends, the process proceeds to the determination process of S335.

このように第３の実施形態でも、遠隔側装置１００が、Ｓ３３２の判断処理において、受信した撮像データに作業対象物が有るか否かが判断され、作業対象物が無いと判断された場合には、作業対象物を含む静止画像が遠隔側表示部１２０に表示される。このため、作業者の視界方向に関わらず、作業対象物を含む画像が遠隔側表示部１２０で表示されるので、作業支援者は、作業対象物を常時視認することができ、円滑に作業支援を行うことが可能となる。   As described above, also in the third embodiment, when the remote device 100 determines in the determination process of S332 whether there is a work object in the received imaging data, and determines that there is no work object. The still image including the work object is displayed on the remote display unit 120. For this reason, since the image including the work object is displayed on the remote display unit 120 regardless of the view direction of the worker, the work supporter can always visually recognize the work object and smoothly support the work. Can be performed.

なお、遠隔側表示部１２０に静止画像が表示されている場合は（Ｓ３３７）、Ｓ３３６の処理において、作業指示画像とともに作業対象物を含む静止画像が送信され、S３１５の処理において、前記作業指示画像とともに前記静止画像が頭部装着側表示部２１に並列表示される実施形態であっても差し支え無い。すると、作業者は、作業指示画像とともに作業対象物が含まれる静止画像を視認することができ、作業指示画像の内容をより容易に把握することができる。   If a still image is displayed on the remote display unit 120 (S337), a still image including a work object is transmitted together with the work instruction image in the process of S336, and the work instruction image is transmitted in the process of S315. In addition, the still image may be displayed in parallel on the head-mounted display unit 21. Then, the worker can visually recognize the still image including the work object together with the work instruction image, and can easily grasp the contents of the work instruction image.

なお、以上説明した第３の実施形態では、撮像データに作業対象物が有るか否かの判断（Ｓ３３２の判断）を、遠隔側装置１００で行っているが、前記判断を頭部装着撮像装置５０側で行う構成であっても差し支え無い。   In the third embodiment described above, the determination as to whether or not there is a work object in the imaging data (determination in S332) is performed by the remote device 100. However, the determination is made based on the head-mounted imaging device. Even if it is the structure performed by 50 side, it does not interfere.

（総括）
なお、Ｓ１１９の処理において、頭部装着側静止画像表示プログラム１３ｂが、ＲＡＭ１２に記憶されている作業指示画像とともに、ＲＡＭ１２に記憶されている所定フレーム前の静止画像を頭部装着側表示部２１で表示させる描画命令を画像処理部１５に出力することにしても差し支え無い。すると、作業者は、作業指示画像とともに作業対象物が含まれる静止画像を視認することができ、作業指示画像の内容をより容易に把握することができる。 (Summary)
In the process of S119, the head-mounted side still image display program 13b causes the head-mounted side display unit 21 to display the still image before a predetermined frame stored in the RAM 12 together with the work instruction image stored in the RAM 12. A drawing command to be displayed may be output to the image processing unit 15. Then, the worker can visually recognize the still image including the work object together with the work instruction image, and can easily grasp the contents of the work instruction image.

以上説明した実施形態では、第１の実施形態のS１１８の処理や、第２の実施形態のS２１６の処理において、頭部装着側表示部２１の表示機能をオフにしているが、頭部装着側表示部２１の表示機能オン状態に維持させても差し支え無い。   In the embodiment described above, the display function of the head-mounted display unit 21 is turned off in the process of S118 of the first embodiment and the process of S216 of the second embodiment. The display function of the display unit 21 may be maintained in the on state.

以上説明した第１〜第３の実施形態以外に、作業対象物検出判断プログラム１３ａが、作業者の視線方向が図２に示されるａの範囲に入っていると判断した場合に、記録装置１３に作業対象物が含まれる静止画像が更新記録され、作業対象物検出判断プログラム１３ａが、作業者の視線方向が図２に示されるｂの範囲に入っていると判断した場合に、前記更新記録が停止されるとともに、前記作業対象物が含まれる静止画像が遠隔側装置１００に送信され、当該静止画像が遠隔側表示部１２０で表示される実施形態であっても差し支え無い。   In addition to the first to third embodiments described above, when the work object detection determination program 13a determines that the worker's line-of-sight direction is within the range a shown in FIG. When the still image containing the work object is updated and recorded, and the work object detection / determination program 13a determines that the operator's line-of-sight direction is within the range b shown in FIG. The still image including the work object is transmitted to the remote device 100, and the still image is displayed on the remote display unit 120.

以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う頭部装着型撮像システムもまた技術的範囲に包含されるものとして理解されなければならない。   Although the present invention has been described above in connection with the most practical and preferred embodiments at the present time, the present invention is not limited to the embodiments disclosed herein. However, the invention can be changed as appropriate without departing from the spirit or concept of the invention that can be read from the claims and the entire specification, and a head-mounted imaging system with such a change is also included in the technical scope. Must be understood.

１ 頭部装着部
９ バス
２１ 頭部装着側表示部
２２ 撮像部
５０ 頭部装着撮像装置
１００ 遠隔側装置
１０９ バス
１１０ 遠隔側装置本体
１２０ 遠隔側表示部
１３０ 入力部
７００ 作業指示画像
８００ 作業対象物
９９９ 通信回線 DESCRIPTION OF SYMBOLS 1 Head mounting part 9 Bus | bath 21 Head mounting | wearing side display part 22 Imaging part 50 Head mounting | wearing imaging device 100 Remote side apparatus 109 Bus 110 Remote side apparatus main body 120 Remote side display part 130 Input part 700 Work instruction | indication image 800 Work object 999 communication line

Claims (7)

作業者の頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、作業者の視界方向を連続的に撮像して撮像データを生成する撮像部と、
前記頭部装着部に取り付けられ、作業者に画像を視認させるシースルー型の頭部装着側表示部と、
外部と通信し、前記撮像データを送信する頭部装着側通信部を有する頭部装着撮像装置と、
前記頭部装着側通信部と通信し、前記撮像データを受信する遠隔側通信部と、
前記遠隔側通信部が受信した撮像データを表示する遠隔側表示部を有する遠隔側装置を備え、
前記撮像データが記憶される記憶部と、
作業者の作業状態を検出する作業状態検出部と、
前記作業状態検出部が検出した作業者の作業状態に基づき、作業対象物が作業者の視界に入っているか否かを判断する作業対象物検出判断手段と、
前記作業対象物検出判断手段が、作業対象物が作業者の視界に入っていないと判断した場合には、前記記憶部に記憶されている前記撮像データに基づいて、作業対象物が含まれる静止画像を前記遠隔側表示部に表示させる静止画像表示手段が、前記頭部装着撮像装置又は前記遠隔側装置のいずれかに設けられていることを特徴とする頭部装着型撮像システム。 A head mounting part to be mounted on the operator's head;
An imaging unit that is attached to the head-mounted unit and continuously captures the visual field direction of the operator to generate imaging data;
A see-through type head-mounted display unit that is attached to the head-mounted unit and allows an operator to visually recognize an image;
A head-mounted imaging device having a head-mounted communication unit that communicates with the outside and transmits the imaging data;
A remote communication unit that communicates with the head-mounted communication unit and receives the imaging data;
Comprising a remote side device having a remote side display unit for displaying imaging data received by the remote side communication unit,
A storage unit for storing the imaging data;
A work state detection unit for detecting the work state of the worker;
Based on the work state of the worker detected by the work state detection unit, work object detection determination means for determining whether the work object is in the worker's field of view,
When the work object detection determining means determines that the work object is not in the field of view of the worker, the stationary object containing the work object is included based on the imaging data stored in the storage unit. A head-mounted imaging system, characterized in that still image display means for displaying an image on the remote-side display unit is provided in either the head-mounted imaging device or the remote-side device. 前記作業状態検出部は、前記頭部装着撮像装置に設けられていることを特徴とする請求項１に記載の頭部装着型撮像システム。   The head-mounted imaging system according to claim 1, wherein the work state detection unit is provided in the head-mounted imaging device. 前記作業状態検出部は、前記頭部装着撮像装置の傾きを検出する傾きセンサーであり、
前記作業対象物検出判断手段は、前記傾きセンサーが検出した前記頭部装着撮像装置の傾きに基づき、作業対象物が作業者の視界に入っているか否かを判断し、
前記頭部装着撮像装置には、前記作業対象物検出判断手段が前記頭部装着側表示部の傾きにより判断する基準を入力するための操作部が設けられていることを特徴する請求項２に記載の頭部装着型撮像システム。 The work state detection unit is an inclination sensor that detects an inclination of the head-mounted imaging device ,
The work object detection determining means determines whether or not the work object is in the field of view of the worker based on the tilt of the head-mounted imaging device detected by the tilt sensor,
The operation unit for inputting a reference for the work object detection determination unit to determine based on an inclination of the head mounting side display unit is provided in the head mounted imaging apparatus. The head-mounted imaging system described. 前記作業状態検出部は、前記撮像部であり、
前記作業対象物検出判断手段は、前記遠隔側装置に設けられ、前記撮像データから作業対象物を検出することを特徴とする請求項１に記載の頭部装着型撮像システム。 The work state detection unit is the imaging unit,
The head-mounted imaging system according to claim 1, wherein the work object detection determination unit is provided in the remote device and detects a work object from the imaging data. 前記作業対象物検出判断手段が、作業対象物が作業者の視界に入っていないと判断した場合には、前記撮像データに基づいて、作業対象物が含まれる静止画像を頭部装着側表示部に表示させる頭部装着側静止画像表示手段を有することを特徴とする請求項１〜請求項４のいずれかに記載の頭部装着型撮像システム。   If the work object detection determining means determines that the work object is not in the field of view of the worker, a still image including the work object is displayed on the head-mounted display unit based on the imaging data. The head-mounted imaging system according to claim 1, further comprising a head-mounted still image display means for displaying on the head. 作業者の頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、作業者の視界方向を連続的に撮像して撮像データを生成する撮像部と、
前記頭部装着部に取り付けられ、作業者に画像を視認させるシースルー型の頭部装着側表示部と、
前記撮像データが記憶される記憶部と、
前記撮像データが表示される遠隔側表示部を有する遠隔側装置と通信し、前記撮像データを送信する頭部装着側通信と、
作業者の作業状態を検出する作業状態検出部と、
前記作業状態検出部が検出した作業者の作業状態から、作業対象物が作業者の視界に入っているか否かを判断する作業対象物検出判断手段を有し、
前記作業対象物検出判断手段が、作業対象物が作業者の視界に入っていないと判断した場合には、前記遠隔側装置に送信された撮像データに基づいて、作業対象物が含まれる静止画像が生成され、当該静止画像が前記遠隔側表示部に表示されるように構成されていることを特徴する頭部装着撮像装置。 A head mounting part to be mounted on the operator's head;
An imaging unit that is attached to the head-mounted unit and continuously captures the visual field direction of the operator to generate imaging data;
A see-through type head-mounted display unit that is attached to the head-mounted unit and allows an operator to visually recognize an image;
A storage unit for storing the imaging data;
Communication with a remote device having a remote display unit on which the imaging data is displayed, and head-mounted communication for transmitting the imaging data;
A work state detection unit for detecting the work state of the worker;
From the work state of the worker detected by the work state detection unit, it has a work object detection determination means for determining whether the work object is in the worker's field of view,
If the work object detection determining means determines that the work object is not in the field of view of the worker, a still image containing the work object is based on the imaging data transmitted to the remote device. Is generated, and the still image is displayed on the remote display unit. 作業者の頭部に装着された撮像部により連続的に撮像された撮像データから作業対象物を含む静止画像を遠隔側画像表示装置に表示させる画像表示方法であって、
作業者の作業状態が検出される作業状態検出工程と、
前記検出された作業者の作業状態に基づき、作業対象物が作業者の視界に入っているか否かが判断される作業対象物検出判断工程と、
前記作業対象物検出判断工程において、前記作業対象物が作業者の視界に入っていないと判断された場合には、前記撮像データに基づいて、作業対象物が含まれる静止画像が前記遠隔側画像表示装置に表示される静止画像表示工程を有することを特徴とする画像表示方法。 An image display method for causing a remote image display device to display a still image including a work object from imaging data continuously captured by an imaging unit mounted on a worker's head,
A work state detection process in which the work state of the worker is detected;
Based on the detected work state of the worker, a work object detection determination step for determining whether or not the work object is in the worker's field of view;
In the work object detection determination step, when it is determined that the work object is not in the field of view of the worker, a still image including the work object is displayed on the remote side image based on the imaging data. An image display method comprising a step of displaying a still image displayed on a display device .
JP2011044740A 2011-03-02 2011-03-02 Head-mounted imaging system, head-mounted imaging device, and image display method Expired - Fee Related JP5610297B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011044740A JP5610297B2 (en) 2011-03-02 2011-03-02 Head-mounted imaging system, head-mounted imaging device, and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011044740A JP5610297B2 (en) 2011-03-02 2011-03-02 Head-mounted imaging system, head-mounted imaging device, and image display method

Publications (2)

Publication Number Publication Date
JP2012182701A JP2012182701A (en) 2012-09-20
JP5610297B2 true JP5610297B2 (en) 2014-10-22

Family

ID=47013509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011044740A Expired - Fee Related JP5610297B2 (en) 2011-03-02 2011-03-02 Head-mounted imaging system, head-mounted imaging device, and image display method

Country Status (1)

Country Link
JP (1) JP5610297B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5972302B2 (en) * 2014-02-24 2016-08-17 株式会社オプティム Operator terminal, portable terminal, instruction transmission method, program for operator terminal
JP2017211766A (en) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス Image processing system, image processing program, and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299851A (en) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd Instruction information transmitter
JP4336611B2 (en) * 2004-04-28 2009-09-30 日本電信電話株式会社 Information presenting apparatus and information presenting program
JP5250834B2 (en) * 2008-04-03 2013-07-31 コニカミノルタ株式会社 Head-mounted image display device

Also Published As

Publication number Publication date
JP2012182701A (en) 2012-09-20

Similar Documents

Publication Publication Date Title
JP5428943B2 (en) Head mounted display
CN106471419B (en) Management information is shown
JP7379734B2 (en) head mounted display
US9311718B2 (en) Automated content scrolling
JP5888205B2 (en) Image display device and information input device
US11037532B2 (en) Information processing apparatus and information processing method
WO2012105499A1 (en) Image processing device
KR102160017B1 (en) Glass appratus using eyesignt-based virtual screen
US20120169582A1 (en) System ready switch for eye tracking human machine interaction control system
US11487354B2 (en) Information processing apparatus, information processing method, and program
JP2010061265A (en) Person retrieval and registration system
US20150009103A1 (en) Wearable Display, Computer-Readable Medium Storing Program and Method for Receiving Gesture Input
JP2016208370A (en) Head mounted display and control method for head mounted display
JP2016206617A (en) Display system
CN112368746A (en) Information processing apparatus, information processing method, and program
JP2019025195A (en) Visual line detection device and visual line detection method
JP5610297B2 (en) Head-mounted imaging system, head-mounted imaging device, and image display method
JP5251813B2 (en) Work support system, head mounted display and program
US11137600B2 (en) Display device, display control method, and display system
JP2012194492A (en) Head mount display and computer program for head mount display
WO2019093278A1 (en) Information processing device, information processing method, and program
US20210278653A1 (en) Control device and medical observation system
CN109977836B (en) Information acquisition method and terminal
WO2020183792A1 (en) Display device, display method and display program
JP2018011681A (en) Visual line detection device, visual line detection program, and visual line detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140821

R150 Certificate of patent or registration of utility model

Ref document number: 5610297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees