JPWO2017110645A1 - 作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体 - Google Patents

Abstract

作業者が映像を撮像した作業端末の傾き角に応じて撮像映像の傾き角を変更した映像を作業者と指示者で共有する。撮像映像を受信する通信部（９０２）と、撮像映像の撮像傾きを取得する通信部（９０２）と、通信部（９０２）で取得された撮像傾きに応じて、受信した撮像映像の表示傾き角を変更する補正映像生成部（９０５）と、表示傾き角が変更された撮像映像を外部に出力する通信部（９０２）を有する。

Description

本発明の一態様は、作業支援装置、作業支援方法、作業支援プログラム、及び記録媒体に関する。

従来から、カメラにより撮像した映像（以下、撮像映像とする）と、マイクにより収音した音声（以下、収音音声とする）と、を遠隔地に伝送する、テレビ会議装置が広く利用されている。このようなテレビ会議装置においては、撮像映像と、収音音声の他に、テレビ会議装置が動作している端末（以下、利用者端末とする）において、テレビ会議装置と同時に動作しているアプリケーションソフトウェアの画面等の付加画面情報と、利用者端末上に対してテレビ会議装置の利用者（以下、利用者とも称する）がたとえばマウスを動かして入力したポインタ情報等の指示情報と、を伝送するものがある。

テレビ会議装置を応用したものとして、作業支援装置がある。これは、たとえば修理作業等を行う利用者（以下、作業者とも称する）が作業の様子をカメラで撮像し、撮像映像を、作業者に対して作業手順等の指示を行う利用者（以下、指示者とも称する）に向けて送信し、指示者は受信した撮像映像を見て作業手順等の指示（以下、作業指示とも称する）を作業者に伝達するものである。指示者から作業者への作業指示では、作業者が送信した撮像映像に対して、指示者がポインタ情報や、一定時間残存する印（以下、マーカー情報とも称する）といった指示情報をつけ、作業者が指示情報のついた映像を参照することで、口頭での作業指示よりも詳細な作業支援を行うことができる。このような遠隔作業支援を実現する方法として、特許文献１や特許文献２の手法が開示されている。

特許文献１には、指示情報を作業者が観察する現実の光学像における作業箇所に重畳して表示する手法について開示されている。特許文献２では、作業者側の端末に表示されている指示情報付きの映像を、指示者が視認する手段について開示されている。

日本国公開特許公報「特開２００８−１２４７９５号公報（２００８年５月２９日公開）」 日本国公開特許公報「特開２０１５−１３５６４１号公報（２０１５年７月２７日公開）」

しかし、特許文献１に記載の手法は、作業者が観察する作業対象物の光学像における対象部位に重ねて表示される指標の位置については考慮しているが、作業者が映像を撮像している電子カメラの傾き角については考慮していない。また、特許文献２に記載の手法は、指示側の複数の端末の間で、指示画像及び相対位置が共有されることを考慮しているが、作業者が撮像しているカメラの傾き角については考慮していない。このため、作業者がカメラを傾けて映像を撮像している場合に、作業者にとっての方向（映像の傾き）と、指示者にとっての方向（映像の傾き）は異なるものとなる。例えば作業者にとっての「上」は、指示者にとっては「右上」等となる。作業者にとっての方向（映像の傾き）と、指示者にとっての方向（映像の傾き）のずれにより、作業指示が作業者に適切に伝わらないという問題がある。

本発明の一態様は、前記の問題点に鑑みてなされたものであり、その目的は、指示者からの作業指示を作業者に適切に伝えることを支援し、作業効率を向上させることができる作業支援装置等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る作業支援装置は、撮像映像を受信する受信部と、前記撮像映像の撮像傾きを取得する傾き取得部と、前記傾き取得部で取得された前記撮像傾きに応じて、受信した前記撮像映像の表示傾き角を変更する補正映像生成部と、前記表示傾き角が変更された撮像映像を外部に出力する出力部と、を有する。

また、本発明の一態様に係る作業支援方法は、撮像映像を受信する受信ステップと、前記撮像映像の撮像傾きを取得する傾き取得ステップと、前記傾き取得ステップにおいて取得された前記撮像傾きに応じて、受信した前記撮像映像の表示傾き角を変更する補正映像生成ステップと、前記表示傾き角が変更された撮像映像を外部に出力する出力ステップと、を有する。

本発明の一態様によれば、撮像映像の撮像傾きに応じて、受信した対象物の撮像映像の表示傾き角が変更されるので、撮像する端末を用いて作業する作業者と、受信した撮像映像を見る指示者との双方の作業効率を向上させることができる。

そして、指示者からの作業指示を作業者に適切に伝えることが支援されることができる。

実施形態１における遠隔作業の様子を模式的に示した図である。 本実施形態に係る遠隔通信システムの構成の一例を示す図である。 実施形態１における作業端末の一構成例を示す機能ブロック図である。 実施形態１における指示装置の一構成例を示す機能ブロック図である。 本実施形態に係るマーカー情報とその属性を示す図である。 本実施形態に係る通信信号の構成例を示す図であり、（１）はデータ通信パケット基本形を示し、（２）は映像符号パケットを示し、（３）は映像符号パケット（傾き情報あり）を示し、（４）はマーカー符号パケットを示す。 本実施形態に係る撮像映像とマーカー情報の合成を示す図である。 実施形態１に係わる作業端末における傾き角の算出方法を示す図である。 実施形態１における管理サーバーの一構成例を示す機能ブロック図である。 本実施形態に係るマーカー追跡処理のイメージ図である。 本実施形態に係るテンプレートマッチングによるマーカー追跡を示す図である。 実施形態１に係わる傾き情報に基づく映像補正処理を示す図である。 実施形態１における作業端末／指示装置のフローチャートを示す図である。 実施形態１における作業端末／指示装置のフローチャートを示す図であり、（１）は撮像映像送信処理のフローチャートであり、（２）は合成表示処理のフローチャートであり、（３）は新規マーカー送信処理のフローチャートである。 実施形態１における管理サーバーのフローチャートを示す図である。 実施形態１における管理サーバーのフローチャートを示す図であり、（１）は映像受信処理のフローチャートであり、（２）はマーカー情報受信処理のフローチャートであり、（３）はマーカー情報更新処理のフローチャートであり、（４）は補正映像送信処理のフローチャートである。 実施形態２に係わる補正映像生成処理のフローチャートを示す図である。 実施形態２の正面補正処理における射影変換を示す図である。 実施形態２に係わる正面補正処理のフローチャートを示す図である。 実施形態２に係わる正面補正後の座標を取得する方法の説明図である。 実施形態３に係るマーカー情報とその属性を示す図である。 実施形態３に係わる傾き情報に基づく映像補正処理を示す図である。 実施形態４に係わる作業端末の傾きと作業者の傾きを示す図である。 実施形態４における作業端末の一構成例を示す機能ブロック図である。 実施形態４における作業者の傾きの算出方法を示す図である。

以下、図面を参照しながら本発明の実施の形態について詳細に説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。

（実施形態１）
本実施形態においては、本発明の一態様における基本的な構成について説明する。

＜装置の利用方法＞
図１は、作業者側の作業者が映像を撮像する作業端末の傾きと、指示者側の映像表示装置に表示される映像の傾きとを合わせることができる本発明の実施形態１の遠隔支援の様子を模式的に示した図である。

図１の左側が作業現場１００であり、図１の右側が指示室１０６を示しており、お互いに離れたところに位置している。

このシーン例では、作業者１０１が、指示者１０７から、作業対象物１０２に関する作業指示を、作業端末１０３で受けながら、作業を行なっている。以下、図１の全体Ａを作業支援装置と称す。

作業端末１０３の背面には、撮像用のカメラ１０３ａが備えられており、作業対象物１０２を撮像し、撮像された映像データを遠隔地に送信することができる。ここで、作業端末１０３を傾けるとカメラ１０３ａが傾き、撮像映像中の撮像された作業対象物１０２は、現実の作業対象物１０２に対して傾く。以降、撮像映像の撮像時の作業端末１０３の傾きを、「撮像傾き」ともよぶ。指示室１０６に設置された指示装置１０８は、送られてきた映像データを受信し、（付加画面情報として）映像表示装置１０９に表示させることができる。

指示者１０７は、作業対象物１０２の映像１１０を見ながら、映像表示装置１０９上で、作業者１０１に対して作業指示を行う。その際、タッチパネル機能やマウス機能等を利用した入力により、指示位置を示すポインタやマーカー１１１を表示画面上に設定できる。ポインタやマーカーの設定情報データが、指示装置１０８から作業端末１０３に送られることで、作業端末１０３の表示部と映像表示装置１０９の画面とを通してポインタやマーカーの設定情報をお互いに共有させることができる。以下、ポインタやマーカーのように表示画面上に表示させるための情報を総称して、マーカー情報と称する。マーカー情報により、作業端末１０３の表示部、及び映像表示装置１０９の画面に表示される映像は、指示映像と呼ぶことができる。マーカー情報には、テキストや手書きの文字や絵柄も含めることも可能である。

作業端末１０３の表示部には、映し出された作業対象物１０２の映像１０４と、映像表示装置１０９上において設定されたマーカー情報に基づくマーカー１０５等とが、重ね合わされて表示されており、指示室１０６からの作業指示を視覚的に把握できる。

尚、作業者１０１の入力に基づいて、マーカー情報を設定することもでき、指示者１０７と作業者１０１とが、マーカーを含めたそれぞれの情報をお互いに共有できるようになる。

＜遠隔通信＞
図２は、本実施形態に係る遠隔通信システムの構成の一例を示す図である。作業端末１０３と、指示装置１０８は、公衆通信網（例えば、インターネット）ＮＴによって、お互いに接続されており、ＴＣＰ／ＩＰやＵＤＰ等のプロトコルに従い、通信することができる。

前述の作業支援装置Ａには、さらに、マーカー情報を一括して管理するための管理サーバー２００が設けられ、同じ公衆通信網ＮＴに接続されている。尚、作業端末１０３は、無線通信によって公衆通信網ＮＴと接続することも可能である。この場合、無線通信は、例えばＷｉ−Ｆｉ Ａｌｌｉａｎｃｅ（米国業界団体）によって規定された国際標準規格（ＩＥＥＥ ８０２．１１）のＷｉ−Ｆｉ（ワイファイ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ：登録商標）接続によって実現することが可能である。

通信網に関しては、インターネット等の公衆通信網について示してきたが、例えば、企業等で使用されている、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いることも可能であり、また、それらが混在した構成であっても良い。

図２では、管理サーバー２００を含んだ構成を示しているが、管理サーバー２００の機能の全てを作業端末１０３、又は指示装置１０８の内部に取り込むことにより、作業端末１０３と、指示装置１０８とが直接やりとりする形態であっても問題はない。

通常のテレビ会議システムで用いられる、一般的な音声通信処理や付加画面情報以外の映像通信処理に関しては、支障のない範囲で説明を省略する。

＜ブロック構成例（作業端末）＞
図３は、本実施形態における作業端末１０３の一構成例を示す機能ブロック図である。

作業端末１０３は、映像データを取得する映像取得部３０１と、映像データを符号化するエンコード部３０２と、符号化された映像符号データを復号するデコード部３０３と、符号化された映像符号データやマーカー情報データを外部に送信・受信する通信部３０４と、処理に利用する種々のデータを保存する保存部３０５と、映像データとそれに重畳するマーカー情報データとを合成する映像合成部３０６と、合成された映像データを表示する映像表示部３０７と、作業端末の傾き情報を取得する傾き取得部３０８と、全体の制御を行うための制御部３０９と、各々のブロック間でのデータのやり取りを行うためのデータバス３１０と、を有している。

映像取得部３０１は、撮像空間を画像として取り込むための光学部品及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子とを具備するように構成され、光電変換によって得られた電気信号に基づいて生成された映像データを出力する。撮像された情報データは生のデータのまま出力してもよいし、図示していない映像処理部において処理しやすいように事前に画像処理（輝度画像化、ノイズ除去等）された映像データとして出力してもよく、また、その両方を出力するような構成としてもよい。さらに、撮像時の絞り値や焦点距離等のカメラパラメータを保存部３０５に送るように構成することもできる。

エンコード部３０２は、ＦＰＧＡやＡＳＩＣ、あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成され、映像取得部３０１によって取得された映像データを元のデータ量よりも小さくなるように符号化する。符号化の方法は種々存在するが、例えば、動画像符号化に適したＨ．２６４（国際標準動画圧縮規格）を利用することができる。

デコード部３０３についても、エンコード部３０２と同様にＦＰＧＡやＡＳＩＣ、あるいは、ＧＰＵによって構成され、映像データの符号化とは逆の処理を行い、元の映像に復号する。復号の方法についても種々存在するが、符号化の方式に合わせる必要があり、ここではＨ．２６４復号によって元の信号を生成する。

通信部３０４は、例えば、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）によって構成され、符号化された映像符号データやマーカー情報データを加工して、通信パケットを生成し、外部に送信・受信する。あるいは、通信部３０４は、後述の制御部３０９の機能を用いて処理する構成であっても良い。通信パケットについては後述する。

保存部３０５は、例えば、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、ハードディスク等の記憶装置によって構成され、マーカー情報データや復号された映像データ等を保存する。

映像合成部３０６は、ＦＰＧＡやＡＳＩＣ、あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成され、映像データとマーカー情報データを合成した映像を生成する。合成については後述する。

映像表示部３０７は、映像信号に基づいた映像を表示することができる装置であって、例えば、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ（ＬＣＤ））を用いることができる。液晶ディスプレイとは、液晶を利用した表示装置であって、２枚のガラス板の間にマス目状に構成された薄膜トランジスタに電圧をかけることによって液晶分子の向きを変え、光の透過率を増減させることで像を表示する装置である。また、液晶ディスプレイ内にタッチセンサーを含んだ構成にすることで、指で画面を接触した座標を取得することもできる。

傾き取得部３０８は、３軸加速度センサと演算装置（ＦＰＧＡ、ＡＳＩＣやＤＳＰ）から構成される。３軸加速度センサは、ＸＹＺ軸の３方向の加速度を１つのデバイスで測定できるＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）センサの一種であり、例えば、ピエゾ抵抗型３軸加速度センサを用いることができ、通常のスマートフォンやタブレットに備わっている汎用のデバイスと同等である。作業端末の傾きの算出方法については後述する。

制御部３０９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、各処理ブロックにおける処理の命令・制御やデータの入・出力に関するコントロールを行う。また、制御部３０９は、マーカー情報の符号化機能、及びマーカー情報符号データの復号機能を有する。

データバス３１０は、各々のユニット間でのデータのやり取りを行うためのバスである。

なお、作業端末１０３は持ち運びのできるスマートフォン、タブレット、メガネ型端末等の携帯端末であることが好ましい。

＜ブロック構成例（指示装置）＞
引き続いて、図４は、本実施形態における指示装置１０８の一構成例を示す機能ブロック図である。

指示装置１０８は、前述の作業端末１０３の構成から、映像データを取得する機能と、映像データを符号化する機能と、映像符号データを送信する機能と、傾き情報を取得する機能と、を除いたサブセット構成になっている。なお、作業端末１０３の構成に合わせるために、図４では、図１の映像表示装置１０９を組み込んだ構成にしている。指示装置１０８と映像表示装置１０９とを一つの筐体の中に収めた、タブレット状の装置を用いることも可能である。

指示装置１０８は、符号化された映像符号データを復号するデコード部４０１と、映像符号データを受信又はマーカー情報データを外部に送信・受信する通信部４０２と、処理に利用する種々のデータを保存する保存部４０３と、映像データとマーカー情報データとを合成する映像合成部４０４と、全体の制御を行うための制御部４０５と、各々のブロック間でのデータのやり取りを行うためのデータバス４０６と、を有している。

指示装置１０８のデコード部４０１は作業端末１０３のデコード部３０３と、通信部４０２は通信部３０４と、保存部４０３は保存部３０５と、映像合成部４０４は映像合成部３０６と、映像表示装置１０９は映像表示部３０７と、制御部４０５は制御部３０９と、データバス４０６はデータバス３１０と、同じ構成でかつ同じ機能を有しており、説明を省略する。

＜マーカー情報＞
本実施形態における、マーカー情報について、図５を用いて説明する。

図５に示すように、マーカー情報５００は、各種の属性（ＩＤ、タイムスタンプ、座標、登録時周辺局所画像、マーカー種類、色、大きさ、太さ）を含んでおり、位置や形状等の表示状態を制御するための情報群である。図５に記載の属性は一例であり、マーカー情報５００は図５に記載の属性の一部を有する構成としてもよいし、図５に記載の属性に加えて、追加の属性情報を有する構成としてもよい。つまり、作業支援装置Ａに属する作業端末１０３、指示装置１０８と管理サーバー２００とが解釈することができる規定の属性であれば良い。

＜通信信号の生成方法＞
本実施形態における、通信に用いる各種信号の生成方法について、図６を用いて説明する。

初めに、データ通信パケットの基本形について説明する（図６の（１））。

データ通信パケットは、「ＩＰ」と、「ＵＤＰ」と、「ＲＴＰヘッダ」と、「送信データ」と、から構成される。ここで、「ＩＰ」はパケットを送信する機器を識別するためのアドレス番号で、「ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）」はコネクション確立不要なリアルタイム伝送向けのプロトコルであり、「ＲＴＰヘッダ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）」はストリーミング伝送するためのプロトコルで、「送信データ」は実際に送信するデータを、それぞれ示している。以下、通信に使うパケットは、全てこのフォーマットを基本とする。

次に、映像符号パケットの例を図６（２）と（３）とに示す。送信データに該当する、映像符号化データは、１枚のフレーム映像を符号化したデータであり、その「タイムスタンプ」と「映像符号」を組み合わせたデータになっている。なお、作業端末の「傾き情報」については、図６の（３）に示すように、映像符号化データの一部として付加するものとする。傾き情報については、後述する。

続いて、マーカー情報符号パケットの例を図６（４）に示す。送信データに該当する、マーカー情報符号化データは、複数のマーカー情報を含んだデータで、パケットに含まれるマーカーの数を示す「マーカー数」と、０番目のマーカーからｎ番目のマーカーの符号サイズを示す「マーカーサイズ」と、各マーカー情報を符号化した「マーカー符号」から構成される。なお、マーカー符号は、デジタル情報として使用する必要があるため（復号されたデータが符号化前のデータと完全に一致することが必要）、可逆の符号化処理によって符号化する必要がある。可逆の符号化については、例えば、ＺＩＰ方式（可逆符号化方式の一つ）を用いることが可能である。但し、マーカー情報は、情報量が映像に比べて小さいため、符号化を行わずに、元の信号をそのまま使って、通信する方法でも良い。その場合は、マーカーのデータサイズが一定となるため、図６の（４）とは異なり、マーカーサイズ（０〜ｎ番）を省略することも可能である。

なお、通信パケットに関して、映像符号とマーカー符号を別々のパケットにする例について説明したが、両方を結合して一体となったパケットを規定して、それを用いるような構成にすることも可能である。

＜映像合成の方法＞
本実施の形態における、映像合成の方法について、図７を用いて説明する。

映像合成部３０６、又は映像合成部４０４は、図７に示したように、入力された映像７００に対して、前述のマーカー情報５００に含まれる属性（位置と形状）に従って生成したマーカー７０１を合成し、合成映像７０２を生成する。なお、生成するマーカーは、ベクトルと称される数式によって定義された直線と曲線の集まりに基づくベクトル画像であっても良いし、正方形のピクセルという位置情報に色情報を持たせたビットマップ画像（ラスタ画像とも呼ばれる）であっても良い。ビットマップ画像の合成は、合成位置にあたる背景映像の画素値を単純にマーカーの画素値で置き換えても良く、特定の色を透過色として、透過色の部分を背景の映像の画素値を用いても良く、又は、所定の合成比率によるアルファブレンディング処理を行っても良い。いずれの方法もごく一般的な手法である。

＜傾き情報の取得方法＞
本実施形態における、作業端末の傾き情報の取得方法について、図８を用いて説明する。

初めに、傾き取得部３０８は、作業端末１０３の座標軸について、長辺方向の右向きが正の方向となるようなｘ軸８０１と、ｘ軸と垂直な短辺方向の上向きが正の方向となるようなｙ軸８０２と、ｘ軸とｙ軸の両方に垂直で画面に向かう向きが正の方向となるようなｚ軸（図示していない）と、を有する直交座標系を設定する。以下、本座標系を作業端末座標系と称す。

前述の通り、作業端末１０３は３軸の加速度センサを備えており、作業端末座標系の各軸に向かった加速度を計測することができる。

例えば、図８の（１）に示したように、地上面に対して垂直に作業端末１０３を静止させた場合（８００）、ｙ軸の負の方向に１重力加速度（１ｇと記載）が発生する（８０３）。一方、図８（２）の例では、作業端末１０３を傾けた状態を示しており（８０４）、重力加速度８０５は地面に向かって発生するが、作業端末１０３の加速度センサで計測される加速度は、ｘ軸の負の向きに発生した加速度８０６と、ｙ軸の負の向きに発生した加速度８０７と、に分配される。ここで、作業端末１０３の傾き角をθ（単位はラジアン）として、図８の８０８に示した向きを回転の正の向きとすると、傾き取得部３０８は、下記（式１）によって作業端末１０３の傾き角θを算出することができる。

ここで、Ａ_{ｘ，ｏｕｔ}，Ａ_{ｙ，ｏｕｔ}はそれぞれｘ軸に発生する重力加速度とｙ軸に発生する重力加速度を、ｔａｎ^−１はｔａｎの逆関数を、示している。

このように、傾き取得部３０８は、ｘ軸とｙ軸への重力加速度の分配に基づいて、作業端末１０３の傾きを算出することができる。実際には、重力加速度以外の作業端末１０３の動きによる加速度が加わるが、例えば、加速度センサの観測値にローパスフィルタをかけて、瞬間の突発的な動きによる加速度成分をカットすれば作業端末１０３の動きによる加速度を除くことができる。ローパスフィルタについては一般的な手法を用いることができる。

＜ブロック構成例（管理サーバー）＞
図９は、本実施形態における管理サーバー２００の一構成例を示す機能ブロック図である。

管理サーバー２００は、映像データを符号化するエンコード部９００と、符号化された映像符号データを復号するデコード部９０１と、符号化された映像符号データ、傾き取得部３０８により取得された作業端末の傾き情報、マーカー情報データ等を送信・受信する通信部９０２と、処理に利用する種々のデータを保存する保存部９０３と、入力された映像データに基づきマーカー位置を追跡し、更新するマーカー追跡部９０４と、作業端末１０３の傾きの情報に基づいて映像の表示傾き角を変更すべく映像データを補正する補正映像生成部９０５と、全体の制御を行うための制御部９０６と、各々のブロック間でのデータのやり取りを行うためのデータバス９０７と、を有している。

ここで、エンコード部９００と、デコード部９０１と、通信部９０２と、保存部９０３と、制御部９０６と、データバス９０７と、は、前述した同じ名前を付したブロックと、同じ構成でかつ同じ機能を有しており、説明を省略する。

マーカー追跡部９０４は、ＦＰＧＡやＡＳＩＣ、あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成され、現フレームの映像データと１フレーム前の映像データとを用いて、管理しているマーカーの位置情報の更新を行う。マーカーの追跡処理については、後述する。

補正映像生成部９０５は、ＦＰＧＡやＡＳＩＣ、あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成され、作業端末１０３の傾き情報に基づいて、入力された映像を補正する処理を行う。映像補正処理の内容については後述する。

＜マーカー追跡処理＞
本実施形態における、マーカー追跡処理について、図１０と図１１とを用いて説明する。

初めに、マーカー追跡のイメージについて図１０を用いて説明する。前述のように、作業者あるいは指示者によって設定されたマーカーは、撮像映像の動きに合わせて、設定された元位置に対応する場所を追尾しながらその位置を変えていくことができる。

例えば、図１０では、マーカーを設定した作業対象物１０２が画面中央に写っているが（１０００）、徐々に画面の右端に移動していく様子を示している（１００１、１００２）。実際には、このとき、作業端末１０３は左に向かって移動している状態である。作業者あるいは指示者によって設定されたマーカー１００３についても、マーカー追跡処理によって、徐々に右端に移動していく。これがマーカー追跡の概要である。

続いて、マーカー追跡処理の具体的な内容について、図１１を用いて説明する。

マーカー追跡部９０４は、作業者あるいは利用者によって設定された、ｉフレーム１１００におけるマーカー１１０２の位置をＰ_ｉ＝（ｘ_ｉ，ｙ_ｉ）とし、ｉ＋１フレーム１１０１におけるマーカーの位置をＰ_ｉ＋１＝（ｘ_ｉ＋１，ｙ_ｉ＋１）とする。マーカー追跡部９０４は、この連続するフレームにおいて、逐次その位置を算出していく。この処理がマーカー追跡処理である。つまり、マーカー追跡部９０４は、設定時から、現フレームまで更新していくことで、現フレームにおけるマーカー位置を求めることができる。

本実施形態では、マーカー追跡部９０４は、画像処理のテンプレートマッチングを用いてこれを算出する。テンプレートマッチングとは、教師となる局所領域画像（以下、教師データと称す）について、それに類似する領域を、局所ブロックマッチングを用いて、画像の中から抽出する方法である。

ここでは、マーカー追跡部９０４は、ｉフレーム１１００において設定されたマーカー位置の周辺領域（例えば、１５×１５の領域）を教師データＴ１１０３として登録する。Ｔについて、数式で表すと下記（式２）となる。なお、該教師データＴは、前述のマーカー情報に含まれる登録時周辺局所画像として、マーカー情報の属性の１つになる。

ここで、Ｉ_ｉ（ｘ，ｙ）は、ｉフレーム画像の座標（ｘ、ｙ）における画素値である。

マーカー追跡部９０４は、マーカー設定時に、（式２）のように、教師データを取得すると、続くフレームに対して、教師データに類似する画像域の探索を行う。探索の範囲は、画像全体としても良いが、連続する映像フレームにおいては、対応する画素の動きはあまり大きくないという経験則に基づき、その探索範囲を限定することができる。本実施例では、例えば、その探索範囲を前フレームのマーカー位置を中心に、５１×５１画素の範囲に限定するものとする１１０４。

ここで探索範囲をＰとすると、下記（式３）のように表記することができる。

テンプレートマッチングで用いる類似の度合を示す指標には様々な方式があり、いずれの方式を用いることもできるが、ここではＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いることとする。ＳＡＤを用いたテンプレートマッチングの式は下記（式４）の通りである。

ここで、ａｒｇｍｉｎ（・）は、括弧内を最小にするａｒｇｍｉｎの下部にあるパラメータを算出する関数である。

以上により、所定の探索範囲において、教師データに一番似通った画素位置を求めることができ、この位置をｉ＋１フレームにおけるマーカーの位置として更新する。

マーカー追跡部９０４が上記処理を連続して行うことで、元々設定した場所を追跡しながら新たなマーカー位置を算出することが可能になる。

＜傾き情報に基づく映像補正処理方法＞
本実施形態における、作業端末１０３の傾き情報に基づく映像補正処理方法について、図１２を用いて説明する。

補正前の映像は、撮像映像そのままの映像であり図１２における１２０１に該当する。補正映像生成部９０５は、この映像に対して、前述の作業端末１０３の傾きとは逆の補正をかけることで、作業者側の作業者が映像を撮像する作業端末１０３の傾きと、指示者側の映像表示装置１０９に表示される映像の傾きとを合わせることができる（１２０２）。例えば、作業端末１０３の鉛直方向と、指示装置１０８が受信した対象物の撮像映像の鉛直方向とを略一致させることができる。略一致している状態とは、作業端末１０３の鉛直方向が、指示装置１０８が受信した対象物の撮像映像の鉛直方向に沿ったものとなっていることを指す。また、感覚的に上下左右の方向感が作業者と利用者とにおいて一致できる状態のことを指すと表現してもよい。略一致している状態とは、例えば、各々の鉛直方向の相対的なずれが±５°以内である状態であることが好ましい。具体的には以下の処理を映像に施すことで実現する。

ここで、Ｉ_ｄｓｔは補正後の生成画像（１２０３）の点（ｘ、ｙ）における画素値であり、Ｉ_ｓｒｃは補正前の画像の点（ｘ、ｙ）における画素値になる。また、（ｃｘ，ｃｙ）は画像中心であり、θは前述の作業端末１０３の傾き情報そのものである。

＜フローチャート＞
続いて、本実施形態における処理の手順について、図１３〜図１６を用いて説明する。

初めに、作業端末１０３における大まかな処理の手順について、図１３を用いて説明する。

作業端末１０３において、エンコード部３０２は映像データを符号化して通信部３０４は外部に映像符号データを送信し（ステップＳ１００）、デコード部３０３は外部から送られてきた映像符号データを復号し、制御部３０９は外部から送られてきたマーカー情報符号データを復号して、映像表示部３０７は合成映像を画面に表示し（ステップＳ１１０）、制御部３０９はユーザが画面をタッチすることで新規に生成されるマーカー情報を符号化して外部に送信し（ステップＳ１２０）、終了処理の判断を行う（ステップＳ１３０）。

指示装置１０８における処理の手順は、上記作業端末１０３の処理の手順からステップＳ１００を除いたものである。すなわち、指示装置１０８において、デコード部４０１は外部から送られてきた映像符号データを復号して、制御部４０５はマーカー情報符号データを復号する。さらに、映像表示装置１０９は合成映像を画面に表示し（ステップＳ１１０）、制御部４０５はユーザが画面をタッチすることで新規に生成されるマーカー情報を符号化して、通信部４０２は外部に送信し（ステップＳ１２０）、終了処理の判断を行う（ステップＳ１３０）。

以下、作業端末１０３の処理ステップについて説明を行うものとする。

次に、図１４を用いて、図１３に示される各処理ステップの詳細を説明する。

ステップＳ１００において、映像取得部３０１は、撮像カメラで撮像した撮像データのうち現フレームの映像データを取得し（ステップＳ１０１）、エンコード部３０２は、映像データの符号化を行う（ステップＳ１０２）。続いて、通信部３０４は、符号化された映像符号データを入力し、通信可能なパケットに加工した後に、パケットを外部に出力する（ステップＳ１０３）。なお、上記外部とは管理サーバー２００であってよく、該パケットは、管理サーバー２００に送信されてよい。

ステップＳ１１０において、通信部３０４は、マーカー情報符号パケットの受信を待機しており（ステップＳ１１１）、通信部３０４がパケットを受信すると、制御部３０９は、マーカー情報データの復号を行い（ステップＳ１１２）、復号化の結果を映像合成部３０６と保存部３０５とに出力する。通信部３０４は、さらに、外部から映像符号パケットを受信すると（ステップＳ１１３）、映像符号をデコード部３０３に出力する。デコード部３０３は、映像符号データを元の信号に復号し（Ｓ１１４）、復号した映像信号データを映像合成部３０６に出力する。映像合成部３０６は、マーカー情報データと映像信号データを受け取ると、映像合成処理を行い（ステップＳ１１５）、映像表示部３０７は、合成された映像を画面に表示する（ステップＳ１１６）。

ステップＳ１２０において、制御部３０９は、映像表示部３０７に接続された画面をタッチすることによって新規のマーカー情報データを生成する（ステップＳ１２１）。制御部３０９は、生成されたマーカー情報データを符号化し、通信部３０４に送る（ステップＳ１２２）。通信部３０４は、マーカー情報符号パケットを生成し、外部に送信する（ステップＳ１２３）。上記外部とは管理サーバー２００であってよく、該パケットは、管理サーバー２００に送信されてよい。

続いて、管理サーバー２００における作業支援方法の大まかな処理の手順について、図１５を用いて説明する。

管理サーバー２００において、デコード部９０１は、受信した映像符号データを復号し元の映像データを生成し（ステップＳ２００）、保存部９０３は、受信したマーカー情報データを復号し管理対象として保持し（ステップＳ２１０）、通信部９０２は、復号した映像信号に基づいて更新したマーカー情報データを送信し（ステップＳ２２０）、作業端末１０３の傾き情報に基づいて生成した補正映像を外部に出力し、（ステップＳ２３０）、制御部９０６は終了処理の判断を行う（ステップＳ２４０）。

次に、図１６を用いて、図１５に示される各処理ステップの詳細を説明する。

ステップＳ２００において、通信部９０２は、映像符号パケットを受信し（ステップＳ２０１）、映像符号データをデコード部９０１に出力するとともに、作業端末１０３の傾き情報を補正映像生成部９０５に出力する。デコード部９０１は、受け取った映像符号データを元の映像信号データに復号して（ステップＳ２０２）、保存部９０３と補正映像生成部９０５とに出力する。

ステップＳ２１０において、通信部９０２が、マーカー情報符号パケットを受信した場合（ステップＳ２１１）、制御部９０６は、マーカー情報データを復号し、元のマーカー情報データを取り出す（ステップＳ２１２）。制御部９０６は、マーカー情報を保存部９０３に保存する（ステップＳ２１３）。

ステップＳ２２０において、制御部９０６は、保存部９０３に保存されているマーカー情報データの全てに対して以下の処理を実施する（ステップＳ２２１）。マーカー追跡部９０４は、保存部９０３から取り出された各マーカー情報に対して、マーカー追跡処理を実施する（ステップＳ２２２）。マーカー追跡部９０４は、更新されたマーカー情報データを保存部９０３に管理されているマーカー情報と置き換えするとともに（ステップＳ２２３）、制御部９０６に出力する。制御部９０６は、受け取ったマーカー情報データを符号化し（ステップＳ２２４）、通信部９０２は、符号化されたマーカー情報データをマーカー情報符号パケットに加工し、外部に出力する（ステップＳ２２５）。上記外部とは作業端末１０３と指示装置１０８であってよく、該パケットは、作業端末１０３と指示装置１０８に送信されてよい。

ステップＳ２３０において、補正映像生成部９０５は、デコード部９０１で復号された現フレームの映像データ、保存部９０３に保存されている１フレーム前の映像データ、及び作業端末１０３の傾き情報を受け取ると、前述の映像補正処理を実施し（ステップＳ２３１）、実施の結果生成された補正映像データをエンコード部９００に出力する。エンコード部９００は、補正映像生成部９０５から補正映像データを受け取ると、符号化処理を実施して（ステップＳ２３２）、実施の結果生成された補正映像データの映像符号データを通信部９０２に出力する。通信部９０２は、補正映像データの映像符号データを受け取ると、通信できるように加工して、映像符号パケットを生成し、外部に送信する（ステップＳ２３３）。上記外部とは指示装置１０８であってよく、該パケットは、指示装置１０８に送信されてよい。同時に、通信部９０２は、補正前の映像符号データをそのまま、外部の、例えば作業端末１０３に送信する。これによって、作業端末１０３には、撮像映像データをそのまま送信することになり、指示装置１０８には補正後の映像データを送信することになる。

以上の構成によって、作業者側の作業者が映像を撮像する作業端末の傾きと、指示者側の映像表示装置１０９に表示される映像の傾きとを合わせた状態で遠隔作業支援する方法を提供することができる。

なお上述の如く、管理サーバー２００の機能の全てを指示装置１０８が有していてもよい。換言すれば、作業端末１０３から撮像映像、及び作業端末１０３の傾き情報を受信する通信部、並びに作業端末１０３の傾きの情報に基づいて映像の表示傾き角を変更すべく映像データを補正する補正映像生成部を更に備える指示装置も本願発明に含まれる。

（実施形態２）
本発明の他の実施形態について、図１７〜図２０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態においては、撮像された映像の解析結果に基づいて、映像の撮像向きを変えて指示者側の画面に表示する方法について説明する。

前記実施形態１では、作業者側の作業者が映像を撮像する作業端末１０３の傾きと、指示者側の映像表示装置１０９に表示される映像の傾きとを略一致させることを行った。本実施形態では、撮像被写体に写っている内容に応じて、さらに撮像時の傾きを補正して表示できるようにする。具体的には、撮像映像内に文字等可読することができる情報を含む平面（以下、作業平面とも称する）が写っている場合に、表示される映像を、指示者が作業平面を正面から取得するような映像に変換して指示者側に表示する。

本実施形態と実施形態１の構成は同じで良く、違いは、管理サーバー２００の補正映像生成部９０５における処理内容の違いのみである。以下、補正映像生成部９０５の処理の違いについて説明する。

＜補正映像生成のフローチャート＞
図１７は、本実施形態における補正映像生成処理の手順である。

管理サーバー２００の補正映像生成部９０５は、映像内に文字領域が存在するか否かの判定を行い（ステップＳ３００、ステップＳ３１０）、映像内に文字領域が存在する場合、正面補正処理を実施する（ステップＳ３２０）。続いて、実施形態１に記載した映像補正処理を実施する（ステップＳ３３０）。なお、映像補正処理とは、傾き情報に基づく映像補正処理（図１６（４）のステップＳ２３１）と同じで良い。文字検出および、正面補正については後述する。なお、映像補正処理（ステップＳ３３０）については、外部からの設定によってキャンセルしても良いものとする。

＜文字検出処理＞
本実施形態における、文字検出については、映像内に文字領域が存在するか否かの判定で十分であり、文字が何であるかの認識は不要である。このような、文字領域の存在の有無を判断するＡＰＩは様々存在しており、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）による文字認識モジュールや、コンピュータビジョンの汎用ＡＰＩであるＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒ、オープンソースのコンピュータビジョン向けのライブラリ）の関数を用いて実現することができ、Ｓｃｅｎｅ Ｔｅｘｔ Ｄｅｔｅｃｔｉｏｎ（ｈｔｔｐ：／／ｄｏｃｓ.ｏｐｅｎｃｖ.ｏｒｇ／３．０−ｂｅｔａ／ｍｏｄｕｌｅｓ／ｔｅｘｔ／ｄｏｃ／ｅｒｆｉｌｔｅｒ.ｈｔｍｌ）を使うことも可能である。

＜正面補正処理＞
本実施形態における、正面補正処理について、図１８〜図２０を用いて説明する。

補正映像生成部９０５における正面補正処理は、ホモグラフィ行列による射影変換処理によって実現する。射影変換処理とは、平面を別の平面に変換する処理であり、図１８に示したような斜めから撮像された映像１８００を正面から見ているように変換１８０１することである。

初めに、補正映像生成部９０５におけるホモグラフィ行列Ｈ^＊による射影変換処理の数式を下記（式６）に示す。

ここで、座標（ｍ、ｎ）と座標（ｍ’、ｎ’）はそれぞれ、変換前と変換後の座標を示しており、（式６）におけるＨ^＊は、３×３の行列であり、各要素を下記（式７）のように示すことができる。

続いて、このホモグラフィ行列の算出方法を説明する。（式７）は、９つの要素を持っているが、ｈ_３３を１となるように制御すると、実質の変数は８種類となる。変換前後の画素の対応によって、ｍとｎに関する２つの式が得られるため、４点以上の対応関係が分かれば、最小２乗法によって求めることができる。最小２乗法に与える式は下記（式８）の通りである。

ここで、ａｒｇｍｉｎ（・）は、括弧内を最小にするａｒｇｍｉｎの下部にあるパラメータを算出する関数である。

以上、変換前と変換後の４組以上の座標の組合せがあれば、前述のホモグラフィ行列を算出することができ、かつ、（式６）を用いることで、画像全体の射影変換処理を実現することができる。

続いて、補正前後の対応点を求める方法について説明する。

その前に、補正映像生成部９０５は、映像を正面から撮像したように変換するということを、画像内に存在する所定以上の長さの直線において、向かい合う直線が平行になるように補正することによって実現する。これは、一般的に、可読文字が矩形状の領域内に記載されることが多いという経験則に基づいており、図１８に示したように、対応する辺１８０２あるいは、辺１８０３を、それぞれ、辺１８０４と辺１８０５のように、平行になるように変換する。

図１９に、正面補正の処理手順について示す。

初めに、補正映像生成部９０５は、画像処理のハフ変換によって、画像に存在する直線を検出する（ステップＳ３２１）。ハフ変換処理とは、画像の中から直線を検出するための一般的な手法で、原点から直線までの距離ｒ（ｒ≧０）と傾き角θ（０≦θ≦２Π）によって直線を規定し、それらを座標軸として、画像内のエッジを座標にプロット（投票）することで求める手法である。ハフ変換における、直線の式は下記（式９）のようになる。

次に、補正映像生成部９０５は、ハフ変換によって求められた投票数の多い直線の内、上位４つまでを抽出する（ステップＳ３２２）。ハフ変換では、長い直線ほど投票数が多くなる。抽出された直線は、（ｒ_ｉ，θ_ｉ）＝［ｉ＝０，…，３］で示す。

続いて、補正映像生成部９０５は、抽出された直線が正面補正処理の対象となり得るかを判断する（ステップＳ３２３）。

正面補正処理の対象となり得るかの判断（以下、正面補正判定と称す）は、以下のように実施する。

補正映像生成部９０５における正面補正判定の第１の条件は、直線の長さが所定の長さ以上であることである。つまり、前述の投票数Ｖ（ｉ）［ｉ＝０，…，３］が所定の数以上になっていることを判定する。ここでは、例えば、その閾値を２０と設定する。

補正映像生成部９０５における正面補正判定の第２の条件については、図２０を用いて説明する。図２０は、前述したハフ変換処理によって、抽出された４つの直線をプロットしたものを模式的に示した図である。

補正映像生成部９０５は、抽出した４つの直線を表す（ｒ_ｉ，θ_ｉ）＝［ｉ＝０，…，３］から、似通った傾き角を持つ２つを選択して、図２０の（１）に示したように２つのグループに分類する。このとき各グループに含まれる２つの直線は、向かい合う直線となっている。第２の条件は、グループ１とグループ２に含まれる直線の傾き角の差が所定の値以上であると規定する。ここでは、例えば、その閾値をΠ／４と設定する。

上記２つの条件を満足した場合、補正映像生成部９０５は以下の補正処理を実施する。

続いて、補正映像生成部９０５は、補正後の座標を、図２０（２）に示したように、各グループに含まれる直線の傾き角が一致するように、ハフ変換の座標軸内で変換して算出する。補正後の傾き角は、グループに含まれる直線の傾き角の内、最大・最小のいずれかを選択しても良いし、平均値や中央値を選択しても良い。補正映像生成部９０５は、図２０（２）になるように変換し、補正後の直線を求め、合わせて補正前と補正後の対応する座標を求めることができる（ステップＳ３２４）。

最後に、補正映像生成部９０５は、前述した射影変換処理を画像全体に実施して、図１８の１８０１に示したような、対象物に含まれる作業平面が正面となるように映像が補正された正面補正画像を取得する（ステップＳ３２５）。

なお、本実施形態では、画像処理による正面補正の方法を示したが、正面から撮像したような映像を得られる手法であれば、どのような方法でも良い。例えば、作業端末のカメラ１０３ａの側に、デプスマップ（２次元状に被写体までの距離値を示したマップデータ）の得られる測距デバイスを備えておき、被写体の面と作業端末の傾きとを直接求めるような構成にし、取得した傾きの情報から射影変換のパラメータを算出する構成であっても良い。

以上の構成によって、撮像された映像の解析結果に基づいて、映像の撮像の向きが正面となるように映像を補正して指示者側の画面に表示した状態で遠隔作業支援する方法を提供することができる。

（実施形態３）
本発明の他の実施形態について、図２１〜図２２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施形態においては、前述した傾き取得部３０８で取得した傾き情報を用いて、指示装置１０８で付与されたマーカー情報を回転し、作業端末１０３に表示する方法について説明する。

上記、実施形態１、及び、実施形態２では、映像合成部３０６において、映像データと指示装置１０８から受信したマーカー情報データとを合成している。合成されるマーカー情報データは、指示装置１０８で表示されている補正後の映像１２０３を用いて生成されたものを、そのまま用いている。このため、マーカー情報データを用いて方向を指示する際には、作業端末１０３に表示されている指示方向と、指示者が意図する指示方向と、が異なり、適切に作業指示を行うことができないといった問題が発生する。

そこで、本実施形態では、傾き取得部３０８で取得した傾き情報を用いて、マーカー情報を回転し、表示する方法を用いる。

以下、実施形態１、及び実施形態２と異なる部分についてのみ記載する。

＜マーカー情報＞
本実施形態におけるマーカー情報について、図２１を用いて説明する。

マーカー情報２１００は、マーカー情報４００に含まれる要素に加え、始点情報と、終点情報と、を有する。

始点情報と、終点情報と、は、指示装置１０８上の映像における座標である。ここで、指示装置１０８の画面２１０１上におけるマーカー２１０２の始点２１０３の座標を（ｘｓ，ｙｓ）とし、終点２１０４の座標を（ｘｇ，ｙｇ）とする。

＜マーカー情報の回転方法＞
続いて、傾き情報を用いて、マーカー情報を回転させる方法、言い換えると指示映像との表示傾き角の変更方法について、図２２を用いて説明する。

指示装置１０８の画面２２０１上で設定されたマーカー２２０２は、管理サーバーの補正映像生成部９０５に送信される。補正映像生成部９０５では、傾き取得部３０８で得た傾き情報θを用いて、マーカー２２０２の始点情報と、終点情報を更新する（式１０、式１１）。

始点と終点を更新したマーカー２２０４を作業端末の画面２２０３に表示する。

以上、傾き取得部３０８で取得した傾き情報を用いて、指示装置１０８で付与されたマーカー情報を回転し、作業端末１０３に表示する方法を提供できる。

（実施形態４）
本発明の他の実施形態について、図２３〜図２５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

作業者が作業端末１０３を傾けて撮像するとき、作業者の姿勢は、図２３（１）のように頭部を傾けない場合と、図２３（２）のように頭部を傾ける場合と、がある。

上記実施形態１、実施形態２、実施形態３では、頭部を傾けない場合は、作業者と、指示者と、が同じ傾きの映像を視るため、指示者による指示が適切に伝えることができる。

しかし、頭部を傾ける場合は、指示装置１０８に表示される映像と、作業者が視ている映像の傾きが異なるため、適切に作業指示を行うことができないといった問題が発生する。

そこで、本実施形態では、作業者の頭部の傾きを取得し、取得した頭部の傾きと、傾き取得部３０８で取得した傾き情報と、を用いて傾き情報に基づく映像処理方法を制御する方法を用いる。

以下、実施形態１、実施形態２、実施形態３と異なる部分についてのみ記載する。

＜ブロック構成例（作業端末）＞
本実施形態における作業端末１０３のブロック構成について、図２４を用いて説明する。

実施形態１、実施形態２、実施形態３と異なる点は、作業者傾き取得部２４０１を有していることである。

作業者傾き取得部２４０１が採用する方法は、作業者の頭部の傾きを取得できる方法であればよく、例えば、作業端末１０３の映像取得部３０１を用いて実現できる。作業者の頭部の傾きを算出する方法については後述する。

＜作業者頭部の傾きの取得方法＞
本実施形態における、作業端末１０３の傾き情報の取得方法について、図２５を用いて説明する。作業者傾き取得部２４０１では、映像取得部３０１で取得した作業者の顔画像２５０１から、右目２５０２と、左目２５０３と、を検出し、右目２５０２から左目２５０３を結ぶ直線を用いて顔の傾きθｗを算出する。

右目２５０２と、左目２５０３と、を検出するための特徴量は、例えばHaar-like特徴量等を用いることができる。

＜傾き情報に基づく映像処理方法＞
本実施形態における、傾き情報に基づく映像処理方法について説明する。実施形態１、実施形態２、実施形態３では、作業端末１０３の傾き情報のみを用いて映像を処理していた。本実施形態では、作業端末１０３の傾き情報と、作業者の傾き情報と、の差分を用いて作業端末１０３と作業者の為す傾きを算出し、映像を処理する（式１２、式１３、式１４、式１５）。

以上、作業者の頭部の傾きを取得し、取得した頭部の傾きと、傾き取得部３０８で取得した傾き情報とを用いて、傾き情報に基づく、撮像映像の表示傾き角を変更する映像処理方法を制御する方法を提供できる。

（実施形態５）
上記実施形態では、指示装置１０８に表示される映像を傾けることを説明しているが、それに限定されず、映像表示部３０７の背面に表示部回転調整部（図示していない）を備え傾き取得部で取得した傾き情報に基づいて表示部を回転させる等、映像表示部３０７を物理的に傾ける構成としてもよい。

これにより、作業者側の作業者が映像を撮像する作業端末の傾きと、指示装置に表示される映像の傾きとを合わせることができ、かつ、映像表示装置１０９の表示領域として画面全体を利用することができる。（画像処理の場合に発生する画像が表示されない領域（図１２の黒色部分等）が発生しない。）
表示部回転調整部としては、モーターや四節回転機構等種々の既存の回転機構を利用できる。

＜実施形態１〜５について＞
上記の各実施形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の一態様の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の一態様の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

上記の各実施形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施形態の機能を実現する遠隔作業支援の装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していれば良い。また、本発明の一態様の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明の一態様に含まれるものである。

作業支援装置Ａの制御ブロック（特に作業端末１０３の映像取得部３０１、エンコード部３０２、デコード部３０３、通信部３０４、映像合成部３０６、傾き取得部３０８、及び制御部３０９、指示装置１０８のデコード部４０１、通信部４０２、映像合成部４０４、及び制御部４０５、並びに管理サーバーのエンコード部９００、デコード部９０１、通信部９０２、マーカー追跡部９０４、補正映像生成部９０５、及び制御部９０６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

また、上記の各実施形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実施することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

〔まとめ〕
本発明の態様１に係る作業支援装置（管理サーバー２００）は、作業端末１０３において撮像された対象物（作業対象物１０２）の撮像映像を受信する受信部（通信部９０２）と、前記作業端末１０３の撮像時の傾きを取得する傾き取得部（通信部９０２）と、前記傾き取得部（通信部９０２）で取得された前記作業端末１０３の傾きに応じて、受信した前記対象物（作業対象物１０２）の撮像映像の表示傾き角を変更する補正映像生成部９０５と、前記表示傾き角が変更された撮像映像を外部に出力する出力部（通信部９０２）と、を有する。

上記の構成によれば、作業端末１０３の傾きに応じて、受信した対象物（作業対象物１０２）の撮像映像の表示傾き角が変更されるので、作業端末１０３を用いて作業する作業者と、受信した対象物（作業対象物１０２）の撮像映像を見る指示者との双方の作業効率を向上させることができる。

そして、指示者からの作業指示を作業者に適切に伝えることが支援されることができる。

本発明の態様２に係る作業支援装置（管理サーバー２００）は、前記態様１において、前記補正映像生成部９０５は、前記作業端末１０３の鉛直方向と、前記受信した対象物（作業対象物１０２）の撮像映像の鉛直方向と、を略一致させてもよい。

上記の構成によれば、作業者側の作業者が映像を撮像する作業端末１０３の傾きと、指示者側の映像表示装置１０９に表示される映像の傾きとを合わせた状態で遠隔作業支援することができる。

また、撮像された映像の解析結果に基づいて、映像の撮像の向きを変えて指示者側の画面に表示した状態で遠隔作業支援することができる。

本発明の態様３に係る作業支援装置（管理サーバー２００）は、前記態様１または２において、前記補正映像生成部９０５は、前記対象物（作業対象物１０２）に含まれる作業平面が正面となるように映像を補正してもよい。

上記の構成によれば、指示者は、作業平面を正面から捉えることができる。

本発明の態様４に係る作業支援装置（管理サーバー２００）は、前記態様１〜３の何れか１態様において、前記補正映像生成部９０５は、前記受信した対象物（作業対象物１０２）の撮像映像の表示傾き角と、前記受信した対象物（作業対象物１０２）の撮像映像に対して生成された指示映像との表示傾き角と、を変更してもよい。

上記の構成によれば、作業端末１０３の傾きに応じて、指示装置１０８で付与された指示映像を回転し、作業端末１０３に表示させることができる。

本発明の態様５に係る作業支援装置（管理サーバー２００）は、前記態様１〜４の何れか１態様において、前記補正映像生成部９０５は、前記作業端末１０３の傾きと、前記作業端末１０３を保持する作業者１０１の頭部の傾きと、に基づき、前記受信した対象物（作業対象物１０２）の撮像映像の表示傾き角を変更してもよい。

上記の構成によれば、作業者１０１の頭部の傾きと、作業端末１０３の傾きと、に応じて、作業者１０１が視ている方向と指示者１０７側の表示される映像の傾きを合わせた状態で遠隔作業支援することができる。

本発明の態様６に係る作業支援方法は、作業端末１０３において撮像された対象物（作業対象物１０２）の撮像映像を受信する受信ステップと、前記作業端末１０３の撮像時の傾きを取得する傾き取得ステップと、前記傾き取得ステップにおいて取得された前記作業端末１０３の傾きに応じて、受信した前記対象物（作業対象物１０２）の撮像映像の表示傾き角を変更する補正映像生成ステップと、前記表示傾き角が変更された撮像映像を外部に出力する出力ステップと、を有する。

前記の構成によれば、態様１に係る作業支援装置（管理サーバー２００）と同様の効果を奏することができる。

本発明の態様７に係る指示装置１０８は、作業端末１０３において撮像された対象物（作業対象物１０２）の撮像映像を受信する受信部（通信部９０２）と、前記作業端末１０３の撮像時の傾きを取得する傾き取得部（通信部９０２）と、前記傾き取得部（通信部９０２）で取得された前記作業端末１０３の傾きに応じて、受信した前記対象物（作業対象物１０２）の撮像映像の表示傾き角を変更する補正映像生成部９０５と、表示傾き角が変更された前記受信した対象物（作業対象物１０２）の撮像映像を表示する映像表示部（映像表示装置１０９）と、を有する。

前記の構成によれば、態様１に係る作業支援装置（管理サーバー２００）と同様の効果を奏することができる。

本発明の各態様に係る作業支援装置（管理サーバー２００）は、コンピュータによって実現してもよく、この場合には、コンピュータを前記作業支援装置Ａが備える各部（ソフトウェア要素）として動作させることにより前記作業支援装置（管理サーバー２００）をコンピュータにて実現させる作業支援装置の作業支援制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の一態様の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、2015年12月22日に出願された日本国特許出願：特願2015-250547に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１０２ 作業対象物（対象物）
１０３ 作業端末（端末）
１０８ 指示装置
１０９ 映像表示装置（映像表示部）
２００ 管理サーバー（作業支援装置）
９０２ 通信部（受信部、傾き取得部、出力部）
９０５ 補正映像生成部

Claims (10)

1. 撮像映像を受信する受信部と、
   前記撮像映像の撮像傾きを取得する傾き取得部と、
   前記傾き取得部で取得された前記撮像傾きに応じて、受信した前記撮像映像の表示傾き角を変更する補正映像生成部と、
   前記表示傾き角が変更された撮像映像を外部に出力する出力部と、
   を有することを特徴とする作業支援装置。
2. 前記撮像映像は、端末において撮像された対象物の撮像映像であり、
   前記撮像傾きは、前記端末の撮像時の傾きである
   ことを特徴とする請求項１に記載の作業支援装置。
3. 前記補正映像生成部は、
   前記端末の鉛直方向と、前記受信した撮像映像の鉛直方向と、を略一致させる
   ことを特徴とする請求項２に記載の作業支援装置。
4. 前記補正映像生成部は、
   前記撮像映像に含まれる作業平面が正面となるように映像を補正する
   ことを特徴とする請求項２又は３に記載の作業支援装置。
5. 前記補正映像生成部は、
   前記受信した撮像映像の表示傾き角と、前記受信した撮像映像に対して生成された指示映像の表示傾き角と、を変更する
   ことを特徴とする請求項２〜４の何れか１項に記載の作業支援装置。
6. 前記補正映像生成部は、
   前記撮像映像を撮像した端末の撮像傾きと、前記端末を保持する作業者の頭部の傾きと、に基づき、前記受信した撮像映像の表示傾き角を変更する
   ことを特徴とする請求項２〜５の何れか１項に記載の作業支援装置。
7. 撮像映像を受信する受信ステップと、
   前記撮像映像の撮像傾きを取得する傾き取得ステップと、
   前記傾き取得ステップにおいて取得された前記撮像傾きに応じて、受信した前記撮像映像の表示傾き角を変更する補正映像生成ステップと、
   前記表示傾き角が変更された撮像映像を外部に出力する出力ステップと、
   を有することを特徴とする作業支援方法。
8. 撮像映像を受信する受信部と、
   前記撮像映像の撮像傾きを取得する傾き取得部と、
   前記傾き取得部で取得された前記撮像傾きに応じて、受信した前記撮像映像の表示傾き角を変更する補正映像生成部と、
   表示傾き角が変更された前記受信した撮像映像を表示する映像表示部と、
   を有することを特徴とする指示装置。
9. 請求項１〜６の何れか１項に記載の作業支援装置としてコンピュータを機能させるための作業支援プログラムであって、前記受信部、前記傾き取得部、前記補正映像生成部、及び前記出力部としてコンピュータを機能させるための作業支援プログラム。
10. 請求項９に記載の作業支援プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images