JP5864371B2 - 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 - Google Patents

静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 Download PDF

Info

Publication number
JP5864371B2
JP5864371B2 JP2012150577A JP2012150577A JP5864371B2 JP 5864371 B2 JP5864371 B2 JP 5864371B2 JP 2012150577 A JP2012150577 A JP 2012150577A JP 2012150577 A JP2012150577 A JP 2012150577A JP 5864371 B2 JP5864371 B2 JP 5864371B2
Authority
JP
Japan
Prior art keywords
still image
processing terminal
information processing
work video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012150577A
Other languages
English (en)
Other versions
JP2014014011A (ja
Inventor
駿介 高宮
駿介 高宮
中川 純一
純一 中川
篤 深山
篤 深山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012150577A priority Critical patent/JP5864371B2/ja
Publication of JP2014014011A publication Critical patent/JP2014014011A/ja
Application granted granted Critical
Publication of JP5864371B2 publication Critical patent/JP5864371B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、ある地点の作業者の周囲の空間のうち、離れた別地点にいる指示者が意図した特定の箇所の静止画を生成する静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置に関する。
従来から、音声通信などの手段を利用し、ある地点に対して、遠隔地にいる指示者から指示を伝え、作業者が周囲の空間の特定の箇所の画像を生成する技術があった(例えば特許文献1)。
特開2006−191243号公報
ここで、作業者が、作業者用の情報処理端末のカメラ機能を用いて作業対象物の特定箇所の細部の様子を撮影した静止画を、通信を用いて遠隔地の指示者と共有し、指示者が、共有している静止画に基づき作業者に作業内容の指示を行う、という状況を考える。従来技術では、指示者が、対象物のなかのどの箇所の静止画を撮影すればよいかを、音声通信手段により作業者に伝え、作業者は指示に基づき静止画を撮影し、撮影通信手段により撮影した静止画を共有することになるが、指示者は作業者がどの箇所を撮影しているのかを視覚的に確認できないため、作業者が指示者の意図とは異なる箇所を撮影してしまう可能性がある。
また他の手法として、まず作業者が作業者用の情報処理端末のカメラ機能を用いて、作業対象物の動画を撮影して、映像通信手段により指示者と共有し、指示者は、作業者が撮影しようとしている箇所を確認する。次に共有している動画に映る特定の部位が動画において指示者が意図した位置に変位した際に、指示者は、作業者に対し、音声通信またはその他の通信手段により、静止画を撮影することを指示する。そして作業者が、静止画の撮影機能を起動し、手動で静止画を撮影する、という手法が考えられる。または指示者がリモートで作業者の情報処理端末を操作し静止画撮影機能を起動し静止画を撮影する、という手法が考えられる。しかし、これらの手法では、作業対象物の特定箇所が動画において指示者の意図する位置に変位してから静止画が手動で撮影されるまでの間に、作業者がカメラをずらしてしまうことで、作業者の意図した箇所が撮影できない可能性がある。
また、作業者が静止画を作業対象物の静止画を撮影するかわりに動画を撮影して指示者に送り、指示者側で動画から適切な静止画を生成する、という手法も考えられる。しかし動画を映像通信によりリアルタイムに共有する場合、通信リソースの制約により、動画フレームの解像度は静止画に比べ低解像度(数十万ピクセル以下)になるため、指示者が対象の細部を認識するのが困難になってしまう。
従って、上記のような問題点に鑑みてなされた本発明の目的は、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成することができる静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置を提供することにある。
作業者用情報処理端末と、静止画生成判定サーバと、指示者用情報処理端末とを備える静止画自動生成システムであって、
前記作業者用情報処理端末は、作業映像を撮像して前記静止画生成判定サーバに送信し、
前記静止画生成判定サーバは、受信した前記作業映像を前記指示者用情報処理端末に配信し、
前記指示者用情報処理端末は、画像領域を指示する指示情報を生成して前記静止画生成判定サーバに送信し、
前記静止画生成判定サーバは、前記指示情報に係る前記画像領域が、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の所定範囲に存在するか否かを判定し、該判定の結果、前記画像領域が前記所定範囲に存在する場合、静止画生成命令を前記作業者用情報処理端末に送信し、
前記作業者用情報処理端末は、前記静止画生成命令を受信した場合、対象静止画を生成することを特徴とする。
また本発明に係る静止画自動生成システムは、
作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムであって、
前記作業者用情報処理端末は、作業映像を撮像して前記指示者用情報処理端末に配信し、
前記指示者用情報処理端末は、画像領域を指示する指示情報を生成して前記作業者用情報処理端末に送信し、
前記作業者用情報処理端末は、前記指示情報に係る前記画像領域が、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の所定範囲に存在するか否かを判定し、該判定の結果、前記画像領域が前記所定範囲に存在する場合、対象静止画を生成することを特徴とする。
また本発明に係る静止画自動生成システムは、
作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムであって、
前記作業者用情報処理端末は、作業映像を撮像して前記指示者用情報処理端末に配信し、
前記指示者用情報処理端末は、画像領域を指示する指示情報を生成し、該指示情報に係る前記画像領域が、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の所定範囲に存在するか否かを判定し、該判定の結果、前記画像領域が前記所定範囲に存在する場合、静止画生成命令を前記作業者用情報処理端末に送信し、
前記作業者用情報処理端末は、前記静止画生成命令を受信した場合、対象静止画を生成することを特徴とする。
また本発明に係る作業者用情報処理端末は、
作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムにおける作業者用情報処理端末であって、
作業映像を生成する作業映像生成部と、
前記作業映像生成部が生成した前記作業映像を、前記指示者用情報処理端末に配信する作業映像配信部と、
前記作業映像に係る動画フレームと、前記指示者用情報処理端末から受信した画像領域を指示する指示情報とに基づき、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の前記画像領域の位置を示すパラメータを生成するトラッキング部と、
前記パラメータに基づき、前記画像領域の前記位置が所定範囲内であるか否かを判定する静止画生成判定部と、
前記静止画生成判定部が、前記画像領域の前記位置が前記所定範囲内であると判定した場合に対象静止画を生成する静止画生成部と、
を有することを特徴とする。
また本発明に係る指示者用情報処理端末は、
作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムにおける指示者用情報処理端末であって、
前記作業者用情報処理端末から作業映像を受信する作業映像受信部と、
前記作業映像を表示する作業映像表示部と、
画像領域を指示する指示情報を指示者の操作を検知して生成する指示情報生成部と、
前記作業映像に係る動画フレームと、前記指示情報とに基づき、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の前記画像領域の位置を示すパラメータを生成するトラッキング部と、
前記パラメータに基づき、前記画像領域の前記位置が所定範囲内であるか否かを判定し、前記画像領域の前記位置が前記所定範囲内である場合、静止画生成命令を生成する静止画生成判定部と、
静止画生成命令を前記作業者用情報処理端末に送信する静止画生成命令送信部と、
を有することを特徴とする。
また本発明に係る判定装置は、
作業映像と、画像領域を指示する指示情報とから対象静止画を自動生成するシステムにおける判定装置であって、
前記作業映像に係る動画フレームと、前記指示情報とに基づき、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の前記画像領域の位置を示すパラメータを生成するトラッキング部と、
前記パラメータに基づき、前記画像領域の前記位置が所定範囲内であるか否かを判定し、前記画像領域の前記位置が前記所定範囲内である場合に静止画生成命令を生成する静止画生成判定部と、
を有することを特徴とする。
本発明における静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置によれば、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成することができる。
実施の形態1の静止画自動生成システムのブロック図である。 実施の形態1の指示情報生成GUIの例である。 実施の形態1の静止画自動生成システムの動作を示すフローチャートである。 実施の形態1のトラッキングの処理を示すフローチャートである。 実施の形態2の静止画自動生成システムのブロック図である。 実施の形態2の静止画自動生成システムの動作を示すフローチャートである。 実施の形態3の静止画自動生成システムのブロック図である。 実施の形態3の静止画自動生成システムの動作を示すフローチャートである。 実施の形態4の静止画自動生成システムのブロック図である。 実施の形態4の静止画自動生成システムの動作を示すフローチャートである。 実施の形態5の静止画自動生成システムのブロック図である。 実施の形態5の静止画自動生成システムの動作を示すフローチャートである。 実施の形態6の静止画自動生成システムのブロック図である。 実施の形態6の静止画自動生成システムの動作を示すフローチャートである。
以下、本発明の実施の形態について説明する。
(実施の形態1)
図1は本発明の実施の形態1の静止画自動生成システムのブロック図である。本発明の実施の形態1の静止画自動生成システムは、作業者用情報処理端末1と、静止画生成判定サーバ2と、指示者用情報処理端末3とを備える。
作業者用情報処理端末1は、作業映像生成部11と、作業映像送信部12と、静止画生成命令受信部13と、静止画生成部14とを備える。
作業映像生成部11は、作業映像を生成する。作業映像とは映像データであり、映像データは複数の動画フレームまたは動画フレームを圧縮、再符号化したものから構成されるデータである。例えば映像データは、MPEG、Motion JPEG、WM1等のデータ形式からなる。なお動画フレームとは、1枚の画像を表現するビット列のデータであり、例えばJPEG、PNG、WMF等の画像データである。具体的には、作業映像生成部11は、作業者用情報処理端末1の外部の光景をカメラにより撮影することにより動画フレームを生成し、動画フレームを映像データに変換することにより映像データを生成する。
作業映像送信部12は、作業映像生成部11より作業映像を受信し、静止画生成判定サーバ2の作業映像受信部21に作業映像を送信する。
静止画生成命令受信部13は、静止画生成判定サーバ2から静止画生成命令を受信し、静止画生成命令を静止画生成部14に渡す。
静止画生成部14は、静止画を生成する。この静止画とは、作業者用端末の外部の光景をカメラにより撮影することにより生成されるJPEG、PNG、WMF等の画像データを生成する。この画像データは、後述の動画フレームの解像度より高解像度のものとする。
静止画生成判定サーバ2は、作業映像受信部21と、トラッキング部22と、指示情報受信部23と、作業映像配信部24と、静止画生成判定部25と、静止画生成命令送信部26とを備える。
作業映像受信部21は、作業者用情報処理端末1から受信した作業映像から、作業映像を構成する動画フレームを復号し、トラッキング部22に順次渡す。また作業映像受信部21は、作業映像配信部24に、作業者用情報処理端末1から受信した作業映像を渡す。
トラッキング部22は、作業映像受信部21から渡された動画フレームを一定量蓄積し、新しい動画フレームを受け取るたびに、一番古いものを新しいもので置き換えてゆく。
またトラッキング部22は、蓄積している各動画フレームの中から、指示情報受信部23が受信した、画像領域を指示する指示情報に含まれる動画フレームの構成画素値との差分が最小に成る動画フレームを選び出し、この動画フレームから、指示者がマウスポインタのクリック操作を行った指示情報生成GUI上の平面座標(Xc,Yc)を中心とし、矩形領域D(Xc−a≦x≦Xc+a,Yc−b≦y≦Yc+b)に存在する領域(画像領域)を切り出す。ここでa及びbは、任意の定数である。
トラッキング部22は、画像領域より、3つ以上の特徴点(以下、ターゲット領域特徴点という。)の位置座標を含むターゲット領域特徴点情報を生成する。続いてトラッキング部22は、作業映像受信部21から取得した動画フレームのうち、指示情報を受信した時点で最新の動画フレームを対象に、トラッキングを行い、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータを生成する。
トラッキングとは以下のプロセスを指す。すなわち、まずトラッキング部22は、最新の動画フレームの特徴点情報を全て抽出して動画フレームの特徴点マップを生成する。続いてトラッキング部22は、特徴点マップとターゲット領域特徴点情報とを比較することにより、特徴点マップにおいて、ターゲット領域特徴点が存在する領域を検出する。さらにトラッキング部22は、ターゲット領域特徴点情報により第一平面を定義し、また、動画フレームの特徴点マップにおいてターゲット特徴点が存在する領域により第二平面を定義する。そしてトラッキング部22は、第一平面を第二平面に一致させるために、第一平面に作用させる拡大縮小変換・回転変換・平行移動変換の3つの変換処理に対応する4次元変換行列を生成する。4次元変換配列には、ターゲット領域特徴点を動画フレームの特徴点マップにおけるターゲット特徴点へ平行移動するための成分、すなわち、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータが含まれる。
指示情報受信部23は、トラッキング部22に、指示者用情報処理端末3から受信する指示情報を渡す。
作業映像配信部24は、作業映像受信部21から受け取った作業映像を指示者用情報処理端末3へ配信する。
静止画生成判定部25は、トラッキング部22のトラッキングにより生成された、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータに基づき、画像領域が動画フレームの中の所定範囲に存在するか否かを判定する。具体的には静止画生成判定部25は、トラッキングにより生成された4次元変換行列の、1行4列目、2行4列目、3行4列目の成分から3次元ベクトル(Tx,Ty,Tz)を生成し、この3次元ベクトルに対して写像f(x,y,z)(=(−ex/z,−ey/z))を作用させることにより、2次元ベクトル(Px,Py)を得る。2次元ベクトル(Px,Py)は、第一平面を、第二平面に一致するように、拡大縮小変換・回転変換・平行移動変換、の3つの変換を作用させた場合の、画像領域の中心点の位置情報を示す。そして静止画生成判定部25は、2次元ベクトル(Px,Py)が、所定の2次元領域(Xs−a≦x≦Xs+a,Ys−b≦y≦Ys+b)に存在するかどうかを判定する。ここでa及びbは、任意の定数である。トラッキング部22及び静止画生成判定部25は、トラッキング部22が動画フレームを取得するたびに上記動作を繰り返し行う。
そして静止画生成判定部25は、画像領域が動画フレームの中の所定範囲に存在すると判定した場合、静止画生成命令を発行し、該静止画生成命令を静止画生成命令送信部26に渡す。具体的には静止画生成判定部25は、2次元ベクトル(Px,Py)が、予め指定した2次元領域(Xs−a≦x≦Xs+a,Ys−b≦y≦Ys+b)に存在すると判定した場合、静止画生成命令を発行して、静止画生成命令送信部26に渡す。
静止画生成命令送信部26は、静止画生成命令を、作業者用情報処理端末1の静止画生成命令受信部13に送信する。
指示者用情報処理端末3は、作業映像受信部31と、作業映像表示部32と、指示情報生成部33と、指示情報送信部34とを備える。
作業映像受信部31は、静止画生成判定サーバ2から受信した作業映像から、作業映像を構成する複数の動画フレームを復号し、作業映像表示部32に渡す。
作業映像表示部32は、作業映像受信部31より渡された動画フレームを、順番にディスプレイ等により表示出力する。
指示情報生成部33は、作業映像表示部32にオーバレイする形で指示情報生成部33が提供する指示情報生成GUI(図2参照)において、指示者がマウスポインタのクリック操作をすると、指示者がクリックした操作を検知して、作業映像表示部32に表示されていた動画フレームを作業映像表示部32から取得する。また指示情報生成部33は、指示者がマウスポインタのクリック操作を検知し、指示情報生成GUI上の平面座標(Xc,Yc)を取得する。そして指示情報生成部33は、作業映像表示機能から取得した動画フレーム及び座標(Xc,Yc)の2つを含む指示情報を生成する。そして指示情報生成部33は、指示情報を指示情報送信部34へ渡す。
図2は、指示情報生成GUIの例を示す。図2に示すように、作業映像表示部32には、作業映像が表示され、指示情報を生成するためのマウスポインタ321が表示される。
指示情報送信部34は、指示情報を、静止画生成判定サーバ2の指示情報受信部23へ送信する。
次に、本発明の実施の形態1に係る静止画自動生成システムについて、図3に示すフローチャートによりその動作を説明する。
はじめに、作業者用情報処理端末1の作業映像生成部11は、作業映像を生成する(ステップS1)。
次に、作業映像送信部12は、作業映像生成部11より作業映像を受信し、静止画生成判定サーバ2の作業映像受信部21に作業映像を送信する(ステップS2)。
続いて、静止画生成判定サーバ2の作業映像受信部21は、作業者用情報処理端末1から作業映像を受信し(ステップS3)、当該作業映像から、作業映像を構成する動画フレームを復号し、トラッキング部22に順次渡す。また作業映像受信部21は、作業映像配信部24に、作業者用情報処理端末1から受信した作業映像を渡す。作業映像配信部24は、作業映像受信部21から受け取った作業映像を指示者用情報処理端末3へ配信する(ステップS4)。
続いて、指示者用情報処理端末3の作業映像受信部31は、静止画生成判定サーバ2から作業映像を受信し(ステップS5)、当該作業映像から、作業映像を構成する複数の動画フレームを復号し、作業映像表示部32に渡す。
続いて、作業映像表示部32は、作業映像受信部31より渡された動画フレームを、順番にディスプレイ等により表示出力する(ステップS6)。
続いて、指示情報生成部33は、作業映像表示部32にオーバレイする形で指示情報生成部33が提供する指示情報生成GUI(図2参照)において、指示者がマウスポインタのクリック操作をすると、指示者がクリックした操作を検知して、作業映像表示部32に表示されていた動画フレームを作業映像表示部32から取得する。また指示情報生成部33は、指示者がマウスポインタのクリック操作を検知し、指示情報生成GUI上の平面座標(Xc,Yc)を取得する。そして指示情報生成部33は、作業映像表示機能から取得した動画フレーム及び座標(Xc,Yc)の2つを含む指示情報を生成する(ステップS7)。そして指示情報生成部33は、生成した指示情報を指示情報送信部34へ渡す。
続いて、指示情報送信部34は、指示情報を、静止画生成判定サーバ2の指示情報受信機能へ送信する(ステップS8)。
続いて、静止画生成判定サーバ2の指示情報受信部23は、指示者用情報処理端末3から指示情報を受信すると(ステップS9)、トラッキング部22に、当該指示情報を渡す。
続いて、トラッキング部22は、蓄積している各動画フレームの中から、指示情報受信部23が受信した、画像領域を指示する指示情報に含まれる動画フレームの構成画素値との差分が最小に成る動画フレームを選び出し、この動画フレームから、指示者がマウスポインタのクリック操作を行った指示情報生成GUI上の平面座標(Xc,Yc)を中心とし、矩形領域D(Xc−a≦x≦Xc+a,Yc−b≦y≦Yc+b)、すなわち画像領域を切り出す(ステップS10)。
続いて、トラッキング部22は、画像領域より、3つ以上の特徴点の位置座標を含むターゲット領域特徴点情報を生成する。続いてトラッキング部22は、作業映像受信部21から取得した動画フレームのうち、指示情報を受信した時点で最新の動画フレームを対象に、トラッキング処理を行うことにより作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータを生成し、該パラメータを静止画生成判定部25に渡す(ステップS11)。
当該トラッキングの処理について、図4により詳細に説明する。トラッキング処理において、まずトラッキング部22は、最新の動画フレームの特徴点情報を全て抽出して動画フレームの特徴点マップを生成する(ステップS111)。
続いてトラッキング部22は、特徴点マップとターゲット領域特徴点情報とを比較することにより、特徴点マップにおいて、ターゲット領域特徴点が存在する領域を検出する(ステップS112)。
さらにトラッキング部22は、ターゲット領域特徴点により第一平面を定義し、また、動画フレームの特徴点マップにおいてターゲット特徴点が存在する領域により第二平面を定義する(ステップS113)。
そしてトラッキング部22は、第一平面を第二平面に一致させるために、第一平面に作用させる拡大縮小変換・回転変換・平行移動変換の3つの変換処理に対応する4次元変換行列を生成する(ステップS114)。4次元変換配列には、ターゲット領域特徴点を動画フレームの特徴点マップにおけるターゲット特徴点へ平行移動するための成分、すなわち、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータが含まれる。
そしてトラッキング部22は、生成した4次元変換配列を、静止画生成判定部25に渡す(ステップS115)。そしてトラッキング処理を終了する。
続いて、静止画生成判定部25は、トラッキング部22のトラッキング処理により生成された、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータに基づき、画像領域が動画フレームの中の所定範囲に存在するか否かを判定する(ステップS12)。具体的には静止画生成判定部25は、トラッキングにより生成された4次元変換行列の、1行4列目、2行4列目、3行4列目の成分から3次元ベクトル(Tx,Ty,Tz)を生成し、この3次元ベクトルに対して写像f(x,y,z)(=(−ex/z,−ey/z))を作用させることにより、2次元ベクトル(Px,Py)を得る。そして静止画生成判定部25は、2次元ベクトル(Px,Py)が、所定の2次元領域(Xs−a≦x≦Xs+a,Ys−b≦y≦Ys+b)に存在するかどうかを判定する。画像領域が動画フレームの中の所定範囲に存在すると判定した場合、ステップS13に進む。一方画像領域が動画フレームの中の所定範囲に存在しないと判定した場合、ステップS11に戻り、最新の動画フレームにて再度トラッキングを行う。
画像領域が動画フレームの中の所定範囲に存在すると判定した場合、静止画生成判定部25は、静止画生成命令を発行し(ステップS13)、該静止画生成命令を静止画生成命令送信部26に渡す。静止画生成命令送信部26は、静止画生成命令を、作業者用情報処理端末1の静止画生成命令受信部13に送信する(ステップS14)。
続いて、作業者用情報処理端末1の静止画生成命令受信部13は、静止画生成判定サーバ2から静止画生成命令を受信し(ステップS15)、静止画生成命令を静止画生成部14に渡す。そして静止画生成部14は、対象となる静止画(対象静止画)を生成し(ステップS16)、処理が終了する。
このように実施の形態1にかかる静止画自動生成システムによれば、静止画生成判定サーバ2が、指示者用情報処理端末3からの指示情報に基づき、指示情報に係る画像領域が、作業映像に係る動画フレームの中の所定範囲に存在するか否かを判定して静止画生成命令を作業者用情報処理端末1に送信するため、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成することができる。
なお、実施の形態1においては、作業映像受信部21が作業映像配信部24に作業映像を渡し、作業映像配信部24が指示者用情報処理端末3に作業映像を配信する例を示したがこれに限られない。例えば作業映像受信部21は、トラッキング部22に動画フレームを渡し、トラッキング部22が当該動画フレームを作業映像配信部24に渡し、作業映像配信部24が当該動画フレームを作業映像にして指示者用情報処理端末3に作業映像を配信してもよい。
(実施の形態2)
以下に、本発明の実施の形態2について説明をする。図5は本発明の実施の形態2の静止画自動生成システムの構成を示すブロック図である。実施の形態1と同一の構成については同一の符号を付し、説明は省略する。実施の形態2に係る静止画自動生成システムは、実施の形態1にかかる構成と比較して、作業者用情報処理端末201が、静止画蓄積部15と、静止画同期部16とを有する点、及び、作業者用情報処理端末201の静止画生成命令受信部13及び静止画生成部14、並びに静止画生成判定サーバ202のトラッキング部22、静止画生成判定部25、及び静止画生成命令送信部26の動作が相違する。
作業者用情報処理端末201の静止画生成命令受信部13は、静止画生成命令を、静止画同期部16に渡す。
静止画生成部14は、静止画を生成し、該静止画を、静止画蓄積部15へ渡す。
静止画蓄積部15は、静止画を受取ると一定量蓄積し、新しい静止画を受け取るたびに、一番古いものを新しいもので置き換えてゆく。また静止画蓄積部15は、静止画同期部16から静止画取得要求を渡されると、蓄積している複数の静止画を、静止画同期部16へ渡す。
静止画同期部16は、静止画生成命令を受取ると、静止画取得要求を静止画蓄積部15に渡す。そして静止画同期部16から蓄積している複数の静止画を受取ると、蓄積した静止画の解像度を静止画生成命令受信部13から受取った動画フレームと同一の解像度に変更して該動画フレームと比較し、構成画素値との差分が最小になるような静止画を抽出する。そして静止画同期部16は当該静止画を対象静止画とする。
静止画生成判定サーバ202のトラッキング部22は、4次元変換行列、すなわち作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータに加えて、当該動画フレームを静止画生成判定部25に渡す。
静止画生成判定部25は、画像領域が動画フレームの中の所定範囲に存在するか否かを判定する。そして画像領域が動画フレームの中の所定範囲に存在すると判定した場合、静止画生成判定部25は、トラッキング部22から受取った動画フレームを含む静止画生成命令を発行する。
静止画生成命令送信部26は、当該動画フレームを含む静止画生成命令を、作業者用情報処理端末201に送信する。
次に、本発明の実施の形態2に係る静止画自動生成システムについて、図6に示すフローチャートによりその動作を説明する。実施の形態1と同一の動作については同一の符号を付し、説明は省略する。なお、実施の形態2に係る作業者用情報処理端末1は、静止画生成部14が常時静止画を生成し、該静止画を、静止画蓄積部15に蓄積している。
そして実施の形態2にかかる静止画自動生成システムは、静止画生成判定サーバ202のトラッキング部22が、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータを生成して該パラメータを静止画生成判定部25に渡すことに加えて、当該動画フレームを静止画生成判定部25に渡す(ステップS11b)。続くステップS12の動作は、実施の形態1と同一である。
続いて静止画生成判定部25が、画像領域が動画フレームの中の所定範囲に存在すると判定した場合、静止画生成判定部25は、トラッキング部22から受取った動画フレームを含む静止画生成命令を発行し(ステップS13b)、該静止画生成命令を静止画生成命令送信部26に渡す。静止画生成命令送信部26は、静止画生成命令を、作業者用情報処理端末201の静止画生成命令受信部13に送信する(ステップS14b)。
続いて作業者用情報処理端末201の静止画生成命令受信部13は、静止画生成判定サーバ202から静止画生成命令を受信し、静止画生成命令を、静止画同期部16に渡す(ステップS15b)。
静止画同期部16は、静止画生成命令を受取ると、静止画取得要求を静止画蓄積部15に渡す。そして静止画同期部16から蓄積している複数の静止画を受取ると、蓄積した静止画の解像度を静止画生成命令受信部13から受取った動画フレームと同一の解像度に変更して該動画フレームと比較し、構成画素値との差分が最小になるような静止画を抽出する。そして静止画同期部16は当該静止画を対象静止画とする(ステップS16b)。
このように実施の形態2にかかる静止画自動生成システムによれば、静止画生成判定サーバ202が動画フレームを含む静止画生成命令を作業者用情報処理端末201に送信し、作業者用情報処理端末201は、当該動画フレームに基づき過去に撮像した静止画から対象静止画を抽出するため、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成でき、かつ、システム内での通信及び判定制御に基づく処理遅延があっても、予め蓄積している静止画から静止画を抽出するため、所望の静止画を自動的に生成することができる。
(実施の形態3)
以下に、本発明の実施の形態3について説明をする。図7は本発明の実施の形態3の静止画自動生成システムの構成を示すブロック図である。実施の形態1と同一の構成については同一の符号を付し、説明は省略する。実施の形態3に係る静止画自動生成システムは、実施の形態1にかかる構成と比較して、静止画生成判定サーバ2を備えない点が相違する。
作業者用情報処理端末301は、作業映像生成部11と、静止画生成部14と、作業映像受信部21と、トラッキング部22と、指示情報受信部23と、作業映像配信部24と、静止画生成判定部25とを備える。すなわち実施の形態3に係る静止画自動生成システムは、静止画生成判定サーバ2の各構成を作業者用情報処理端末301に集約している点が、実施の形態1に係る構成と相違する。
次に、本発明の実施の形態3に係る静止画自動生成システムについて、図8に示すフローチャートによりその動作を説明する。実施の形態1と同一の動作については同一の符号を付し、説明は省略する。
実施の形態3に係る静止画自動生成システムは、ステップS4cにおいて、作業者用情報処理端末301の作業映像配信部24が、作業映像受信部21から受け取った作業映像を指示者用情報処理端末3へ配信する。
続いて指示者用情報処理端末3の作業映像受信部31は、作業者用情報処理端末301から作業映像を受信する(ステップS5c)。続くステップS6及びステップS7は実施の形態1のものと同一である。
続いて、指示情報送信部34は、指示情報を、作業者用情報処理端末301の指示情報受信機能へ送信する(ステップS8c)。
続いて、作業者用情報処理端末301の指示情報受信部23は、指示者用情報処理端末3から指示情報を受信すると(ステップS9c)、トラッキング部22に、当該指示情報を渡す。続くステップS10〜S12は、処理が静止画生成判定サーバ2ではなく作業者用情報処理端末301で行われる点を除き実施の形態1と同一の動作である。
ステップS12において画像領域が動画フレームの中の所定範囲に存在すると判定した場合、静止画生成判定部25は、静止画生成命令を発行し(ステップS13c)、該静止画生成命令を静止画生成部14に渡す。そして静止画生成部14は、静止画生成命令を受取ると、対象静止画を生成し(ステップS16)、処理が終了する。
このように実施の形態3にかかる静止画自動生成システムによれば、作業者用情報処理端末301が、指示者用情報処理端末3からの指示情報に基づき、指示情報に係る画像領域が、作業映像に係る動画フレームの中の所定範囲に存在するか否かを判定して静止画生成命令を発行するため、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成することができる。
(実施の形態4)
以下に、本発明の実施の形態4について説明をする。図9は本発明の実施の形態4の静止画自動生成システムの構成を示すブロック図である。実施の形態3と同一の構成については同一の符号を付し、説明は省略する。実施の形態4に係る静止画自動生成システムは、実施の形態3にかかる構成と比較して、作業者用情報処理端末401が、静止画蓄積部15と、静止画同期部16とを有する点、及び、作業者用情報処理端末401の静止画生成命令受信部13及び静止画生成部14、トラッキング部22、静止画生成判定部25、及び静止画生成命令送信部26の動作が相違する。
作業者用情報処理端末401の静止画蓄積部15と、静止画同期部16は、実施の形態2における各構成と同一の構成である。また作業者用情報処理端末401の静止画生成命令受信部13及び静止画生成部14、トラッキング部22、静止画生成判定部25、及び静止画生成命令送信部26の動作は、処理が静止画生成判定サーバ2ではなく作業者用情報処理端末401で行われる点を除き実施の形態2と同一の動作である。
次に、本発明の実施の形態4に係る静止画自動生成システムについて、図10に示すフローチャートによりその動作を説明する。実施の形態3と同一の動作については同一の符号を付し、説明は省略する。なお、実施の形態4に係る作業者用情報処理端末1は、静止画生成部14が常時静止画を生成し、該静止画を、静止画蓄積部15に蓄積している。
実施の形態4にかかる静止画自動生成システムは、作業者用情報処理端末401のトラッキング部22が、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータを生成して該パラメータを静止画生成判定部25に渡すことに加えて、当該動画フレームを静止画生成判定部25に渡す(ステップS11d)。
続いてステップS12において画像領域が動画フレームの中の所定範囲に存在すると判定した場合、静止画生成判定部25は、動画フレームを含む静止画生成命令を発行し(ステップS13d)、該静止画生成命令を静止画同期部16に渡す。
静止画同期部16は、静止画生成命令を受取ると、静止画取得要求を静止画蓄積部15に渡す。そして静止画同期部16から蓄積している複数の静止画を受取ると、蓄積した静止画の解像度を静止画生成命令受信部13から受取った動画フレームと同一の解像度に変更して該動画フレームと比較し、構成画素値との差分が最小になるような静止画を抽出する。そして静止画同期部16は当該静止画を対象静止画とする(ステップS16d)。
このように実施の形態4にかかる静止画自動生成システムによれば、作業者用情報処理端末401は、当該動画フレームに基づき過去に撮像した静止画から対象静止画を抽出するため、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成でき、かつ、システム内での通信及び判定制御に基づく処理遅延があっても、予め蓄積している静止画から静止画を抽出するため、所望の静止画を自動的に生成することができる。
(実施の形態5)
以下に、本発明の実施の形態5について説明をする。図11は本発明の実施の形態5の静止画自動生成システムの構成を示すブロック図である。実施の形態1と同一の構成については同一の符号を付し、説明は省略する。実施の形態5に係る静止画自動生成システムは、実施の形態1にかかる構成と比較して、静止画生成判定サーバ2を備えない点が相違する。
本発明の実施の形態5に係る指示者用情報処理端末503は、作業映像表示部32と、指示情報生成部33と、指示情報送信部34と、作業映像受信部21と、トラッキング部22と、静止画生成判定部25と、静止画生成命令送信部26とを備える。すなわち実施の形態5に係る静止画自動生成システムは、静止画生成判定サーバ2の各構成を指示者用情報処理端末503に集約している点が、実施の形態1に係る構成と相違する。
次に、本発明の実施の形態5に係る静止画自動生成システムについて、図12に示すフローチャートによりその動作を説明する。実施の形態1と同一の動作については同一の符号を付し、説明は省略する。
実施の形態5に係る静止画自動生成システムは、ステップS2eにおいて、作業者用情報処理端末1の作業映像送信部12が、作業映像生成部11より作業映像を受信し、指示者用情報処理端末503の作業映像受信部21に作業映像を送信する。
続いて、指示者用情報処理端末503の作業映像受信部31は、作業者用情報処理端末1から作業映像を受信し(ステップS5e)、当該作業映像から、作業映像を構成する複数の動画フレームを復号し、作業映像表示部32に渡す。続くステップS6及びステップS7は実施の形態1と同一の動作である。また、続くステップS10〜ステップS14は、処理が静止画生成判定サーバ2ではなく指示者用情報処理端末503で行われる点を除き実施の形態1と同一の動作である。
続いて、作業者用情報処理端末1の静止画生成命令受信部13は、指示者用情報処理端末503から静止画生成命令を受信し(ステップS15e)、静止画生成命令を静止画生成部14に渡す。そして静止画生成部14は、対象静止画を生成し(ステップS16)、処理が終了する。
このように実施の形態5にかかる静止画自動生成システムによれば、指示者用情報処理端末503が、指示情報に基づき、指示情報に係る画像領域が作業映像に係る動画フレームの中の所定範囲に存在するか否かを判定して静止画生成命令を発行するため、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成することができる。
(実施の形態6)
以下に、本発明の実施の形態6について説明をする。図13は本発明の実施の形態6の静止画自動生成システムの構成を示すブロック図である。実施の形態5と同一の構成については同一の符号を付し、説明は省略する。実施の形態6に係る静止画自動生成システムは、実施の形態5にかかる構成と比較して、作業者用情報処理端末601が、静止画蓄積部15と、静止画同期部16とを有する点、及び、作業者用情報処理端末601の静止画生成命令受信部13及び静止画生成部14、及び指示者用情報処理端末603のトラッキング部22、静止画生成判定部25、及び静止画生成命令送信部26の動作が相違する。
作業者用情報処理端末601の静止画生成命令受信部13、静止画生成部14、静止画蓄積部15及び静止画同期部16は、実施の形態2における各構成と同一の構成である。また指示者用情報処理端末603のトラッキング部22、静止画生成判定部25、及び静止画生成命令送信部26の動作は、処理が静止画生成判定サーバ2ではなく指示者用情報処理端末603で行われる点を除き実施の形態2と同一の動作である。
次に、本発明の実施の形態6に係る静止画自動生成システムについて、図14に示すフローチャートによりその動作を説明する。実施の形態5と同一の動作については同一の符号を付し、説明は省略する。なお、実施の形態6に係る作業者用情報処理端末1は、静止画生成部14が常時静止画を生成し、該静止画を、静止画蓄積部15に蓄積している。
実施の形態6にかかる静止画自動生成システムは、指示者用情報処理端末603のトラッキング部22が、作業映像に係る動画フレームの中の、画像領域の位置を示すパラメータを生成して該パラメータを静止画生成判定部25に渡すことに加えて、当該動画フレームを静止画生成判定部25に渡す(ステップS11f)。続くステップS12は実施の形態5と同一の動作である。
続いて画像領域が動画フレームの中の所定範囲に存在すると判定した場合、静止画生成判定部25は、該動画フレームを含む静止画生成命令を発行し(ステップS13f)、該静止画生成命令を静止画生成命令送信部26に渡す。静止画生成命令送信部26は、静止画生成命令を、作業者用情報処理端末601の静止画生成命令受信部13に送信する(ステップS14f)。
続いて作業者用情報処理端末601の静止画生成命令受信部13は、静止画生成判定サーバ2から静止画生成命令を受信し、静止画生成命令を、静止画同期部16に渡す(ステップS15f)。
静止画同期部16は、静止画生成命令を受取ると、静止画取得要求を静止画蓄積部15に渡す。そして静止画同期部16から蓄積している複数の静止画を受取ると、蓄積した静止画の解像度を静止画生成命令受信部13から受取った動画フレームと同一の解像度に変更して該動画フレームと比較し、構成画素値との差分が最小になるような静止画を抽出する。そして静止画同期部16は当該静止画を対象静止画とする(ステップS16f)。
このように実施の形態6にかかる静止画自動生成システムによれば、指示者用情報処理端末603が動画フレームを含む静止画生成命令を作業者用情報処理端末601に送信し、作業者用情報処理端末601は、当該動画フレームに基づき過去に撮像した静止画から対象静止画を抽出するため、ある地点での作業映像が、通信により遠隔地間で共有される際に、作業映像に映る特定の部位が、作業映像において指示者が意図した位置に変位した際に、その瞬間の作業映像に対する静止画を自動的に正確に生成でき、かつ、システム内での通信及び判定制御に基づく処理遅延があっても、予め蓄積している静止画から静止画を抽出するため、所望の静止画を自動的に生成することができる。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
1、201、301、401、601 作業者用情報処理端末
2、202 静止画生成判定サーバ
3、503、603 指示者用情報処理端末
11 作業映像生成部
12 作業映像送信部
13 静止画生成命令受信部
14 静止画生成部
15 静止画蓄積部
16 静止画同期部
21 作業映像受信部
22 トラッキング部
23 指示情報受信部
24 作業映像配信部
25 静止画生成判定部
26 静止画生成命令送信部
31 作業映像受信部
32 作業映像表示部
33 指示情報生成部
34 指示情報送信部
321 マウスポインタ

Claims (10)

  1. 作業者用情報処理端末と、静止画生成判定サーバと、指示者用情報処理端末とを備える静止画自動生成システムであって、
    前記作業者用情報処理端末は、作業映像を撮像して前記静止画生成判定サーバに送信し、
    前記静止画生成判定サーバは、受信した前記作業映像を前記指示者用情報処理端末に配信し、
    前記指示者用情報処理端末は、画像領域を指示する指示情報を生成して前記静止画生成判定サーバに送信し、
    前記静止画生成判定サーバは、前記指示情報に係る前記画像領域が、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の所定範囲に存在するか否かを判定し、該判定の結果、前記画像領域が前記所定範囲に存在する場合、静止画生成命令を前記作業者用情報処理端末に送信し、
    前記作業者用情報処理端末は、前記静止画生成命令を受信した場合、対象静止画を生成することを特徴とする静止画自動生成システム。
  2. 前記作業者用情報処理端末はさらに、前記作業映像の各動画フレームに対応する静止画を生成して蓄積し、
    前記静止画生成命令は、前記画像領域が前記所定範囲に存在する動画フレームを含み、
    前記作業者用情報処理端末は、前記静止画生成命令に含まれる前記動画フレームに対応する前記静止画を抽出することにより対象静止画を生成することを特徴とする、請求項1に記載の静止画自動生成システム。
  3. 作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムであって、
    前記作業者用情報処理端末は、作業映像を撮像して前記指示者用情報処理端末に配信し、
    前記指示者用情報処理端末は、画像領域を指示する指示情報を生成して前記作業者用情報処理端末に送信し、
    前記作業者用情報処理端末は、前記指示情報に係る前記画像領域が、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の所定範囲に存在するか否かを判定し、該判定の結果、前記画像領域が前記所定範囲に存在する場合、対象静止画を生成することを特徴とする静止画自動生成システム。
  4. 前記作業者用情報処理端末はさらに、前記作業映像の各動画フレームに対応する静止画を生成して蓄積し、前記判定の結果、前記画像領域が前記所定範囲に存在する場合、静止画生成命令を発行し、
    前記静止画生成命令は、前記画像領域が前記所定範囲に存在する動画フレームを含み、
    前記作業者用情報処理端末は、前記静止画生成命令に含まれる前記動画フレームに対応する前記静止画を抽出することにより対象静止画を生成することを特徴とする、請求項3に記載の静止画自動生成システム。
  5. 作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムであって、
    前記作業者用情報処理端末は、作業映像を撮像して前記指示者用情報処理端末に配信し、
    前記指示者用情報処理端末は、画像領域を指示する指示情報を生成し、該指示情報に係る前記画像領域が、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の所定範囲に存在するか否かを判定し、該判定の結果、前記画像領域が前記所定範囲に存在する場合、静止画生成命令を前記作業者用情報処理端末に送信し、
    前記作業者用情報処理端末は、前記静止画生成命令を受信した場合、対象静止画を生成することを特徴とする静止画自動生成システム。
  6. 前記作業者用情報処理端末はさらに、前記作業映像の各動画フレームに対応する静止画を生成して蓄積し、
    前記静止画生成命令は、前記画像領域が前記所定範囲に存在する動画フレームを含み、
    前記作業者用情報処理端末は、前記静止画生成命令に含まれる前記動画フレームに対応する前記静止画を抽出することにより対象静止画を生成することを特徴とする、請求項5に記載の静止画自動生成システム。
  7. 作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムにおける作業者用情報処理端末であって、
    作業映像を生成する作業映像生成部と、
    前記作業映像生成部が生成した前記作業映像を、前記指示者用情報処理端末に配信する作業映像配信部と、
    前記作業映像に係る動画フレームと、前記指示者用情報処理端末から受信した画像領域を指示する指示情報とに基づき、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の前記画像領域の位置を示すパラメータを生成するトラッキング部と、
    前記パラメータに基づき、前記画像領域の前記位置が所定範囲内であるか否かを判定する静止画生成判定部と、
    前記静止画生成判定部が、前記画像領域の前記位置が前記所定範囲内であると判定した場合に対象静止画を生成する静止画生成部と、
    を有することを特徴とする作業者用情報処理端末。
  8. 前記作業者用情報処理端末はさらに、
    前記作業映像の各動画フレームに対応する静止画を生成して蓄積する静止画蓄積部を有し、
    前記静止画生成部は、前記判定の結果、前記画像領域の前記位置が前記所定範囲内であると判定した場合、前記動画フレームに対応する前記静止画を前記静止画蓄積部から抽出することにより前記対象静止画を生成することを特徴とする、請求項7に記載の作業者用情報処理端末。
  9. 作業者用情報処理端末と、指示者用情報処理端末とを備える静止画自動生成システムにおける指示者用情報処理端末であって、
    前記作業者用情報処理端末から作業映像を受信する作業映像受信部と、
    前記作業映像を表示する作業映像表示部と、
    画像領域を指示する指示情報を指示者の操作を検知して生成する指示情報生成部と、
    前記作業映像に係る動画フレームと、前記指示情報とに基づき、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の前記画像領域の位置を示すパラメータを生成するトラッキング部と、
    前記パラメータに基づき、前記画像領域の前記位置が所定範囲内であるか否かを判定し、前記画像領域の前記位置が前記所定範囲内である場合、静止画生成命令を生成する静止画生成判定部と、
    静止画生成命令を前記作業者用情報処理端末に送信する静止画生成命令送信部と、
    を有することを特徴とする指示者用情報処理端末
  10. 作業映像と、画像領域を指示する指示情報とから対象静止画を自動生成するシステムにおける判定装置であって、
    前記作業映像に係る動画フレームと、前記指示情報とに基づき、該指示情報を受信した時点で前記作業映像に係る最新の動画フレームの中の前記画像領域の位置を示すパラメータを生成するトラッキング部と、
    前記パラメータに基づき、前記画像領域の前記位置が所定範囲内であるか否かを判定し、前記画像領域の前記位置が前記所定範囲内である場合に静止画生成命令を生成する静止画生成判定部と、
    を有する判定装置。
JP2012150577A 2012-07-04 2012-07-04 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 Expired - Fee Related JP5864371B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012150577A JP5864371B2 (ja) 2012-07-04 2012-07-04 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012150577A JP5864371B2 (ja) 2012-07-04 2012-07-04 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置

Publications (2)

Publication Number Publication Date
JP2014014011A JP2014014011A (ja) 2014-01-23
JP5864371B2 true JP5864371B2 (ja) 2016-02-17

Family

ID=50109454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012150577A Expired - Fee Related JP5864371B2 (ja) 2012-07-04 2012-07-04 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置

Country Status (1)

Country Link
JP (1) JP5864371B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5972302B2 (ja) * 2014-02-24 2016-08-17 株式会社オプティム オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム
WO2016117480A1 (ja) * 2015-01-19 2016-07-28 シャープ株式会社 テレコミュニケーションシステム
CN109905751B (zh) * 2019-03-01 2020-12-15 四川长虹电器股份有限公司 一种智能画框的控制方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267663A (ja) * 2008-04-24 2009-11-12 Sony Ericsson Mobilecommunications Japan Inc 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
JP2010062834A (ja) * 2008-09-03 2010-03-18 Olympus Corp 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置

Also Published As

Publication number Publication date
JP2014014011A (ja) 2014-01-23

Similar Documents

Publication Publication Date Title
JP6951565B2 (ja) 深度推定方法及び装置、電子機器並びに媒体
JP2012048597A5 (ja) 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
WO2018133692A1 (zh) 实现增强现实的方法、计算机设备及存储介质
US10133534B2 (en) Image processing method and apparatus for interactive augmented reality
JP6230113B2 (ja) 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム
KR101623826B1 (ko) 히트맵 영상 기능을 가진 감시카메라
US20170201689A1 (en) Remotely controlled communicated image resolution
US20130063547A1 (en) Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium
US20180213185A1 (en) Method and system for monitoring a scene based on a panoramic view
JP5864371B2 (ja) 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置
JPWO2021076757A5 (ja)
CN111325201A (zh) 影像处理方法、装置与可移动设备、无人机遥控器及系统
WO2017013986A1 (ja) 情報処理装置、端末、および、遠隔通信システム
CN108961424B (zh) 虚拟信息处理方法、设备及存储介质
EP2808805A1 (en) Method and apparatus for displaying metadata on a display and for providing metadata for display
JP2015115723A (ja) 撮影動画像に指示画像を重畳することができる映像指示方法、システム、端末及びプログラム
KR102588858B1 (ko) 3d 투어 비교 표시 시스템
WO2017086355A1 (ja) 送信装置、送信方法、受信装置、受信方法および送受信システム
WO2016117480A1 (ja) テレコミュニケーションシステム
KR101583598B1 (ko) 고해상도 영상 처리 카메라, 서비스서버, 시스템 및 방법
JP6242009B2 (ja) 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法
KR102250873B1 (ko) 보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법
WO2018016655A1 (ja) 指示装置、指示装置の制御方法、遠隔作業支援システムおよび情報処理プログラム
US10555012B2 (en) Method and systems for providing video data streams to multiple users
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151224

R150 Certificate of patent or registration of utility model

Ref document number: 5864371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees