JP6805858B2 - 送信制御プログラム、送信制御方法および送信制御装置 - Google Patents

送信制御プログラム、送信制御方法および送信制御装置 Download PDF

Info

Publication number
JP6805858B2
JP6805858B2 JP2017020569A JP2017020569A JP6805858B2 JP 6805858 B2 JP6805858 B2 JP 6805858B2 JP 2017020569 A JP2017020569 A JP 2017020569A JP 2017020569 A JP2017020569 A JP 2017020569A JP 6805858 B2 JP6805858 B2 JP 6805858B2
Authority
JP
Japan
Prior art keywords
image
transmission control
range
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017020569A
Other languages
English (en)
Other versions
JP2018129621A (ja
Inventor
博 桑原
博 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017020569A priority Critical patent/JP6805858B2/ja
Priority to US15/886,972 priority patent/US10362210B2/en
Publication of JP2018129621A publication Critical patent/JP2018129621A/ja
Application granted granted Critical
Publication of JP6805858B2 publication Critical patent/JP6805858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、送信制御プログラム、送信制御方法および送信制御装置に関する。
近年、現場の作業者がヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)ともいう。)と端末装置とを装着し、作業指示やマニュアル等を参照しながら作業を行うことがある。また、作業者に対して支援を行う支援者が、作業者の端末装置とネットワークを介して接続された情報処理装置を用いて、HMDや端末装置で撮像された撮像画像を共有したり、作業指示を出したりすることが提案されている。このとき、例えば、支援者が部品の製造番号が写っている撮像画像を確認したい場合がある。
特開2008−245313号公報 特開2000−184367号公報 特開2005−323310号公報
しかしながら、例えば、撮像画像が対象の部品から遠くの位置で撮像された場合、部品の製造番号が判読できない場合がある。このため、例えば、支援者は撮像画像を拡大することで製造番号を判読しようとするが、拡大した画像がもとの撮像画像のどの部分であったかが解りづらくなる場合がある。
一つの側面では、本発明は、指定範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる送信制御プログラム、送信制御方法および送信制御装置を提供することにある。
一つの態様では、送信制御プログラムは、カメラにより撮像された撮像画像を取得すると、取得した前記撮像画像を情報処理装置に送信する処理をコンピュータに実行させる。送信制御プログラムは、前記情報処理装置から送信された、範囲情報を含む画像取得要求を受け付けると、前記カメラにより撮像された撮像画像のうち、前記範囲情報に応じた範囲の画像を抽出する処理をコンピュータに実行させる。送信制御プログラムは、抽出した前記画像と、取得した前記撮像画像における前記範囲の位置情報とを前記情報処理装置に送信する処理をコンピュータに実行させる。
指定範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
図1は、実施例1の送信制御システムの構成の一例を示すブロック図である。 図2は、範囲指定の一例を示す図である。 図3は、範囲指定の他の一例を示す図である。 図4は、抽出画像の表示の一例を示す図である。 図5は、実施例1の送信制御処理の一例を示すシーケンス図である。 図6は、実施例2の送信制御システムの構成の一例を示すブロック図である。 図7は、抽出画像の表示の他の一例を示す図である。 図8は、実施例2の送信制御処理の一例を示すシーケンス図である。 図9は、実施例3の送信制御システムの構成の一例を示すブロック図である。 図10は、実施例3の送信制御処理の一例を示すシーケンス図である。 図11は、実施例4の送信制御システムの構成の一例を示すブロック図である。 図12は、実施例4の送信制御処理の一例を示すシーケンス図である。 図13は、送信制御プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する送信制御プログラム、送信制御方法および送信制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図1は、実施例1の送信制御システムの構成の一例を示すブロック図である。図1に示す送信制御システム1は、端末装置10と、情報処理装置100とを有する。なお、図1には、システムが1つの端末装置10および情報処理装置100を有する場合を示したが、端末装置10および情報処理装置100の数は限定されず、送信制御システム1は、任意の数の端末装置10および情報処理装置100を有してもよい。
端末装置10および情報処理装置100の間は、ネットワークNを介して相互に通信可能に接続される。かかるネットワークNには、有線または無線を問わず、インターネットを始め、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。
送信制御システム1は、作業者の端末装置10と支援者の情報処理装置100との間で、端末装置10の画面の画像を共有することで指示を出したり、端末装置10を遠隔操作したりする遠隔支援を行うシステムの一例である。端末装置10は、例えば、点検を行う作業者がHMDとともに装着し、作業指示やマニュアル等を参照しながら点検作業を行うための情報処理装置である。情報処理装置100は、作業者に対して支援を行う支援者が用いる情報処理装置であり、作業者の端末装置10との間で、端末装置10の画面の画像を共有することで指示を出したり、端末装置10を遠隔操作したりする情報処理装置である。
端末装置10は、カメラにより撮像された撮像画像を取得すると、取得した撮像画像を情報処理装置100に送信する。端末装置10は、情報処理装置100から送信された、範囲情報を含む画像取得要求を受け付けると、カメラにより撮像された撮像画像のうち、範囲情報に応じた範囲の画像を抽出する。端末装置10は、抽出した画像と、取得した撮像画像における範囲の位置情報とを情報処理装置100に送信する。これにより、端末装置10は、指定範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
次に、端末装置10の構成について説明する。図1に示すように、端末装置10は、通信部11と、カメラ12と、表示操作部13と、記憶部14と、制御部15とを有する。なお、端末装置10は、図1に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部11は、例えば、第3世代移動通信システム、LTE(Long Term Evolution)等の携帯電話回線および無線LAN等の通信モジュール等によって実現される。通信部11は、ネットワークNを介して情報処理装置100と無線で接続され、情報処理装置100との間で情報の通信を司る通信インタフェースである。通信部11は、制御部15から入力された撮像画像、抽出画像、および、範囲の位置情報を情報処理装置100に送信する。また、通信部11は、情報処理装置100から画像取得要求を受信する。通信部11は、受信した画像取得要求を制御部15に出力する。
カメラ12は、例えば、作業者が装着するHMDに設けられ、作業者の前方を撮像する。カメラ12は、例えば、撮像素子としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはCCD(Charge Coupled Device)イメージセンサ等を用いて、画像を撮像する。カメラ12は、撮像素子が受光した光を光電変換しA/D(Analog/Digital)変換を行って撮像画像を生成する。カメラ12は、生成した撮像画像を制御部15に出力する。
表示操作部13は、各種情報を表示するための表示デバイス、および、ユーザである作業者から各種操作を受け付ける入力デバイスである。例えば、表示操作部13は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部13は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部13は、表示デバイスと入力デバイスとが一体化される。表示操作部13は、作業者によって入力された操作を操作情報として制御部15に出力する。
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部14は、制御部15での処理に用いる情報を記憶する。
制御部15は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部15は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部15は、送信制御部16と、抽出部17とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
送信制御部16では、例えば、作業者の操作により、カメラ12により撮像された撮像画像の取得、および、取得した撮像画像の情報処理装置100への送信が指示される。送信制御部16は、通信部11およびネットワークNを介して、取得した撮像画像の情報処理装置100への送信を開始する。
送信制御部16は、抽出部17から抽出画像および範囲の位置情報が入力されると、通信部11およびネットワークNを介して、入力された抽出画像および範囲の位置情報を情報処理装置100に送信する。すなわち、送信制御部16は、抽出した画像と、取得した撮像画像における範囲の位置情報とを情報処理装置100に送信する。
送信制御部16は、例えば、作業者による停止操作の入力等に基づいて、撮像画像の送信を停止するか否かを判定する。送信制御部16は、撮像画像の送信を停止しない場合には、引き続き、撮像画像の取得および送信を行う。送信制御部16は、撮像画像の送信を停止する場合には、撮像画像の取得および送信を停止する。
抽出部17は、ネットワークNおよび通信部11を介して、情報処理装置100から画像取得要求を受信したか否かを判定する。抽出部17は、画像取得要求を受信しない場合には、引き続き、画像取得要求の受信を待機する。抽出部17は、画像取得要求を受信した場合には、高画質の撮像画像をカメラ12から取得する。すなわち、抽出部17は、カメラ12に対して、高画質の画像を撮像するように指示する。なお、高画質の撮像画像は、例えば、送信制御部16が取得して情報処理装置100に送信する撮像画像よりも高画質の撮像画像である。
抽出部17は、取得した高画質の撮像画像から、画像取得要求に含まれる範囲情報に応じた範囲の画像を抽出する。なお、抽出部17が抽出する画像は、範囲情報に応じた範囲の静止画像または動画像のうち、いずれであっても構わない。抽出部17は、抽出した画像、および、抽出した範囲の位置情報を、抽出画像および範囲の位置情報として送信制御部16に出力する。すなわち、抽出部17は、情報処理装置100から送信された、範囲情報を含む画像取得要求を受け付けると、カメラ12により撮像された撮像画像のうち、範囲情報に応じた範囲の画像を抽出する。なお、画像取得要求に含まれる範囲情報は、情報処理装置100において入力された位置に基づいて決定された範囲を示す情報である。
続いて、情報処理装置100の構成について説明する。図1に示すように、情報処理装置100は、通信部110と、表示部111と、操作部112と、記憶部120と、制御部130を有する。なお、情報処理装置100は、図1に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部110は、例えば、第3世代移動通信システム、LTE等の携帯電話回線および無線LAN等の通信モジュール等によって実現される。また、通信部110は、携帯電話回線等の無線基地局を介して端末装置10と通信する場合には、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、ネットワークNを介して端末装置10と無線または有線で接続され、端末装置10との間で情報の通信を司る通信インタフェースである。通信部110は、端末装置10から撮像画像、抽出画像、および、範囲の位置情報を受信する。通信部110は、受信した撮像画像、抽出画像、および、範囲の位置情報を制御部130に出力する。また、通信部110は、制御部130から入力された画像取得要求を端末装置10に送信する。
表示部111は、各種情報を表示するための表示デバイスである。表示部111は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部111は、制御部130から入力された表示画面等の各種画面を表示する。
操作部112は、情報処理装置100のユーザである支援者から各種操作を受け付ける入力デバイスである。操作部112は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部112は、支援者によって入力された操作を操作情報として制御部130に出力する。なお、操作部112は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部111の表示デバイスと、操作部112の入力デバイスとは、一体化されるようにしてもよい。
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部120は、制御部130での処理に用いる情報を記憶する。
図1の説明に戻って、制御部130は、例えば、CPUやMPU等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASICやFPGA等の集積回路により実現されるようにしてもよい。制御部130は、取得部131と、指定部132とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部131は、例えば、支援者の操作により、支援対象の端末装置10と接続する。取得部131は、接続した端末装置10から撮像画像を受信すると、受信した撮像画像について表示部111への表示を開始する。
取得部131は、ネットワークNおよび通信部110を介して、端末装置10から抽出画像および範囲の位置情報を受信して取得する。取得部131は、取得した範囲の位置情報に基づいて、抽出画像を撮像画像とともに表示部111に表示させる。取得部131は、例えば、撮像画像に対して抽出画像に対応する範囲を切り抜いて、当該範囲に抽出画像をはめ込んだ画像を表示部111に表示させる。すなわち、取得部131は、指定部132で入力された指定範囲の画像を、撮像画像の指定範囲に応じた位置に表示させる。
取得部131は、例えば、支援者による停止操作の入力等に基づいて、撮像画像の受信を停止するか否かを判定する。取得部131は、撮像画像の受信を停止しない場合には、引き続き、撮像画像の受信および表示を行う。取得部131は、撮像画像の受信を停止する場合には、撮像画像の受信および表示を停止する。
指定部132は、支援者から操作部112を介して、表示部111に表示された撮像画像に対して、範囲指定が入力されたか否かを判定する。指定部132は、範囲指定が入力された場合には、入力された撮像画像に対する範囲指定の情報(以下、範囲情報という。)を含む画像取得要求を、通信部110およびネットワークNを介して、端末装置10に送信する。すなわち、指定部132は、支援者から指定範囲の入力を受け付けて、受け付けた指定範囲を示す範囲情報を含む画像取得要求を端末装置10に送信する。つまり、範囲情報は、支援者から入力された位置に基づいて決定された範囲を示す情報である。指定部132は、範囲指定が入力されない場合には、引き続き、範囲指定の入力を待機する。
ここで、図2から図4を用いて範囲指定および抽出画像の表示について説明する。図2は、範囲指定の一例を示す図である。図2に示すように、指定部132は、撮像画像を表示する表示画面20において、例えばマウス操作により、座標(X1,Y1)および座標(X2,Y2)が指定されると、これらの座標で指定される範囲21を示す範囲情報を含む画像取得要求を生成する。指定部132は、生成した画像取得要求を端末装置10に送信する。これにより、指定部132は、支援者が目的とする範囲を正確に指定できる。
図3は、範囲指定の他の一例を示す図である。図3の表示画面22に示すように、指定部132は、例えばマウス操作により、座標(X,Y)が指定されると、座標(X,Y)を中心とした範囲23を示す座標(X1,Y1)および座標(X2,Y2)を、範囲情報とするようにしてもよい。これにより、指定部132は、図2と比較して、より簡単な操作で支援者が目的とする範囲を指定できる。
図4は、抽出画像の表示の一例を示す図である。図4に示す表示画面24は、撮像画像のうち、範囲の位置情報に応じた位置に抽出画像25が表示された一例である。抽出画像25は、例えば、部品の銘板26の製造番号が判読可能な高画質の撮像画像から、情報処理装置100から受信した画像取得要求に含まれる範囲情報に応じた範囲の画像を抽出したものである。
次に、実施例1の送信制御システム1の動作について説明する。図5は、実施例1の送信制御処理の一例を示すシーケンス図である。
端末装置10の送信制御部16は、例えば、作業者の操作により、カメラ12により撮像された撮像画像の取得、および、取得した撮像画像の情報処理装置100への送信が指示されると、撮像画像の取得および送信を開始する(ステップS1)。情報処理装置100の取得部131は、端末装置10からの撮像画像の受信および表示部111への表示を開始する(ステップS2)。
情報処理装置100の指定部132は、撮像画像に対して範囲指定が入力されたか否かを判定する(ステップS3)。指定部132は、範囲指定が入力された場合には(ステップS3:肯定)、範囲情報を含む画像取得要求を端末装置10に送信する(ステップS4)。指定部132は、範囲指定が入力されない場合には(ステップS3:否定)、ステップS12に進む。
端末装置10の抽出部17は、情報処理装置100から画像取得要求を受信したか否かを判定する(ステップS5)。抽出部17は、画像取得要求を受信しない場合には(ステップS5:否定)、ステップS9に進む。抽出部17は、画像取得要求を受信した場合には(ステップS5:肯定)、高画質の撮像画像をカメラ12から取得する(ステップS6)。抽出部17は、取得した高画質の撮像画像から、画像取得要求に含まれる範囲情報に応じた範囲の画像を抽出する(ステップS7)。抽出部17は、抽出した画像、および、抽出した範囲の位置情報を、抽出画像および範囲の位置情報として送信制御部16に出力する。
送信制御部16は、抽出部17から抽出画像および範囲の位置情報が入力されると、入力された抽出画像および範囲の位置情報を情報処理装置100に送信する(ステップS8)。送信制御部16は、撮像画像の送信を停止するか否かを判定する(ステップS9)。送信制御部16は、撮像画像の送信を停止しない場合には(ステップS9:否定)、ステップS5に戻る。送信制御部16は、撮像画像の送信を停止する場合には(ステップS9:肯定)、撮像画像の取得および送信を停止して処理を終了する。
情報処理装置100の取得部131は、端末装置10から抽出画像および範囲の位置情報を受信する(ステップS10)。取得部131は、受信した範囲の位置情報に基づいて、抽出画像を撮像画像とともに表示部111に表示させる(ステップS11)。取得部131は、撮像画像の受信を停止するか否かを判定する(ステップS12)。取得部131は、撮像画像の受信を停止しない場合には(ステップS12:否定)、ステップS3に戻る。取得部131は、撮像画像の受信を停止する場合には(ステップS12:肯定)、撮像画像の受信および表示を停止して処理を終了する。これにより、端末装置10は、指定範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
このように、端末装置10は、カメラ12により撮像された撮像画像を取得すると、取得した撮像画像を情報処理装置100に送信する。また、端末装置10は、情報処理装置100から送信された、範囲情報を含む画像取得要求を受け付けると、カメラ12により撮像された撮像画像のうち、範囲情報に応じた範囲の画像を抽出する。また、端末装置10は、抽出した画像と、取得した撮像画像における範囲の位置情報とを情報処理装置100に送信する。その結果、指定範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
また、端末装置10では、範囲情報は、情報処理装置100において入力された位置に基づいて決定された範囲を示す情報である。その結果、支援者によって指定される指定範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
上記実施例1では、撮像画像のうち、抽出する画像の範囲を支援者がマウス操作等で入力することで指定したが、撮像画像に含まれる基準物に基づいて、抽出する画像の範囲を決定してもよく、この場合の実施の形態につき、実施例2として説明する。図6は、実施例2の送信制御システムの構成の一例を示すブロック図である。図6に示す送信制御システム2は、端末装置50と、情報処理装置200とを有する。なお、実施例1の送信制御システム1と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
実施例2の端末装置50の制御部55は、実施例1の端末装置10の制御部15と比較して、送信制御部16および抽出部17に代えて、送信制御部56および抽出部57を有する。
送信制御部56では、例えば、作業者の操作により、カメラ12により撮像された撮像画像の取得、および、取得した撮像画像の情報処理装置200への送信が指示される。送信制御部56は、通信部11およびネットワークNを介して、取得した撮像画像の情報処理装置200への送信を開始する。また、送信制御部56は、取得した撮像画像について、予め登録された基準物、例えば、AR(Augmented Reality)マーカ等に対するマーカ認識処理を実行する。
送信制御部56は、マーカ認識処理の結果、取得した撮像画像について登録済みのマーカを認識したか否かを判定する。送信制御部56は、登録済みのマーカを認識しない場合には、引き続き、撮像画像について、マーカ認識処理を実行する。送信制御部56は、登録済みのマーカを認識した場合には、画像取得指示を抽出部57に出力する。なお、送信制御部56における抽出画像および範囲の位置情報の送信に関する処理、ならびに、送信停止に関する処理は、実施例1と同様であるので、その説明を省略する。
抽出部57は、送信制御部56から画像取得指示が入力されると、高画質の撮像画像をカメラ12から取得する。すなわち、抽出部57は、カメラ12に対して、高画質の画像を撮像するように指示する。なお、高画質の撮像画像は、例えば、送信制御部56が取得して情報処理装置200に送信する撮像画像よりも高画質の撮像画像である。
抽出部57は、取得した高画質の撮像画像から、マーカに対応する範囲情報に応じた範囲の画像を抽出する。なお、マーカに対応する範囲情報は、予め、記憶部14にマーカと抽出する範囲の座標とを対応付けて記憶される。すなわち、受け付けた画像取得要求に含まれる範囲情報は、撮像画像に含まれる基準物を識別する情報である。また、実施例1と同様に、抽出部57が抽出する画像は、範囲情報に応じた範囲の静止画像または動画像のうち、いずれであっても構わない。抽出部57は、抽出した画像、および、抽出した範囲の位置情報を、抽出画像および範囲の位置情報として送信制御部56に出力する。
実施例2の情報処理装置200の制御部230は、実施例1の情報処理装置100の制御部130と比較して、取得部131に代えて取得部231を有する。また、制御部230は、制御部130と比較して、指定部132を有しない。
取得部231における撮像画像の受信および表示を開始する処理、および、撮像画像の受信停止に関する処理は、実施例1と同様であるので、その説明を省略する。
取得部231は、ネットワークNおよび通信部110を介して、端末装置50から抽出画像および範囲の位置情報を受信したか否かを判定する。取得部231は、抽出画像および範囲の位置情報を受信した場合には、受信した範囲の位置情報に基づいて、抽出画像を撮像画像とともに表示部111に表示させる。取得部231は、抽出画像および範囲の位置情報を受信しない場合には、引き続き、抽出画像および範囲の位置情報の受信を待機する。
ここで、図7を用いてマーカを用いた場合の抽出画像の表示について説明する。図7は、抽出画像の表示の他の一例を示す図である。図7に示す表示画面60は、部品の銘板61の近傍にマーカ62が予め配置されている場合における、マーカ62に対応する範囲情報に基づく範囲の位置情報に応じた位置に抽出画像63が表示された撮像画像の一例である。抽出画像63は、例えば、部品の銘板61の製造番号が判読可能な高画質の撮像画像から、マーカ62に対応する範囲情報に応じた範囲の画像を抽出したものである。
次に、実施例2の送信制御システム2の動作について説明する。図8は、実施例2の送信制御処理の一例を示すシーケンス図である。以下の説明では、ステップS1、S2、S6、S8、S9、S11、S12の処理は、実施例1と同様であるので、その説明を省略する。
端末装置50は、ステップS2の処理に続いて、次の処理を実行する。送信制御部56は、取得した撮像画像について登録済みのマーカを認識したか否かを判定する(ステップS51)。送信制御部56は、登録済みのマーカを認識しない場合には(ステップS51:否定)、ステップS9に進む。送信制御部56は、登録済みのマーカを認識した場合には(ステップS51:肯定)、画像取得指示を抽出部57に出力し、ステップS6に進む。
端末装置50は、ステップS6の処理に続いて、次の処理を実行する。抽出部57は、取得した高画質の撮像画像から、マーカに対応する範囲情報に応じた範囲の画像を抽出する(ステップS52)。抽出部57は、抽出した画像、および、抽出した範囲の位置情報を、抽出画像および範囲の位置情報として送信制御部56に出力し、ステップS8に進む。
情報処理装置200は、ステップS8の処理に続いて、次の処理を実行する。取得部231は、端末装置50から抽出画像および範囲の位置情報を受信したか否かを判定する(ステップS53)。取得部231は、抽出画像および範囲の位置情報を受信した場合には(ステップS53:肯定)、ステップS11に進む。取得部231は、抽出画像および範囲の位置情報を受信しない場合には(ステップS53:否定)、ステップS12に進む。これにより、端末装置50は、基準物に基づく範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
このように、端末装置50では、受け付けた画像取得要求に含まれる範囲情報は、撮像画像に含まれる基準物を識別する情報である。その結果、基準物に基づく範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
上記実施例2では、予め登録されたマーカに基づいて画像を抽出したが、支援者が撮像画像上でマーカを指定してもよく、この場合の実施の形態につき、実施例3として説明する。図9は、実施例3の送信制御システムの構成の一例を示すブロック図である。図9に示す送信制御システム3は、端末装置80と、情報処理装置300とを有する。なお、実施例1の送信制御システム1と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
実施例3の端末装置80の制御部85は、実施例1の端末装置10の制御部15と比較して、送信制御部16および抽出部17に代えて、送信制御部86および抽出部87を有する。また、制御部85は、制御部15と比較して、登録部88をさらに有する。
送信制御部86では、例えば、作業者の操作により、カメラ12により撮像された撮像画像の取得、および、取得した撮像画像の情報処理装置300への送信が指示される。送信制御部86は、通信部11およびネットワークNを介して、取得した撮像画像の情報処理装置300への送信を開始する。また、送信制御部86は、記憶部14を参照して登録済みのマーカがあるか否かを判定する。送信制御部86は、登録済みのマーカがある場合には、画像取得指示を抽出部87に出力する。送信制御部86は、登録済みのマーカがない場合には、引き続き、撮像画像に対して、登録済みのマーカの有無を判定する。なお、送信制御部86における抽出画像および範囲の位置情報の送信に関する処理、ならびに、送信停止に関する処理は、実施例1と同様であるので、その説明を省略する。
抽出部87は、送信制御部86から画像取得指示が入力されると、高画質の撮像画像をカメラ12から取得する。すなわち、抽出部87は、カメラ12に対して、高画質の画像を撮像するように指示する。なお、高画質の撮像画像は、例えば、送信制御部86が取得して情報処理装置300に送信する撮像画像よりも高画質の撮像画像である。
抽出部87は、取得した高画質の撮像画像に対してマーカ認識処理を実行し、登録済みのマーカを認識したか否かを判定する。抽出部87は、登録済みのマーカを認識した場合には、高画質の撮像画像から、登録済みのマーカに対応する範囲情報に応じた範囲の画像を抽出する。抽出部87は、登録済みのマーカを認識しない場合には、引き続き、高画質の撮像画像について、マーカ認識処理を実行する。また、実施例1と同様に、抽出部87が抽出する画像は、範囲情報に応じた範囲の静止画像または動画像のうち、いずれであっても構わない。抽出部87は、抽出した画像、および、抽出した範囲の位置情報を、抽出画像および範囲の位置情報として送信制御部86に出力する。
登録部88は、ネットワークNおよび通信部11を介して、情報処理装置300から登録要求を受信したか否かを判定する。登録部88は、登録要求を受信した場合には、受信した登録要求に含まれるマーカ指定情報に基づいて、マーカを記憶部14に記憶して登録する。なお、登録可能なマーカ(基準物)は、例えば、ARマーカ、銘板等の画像等が挙げられる。登録部88は、登録要求を受信しない場合には、引き続き、登録要求の受信を待機する。
また、登録部88は、送信制御部86が撮像画像の取得および送信を停止すると、記憶部14に記憶したマーカの情報を消去する。すなわち、登録部88は、マーカの登録を解除する。
実施例3の情報処理装置300の制御部330は、実施例1の情報処理装置100の制御部130と比較して、指定部132に代えて指定部332を有する。
指定部332は、支援者から操作部112を介して、表示部111に表示された撮像画像に対して、マーカの指定が入力されたか否かを判定する。指定部332は、マーカの指定が入力された場合には、入力されたマーカ指定情報を含む登録要求を、通信部110およびネットワークNを介して、端末装置80に送信する。指定部332は、マーカの指定が入力されない場合には、引き続き、マーカの指定の入力を待機する。
次に、実施例3の送信制御システム3の動作について説明する。図10は、実施例3の送信制御処理の一例を示すシーケンス図である。以下の説明では、ステップS1、S2、S6、S8〜S12の処理は、実施例1と同様であるので、その説明を省略する。
情報処理装置300は、ステップS2の処理に続いて、次の処理を実行する。指定部332は、マーカの指定が入力されたか否かを判定する(ステップS81)。指定部332は、マーカの指定が入力された場合には(ステップS81:肯定)、入力されたマーカ指定情報を含む登録要求を端末装置80に送信する(ステップS82)。マーカの指定が入力されない場合には(ステップS81:否定)、ステップS12に進む。
端末装置80の登録部88は、情報処理装置300から登録要求を受信したか否かを判定する(ステップS83)。登録部88は、登録要求を受信した場合には(ステップS83:肯定)、受信した登録要求のマーカ指定情報、つまりマーカを記憶部14に登録し(ステップS84)、ステップS9に進む。登録部88は、登録要求を受信しない場合には(ステップS83:否定)、引き続き、登録要求の受信を待機し、ステップS85に進む。
送信制御部86は、記憶部14を参照して登録済みのマーカがあるか否かを判定する(ステップS85)。送信制御部86は、登録済みのマーカがない場合には(ステップS85:否定)、ステップS9に進む。送信制御部86は、登録済みのマーカがある場合には(ステップS85:肯定)、画像取得指示を抽出部87に出力し、ステップS6に進む。
端末装置80は、ステップS6の処理に続いて、次の処理を実行する。抽出部87は、取得した高画質の撮像画像に対してマーカ認識処理を実行し、登録済みのマーカを認識したか否かを判定する(ステップS86)。抽出部87は、登録済みのマーカを認識した場合には(ステップS86:肯定)、高画質の撮像画像から、登録済みのマーカに対応する範囲情報に応じた範囲の画像を抽出する(ステップS87)。抽出部87は、抽出した画像、および、抽出した範囲の位置情報を、抽出画像および範囲の位置情報として送信制御部86に出力し、ステップS8に進む。抽出部87は、登録済みのマーカを認識しない場合には(ステップS86:否定)、ステップS9に進む。
端末装置80は、ステップS9において肯定の場合、次の処理を実行する。登録部88は、送信制御部86が撮像画像の取得および送信を停止すると、マーカの登録を解除し(ステップS88)、処理を終了する。これにより、端末装置80は、支援者が指定した基準物に基づく範囲の画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
上記実施例1では、抽出画像を抽出した範囲の位置情報を情報処理装置100に送信したが、抽出画像と、その送信前後の撮像画像との間のパターンマッチングで抽出画像の範囲の位置情報を決定してもよく、この場合の実施の形態につき、実施例4として説明する。図11は、実施例4の送信制御システムの構成の一例を示すブロック図である。図11に示す送信制御システム4は、端末装置90と、情報処理装置100とを有する。なお、実施例1の送信制御システム1と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。
実施例4の端末装置90の制御部95は、実施例1の端末装置10の制御部15と比較して、送信制御部16および抽出部17に代えて、送信制御部96および抽出部97を有する。
送信制御部96では、例えば、作業者の操作により、カメラ12により撮像された撮像画像の取得、および、取得した撮像画像の情報処理装置100への送信が指示される。送信制御部96は、通信部11およびネットワークNを介して、取得した撮像画像の情報処理装置100への送信を開始する。すなわち、送信制御部96は、カメラ12から撮像画像である低画質画像を取得するたびに、取得した低画質画像を情報処理装置100に送信する。
送信制御部96は、抽出部97から抽出画像および範囲の位置情報が入力されると、通信部11およびネットワークNを介して、入力された抽出画像および範囲の位置情報を情報処理装置100に送信する。すなわち、送信制御部96は、高画質画像から抽出した高画質部分画像と当該高画質部分画像の送信時における送信対象の低画質画像との間のズレを反映した範囲の位置情報を、高画質部分画像とともに情報処理装置100に送信する。言い換えると、送信制御部96は、高画質部分画像である抽出画像と、新たに取得した低画質画像である撮像画像における抽出画像の位置情報とを情報処理装置100に送信する。
なお、送信制御部96は、抽出部97による高画質画像の取得後、再度、低画質画像を取得して情報処理装置100に送信するモードに戻る。この場合、低画質画像は、取得および送信が繰り返されているので、高画質部分画像を重畳表示する対象の低画質画像について、高画質部分画像を取得したときから撮像対象が変動している可能性がある。
送信制御部96は、例えば、作業者による停止操作の入力等に基づいて、低画質画像である撮像画像の送信を停止するか否かを判定する。送信制御部96は、撮像画像の送信を停止しない場合には、引き続き、撮像画像の取得および送信を行う。送信制御部96は、撮像画像の送信を停止する場合には、撮像画像の取得および送信を停止する。
抽出部97は、ネットワークNおよび通信部11を介して、情報処理装置100から画像取得要求を受信したか否かを判定する。抽出部97は、画像取得要求を受信しない場合には、引き続き、画像取得要求の受信を待機する。抽出部97は、画像取得要求を受信した場合には、高画質の撮像画像である高画質画像をカメラ12から取得する。すなわち、抽出部97は、カメラ12に対して、高画質の画像を撮像するように指示する。なお、高画質画像は、例えば、送信制御部96が取得して情報処理装置100に送信する低画質画像と比較して高画質の撮像画像である。
抽出部97は、取得した高画質画像から、画像取得要求に含まれる範囲情報に応じた範囲の画像を高画質部分画像として抽出する。なお、抽出部97が抽出する高画質部分画像は、範囲情報に応じた範囲の静止画像または動画像のうち、いずれであっても構わない。抽出部97は、抽出した高画質部分画像、あるいは、その直前または直後に取得した低画質画像を基準画像として、高画質部分画像の送信時における送信対象の低画質画像との間でパターンマッチングを実行する。すなわち、抽出部97は、高画質部分画像の送信時における基準画像と、当該高画質部分画像を重畳表示させる低画質画像との間でパターンマッチングを実行する。
抽出部97は、パターンマッチングの結果、基準画像に対する重畳表示対象の低画質画像のズレを特定して補正情報を生成する。抽出部97は、高画質部分画像を抽出した範囲の位置情報を、生成した補正情報を用いて補正する。抽出部97は、補正した範囲の位置情報と、高画質部分画像である抽出画像とを送信制御部96に出力する。なお、画像取得要求に含まれる範囲情報は、情報処理装置100において入力された位置に基づいて決定された範囲を示す情報である。
次に、実施例4の送信制御システム4の動作について説明する。図12は、実施例4の送信制御処理の一例を示すシーケンス図である。以下の説明では、ステップS1からS6、S9からS12の処理は、実施例1と同様であるので、その説明を省略する。
端末装置90は、ステップS6の処理に続いて、次の処理を実行する。抽出部97は、取得した高画質の撮像画像、つまり高画質画像から、画像取得要求に含まれる範囲情報に応じた範囲の画像を高画質部分画像として抽出する(ステップS91)。抽出部97は、高画質部分画像の送信時における基準画像と、当該高画質部分画像を重畳表示させる低画質画像との間でパターンマッチングを実行して抽出した範囲の位置情報を補正する(ステップS92)。抽出部97は、補正した範囲の位置情報と、高画質部分画像である抽出画像とを送信制御部96に出力する。
送信制御部96は、抽出部97から抽出画像および範囲の位置情報が入力されると、入力された抽出画像および範囲の位置情報、すなわち、抽出画像と新たに取得した撮像画像における抽出画像の位置情報とを情報処理装置100に送信し、(ステップS93)ステップS9に進む。これにより、端末装置90は、高画質部分画像を重畳表示させる低画質画像が変動しても、低画質画像の適切な位置に高画質部分画像を重畳表示できる。また、端末装置90は、例えば静止画像の高画質部分画像を、動画像の低画質画像に重畳表示することで、高画質部分画像の再送を行わないので、データ転送量を削減することができる。
なお、高画質部分画像を重畳表示させる低画質画像が変動した場合に、高画質部分画像の重畳表示位置を追従させる点については、上記実施例2および3においても可能である。例えば、実施例2の端末装置50では、低画質画像に写っているマーカが動くと、高画質部分画像の範囲の位置情報は、マーカを基準とした位置となるので、情報処理装置200側では、高画質部分画像の表示位置はマーカに追従して移動することになる。また、高画質部分画像が静止画像である場合に再送を行わない点については、上記実施例1から3においても実施例4と同様に、データ転送量を削減することができる。
このように、端末装置90は、画像取得要求の受け付けに応じて、カメラ12から撮像画像よりも高画質である高画質画像を取得し、取得した高画質画像から範囲情報に応じた範囲の画像を抽出する。その結果、画像取得要求に基づく範囲の高画質画像を、撮像画像の指定範囲に応じた位置に表示させることができる。
なお、上記各実施例では、一人の作業者の端末装置10、50、80または90と、一人の支援者の情報処理装置100、200または300との間で画像を共有したが、これに限定されない。例えば、一人の作業者の端末装置10、50、80または90と、複数の支援者の情報処理装置100、200または300との間で画像を共有して遠隔支援を行ってもよい。また、複数の作業者の端末装置10、50、80または90と、一人の支援者の情報処理装置100、200または300との間で画像を共有して遠隔支援を行ってもよい。さらに、複数の作業者の端末装置10、50、80または90と、複数の支援者の情報処理装置100、200または300との間で画像を共有して遠隔支援を行ってもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、送信制御部16と抽出部17とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、CPU(又はMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図13は、送信制御プログラムを実行するコンピュータの一例を示す図である。
図13に示すように、コンピュータ400は、各種演算処理を実行するCPU401と、データ入力を受け付ける入力装置402と、モニタ403とを有する。また、コンピュータ400は、記憶媒体からプログラム等を読み取る媒体読取装置404と、各種装置と接続するためのインタフェース装置405と、他の情報処理装置等と有線または無線により接続するための通信装置406とを有する。また、コンピュータ400は、各種情報を一時記憶するRAM407と、フラッシュメモリ408とを有する。また、各装置401〜408は、バス409に接続される。
フラッシュメモリ408には、図1に示した送信制御部16および抽出部17の各処理部と同様の機能を有する送信制御プログラムが記憶される。また、フラッシュメモリ408には、図6に示した送信制御部56および抽出部57の各処理部と同様の機能を有する送信制御プログラムが記憶されてもよい。また、フラッシュメモリ408には、図9に示した送信制御部86、抽出部87および登録部88の各処理部と同様の機能を有する送信制御プログラムが記憶されてもよい。また、フラッシュメモリ408には、図11に示した送信制御部96および抽出部97の各処理部と同様の機能を有する送信制御プログラムが記憶されてもよい。また、フラッシュメモリ408には、送信制御プログラムを実現するための各種データが記憶される。入力装置402は、例えば、図1、図6、図9または図11に示した表示操作部13と同様の機能を有し、コンピュータ400のユーザから操作情報等の各種情報の入力を受け付ける。モニタ403は、例えば、図1、図6、図9または図11に示した表示操作部13と同様の機能を有し、コンピュータ400のユーザに対して表示画面等の各種画面を表示する。インタフェース装置405は、例えばHMD等が接続される。通信装置406は、例えば、図1、図6、図9または図11に示した通信部11と同様の機能を有し情報処理装置100、200または300と接続され、情報処理装置100、200または300と各種情報をやりとりする。
CPU401は、フラッシュメモリ408に記憶された各プログラムを読み出して、RAM407に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ400を図1に示した送信制御部16および抽出部17として機能させることができる。または、これらのプログラムは、コンピュータ400を図6に示した送信制御部56および抽出部57として機能させることができる。または、これらのプログラムは、コンピュータ400を図9に示した送信制御部86、抽出部87および登録部88として機能させることができる。または、これらのプログラムは、コンピュータ400を図11に示した送信制御部96および抽出部97として機能させることができる。
なお、上記の送信制御プログラムは、必ずしもフラッシュメモリ408に記憶されている必要はない。例えば、コンピュータ400が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ400が読み出して実行するようにしてもよい。コンピュータ400が読み取り可能な記憶媒体は、例えば、CD−ROMやDVDディスク、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの送信制御プログラムを記憶させておき、コンピュータ400がこれらから送信制御プログラムを読み出して実行するようにしてもよい。
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
(付記1)カメラにより撮像された撮像画像を取得すると、取得した前記撮像画像を情報処理装置に送信する処理をコンピュータに実行させる送信制御プログラムにおいて、
前記情報処理装置から送信された、範囲情報を含む画像取得要求を受け付けると、前記カメラにより撮像された撮像画像のうち、前記範囲情報に応じた範囲の画像を抽出し、
抽出した前記画像と、取得した前記撮像画像における前記範囲の位置情報とを前記情報処理装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
(付記2)前記範囲情報は、前記情報処理装置において入力された位置に基づいて決定された範囲を示す情報である、
ことを特徴とする付記1に記載の送信制御プログラム。
(付記3)受け付けた前記画像取得要求に含まれる前記範囲情報は、前記撮像画像に含まれる基準物を識別する情報である、
ことを特徴とする付記1に記載の送信制御プログラム。
(付記4)前記抽出する処理は、前記画像取得要求の受け付けに応じて、前記カメラから前記撮像画像よりも高画質である高画質画像を取得し、取得した前記高画質画像から前記範囲情報に応じた範囲の画像を抽出する、
ことを特徴とする付記1〜3のいずれか1つに記載の送信制御プログラム。
(付記5)カメラにより撮像された撮像画像を取得すると、取得した前記撮像画像を情報処理装置に送信する処理をコンピュータが実行する送信制御方法において、
前記情報処理装置から送信された、範囲情報を含む画像取得要求を受け付けると、前記カメラにより撮像された撮像画像のうち、前記範囲情報に応じた範囲の画像を抽出し、
抽出した前記画像と、取得した前記撮像画像における前記範囲の位置情報とを前記情報処理装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
(付記6)前記範囲情報は、前記情報処理装置において入力された位置に基づいて決定された範囲を示す情報である、
ことを特徴とする付記5に記載の送信制御方法。
(付記7)受け付けた前記画像取得要求に含まれる前記範囲情報は、前記撮像画像に含まれる基準物を識別する情報である、
ことを特徴とする付記5に記載の送信制御方法。
(付記8)前記抽出する処理は、前記画像取得要求の受け付けに応じて、前記カメラから前記撮像画像よりも高画質である高画質画像を取得し、取得した前記高画質画像から前記範囲情報に応じた範囲の画像を抽出する、
ことを特徴とする付記5〜7のいずれか1つに記載の送信制御方法。
(付記9)カメラにより撮像された撮像画像を取得すると、取得した前記撮像画像を情報処理装置に送信する送信制御装置において、
前記情報処理装置から送信された、範囲情報を含む画像取得要求を受け付けると、前記カメラにより撮像された撮像画像のうち、前記範囲情報に応じた範囲の画像を抽出する抽出部と、
抽出した前記画像と、取得した前記撮像画像における前記範囲の位置情報とを前記情報処理装置に送信する送信制御部と、
を有することを特徴とする送信制御装置。
(付記10)前記範囲情報は、前記情報処理装置において入力された位置に基づいて決定された範囲を示す情報である、
ことを特徴とする付記9に記載の送信制御装置。
(付記11)受け付けた前記画像取得要求に含まれる前記範囲情報は、前記撮像画像に含まれる基準物を識別する情報である、
ことを特徴とする付記9に記載の送信制御装置。
(付記12)前記抽出部は、前記画像取得要求の受け付けに応じて、前記カメラから前記撮像画像よりも高画質である高画質画像を取得し、取得した前記高画質画像から前記範囲情報に応じた範囲の画像を抽出する、
ことを特徴とする付記9〜11のいずれか1つに記載の送信制御装置。
1,2,3,4 送信制御システム
10,50,80,90 端末装置
11 通信部
12 カメラ
13 表示操作部
14 記憶部
15,55,85,95 制御部
16,56,86,96 送信制御部
17,57,87,97 抽出部
88 登録部
100,200,300 情報処理装置
110 通信部
111 表示部
112 操作部
120 記憶部
130,230,330 制御部
131,231 取得部
132,332 指定部
N ネットワーク

Claims (4)

  1. カメラにより撮像された撮像画像を取得すると、取得した前記撮像画像を情報処理装置に送信する処理をコンピュータに実行させる送信制御プログラムにおいて、
    前記情報処理装置から送信された、前記撮像画像に含まれる基準物を識別する情報である範囲情報を含む画像取得要求を受け付けると、前記カメラにより撮像された撮像画像のうち、前記範囲情報に応じた範囲の画像を抽出し、
    抽出した前記画像と、取得した前記撮像画像における前記範囲の位置情報とを前記情報処理装置に送信する、
    処理をコンピュータに実行させることを特徴とする送信制御プログラム。
  2. 前記抽出する処理は、前記画像取得要求の受け付けに応じて、前記カメラから前記撮像画像よりも高画質である高画質画像を取得し、取得した前記高画質画像から前記範囲情報に応じた範囲の画像を抽出する、
    ことを特徴とする請求項1に記載の送信制御プログラム。
  3. カメラにより撮像された撮像画像を取得すると、取得した前記撮像画像を情報処理装置に送信する処理をコンピュータが実行する送信制御方法において、
    前記情報処理装置から送信された、前記撮像画像に含まれる基準物を識別する情報である範囲情報を含む画像取得要求を受け付けると、前記カメラにより撮像された撮像画像のうち、前記範囲情報に応じた範囲の画像を抽出し、
    抽出した前記画像と、取得した前記撮像画像における前記範囲の位置情報とを前記情報処理装置に送信する、
    処理をコンピュータが実行することを特徴とする送信制御方法。
  4. カメラにより撮像された撮像画像を取得すると、取得した前記撮像画像を情報処理装置に送信する送信制御装置において、
    前記情報処理装置から送信された、前記撮像画像に含まれる基準物を識別する情報である範囲情報を含む画像取得要求を受け付けると、前記カメラにより撮像された撮像画像のうち、前記範囲情報に応じた範囲の画像を抽出する抽出部と、
    抽出した前記画像と、取得した前記撮像画像における前記範囲の位置情報とを前記情報処理装置に送信する送信制御部と、
    を有することを特徴とする送信制御装置。
JP2017020569A 2017-02-07 2017-02-07 送信制御プログラム、送信制御方法および送信制御装置 Active JP6805858B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017020569A JP6805858B2 (ja) 2017-02-07 2017-02-07 送信制御プログラム、送信制御方法および送信制御装置
US15/886,972 US10362210B2 (en) 2017-02-07 2018-02-02 Transmission control device and transmission control method for transmitting image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017020569A JP6805858B2 (ja) 2017-02-07 2017-02-07 送信制御プログラム、送信制御方法および送信制御装置

Publications (2)

Publication Number Publication Date
JP2018129621A JP2018129621A (ja) 2018-08-16
JP6805858B2 true JP6805858B2 (ja) 2020-12-23

Family

ID=63038147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017020569A Active JP6805858B2 (ja) 2017-02-07 2017-02-07 送信制御プログラム、送信制御方法および送信制御装置

Country Status (2)

Country Link
US (1) US10362210B2 (ja)
JP (1) JP6805858B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6885179B2 (ja) * 2017-04-20 2021-06-09 富士通株式会社 撮影装置、撮影制御プログラム、及び撮影管理システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2915248B2 (ja) * 1993-05-07 1999-07-05 沖電気工業株式会社 画像通信システム
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
US6711297B1 (en) * 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
JP2000184367A (ja) 1998-12-14 2000-06-30 Olympus Optical Co Ltd カメラ制御装置及び記録媒体
JP2005323310A (ja) 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム
US7774712B2 (en) * 2004-12-31 2010-08-10 A Far Site Better, Llc Methods and systems for displaying an enlarged image
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
US7574131B2 (en) * 2006-03-29 2009-08-11 Sunvision Scientific Inc. Object detection system and method
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US20090213218A1 (en) * 2008-02-15 2009-08-27 Andrew Cilia System and method for multi-resolution storage of images
US9325951B2 (en) * 2008-03-03 2016-04-26 Avigilon Patent Holding 2 Corporation Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system
JP2008245313A (ja) 2008-05-02 2008-10-09 Olympus Corp カメラシステム
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
JP5839796B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US8941561B1 (en) * 2012-01-06 2015-01-27 Google Inc. Image capture
JP5843751B2 (ja) * 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
KR102153435B1 (ko) * 2013-12-20 2020-09-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9684841B2 (en) * 2015-02-24 2017-06-20 Hanwha Techwin Co., Ltd. Method of transmitting moving image and surveillance system using the method

Also Published As

Publication number Publication date
US20180227474A1 (en) 2018-08-09
US10362210B2 (en) 2019-07-23
JP2018129621A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
US9817628B2 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
US10230907B2 (en) Thermal imaging device and normative photographing method for thermal image
US11568626B2 (en) Carrier-assisted tracking
KR102327779B1 (ko) 이미지 처리 방법 및 장치
US20170118451A1 (en) Information processing apparatus, image projection system, and computer program product
US20210150732A1 (en) Image processing for tracking
JP6646208B2 (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
JP2016189064A5 (ja) 電子機器、電子機器の制御方法、プログラム及び無線通信システム
KR20170052083A (ko) 화상 형성 장치 및 그 화상 형성 장치의 에러 복구 방법, 모바일 기기 및 그 모바일 기기의 화상 형성 장치의 에러 복구 방법
US20180247430A1 (en) Display control method and display control apparatus
TWI489419B (zh) 影像對位顯示方法、裝置以及電腦程式產品
EP3328073A1 (en) Image management system, image management method and program
JP2017004354A (ja) 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス
JP2018097581A (ja) 情報処理装置およびプログラム
JP6275011B2 (ja) 作業支援システム及びプログラム
JP6805858B2 (ja) 送信制御プログラム、送信制御方法および送信制御装置
US20180114367A1 (en) Computer-readable recording medium, imaging control method, and information processing apparatus
US10430925B2 (en) System, method, and program for synthesizing panoramic image
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
US20180174345A1 (en) Non-transitory computer-readable storage medium, display control device and display control method
JP6034709B2 (ja) 端末装置、外部表示装置及び端末装置と外部表示装置とからなる情報システム
JP2018041201A (ja) 表示制御プログラム、表示制御方法および情報処理装置
JP2018081424A (ja) 画像処理装置および画像処理方法
JPWO2017086355A1 (ja) 送信装置、送信方法、受信装置、受信方法および送受信システム
US10630942B2 (en) Control method and information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201117

R150 Certificate of patent or registration of utility model

Ref document number: 6805858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150