JP6736962B2 - 画像送信制御プログラム、画像送信制御方法および画像送信制御装置 - Google Patents

画像送信制御プログラム、画像送信制御方法および画像送信制御装置 Download PDF

Info

Publication number
JP6736962B2
JP6736962B2 JP2016095579A JP2016095579A JP6736962B2 JP 6736962 B2 JP6736962 B2 JP 6736962B2 JP 2016095579 A JP2016095579 A JP 2016095579A JP 2016095579 A JP2016095579 A JP 2016095579A JP 6736962 B2 JP6736962 B2 JP 6736962B2
Authority
JP
Japan
Prior art keywords
terminal device
image
transmission control
image transmission
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016095579A
Other languages
English (en)
Other versions
JP2017204750A (ja
Inventor
奨 古賀
奨 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016095579A priority Critical patent/JP6736962B2/ja
Priority to US15/471,460 priority patent/US10630942B2/en
Publication of JP2017204750A publication Critical patent/JP2017204750A/ja
Application granted granted Critical
Publication of JP6736962B2 publication Critical patent/JP6736962B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像送信制御プログラム、画像送信制御方法および画像送信制御装置に関する。
点検業務等に従事する作業員が携行する端末装置に設けられたカメラや施設内に配置された監視カメラの撮像画像を情報処理装置に順次送信する画像送信制御システムが提案されている。例えば、端末装置と情報処理装置とを適用した画像送信制御システムでは、サーバを経由した相互通信により、端末装置と情報処理装置との間の１対１の接続にとどまらず、１対多、多対１または多対多での接続が可能となる。かかるシステムは、例えば、情報処理装置に送信された撮像画像に基づいて作業員の点検作業を支援する遠隔支援に利用されている。
近年、ヘッドマウントディスプレイ等の表示装置を用いて、撮像された画像上にオブジェクトを重畳表示させるＡＲ（Augmented Reality）技術が提案されている。そして、かかるＡＲ技術を適用した遠隔支援システムが提案されている。
特開２００５−２４２８３０号公報 特開２０１０−１７１６３４号公報 特開２０１５−１７９９４７号公報
しかしながら、サーバに接続される端末装置や情報処理装置の増設に伴い、画像送信に伴う消費電力が増大する。
一つの側面では、本発明は、消費電力を抑制できる画像送信制御プログラム、画像送信制御方法および画像送信制御装置を提供することにある。
一つの態様では、画像送信制御プログラムは、カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置に実行させる。また、画像送信制御プログラムは、センサにより検出された前記端末装置の動きに関する情報を取得する処理を前記端末装置に実行させる。また、画像送信制御プログラムは、取得した前記情報に基づき、前記端末装置が移動中であるか否かを判定する処理を前記端末装置に実行させる。また、画像送信制御プログラムは、前記端末装置が移動中であると判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行う処理を前記端末装置に実行させる。
消費電力を抑制できる。
図１は、実施例の画像送信制御システムの構成の一例を示すブロック図である。 図２は、オブジェクトデータの表示の一例を示す図である。 図３は、表示画面の一例を示す図である。 図４は、表示画面の他の一例を示す図である。 図５は、強調表示の一例を示す図である。 図６は、強調表示の他の一例を示す図である。 図７は、実施例の画像送信制御処理の一例を示すフローチャートである。 図８は、実施例の画像送信制御処理の一例を示すフローチャートである。 図９は、画像送信制御プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する画像送信制御プログラム、画像送信制御方法および画像送信制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図１は、実施例の画像送信制御システムの構成の一例を示すブロック図である。図１に示す画像送信制御システム１は、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）ともいう。）１０と、画像送信制御装置１００と、サーバ２００と、情報処理装置３００とを有する。ＨＭＤ１０と画像送信制御装置１００とは、１対１で無線または有線により接続される。すなわち、ＨＭＤ１０は、画像送信制御装置１００の表示部の一例として機能する。なお、ＨＭＤ１０と画像送信制御装置１００とは、１対１での接続に限定されず、１対多、多対１または多対多での接続であってもよい。また、図１では、ＨＭＤ１０と画像送信制御装置１００との組について、１組を一例として示したが、ＨＭＤ１０と画像送信制御装置１００との組の数は限定されず、任意の数のＨＭＤ１０と画像送信制御装置１００との組を有してもよい。また、ＨＭＤ１０および画像送信制御装置１００は、端末装置の一例である。なお、以下の説明では、端末装置として、画像送信制御装置１００にＨＭＤ１０を含め、単に画像送信制御装置１００と表現する場合がある。
ＨＭＤ１０と画像送信制御装置１００との間は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）等の無線ＬＡＮ（Local Area Network）により相互に通信可能に接続される。また、画像送信制御装置１００とサーバ２００との間は、ネットワークＮ１を介して相互に通信可能に接続される。また、サーバ２００と情報処理装置３００との間は、ネットワークＮ２を介して相互に通信可能に接続される。かかるネットワークＮ１，Ｎ２には、有線または無線を問わず、インターネットを始め、ＬＡＮやＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。
ＨＭＤ１０は、ユーザが画像送信制御装置１００とともに装着し、画像送信制御装置１００から送信される表示画面を表示する。ＨＭＤ１０は、例えば、単眼の透過型のＨＭＤを用いることができる。なお、ＨＭＤ１０は、例えば、両眼用や没入型等の各種のＨＭＤを用いるようにしてもよい。
ＨＭＤ１０は、ＨＭＤ１０の動きを検出するセンサを備える。ＨＭＤ１０は、センサによって検出されたＨＭＤ１０の動きに関する情報を画像送信制御装置１００に送信する。
画像送信制御装置１００は、ユーザが装着して操作する端末装置であり、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。画像送信制御装置１００は、センサにより検出された情報に基づいてＨＭＤ１０を装着したユーザが移動中か否かを判定し、判定結果に基づいて画像の送信を抑制または促進する制御を行う。
ユーザが移動中の場合には、例えば、ユーザは作業を行っておらず、遠隔支援の必要性が低いので、画像送信制御装置１００から情報処理装置３００への画像送信の頻度を抑制しても構わないと想定される。本実施例では、この点に着目して画像送信制御装置１００の消費電力の抑制を行う。これにより、画像送信制御装置１００は、消費電力を抑制できる。
一方、ユーザが移動中でない場合には、例えば、ユーザは作業を行っており、遠隔支援の必要性が高いので、画像送信制御装置１００から情報処理装置３００への画像送信の頻度を促進すべきと想定される。本実施例では、この点に着目して画像送信制御装置１００の消費電力の抑制を行う。すなわち、画像送信制御装置１００は、画像の送信を促進する必要があるとき以外の消費電力を抑制できる。
なお、センサは、ＨＭＤ１０のセンサを用いずに、画像送信制御装置１００が有するセンサを用いてユーザが移動中か否かを判定してもよい。
また、ＨＭＤ１０は、例えば、ＨＭＤ１０を装着したユーザの視点に対応する撮像画像を取得するカメラを備える。ＨＭＤ１０は、カメラにより撮像された撮像画像を画像送信制御装置１００に送信する。
画像送信制御装置１００は、ＨＭＤ１０のカメラによって撮像された撮像画像をＨＭＤ１０から受信する。画像送信制御装置１００は、ＨＭＤ１０から受信した撮像画像内に、例えば、ある工場における設備点検用の識別子が含まれているか否かを判定し、判定結果に基づいて画像の送信を抑制する制御を行う。なお、設備点検用の識別子は、例えば、工場内の所定の位置に設けられたＡＲマーカである。
撮像画像内に識別子が含まれていない場合には、例えば、ユーザは遠隔支援の必要な施設に所在しておらず、遠隔支援の必要性が低いので、画像送信制御装置１００から情報処理装置３００への画像送信の頻度を抑制しても構わないと想定される。本実施例では、この点に着目して画像送信制御装置１００の消費電力の抑制を行う。これにより、画像送信制御装置１００は、消費電力を抑制できる。
一方、撮像画像内に識別子が含まれている場合には、例えば、ユーザは遠隔支援の必要な施設に所在しており、遠隔支援の必要性が高いので、画像送信制御装置１００から情報処理装置３００への画像送信の頻度を促進すべきと想定される。本実施例では、この点に着目して画像送信制御装置１００の消費電力の抑制を行う。すなわち、画像送信制御装置１００は、画像の送信を促進する必要があるとき以外の消費電力を抑制できる。
なお、カメラは、ＨＭＤ１０のカメラを用いずに、画像送信制御装置１００が有するカメラを用いて撮像画像内に識別子が含まれているか否かを判定してもよい。
サーバ２００は、画像送信制御装置１００から受信した画像を情報処理装置３００に送信する。また、サーバ２００は、情報処理装置３００から受信した、各種の情報、指示等を画像送信制御装置１００に出力する。また、サーバ２００は、例えば、工場における設備点検用のＡＲコンテンツをオブジェクトデータとして管理するデータベースを有する。サーバ２００は、画像送信制御装置１００の求めに応じて、ネットワークＮ１を介して、オブジェクトデータを画像送信制御装置１００に送信する。
次に、ＨＭＤ１０の構成について説明する。図１に示すように、ＨＭＤ１０は、通信部１１と、センサ１２と、表示部１３と、カメラ１４と、制御部１５と、記憶部１９とを有する。なお、ＨＭＤ１０は、図１に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部１１は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。通信部１１は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）により画像送信制御装置１００と無線で接続され、画像送信制御装置１００との間で情報の通信を司る通信インタフェースである。通信部１１は、画像送信制御装置１００から、表示画面を受信する。通信部１１は、受信した表示画面を制御部１５に出力する。また、通信部１１は、制御部１５から入力されたセンサ情報および撮像画像を画像送信制御装置１００に送信する。
センサ１２は、ＨＭＤ１０の動き、つまりＨＭＤ１０を装着したユーザの動きを検出するセンサである。センサ１２は、例えば、加速度センサ、ジャイロセンサ、その他のＨＭＤ１０の方向を検出する方向検出センサであり、ＨＭＤ１０の向き、つまり、ユーザの向いている方向を検出する。加速度センサとしては、例えば、ピエゾ抵抗型や静電容量型等の３軸加速度センサを用いることができる。ジャイロセンサとしては、例えば振動型のジャイロセンサを用いることができる。なお、センサ１２は、例えば、方位センサであってもよく、また、例えばＧＰＳ（Global Positioning System）受信機その他のＨＭＤ１０の位置を検出する位置検出センサであってもよい。さらに、センサ１２は、例えば、上記した方向検出センサおよび位置検出センサの中から２つ以上組み合わせて使用されてもよい。センサ１２は、検出した方向および／または位置を含む情報を制御部１５に出力する。
表示部１３は、各種情報、例えばオブジェクトデータを表示するための表示デバイスである。表示部１３は、例えば、ハーフミラーにオブジェクトデータであるＡＲコンテンツを含む画像が投影され、ユーザがＡＲコンテンツとともに外部の風景を透過して見ることができる透過型のＨＭＤの表示素子に相当する。なお、表示部１３は、没入型、ビデオ透過型、網膜投影型等のＨＭＤに対応する表示素子でもよい。
カメラ１４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。カメラ１４は、例えば、Ｒ（red）、Ｇ（green）、Ｂ（blue）などの複数の受光素子を搭載している。カメラ１４は、ユーザがＨＭＤ１０の表示部１３を通じて見ることができる視野と同等の視野を確保できるように、ＨＭＤ１０に装着または内蔵される。
ここで、ＨＭＤ１０に表示される表示画面の一例について説明する。図２は、オブジェクトデータの表示の一例を示す図である。ここでは、オブジェクトデータの一例として、ＡＲコンテンツを用いる場合について説明する。図２に示すように、ＨＭＤ１０の表示画面２０には、オブジェクトデータであるＡＲコンテンツ２２、２３を含む画像が表示される。そして、ＨＭＤ１０を装着したユーザは、例えば、点検作業を行う工場内の設備とＡＲコンテンツ２２、２３とを重畳して見ることができる。なお、図２では左右方向、すなわち横方向の長さよりも上下方向、すなわち縦方向の長さの方が大きい縦長の表示画面２０の一例について示しているが、例えば、表示部１３の形状等に応じて自由に設定することができ、例えば、横長の表示画面であってもよい。
制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１５は、センサ制御部１６と、表示制御部１７と、カメラ制御部１８とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
記憶部１９は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１９は、制御部１５での処理に用いる情報を記憶する。
センサ制御部１６は、センサ１２に対して、ＨＭＤ１０の動きに関する情報、例えば、ＨＭＤ１０の方向情報および位置情報のうち１つ以上の情報の出力を指示する制御情報を出力する。センサ制御部１６は、センサ１２を構成する１つ以上のセンサから、ＨＭＤ１０の動きに関する１つ以上の情報を入力する。センサ制御部１６は、入力されたＨＭＤ１０の動きに関する１つ以上の情報をセンサ情報とし、当該センサ情報を、通信部１１を介して画像送信制御装置１００に対して送信する。なお、センサ制御部１６は、ＨＭＤ１０の動きに関する１つ以上の情報を含むセンサ情報を、例えば１秒間隔で送信する。
表示制御部１７は、通信部１１を介して画像送信制御装置１００から受信した表示画面を表示部１３に表示させる。また、表示制御部１７は、表示画面の更新に応じて、表示部１３の表示を更新する。
カメラ制御部１８は、カメラ１４に対して、撮像画像の出力を指示する制御情報を出力する。カメラ制御部１８は、カメラ１４が撮像した撮像画像を取得する。カメラ制御部１８は、カメラ１４から取得した撮像画像を、通信部１１を介して画像送信制御装置１００に対して送信する。なお、カメラ制御部１８は、カメラ１４から取得した撮像画像を、例えば１０ｆｐｓ（frames per second）で送信する。
続いて、画像送信制御装置１００の構成について説明する。図１に示すように、画像送信制御装置１００は、第１通信部１１０と、第２通信部１１１と、表示操作部１１３と、記憶部１２０と、制御部１３０とを有する。なお、画像送信制御装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
第１通信部１１０は、例えば、無線ＬＡＮ等の通信モジュール等によって実現される。第１通信部１１０は、例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ（登録商標）によりＨＭＤ１０と無線で接続され、ＨＭＤ１０との間で情報の通信を司る通信インタフェースである。第１通信部１１０は、ＨＭＤ１０からセンサ情報を受信する。第１通信部１１０は、受信したセンサ情報を制御部１３０に出力する。第１通信部１１０は、ＨＭＤ１０から撮像画像を受信する。第１通信部１１０は、受信した撮像画像を制御部１３０に出力する。また、第１通信部１１０は、制御部１３０から出力されたセンサ制御情報および表示画面をＨＭＤ１０に送信する。
第２通信部１１１は、例えば、第３世代移動通信システム、ＬＴＥ（Long Term Evolution）等の携帯電話回線および無線ＬＡＮ等の通信モジュール等によって実現される。第２通信部１１１は、ネットワークＮ１を介してサーバ２００と無線で接続され、サーバ２００との間で情報の通信を司る通信インタフェースである。第２通信部１１１は、制御部１３０が出力した表示画面を、ネットワークＮ１経由でサーバ２００に順次送信する。第２通信部１１１は、制御部１３０が出力したデータ取得指示を、ネットワークＮ１を介して、サーバ２００に送信する。また、第２通信部１１１は、データ取得指示に応じた各種データを、ネットワークＮ１を介してサーバ２００から受信する。第２通信部１１１は、サーバ２００から受信した各種データを制御部１３０に出力する。
表示操作部１１３は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１３は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１３は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１３は、表示デバイスと入力デバイスとが一体化される。表示操作部１１３は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、表示操作部１１３は、ＨＭＤ１０と同様の画面を表示してもよいし、ＨＭＤ１０と異なる画面を表示してもよい。
ここで、表示操作部１１３に表示される表示画面の一例について説明する。図３は、表示画面の一例を示す図である。ここでは、図２に示す表示画面２０がＨＭＤ１０に表示されている場合を例に挙げて説明する。図３に示すように、表示画面１５０は、画像表示部１５１と、画像表示部１５１の下に配置された操作部１５２とを含む。画像表示部１５１には、ＡＲコンテンツ２２、２３を含むＨＭＤ１０の表示画面２０が、カメラによる撮像画像と重畳して表示されており、ＨＭＤ１０を装着したユーザが知覚する画像に一致または近似した画像が表示される。
また、操作部１５２は、ユーザが直接指やペンでタッチ操作することで、各種の入力操作を受け付ける１または複数のＧＵＩ（Graphical User Interface）画像を含む。図３に示す表示画面１５０は、表示された領域内のタッチ操作を受け付けると、画像表示部１５１の表示をメニュー画面に切り替えるメニューボタン１５３を含む。
図１の説明に戻って、記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。
制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部１３０は、比較部１３１と、通信制御部１３２と、表示制御部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
比較部１３１は、第１通信部１１０が受信したセンサ情報に基づき、ユーザの携行するＨＭＤ１０が移動中であるか否かを判定する。具体的には、例えば、ＨＭＤ１０の単位時間当たりの移動距離が０でない場合、比較部１３１は、ＨＭＤ１０が移動中であると判定する。また、比較部１３１は、例えば、ＨＭＤ１０の単位時間当たりの移動距離が０である場合、ＨＭＤ１０が移動中でないと判定する。なお、ＨＭＤ１０が移動中であるか否かの判定は、ＨＭＤ１０の単位時間当たりの移動距離と、あらかじめ設定された基準値とを比較した結果に基づいて判定するようにしてもよい。かかる場合には、比較部１３１は、ＨＭＤ１０の単位時間当たりの移動距離が基準値を超える場合に、ＨＭＤ１０が移動中であると判定し、ＨＭＤ１０の単位時間当たりの移動距離が基準値以下である場合に、移動中でないと判定する。そして、比較部１３１は、ＨＭＤ１０が移動中であるか否かの判定結果を、通信制御部１３２に出力する。
また、比較部１３１は、第１通信部１１０が受信した情報に基づき、ユーザの携行する画像送信制御装置１００が作業中であるか否かを判定する。具体的には、比較部１３１は、例えば、第１通信部１１０が受信したＨＭＤ１０の撮像画像にＡＲコンテンツその他の識別子が含まれているか否かに基づき、当該ユーザの画像送信制御装置１００が作業中であるか否かを判定する。すなわち、比較部１３１は、ＨＭＤ１０の撮像画像に識別子が含まれていると認識された場合には、画像送信制御装置１００は作業中であると判定する。比較部１３１は、ＨＭＤ１０の撮像画像に識別子が含まれていると認識されない場合には、画像送信制御装置１００は作業中でないと判定する。また、比較部１３１は、ＨＭＤ１０の表示画面に、識別子に対応付けられたオブジェクトデータが表示されているか否かに基づいて画像送信制御装置１００が作業中であるか否かを判定するようにしてもよい。
なお、画像送信制御装置１００が作業中であるか否かを判定する手法は、上記したものに限られない。例えば、比較部１３１は、画像送信制御装置１００が操作中であるか否かの判定結果に基づき、画像送信制御装置１００が作業中であるか否かを判定してもよい。例えば、比較部１３１は、表示操作部１１３の操作面に対するユーザのタッチ操作やパラメータの入力操作が認識された場合に画像送信制御装置１００が作業中であると判定する。また、比較部１３１は、タッチ操作やパラメータの入力操作が認識されない場合に画像送信制御装置１００が作業中でないと判定する。さらに、比較部１３１は、画像送信制御装置１００の表示画面にユーザによる作業との関連性が高い画像が表示されているか否かに基づいて画像送信制御装置１００が作業中であるか否かを判定してもよい。
ここで、表示操作部１１３に表示される表示画面の他の一例について説明する。図４は、表示画面の他の一例を示す図である。図４に示すように、表示画面３０には、ある設備における点検のための作業マニュアル３１が表示されている。このように、画像送信制御装置１００の表示画面にユーザによる作業との関連性が高い画像が表示されている場合には、比較部１３１は、画像送信制御装置１００が作業中であると判定する。
また、比較部１３１は、情報処理装置３００が画像送信制御装置１００を遠隔支援する制御情報を第２通信部１１１が受信したか否かに基づいてユーザが作業中であるか否かを判定するようにしてもよい。すなわち、比較部１３１は、第２通信部１１１が遠隔支援中である旨の制御情報を受信した場合、画像送信制御装置１００が作業中であると判定し、当該制御情報の受信を認識しない場合、画像送信制御装置１００が作業中でないと判定する。
また、画像送信制御装置１００が音声認識機能（不図示）を備える場合、比較部１３１は、当該音声認識機能が利用されているか否かに基づいてユーザが作業中であるか否かを判定するようにしてもよい。すなわち、比較部１３１は、第１通信部１１０がＨＭＤ１０から入力された音声データの受信を認識した場合、画像送信制御装置１００が作業中であると判定し、音声データの受信を認識しない場合、画像送信制御装置１００が作業中でないと判定する。
そして、比較部１３１は、ユーザが作業中であるか否かの判定結果を、通信制御部１３２に出力する。
図１の説明に戻って、通信制御部１３２は、第２通信部１１１に対して、サーバ２００を介した情報処理装置３００との接続を指示する制御情報を出力する。すなわち、通信制御部１３２は、サーバ２００経由で情報処理装置３００との接続を確立する。通信制御部１３２は、第２通信部１１１に対して、表示画面の送信を指示する制御情報を出力する。
また、通信制御部１３２は、比較部１３１から出力された判定結果に基づき、第２通信部１１１に対して、表示画面の送信頻度の設定および変更を指示する制御情報を出力する。すなわち、ＨＭＤ１０が移動中である場合には、通信制御部１３２は、ＨＭＤ１０が移動中でない場合よりもサーバ２００への画像の送信を抑制する制御を行う。また、画像送信制御装置１００が作業中でない場合には、通信制御部１３２は、画像送信制御装置１００が作業中である場合よりもサーバ２００への画像の送信を抑制する制御を行う。
ここで、通信制御部１３２が画像の送信を抑制する制御について説明する。なお、通信制御部１３２は、第２通信部１１１における画像送信制御装置１００からサーバ２００への画像の送信頻度の上限を、例えば１０ｆｐｓとする。通信制御部１３２は、ＨＭＤ１０が移動中でない場合、または、画像送信制御装置１００が作業中である場合には、第２通信部１１１からサーバ２００への画像の送信頻度を、例えば、上限である１０ｆｐｓに制御する。また、通信制御部１３２は、ＨＭＤ１０が移動中である場合、または、画像送信制御装置１００が作業中でない場合には、第２通信部１１１からサーバ２００への画像の送信を抑制し、送信頻度を例えば、５〜７ｆｐｓに制御する。これにより、画像送信に伴う画像送信制御装置１００の消費電力を抑制できる。
表示制御部１３３は、ＡＲミドルウェアを用いたアプリケーションを起動する。表示制御部１３３は、アプリケーションが起動されると、第１通信部１１０を介して、ＨＭＤ１０に対するアプリケーションの表示画面の送信を開始する。
表示制御部１３３は、アプリケーションが起動されると、第２通信部１１１およびネットワークＮ１を介して、データ取得指示をサーバ２００に送信する。表示制御部１３３は、第２通信部１１１およびネットワークＮ１を介して、サーバ２００からデータ取得指示に対応するオブジェクトデータを受信すると、受信したオブジェクトデータを記憶部１２０に記憶する。
また、比較部１３１がＨＭＤ１０の撮像画像内に識別子が含まれていると判定した場合、表示制御部１３３は、識別子に対応付けられたオブジェクトデータを含む表示画面を第１通信部１１０に出力する。また、表示制御部１３３は、識別子に対応付けられたオブジェクトデータを含む表示画面を、第１通信部１１０で受信したＨＭＤ１０の撮像画像と重畳させて表示操作部１１３に出力する。
次に、情報処理装置３００の構成について説明する。図１に示すように、情報処理装置３００は、通信部３１１と、操作部３１２と、表示部３１３と、記憶部３１４と、制御部３１５とを有する。なお、情報処理装置３００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部３１１は、サーバ２００とネットワークＮ２を介して接続されている。通信部３１１は、例えば、ＮＩＣ（Network Interface Card）や無線ＬＡＮ等の通信モジュール等によって実現される。通信部３１１は、ネットワークＮ２を介してサーバ２００と有線または無線で接続され、サーバ２００との間で情報の通信を司る通信インタフェースである。通信部３１１は、サーバ２００から画像送信制御装置１００の表示画面を受信する。通信部３１１は、受信した表示画面を制御部３１５に出力する。また、通信部３１１は、制御部３１５からのデータ送信指示に応じた各種データを、ネットワークＮ２を介してサーバ２００に送信する。通信部３１１は、サーバ２００から受信した各種データを制御部３１５に出力する。
操作部３１２は、情報処理装置３００のユーザによる入力操作を受け付ける。操作部３１２は、受け付けた入力操作を操作情報として制御部３１５に出力する。
表示部３１３は、各種情報を表示するための表示デバイスである。表示部３１３は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部３１３は、制御部３１５から入力された表示画面等の各種画面を表示する。
記憶部３１４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。また、記憶部３１４は、制御部３１５での処理に用いる情報を記憶する。
制御部３１５は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３１５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部３１５は、通信制御部３１６と表示制御部３１７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部３１５の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部３１５は、情報処理装置３００が画像送信制御装置１００に対する支援操作を実施したか否かを判定する。
通信制御部３１６は、通信部３１１に対して、サーバ２００を介した画像送信制御装置１００との接続を指示する制御情報を出力する。すなわち、通信制御部３１６は、サーバ２００経由で画像送信制御装置１００との接続を確立する。また、通信制御部３１６は、情報処理装置３００が支援操作を実施した場合、サーバ２００に対し、画像の送信頻度を促進し、第１の送信頻度Ｔｆ１に設定する指示を送信する。さらに、通信制御部３１６は、画像送信制御装置１００からサーバ２００への画像の送信頻度が第１の送信頻度Ｔｆ１に設定された旨の通知を受信したか否かを判定する。通信制御部３１６は、第１の送信頻度Ｔｆ１に設定された旨の通知を受信した場合には、表示制御部３１７に対し、当該通知を送信した画像送信制御装置１００から送信された表示画面を強調表示するように指示する。ここで、第１の送信頻度Ｔｆ１は、例えば、送信頻度の上限とすることができる。通信制御部３１６は、第１の送信頻度Ｔｆ１に設定された旨の通知を受信していない場合には、表示制御部３１７に対し、強調表示の指示を行わない。
表示制御部３１７は、ネットワークＮ１、サーバ２００、ネットワークＮ２および通信部３１１を介して、画像送信制御装置１００から受信した表示画面を表示部３１３に表示させる。また、表示制御部３１７は、画像送信制御装置１００から送信される表示画面の送信頻度に応じて、表示部３１３の表示を更新する。また、表示制御部３１７は、送信頻度が高い画像送信制御装置１００から受信した表示画面を強調して表示させる。
ここで、表示部３１３に表示される表示画面の強調表示の一例について説明する。図５は、強調表示の一例を示す図である。ここでは、情報処理装置３００に対して３台の画像送信制御装置１００が接続されており、そのうちの１つの画像送信制御装置１００について、他の２つの画像送信制御装置１００よりも送信頻度が高い場合を例に挙げて説明する。図５に示すように、表示画面３２０は、第１の画像送信制御装置１００から取得した表示画面の画像３２１と、第２の画像送信制御装置１００から取得した表示画面の画像３２２と、第３の画像送信制御装置１００から取得した表示画面の画像３２３とを含む。
表示制御部３１７は、このうち、第３の画像送信制御装置１００における画像の送信頻度が他の２つの画像送信制御装置１００における画像の送信頻度よりも高い場合には、画像３２３の外枠を太くして強調表示する。画像の送信頻度が高い画像送信制御装置１００は、画像の送信頻度が低く抑制された画像送信制御装置１００と比較して遠隔支援の重要度が高いと考えられる。このように、情報処理装置３００の表示画面３２０では、遠隔支援の重要度が高い画像３２３を強調して表示させることにより、情報処理装置３００のユーザが注視して支援すべき画像送信制御装置１００を明確化することができる。なお、画像３２３は、識別子の一例であるＡＲマーカ３２４の撮像画像と、ＡＲマーカ３２４に対応するＡＲコンテンツ（図２参照）とが重畳表示された場合の一例である。また、画像３２３では、被支援者および／または支援者に対する注意喚起を促す文字情報３２５がさらに重畳表示されている。
次に、表示部３１３に表示される表示画面の強調表示の他の一例について説明する。図６は、強調表示の他の一例を示す図である。ここでは、図５に示した場合と同様に、情報処理装置３００に対して３台の画像送信制御装置１００が接続されており、そのうちの１つの画像送信制御装置１００について、他の２つの画像送信制御装置１００よりも送信頻度が高い場合を例に挙げて説明する。図６に示すように、表示画面３３０は、第１の画像送信制御装置１００から取得した表示画面の画像３３１と、第２の画像送信制御装置１００から取得した表示画面の画像３３２と、第３の画像送信制御装置１００から取得した表示画面の画像３３３とを含む。
表示制御部３１７は、このうち、第３の画像送信制御装置１００における画像の送信頻度が他の２つの画像送信制御装置１００における画像の送信頻度よりも高い場合には、画像３３３のサイズを他の画像３３１、３３２よりも大きくすることで強調表示する。このように、情報処理装置３００の表示画面３３０では、遠隔支援の重要度が高い画像３３３を強調して表示させることにより、情報処理装置３００のユーザが注視して支援すべき画像送信制御装置１００を明確化することができる。
次に、実施例の画像送信制御システム１の動作について説明する。図７および図８は、実施例の画像送信制御処理の一例を示すフローチャートである。まず、ＨＭＤ１０および画像送信制御装置１００を携行する被支援者側の動作の一例について、図７を用いて説明する。
画像送信制御装置１００の表示制御部１３３は、アプリケーションを起動する（ステップＳ１）。表示制御部１３３は、アプリケーションが起動されると、ＨＭＤ１０に対するアプリケーションの表示画面の送信を開始する。通信制御部１３２は、サーバ２００経由で情報処理装置３００との接続を確立する（ステップＳ２）。
比較部１３１は、ＨＭＤ１０から受信したセンサ情報に基づき、ＨＭＤ１０を装着した被支援者が移動中であるか否かを判定する（ステップＳ３）。比較部１３１は、被支援者が移動中でない場合には（ステップＳ３：否定）、画像送信制御装置１００を携行する被支援者が作業中であるか否かを判定する（ステップＳ４）。通信制御部１３２は、画像送信制御装置１００が作業中である場合には（ステップＳ４：肯定）、画像の送信頻度を第１の送信頻度Ｔｆ１に設定する（ステップＳ５）。
通信制御部１３２は、被支援者が移動中である場合（ステップＳ３：肯定）、または、被支援者が作業中でない場合には（ステップＳ４：否定）、画像の送信頻度を抑制し、第１の送信頻度Ｔｆ１よりも低い第２の送信頻度Ｔｆ２に設定する（ステップＳ６）。
通信制御部１３２は、設定された送信頻度（Ｔｆ１またはＴｆ２）にて画像送信制御装置１００の表示画面をサーバ２００経由で情報処理装置３００へ送信する（ステップＳ７）。
通信制御部１３２は、ステップＳ７での表示画面の送信後、所定時間経過したか否かを判定する（ステップＳ８）。所定時間経過していない場合（ステップＳ８：否定）、ステップＳ７に戻り、所定時間が経過するまで表示画面の送信を繰り返す。所定時間経過した場合（ステップＳ８：肯定）、表示制御部１３３は、アプリケーションが終了したか否かを判定する（ステップＳ９）。アプリケーションが終了していない場合には（ステップＳ９：否定）、ステップＳ３に戻る。アプリケーションが終了した場合には（ステップＳ９：肯定）、画像送信制御装置１００による画像送信制御処理を終了する。これにより、画像送信制御装置１００は、画像送信に伴う消費電力を抑制できる。
次に、ＨＭＤ１０および画像送信制御装置１００を支援する情報処理装置３００側の動作の一例について、図８を用いて説明する。図８では、画像の送信頻度のデフォルト値が第２の送信頻度Ｔｆ２に設定されている。
情報処理装置３００の表示制御部３１７は、アプリケーションを起動する（ステップＳ２１）。通信制御部３１６は、サーバ２００経由で画像送信制御装置１００との接続を確立する（ステップＳ２２）。
制御部３１５は、画像送信制御装置１００に対する支援操作を実施したか否かを判定する（ステップＳ２３）。通信制御部３１６は、支援操作を実施した場合（ステップＳ２３：肯定）、サーバ２００に対し、画像の送信頻度を促進し、第１の送信頻度Ｔｆ１に設定する指示を送信する（ステップＳ２４）。支援操作を実施しない場合（ステップＳ２３：否定）、画像の送信頻度は、第２の送信頻度Ｔｆ２のまま、ステップＳ２５に進む。
通信制御部３１６は、画像送信制御装置１００からサーバ２００への画像の送信頻度が第１の送信頻度Ｔｆ１に設定された旨の通知を受信したか否かを判定する（ステップＳ２５）。通信制御部３１６は、第１の送信頻度Ｔｆ１に設定された旨の通知を受信していない場合は（ステップＳ２５：否定）、ステップＳ２７に進む。通信制御部３１６は、第１の送信頻度Ｔｆ１に設定された旨の通知を受信した場合は（ステップＳ２５：肯定）、表示制御部３１７に対し、当該通知を送信した画像送信制御装置１００から送信された表示画面を強調表示するように指示する（ステップＳ２６）。
表示制御部３１７は、画像送信制御装置１００からサーバ２００を介して受信した１または複数の画像送信制御装置１００の各表示画面を表示部３１３に表示する（ステップＳ２７）。このとき、表示制御部３１７は、強調表示するように指示された画像送信制御装置１００に対応する表示画面を強調表示する。
表示制御部３１７は、アプリケーションが終了したか否かを判定する（ステップＳ２８）。アプリケーションが終了していない場合には（ステップＳ２８：否定）、ステップＳ２３に戻る。アプリケーションが終了した場合には（ステップＳ２８：肯定）、画像送信制御装置１００による画像送信制御処理を終了する。これにより、画像送信制御装置１００は、消費電力を抑制できる。
このように、画像送信制御装置１００は、カメラ１４により撮像された画像を取得して、取得した画像を情報処理装置３００に順次送信する。すなわち、画像送信制御装置１００は、センサ１２により検出された画像送信制御装置１００の動きに関する情報を取得する。画像送信制御装置１００は、取得した動きに関する情報に基づき、画像送信制御装置１００が移動中であるか否かを判定する。画像送信制御装置１００は、画像送信制御装置１００が移動中であると判定された場合に、情報処理装置３００への画像の送信を抑制する。その結果、消費電力を抑制できる。
また、画像送信制御装置１００は、カメラ１４により撮像された画像を取得して、取得した画像を情報処理装置３００に順次送信する。すなわち、画像送信制御装置１００は、センサ１２により検出された画像送信制御装置１００の動きに関する情報を取得する。画像送信制御装置１００は、取得した動きに関する情報に基づき、画像送信制御装置１００が移動中であるか否かを判定する。画像送信制御装置１００は、画像送信制御装置１００が移動中でないと判定された場合に、情報処理装置３００への画像の送信を促進する。その結果、画像の送信を促進する必要があるとき以外の消費電力を抑制できる。
また、画像送信制御装置１００は、画像送信制御装置１００が移動中でないと判定された場合に、予め設定された第１の送信頻度Ｔｆ１で画像を送信する。画像送信制御装置１００は、画像送信制御装置１００が移動中であると判定された場合に、第１の送信頻度Ｔｆ１よりも低い第２の送信頻度Ｔｆ２で画像を送信する。その結果、消費電力を抑制できる。
また、画像送信制御装置１００は、カメラ１４により撮像された画像を取得して、取得した画像を情報処理装置３００に順次送信する。すなわち、画像送信制御装置１００は、画像送信制御装置１００が受け付けた操作に関する情報を取得する。画像送信制御装置１００は、取得した操作に関する情報に基づき、画像送信制御装置１００が作業中であるか否かを判定する。画像送信制御装置１００は、画像送信制御装置１００が作業中でないと判定された場合に、情報処理装置３００への画像の送信を抑制する。その結果、消費電力を抑制できる。
また、画像送信制御装置１００は、カメラ１４により撮像された画像を取得して、取得した画像を情報処理装置３００に順次送信する。すなわち、画像送信制御装置１００は、画像送信制御装置１００が受け付けた操作に関する情報を取得する。画像送信制御装置１００は、取得した操作に関する情報に基づき、画像送信制御装置１００が作業中であるか否かを判定する。画像送信制御装置１００は、画像送信制御装置１００が作業中であると判定された場合に、情報処理装置３００への画像の送信を促進する。その結果、画像の送信を促進する必要があるとき以外の消費電力を抑制できる。
また、画像送信制御装置１００は、画像送信制御装置１００が作業中であると判定された場合に、予め設定された第１の送信頻度Ｔｆ１で画像を送信する。画像送信制御装置１００は、画像送信制御装置１００が作業中でないと判定された場合に、第１の送信頻度Ｔｆ１よりも低い第２の送信頻度Ｔｆ２で画像を送信する。その結果、消費電力を抑制できる。
なお、上記実施例では、ユーザの動きに関する情報をＨＭＤ１０のセンサ１２で取得するようにしたが、これに限定されない。例えば、画像送信制御装置１００でユーザの動きに関する情報を取得してもよい。
また、上記実施例では、工場の設備点検における点検作業者に対する遠隔支援を一例として挙げたが、これに限定されない。例えば、観光地における観光客に対する名所案内等に適用してもよい。
また、上記実施例では、画像送信制御装置１００とＨＭＤ１０とをユーザが装着する形態として説明したが、これに限定されない。例えば、ＨＭＤ１０を用いずに、例えばスマートフォンである画像送信制御装置１００の表示操作部１１３に表示画面を表示するようにしてもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、表示制御部１７とカメラ制御部１８とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図９は、画像送信制御プログラムを実行するコンピュータの一例を示す図である。
図９に示すように、コンピュータ４００は、各種演算処理を実行するＣＰＵ４０１と、データ入力を受け付ける入力装置４０２と、モニタ４０３とを有する。また、コンピュータ４００は、記憶媒体からプログラム等を読み取る媒体読取装置４０４と、各種装置と接続するためのインタフェース装置４０５と、他の情報処理装置等と有線または無線により接続するための通信装置４０６とを有する。また、コンピュータ４００は、各種情報を一時記憶するＲＡＭ４０７と、フラッシュメモリ４０８とを有する。また、各装置４０１〜４０８は、バス４０９に接続される。
フラッシュメモリ４０８には、図１に示した比較部１３１、通信制御部１３２および表示制御部１３３の各処理部と同様の機能を有する画像送信制御プログラムが記憶される。また、フラッシュメモリ４０８には、画像送信制御プログラムを実現するための各種データが記憶される。入力装置４０２は、例えば、コンピュータ４００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ４０３は、例えば、コンピュータ４００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置４０５は、例えばヘッドホン等が接続される。通信装置４０６は、例えば、図１に示した第１通信部１１０および第２通信部１１１と同様の機能を有しＨＭＤ１０およびネットワークＮ１と接続され、ＨＭＤ１０およびサーバ２００と各種情報をやりとりする。
ＣＰＵ４０１は、フラッシュメモリ４０８に記憶された各プログラムを読み出して、ＲＡＭ４０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ４００を図１に示した比較部１３１、通信制御部１３２および表示制御部１３３として機能させることができる。
なお、上記の画像送信制御プログラムは、必ずしもフラッシュメモリ４０８に記憶されている必要はない。例えば、コンピュータ４００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ４００が読み出して実行するようにしてもよい。コンピュータ４００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの画像送信制御プログラムを記憶させておき、コンピュータ４００がこれらから画像送信制御プログラムを読み出して実行するようにしてもよい。
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
（付記１）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置に実行させる画像送信制御プログラムにおいて、
センサにより検出された前記端末装置の動きに関する情報を取得し、
取得した前記情報に基づき、前記端末装置が移動中であるか否かを判定し、
前記端末装置が移動中であると判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行う、
処理を前記端末装置に実行させることを特徴とする画像送信制御プログラム。
（付記２）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置に実行させる画像送信制御プログラムにおいて、
センサにより検出された前記端末装置の動きに関する情報を取得し、
取得した前記情報に基づき、前記端末装置が移動中であるか否かを判定し、
前記端末装置が移動中でないと判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う、
処理を前記端末装置に実行させることを特徴とする画像送信制御プログラム。
（付記３）前記端末装置が移動中でないと判定された場合に、予め設定された第１の送信頻度で前記画像を送信し、前記端末装置が移動中であると判定された場合に、前記第１の送信頻度よりも低い第２の送信頻度で前記画像を送信する制御を行う、
ことを特徴とする付記１または２に記載の画像送信制御プログラム。
（付記４）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置に実行させる画像送信制御プログラムにおいて、
前記端末装置が受け付けた操作に関する情報を取得し、
取得した前記情報に基づき、前記端末装置が作業中であるか否かを判定し、
前記端末装置が作業中でないと判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行う、
処理を前記端末装置に実行させることを特徴とする画像送信制御プログラム。
（付記５）前記抑制する制御を行う処理は、
前記カメラにより撮像された撮像画像に識別子が存在しないと判定された場合に、前記撮像画像に基づいて表示画面に表示された画像の送信を抑制する制御を行う、
ことを特徴とする付記４に記載の画像送信制御プログラム。
（付記６）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置に実行させる画像送信制御プログラムにおいて、
前記端末装置が受け付けた操作に関する情報を取得し、
取得した前記情報に基づき、前記端末装置が作業中であるか否かを判定し、
前記端末装置が作業中であると判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う、
処理を前記端末装置に実行させることを特徴とする画像送信制御プログラム。
（付記７）前記判定する処理は、前記カメラにより撮像された撮像画像に識別子が存在するか否かを判定し、
前記促進する制御を行う処理は、前記識別子が存在すると判定された場合に、前記撮像画像に基づいて表示画面に表示された画像の送信を促進する制御を行う、
ことを特徴とする付記６に記載の画像送信制御プログラム。
（付記８）前記端末装置が作業中であると判定された場合に、予め設定された第１の送信頻度で前記画像を送信する制御を行い、前記端末装置が作業中でないと判定された場合に、前記第１の送信頻度よりも低い第２の送信頻度で前記画像を送信する制御を行う、
ことを特徴とする付記４〜７のいずれか１つに記載の画像送信制御プログラム。
（付記９）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置が実行する画像送信制御方法において、
センサにより検出された前記端末装置の動きに関する情報を取得し、
取得した前記情報に基づき、前記端末装置が移動中であるか否かを判定し、
前記端末装置が移動中であると判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行う、
処理を前記端末装置が実行することを特徴とする画像送信制御方法。
（付記１０）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置が実行する画像送信制御方法において、
センサにより検出された前記端末装置の動きに関する情報を取得し、
取得した前記情報に基づき、前記端末装置が移動中であるか否かを判定し、
前記端末装置が移動中でないと判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う、
処理を前記端末装置が実行することを特徴とする画像送信制御方法。
（付記１１）前記端末装置が移動中でないと判定された場合に、予め設定された第１の送信頻度で前記画像を送信し、前記端末装置が移動中であると判定された場合に、前記第１の送信頻度よりも低い第２の送信頻度で前記画像を送信する制御を行う、
ことを特徴とする付記９または１０に記載の画像送信制御方法。
（付記１２）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置が実行する画像送信制御方法において、
前記端末装置が受け付けた操作に関する情報を取得し、
取得した前記情報に基づき、前記端末装置が作業中であるか否かを判定し、
前記端末装置が作業中でないと判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行う、
処理を前記端末装置が実行することを特徴とする画像送信制御方法。
（付記１３）前記抑制する制御を行う処理は、
前記カメラにより撮像された撮像画像に識別子が存在しないと判定された場合に、前記撮像画像に基づいて表示画面に表示された画像の送信を抑制する制御を行う、
ことを特徴とする付記１２に記載の画像送信制御方法。
（付記１４）カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置が実行する画像送信制御方法において、
前記端末装置が受け付けた操作に関する情報を取得し、
取得した前記情報に基づき、前記端末装置が作業中であるか否かを判定し、
前記端末装置が作業中であると判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う、
処理を前記端末装置が実行することを特徴とする画像送信制御方法。
（付記１５）前記判定する処理は、前記カメラにより撮像された撮像画像に識別子が存在するか否かを判定し、
前記促進する制御を行う処理は、前記識別子が存在すると判定された場合に、前記撮像画像に基づいて表示画面に表示された画像の送信を促進する制御を行う、
ことを特徴とする付記１４に記載の画像送信制御方法。
（付記１６）前記端末装置が作業中であると判定された場合に、予め設定された第１の送信頻度で前記画像を送信する制御を行い、前記端末装置が作業中でないと判定された場合に、前記第１の送信頻度よりも低い第２の送信頻度で前記画像を送信する制御を行う、
ことを特徴とする付記１２〜１５のいずれか１つに記載の画像送信制御方法。
（付記１７）端末装置のカメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する画像送信制御装置において、
センサにより検出された前記端末装置の動きに関する情報を取得する取得部と、
取得した前記情報に基づき、前記端末装置が移動中であるか否かを判定する判定部と、
前記端末装置が移動中であると判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行う送信制御部と、
を備えることを特徴とする画像送信制御装置。
（付記１８）端末装置のカメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する画像送信制御装置において、
センサにより検出された前記端末装置の動きに関する情報を取得する取得部と、
取得した前記情報に基づき、前記端末装置が移動中であるか否かを判定する判定部と、
前記端末装置が移動中でないと判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う送信制御部と、
を備えることを特徴とする画像送信制御装置。
（付記１９）前記送信制御部は、前記端末装置が移動中でないと判定された場合に、予め設定された第１の送信頻度で前記画像を送信し、前記端末装置が移動中であると判定された場合に、前記第１の送信頻度よりも低い第２の送信頻度で前記画像を送信する制御を行う、
ことを特徴とする付記１７または１８に記載の画像送信制御装置。
（付記２０）端末装置のカメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する画像送信制御装置において、
前記端末装置が受け付けた操作に関する情報を取得する取得部と、
取得した前記情報に基づき、前記端末装置が作業中であるか否かを判定する判定部と、
前記端末装置が作業中でないと判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行う送信制御部と、
を備えることを特徴とする画像送信制御装置。
（付記２１）前記送信制御部は、前記カメラにより撮像された撮像画像に識別子が存在しないと判定された場合に、前記撮像画像に基づいて表示画面に表示された画像の送信を抑制する制御を行う、
ことを特徴とする付記２０に記載の画像送信制御装置。
（付記２２）端末装置のカメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する画像送信制御装置において、
前記端末装置が受け付けた操作に関する情報を取得する取得部と、
取得した前記情報に基づき、前記端末装置が作業中であるか否かを判定する判定部と、
前記端末装置が作業中であると判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う送信制御部と、
を備えることを特徴とする画像送信制御装置。
（付記２３）前記判定部は、前記カメラにより撮像された撮像画像に識別子が存在するか否かを判定し、
前記送信制御部は、前記識別子が存在すると判定された場合に、前記撮像画像に基づいて表示画面に表示された画像の送信を促進する制御を行う、
ことを特徴とする付記２２に記載の画像送信制御装置。
（付記２４）前記送信制御部は、前記端末装置が作業中であると判定された場合に、予め設定された第１の送信頻度で前記画像を送信する制御を行い、前記端末装置が作業中でないと判定された場合に、前記第１の送信頻度よりも低い第２の送信頻度で前記画像を送信する制御を行う、
ことを特徴とする付記２０〜２３のいずれか１つに記載の画像送信制御装置。
１０ ＨＭＤ
１１ 通信部
１２ センサ
１３ 表示部
１４ カメラ
１５ 制御部
１６ センサ制御部
１７ 表示制御部
１８ カメラ制御部
１９ 記憶部
１００ 画像送信制御装置
１１０ 第１通信部
１１１ 第２通信部
１２０ 記憶部
１３０ 制御部
１３１ 比較部
１３２ 通信制御部
１３３ 表示制御部
２００ サーバ
３００ 情報処理装置
３１１ 通信部
３１２ 操作部
３１３ 表示部
３１４ 記憶部
３１５ 制御部
３１６ 通信制御部
３１７ 表示制御部
Ｎ１，Ｎ２ ネットワーク

Claims (8)

  1. カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置に実行させる画像送信制御プログラムにおいて、
    センサにより検出された前記端末装置の動きに関する第１の情報と、前記端末装置が受け付けた操作に関する第２の情報とを取得し、
    取得した前記第１の情報に基づき、前記端末装置が移動中であるか否かを判定し、
    前記端末装置が移動中でないと判定された場合に、取得した前記第２の情報に基づき、前記端末装置が作業中であるか否かを判定し、
    前記端末装置が移動中であると判定された場合、または、前記端末装置が作業中でないと判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行い、前記端末装置が作業中であると判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う、
    処理を前記端末装置に実行させることを特徴とする画像送信制御プログラム。
  2. 前記作業中であるか否かを判定する処理は、さらに、前記端末装置の表示画面に前記端末装置のユーザの作業との関連性が高い画像が表示されている場合に、前記端末装置が作業中であると判定する、
    ことを特徴とする請求項１に記載の画像送信制御プログラム。
  3. 前記作業中であるか否かを判定する処理は、前記端末装置の音声認識機能が利用されていることを前記第２の情報として、前記端末装置が作業中であると判定する、
    ことを特徴とする請求項１または２に記載の画像送信制御プログラム。
  4. 前記作業中であるか否かを判定する処理は、さらに、前記画像内に、設備点検用の識別子が含まれている場合に、前記端末装置が作業中であると判定する、
    ことを特徴とする請求項１〜３のいずれか１つに記載の画像送信制御プログラム。
  5. 前記情報処理装置から前記端末装置のユーザに対する支援操作が実施された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う、
    ことを特徴とする請求項４に記載の画像送信制御プログラム。
  6. 前記端末装置が作業中であると判定された場合に、予め設定された第１の送信頻度で前記画像を送信する制御を行い、前記端末装置が移動中であると判定された場合、または、前記端末装置が作業中でないと判定された場合に、前記第１の送信頻度よりも低い第２の送信頻度で前記画像を送信する制御を行う、
    ことを特徴とする請求項１〜５のいずれか１つに記載の画像送信制御プログラム。
  7. カメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する処理を端末装置が実行する画像送信制御方法において、
    センサにより検出された前記端末装置の動きに関する第１の情報と、前記端末装置が受け付けた操作に関する第２の情報とを取得し、
    取得した前記第１の情報に基づき、前記端末装置が移動中であるか否かを判定し、
    前記端末装置が移動中でないと判定された場合に、取得した前記第２の情報に基づき、前記端末装置が作業中であるか否かを判定し、
    前記端末装置が移動中であると判定された場合、または、前記端末装置が作業中でないと判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行い、前記端末装置が作業中であると判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う、
    処理を前記端末装置が実行することを特徴とする画像送信制御方法。
  8. 端末装置のカメラにより撮像された画像を取得して、取得した前記画像を情報処理装置に順次送信する画像送信制御装置において、
    センサにより検出された前記端末装置の動きに関する第１の情報と、前記端末装置が受け付けた操作に関する第２の情報とを取得する取得部と、
    取得した前記第１の情報に基づき、前記端末装置が移動中であるか否かを判定する第１の判定部と、
    前記端末装置が移動中でないと判定された場合に、取得した前記第２の情報に基づき、前記端末装置が作業中であるか否かを判定する第２の判定部と、
    前記端末装置が移動中であると判定された場合、または、前記端末装置が作業中でないと判定された場合に、前記情報処理装置への前記画像の送信を抑制する制御を行い、前記端末装置が作業中であると判定された場合に、前記情報処理装置への前記画像の送信を促進する制御を行う送信制御部と、
    を備えることを特徴とする画像送信制御装置。
JP2016095579A 2016-05-11 2016-05-11 画像送信制御プログラム、画像送信制御方法および画像送信制御装置 Expired - Fee Related JP6736962B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016095579A JP6736962B2 (ja) 2016-05-11 2016-05-11 画像送信制御プログラム、画像送信制御方法および画像送信制御装置
US15/471,460 US10630942B2 (en) 2016-05-11 2017-03-28 Control method and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016095579A JP6736962B2 (ja) 2016-05-11 2016-05-11 画像送信制御プログラム、画像送信制御方法および画像送信制御装置

Publications (2)

Publication Number Publication Date
JP2017204750A JP2017204750A (ja) 2017-11-16
JP6736962B2 true JP6736962B2 (ja) 2020-08-05

Family

ID=60297195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016095579A Expired - Fee Related JP6736962B2 (ja) 2016-05-11 2016-05-11 画像送信制御プログラム、画像送信制御方法および画像送信制御装置

Country Status (2)

Country Link
US (1) US10630942B2 (ja)
JP (1) JP6736962B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020030585A1 (en) * 2018-08-07 2020-02-13 Signify Holding B.V. Systems and methods using cross-modal sampling of sensor data in distributed computing networks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539018B2 (ja) * 2003-03-04 2010-09-08 ソニー株式会社 送信制御装置および方法、記録媒体、並びにプログラム
JP2005242830A (ja) 2004-02-27 2005-09-08 Toshiba Corp 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置
JP2005286474A (ja) * 2004-03-29 2005-10-13 Hitachi Ltd 通信端末
US8266665B2 (en) * 2008-03-25 2012-09-11 Verizon Patent And Licensing Inc. TV screen capture
JP5106430B2 (ja) 2009-01-21 2012-12-26 セコム株式会社 遠隔画像監視システム
JP5781818B2 (ja) * 2011-04-14 2015-09-24 矢崎エナジーシステム株式会社 運行情報収集装置及び運行情報解析装置
JP6115630B2 (ja) * 2013-03-19 2017-04-19 日本電気株式会社 処理装置、処理装置のデータ処理方法、およびプログラム
KR102153599B1 (ko) * 2013-11-18 2020-09-08 삼성전자주식회사 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 광 투과율 변경 방법
JP6146869B2 (ja) 2014-03-19 2017-06-14 Kddi株式会社 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム

Also Published As

Publication number Publication date
US20170332053A1 (en) 2017-11-16
JP2017204750A (ja) 2017-11-16
US10630942B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
JP5929933B2 (ja) 表示システム、表示端末、表示方法及びプログラム
JP2019070911A (ja) 情報処理装置、接続設定方法、コンピュータプログラム、及び記憶媒体
RU2749643C1 (ru) Устанавливаемое на голове устройство отображения и выполняемый им способ
JP6754953B2 (ja) 撮像装置、電子機器及び撮像システム
JP6165681B2 (ja) 画像表示装置及び画像表示方法
JP7372061B2 (ja) 遠隔作業支援システム
US10641865B2 (en) Computer-readable recording medium, display control method and display control device
KR20220070292A (ko) 자동화된 안경류 디바이스 공유 시스템
US11393177B2 (en) Information processing apparatus, information processing method, and program
US20220301270A1 (en) Systems and methods for immersive and collaborative video surveillance
JP2016177097A5 (ja)
JP6736962B2 (ja) 画像送信制御プログラム、画像送信制御方法および画像送信制御装置
US20180012410A1 (en) Display control method and device
JP6938904B2 (ja) 送信制御プログラム、送信制御方法および情報処理装置
US11589001B2 (en) Information processing apparatus, information processing method, and program
US20180270424A1 (en) Repositioning camera lenses during capturing of media
JP2017054480A (ja) ウェアラブル端末、その通信方法およびプログラム
JP2018067851A (ja) 撮像制御プログラム、撮像制御方法および情報処理装置
WO2021134575A1 (zh) 显示控制方法和设备
JP6805858B2 (ja) 送信制御プログラム、送信制御方法および送信制御装置
US20200396438A1 (en) Information processing device, information processing method, and computer program
US20190018640A1 (en) Moving audio from center speaker to peripheral speaker of display device for macular degeneration accessibility
KR102262019B1 (ko) 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
JP6759974B2 (ja) 送信制御プログラム、送信制御方法および情報処理装置
KR102420166B1 (ko) 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6736962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees