JP6686697B2 - 送信制御プログラム、送信制御方法および送信制御システム - Google Patents

送信制御プログラム、送信制御方法および送信制御システム Download PDF

Info

Publication number
JP6686697B2
JP6686697B2 JP2016103383A JP2016103383A JP6686697B2 JP 6686697 B2 JP6686697 B2 JP 6686697B2 JP 2016103383 A JP2016103383 A JP 2016103383A JP 2016103383 A JP2016103383 A JP 2016103383A JP 6686697 B2 JP6686697 B2 JP 6686697B2
Authority
JP
Japan
Prior art keywords
captured image
information indicating
transmission control
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016103383A
Other languages
English (en)
Other versions
JP2017212537A (ja
Inventor
博 桑原
博 桑原
泰史 染谷
泰史 染谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016103383A priority Critical patent/JP6686697B2/ja
Priority to US15/581,232 priority patent/US20170347051A1/en
Publication of JP2017212537A publication Critical patent/JP2017212537A/ja
Application granted granted Critical
Publication of JP6686697B2 publication Critical patent/JP6686697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、送信制御プログラム、送信制御方法および送信制御装置に関する。
近年、ヘッドマウントディスプレイ等の表示装置を用いて、撮像された画像上にオブジェクトを重畳表示させるAR(Augmented Reality)技術が提案されている。AR技術では、例えば、連続して取得される撮像画像上にARマーカがあるか否かを画像処理によって認識する。当該画像処理は、撮像画像の画素数に応じて処理量が多くなり、処理量が増加すると消費電力も増加する。このため、例えば、撮像画像の画素数を減らす、フレームレートを下げるといったことで消費電力を抑えるための対処が行われている。
特開2012−221260号公報 特開2008−046687号公報 特開2007−304733号公報
しかしながら、取得される撮像画像には、ピントが合っていない撮像画像や、露光および明るさ等が適切でない状態で撮像された撮像画像が含まれる場合がある。この場合には、撮像画像に対して画像処理を行ってもARマーカを認識出来ず、画像処理が無駄となるので、余計な電力を消費してしまう場合がある。
一つの側面では、本発明は、情報処理装置への画像送信に付随する消費電力を削減できる送信制御プログラム、送信制御方法および送信制御装置を提供することにある。
一つの態様では、送信制御プログラムは、撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の撮像環境を示す情報とを取得する処理をコンピュータに実行させる。送信制御プログラムは、取得した前記撮像環境を示す情報に基づき、取得した前記撮像画像を送信対象とするか否かを判定する処理をコンピュータに実行させる。送信制御プログラムは、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に対して、送信対象と判定された撮像画像を送信する処理をコンピュータに実行させる。
情報処理装置への画像送信に付随する消費電力を削減できる。
図1は、実施例1の送信制御システムの構成の一例を示すブロック図である。 図2は、判定条件記憶部の一例を示す図である。 図3は、カメラ構成の一例を示す図である。 図4は、オブジェクトデータ記憶部の一例を示す図である。 図5は、実施例1の送信制御処理の一例を示すフローチャートである。 図6は、実施例2の送信制御システムの構成の一例を示すブロック図である。 図7は、実施例2の送信制御処理の一例を示すシーケンス図である。 図8は、送信制御プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する送信制御プログラム、送信制御方法および送信制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図1は、実施例1の送信制御システムの構成の一例を示すブロック図である。図1に示す送信制御システム1は、ヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)ともいう。)10と、情報処理装置100とを有する。HMD10と情報処理装置100とは、例えば1対1で無線により接続される。すなわち、HMD10は、情報処理装置100の表示部の一例として機能する。なお、図1では、HMD10と情報処理装置100との組について、1組を一例として示したが、HMD10と情報処理装置100との組の数は限定されず、任意の数のHMD10と情報処理装置100との組を有してもよい。
HMD10と情報処理装置100との間は、例えば、Wi−Fi Direct(登録商標)等の無線LAN(Local Area Network)により相互に通信可能に接続される。なお、HMD10と情報処理装置100との間は、有線で接続されるようにしてもよい。
HMD10は、ユーザが情報処理装置100とともに装着し、情報処理装置100から送信される表示画面を表示する。HMD10は、例えば、単眼の透過型のHMDを用いることができる。なお、HMD10は、例えば、両眼用や没入型等の各種のHMDを用いるようにしてもよい。また、HMD10は、撮像装置の一例であるカメラを有する。
HMD10は、撮像装置により撮像された撮像画像と、撮像装置による撮像画像の撮像の際の撮像環境を示す情報とを取得する。HMD10は、取得した撮像環境を示す情報に基づき、取得した撮像画像を送信対象とするか否かを判定する。HMD10は、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置100に対して、送信対象と判定された撮像画像を送信する。これにより、HMD10は、情報処理装置100への画像送信に付随する消費電力を削減できる。
情報処理装置100は、ユーザが装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。情報処理装置100は、例えば、HMD10から受信して受け付けた撮像画像にARコンテンツが対応付けられる基準物、例えばARマーカが含まれるか否かを判定する。情報処理装置100は、撮像画像にARマーカが含まれる場合に、当該ARマーカに対応するオブジェクトデータ、つまりARコンテンツを撮像画像に重畳表示した表示画面をHMD10に送信して表示させる。
次に、HMD10の構成について説明する。図1に示すように、HMD10は、通信部11と、カメラ12と、表示部13と、記憶部14と、制御部16とを有する。なお、HMD10は、図1に示す機能部以外にも、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部11は、例えば、無線LAN等の通信モジュール等によって実現される。通信部11は、例えば、Wi−Fi Direct(登録商標)により情報処理装置100と無線で接続され、情報処理装置100との間で情報の通信を司る通信インタフェースである。通信部11は、情報処理装置100から、表示画面を受信する。通信部11は、受信した表示画面を制御部16に出力する。また、通信部11は、制御部16から入力された撮像画像を情報処理装置100に送信する。
カメラ12は、ARコンテンツが対応付けられる基準物、つまりARマーカを撮像する撮像装置である。カメラ12は、例えば、撮像素子としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはCCD(Charge Coupled Device)イメージセンサ等を用いて、画像を撮像する。カメラ12は、撮像素子が受光した光を光電変換しA/D(Analog/Digital)変換を行って撮像画像を生成する。カメラ12は、生成した撮像画像と、ピント制御状態、露光、ゲイン、BV値および色温度のうち少なくともいずれかを含む撮像環境を示す情報とを制御部16に出力する。なお、撮像環境を示す情報は、撮像画像の画質に関する情報である。また、カメラ12は、LED(Light Emitting Diode)等を用いたフラッシュを有してもよい。
表示部13は、各種情報を表示するための表示デバイスである。表示部13は、例えば、ハーフミラーに映像が投影され、ユーザが映像とともに外部の風景を透過して見ることができる透過型のHMDの表示素子に相当する。なお、表示部13は、没入型、ビデオ透過型、網膜投影型等のHMDに対応する表示素子でもよい。
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子等の記憶装置によって実現される。記憶部14は、判定条件記憶部15を有する。また、記憶部14は、制御部16での処理に用いる情報を記憶する。
判定条件記憶部15は、カメラ12によって撮像された撮像画像について、情報処理装置100への送信対象とするか否かの判定に用いる判定条件を記憶する。図2は、判定条件記憶部の一例を示す図である。図2に示すように、判定条件記憶部15は、「周囲環境」、「露光」、「ゲイン」、「BV値」、「色温度」といった項目を有する。判定条件記憶部15は、例えば周囲環境ごとに1レコードとして記憶する。
「周囲環境」は、画像が撮像される周囲の環境を示す情報である。「周囲環境」は、例えば、4つのパターンとすることができる。4つのパターンは、例えば、「パターン1:日中」、「パターン2:夕景」、「パターン3:夜景、低照度」、「パターン4:事務所環境」といった環境に対応するパターンが挙げられる。「露光」は、撮像時の露光時間、つまりシャッター速度を示す情報である。「ゲイン」は、カメラ12における感度の増幅度を示す情報である。「BV値」は、ブライトネスバリュー(BV:Brightness Value)を表す値、つまり撮像される周辺の明るさを示す情報である。「色温度」は、撮像時の色温度を示す情報である。
図1の説明に戻って、制御部16は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部16は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。
制御部16は、カメラ制御部17と、取得部18と、判定部19と、送信制御部20とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部16の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部16は、通信部11から表示画面が入力されると、入力された表示画面を表示部13に表示させる。
カメラ制御部17は、カメラ12を制御する。カメラ制御部17は、カメラ12から入力された撮像環境を示す情報を取得する。カメラ制御部17は、取得した撮像環境を示す情報に基づいて、カメラ12のピント、シャッター速度およびフラッシュ発光の制御を行う。なお、これらの各制御は、カメラ制御部17内のドライバを用いて行うことができる。例えば、シャッター速度は、カメラドライバが制御する。ピントは、アクチュエータドライバが制御する。フラッシュ発光は、フラッシュドライバが制御する。また、カメラ制御部17は、カメラ12から入力された撮像画像と、撮像環境を示す情報とを取得部18に出力する。なお、カメラ制御部17には、カメラ12から撮像画像および撮像環境を示す情報が連続して入力され、以下の説明では、それぞれの撮像画像および撮像環境を示す情報を1フレームとして扱うものとする。
ここで、図3を用いてカメラ構成について説明する。図3は、カメラ構成の一例を示す図である。図3は、カメラ12で撮像された撮像画像のARアプリケーションまでの流れを模式的に表わしたものである。カメラ12は、例えば、撮像素子12aと、フラッシュLED12bとを有し、それぞれI2Cインタフェースでカメラ制御部17に接続される。カメラ制御部17は、カメラドライバ17aと、アクチュエータドライバ17bと、フラッシュドライバ17cとを有する。
図3に示す画質制御部30は、取得部18、判定部19および送信制御部20に相当する。画質制御部30は、例えば、Android(登録商標)OS(Operating System)では、画質調整を行うmm−cameraや、Camera Halといった機能で実現される。画質制御部30は、カメラ制御部17から入力された撮像環境を示す情報に基づいて、撮像画像を送信対象とするか否かを判定する。画質制御部30は、送信対象の撮像画像を、通信部11を介して情報処理装置100に送信する。図3の例では、情報処理装置100側の機能として、Camera Service31、および、Camera APL32がある。情報処理装置100では、Camera APL32をARアプリケーションが利用することで、ARアプリケーションが撮像画像を扱うことができる。また、図3では、撮像画像の流れを矢印33で表している。
図1の説明に戻って、取得部18は、カメラ制御部17から撮像画像と、撮像環境を示す情報とが入力されると、撮像画像と、撮像環境を示す情報とを取得する。すなわち、取得部18は、撮像装置により撮像された撮像画像と、撮像装置による撮像画像の撮像の際の撮像環境を示す情報とを取得する。取得部18は、取得した撮像画像および撮像環境を示す情報を判定部19に出力する。
判定部19は、取得部18から撮像画像および撮像環境を示す情報が入力されると、判定条件記憶部15を参照し、撮像環境を示す情報に基づいて、撮像画像を送信対象とするか否かを判定する。判定部19は、撮像環境を示す情報のうち、BV値が前フレームのBV値との差分が5以上であるか否かを判定する。判定部19は、BV値が前フレームのBV値との差分が5以上である場合には、当該撮像画像を送信対象としないと判定し、次のフレームの処理を待機する。すなわち、判定部19は、周囲環境が明所から暗所または暗所から明所に移動した場合等に撮像されたフレームを送信対象としないと判定する。
判定部19は、BV値が前フレームのBV値との差分が5以上でない場合には、判定条件記憶部15を参照し、周囲環境を判定する。判定部19は、入力された撮像環境を示す情報のうち、BV値および色温度に基づいて、判定条件記憶部15のBV値および色温度に当てはまる周囲環境を判定する。判定部19は、判定条件記憶部15を参照し、判定した周囲環境に応じた各項目の閾値を読み込む。図2の1行目の例では、判定部19は、入力されたBV値が「9.0」、色温度が「8000K」であった場合に、判定用の閾値として、露光「1.3ms以下」、ゲイン「1倍の場合のみ」、BV値「8.0以上」、色温度「5000K以上」を読み込む。
判定部19は、周囲環境に応じた各項目の閾値を読み込むと、入力された撮像環境を示す情報に対して各項目について判定する。判定部19は、撮像環境を示す情報のうち、ピント制御状態がAF(AutoFocus)中か否かを判定する。なお、ピント制御状態は、ピント合わせを行うAFの動作中の状態、または、ピント合わせが完了してAFの動作が停止した状態のいずれかの状態を示す。判定部19は、ピント制御状態がAF中である場合には、当該撮像画像を送信対象としないと判定し、次のフレームの処理を待機する。
判定部19は、ピント制御状態がAF中でない場合には、撮像環境を示す情報のうち、露光が範囲内か否かを判定する。判定部19は、露光が範囲内でない場合には、当該撮像画像を送信対象としないと判定し、次のフレームの処理を待機する。判定部19は、露光が範囲内である場合には、撮像環境を示す情報のうち、ゲインが範囲内か否かを判定する。
判定部19は、ゲインが範囲内でない場合には、当該撮像画像を送信対象としないと判定し、次のフレームの処理を待機する。判定部19は、ゲインが範囲内である場合には、撮像環境を示す情報のうち、BV値が範囲内か否かを判定する。判定部19は、BV値が範囲内でない場合には、当該撮像画像を送信対象としないと判定し、次のフレームの処理を待機する。判定部19は、BV値が範囲内である場合には、当該撮像画像を送信対象と判定し、撮像画像を送信制御部20に出力する。
送信制御部20は、判定部19から撮像画像が入力されると、入力された撮像画像を、通信部11を介して、情報処理装置100に送信する。送信制御部20は、撮像画像を送信すると、送信制御処理を終了するか否かを判定する。送信制御部20は、例えば、HMD10の電源ボタンがOFFとなるような操作を受け付けた場合には、送信制御処理を終了すると判定し、送信制御処理を終了する。送信制御部20は、当該操作を受け付けない場合には、送信制御処理を終了しないと判定し、次のフレームの処理を待機する。
続いて、情報処理装置100の構成について説明する。図1に示すように、情報処理装置100は、通信部110と、表示操作部111と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、図1に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部110は、例えば、無線LAN等の通信モジュール等によって実現される。通信部110は、例えば、Wi−Fi Direct(登録商標)によりHMD10と無線で接続され、HMD10との間で情報の通信を司る通信インタフェースである。通信部110は、HMD10から撮像画像を受信する。通信部110は、受信した撮像画像を制御部130に出力する。また、通信部110は、制御部130から入力された表示画面をHMD10に送信する。
表示操作部111は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部111は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部111は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部111は、表示デバイスと入力デバイスとが一体化される。表示操作部111は、ユーザによって入力された操作を操作情報として制御部130に出力する。なお、表示操作部111は、HMD10と同様の画面を表示してもよいし、HMD10と異なる画面を表示してもよい。
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部120は、オブジェクトデータ記憶部121を有する。また、記憶部120は、制御部130での処理に用いる情報を記憶する。
オブジェクトデータ記憶部121は、オブジェクトデータを記憶する。図4は、オブジェクトデータ記憶部の一例を示す図である。図4に示すように、オブジェクトデータ記憶部121は、「オブジェクトID(Identifier)」、「オブジェクトデータ」、「位置情報」といった項目を有する。オブジェクトデータ記憶部121は、例えばオブジェクトデータごとに1レコードとして記憶する。
「オブジェクトID」は、オブジェクトデータ、つまりARコンテンツを識別する識別子である。「オブジェクトデータ」は、オブジェクトデータを示す情報である。「オブジェクトデータ」は、例えば、オブジェクトデータ、つまりARコンテンツを構成するデータファイルである。「位置情報」は、オブジェクトデータに対応付けられている位置情報である。「位置情報」は、対応付けられたオブジェクトデータの世界座標系における位置情報を示す情報である。なお、「位置情報」は、ARマーカとオブジェクトIDとが対応付けられていれば、無くてもよい。
制御部130は、例えば、CPUやMPU等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASICやFPGA等の集積回路により実現されるようにしてもよい。制御部130は、受付部131と、マーカ判定部132と、表示制御部133とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図1に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
受付部131は、通信部110を介して、HMD10から撮像画像を受信すると、受信した撮像画像を受け付ける。受付部131は、受け付けた撮像画像をマーカ判定部132に出力する。
マーカ判定部132は、受付部131から撮像画像が入力されると、撮像画像にARマーカが含まれるか否かを判定する。すなわち、マーカ判定部132は、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する。マーカ判定部132は、撮像画像にARマーカが含まれる場合には、当該ARマーカに対応するオブジェクトデータ、つまりARコンテンツをオブジェクトデータ記憶部121から読み出し、撮像画像およびARコンテンツを表示制御部133に出力する。マーカ判定部132は、撮像画像にARマーカが含まれない場合には、撮像画像を表示制御部133に出力する。
表示制御部133は、マーカ判定部132から撮像画像およびARコンテンツが入力されると、撮像画像にARコンテンツを重畳表示した表示画面を生成する。また、表示制御部133は、マーカ判定部132から撮像画像が入力され、対応するARコンテンツが入力されない場合には、撮像画像から表示画面を生成する。表示制御部133は、生成した表示画面を、通信部110を介してHMD10に送信して表示させる。
次に、実施例1の送信制御システム1の動作について説明する。図5は、実施例1の送信制御処理の一例を示すフローチャートである。
送信制御システム1のHMD10は、例えばユーザにより電源が投入されると、カメラ制御部17がカメラ12の制御を開始し、撮像画像および撮像環境を示す情報を取得部18に出力する。取得部18は、カメラ制御部17から撮像画像および撮像環境を示す情報が入力されると、撮像画像および撮像環境を示す情報を取得する(ステップS1)。取得部18は、取得した撮像画像および撮像環境を示す情報を判定部19に出力する。
判定部19は、取得部18から撮像画像および撮像環境を示す情報が入力されると、撮像環境を示す情報のうち、BV値が前フレームのBV値との差分が5以上であるか否かを判定する(ステップS2)。判定部19は、BV値が前フレームのBV値との差分が5以上である場合には(ステップS2:肯定)、当該撮像画像を送信対象としないと判定し、ステップS1に戻る。
判定部19は、BV値が前フレームのBV値との差分が5以上でない場合には(ステップS2:否定)、入力された撮像環境を示す情報のうち、BV値および色温度について、判定条件記憶部15のBV値および色温度に当てはまる周囲環境を判定する(ステップS3)。判定部19は、判定条件記憶部15を参照し、判定した周囲環境に応じた各項目の閾値を読み込む(ステップS4)。
判定部19は、周囲環境に応じた各項目の閾値を読み込むと、撮像環境を示す情報のうち、ピント制御状態がAF中か否かを判定する(ステップS5)。判定部19は、ピント制御状態がAF中である場合には(ステップS5:肯定)、当該撮像画像を送信対象としないと判定し、ステップS1に戻る。
判定部19は、ピント制御状態がAF中でない場合には(ステップS5:否定)、撮像環境を示す情報のうち、露光が範囲内か否かを判定する(ステップS6)。判定部19は、露光が範囲内でない場合には(ステップS6:否定)、当該撮像画像を送信対象としないと判定し、ステップS1に戻る。
判定部19は、露光が範囲内である場合には(ステップS6:肯定)、撮像環境を示す情報のうち、ゲインが範囲内か否かを判定する(ステップS7)。判定部19は、ゲインが範囲内でない場合には(ステップS7:否定)、当該撮像画像を送信対象としないと判定し、ステップS1に戻る。
判定部19は、ゲインが範囲内である場合には(ステップS7:肯定)、撮像環境を示す情報のうち、BV値が範囲内か否かを判定する(ステップS8)。判定部19は、BV値が範囲内でない場合には(ステップS8:否定)、当該撮像画像を送信対象としないと判定し、ステップS1に戻る。
判定部19は、BV値が範囲内である場合には(ステップS8:肯定)、当該撮像画像を送信対象と判定し、撮像画像を送信制御部20に出力する。送信制御部20は、判定部19から撮像画像が入力されると、入力された撮像画像を情報処理装置100に送信する(ステップS9)。
情報処理装置100の受付部131は、HMD10から撮像画像を受信すると、受信した撮像画像を受け付ける。受付部131は、受け付けた撮像画像をマーカ判定部132に出力する。マーカ判定部132は、受付部131から撮像画像が入力されると、撮像画像にARマーカが含まれるか否かを判定する。マーカ判定部132は、撮像画像にARマーカが含まれる場合には、当該ARマーカに対応するARコンテンツをオブジェクトデータ記憶部121から読み出し、撮像画像およびARコンテンツを表示制御部133に出力する。すなわち、マーカ判定部132は、ARマーカ認識処理を実行する(ステップS10)。マーカ判定部132は、撮像画像にARマーカが含まれない場合には、撮像画像を表示制御部133に出力する。
表示制御部133は、マーカ判定部132から撮像画像およびARコンテンツが入力されると、撮像画像にARコンテンツを重畳表示した表示画面を生成する。また、表示制御部133は、マーカ判定部132から撮像画像が入力され、対応するARコンテンツが入力されない場合には、撮像画像から表示画面を生成する。表示制御部133は、生成した表示画面をHMD10に送信する。
HMD10の制御部16は、情報処理装置100から表示画面を受信すると、受信した表示画面を表示部13に表示させる。また、送信制御部20は、撮像画像を送信すると、送信制御処理を終了するか否かを判定する(ステップS11)。送信制御部20は、送信制御処理を終了しない場合には(ステップS11:否定)、ステップS1に戻る。送信制御部20は、送信制御処理を終了する場合には(ステップS11:肯定)、送信制御処理を終了する。これにより、HMD10は、情報処理装置への画像送信に付随する消費電力を削減できる。
このように、HMD10は、撮像装置により撮像された撮像画像と、撮像装置による撮像画像の撮像の際の撮像環境を示す情報とを取得する。また、HMD10は、取得した撮像環境を示す情報に基づき、取得した撮像画像を送信対象とするか否かを判定する。また、HMD10は、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置100に対して、送信対象と判定された撮像画像を送信する。その結果、情報処理装置100への画像送信に付随する消費電力を削減できる。
また、HMD10における撮像環境は、撮像装置の周辺の明るさ、撮像装置の露光度、撮像装置のゲイン、撮像装置のピント制御状態の少なくともいずれかを含む。その結果、撮像環境に基づいて、撮像画像を送信対象とするか否かを判定できる。
また、HMD10における撮像環境は、撮像画像の画質である。その結果、撮像画像の画質に基づいて、撮像画像を送信対象とするか否かを判定できる。
上記実施例1では、HMD10側で撮像画像を送信対象とするか否かを判定するフィルタ処理を実行したが、情報処理装置100側で撮像画像に対して画像認識するか否かを判定するようにしてもよく、この場合の実施の形態につき、実施例2として説明する。図6は、実施例2の送信制御システムの構成の一例を示すブロック図である。なお、実施例1の送信制御システム1と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。実施例2の送信制御システム2は、実施例1のHMD10および情報処理装置100に代えて、HMD50および情報処理装置200を有する。
実施例2の送信制御システム2におけるHMD50の記憶部51は、実施例1のHMD10の記憶部14と比較して、判定条件記憶部15を持たない。また、HMD50の制御部52は、実施例1のHMD10の制御部16と比較して、判定部19を持たず、送信制御部20に代えて送信制御部53を有する。
送信制御部53は、取得部18から撮像画像および撮像環境を示す情報が入力されると、入力された撮像画像および撮像環境を示す情報を、通信部11を介して、情報処理装置200に送信する。すなわち、送信制御部53は、入力された撮像画像と撮像環境を示す情報とを、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置200に送信する。また、送信制御部53は、実施例1の送信制御部20と同様に、終了判定を行う。なお、実施例2では、取得部18は、取得した撮像画像および撮像環境を示す情報を送信制御部53に出力する。
実施例2の送信制御システム2における情報処理装置200の記憶部220は、実施例1の情報処理装置100の記憶部120と比較して、さらに、判定条件記憶部222を有する。また、情報処理装置200の制御部230は、実施例1の情報処理装置100の制御部130と比較して、受付部131に代えて受付部231を有し、さらに、判定部234を有する。なお、判定条件記憶部222は、実施例1の判定条件記憶部15と同様であるので、その説明を省略する。
受付部231は、通信部110を介して、HMD50から撮像画像および撮像環境を示す情報を受信すると、受信した撮像画像および撮像環境を示す情報を受け付ける。受付部231は、受け付けた撮像画像および撮像環境を示す情報を判定部234に出力する。また、受付部231は、例えば、情報処理装置200の電源ボタンがOFFとなるような操作を受け付けた場合には、送信制御処理を終了すると判定し、送信制御処理を終了する。受付部231は、当該操作を受け付けない場合には、送信制御処理を終了しないと判定し、次のフレームの処理を待機する。
判定部234は、実施例1の判定部19に対応する。判定部234は、受付部231から撮像画像および撮像環境を示す情報が入力されると、判定条件記憶部222を参照し、撮像環境を示す情報に基づいて、撮像画像をARマーカ認識処理の対象とするか否かを判定する。判定部234は、撮像環境を示す情報のうち、BV値が前フレームのBV値との差分が5以上であるか否かを判定する。判定部234は、BV値が前フレームのBV値との差分が5以上である場合には、当該撮像画像をARマーカ認識処理の対象としないと判定し、次のフレームの処理を待機する。すなわち、判定部234は、周囲環境が明所から暗所または暗所から明所に移動した場合等に撮像されたフレームをARマーカ認識処理の対象としないと判定する。
判定部234は、BV値が前フレームのBV値との差分が5以上でない場合には、判定条件記憶部222を参照し、周囲環境を判定する。判定部234は、入力された撮像環境を示す情報のうち、BV値および色温度について、判定条件記憶部222のBV値および色温度に当てはまる周囲環境を判定する。判定部234は、判定条件記憶部222を参照し、判定した周囲環境に応じた各項目の閾値を読み込む。
判定部234は、周囲環境に応じた各項目の閾値を読み込むと、入力された撮像環境を示す情報に対して各項目について判定する。判定部234は、撮像環境を示す情報のうち、ピント制御状態がAF中か否かを判定する。判定部234は、ピント制御状態がAF中である場合には、当該撮像画像をARマーカ認識処理の対象としないと判定し、次のフレームの処理を待機する。
判定部234は、ピント制御状態がAF中でない場合には、撮像環境を示す情報のうち、露光が範囲内か否かを判定する。判定部234は、露光が範囲内でない場合には、当該撮像画像をARマーカ認識処理の対象としないと判定し、次のフレームの処理を待機する。判定部234は、露光が範囲内である場合には、撮像環境を示す情報のうち、ゲインが範囲内か否かを判定する。
判定部234は、ゲインが範囲内でない場合には、当該撮像画像をARマーカ認識処理の対象としないと判定し、次のフレームの処理を待機する。判定部234は、ゲインが範囲内である場合には、撮像環境を示す情報のうち、BV値が範囲内か否かを判定する。判定部234は、BV値が範囲内でない場合には、当該撮像画像をARマーカ認識処理の対象としないと判定し、次のフレームの処理を待機する。判定部234は、BV値が範囲内である場合には、当該撮像画像をARマーカ認識処理の対象と判定し、撮像画像をマーカ判定部132に出力する。なお、実施例2では、マーカ判定部132には、判定部234から撮像画像が入力される。
次に、実施例2の送信制御システム2の動作について説明する。図7は、実施例2の送信制御処理の一例を示すシーケンス図である。
送信制御システム2のHMD50は、例えばユーザにより電源が投入されると、カメラ制御部17がカメラ12の制御を開始し、撮像画像および撮像環境を示す情報を取得部18に出力する。取得部18は、カメラ制御部17から撮像画像および撮像環境を示す情報が入力されると、撮像画像および撮像環境を示す情報を取得する(ステップS21)。取得部18は、取得した撮像画像および撮像環境を示す情報を送信制御部53に出力する。
送信制御部53は、取得部18から撮像画像および撮像環境を示す情報が入力されると、入力された撮像画像および撮像環境を示す情報を、情報処理装置200に送信する(ステップS22)。
送信制御システム2の受付部231は、HMD50から撮像画像および撮像環境を示す情報を受信すると(ステップS23)、受信した撮像画像および撮像環境を示す情報を受け付ける。受付部231は、受け付けた撮像画像および撮像環境を示す情報を判定部234に出力する。なお、ステップS23では、撮像画像および撮像環境を示す情報を、引き続きHMD50から受信している。
判定部234は、受付部231から撮像画像および撮像環境を示す情報が入力されると、撮像環境を示す情報のうち、BV値が前フレームのBV値との差分が5以上であるか否かを判定する(ステップS24)。判定部234は、BV値が前フレームのBV値との差分が5以上である場合には(ステップS24:肯定)、当該撮像画像をARマーカ認識処理の対象としないと判定し、ステップS23に戻る。
判定部234は、BV値が前フレームのBV値との差分が5以上でない場合には(ステップS24:否定)、撮像環境を示す情報のうち、BV値および色温度について判定条件記憶部222のBV値および色温度に当てはまる周囲環境を判定する(ステップS25)。判定部234は、判定条件記憶部222を参照し、判定した周囲環境に応じた各項目の閾値を読み込む(ステップS26)。
判定部234は、周囲環境に応じた各項目の閾値を読み込むと、撮像環境を示す情報のうち、ピント制御状態がAF中か否かを判定する(ステップS27)。判定部234は、ピント制御状態がAF中である場合には(ステップS27:肯定)、当該撮像画像をARマーカ認識処理の対象としないと判定し、ステップS23に戻る。
判定部234は、ピント制御状態がAF中でない場合には(ステップS27:否定)、撮像環境を示す情報のうち、露光が範囲内か否かを判定する(ステップS28)。判定部234は、露光が範囲内でない場合には(ステップS28:否定)、当該撮像画像をARマーカ認識処理の対象としないと判定し、ステップS23に戻る。
判定部234は、露光が範囲内である場合には(ステップS28:肯定)、撮像環境を示す情報のうち、ゲインが範囲内か否かを判定する(ステップS29)。判定部234は、ゲインが範囲内でない場合には(ステップS29:否定)、当該撮像画像をARマーカ認識処理の対象としないと判定し、ステップS23に戻る。
判定部234は、ゲインが範囲内である場合には(ステップS29:肯定)、撮像環境を示す情報のうち、BV値が範囲内か否かを判定する(ステップS30)。判定部234は、BV値が範囲内でない場合には(ステップS30:否定)、当該撮像画像をARマーカ認識処理の対象としないと判定し、ステップS23に戻る。
判定部234は、BV値が範囲内である場合には(ステップS30:肯定)、当該撮像画像をARマーカ認識処理の対象と判定し、撮像画像をマーカ判定部132に出力する。マーカ判定部132は、判定部234から撮像画像が入力されると、撮像画像にARマーカが含まれるか否かを判定する。マーカ判定部132は、撮像画像にARマーカが含まれる場合には、当該ARマーカに対応するARコンテンツをオブジェクトデータ記憶部121から読み出し、撮像画像およびARコンテンツを表示制御部133に出力する(ステップS31)。マーカ判定部132は、撮像画像にARマーカが含まれない場合には、撮像画像を表示制御部133に出力する。
表示制御部133は、マーカ判定部132から撮像画像およびARコンテンツが入力されると、撮像画像にARコンテンツを重畳表示した表示画面を生成する。また、表示制御部133は、マーカ判定部132から撮像画像が入力され、対応するARコンテンツが入力されない場合には、撮像画像から表示画面を生成する。表示制御部133は、生成した表示画面をHMD50に送信する。
受付部231は、表示画面がHMD50に送信されると、送信制御処理を終了するか否かを判定する(ステップS32)。受付部231は、送信制御処理を終了しない場合には(ステップS32:否定)、ステップS23に戻る。受付部231は、送信制御処理を終了する場合には(ステップS32:肯定)、送信制御処理を終了する。
HMD50の制御部52は、情報処理装置200から表示画面を受信すると、受信した表示画面を表示部13に表示させる。また、送信制御部53は、撮像画像を送信すると、送信制御処理を終了するか否かを判定する(ステップS33)。送信制御部53は、送信制御処理を終了しない場合には(ステップS33:否定)、ステップS21に戻る。送信制御部53は、送信制御処理を終了する場合には(ステップS33:肯定)、送信制御処理を終了する。これにより、情報処理装置200は、ARマーカ認識処理に係る消費電力を削減できる。
このように、HMD50は、撮像装置により撮像された撮像画像と、撮像装置による撮像画像の撮像の際の撮像環境を示す情報とを取得する。また、HMD50は、取得した撮像画像と撮像環境を示す情報とを、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置200に送信する。その結果、情報処理装置200側で撮像環境を示す情報に基づいて、ARマーカ認識処理を行うか否かを判定するので、情報処理装置200への画像送信に付随する消費電力を削減できる。
なお、上記各実施例では、情報処理装置100または200と、HMD10または50とをユーザが装着する形態として説明したが、これに限定されない。例えば、HMD10または50を用いずに、例えばスマートフォンである情報処理装置100または200の表示操作部111に表示画面を表示するようにしてもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部18と判定部19とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、CPU(又はMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図8は、送信制御プログラムを実行するコンピュータの一例を示す図である。
図8に示すように、コンピュータ300は、各種演算処理を実行するCPU301と、データ入力を受け付ける入力装置302と、モニタ303とを有する。また、コンピュータ300は、記憶媒体からプログラム等を読み取る媒体読取装置304と、各種装置と接続するためのインタフェース装置305と、他の情報処理装置等と有線または無線により接続するための通信装置306とを有する。また、コンピュータ300は、各種情報を一時記憶するRAM307と、フラッシュメモリ308とを有する。また、各装置301〜308は、バス309に接続される。
フラッシュメモリ308には、図1または図6に示したカメラ制御部17、取得部18、判定部19および送信制御部20または53の各処理部と同様の機能を有する送信制御プログラムが記憶される。また、フラッシュメモリ308には、判定条件記憶部15、および、送信制御プログラムを実現するための各種データが記憶される。入力装置302は、例えば、コンピュータ300のユーザから操作情報等の各種情報の入力を受け付ける。モニタ303は、例えば、コンピュータ300のユーザに対して表示画面等の各種画面を表示する。インタフェース装置305は、例えばヘッドホン等が接続される。通信装置306は、例えば、図1に示した通信部11と同様の機能を有し情報処理装置100または200と接続され、情報処理装置100または200と各種情報をやりとりする。
CPU301は、フラッシュメモリ308に記憶された各プログラムを読み出して、RAM307に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ300を図1または図6に示したカメラ制御部17、取得部18、判定部19および送信制御部20または53として機能させることができる。
なお、上記の送信制御プログラムは、必ずしもフラッシュメモリ308に記憶されている必要はない。例えば、コンピュータ300が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ300が読み出して実行するようにしてもよい。コンピュータ300が読み取り可能な記憶媒体は、例えば、CD−ROMやDVDディスク、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの送信制御プログラムを記憶させておき、コンピュータ300がこれらから送信制御プログラムを読み出して実行するようにしてもよい。
以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。
(付記1)撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の撮像環境を示す情報とを取得し、
取得した前記撮像環境を示す情報に基づき、取得した前記撮像画像を送信対象とするか否かを判定し、
受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に対して、送信対象と判定された撮像画像を送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
(付記2)撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の撮像環境を示す情報とを取得し、
取得した前記撮像画像と前記撮像環境を示す情報とを、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に送信する、
処理をコンピュータに実行させることを特徴とする送信制御プログラム。
(付記3)前記撮像環境は、前記撮像装置の周辺の明るさ、前記撮像装置の露光度、前記撮像装置のゲイン、前記撮像装置のピント制御状態の少なくともいずれかを含む、
ことを特徴とする付記1または2に記載の送信制御プログラム。
(付記4)前記撮像環境は、前記撮像画像の画質である、
ことを特徴とする付記1または2に記載の送信制御プログラム。
(付記5)撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の撮像環境を示す情報とを取得し、
取得した前記撮像環境を示す情報に基づき、取得した前記撮像画像を送信対象とするか否かを判定し、
受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に対して、送信対象と判定された撮像画像を送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
(付記6)撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の撮像環境を示す情報とを取得し、
取得した前記撮像画像と前記撮像環境を示す情報とを、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に送信する、
処理をコンピュータが実行することを特徴とする送信制御方法。
(付記7)前記撮像環境は、前記撮像装置の周辺の明るさ、前記撮像装置の露光度、前記撮像装置のゲイン、前記撮像装置のピント制御状態の少なくともいずれかを含む、
ことを特徴とする付記5または6に記載の送信制御方法。
(付記8)前記撮像環境は、前記撮像画像の画質である、
ことを特徴とする付記5または6に記載の送信制御方法。
(付記9)撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の撮像環境を示す情報とを取得する取得部と、
取得した前記撮像環境を示す情報に基づき、取得した前記撮像画像を送信対象とするか否かを判定する判定部と、
受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に対して、送信対象と判定された撮像画像を送信する送信制御部と、
を有することを特徴とする送信制御装置。
(付記10)撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の撮像環境を示す情報とを取得する取得部と、
取得した前記撮像画像と前記撮像環境を示す情報とを、受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に送信する送信制御部と、
を有することを特徴とする送信制御装置。
(付記11)前記撮像環境は、前記撮像装置の周辺の明るさ、前記撮像装置の露光度、前記撮像装置のゲイン、前記撮像装置のピント制御状態の少なくともいずれかを含む、
ことを特徴とする付記9または10に記載の送信制御装置。
(付記12)前記撮像環境は、前記撮像画像の画質である、
ことを特徴とする付記9または10に記載の送信制御装置。
1,2 送信制御システム
10,50 HMD
11 通信部
12 カメラ
13 表示部
14,51 記憶部
15 判定条件記憶部
16,52 制御部
17 カメラ制御部
18 取得部
19 判定部
20,53 送信制御部
100,200 情報処理装置
110 通信部
111 表示操作部
120,220 記憶部
121 オブジェクトデータ記憶部
222 判定条件記憶部
130,230 制御部
131,231 受付部
132 マーカ判定部
133 表示制御部
234 判定部

Claims (7)

  1. 撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の複数の撮像環境を示す情報とを取得し、
    取得した複数の前記撮像環境を示す情報に基づき、取得した前記撮像画像を送信対象とするか否かを、それぞれの前記撮像環境を示す情報ごとに順番に判定し、
    受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する情報処理装置に対して、送信対象としないと判定された撮像画像を送信せず、送信対象と判定された撮像画像を送信する、
    処理をコンピュータに実行させることを特徴とする送信制御プログラム。
  2. 前記撮像環境は、前記撮像装置の周辺の明るさ、前記撮像装置の露光度、前記撮像装置のゲイン、前記撮像装置のピント制御状態の少なくともいずれかを含む、
    ことを特徴とする請求項1に記載の送信制御プログラム。
  3. 前記撮像環境は、前記撮像画像の画質である、
    ことを特徴とする請求項1に記載の送信制御プログラム。
  4. ヘッドマウントディスプレイと情報処理装置とを有する送信制御システムにおける送信制御方法であって、
    前記ヘッドマウントディスプレイが、
    撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の複数の撮像環境を示す情報とを取得し、
    取得した複数の前記撮像環境を示す情報に基づき、取得した前記撮像画像を送信対象とするか否かを、それぞれの前記撮像環境を示す情報ごとに順番に判定し、
    前記情報処理装置に対して、送信対象としないと判定された撮像画像を送信せず、送信対象と判定された撮像画像を送信する、処理を実行し、
    前記情報処理装置が、
    前記ヘッドマウントディスプレイから受信した撮像画像を受け付け、
    受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する、
    処理を実行することを特徴とする送信制御方法。
  5. ヘッドマウントディスプレイと情報処理装置とを有する送信制御システムにおける送信制御方法であって、
    前記ヘッドマウントディスプレイが、
    撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の複数の撮像環境を示す情報とを取得し、
    取得した前記撮像画像と複数の前記撮像環境を示す情報とを前記情報処理装置に送信する、処理を実行し、
    前記情報処理装置が、
    前記ヘッドマウントディスプレイから受信した前記撮像画像と複数の前記撮像環境を示す情報とを受け付け、
    受け付けた複数の前記撮像環境を示す情報に基づいて、受け付けた撮像画像をARコンテンツが対応付けられる基準物の認識処理の対象とするか否かを、それぞれの前記撮像環境を示す情報ごとに順番に判定し、前記認識処理の対象でないと判定した前記受け付けた撮像画像に対しては、前記基準物が含まれるか否かを判定せず、前記認識処理の対象と判定した前記受け付けた撮像画像に対しては、前記基準物が含まれるか否かを判定する、
    処理を実行することを特徴とする送信制御方法。
  6. ヘッドマウントディスプレイと情報処理装置とを有する送信制御システムであって、
    前記ヘッドマウントディスプレイは、
    撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の複数の撮像環境を示す情報とを取得する取得部と、
    取得した複数の前記撮像環境を示す情報に基づき、取得した前記撮像画像を送信対象とするか否かを、それぞれの前記撮像環境を示す情報ごとに順番に判定する判定部と、
    前記情報処理装置に対して、送信対象としないと判定された撮像画像を送信せず、送信対象と判定された撮像画像を送信する送信制御部と、を有し、
    前記情報処理装置は、
    前記ヘッドマウントディスプレイから受信した撮像画像を受け付ける受付部と、
    受け付けた撮像画像にARコンテンツが対応付けられる基準物が含まれるか否かを判定する判定部と、
    を有することを特徴とする送信制御システム
  7. ヘッドマウントディスプレイと情報処理装置とを有する送信制御システムであって、
    前記ヘッドマウントディスプレイは、
    撮像装置により撮像された撮像画像と、前記撮像装置による前記撮像画像の撮像の際の複数の撮像環境を示す情報とを取得する取得部と、
    取得した前記撮像画像と複数の前記撮像環境を示す情報とを前記情報処理装置に送信する送信制御部と、を有し、
    前記情報処理装置は、
    前記ヘッドマウントディスプレイから受信した前記撮像画像と複数の前記撮像環境を示す情報とを受け付ける受付部と、
    受け付けた複数の前記撮像環境を示す情報に基づいて、受け付けた撮像画像をARコンテンツが対応付けられる基準物の認識処理の対象とするか否かを、それぞれの前記撮像環境を示す情報ごとに順番に判定し、前記認識処理の対象でないと判定した前記受け付けた撮像画像に対しては、前記基準物が含まれるか否かを判定せず、前記認識処理の対象と判定した前記受け付けた撮像画像に対しては、前記基準物が含まれるか否かを判定する判定部と、
    を有することを特徴とする送信制御システム
JP2016103383A 2016-05-24 2016-05-24 送信制御プログラム、送信制御方法および送信制御システム Active JP6686697B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016103383A JP6686697B2 (ja) 2016-05-24 2016-05-24 送信制御プログラム、送信制御方法および送信制御システム
US15/581,232 US20170347051A1 (en) 2016-05-24 2017-04-28 Transmission control method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016103383A JP6686697B2 (ja) 2016-05-24 2016-05-24 送信制御プログラム、送信制御方法および送信制御システム

Publications (2)

Publication Number Publication Date
JP2017212537A JP2017212537A (ja) 2017-11-30
JP6686697B2 true JP6686697B2 (ja) 2020-04-22

Family

ID=60418692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016103383A Active JP6686697B2 (ja) 2016-05-24 2016-05-24 送信制御プログラム、送信制御方法および送信制御システム

Country Status (2)

Country Link
US (1) US20170347051A1 (ja)
JP (1) JP6686697B2 (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05260463A (ja) * 1992-03-12 1993-10-08 Hitachi Ltd 会議相手映像切替方式
JP2002159745A (ja) * 2000-11-28 2002-06-04 Casio Comput Co Ltd 電子ゲームシステム、電子ゲーム装置、および記録媒体
US7643056B2 (en) * 2005-03-14 2010-01-05 Aptina Imaging Corporation Motion detecting camera system
US7756866B2 (en) * 2005-08-17 2010-07-13 Oracle International Corporation Method and apparatus for organizing digital images with embedded metadata
WO2008095037A2 (en) * 2007-01-30 2008-08-07 Fergason Patent Properties, Llc Image acquistion and display system and method using information derived from an area of interest in a video image implementing system synchronized brightness control and use of metadata
JP5026484B2 (ja) * 2009-09-17 2012-09-12 シャープ株式会社 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体
JP2010011488A (ja) * 2009-10-05 2010-01-14 Casio Comput Co Ltd カメラ付き携帯電話装置、およびカメラ付き携帯電話装置の制御プログラム
JP5950686B2 (ja) * 2012-05-15 2016-07-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP2014154113A (ja) * 2013-02-13 2014-08-25 Nihon Univ 光源推定装置、画像処理システム及び光源推定プログラム
JP5786900B2 (ja) * 2013-06-13 2015-09-30 横河電機株式会社 情報表示装置及び情報表示方法
JP6364952B2 (ja) * 2014-05-23 2018-08-01 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法

Also Published As

Publication number Publication date
US20170347051A1 (en) 2017-11-30
JP2017212537A (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6238184B2 (ja) 撮像装置
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US8937667B2 (en) Image communication apparatus and imaging apparatus
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
US9817628B2 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
KR102318013B1 (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
US10645278B2 (en) Imaging control apparatus and control method therefor
US11412148B2 (en) Method of improving image quality in zoom scenario with single camera, and electronic device including the same
US11582391B2 (en) Electronic device capable of controlling image display effect, and method for displaying image
US20150271414A1 (en) Display apparatus and display method
EP3609175B1 (en) Apparatus and method for generating moving image data including multiple section images in electronic device
EP3259658B1 (en) Method and photographing apparatus for controlling function based on gesture of user
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
KR20190123869A (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
US10567634B2 (en) Image capturing apparatus, communication apparatus, and control methods thereof
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
KR102412591B1 (ko) 다른 노출값을 갖는 복수의 영상들을 이용하여 합성 영상을 생성하는 방법 및 이를 지원하는 전자 장치
US20180012410A1 (en) Display control method and device
KR20190030946A (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
US10645282B2 (en) Electronic apparatus for providing panorama image and control method thereof
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
JP6686697B2 (ja) 送信制御プログラム、送信制御方法および送信制御システム
US20150373073A1 (en) Image pickup apparatus, control method and recording medium
US20180131889A1 (en) Non-transitory computer-readable storage medium, control method, and control device
EP3261057A1 (en) Head mounted display and transmission control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R150 Certificate of patent or registration of utility model

Ref document number: 6686697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150