JPWO2018079043A1 - 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム - Google Patents
情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2018079043A1 JPWO2018079043A1 JP2018547158A JP2018547158A JPWO2018079043A1 JP WO2018079043 A1 JPWO2018079043 A1 JP WO2018079043A1 JP 2018547158 A JP2018547158 A JP 2018547158A JP 2018547158 A JP2018547158 A JP 2018547158A JP WO2018079043 A1 JPWO2018079043 A1 JP WO2018079043A1
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- information
- imaging device
- unit
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
情報処理装置は、第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得部と、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得部と、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得部と、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得部と、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える。
Description
本発明のいくつかの態様は、情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラムに関する。
本願は、２０１６年１０月２６日に日本に出願された特願２０１６−２０９２６４号について優先権を主張し、その内容をここに援用する。
本願は、２０１６年１０月２６日に日本に出願された特願２０１６−２０９２６４号について優先権を主張し、その内容をここに援用する。
従来から、ネットワークを介して接続される複数のカメラを設置し、複数の地点の監視を行うシステムがある。例えば、捜査員が、あるカメラで撮影された映像に含まれる犯罪者等の特定の人物を、他の複数のカメラの映像の中から探すといった使い方がある。この際、犯罪者等の含まれる映像と他の複数のカメラの映像とを並べて表示し、目視によって確認することにより、他のカメラの映像に含まれる犯罪者等を探し出すことが行われている。
ここで、複数のカメラそれぞれで撮影された映像は、各カメラの設置場所における環境光の差異や、カメラの色再現特性の差異等により、各カメラ間で色や輝度等の差異が発生することが知られている。例えば、蛍光灯下では、物体は青色が強く再現され、白熱灯下では、物体は赤色が強く再現される等である。このカメラ間での色や輝度等の差異により、映像中の人物の特定が困難になる場合がある。
特許文献１には、複数のカメラで撮影された映像について、カメラ間の色の差異を低減する技術が開示されている。具体的には、特許文献１に記載の技術は、映像中の各画像に含まれる被写体が同一か否かを判定し、同一の場合に被写体領域の色情報に基づいて色補正のための補正パラメータを生成するものである。
しかしながら、特許文献１の技術においては、各カメラが固定的に設置されていることを前提としており、カメラ同士の相対的な位置関係が変化することについては考慮されていない。一方、近年のスマートフォンやドライブレコーダーの普及に伴い、移動式のカメラは増加している。ここで、固定的な監視カメラと移動式のカメラを連携させて色等の撮像情報の補正を行う場合には、撮影中に移動式のカメラの位置、撮影方向が大きく変化するため、補正の処理負荷が増大する。したがって、固定的な監視カメラと移動式のカメラを連携させ、効率的にカメラ間における色等の撮像情報の差異を補正することが求められている。
本発明のいくつかの態様は上記の点に鑑みてなされたものであり、撮像情報の差異を効率的に補正する情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラムを提供することを目的とする。
本発明のいくつかの態様は上記の課題を解決するためになされたものであり、本発明の一態様は、第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得部と、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得部と、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得部と、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得部と、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える情報処理装置である。
また、本発明の一態様は、撮像部と、自装置の位置および撮像方向に関する位置情報を取得する位置情報測位部と、自装置の撮像結果に基づく撮像情報を構成する画像に、前記画像が撮像されたときの前記位置情報をメタデータとして付加するメタデータ付加部と、前記メタデータを付加した前記撮像情報を送信する送信部とを備える撮像装置である。
また、本発明の一態様は、情報処理装置が行う情報処理方法であって、第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得ステップと、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得ステップと、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得ステップと、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得ステップと、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算ステップとを備える情報処理方法である。
また、本発明の一態様は、情報処理装置のコンピュータに、第一の撮像装置の撮像結果に基づく第一撮像情報を取得する手順と、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する手順と、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する手順と、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する手順と、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する手順とを実行させるためのプログラムである。
本発明の一態様によれば、撮像情報の差異を効率的に補正することができる。
＜第１の実施形態＞
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る情報処理システム１の構成を示す概略図である。情報処理システム１は、基準撮像装置１００と第二撮像装置２００を備える。
基準撮像装置１００は、第一撮像部１１１を有する移動可能な撮像装置であり、例えば、スマートフォン、タブレット、デジタルカメラ、ドライブレコーダー等の電子機器または電子機器の一機能である。本実施形態では、基準撮像装置１００は、巡回車両等に設置されたドライブレコーダーである。また、基準撮像装置１００は後述する通り、第一撮像装置１１と情報処理装置１２とを備える。
基準撮像装置１００は、第二撮像装置２００等の他の撮像装置が撮像した画像の補正をするときの基準となる撮像装置である。基準撮像装置１００は、光軸方向を中心に所定の範囲（図１の一点鎖線に囲まれた範囲）を撮像する。なお、光軸方向とは、レンズの中心を通り、レンズ面に垂直な直線であり、図１において破線矢印で表している。
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る情報処理システム１の構成を示す概略図である。情報処理システム１は、基準撮像装置１００と第二撮像装置２００を備える。
基準撮像装置１００は、第一撮像部１１１を有する移動可能な撮像装置であり、例えば、スマートフォン、タブレット、デジタルカメラ、ドライブレコーダー等の電子機器または電子機器の一機能である。本実施形態では、基準撮像装置１００は、巡回車両等に設置されたドライブレコーダーである。また、基準撮像装置１００は後述する通り、第一撮像装置１１と情報処理装置１２とを備える。
基準撮像装置１００は、第二撮像装置２００等の他の撮像装置が撮像した画像の補正をするときの基準となる撮像装置である。基準撮像装置１００は、光軸方向を中心に所定の範囲（図１の一点鎖線に囲まれた範囲）を撮像する。なお、光軸方向とは、レンズの中心を通り、レンズ面に垂直な直線であり、図１において破線矢印で表している。
第二撮像装置２００は、第二撮像部２０１を有する撮像装置であり、例えば、監視カメラ、デジタルカメラ、スマートフォン、タブレット等である。本実施形態では、第二撮像装置２００は、路上に設置された監視カメラである。第二撮像装置２００は、光軸方向を中心に所定の範囲（図中の一点鎖線に囲まれた範囲）を撮像する。第二撮像装置２００は、通常複数台設置されるが、本実施形態では代表する１台について説明する。
また、基準撮像装置１００と第二撮像装置２００は、ＷｉＦｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の携帯電話網等を介して、互いに通信が可能である。
また、基準撮像装置１００と第二撮像装置２００は、ＷｉＦｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の携帯電話網等を介して、互いに通信が可能である。
本実施形態では、情報処理装置１２は、第一撮像装置１１が撮像した第一撮像情報と、第二撮像装置２００が撮像した第二撮像情報を取得し、さらに、第一撮像装置１１の位置および撮像方向に関する第一位置情報と、第二撮像装置２００の位置および撮像方向に関する第二位置情報を取得する。そして、情報処理装置１２は、第一位置情報と第二位置情報が所定の条件を満たす場合に、第一撮像情報を基準に、第二撮像情報を補正する補正パラメータを生成する。さらに、生成した補正パラメータに基づいて、第二撮像情報を補正する。
以降、本実施形態に係る基準撮像装置１００が、第二撮像装置２００が撮像した画像の色を補正する動作を説明する。
図２は、本実施形態に係る基準撮像装置１００の概略を示す機能ブロック図である。基準撮像装置１００は、第一撮像装置１１と情報処理装置１２とを備える。本実施形態では、第一撮像装置１１と情報処理装置１２とは、同一の筐体内に存在するが、別の装置として独立に設け、例えば、第一撮像装置１１と情報処理装置１２とが通信することで基準撮像装置１００の機能を実現してもよい。
図２は、本実施形態に係る基準撮像装置１００の概略を示す機能ブロック図である。基準撮像装置１００は、第一撮像装置１１と情報処理装置１２とを備える。本実施形態では、第一撮像装置１１と情報処理装置１２とは、同一の筐体内に存在するが、別の装置として独立に設け、例えば、第一撮像装置１１と情報処理装置１２とが通信することで基準撮像装置１００の機能を実現してもよい。
第一撮像装置１１は、第一撮像部１１１と第一位置情報測位部１１２を備える。
第一撮像部１１１は、レンズ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）撮像素子、信号処理部等を備える。第一撮像部１１１は、撮像対象を撮像した撮像情報を、定期的に情報処理装置１２の補正情報演算部１２６に出力する。なお、本実施形態では、撮像情報は、撮像時間分のフレーム数の画像の集合であり、静止画（１フレーム）の場合も、動画（複数フレーム）の場合も含む。
第一撮像部１１１は、レンズ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）撮像素子、信号処理部等を備える。第一撮像部１１１は、撮像対象を撮像した撮像情報を、定期的に情報処理装置１２の補正情報演算部１２６に出力する。なお、本実施形態では、撮像情報は、撮像時間分のフレーム数の画像の集合であり、静止画（１フレーム）の場合も、動画（複数フレーム）の場合も含む。
第一位置情報測位部１１２は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器、加速度センサ、地磁気センサ等の各種センサを備え、基準撮像装置１００の位置に関する情報を測位して取得する。第一位置情報測位部１１２は、取得した基準撮像装置１００の位置に関する情報を情報処理装置１２の第一位置情報取得部１２１に出力する。
ここで、基準撮像装置１００の位置に関する情報について図３を参照して説明する。図３は、本実施形態に係る基準撮像装置１００の位置に関する情報の一例を示す図である。
位置に関する情報のカテゴリには、位置および撮像方向が含まれる。位置カテゴリに含まれる項目は、一例として、ＧＰＳ等により取得される基準撮像装置１００の緯度、経度および高度情報である。撮像方向カテゴリに含まれる項目は、一例として、基準撮像装置１００の撮像方向を示す方位角および仰俯角である。基準撮像装置１００の撮像方向、すなわち光軸方向を示す方位角および仰俯角は、地磁気センサ、加速度センサ等により取得される基準撮像装置１００の向き（姿勢）に基づいて、第一撮像部１１１の画角の中心方向、すなわち光軸方向を示す方位角および仰俯角の角度で表される。
位置に関する情報のカテゴリには、位置および撮像方向が含まれる。位置カテゴリに含まれる項目は、一例として、ＧＰＳ等により取得される基準撮像装置１００の緯度、経度および高度情報である。撮像方向カテゴリに含まれる項目は、一例として、基準撮像装置１００の撮像方向を示す方位角および仰俯角である。基準撮像装置１００の撮像方向、すなわち光軸方向を示す方位角および仰俯角は、地磁気センサ、加速度センサ等により取得される基準撮像装置１００の向き（姿勢）に基づいて、第一撮像部１１１の画角の中心方向、すなわち光軸方向を示す方位角および仰俯角の角度で表される。
なお、緯度、経度および高度情報は、ＧＰＳに限らず、例えば、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、準天長衛星システム等の他の測位システムから取得した情報を用いてもよい。また、位置に関する情報として、その他の情報を用いてもよい。例えば、Ｂｅａｃｏｎ測位、Ｗｉ−Ｆｉ測位、ＰＤＲ（Ｐｅｄｅｓｔｒｉａｎ Ｄｅａｄ Ｒｅｃｋｏｎｉｎｇ）、ＩＭＥＳ（Ｉｎｄｏｏｒ ＭＥｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）等の測位方式により取得される情報を用いてもよい。また、通信先装置との距離を示す指標としてＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｏｒ）を用いてもよい。
図２に戻り、情報処理装置１２の説明をする。情報処理装置１２は、第一位置情報取得部１２１、通信部１２２、第二位置情報取得部１２３、第二撮像情報取得部１２４、補正判定部１２５、補正情報演算部１２６および補正処理部１２７を備える。
第一位置情報取得部１２１は、第一位置情報測位部から入力された基準撮像装置１００の位置およびに関する情報を補正判定部１２５に出力する。
第一位置情報取得部１２１は、第一位置情報測位部から入力された基準撮像装置１００の位置およびに関する情報を補正判定部１２５に出力する。
通信部１２２は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信やＬＴＥ等の携帯電話通信用の通信インターフェイスを備え、第二撮像装置２００と通信する。通信部１２２は、第二撮像装置２００と直接、すなわちアドホックに通信してもよいし、インターネット上のサーバ等を介して通信してもよい。また、通信部１２２は、Ｗｉ−Ｆｉアクセスポイント等を介してローカルネットワーク内で第二撮像装置２００と通信してもよい。
通信部１２２は、第二撮像装置２００から第二撮像装置２００の位置に関する情報を受信し、第二位置情報取得部１２３に出力する。また、通信部１２２は、第二撮像装置２００から第二撮像装置２００の撮像情報を受信し、第二撮像情報取得部１２４に出力する。
また、通信部１２２は、第二撮像装置２００に対するＲＳＳＩを測定し、第二位置情報取得部１２３に出力してもよい。
通信部１２２は、第二撮像装置２００から第二撮像装置２００の位置に関する情報を受信し、第二位置情報取得部１２３に出力する。また、通信部１２２は、第二撮像装置２００から第二撮像装置２００の撮像情報を受信し、第二撮像情報取得部１２４に出力する。
また、通信部１２２は、第二撮像装置２００に対するＲＳＳＩを測定し、第二位置情報取得部１２３に出力してもよい。
第二位置情報取得部１２３は、通信部１２２に対して、第二撮像装置２００の位置に関する情報を要求し、通信部１２２を介して第二撮像装置２００の位置に関する情報を取得する。第二撮像装置２００の位置に関する情報の内容については後述する。第二撮像装置２００の位置に関する情報を要求する契機は種々の設定が可能であり、例えば、基準撮像装置１００と第二撮像装置２００が接近し、近距離無線通信が可能となった場合や補正判定部１２５からの指示に基づく場合等としてもよい。なお、第二撮像装置２００の位置に関する情報については、第二撮像装置２００以外の他の装置から取得してもよいし、情報処理装置１２内の記憶部にあらかじめリストとして保持しておき、記憶部から取得することとしてもよい。第二位置情報取得部１２３は、取得した第二撮像装置２００の位置に関する情報を補正判定部１２５に出力する。
第二撮像情報取得部１２４は、通信部１２２に対して、第二撮像装置２００の撮像情報を要求し、通信部１２２を介して第二撮像装置２００の撮像情報を取得する。撮像情報を要求する契機は種々の設定が可能であり、例えば、基準撮像装置１００と第二撮像装置２００が接近し、近距離無線通信が可能となった場合や、補正判定部１２５からの指示に基づく場合等としてもよい。第二撮像情報取得部１２４は、取得した画像データを補正情報演算部１２６に出力する。
補正判定部１２５は、第一位置情報測位部１１２から入力された基準撮像装置１００の位置に関する情報と、第二位置情報取得部１２３から入力された第二撮像装置２００の位置に関する情報に基づき、基準撮像装置１００の撮像情報と、第二撮像装置２００の撮像情報を連携して画像の補正を行うか否かを判定する。判定方法の詳細については後述する。補正判定部１２５は、画像の補正を行うと判定した場合、その結果を補正情報演算部１２６に出力する。
補正情報演算部１２６は、補正判定部１２５から、画像の補正を行う旨の判定結果が入力された場合、第一撮像部１１１から入力された基準撮像装置１００の撮像情報と、第二撮像情報取得部１２４から入力された第二撮像装置２００の撮像情報に基づき、画像を補正するための補正パラメータを生成する。補正情報演算部１２６は、基準撮像装置１００の撮像情報に含まれる画像を基準とし、第二撮像装置２００の撮像画像を基準撮像装置１００の撮像画像に近づけるための補正パラメータを生成する。具体的な補正パラメータの生成方法については後述する。補正情報演算部１２６は、生成した補正パラメータを補正処理部１２７に出力する。
補正処理部１２７は、補正情報演算部１２６から入力された補正パラメータに基づき、第二撮像装置２００が撮像した画像の補正処理を行う。補正処理の具体的な内容については後述する。補正処理部１２７は、補正した撮像画像を、通信部１２２を介して第二撮像装置２００に送信する。補正した撮像画像の送信先は、第二撮像装置２００に限らず、インターネット等のネットワークを介して接続されているサーバ等であってもよい。
図４は、本実施形態に係る第二撮像装置２００の概略を示す機能ブロック図である。第二撮像装置２００は、第二撮像部２０１、第二位置情報取得部２０２、送信判定部２０３および通信部２０４を備える。
第二撮像部２０１は、レンズ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）撮像素子、信号処理部等を備える。第二撮像部２０１は、撮像対象を撮像した撮像情報を、定期的に通信部２０４に出力する。なお、撮像情報は、撮像時間分のフレーム数の画像の集合であり、静止画（１フレーム）の場合も、動画（複数フレーム）の場合も含む。
第二撮像部２０１は、レンズ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）撮像素子、信号処理部等を備える。第二撮像部２０１は、撮像対象を撮像した撮像情報を、定期的に通信部２０４に出力する。なお、撮像情報は、撮像時間分のフレーム数の画像の集合であり、静止画（１フレーム）の場合も、動画（複数フレーム）の場合も含む。
第二位置情報取得部２０２は、第二撮像装置２００の位置に関する情報を取得し、通信部２０４に出力する。取得の手段については、ＧＰＳ、加速度センサ、地磁気センサ等の各種センサによって測位を行って取得してもよいし、他の装置から取得してもよいし、あらかじめ第二位置情報取得部２０２内の記憶部に保持している情報を取得してもよい。
ここで、第二撮像装置２００の位置に関する情報について図５を参照して説明する。
図５は、本実施形態に係る第二撮像装置２００の位置に関する情報の一例を示す図である。位置に関する情報のカテゴリには、位置、撮像方向、能力情報、設置情報、動作情報、および個別情報が含まれる。
位置カテゴリに含まれる項目としては、第二撮像装置２００の設置位置を示す緯度、経度および高度情報がある。
撮像方向カテゴリに含まれる項目としては、第二撮像装置２００の撮像方向を示す方位角、仰俯角および撮像反映パラメータがある。撮像反映パラメータは、第二撮像装置２００を、天井に逆さまに設置した場合や、壁に横向きに設置した場合などに、パン／チルト角を撮像方向に反映させるパラメータである。
図５は、本実施形態に係る第二撮像装置２００の位置に関する情報の一例を示す図である。位置に関する情報のカテゴリには、位置、撮像方向、能力情報、設置情報、動作情報、および個別情報が含まれる。
位置カテゴリに含まれる項目としては、第二撮像装置２００の設置位置を示す緯度、経度および高度情報がある。
撮像方向カテゴリに含まれる項目としては、第二撮像装置２００の撮像方向を示す方位角、仰俯角および撮像反映パラメータがある。撮像反映パラメータは、第二撮像装置２００を、天井に逆さまに設置した場合や、壁に横向きに設置した場合などに、パン／チルト角を撮像方向に反映させるパラメータである。
能力情報カテゴリに含まれる項目の一例としては、カメラの向き、画角、補正機能の有無がある。カメラの向きは、カメラの向きを変更することが可能か、可能な場合は、パン、チルト、ズームのいずれが可能かを示す情報である。画角は、レンズの画角についての情報、例えば、標準レンズ、広角レンズ、全方位レンズ、望遠レンズ等の情報を表す。画角についてはレンズの焦点距離で表してもよい。補正機能の有無は、第二撮像装置２００にて、補正パラメータを用いた画像の補正が可能かを示す情報である。
設置情報カテゴリに含まれる項目の一例としては、鉛直方向（φ／θ）がある。鉛直方向（φ／θ）は、極座標系で東西方向をｘ軸、南北方向をｙ軸、鉛直方向をｚ軸とした場合に、レンズの基準方向の角度（φ／θ）を示す情報である。
設置情報カテゴリに含まれる項目の一例としては、鉛直方向（φ／θ）がある。鉛直方向（φ／θ）は、極座標系で東西方向をｘ軸、南北方向をｙ軸、鉛直方向をｚ軸とした場合に、レンズの基準方向の角度（φ／θ）を示す情報である。
動作情報カテゴリに含まれる項目の一例としては、カメラの向き、画角がある。カメラの向きは、設置された状態における標準の第二撮像部２０１の向き、すなわち、撮像方向が、パン、チルト等によりどれだけ変更されたかを示す情報である。画角は、標準の画角からズームによりどれだけ画角が変更されたかを示す情報である。第二位置情報取得部２０２は、パン、チルト等によりカメラの向きの情報が変更された場合は、変更された差分（基準角からの差分）および撮像方向反映パラメータの情報を用いて、撮像方向カテゴリの方位角、仰俯角の情報を更新してもよい。また、画角が全方位である場合は、仮想的なパン、チルトの情報によりどの方向を撮像方向とするかを表してもよい。また、第二位置情報取得部２０２は、ズームにより画角の情報が変更された場合には、変更された差分を用いて、能力情報カテゴリの画角の情報を更新してもよい。
個別情報カテゴリに含まれる項目の一例としては、メーカー名、型番、シリアル番号がある。これらは第二撮像装置２００を特定、識別するための情報である。
第二位置情報取得部２０２は、個別情報カテゴリに含まれる項目のみを保持し、他の装置が保持するその他のカテゴリの情報を、個別情報をキーとして取得してもよい。また、第二位置情報取得部２０２は、基準撮像装置１００が第二撮像装置２００の個別情報をキーとして、他の装置が保持するその他のカテゴリの情報を取得してもよい。
第二位置情報取得部２０２は、個別情報カテゴリに含まれる項目のみを保持し、他の装置が保持するその他のカテゴリの情報を、個別情報をキーとして取得してもよい。また、第二位置情報取得部２０２は、基準撮像装置１００が第二撮像装置２００の個別情報をキーとして、他の装置が保持するその他のカテゴリの情報を取得してもよい。
図４に戻り、第二撮像装置２００の説明を続ける。
送信判定部２０３は、第二撮像部２０１が撮像した撮像情報および第二位置情報取得部２０２が取得した第二撮像装置２００の位置に関する情報を基準撮像装置１００に送信するか否かを判定する。本判定には種々の条件を設定可能である。例えば、送信判定部２０３は、基準撮像装置１００が第二撮像装置２００と近距離無線通信可能な範囲に接近し、通信を開始した場合、通信中常時撮像情報を送信することとしてもよい。また、送信判定部２０３は、通信中定期的に撮像情報を送信してもよいし、基準撮像装置１００等からの要求に応じてオンデマンドで撮像情報を送信してもよい。また、送信判定部２０３は、基準撮像装置１００に対する認証、アクセス制限等を行って基準撮像装置１００との通信開始可否や撮像情報送信可否を判定してもよい。送信判定部２０３は、第二撮像部２０１が撮像した撮像情報および第二位置情報取得部２０２が取得した第二撮像装置２００の位置に関する情報を基準撮像装置１００に送信すると判定した場合、判定結果を通信部２０４へ出力する。
送信判定部２０３は、第二撮像部２０１が撮像した撮像情報および第二位置情報取得部２０２が取得した第二撮像装置２００の位置に関する情報を基準撮像装置１００に送信するか否かを判定する。本判定には種々の条件を設定可能である。例えば、送信判定部２０３は、基準撮像装置１００が第二撮像装置２００と近距離無線通信可能な範囲に接近し、通信を開始した場合、通信中常時撮像情報を送信することとしてもよい。また、送信判定部２０３は、通信中定期的に撮像情報を送信してもよいし、基準撮像装置１００等からの要求に応じてオンデマンドで撮像情報を送信してもよい。また、送信判定部２０３は、基準撮像装置１００に対する認証、アクセス制限等を行って基準撮像装置１００との通信開始可否や撮像情報送信可否を判定してもよい。送信判定部２０３は、第二撮像部２０１が撮像した撮像情報および第二位置情報取得部２０２が取得した第二撮像装置２００の位置に関する情報を基準撮像装置１００に送信すると判定した場合、判定結果を通信部２０４へ出力する。
通信部２０４は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信やＬＴＥ等の携帯電話通信用の通信インターフェイスを備え、基準撮像装置１００と通信する。通信部２０４は、送信判定部２０３から入力された基準撮像装置１００への送信判定結果に基づき、第二撮像部２０１が撮像した撮像情報および第二位置情報取得部２０２が取得した第二撮像装置２００の位置に関する情報を基準撮像装置１００に送信する。
次に、本実施形態に係る基準撮像装置１００の画像補正の処理を説明する。
図６は、本実施形態に係る基準撮像装置１００の色補正の処理の例を示すフローチャートである。
（ステップＳ１０１）第二位置情報取得部１２３は、基準撮像装置１００と第二撮像装置２００が近距離無線通信可能な距離内に接近すると、通信部１２２に対して、第二撮像装置２００の位置に関する情報を要求する。その後、第二位置情報取得部１２３は、通信部１２２を介して、第二撮像装置２００から第二撮像装置２００の位置に関する情報を取得する。第二位置情報取得部１２３は、取得した第二撮像装置２００の位置に関する情報を補正判定部１２５に出力する。その後、ステップＳ１０２の処理に進む。
図６は、本実施形態に係る基準撮像装置１００の色補正の処理の例を示すフローチャートである。
（ステップＳ１０１）第二位置情報取得部１２３は、基準撮像装置１００と第二撮像装置２００が近距離無線通信可能な距離内に接近すると、通信部１２２に対して、第二撮像装置２００の位置に関する情報を要求する。その後、第二位置情報取得部１２３は、通信部１２２を介して、第二撮像装置２００から第二撮像装置２００の位置に関する情報を取得する。第二位置情報取得部１２３は、取得した第二撮像装置２００の位置に関する情報を補正判定部１２５に出力する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）第一位置情報測位部１１２は、基準撮像装置１００の位置に関する情報を取得する。第一位置情報測位部１１２は、取得した基準撮像装置１００の位置に関する情報を補正判定部１２５に出力する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）補正判定部１２５は、取得した基準撮像装置１００と第二撮像装置２００の位置に関する情報に基づいて、それぞれの撮像画像を連携し、色補正を行うかを判定する。具体的な判定の例については後述する。補正判定部１２５は、以上の処理に基づいて、色補正を行わないと判定した場合（ステップＳ１０３／ＮＯ）、ステップＳ１０１の処理に戻る。色補正を行うと判定した場合（ステップＳ１０３／ＹＥＳ）、補正判定部１２５は、判定結果を補正情報演算部１２６に出力する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）補正情報演算部１２６は、第一撮像部１１１から第一撮像部１１１が撮像した撮像情報を取得する。その後、ステップＳ１０５の処理に進む。
（ステップＳ１０５）第二撮像情報取得部１２４は、通信部１２２に対して、第二撮像装置２００が撮像した撮像情報を要求する。その後、第二撮像情報取得部１２４は、通信部１２２を介して、第二撮像装置２００が撮像した撮像情報を取得する。第二撮像情報取得部１２４は、取得した撮像情報を補正情報演算部１２６に出力する。その後、ステップＳ１０６の処理に進む。
なお、ステップＳ１０１からステップＳ１０５の処理は上述の順序に限らず、ステップＳ１０１とステップＳ１０３の後にステップＳ１０５が処理されていれば、その他の順序で実施されてもよい。また、取得後に変化のない位置情報については再度の取得を行わないこととしてもよい。
なお、ステップＳ１０１からステップＳ１０５の処理は上述の順序に限らず、ステップＳ１０１とステップＳ１０３の後にステップＳ１０５が処理されていれば、その他の順序で実施されてもよい。また、取得後に変化のない位置情報については再度の取得を行わないこととしてもよい。
（ステップＳ１０６）補正情報演算部１２６は、補正判定部１２５から色補正を行う旨の判定結果が入力されると、基準撮像装置１００と第二撮像装置２００の撮像画像を連携し、色補正を行うための色補正パラメータを算出する。色補正パラメータの算出方法については後述する。補正情報演算部１２６は、算出した色補正パラメータを補正処理部１２７に出力する。その後、ステップＳ１０７の処理に進む。
（ステップＳ１０７）補正処理部１２７は、補正情報演算部１２６から入力された色補正パラメータに基づいて色の補正を行う。具体的には、補正処理部１２７は、ＲＧＢ各色毎の色補正パラメータを、第二撮像装置２００の撮像画像のＲＧＢ信号に乗算して、色を調整する。これにより、第二撮像装置２００の撮像画像の色が基準となる基準撮像装置１００の撮像画像の色に近くなるよう調整される。その後、補正処理部１２７は、色補正した撮像画像を、通信部１２２を介して第二撮像装置２００に送信する。補正した撮像画像の送信先は、第二撮像装置２００に限らず、インターネット等のネットワークを介して接続されているサーバ等であってもよい。
以上で、本実施形態に係る基準撮像装置１００の色補正の処理が終了する。
以上で、本実施形態に係る基準撮像装置１００の色補正の処理が終了する。
ここで、ステップＳ１０５における補正判定部１２５の補正判定処理について図７を参照して詳述する。
図７は、本実施形態に係る基準撮像装置１００の色補正判定の概要を示す図である。基準撮像装置１００は、第一撮像部１１１の光軸方向を示す中心線１００ａの方向を中心に、画角の境界を示す境界線１００ｂと１００ｃで囲まれた範囲を撮像している。第二撮像装置２００は、第二撮像部２０１の光軸方向を示す中心線２００ａの方向を中心に、画角の境界を示す境界線２００ｂと２００ｃで囲まれた範囲を撮像している。被写体Ｐは、基準撮像装置１００と第二撮像装置２００の各境界線内に存在しているため、両装置から撮像されている。
図７は、本実施形態に係る基準撮像装置１００の色補正判定の概要を示す図である。基準撮像装置１００は、第一撮像部１１１の光軸方向を示す中心線１００ａの方向を中心に、画角の境界を示す境界線１００ｂと１００ｃで囲まれた範囲を撮像している。第二撮像装置２００は、第二撮像部２０１の光軸方向を示す中心線２００ａの方向を中心に、画角の境界を示す境界線２００ｂと２００ｃで囲まれた範囲を撮像している。被写体Ｐは、基準撮像装置１００と第二撮像装置２００の各境界線内に存在しているため、両装置から撮像されている。
本実施形態に係る色補正パラメータ生成処理では、基準撮像装置１００と第二撮像装置２００がそれぞれほぼ同じ位置および方向から同じ被写体を撮像した画像を比較しなければ正確な補正パラメータを生成することができない。したがって、補正判定部１２５は、基準撮像装置１００と第二撮像装置２００が所定の距離内に存在し、かつ、撮像方向の差異が所定の範囲内である場合にそれぞれの画像を連携し、色補正処理を行うと判定する。
これにより、不必要なタイミングで色補正パラメータの生成および色補正処理を実施することを抑止し、基準撮像装置１００の処理負荷を低減することができる。
これにより、不必要なタイミングで色補正パラメータの生成および色補正処理を実施することを抑止し、基準撮像装置１００の処理負荷を低減することができる。
補正判定部１２５は、位置について、基準撮像装置１００と第二撮像装置２００の緯度、経度の差分を計算する。補正判定部１２５は、算出した緯度、経度の差分を、それぞれあらかじめ定められた緯度閾値および経度閾値と比較する。補正判定部１２５は、算出した緯度、経度の差分が、それぞれ緯度閾値および経度閾値より小さい場合に、基準撮像装置１００と第二撮像装置２００がほぼ同じ位置に存在していると判定する。その他、補正判定部１２５は、第二撮像装置２００との通信におけるＲＳＳＩがあらかじめ定められたＲＳＳＩ閾値より大きい場合に、基準撮像装置１００と第二撮像装置２００がほぼ同じ位置に存在していると判定してもよい。
補正判定部１２５は、方向について、基準撮像装置１００の撮像方向を示す中心線１００ａの方位角（ｘ）および仰俯角（ｚ）と、第二撮像装置２００の撮像方向を示す中心線２００ａの方位角（ｘ’）および（ｚ’）の差分を計算する。補正判定部１２５は、算出した方位角および仰俯角の差分を、それぞれあらかじめ定められた方位角閾値および経度閾値と比較する。補正判定部１２５は、算出した方角および仰俯角の差分が、それぞれ方位角閾値および仰俯角閾値より小さい場合に、基準撮像装置１００と第二撮像装置２００がほぼ同じ方向を撮像していると判定する。緯度閾値、経度閾値、方位角閾値および仰俯角閾値についてはそれぞれ適宜設定、変更が可能である。例えば、第二撮像装置２００の画角情報に基づいて、画角が広い場合は、方位角閾値および仰俯角閾値を大きくして撮像方向のずれを許容する等の調整を行ってもよい。
以上で、補正判定部１２５の補正判定処理についての説明を終了する。
以上で、補正判定部１２５の補正判定処理についての説明を終了する。
次に、ステップＳ１０６における補正情報演算部１２６の色補正パラメータ算出処理について詳述する。
まず、補正情報演算部１２６は、基準撮像装置１００の撮像情報と、第二撮像装置２００の撮像情報の中から、撮像時刻情報、フレームＩＤ等に基づいて同じタイミングで撮像された画像のペアを抽出する。
まず、補正情報演算部１２６は、基準撮像装置１００の撮像情報と、第二撮像装置２００の撮像情報の中から、撮像時刻情報、フレームＩＤ等に基づいて同じタイミングで撮像された画像のペアを抽出する。
次に、補正情報演算部１２６は、抽出したそれぞれの画像に含まれる被写体を抽出する。被写体の抽出には公知の技術が用いられる。例えば、予め背景のみが撮影された映像と入力映像の差分により検出する背景差分による方法を用いてもよい。被写体が人物である場合には、例えば、設定された大きさの検出ウィンドウを入力画像上で操作させ、検出ウィンドウ内の画像を切り出したパターン画像に対し、人物であるかの判別を行う方法を用いてもよい。本実施形態では、補正情報演算部１２６は、抽出した画像のペアに共通して含まれる人物を抽出する。また、補正情報演算部１２６は、色補正パラメータの生成に適した被写体が抽出した画像ペア内に存在しない場合、別のタイミングで撮像された画像のペアを抽出して同様の処理を行う。
次に、補正情報演算部１２６は、基準撮像装置１００の画像データから抽出された人物と、第二撮像装置２００の撮像画像から抽出された人物が同一人物であるかを判定する。
同一人物であるかの判定には公知の技術が用いられる。例えば、画像中の顔領域内から複数の矩形の小領域を切り出し、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を抽出して比較する方法や、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉａｔｉｏｎ）特徴量を抽出して比較する方法等がある。また、補正情報演算部１２６は、例えば、鞄の有無、眼鏡の有無、髭の有無等の属性情報を使用して判定してもよい。補正情報演算部１２６は、基準撮像装置１００の撮像画像と第二撮像装置２００の撮像画像に含まれる人物の組み合わせについて同一人物かを判定する。補正情報演算部１２６は、同一人物が存在しない場合、別のタイミングで撮像された画像のペアを抽出して、同様の処理を行う。
同一人物であるかの判定には公知の技術が用いられる。例えば、画像中の顔領域内から複数の矩形の小領域を切り出し、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を抽出して比較する方法や、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉａｔｉｏｎ）特徴量を抽出して比較する方法等がある。また、補正情報演算部１２６は、例えば、鞄の有無、眼鏡の有無、髭の有無等の属性情報を使用して判定してもよい。補正情報演算部１２６は、基準撮像装置１００の撮像画像と第二撮像装置２００の撮像画像に含まれる人物の組み合わせについて同一人物かを判定する。補正情報演算部１２６は、同一人物が存在しない場合、別のタイミングで撮像された画像のペアを抽出して、同様の処理を行う。
次に、補正情報演算部１２６は、同一人物として特定された被写体について、基準撮像装置１００の撮像画像内の被写体と、第二撮像装置２００の撮像画像内の被写体のそれぞれの色情報を抽出する。具体的には、補正情報演算部１２６は、それぞれの被写体について色空間ＲＧＢを用いて、Ｒ、Ｇ、Ｂごとの累積ヒストグラムを算出する。このＲＧＢ積算値は被写体領域全体のＲＧＢ積算値であってもよいし、被写体領域の一部の積算値であってもよい。また、色空間はＲＧＢに限られるものではなく、ＣＭＹ等の他の色空間であってもよい。
次に、補正情報演算部１２６は、抽出した基準撮像装置１００の撮像画像内の被写体と、第二撮像装置２００の撮像画像内の被写体のそれぞれの色情報に基づいて、ホワイトバランス等の色を補正する色補正パラメータを生成する。本実施形態では、基準撮像装置１００が、色補正の基準となるため、補正情報演算部１２６は、第二撮像装置２００で撮像された被写体の色が基準撮像装置１００で撮像された対応する被写体の色に近くなるように色補正パラメータ生成する。具体的には、補正情報演算部１２６は、第二撮像装置２００で撮像された被写体のＲＧＢ各色毎の積算値が、基準撮像装置１００で撮像された対応する被写体のＲＧＢ各色毎の積算値に近くなるようなＲＧＢ毎のゲイン値を色補正パラメータとして算出する。
以上で、補正情報演算部１２６の色補正パラメータ算出処理についての説明を終了する。
以上で、補正情報演算部１２６の色補正パラメータ算出処理についての説明を終了する。
なお、基準撮像装置１００は、複数存在する他の第二撮像装置２００に対して、同様の色補正処理を繰り返して実施してもよい。これにより、複数の第二撮像装置２００の撮像画像が基準撮像装置１００を基準に補正され、結果として複数の第二撮像装置２００の撮像画像の色の差異を効率的に低減することができる。
また、補正情報演算部１２６は、色補正処理を自装置で実施するか他装置で実施するかを判定してもよい。本判定は種々の条件に基づいて実施可能である。例えば、第二撮像装置２００から受信した能力情報において、色補正機能が有りであった場合は、第二撮像装置２００で色補正処理を実施することとしてもよい。色補正処理を他装置で実施する場合、補正情報演算部１２６は、生成した色補正パラメータを、通信部１２２を介して当該装置へ送信する。これにより、処理負荷の高い補正処理を他装置で実施するため、基準撮像装置１００の処理負荷を低減することができる。
また、本実施形態では、基準撮像装置１００が第二撮像装置２００から撮像情報として一定期間の映像を取得する例を説明したが、上述の通り、撮像情報は静止画も含む概念であり、撮像情報として静止画を取得してもよい。
また、補正情報演算部１２６は、色補正処理を自装置で実施するか他装置で実施するかを判定してもよい。本判定は種々の条件に基づいて実施可能である。例えば、第二撮像装置２００から受信した能力情報において、色補正機能が有りであった場合は、第二撮像装置２００で色補正処理を実施することとしてもよい。色補正処理を他装置で実施する場合、補正情報演算部１２６は、生成した色補正パラメータを、通信部１２２を介して当該装置へ送信する。これにより、処理負荷の高い補正処理を他装置で実施するため、基準撮像装置１００の処理負荷を低減することができる。
また、本実施形態では、基準撮像装置１００が第二撮像装置２００から撮像情報として一定期間の映像を取得する例を説明したが、上述の通り、撮像情報は静止画も含む概念であり、撮像情報として静止画を取得してもよい。
以上説明したように、本実施形態に係る情報処理装置は、第一撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得部と、第二撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得部と、第一撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得部と、第二撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得部と、第一位置情報と第二位置情報が所定の条件を満たす場合に、第一撮像情報を基準に、第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える。
この構成により、第一撮像装置と第二撮像装置の位置および撮像方向が画像の補正処理に適したタイミングで、第一撮像装置の撮像画像を基準に、第二撮像装置の撮像画像を補正する補正パラメータを生成することができるため、第二撮像装置で撮像された画像の差異を効率的に補正することができる。
この構成により、第一撮像装置と第二撮像装置の位置および撮像方向が画像の補正処理に適したタイミングで、第一撮像装置の撮像画像を基準に、第二撮像装置の撮像画像を補正する補正パラメータを生成することができるため、第二撮像装置で撮像された画像の差異を効率的に補正することができる。
また、本実施形態に係る情報処理装置は、補正パラメータに基づき、撮像情報の補正を行う補正処理部をさらに備える。
この構成により、情報処理装置が、補正に係る処理部を集中的に具備するため、複数存在する第二撮像装置に補正に係る処理部を備える必要がなくなる。また、情報処理装置を含む基準撮像装置は可搬性／移動性があり、複数存在する第二撮像装置の設置場所に移動して、補正処理を行うことができるため、１台（少数）の基準撮像装置と複数台の第二撮像装置でシステムを構成する事が可能となり、撮像情報の補正に係るシステム全体のコストを低減することができる。
この構成により、情報処理装置が、補正に係る処理部を集中的に具備するため、複数存在する第二撮像装置に補正に係る処理部を備える必要がなくなる。また、情報処理装置を含む基準撮像装置は可搬性／移動性があり、複数存在する第二撮像装置の設置場所に移動して、補正処理を行うことができるため、１台（少数）の基準撮像装置と複数台の第二撮像装置でシステムを構成する事が可能となり、撮像情報の補正に係るシステム全体のコストを低減することができる。
＜第２の実施形態＞
以下、図面を参照しながら本発明の第２の実施形態について説明する。第１の実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図８は、本実施形態に係る情報処理システム２の構成を示す概略図である。情報処理システム２は、第一撮像装置３００、第二撮像装置４００および情報処理装置５００を備える。
第一撮像装置３００は、基準撮像装置１００と同様に、第一撮像部１１１を有し、第二撮像装置４００等の他の撮像装置の撮像画像を補正する際の基準となる撮像装置である。
第二撮像装置４００は、第二撮像装置２００と同様に、第二撮像部２０１を有する撮像装置である。
情報処理装置５００は、画像処理機能を有するコンピュータ装置であり、例えば、サーバ、パーソナルコンピュータ等である。情報処理装置５００と第一撮像装置３００および第二撮像装置４００はインターネット等のネットワークを介して接続されている。
以下、図面を参照しながら本発明の第２の実施形態について説明する。第１の実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図８は、本実施形態に係る情報処理システム２の構成を示す概略図である。情報処理システム２は、第一撮像装置３００、第二撮像装置４００および情報処理装置５００を備える。
第一撮像装置３００は、基準撮像装置１００と同様に、第一撮像部１１１を有し、第二撮像装置４００等の他の撮像装置の撮像画像を補正する際の基準となる撮像装置である。
第二撮像装置４００は、第二撮像装置２００と同様に、第二撮像部２０１を有する撮像装置である。
情報処理装置５００は、画像処理機能を有するコンピュータ装置であり、例えば、サーバ、パーソナルコンピュータ等である。情報処理装置５００と第一撮像装置３００および第二撮像装置４００はインターネット等のネットワークを介して接続されている。
図９は、本実施形態に係る第一撮像装置３００の概略を示す機能ブロック図である。第一撮像装置３００は、第一撮像部１１１、第一位置情報測位部１１２、通信部１２２、メタデータ付加部３０１および送信判定部３０２を備える。
メタデータ付加部３０１は、第一撮像部１１１から入力された撮像情報である映像ストリームに含まれる各画像に、画像が撮像されたときの第一撮像装置３００の位置および撮像方向を示す位置情報をメタデータとして付加する。メタデータの具体例について図１０を参照して説明する。図１０は、本実施形態に係るメタデータの一例を示す図である。メタデータ付加部３０１は、映像ストリームのフレーム毎にフレーム番号を付加し、各フレーム番号に対応する第一撮像装置３００の位置および撮像方向を示す位置情報をメタデータとして付加する。位置を示す情報の一例としては、ＧＰＳにより取得される緯度、経度、高度等がある。撮像方向を示す情報の一例としては、第一撮像装置３００の撮像方向を示す方位角および仰俯角等がある。第一撮像装置３００が撮像した映像ストリーム内の各フレームの画像とフレーム番号の対応するメタデータ情報を対応づけることで、各画像についての第一撮像装置３００の位置および撮像方向を把握することができる。メタデータ付加部３０１は、メタデータを付加した映像ストリームを送信判定部３０２に出力する。
送信判定部３０２は、メタデータ付加部３０１から入力されたメタデータ付きの映像ストリームを情報処理装置５００へ送信するか否かを判定する。判定には種々の条件を設定することが可能である。例えば、送信判定部３０２は、情報処理装置５００と接続中は常時送信することとしてよもよいし、情報処理装置５００からの要求に応じて送信すること等としてもよい。送信判定部３０２は、映像ストリームを情報処理装置５００に送信すると判定した場合、通信部１２２を介して映像ストリームを情報処理装置５００に送信する。なお、本実施形態では、第一撮像装置３００は、撮像した画像の集合としての映像ストリームを情報処理装置５００に送信するが、１つの画像、すなわち静止画を情報処理装置に送信することとしてもよい。
図１１は、本実施形態に係る第二撮像装置４００の概略を示す機能ブロック図である。
第二撮像装置４００は、第二撮像部２０１、第二位置情報取得部２０２、通信部２０４、メタデータ付加部４０１および送信判定部４０２を備える。
メタデータ付加部４０１は、第二撮像部２０１から入力される撮像情報である映像ストリームに含まれる各画像に、画像が撮像されたときの第二撮像装置４００の位置および撮像方向を示す位置情報をメタデータとして付加する。メタデータの内容および付加方法については第一撮像装置３００のメタデータ付加部３０１と同様である。ただし、メタデータに含まれる情報は図１１で示した例に限らず、その他の情報を付加してもよい。例えば、メタデータ付加部４０１は、図５で示した能力情報、動作情報、個別情報等を含んでもよい。メタデータ付加部４０１は、メタデータを付加した映像ストリームを送信判定部４０２に出力する。
なお、第二撮像装置４００の位置および撮像方向を示す位置情報が固定である場合は、映像ストリームにメタデータを付加することなく、他の方法で、情報処理装置５００に対して第二撮像装置４００の位置情報を送信してもよい。また、第二撮像装置４００は位置情報を送信せず、情報処理装置５００があらかじめ保持する、または外部から取得した第二撮像装置４００の位置情報を用いることとしてもよい。
第二撮像装置４００は、第二撮像部２０１、第二位置情報取得部２０２、通信部２０４、メタデータ付加部４０１および送信判定部４０２を備える。
メタデータ付加部４０１は、第二撮像部２０１から入力される撮像情報である映像ストリームに含まれる各画像に、画像が撮像されたときの第二撮像装置４００の位置および撮像方向を示す位置情報をメタデータとして付加する。メタデータの内容および付加方法については第一撮像装置３００のメタデータ付加部３０１と同様である。ただし、メタデータに含まれる情報は図１１で示した例に限らず、その他の情報を付加してもよい。例えば、メタデータ付加部４０１は、図５で示した能力情報、動作情報、個別情報等を含んでもよい。メタデータ付加部４０１は、メタデータを付加した映像ストリームを送信判定部４０２に出力する。
なお、第二撮像装置４００の位置および撮像方向を示す位置情報が固定である場合は、映像ストリームにメタデータを付加することなく、他の方法で、情報処理装置５００に対して第二撮像装置４００の位置情報を送信してもよい。また、第二撮像装置４００は位置情報を送信せず、情報処理装置５００があらかじめ保持する、または外部から取得した第二撮像装置４００の位置情報を用いることとしてもよい。
送信判定部４０２は、メタデータ付加部３０１から入力されたメタデータ付きの映像ストリームを情報処理装置５００へ送信するか否かを判定する。判定の条件については、第一撮像装置３００の送信判定部３０２と同様に種々の設定が可能である。送信判定部４０２は、映像ストリームを情報処理装置５００に送信すると判定した場合、通信部２０４を介して映像ストリームを情報処理装置５００に送信する。
図１２は、本実施形態に係る情報処理装置５００の概略を示す機能ブロック図である。
情報処理装置５００は、通信部５０１、メタデータ解析部５０２、補正判定部５０３、補正情報演算部５０４および補正処理部５０５を備える。
通信部５０１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷｉＦｉ等の通信インターフェイスを備え、インターネット等のネットワークを介して第一撮像装置３００および第二撮像装置４００と通信する。通信部５０１は、第一撮像装置３００および第二撮像装置４００からメタデータが付加された映像ストリームを受信し、メタデータ解析部５０２に出力する。
情報処理装置５００は、通信部５０１、メタデータ解析部５０２、補正判定部５０３、補正情報演算部５０４および補正処理部５０５を備える。
通信部５０１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷｉＦｉ等の通信インターフェイスを備え、インターネット等のネットワークを介して第一撮像装置３００および第二撮像装置４００と通信する。通信部５０１は、第一撮像装置３００および第二撮像装置４００からメタデータが付加された映像ストリームを受信し、メタデータ解析部５０２に出力する。
メタデータ解析部５０２は、通信部５０１から入力された第一撮像装置３００および第二撮像装置４００のメタデータ付きの映像ストリームの内容を解析し、それぞれの位置および撮像方向を示す位置情報を取得する。メタデータ解析部５０２は、第一撮像装置３００および第二撮像装置４００の位置情報を補正判定部５０３に出力する。また、メタデータ解析部５０２は、第一撮像装置３００および第二撮像装置４００のメタデータ付きの映像ストリームを補正情報演算部５０４に出力する。この際、メタデータ解析部５０２は、メタデータと映像ストリームを分離して、映像ストリームだけを補正情報演算部５０４に出力してもよい。
補正判定部５０３は、メタデータ解析部５０２から入力された第一撮像装置３００および第二撮像装置４００の位置情報に基づいて、それぞれの撮像画像を連携して色補正を行うか否かを判定する。判定方法については、第１の実施形態に係る基準撮像装置１００の補正判定部１２５と同様である。補正判定部５０３は、画像の補正を行うと判定した場合、判定結果を補正情報演算部５０４に出力する。
補正情報演算部５０４は、補正判定部５０３から、画像の補正を行う旨の判定結果が入力された場合、第一撮像部１１１から入力された基準撮像装置１００の映像ストリームと、通信部１２２から入力された第二撮像装置２００の映像ストリームに基づき、画像を補正するための補正パラメータを生成する。補正パラメータの生成方法については、第１の実施形態に係る基準撮像装置１００の補正情報演算部１２６と同様である。補正情報演算部５０４は、生成した補正パラメータを補正処理部５０５に出力する。
補正処理部５０５は、補正情報演算部５０４から入力された補正パラメータに基づいて、第二撮像装置４００が撮像した画像の補正処理を行う。補正処理の内容については、第１の実施形態に係る補正処理部１２７と同様である。
次に、本実施形態に係る情報処理装置５００の画像補正の処理を説明する。
図１３は、本実施形態に係る情報処理装置５００の色補正の処理の例を示すフローチャートである。
（ステップＳ２０１）通信部５０１は、第一撮像装置３００から、第一撮像装置３００が撮像したメタデータ付きの映像ストリームを受信する。通信部５０１は、受信したメタデータ付きの映像ストリームをメタデータ解析部５０２に出力する。その後、ステップＳ２０１の処理に進む。
図１３は、本実施形態に係る情報処理装置５００の色補正の処理の例を示すフローチャートである。
（ステップＳ２０１）通信部５０１は、第一撮像装置３００から、第一撮像装置３００が撮像したメタデータ付きの映像ストリームを受信する。通信部５０１は、受信したメタデータ付きの映像ストリームをメタデータ解析部５０２に出力する。その後、ステップＳ２０１の処理に進む。
（ステップＳ２０２）通信部５０１は、第二撮像装置２００から、第二撮像装置２００が撮像したメタデータ付きの映像ストリームを受信する。通信部５０１は、受信したメタデータ付きの映像ストリームをメタデータ解析部５０２に出力する。その後、ステップＳ２０３の処理に進む。なお、ステップＳ２０１とステップＳ２０２の処理は順序が逆であってもよい。
なお、通信部５０１は、第二撮像装置２００の映像ストリームと位置に関する情報をそれぞれ別に受信してもよい。例えば、通信部５０１は、図６のステップＳ１０３と同様に、第二撮像装置２００と近距離無線通信が可能な距離内に接近した場合に、第二撮像装置２００に対して位置に関する情報を要求して取得してもよい。また、情報処理装置５００は、第二撮像装置から第二撮像装置２００の位置に関する情報を取得することなく、あらかじめ保持している第二撮像装置２００の位置に関する情報を用いたり、外部から取得することとしてもよい。
なお、通信部５０１は、第二撮像装置２００の映像ストリームと位置に関する情報をそれぞれ別に受信してもよい。例えば、通信部５０１は、図６のステップＳ１０３と同様に、第二撮像装置２００と近距離無線通信が可能な距離内に接近した場合に、第二撮像装置２００に対して位置に関する情報を要求して取得してもよい。また、情報処理装置５００は、第二撮像装置から第二撮像装置２００の位置に関する情報を取得することなく、あらかじめ保持している第二撮像装置２００の位置に関する情報を用いたり、外部から取得することとしてもよい。
（ステップＳ２０３）メタデータ解析部５０２は、通信部５０１から入力された第一撮像装置３００および第二撮像装置４００のメタデータ付きの映像ストリームの内容を解析し、それぞれ位置および撮像方向を示す位置情報を取得する。メタデータ解析部５０２は、取得したそれぞれの位置情報を補正判定部５０３に出力する。また、メタデータ解析部５０２は、第一撮像装置３００および第二撮像装置４００のメタデータ付きの映像ストリーム、またはメタデータを分離した映像ストリームを補正情報演算部５０４に出力する。その後、ステップＳ２０４の処理に進む。
（ステップＳ２０４）補正判定部５０３は、メタデータ解析部５０２から入力された第一撮像装置３００および第二撮像装置４００の位置情報に基づいて、それぞれの撮像画像を連携して色補正を行うか否かを判定する。判定方法については、第１の実施形態に係る基準撮像装置１００の補正判定部１２５と同様であり、第一撮像装置３００と第二撮像装置４００が所定の距離内に存在し、かつ、撮像方向の差異が所定の範囲内である場合にそれぞれの画像を連携し、色補正を行うと判定する。補正判定部５０３は、色補正を行うと判定した場合、判定結果を補正情報演算部５０４に出力する。その後、ステップＳ２０５の処理に進む。
（ステップＳ２０５）補正情報演算部５０４は、補正判定部５０３から、画像の色補正を行う旨の判定結果が入力された場合、メタデータ解析部５０２から入力された第一撮像装置３００の映像ストリームと、第二撮像装置４００の映像ストリームに基づき、画像の色を補正するための色補正パラメータを生成する。色補正パラメータの生成方法については、第１の実施形態に係る第一撮像装置３００の補正情報演算部１２６と同様である。補正情報演算部５０４は、生成した色補正パラメータを補正処理部５０５に出力する。その後、ステップＳ２０６の処理に進む。
（ステップＳ２０６）補正処理部５０５は、補正情報演算部５０４から入力された色補正パラメータに基づいて、第二撮像装置４００の撮像画像の色補正を行う。具体的には、補正処理部５０５は、ＲＧＢ各色毎の色補正パラメータを、第二撮像装置４００の撮像画像のＲＧＢ信号に乗算して、色を調整する。これにより、第二撮像装置４００の撮像画像の色が基準となる第一撮像装置３００の撮像画像の色に近くなるよう調整される。
以上で、本実施形態に係る情報処理装置５００の色補正の処理が終了する。
以上で、本実施形態に係る情報処理装置５００の色補正の処理が終了する。
なお、情報処理装置５００は、複数存在する他の第二撮像装置４００に対して、同様の色補正処理を繰り返して実施してもよい。これにより、複数の第二撮像装置４００の撮像画像が第一撮像装置３００を基準に補正され、結果として複数の第二撮像装置４００の撮像画像の色の差異を効率的に低減することができる。
また、画像の補正処理を処理能力の高い情報処理装置５００で実施する場合、第一撮像装置３００や第二撮像装置４００の処理負荷を低減することができ、第一撮像装置３００や第二撮像装置４００の設置コストも低減することができる。
また、補正情報演算部５０４は、色補正処理を自装置で実施するか他装置で実施するかを判定してもよい。本判定は種々の条件に基づいて実施可能である。例えば、第一撮像装置３００または第二撮像装置４００から受信した能力情報において、色補正機能が有りであった場合は、第一撮像装置３００または第二撮像装置２００で色補正処理を実施することとしてもよい。色補正処理を他装置で実施する場合、補正情報演算部５０４は、生成した色補正パラメータを、通信部５０１を介して当該装置へ送信する。これにより、柔軟に機能を分散することができる。
また、情報処理装置５００は、入力される映像ストリームについてリアルタイムに補正処理をおこなわなくてもよい。例えば、巡回が終了した第一撮像装置３００から、事後的にメタデータ付きの映像ストリームを取得し、それに基づいて必要な部分だけ補正処理を実施してもよい。これにより、情報処理装置５００の処理負荷や通信コストを低減することができる。
また、本実施形態では、第一撮像装置３００の撮像画像を画像補正の基準としたが、第二撮像装置４００の撮像画像を画像補正の基準としてもよい。また、基準となる撮像装置は一台に限らず複数の撮像装置を基準としてもよい。
また、画像の補正処理を処理能力の高い情報処理装置５００で実施する場合、第一撮像装置３００や第二撮像装置４００の処理負荷を低減することができ、第一撮像装置３００や第二撮像装置４００の設置コストも低減することができる。
また、補正情報演算部５０４は、色補正処理を自装置で実施するか他装置で実施するかを判定してもよい。本判定は種々の条件に基づいて実施可能である。例えば、第一撮像装置３００または第二撮像装置４００から受信した能力情報において、色補正機能が有りであった場合は、第一撮像装置３００または第二撮像装置２００で色補正処理を実施することとしてもよい。色補正処理を他装置で実施する場合、補正情報演算部５０４は、生成した色補正パラメータを、通信部５０１を介して当該装置へ送信する。これにより、柔軟に機能を分散することができる。
また、情報処理装置５００は、入力される映像ストリームについてリアルタイムに補正処理をおこなわなくてもよい。例えば、巡回が終了した第一撮像装置３００から、事後的にメタデータ付きの映像ストリームを取得し、それに基づいて必要な部分だけ補正処理を実施してもよい。これにより、情報処理装置５００の処理負荷や通信コストを低減することができる。
また、本実施形態では、第一撮像装置３００の撮像画像を画像補正の基準としたが、第二撮像装置４００の撮像画像を画像補正の基準としてもよい。また、基準となる撮像装置は一台に限らず複数の撮像装置を基準としてもよい。
以上説明したように、本実施形態に係る第一撮像装置は、撮像部と、自装置の位置および撮像方向に関する位置情報を取得する位置情報測位部と、自装置の撮像結果に基づく撮像情報を構成する画像に、画像が撮像されたときの位置情報をメタデータとして付加するメタデータ付加部と、メタデータを付加した撮像情報を送信する送信部とを備える。
この構成により、撮像情報に含まれる各画像と、画像が撮像されたときの第一撮像装置の位置および撮像方向を対応付けた情報を、第二撮像装置で撮像された画像の差異の補正に用いることができるため、第二撮像装置で撮像された画像の差異を効率的に補正することができる。
また、本実施形態に係る情報処理システムは、第一撮像装置と、第二撮像装置と、情報処理装置とを備え、情報処理装置は、第一撮像装置からメタデータを付加した第一撮像情報を受信する受信部と、メタデータを付加した第一撮像情報に基づいて、第一撮像装置の第一撮像情報を基準に、第二の撮像装置の撮像結果に基づく第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える。
この構成により、第一撮像装置と第二撮像装置の位置および撮像方向が画像の補正処理に適したタイミングで、基準となる第一撮像装置の撮像画像を基準に第二撮像装置の撮像画像を補正する補正パラメータを生成することができるため、第二撮像装置で撮像された画像の差異を効率的に補正することができる。
この構成により、撮像情報に含まれる各画像と、画像が撮像されたときの第一撮像装置の位置および撮像方向を対応付けた情報を、第二撮像装置で撮像された画像の差異の補正に用いることができるため、第二撮像装置で撮像された画像の差異を効率的に補正することができる。
また、本実施形態に係る情報処理システムは、第一撮像装置と、第二撮像装置と、情報処理装置とを備え、情報処理装置は、第一撮像装置からメタデータを付加した第一撮像情報を受信する受信部と、メタデータを付加した第一撮像情報に基づいて、第一撮像装置の第一撮像情報を基準に、第二の撮像装置の撮像結果に基づく第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える。
この構成により、第一撮像装置と第二撮像装置の位置および撮像方向が画像の補正処理に適したタイミングで、基準となる第一撮像装置の撮像画像を基準に第二撮像装置の撮像画像を補正する補正パラメータを生成することができるため、第二撮像装置で撮像された画像の差異を効率的に補正することができる。
また、本実施形態に係る撮像装置または情報処理装置は、補正パラメータに基づき、撮像装置の撮像画像の補正を行う補正処理部をさらに備える。
この構成により、生成された補正パラメータに基づき効率的に撮像装置の撮像画像の補正を行うことができる。
この構成により、生成された補正パラメータに基づき効率的に撮像装置の撮像画像の補正を行うことができる。
＜第３の実施形態＞
以下、図面を参照しながら本発明の第３の実施形態について説明する。第１および第２の実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図１４は、本実施形態に係る情報処理システム３の構成を示す概略図である。情報処理システム３は、基準撮像装置６００および第二撮像装置２００を備える。
基準撮像装置６００は、第一撮像部１１１を有する移動可能な撮像装置であり、例えば、スマートフォン、タブレット、デジタルカメラ、ドライブレコーダー等である。本実施形態では、基準撮像装置６００は、監視員等のユーザが保持するスマートフォンまたはタブレットである。ユーザが一般的なスマートフォンまたはタブレットにインターネット等を経由してアプリケーション（アプリ）をダウンロードすることで基準撮像装置６００の機能を実現してもよい。
基準撮像装置６００は、第一撮像部１１１の光軸方向を中心に所定の範囲（図中の一点鎖線に囲まれた範囲）を撮像する。基準撮像装置６００は、第二撮像装置２００等の他の撮像装置が撮像した画像の補正をする際の基準となる撮像装置である。
以下、図面を参照しながら本発明の第３の実施形態について説明する。第１および第２の実施形態と同一の構成については、同一の符号を付してその説明を援用する。
図１４は、本実施形態に係る情報処理システム３の構成を示す概略図である。情報処理システム３は、基準撮像装置６００および第二撮像装置２００を備える。
基準撮像装置６００は、第一撮像部１１１を有する移動可能な撮像装置であり、例えば、スマートフォン、タブレット、デジタルカメラ、ドライブレコーダー等である。本実施形態では、基準撮像装置６００は、監視員等のユーザが保持するスマートフォンまたはタブレットである。ユーザが一般的なスマートフォンまたはタブレットにインターネット等を経由してアプリケーション（アプリ）をダウンロードすることで基準撮像装置６００の機能を実現してもよい。
基準撮像装置６００は、第一撮像部１１１の光軸方向を中心に所定の範囲（図中の一点鎖線に囲まれた範囲）を撮像する。基準撮像装置６００は、第二撮像装置２００等の他の撮像装置が撮像した画像の補正をする際の基準となる撮像装置である。
図１５は、本実施形態に係る基準撮像装置６００の概略を示す機能ブロック図である。
第一の実施形態に係る基準撮像装置１００とは、重畳処理部６０１および表示部６０２の構成が異なる。
重畳処理部６０１は、第一撮像部１１１から撮像情報を入力される。また重畳処理部６０１は、第一位置情報測位部１１２から基準撮像装置６００の位置および撮像方向を示す位置情報を入力される。また、重畳処理部６０１は、第二位置情報取得部１２３から第二撮像装置２００の位置および撮像方向を示す位置情報を入力される。重畳処理部６０１は、以上の入力情報に基づき、撮像画像に第二撮像装置２００と撮像方向を合わせるためのガイド表示を重畳して表示するように画像を合成し、その結果を表示部６０２に出力する。
第一の実施形態に係る基準撮像装置１００とは、重畳処理部６０１および表示部６０２の構成が異なる。
重畳処理部６０１は、第一撮像部１１１から撮像情報を入力される。また重畳処理部６０１は、第一位置情報測位部１１２から基準撮像装置６００の位置および撮像方向を示す位置情報を入力される。また、重畳処理部６０１は、第二位置情報取得部１２３から第二撮像装置２００の位置および撮像方向を示す位置情報を入力される。重畳処理部６０１は、以上の入力情報に基づき、撮像画像に第二撮像装置２００と撮像方向を合わせるためのガイド表示を重畳して表示するように画像を合成し、その結果を表示部６０２に出力する。
表示部６０２は、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置を備える。表示部６０２は、重畳処理部６０１から入力された画像情報を表示装置に表示する。
図１６Ａ及び図１６Ｂは、本実施形態に係る基準撮像装置６００の表示画面の一例を示す図である。
図１６Ａの例を説明する。図１６Ａは、基準撮像装置６００と第二撮像装置２００との距離が比較的遠い場合の例である。
表示部６０２は、表示部６０２内に、基準撮像装置６００の現在地付近の地図画像を表示する。重畳処理部６０１は、地図画像上に、基準撮像装置６００の位置を示すガイド表示ａａ、第二撮像装置２００の位置を示すガイド表示ｂｂを表示し、基準撮像装置６００の位置から第二撮像装置２００の方向を示す矢印状のガイド表示ｃｃを表示する。重畳処理部６０１は、さらに、表示部６０２内に、ガイド表示ｃｃの方向への移動を促すメッセージｄｄを表示する。
これらのガイド表示により、ユーザは第二撮像装置２００の位置を把握し、基準撮像装置６００を保持したままガイドに従って移動することで、基準撮像装置６００と第二撮像装置２００の位置を容易に近づけることができる。
図１６Ａの例を説明する。図１６Ａは、基準撮像装置６００と第二撮像装置２００との距離が比較的遠い場合の例である。
表示部６０２は、表示部６０２内に、基準撮像装置６００の現在地付近の地図画像を表示する。重畳処理部６０１は、地図画像上に、基準撮像装置６００の位置を示すガイド表示ａａ、第二撮像装置２００の位置を示すガイド表示ｂｂを表示し、基準撮像装置６００の位置から第二撮像装置２００の方向を示す矢印状のガイド表示ｃｃを表示する。重畳処理部６０１は、さらに、表示部６０２内に、ガイド表示ｃｃの方向への移動を促すメッセージｄｄを表示する。
これらのガイド表示により、ユーザは第二撮像装置２００の位置を把握し、基準撮像装置６００を保持したままガイドに従って移動することで、基準撮像装置６００と第二撮像装置２００の位置を容易に近づけることができる。
図１６Ｂの例を説明する。図１６Ｂは、基準撮像装置６００と第二撮像装置２００との距離が比較的近い場合の例である。
表示部６０２は、表示部６０２内に、第一撮像部１１１が撮像した映像を表示する。映像内には、被写体Ｐが含まれる。重畳処理部６０１は、表示映像に、第二撮像装置２００の撮像方向を示す矢印状のガイド表示ｅｅを重畳して表示する。さらに、重畳処理部６０１は、表示部６０２の中心付近に照準を示す十字状のガイド表示ｆｆを重畳して表示する。さらに、重畳処理部６０１は、被写体Ｐの周囲に円状のガイド表示ｇｇを重畳して表示する。重畳処理部６０１は、ターゲットを照準に合わせることを促すメッセージｄｄも重畳して表示する。
このように、第二撮像装置２００の撮像方向を示すガイド表示ｅｅにより、第二撮像装置２００の撮像方向に存在する被写体Ｐを把握しやすくなる。さらに、ガイド表示ｆｆがガイド表示ｇｇと重なるように基準撮像装置６００を移動したり、向きを変えることで、ユーザはさらに基準撮像装置６００と第二撮像装置２００の位置を容易に合わせることができる。
表示部６０２は、表示部６０２内に、第一撮像部１１１が撮像した映像を表示する。映像内には、被写体Ｐが含まれる。重畳処理部６０１は、表示映像に、第二撮像装置２００の撮像方向を示す矢印状のガイド表示ｅｅを重畳して表示する。さらに、重畳処理部６０１は、表示部６０２の中心付近に照準を示す十字状のガイド表示ｆｆを重畳して表示する。さらに、重畳処理部６０１は、被写体Ｐの周囲に円状のガイド表示ｇｇを重畳して表示する。重畳処理部６０１は、ターゲットを照準に合わせることを促すメッセージｄｄも重畳して表示する。
このように、第二撮像装置２００の撮像方向を示すガイド表示ｅｅにより、第二撮像装置２００の撮像方向に存在する被写体Ｐを把握しやすくなる。さらに、ガイド表示ｆｆがガイド表示ｇｇと重なるように基準撮像装置６００を移動したり、向きを変えることで、ユーザはさらに基準撮像装置６００と第二撮像装置２００の位置を容易に合わせることができる。
本実施形態では、説明した各種のガイド表示は一例であり、種々の追加、変更が可能である。また、本実施形態で説明した重畳処理部６０１および表示部６０２の機能は、他の実施形態にも適用可能である。
また、重畳処理部６０１は、ガイド表示の生成、重畳にあたり、基準撮像装置６００と第二撮像装置２００の位置については使用せず、それぞれの撮像方向のみに基づいてガイド表示を生成、重畳してもよい。例えば、基準撮像装置６００と第二撮像装置２００の位置については他の手段（同一ローカルネットワークに接続した等）に両装置が近接していることを担保し、それぞれの撮像方向のみに基づいてガイド表示を生成、重畳してもよい。
また、重畳処理部６０１は、ガイド表示の生成、重畳にあたり、基準撮像装置６００と第二撮像装置２００の位置については使用せず、それぞれの撮像方向のみに基づいてガイド表示を生成、重畳してもよい。例えば、基準撮像装置６００と第二撮像装置２００の位置については他の手段（同一ローカルネットワークに接続した等）に両装置が近接していることを担保し、それぞれの撮像方向のみに基づいてガイド表示を生成、重畳してもよい。
以上説明したように、本実施形態に係る情報処理装置は、第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得部と、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得部と、第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得部と、第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得部と、第一位置情報と第二位置情報が所定の条件を満たす場合に、第一撮像情報を基準に、第二撮像情報を補正する補正パラメータを生成する補正情報演算部と第一撮像情報を表示する表示部と、第一の撮像装置の撮像方向と第二の撮像装置の撮像方向に基づいて、表示部に、第二の撮像装置の撮像方向に関する情報を重畳して表示させる重畳処理部とを備える。
この構成により、表示部に重畳表示された第二の撮像装置の撮像方向に関する情報に基づいて基準撮像装置と撮像装置の撮像方向を容易に合わせることができる。
この構成により、表示部に重畳表示された第二の撮像装置の撮像方向に関する情報に基づいて基準撮像装置と撮像装置の撮像方向を容易に合わせることができる。
なお、上述した各実施形態における基準撮像装置（第一撮像装置、情報処理装置）、第二撮像装置の一部または全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、基準撮像装置（第一撮像装置、情報処理装置）、第二撮像装置に内蔵されたコンピュータシステムであって、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における基準撮像装置（第一撮像装置、情報処理装置）、第二撮像装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。基準撮像装置（第一撮像装置、情報処理装置）、第二撮像装置の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
なお、上述した各実施形態では、撮像情報として、撮像した画像の色を補正する例を説明したが、補正の対象は色だけに限らず、画像のその他の要素を補正することとしてもよい。例えば、画像の明るさ（輝度）、露出、解像度等を補正することとしてもよい。また、撮像情報は、撮像した画像の情報に限らず、撮像の際の設定情報であってもよい。例えば、撮像情報は、撮像モード、撮像感度、ホワイトバランス、色温度、色変更、絞り値、シャッター速度等であってもよい。これにより、基準となる撮像装置の撮像の際の設定情報に合わせるように他の撮像装置の設定情報を補正することができる。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
＜付記＞
（１）第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得部と、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得部と、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得部と、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得部と、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える情報処理装置。
（１）第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得部と、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得部と、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得部と、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得部と、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える情報処理装置。
（２）前記補正パラメータに基づき、前記第二撮像情報の補正を行う補正処理部をさらに備える（１）に記載の情報処理装置。
（３）前記第一撮像情報を表示する表示部と、前記第一の撮像装置の撮像方向と前記第二の撮像装置の撮像方向に基づいて、前記表示部に、前記第二の撮像装置の撮像方向に関する情報を重畳して表示させる重畳処理部とをさらに備える（１）または（２）に記載の情報処理装置。
（４）撮像部と、自装置の位置および撮像方向に関する位置情報を取得する位置情報測位部と、自装置の撮像結果に基づく撮像情報を構成する画像、前記画像が撮像されたときの前記位置情報をメタデータとして付加するメタデータ付加部と、前記メタデータを付加した前記撮像情報を送信する送信部とを備える撮像装置。
（５）（４）に記載の撮像装置と、第二の撮像装置と、情報処理装置とを備える情報処理システムであって、前記情報処理装置は、前記撮像装置から前記メタデータを付加した前記撮像情報を受信する受信部と、前記メタデータを付加した前記撮像情報に基づいて、前記撮像装置の前記撮像情報を基準に、前記第二の撮像装置の撮像結果に基づく第二撮像情報を補正する補正パラメータを生成する補正情報演算部とを備える情報処理システム。
（６）前記撮像装置または前記情報処理装置は、前記補正パラメータに基づき、前記第二の撮像装置の前記第二撮像情報の補正を行う補正処理部をさらに備える（５）に記載の情報処理システム。
（７）前記撮像装置は、前記撮像情報を表示する表示部と、前記表示部に、他の前記撮像装置の撮像方向に関する情報を重畳して表示する重畳処理部とをさらに備える（５）または（６）に記載の情報処理システム。
（８）情報処理装置が行う情報処理方法であって、第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得ステップと、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得ステップと、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得ステップと、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得ステップと、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算ステップとを備える情報処理方法。
（９）情報処理装置のコンピュータに、第一の撮像装置の撮像結果に基づく第一撮像情報を取得する手順と、第二の撮像装置の撮像結果に基づく第二撮像情報を取得する手順と、前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する手順と、前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する手順と、前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する手順とを実行させるためのプログラム。
本発明のいくつかの態様は、撮像情報の差異を効率的に補正することが必要な情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラムなどに適用することができる。
１、２、３・・・情報処理システム、１００、６００・・・基準撮像装置、１１、３００・・・第一撮像装置、１１１・・・第一撮像部、１１２・・・第一位置情報測位部、１２、５００・・・情報処理装置、１２１・・・第一位置情報取得部、１２２、２０４、５０１・・・通信部、１２３、２０２・・・第二位置情報取得部、１２４・・・第二撮像情報取得部、１２５、５０３・・・補正判定部、１２６、５０４・・・補正情報演算部、１２７、５０５・・・補正処理部、２００、４００・・・第二撮像装置、２０１・・・第二撮像部、２０２・・・第二位置情報取得部、２０３、３０２、４０２・・・送信判定部、３０１、４０１・・・メタデータ付加部、５０２・・・メタデータ解析部、６０１・・・重畳処理部、６０２・・・表示部
Claims (9)
- 第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得部と、
第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得部と、
前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得部と、
前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得部と、
前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算部と
を備える情報処理装置。 - 前記補正パラメータに基づき、前記第二撮像情報の補正を行う補正処理部をさらに備える
請求項１に記載の情報処理装置。 - 前記第一撮像情報を表示する表示部と、
前記第一の撮像装置の撮像方向と前記第二の撮像装置の撮像方向に基づいて、前記表示部に、前記第二の撮像装置の撮像方向に関する情報を重畳して表示させる重畳処理部とをさらに備える
請求項１または請求項２に記載の情報処理装置。 - 撮像部と、
自装置の位置および撮像方向に関する位置情報を取得する位置情報測位部と、
自装置の撮像結果に基づく撮像情報を構成する画像に、前記画像が撮像されたときの前記位置情報をメタデータとして付加するメタデータ付加部と、
前記メタデータを付加した前記撮像情報を送信する送信部と
を備える撮像装置。 - 請求項４に記載の撮像装置と、第二の撮像装置と、情報処理装置とを備える情報処理システムであって、
前記情報処理装置は、
前記撮像装置から前記メタデータを付加した前記撮像情報を受信する受信部と、
前記メタデータを付加した前記撮像情報に基づいて、前記撮像装置の前記撮像情報を基準に、前記第二の撮像装置の撮像結果に基づく第二撮像情報を補正する補正パラメータを生成する補正情報演算部と
を備える情報処理システム。 - 前記撮像装置または前記情報処理装置は、前記補正パラメータに基づき、前記第二の撮像装置の前記第二撮像情報の補正を行う補正処理部をさらに備える
請求項５に記載の情報処理システム。 - 前記撮像装置は、
前記撮像情報を表示する表示部と、
前記表示部に、他の前記撮像装置の撮像方向に関する情報を重畳して表示する重畳処理部とをさらに備える
請求項５または請求項６に記載の情報処理システム。 - 情報処理装置が行う情報処理方法であって、
第一の撮像装置の撮像結果に基づく第一撮像情報を取得する第一撮像情報取得ステップと、
第二の撮像装置の撮像結果に基づく第二撮像情報を取得する第二撮像情報取得ステップと、
前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する第一位置情報取得ステップと、
前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する第二位置情報取得ステップと、
前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する補正情報演算ステップと
を備える情報処理方法。 - 情報処理装置のコンピュータに、
第一の撮像装置の撮像結果に基づく第一撮像情報を取得する手順と、
第二の撮像装置の撮像結果に基づく第二撮像情報を取得する手順と、
前記第一の撮像装置の位置および撮像方向に関する第一位置情報を取得する手順と、
前記第二の撮像装置の位置および撮像方向に関する第二位置情報を取得する手順と、
前記第一位置情報と前記第二位置情報が所定の条件を満たす場合に、前記第一撮像情報を基準に、前記第二撮像情報を補正する補正パラメータを生成する手順と
を実行させるためのプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016209264 | 2016-10-26 | ||
| JP2016209264 | 2016-10-26 | ||
| PCT/JP2017/030497 WO2018079043A1 (ja) | 2016-10-26 | 2017-08-25 | 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2018079043A1 true JPWO2018079043A1 (ja) | 2019-09-12 |
Family
ID=62024700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018547158A Pending JPWO2018079043A1 (ja) | 2016-10-26 | 2017-08-25 | 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2018079043A1 (ja) |
| WO (1) | WO2018079043A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6886038B2 (ja) * | 2017-10-25 | 2021-06-16 | 富士フイルム株式会社 | 情報処理装置、撮影装置、撮影システム、情報処理方法、撮影方法、情報処理プログラム、及び撮影プログラム |
| JP7500325B2 (ja) | 2019-12-06 | 2024-06-17 | キヤノン株式会社 | 撮像制御装置、評価システム、撮像制御方法及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003298917A (ja) * | 2002-04-05 | 2003-10-17 | Sony Corp | 無線撮像装置の制御方法 |
| JP2011078008A (ja) * | 2009-10-01 | 2011-04-14 | Nippon Hoso Kyokai <Nhk> | コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム |
| JP2012178755A (ja) * | 2011-02-28 | 2012-09-13 | Hitachi Ltd | 監視カメラ装置、監視カメラ制御装置 |
| JP2014082591A (ja) * | 2012-10-15 | 2014-05-08 | Canon Inc | 撮像装置、情報処理方法及びプログラム |
| JP2016134803A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2017
- 2017-08-25 WO PCT/JP2017/030497 patent/WO2018079043A1/ja active Application Filing
- 2017-08-25 JP JP2018547158A patent/JPWO2018079043A1/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003298917A (ja) * | 2002-04-05 | 2003-10-17 | Sony Corp | 無線撮像装置の制御方法 |
| JP2011078008A (ja) * | 2009-10-01 | 2011-04-14 | Nippon Hoso Kyokai <Nhk> | コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム |
| JP2012178755A (ja) * | 2011-02-28 | 2012-09-13 | Hitachi Ltd | 監視カメラ装置、監視カメラ制御装置 |
| JP2014082591A (ja) * | 2012-10-15 | 2014-05-08 | Canon Inc | 撮像装置、情報処理方法及びプログラム |
| JP2016134803A (ja) * | 2015-01-20 | 2016-07-25 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018079043A1 (ja) | 2018-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9146299B2 (en) | Method and apparatus for position estimation using trajectory | |
| US8928584B2 (en) | Display apparatus, display method, and storage medium | |
| US20090280824A1 (en) | Geo-tagging objects with wireless positioning information | |
| KR20210098839A (ko) | 센서 장치, 전자기기, 센서 시스템 및 제어 방법 | |
| WO2016109428A1 (en) | Changing camera parameters based on wireless signal information | |
| JP2016048856A (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
| US8903957B2 (en) | Communication system, information terminal, communication method and recording medium | |
| US9692956B2 (en) | Imaging apparatus, communication device, imaging method, and information notification method | |
| CN104426957A (zh) | 配置参数发送方法、接收方法及装置 | |
| CN107710736A (zh) | 辅助用户捕获图像或视频的方法和系统 | |
| JP2019149652A (ja) | 情報送信装置、通信システム及び通信端末 | |
| WO2018079043A1 (ja) | 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム | |
| US20160155253A1 (en) | Electronic device and method of displaying images on electronic device | |
| JP5514062B2 (ja) | 電子機器、情報付き撮像画面表示方法及びプログラム | |
| JP6610741B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
| JP2016177565A (ja) | 通信制御装置、通信制御方法及びプログラム | |
| JP6815439B2 (ja) | 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置 | |
| JP7082175B2 (ja) | 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置 | |
| KR102619846B1 (ko) | 촬영 구도 제안을 위한 전자 장치, 전자 장치의 촬영 구도 제안 방법 | |
| JP5928228B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
| JP5670092B2 (ja) | 地形表示システム、携帯端末、地形表示方法およびプログラム | |
| JP6541704B2 (ja) | 仮想物体を表示する端末装置とサーバ装置とを含むシステム | |
| JP6331562B2 (ja) | 特定装置、特定方法及びプログラム | |
| JP6079102B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
| US20220198829A1 (en) | Mobile communications device and application server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190426 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200428 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201020 |