JPWO2016174942A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2016174942A1
JPWO2016174942A1 JP2017515425A JP2017515425A JPWO2016174942A1 JP WO2016174942 A1 JPWO2016174942 A1 JP WO2016174942A1 JP 2017515425 A JP2017515425 A JP 2017515425A JP 2017515425 A JP2017515425 A JP 2017515425A JP WO2016174942 A1 JPWO2016174942 A1 JP WO2016174942A1
Authority
JP
Japan
Prior art keywords
adjustment
imaging
instruction
information processing
installation state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017515425A
Other languages
English (en)
Other versions
JP6720966B2 (ja
Inventor
和博 嶋内
和博 嶋内
大資 田原
大資 田原
伸穂 池田
伸穂 池田
篤史 木村
篤史 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016174942A1 publication Critical patent/JPWO2016174942A1/ja
Application granted granted Critical
Publication of JP6720966B2 publication Critical patent/JP6720966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】ユーザが複数の撮像装置の設置状態を容易に調整できるように支援する。【解決手段】複数の撮像装置の現在設置状態を上記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って上記要素を抽出または配列することにより上記調整に関する指示を特定する調整指示特定部を備える、情報処理装置が提供される。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
例えば、複数の撮像装置により撮像された撮像画像を統合するために、複数の撮像装置の設置位置や姿勢などの設置状態に関する情報を提示する技術が開発されている。下記特許文献1には、複数の撮像状態の設置状態の候補である候補状態を取得する取得部と、候補状態を提示する制御を行う制御部とを備える情報処理装置が開示されている。かかる技術によれば、ユーザに対し、各撮像装置の適切な設置状態を提示することができる。
特開2014−241496号公報
しかしながら、上記特許文献1に開示された技術では、各撮像装置の適切な設置状態が提示されるものの、ユーザは、各撮像装置をどのように適切な設置状態に合わせこめばよいかが具体的にはわからず、各撮像装置の設置状態の調整に手間がかかる場合があった。
そこで、本開示では、複数の撮像装置の設置状態を容易に調整できるように支援することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、複数の撮像装置の現在設置状態を上記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って上記要素を抽出または配列することにより上記調整に関する指示を特定する調整指示特定部を備える、情報処理装置が提供される。
また、本開示によれば、プロセッサが、複数の撮像装置の現在設置状態を上記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って上記要素を抽出または配列することにより上記調整に関する指示を特定することを含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、複数の撮像装置の現在設置状態を上記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って上記要素を抽出または配列することにより上記調整に関する指示を特定する調整指示特定部として機能させるための、プログラムが提供される。
本開示によれば、優先度に従って調整に関する指示が特定されるため、ユーザは指示に従うことで、効果的に複数の撮像装置を適切設置状態に近づけることが可能となる。
以上説明したように本開示によれば、複数の撮像装置の設置状態を容易に調整できるように支援することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
第1の実施形態に係る情報処理システム10の概略的な構成例を示す図である。 第1の実施形態に係る端末装置の機能構成例を示すブロック図である。 第1の実施形態に係る撮像装置の機能構成例を示すブロック図である。 図3に示す端末装置による処理の概要を示すフローチャートである。 第1の実施形態における撮像装置の現在設置状態および適切設置状態について概念的に説明するための図である。 第1の実施形態において定義される撮像装置の調整の要素の例を示す図である。 第1の実施形態において一の要素の調整を実施しない場合における補正により生じた統合画像の画質への影響の例を示す図である。 第1の実施形態における複数の撮像装置の設置状態の調整における処理フローを示すフローチャートである。 第1の実施形態において調整指示を優先度の高い順に表示する例を示す図である。 第1の実施形態において調整指示を優先度の高い順に表示する例を示す図である。 第1の実施形態において調整指示を優先度の高い順に表示する例を示す図である。 第1の実施形態において一の撮像装置に関する複数の調整指示を一括して表示する例を示す図である。 第1の実施形態において複数の撮像装置に関する調整指示を一括して表示する例を示す図である。 第1の実施形態において調整指示を撮像装置の座標軸とともに表示する例を示す図である。 第1の実施形態において優先度を数値化して表示する例を示す図である。 第1の実施形態において優先度をインジケータにより表示する例を示す図である。 第1の実施形態において複数の撮像装置によりそれぞれ撮像される撮像画像に重畳させて、それぞれの撮像装置における調整の要素ごとの優先度を表示する例を示す図である。 第1の実施形態において撮像装置により撮像されるライブビュー画像の出力画面に指示を表示する変形例を示す図である。 第1の実施形態において撮像装置により撮像されるライブビュー画像の出力画面に指示を表示する変形例を示す図である。 第1の実施形態において撮像装置のLEDに調整指示を出力する例を示す図である。 第2の実施形態に係る情報処理システム10の概略的な構成例を示す図である。 第3の実施形態に係る情報処理システム10の概略的な構成例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.システム構成
1−2.処理の詳細
1−3.出力例
2.第2の実施形態
3.第3の実施形態
4.ハードウェア構成例
5.まとめ
<1.第1の実施形態>
[1−1.システム構成]
(情報処理システムの構成)
図1は、第1の実施形態に係る情報処理システム10の概略的な構成例を示す図である。図1を参照すると、情報処理システム10は、端末装置100、および撮像装置200を含み得る。
端末装置100は、情報処理装置の一例である。図1では、端末装置100の例として、スマートフォン100aおよびタブレット100bが示されているが、端末装置100は、他にもパーソナルコンピュータやレコーダ、ゲーム機などの装置を含み得る。端末装置100は、処理回路と、通信装置と、出力装置とを含み得る。例えば、端末装置100では、通信装置が撮像装置200から撮像画像や現在設置状態等の情報を受信し、処理回路が受信された情報に基づいて撮像装置200の設置状態に関する処理を実行し、出力装置に含まれるディスプレイ等が処理結果を出力してもよい。また、端末装置100は、処理結果を、通信装置を用いて撮像装置200に送信してもよい。さらに、端末装置100は、撮像装置200等を撮像するための撮像機能を有してもよく、端末装置100が撮像した画像を処理結果と重畳させて出力装置を介して出力してもよい。
撮像装置200は、撮像機能を有する装置である。図1では、撮像装置200a〜200cの例として、デジタルカメラが示されているが、撮像装置200は、他にもスマートフォンやタブレット、ゲーム機、ウェアラブル装置など、撮像機能を有するあらゆる装置を含み得る。撮像装置200は、撮像素子と、撮像素子に関連する光学系および駆動系と、画像処理回路とを含む。また、撮像装置200は、端末装置100との間で画像データや設置状態等を送受信するための通信装置、撮像装置200の設置位置や姿勢を検出するためのセンサ、内部的に生成された情報または端末装置100から受信された情報を出力するためのディスプレイ、スピーカおよびLED(Light Emitting Diode)などの出力装置、並びにユーザの操作を受け付けるためのボタンおよびタッチパネルなどの入力装置などをさらに含んでもよい。なお、本実施形態に係る端末装置100は、撮像装置200として用いられることも可能である。
ここで、特開2014−241496号公報においては、複数の撮像装置の適切な設置状態を算出し、適切な設置状態をユーザに提示する技術が開示されている。しかしながら、単に複数の撮像装置の適切な設置状態を提示するだけであり、具体的な調整方法については提示されなかった。それゆえ撮像装置の設置状態の調整作業が困難であった。
そこで、本開示の一実施形態に係る情報処理システム10では、複数の撮像装置を現在の設置状態から適切な設置状態に近づけるための調整の指示が、要素ごとの優先度に従って特定される。例えば、ユーザが複数の撮像装置200の設置状態を適切な設置状態に調整する場合、情報処理システム10では、優先して調整すべき要素(移動方向・回転方向等)を端末装置100等に出力してユーザに提示するための指示情報が特定される。そのため、ユーザは、撮像装置の設置状態の調整において、端末装置100等に出力された指示情報に従うことで、容易に撮像装置を適切な設置状態に近づけさせることが可能となる。以下、本開示の一実施形態に係る情報処理システム10を実現する端末装置100および撮像装置200の構成について説明する。
(端末装置)
図2は、第1の実施形態に係る端末装置100の機能構成例を示すブロック図である。図2を参照すると、端末装置100は、通信部110、制御部120、撮像部130、入力部140、および出力部150を含む。
通信部110は、端末装置100が備える通信手段であり、ネットワークを介して(あるいは直接的に)、外部装置と無線または有線により各種通信を行う。例えば、通信部110は、撮像装置200と通信を行う。具体的には、通信部110は、撮像装置200の現在設置状態および/または撮像装置200により撮像された撮像画像等を含む情報を撮像装置200から受信し、撮像装置200の調整に関する指示等を含む情報を撮像装置200へ送信してもよい。さらに、通信部110は、撮像装置200以外の他の装置と通信を行ってもよい。通信部110は、制御部120に受信した情報を提供し、また、制御部120から取得した情報を撮像装置200等の外部装置に送信してもよい。
制御部120は、通信部110、撮像部130、入力部140および出力部150の動作制御、並びに端末装置100の有するその他の機能部の動作制御等を行う。より具体的には、制御部120は、通信部110、撮像部130および/または入力部140から得られた各種情報に基づき処理を実行し、処理結果を通信部110および/または出力部150に出力する。制御部120は、端末装置100に含まれるCPUなどの処理回路によって実現される。また、制御部120は、調整要素算出部121、優先度決定部122、調整指示特定部123および出力制御部124を含み得る。なお、制御部120に含まれる各機能部の機能については後述する。
調整要素算出部121は、撮像装置200の現在設置状態および適切設置状態を取得/算出する機能を含む。例えば、調整要素算出部121は、撮像装置200の現在設置状態および適切設置状態を示す情報を、通信部110を介して他の装置(例えば撮像装置200)から取得してもよい。また、調整要素算出部121は、撮像装置200の適切設置状態を、撮像装置200から取得した現在設置状態を示す情報に基づいて算出してもよい。また、調整要素算出部121は、撮像装置200の現在設置状態および適切設置状態から、調整の要素ごとの調整量を算出してもよい。調整要素算出部121は、算出した調整量等の情報を優先度決定部122および調整指示特定部123に出力する。なお、本実施形態では、端末装置100に含まれる調整要素算出部121が各設置状態を取得/算出し、調整の要素ごとの調整量を算出するが、他の実施形態では、端末装置100は、予め外部装置において取得/算出された各設置状態や各調整量を上記外部装置から取得してもよい。その場合、端末装置100は必ずしも調整要素算出部121を含まなくてもよい。
優先度決定部122は、撮像装置200を現在設置状態から適切設置状態へ近づけるための調整の要素ごとの優先度を決定する。具体的な処理内容については後述するが、優先度決定部122は、調整に関して要素ごとに算出されるパラメータに基づき優先度を決定する。優先度決定部122は、算出された優先度を調整指示特定部123に出力する。なお、本実施形態では端末装置100に含まれる優先度決定部122が優先度を決定するが、他の実施形態では、例えば調整の要素ごとの優先度が予め決定されてメモリやストレージに格納されており、その優先度が読み出されてもよい。その場合、端末装置100は必ずしも優先度決定部122を含まなくてもよい。
調整指示特定部123は、優先度に従って調整の要素を抽出または配列することにより、調整に関する指示を特定する。具体的な処理内容については後述するが、調整指示特定部123は、撮像装置200を現在設置状態から適切設置状態へ近づける調整において、優先度決定部122によって決定された優先度に従って、ユーザに提示すべき調整の少なくとも一の要素を抽出し、または複数の要素を配列することにより、調整に関する指示を特定する。調整指示特定部123は、優先度に従って特定された指示を出力制御部124に出力する。
出力制御部124は、調整指示特定部123が特定した調整に関する指示を、端末装置100の出力部150を実現するディスプレイまたはスピーカなどの出力装置や、他の装置に含まれる同様の出力装置を介して出力する制御を行う。具体的な処理内容については後述するが、例えば、出力制御部124は、優先度に従って特定された指示を画像や音声等に変換して出力する制御を行ってもよい。また、出力制御部124は、後述する撮像部130により取得され、出力部150に含まれるディスプレイに表示されるライブビュー画像等に、撮像装置200の現在設置状態もしくは適切設置状態を示すCG(Computer Graphics)等によるオブジェクト、または指示を示す表示を重畳して出力する制御を行ってもよい。この場合、ライブビュー画像には、調整対象である1または複数の撮像装置200が含まれうる。
撮像部130は、例えば撮像装置200等を被写体として撮像することにより撮像画像を生成する。生成される撮像画像は、ライブビュー画像として出力部150に含まれるディスプレイに表示されてもよいし、動画像コンテンツとしてメモリやストレージ等に格納されてもよい。撮像装置は、生成した撮像画像を制御部120に出力する。撮像部130は、端末装置100において画像データを生成する撮像モジュールによって実現されてもよい。なお、図2に示した例では撮像部130は端末装置100に含まれているが、撮像部130は外部装置において実現されてもよい。この場合、通信部110が、撮像された画像のデータを当該外部装置から受信する。
入力部140は、ユーザからの入力操作を検出する。入力部140は、検出した入力操作を制御部120に出力する。操作は、プログラムの実行に用いられ得る。例えば入力部140に入力された操作に係る情報に基づき、制御部120は所定の処理を行ってもよい。入力部140は、端末装置100が有するボタンやタッチパネル等の入力装置により実現される。また、図2に示した例では入力部140は端末装置100に含まれているが、入力部140は外部において実現されてもよい。この場合、通信部110が、ユーザの入力操作を示す情報を当該外部装置から受信する。
出力部150は、制御部120による制御に従って、各種情報の出力を行う。例えば、出力部150は、出力制御部124による制御に従って、画像や音声などとして指示を出力する。例えば、出力部150は、撮像部130により撮像された撮像画像や、撮像画像に重畳されたCG等のオブジェクトを出力してもよい。出力部150は、端末装置100が有するディスプレイまたはスピーカ等の出力装置によって実現される。また、図2に示した例では出力部150は端末装置100に含まれているが、出力部150は外部装置において実現されてもよい。この場合、通信部110が、出力制御部124によって生成された出力のための制御情報を当該外部装置に送信する。
(撮像装置)
図3は、第1の実施形態に係る撮像装置200の機能構成例を示すブロック図である。図3を参照すると、撮像装置200は、撮像部210、制御部220、通信部230、設置状態検出部240および出力部250を含む。
撮像部210は、被写体を撮像することにより撮像画像を生成する。生成される撮像画像は、ライブビュー画像として出力部250に含まれるディスプレイに表示されてもよいし、動画像コンテンツとしてメモリやストレージ等に格納されてもよい。撮像装置は、生成した撮像画像のデータを制御部220に出力する。撮像部210は、撮像装置200において画像データを生成する撮像モジュールによって実現されてもよい。
制御部220は、撮像部210、通信部230、設置状態検出部240および出力部250、並びに撮像装置200の有するその他の機能部の動作制御等を行う。より具体的には、制御部220は、撮像部210、通信部230および/または設置状態検出部240から得られた各種情報に基づき処理を実行し、処理結果を通信部230および/または出力部250に出力する。制御部220は、撮像装置200に含まれるCPUなどの処理回路によって実現される。
通信部230は、撮像装置200が備える通信手段であり、ネットワークを介して(あるいは直接的に)、外部装置と無線または有線により各種通信を行う。例えば、通信部230は、端末装置100と通信を行う。具体的には、通信部230は、撮像装置200の現在設置状態および/または撮像装置200により撮像された撮像画像等を含む情報を端末装置100へ送信し、撮像装置200の調整に関する指示等を含む情報を端末装置100から受信してもよい。また、通信部230は、端末装置100以外の他の装置と通信を行ってもよい。通信部230は、受信した情報を制御部220に提供し、また、制御部220から取得した情報を端末装置100等の外部装置に送信する。
設置状態検出部240は、撮像装置200の現在の設置状態を検出するためのセンサ情報を生成し、その結果に関するセンサ情報を制御部220に出力する。センサ情報とは、例えば、撮像装置200に備えられたジャイロセンサにより得られる姿勢情報、地磁気センサにより得られる撮像方向情報や、GPS(Global Positioning System)、RTK(Real Time Kinematic)およびWi−fiにより得られる位置情報を含む。
出力部250は、制御部220による制御に従って、各種情報の出力を行う。例えば、出力部250は、撮像部210が撮像した画像を、端末装置100から受信した調整に関する指示を示す表示とともに出力してもよい。出力部250は、撮像装置200が有するディスプレイ等の出力装置によって実現される。
LED251は、出力部250を実現する出力装置の一例である。LED251は、端末装置100から受信した調整に関する指示に基づいて点灯することにより表示する。例えば、LED251は、調整が必要とされている方向や、調整がどの程度残っているかを、点灯、点滅等の異なる態様によって表示してもよい。
[1−2.処理の詳細]
(各設置状態の算出/取得)
図4は、図3に示す端末装置100による処理の概要を示すフローチャートである。図4を参照すると、まず、調整要素算出部121は、複数の撮像装置200の現在設置状態および適切設置状態を取得または算出する(S100)。ここで、本明細書において、設置状態は、撮像装置200の設置位置または設置姿勢のうち少なくとも一方を意味する。以下で説明する例では、設置状態は、撮像装置200の設置位置および設置姿勢の両方を含む。現在設置状態は、撮像装置200の現時点における設置状態を示す。適切設置状態は、撮像装置200の望ましい設置状態を示す。例えば、複数の撮像装置200により撮像された画像を用いて統合画像を生成する場合、複数の撮像装置200がいずれも適切設置状態にある場合、画質の高い統合画像を生成することが可能となる。
なお、現在設置状態および適切設置状態は、例えば特開2014−241496号公報に開示された技術を利用することにより算出され得る。調整要素算出部121は、複数の撮像装置200の現在設置状態および/または適切設置状態を算出してもよい。あるいは、調整要素算出部121は、通信部110を介して、撮像装置200等の外部装置により算出された複数の撮像装置200の現在設置状態および/または適切設置状態を取得してもよい。例えば、調整要素算出部121は、撮像装置200の設置状態検出部240が検出した現在設置状態を通信部110を介して取得し、取得した現在設置状態から適切設置状態を算出してもよい。また、調整要素算出部121は、複数の撮像装置200が撮像した撮像画像の重なり領域の大きさや重なり領域における画像のズレに基づいて、少なくとも一の撮像装置200の適切設定状態を算出/取得してもよい。例えば、調整要素算出部121は、2台の撮像装置を用いてパノラマ画像を撮像する場合、各々の撮像装置が撮像した撮像画像の重なり領域が所定の基準より小さい場合、重なり領域が大きくなるように少なくともいずれかの撮像装置の適切設置状態を算出/取得してもよい。
図5は、第1の実施形態における撮像装置200の現在設置状態および適切設置状態について概念的に説明するための図である。図5に示す例では、撮像装置200の現在設置状態は、撮像装置を示す画像201a〜201cとして図示されている。また、撮像装置200の適切設置状態は、撮像装置を示す画像202a〜202cとして図示されている。撮像装置200の現在設置状態を示す撮像装置201および適切設置状態を示す撮像装置202は、例えば、CG等のオブジェクトにより描画されてもよい。また、現在設置状態を示す撮像装置201は、実際に現在設置状態にある撮像装置200であってもよい。図5に示す例のように、撮像装置200の適切設置状態は、現在設置状態からみて、位置、姿勢ともにずれている場合がある。このような場合に、現在設置状態にある撮像装置200の位置や姿勢を具体的にどのように変えることで適切設置状態が実現されるかをユーザに伝達することは、必ずしも容易ではない。また、実際には、撮像装置200の設置状態を適切設置状態に完全に一致させることまでは必要とされず、優先度の高い調整要素(例えば、平行移動による位置の調整や、回転による姿勢の調整)を部分的に実施すれば十分な画質の画像が得られることも多い。しかしながら、そのような調整要素の優先度をユーザが把握することは容易ではない。また、図示された例のように複数の撮像装置200において現在設置状態が適切設置状態からずれている場合に、どの撮像装置200から調整を開始すればよいかをユーザが把握することも容易ではない。そこで、本実施形態に係る端末装置100は、以下のステップに示される処理に基づいて、具体的な調整指示をユーザに提示する。
(調整量の算出)
再び図4を参照して、調整要素算出部121は、複数の撮像装置200の現在設置状態および適切設置状態から、撮像装置200の各々の調整量を要素ごとに算出する(S102)。ここで、調整の要素とは、現在設置状態から適切設置状態への調整を構成する単位である。例えば、調整の要素は、一の撮像装置200における位置または姿勢に係る調整の単位を含み得る。
図6は、第1の実施形態において定義される撮像装置200の調整の要素の例を示す図である。図示された例において、調整の要素は、空間座標系における各座標軸の向きに分解された平行移動および回転を含む。平行移動の要素とは、例えば、3軸の座標系におけるx軸、y軸およびz軸方向の各要素である。図示された例では、空間座標系が、撮像装置200を基準にして定義されている。つまり、空間座標系のx軸は撮像装置200の光軸に一致し、y軸およびz軸は撮像装置200の光軸に対して垂直な面内で互いに直交するように設定される。例えば、図6に示した例においては、調整の要素が、撮像装置200のz軸方向への平行移動(矢印Adj1で示される)を含む。また、回転の要素とは、例えば空間座標系における各座標軸回りの回転として定義される。図示された例では、x軸回りの回転R1(ロール)、y軸回りの回転R2(ピッチ)およびz軸回りの回転R3(ヨー)が定義されている。図6に示した例においては、調整の要素が、撮像装置200のx軸回りの回転(矢印Adj2で示される)を含む。このように、調整要素算出部121は、複数の撮像装置200に含まれる1つの撮像装置の調整量を、平行移動および回転の6つの要素に分解して算出し得る。なお、本実施形態において空間座標系はそれぞれの撮像装置200の位置および姿勢を基準として定義されるが、他の実施形態において空間座標系は、複数の撮像装置200の共通の座標系であってもよい。例えば、共通の座標系は、空間中の任意の点を基準点とするグローバルな座標系であってもよい。
本実施形態において、調整量は、上記のようにして定義される調整の要素ごとの座標や角度の変化量を含む。例えば、平行移動の調整要素における変化量は、調整前後の撮像装置200の座標から算出される移動距離である。例えば、ある撮像装置200の現在設置状態における位置が空間座標系の原点である場合、適切設置状態における撮像装置200の座標を各座標軸方向の要素ごとに分解した値が、各座標軸に対応する平行移動の調整要素の変化量になる。また、回転の調整要素における変化量は、調整前後の撮像装置200の各座標軸回り回転角度の差である。例えば、撮像装置200の現在設置状態における回転角度が各座標軸回りに0度である場合、適切設置状態における撮像装置200の各座標軸回りの回転角度が、各座標軸に対応する回転の調整要素の変化量になる。
上記のような調整量は、例えば以下の2つの手法のいずれかにより算出され得る。1つは、複数の撮像装置200のそれぞれに搭載された各種センサにより取得される現在設置状態における位置や姿勢を定量化した値から、それらを適切設置状態における位置や姿勢に近づけるための調整量を算出する手法である。もう1つは、複数の撮像装置200が現在設置状態において撮像した画像を、適切設置状態において撮像され得る画像へと変換する行列を求め、そのときに用いられる射影変換行列などの変換行列に含まれる値に基づいて調整量を算出する手法である。なお、変換行列は、画像処理の分野において公知の様々な手法によって算出することが可能である。また、調整量は、上記のような2つの手法を組み合わせて算出されてもよい。例えば、前者の手法を用いて大まかな調整量が算出された後に、後者の手法を用いて調整量が補正されてもよい。
再び図4を参照すると、調整要素算出部121は、S102で算出された要素ごとの調整量のそれぞれが、所定の閾値以下であるか否かを判定する(S104)。例えば、要素ごとの調整量が全て所定の閾値以下である場合(YES)、撮像装置200は適切設置状態に十分近づいた状態とみなすことができるので、調整要素算出部121は、その後の調整指示を特定する処理等をスキップしてもよい。一方、算出された要素ごとの調整量の少なくとも一部が所定の閾値を超えている場合は(NO)、調整要素算出部121は、算出した調整量を優先度決定部122および調整指示特定部123に出力する(S106〜S110)。なお、S104の判定における閾値は、撮像装置200の性能や、複数の撮像装置200を利用して撮像しようとしている画像の種類などに応じて、任意に設定される。例えば、撮像装置200の設置位置の厳密な調整が必要とされるような場合、閾値は0に近い値に設定されてもよいし、そうでない場合は閾値が比較的大きな値に設定されてもよい。なお、閾値は、撮像装置200等の性能や撮像に関する設定に応じて自動的に、またはユーザの操作により設定されてもよい。
(優先度の決定)
次に、優先度決定部122は、調整に関して要素ごとに算出されるパラメータに基づいて優先度を決定する(S106)。優先度とは、複数の撮像装置200を現在設置状態から適切設置状態へ調整する際に、どの要素を優先的に調整すればよいかを示す指標である。例えば、ある撮像装置200を調整する際に、x軸方向への移動に関する調整量が最も多い場合に、優先度決定部は、x軸方向の平行移動要素について最も高い優先度を決定してもよい。この場合、後述する調整指示特定部123によって、優先度の高い要素、つまりx軸への移動に係る調整に関する指示が優先的に実行されるように、ユーザへの調整の指示が特定される。
ここで、本実施形態において優先度決定部122が優先度を決定するためのパラメータは、例えば要素ごとの調整量を含み得る。要素ごとの調整量は、例えば調整要素算出部121で算出された調整量であり、具体的には、x軸、y軸およびz軸方向の移動量や、x軸、y軸およびz軸周りの回転角度等を示す。優先度決定部122は、調整量が大きい要素を優先的に調整するように優先度を決定し得る。これにより、適切設置状態から最も状態が乖離している要素を優先的に指定することが可能である。なお、平行移動の要素と回転の要素の間では調整量の単位が異なる。そのため、優先度決定部122は、要素ごとの調整量を正規化してもよいし、変換してもよい。例えば優先度決定部122は、調整量を撮像装置200の撮像画素数に相当する値に変換してもよい。これにより、単位の異なる要素間において、優先度の比較が可能となる。
また、本実施形態において優先度決定部122が優先度を決定するためのパラメータは、例えば要素ごとの貢献度を含み得る。要素ごとの貢献度は、例えば、複数の撮像装置200が撮像する画像を統合する際に、当該要素の調整が実行されたことが統合画像の画質の向上にどの程度貢献するかを表す値である。なお、上述した統合画像とは、例えば、複数の撮像装置200が撮像する複数の画像をスティッチング画像処理を用いて合成することにより得られる合成画像であってもよい。つまり、貢献度は、要素の調整が実行されたことが、スティッチング画像処理により得られた合成画像の画質の向上にどの程度貢献するかを表す値であってもよい。例えば複数の撮像装置200が撮像した撮像画像を統合する場合、各撮像装置200の設置状態が適切設置状態からずれていると、その分だけ各撮像装置200によって撮像された撮像画像を補正処理する必要が生じる。この補正処理により、統合された画像の画質が低下し得る。補正処理と、その補正処理の原因になる適切設置状態からのズレの要素(調整の要素と同様に、平行移動や回転などの要素でありうる)との関係が既知であれば、補正処理による画質の低下の程度を算出することによって、任意の調整要素に係る調整を実行した場合に補正処理が不要になったことによる画質の向上の程度、すなわち調整要素の貢献度を算出することができる。
図7は、第1の実施形態において一の要素の調整を実施しない場合に、補正により生じる統合画像の画質への影響の例を示す図である。図7(a)は、撮像装置200aおよび撮像装置200bがともに適切設置状態にある場合の、撮像画像A1およびB1を示す図である。図7(b1)は、撮像装置200aは適切設置状態にあり、撮像装置200bは適切設置状態への調整において平行移動の一要素を調整しなかったときの設置状態にある場合の、撮像画像A1およびC1を示す図である。図7(b2)は、図7(b1)の撮像画像A1およびC1を統合した統合画像C2を示す図である。一方、図7(c1)は、撮像装置200aは適切設置状態にあり、撮像装置200bは適切設置状態への調整において回転の一要素を調整しなかったときの設置状態にある場合の、撮像画像A1およびD1を示す図である。図7(c2)は、図7(c1)の撮像画像A1およびD1を統合した統合画像D2を示す図である。顔画像F1a〜F1dは、撮像装置200aおよび200bにより撮像された人物Fの顔画像であり、顔画像F2cおよびF2dは、撮像装置200aおよび200bにより撮像された人物Fの顔画像の統合後の顔画像である。
図7(b1)に示されている撮像画像C1を撮像する撮像装置200bは、適切設置状態から紙面に向かって右側にずれて人物Fを撮像している状態である。そのため、撮像装置200bを紙面に向かって左側へ平行移動させれば、撮像画像B1に示される画像が得られる。ここで、撮像装置200bの設置状態を調整せずに撮像画像A1およびC1を統合させると、図7(b2)で示されている統合画像C2が得られる。このとき、統合画像C2に表示されている顔画像F2cは、撮像画像A1およびC1に表示されている人物Fの顔の重なり領域Ar1において統合され得る。仮に図7(a)に示されている撮像画像A1およびB1を統合した場合、統合画像に表示される顔画像は、重なり領域Ar1およびAr2において適正に統合され得る。つまり、平行移動の一要素を調整しなかった場合においては、二つの撮像画像の重なり領域が減少する。しかしこの場合、重なり領域が少しでもあれば、適切設置状態にない状態で撮像された撮像画像C1を統合したとしても、この点に関して画像の補正による統合画像の画質の低下は生じない。このような場合、平行移動の調整要素については、貢献度が小さいと言える。
一方、図7(c1)に示されている撮像画像D1を撮像する撮像装置200bは、回転の一要素(例えばピッチ)が調整されていない状態であるので、適切設置状態の上方から人物Fに向かって斜め下に見下ろす形で人物Fを撮像する。すると、撮像画像D1に表示されている顔画像F1dには、斜め上から撮像したことによる歪みがかかった状態となる。ここで、歪みとは、例えば撮像画像に遠近感が生じることによる台形歪みなどである。この場合、撮像装置200bの設置状態を調整せずに撮像画像A1およびD1を統合させると、図7(c2)で示されている統合画像D2が得られる。このとき、撮像画像D1に表示されている顔画像F1dにおける歪みが補正され得る。すると、統合画像D2に表示される顔画像F2dについては、撮像画像D1から統合された部分において、上記のような歪みを補正することにより画質が低下し得る。画質の低下とは、例えば、顔画像F1dを引き延ばしたり縮小したりすることによる解像度の劣化やエッジのぼけなどが挙げられる。よって、撮像画像A1およびD1を統合する場合、歪みの補正によって統合画像D2の画質が低下し得る。このような場合、回転の調整要素については、貢献度は大きいと言える。
上記のような貢献度は、例えば実際に撮像装置200から受信されている撮像画像について上記のような画像の補正をシミュレートすることによって調整の要素ごとに設定された所定値でもよい。あるいは、貢献度は、調整の要素ごとに発生しうる補正による画質への影響の傾向に基づいて予め設定された値であってもよい。例えば、貢献度は、上述した要素ごとの調整量に、要素ごとに予め設定された重み値を乗じた値であってもよい。この場合、上述したように、平行移動の調整要素と比較して、回転の調整要素は、統合画像の画質への影響(貢献)が大きい傾向がある。そのため、回転の調整要素に係る重み値は、平行移動の調整要素に係る重み値よりも高く設定されてもよい。なお、重み値は、撮像装置200の被写体や、撮像装置200の設置フォーメーション等によって異なってもよい。例えば、被写体が撮像装置200の至近にある場合、統合画像の画質への影響(貢献)が、平行移動の要素についてより大きくなり、回転の要素についてより小さくなる場合がある。また、撮像装置200の性能や撮像に関する設定に応じて異なる重み値が設定されてもよい。
また、上記のような貢献度は、優先度決定部122により、現在設置状態にある複数の撮像装置200が撮像した撮像画像を統合のために補正し、補正された画像に生じた画質の低下の程度から算出されてもよい。例えば、優先度決定部122は、現在設置状態にある複数の撮像装置200が撮像した撮像画像を実際に統合し、統合のために行った補正により生じた撮像画像の画質の低下の程度を要素ごとに評価することにより要素ごとの貢献度を算出してもよい。また、優先度決定部122は、現在設置状態にある複数の撮像装置200が撮像した撮像画像を統合のために補正する際に用いる変換行列を算出し、変換行列に含まれる値に基づいて要素ごとの貢献度を算出してもよい。また、優先度決定部122は、一の撮像画像を他の撮像画像と統合する際に生じる2つの撮像画像の画質差を要素ごとに評価することにより要素ごとの貢献度を算出してもよい。このように、優先度決定部122は、複数の撮像装置200が現在設置状態において撮像した画像に基づいて貢献度を算出することも可能である。
(調整指示の特定)
再び図4を参照すると、S106の優先度の決定に続いて、調整指示特定部123は、調整の要素ごとの優先度に応じて調整指示を特定する(S108)。より具体的には、調整指示特定部123は、要素を抽出または配列することにより調整に関する指示を特定する。ここで、調整に関する指示とは、例えばユーザに撮像装置200を適切設置状態に近づけさせるための調整手順や調整方法を含む情報である。優先度決定部122によって算出された優先度に従って調整に関する指示を特定することにより、ユーザによる撮像装置200の調整を正確にかつ効率的に行わせることが可能である。なお、ここで用いられる優先度は、優先度決定部122によって算出された優先度でもよいが、予め設定された所定の優先度が用いられてもよい。
撮像装置200を適切設置状態に近づける調整を行う場合、要素の優先度を決定するためのパラメータとして用いられる要素ごとの調整量または貢献度のうち、これらの値が最も大きい要素を調整することにより、最も効率的に、撮像装置200によって撮像される画像を適切設置状態によって撮像される画像に近づけることができ得る。そのため、調整指示特定部123は、調整の要素のうち、最も高い優先度を有する要素を抽出することにより指示を特定してもよい。例えば、調整指示特定部123は、所定数の調整要素のデータ項目から、最も高い優先度を有する要素のデータ項目のみを調整指示として選択してもよい。これにより、撮像装置200を、効率的に適切設置状態に近づけることができる。また、調整指示特定部123は、優先度に応じて、所定数の調整要素のデータ項目からその所定数よりも少ない種類の調整要素のデータ項目を調整指示として選択してもよい。これにより、撮像装置200をさらに効率的に適切設置状態に近づけることが可能である。
また、撮像装置200を適切設置状態に近づける調整を行う場合、要素ごとの調整量または貢献度が高い値を示す要素から順に調整することにより、撮像装置200をより効率的に適切設置状態に近づけることができ得る。そのため、調整指示特定部123は、調整の要素を優先度が高い順に配列することにより指示を特定してもよい。例えば、調整指示特定部123は、優先度の高い順に所定数の調整要素のデータ項目に対して順位を設定する処理を行ってもよい。また、調整指示特定部123は、優先度の高い順に所定数の調整要素のデータ項目をデータ配列として格納する処理を行ってもよい。なお、調整指示特定部123は、抽出処理および配列処理のいずれかのみを行ってもよく、また、抽出処理および配列処理を組み合わせて行ってもよい。抽出処理と配列処理を組み合わせた処理を行う場合、例えば、調整指示特定部123は、優先度の高い順に所定数の調整要素のデータ項目に順位を設定する処理を行い、そのうち所定の上位に含まれる複数の調整要素のデータ項目を調整指示として選択する処理を行ってもよい。これにより、撮像装置200をより効率的に適切設置状態に近づけることが可能である。
また、複数の撮像装置200を適切設置状態に近づける調整を行う場合、それぞれの撮像装置200の現在設置状態が適切設置状態とどの程度乖離しているかどうかを具体的に示すことにより、撮像装置200をより的確に適切設置状態に近づけることができ得る。つまり、現在設置状態と適切設置状態との乖離がより大きい撮像装置200から優先して調整を実施することによって、より早い段階で適切設置状態に近い設置状態が実現され得る。そのため、調整指示特定部123は、複数の撮像装置200のそれぞれの位置または姿勢の調整を含む調整の要素の中から、少なくとも1つの撮像装置の位置または姿勢の調整を抽出することにより指示を特定してもよい。この場合、調整指示特定部123は、上記の少なくとも1つの撮像装置の調整について、平行移動や回転等の要素から少なくとも1つの要素を優先度に従ってさらに抽出または配列することにより指示を特定してもよい。
また、複数の撮像装置200を適切設置状態に近づける調整を行う場合、複数の撮像装置200より得られる統合画像の画質の低下を回避するために、調整量または貢献度の大きい調整の要素を含む撮像装置から調整する必要がある。それゆえ、調整指示特定部123は、複数の撮像装置200のうち優先度の高い要素を含む少なくとも1つの撮像装置の位置または姿勢の調整を抽出することにより指示を特定してもよい。
このように、調整指示特定部123は、所定の、もしくは優先度決定部122により決定された優先度に従って調整に関する指示を多様な方法で特定することができる。
(出力制御)
次に、出力制御部124は、調整指示特定部123により特定された指示を優先度に応じて出力する制御を行う(S110)。例えば、出力制御部124は、優先度に応じて指示を具体的態様に示してユーザに提示する制御を行う。具体的態様とは、例えば画像や音声であってもよい。
調整指示特定部123が特定する指示は、例えば、出力制御部124によって、表示または音声等の具体的な態様として出力部150を介して出力される。調整指示特定部123により特定された指示は、例えば、出力制御部124により具体的な態様を示す情報に出力制御されたあと、通信部110を介して外部装置に送信され、外部装置の有する出力装置を介して出力されてもよい。具体的には、指示を示す表示や音声は、通信部110を介して複数の撮像装置200に送信されてもよい。この場合、撮像装置200の調整時に、撮像装置200の有する出力装置を介して指示に係る表示や音声がユーザに提示されるので、撮像装置200の調整がより容易となる。なお、出力制御部124による指示の具体的な出力例については後述する。
以上のような処理によって、ユーザによる撮像装置200の調整を正確にかつ効率的に行わせることが可能な調整指示をユーザに提示することができる。
(複数の撮像装置の設置状態の調整における処理フロー)
次に、ユーザが複数の撮像装置200の設置状態を調整する場合における端末装置100の処理フローについて説明する。図8は、第1の実施形態における複数の撮像装置200の設置状態の調整における処理フローを示すフローチャートである。図8を参照すると、まず、端末装置100は調整する撮像装置200を選択する(S200)。ここで、端末装置100は、ユーザの入力に従って調整する撮像装置200を選択してもよい。また、端末装置100は、S200において複数の撮像装置200のそれぞれの要素ごとの優先度を決定し、決定した優先度に基づいて調整する撮像装置200を選択してもよい。例えば、端末装置100は、最も優先度の高い要素を含む撮像装置200を調整する撮像装置として選択してもよい。これにより、ユーザは最も優先して調整すべき撮像装置200から調整することが可能となる。
撮像装置200が選択されると、撮像装置200の調整に関する指示の出力制御処理が実行される(S202)。ステップS202において実行される処理は、図4のフローチャートに示した処理である。上記処理により、撮像装置200の調整の要素ごとの調整量の少なくとも一部が所定の閾値以下でない場合においては調整指示が提示される。一方で、撮像装置200の調整の要素ごとの調整量が全て所定の閾値以下であるような場合においては、調整指示を特定する処理が実行されないため、調整指示が提示されない。
次に端末装置100は、調整指示が提示されなかったか、または調整指示が提示されたが、ユーザの入力により撮像装置200の調整が確定されたか否かを判定する(S204)。図示された例において、ユーザは、端末装置100が調整指示を提示している場合においても、撮像装置200の調整を実行する必要がなくなったと判断した場合においては、入力部140を介した入力により、調整指示が提示する調整要素における調整を確定することも可能である。調整指示が提示されており、ユーザが調整を確定しない場合(NO)、ユーザは引き続き撮像装置200の調整を行いつつ、端末装置100は撮像装置200の調整指示の出力制御処理(S202)を再度実行する。この場合、調整後の設置状態を現在設置状態として、再度調整の要素ごとの優先度が決定されてもよい。
一方、上記のS204において、調整指示が提示されなかった場合、または調整指示が提示されたが、ユーザの入力により撮像装置200の調整が確定された場合(YES)、他の撮像装置200の設置状態が全て確定したか否かを判定する(S206)。他の撮像装置200の設置状態が全て確定していない場合(NO)、調整すべき他の撮像装置200の選択処理に戻る(S200)。一方、上記のS206において、他の撮像装置200の設置状態が全て確定した場合(YES)、複数の撮像装置200の設置状態の調整における処理を終了する。
以上のような処理によって、ユーザは複数の撮像装置200の調整を端末装置100の調整指示に従って順次実施することが可能である。
[1−3.出力例]
次に、図9〜図17を参照して、調整指示特定部123により特定された指示の出力例について説明する。なお、上記指示を示す表示は、図9〜図15においては端末装置100の出力部150の機能を実現するディスプレイを介して、図16においては撮像装置200の出力部250の機能を実現するディスプレイを介して、および図17においては撮像装置200のLED251を介して提示され得る。なお、調整指示特定部123により特定された指示は、外部装置に送信され、外部装置の出力装置を介して出力されてもよい。
(優先度の高い順に指示を表示する例)
図9A〜図9Cは、第1の実施形態において調整指示を優先度の高い順に表示する例を示す図である。図9Aを参照すると、端末装置100により撮像された撮像装置200a〜200cの現在設置状態を示す画像201a〜201c、適切設置状態を示す画像202a〜202c、および撮像装置200bに関する調整指示を示す矢印401が描画されている。矢印401は、現在設置状態にある撮像装置200bについての調整方法を示す指示を表示する矢印である。例えば、直線状の矢印が表示されている場合、ユーザは、撮像装置200を矢印の示す方向に平行移動させればよいことを認識できる。また、円弧状の矢印が表示されている場合、ユーザは、撮像装置200を矢印の示す方向に回転させればよいことを認識できる。図示された例において、調整すべき撮像装置として撮像装置200bが選択されている。そして、端末装置100は、撮像装置200bの調整指示を特定する処理を行った結果として、矢印401を表示させる。矢印401は、z軸周りの回転(ヨー)を示している。これは、端末装置100の優先度決定部122によって決定された撮像装置200bの調整要素の優先度が、z軸周りの回転について最も高かっためである。そのため、ユーザは、矢印401の方向に撮像装置200bを回転させればよいことが把握できる。
ユーザが矢印401の示す指示に従って撮像装置200bを調整し、調整が確定すると、端末装置100は、次に優先度が高い要素についての指示を提示してもよい。図9Bを参照すると、端末装置100は、撮像装置200bの調整指示を再度特定する処理を行った結果として、矢印402を表示させる。矢印402は、x軸周りの回転(ロール)を示している。これは、ヨーの要素を調整した後の撮像装置200bの設置状態における調整の要素のうち、ロールの要素が最も高い優先度を示すからである。そのため、ユーザは、矢印402の方向に撮像装置200bを回転させればよいことが把握できる。
ユーザが矢印402の示す指示に従って撮像装置200bを調整し、調整が確定すると、端末装置100は同様に次に優先度が高い要素についての指示を提示してもよい。図9Cを参照すると、端末装置100は、x軸方向の移動を示す矢印403を表示させる。ユーザは、矢印403の方向に撮像装置200bを移動させればよいことが把握できる。このように、優先度の高い調整要素を表示することで、ユーザは容易に撮像装置200を適切設置状態に近づけることが可能となる。このように、端末装置100は、優先度が高い要素を調整するための指示を示す矢印を順番に表示してもよい。なお、調整指示を示す矢印を提示する回数は自由に設定される。例えば、端末装置100は、最も高い優先度を示す要素を調整するための指示を示す矢印のみを表示してもよいし、全ての要素について、優先度の高い順に矢印を順番に提示してもよい。
(複数の指示を一括して表示する例)
図10は、第1の実施形態において一の撮像装置200に関する複数の調整指示を一括して表示する例を示す図である。図10を参照すると、撮像装置200a〜200cの現在設置状態を示す画像201a〜201c、および適切設置状態を示す画像202a〜202cの他に、撮像装置200bに関する調整指示を示す矢印411〜413が描画されている。このとき、ユーザに優先度の高低を認識させるために、例えば、矢印411〜413の太さが優先度の高低に応じて異なっていてもよい。具体的には、最も高い優先度を示す要素を調整するための指示を示す矢印を一番太くし、優先度が低下するにつれて矢印の太さを細くしてもよい。図10に示した例においては、矢印411が最も太いため、矢印411が示す方向の回転(ヨー)が、最も優先度の高い調整の要素であることが認識できる。矢印412は矢印411の次に太いため、次に優先度の高い調整の要素(ロール)であることが認識できる。矢印413は最も細いので、一番優先度の低い調整の要素(x軸方向移動)であることが認識できる。このように、端末装置100は、一度に複数の矢印を表示してもよい。このとき、優先度の高低に応じて矢印の態様を変化させてもよい。上述した例においては、端末装置100は優先度の高低に応じて矢印の太さを変化させたが、端末装置100は、例えば、矢印の色を変化させてもよいし、最も高い優先度を示す矢印について点滅や回転などユーザに注意を向けさせるような動的な態様を表示させてもよい。これにより、ユーザは、調整すべき要素を直感的に把握することが可能である。
(複数の撮像装置に関する指示を一括して表示する例)
図11は、第1の実施形態において複数の撮像装置200に関する調整指示を一括して表示する例を示す図である。図11を参照すると、撮像装置200a〜200cの現在設置状態を示す画像201a〜201c、および適切設置状態を示す画像202a〜202cの他に、撮像装置200a〜200cに関する調整指示を示す矢印421〜423が描画されている。矢印421〜423は、撮像装置200a〜200cのそれぞれの調整の要素のうち、最も高い優先度を示す要素を調整するための指示を示す矢印であってもよい。また、撮像装置200a〜200cのいずれかについて、矢印421〜423のうち各撮像装置に対応する矢印に係る調整が完了した場合、端末装置100は、次に高い優先度を示す要素を調整するための指示を示す矢印を表示させてもよい。このように、端末装置100は、複数の撮像装置に一度に矢印を表示してもよい。これにより、ユーザは、撮像装置200a〜200cのうち、手近な撮像装置から調整することが可能となる。また、ユーザは、調整すべき撮像装置200を選択する手間を省くことも可能である。この場合、図8に示した処理フローにおいて、S200における撮像装置200の選択に関する処理は実施されなくてもよい。
(座標軸を利用して指示を表示する例)
図12は、第1の実施形態において調整指示を撮像装置200の座標軸とともに表示する例を示す図である。図12を参照すると、撮像装置200a〜200cの現在設置状態を示す画像201a〜201c、および適切設置状態を示す画像202a〜202cの他に、撮像装置200bに関する調整指示を示す矢印431、現在設置状態における撮像装置200bの座標軸AX1、および適切設置状態における撮像装置200bの座標軸AX2が描画されている。座標軸AX1は、撮像装置200bの調整に伴って、移動および回転してもよい。これにより、ユーザは、撮像装置200bを調整するときに、座標軸を参考に適切設置状態に近づけることが可能となる。なお、矢印431に係る撮像装置200bの調整が完了した場合、端末装置100は、次に高い優先度を示す要素を調整するための指示を示す矢印を表示させてもよい。
(優先度を数値化して表示する例)
図13は、第1の実施形態において優先度を数値化して表示する例を示す図である。図13を参照すると、撮像装置200a〜200cの現在設置状態を示す画像201a〜201c、および適切設置状態を示す画像202a〜202cの他に、撮像装置200の調整の要素である平行移動(x軸、y軸、z軸)および回転(ピッチ、ロール、ヨー)における優先度を数値化した値を含むフレーム441〜443が描画されている。フレーム441〜443に記載された数値は、撮像装置200a〜200cの調整によって適宜修正されてもよい。数値化された優先度は、例えば、撮像装置200の要素ごとの調整量や貢献度であってもよい。また、端末装置100は、最も高い優先度を示す要素における数値について文字の大きさを変化させたりするなどユーザに注意を向けさせるような態様を表示させてもよい。これにより、ユーザは、調整すべき要素を定量的に把握することが可能である。
(優先度をインジケータにより表示する例)
図14は、第1の実施形態において優先度をインジケータにより表示する例を示す図である。図14を参照すると、撮像装置200a〜200cの現在設置状態を示す画像201a〜201c、および適切設置状態を示す画像202a〜202cの他に、撮像装置200の調整の要素である平行移動の要素および回転の要素における優先度をバー等により表示するインジケータを含むフレーム451〜453が描画されている。フレーム451〜453に含まれる各インジケータは、撮像装置200a〜200cの調整によって適宜修正されてもよい。インジケータにより示される優先度は、例えば、撮像装置200の要素ごとの調整量や貢献度であってもよい。また、最も高い優先度を示す要素におけるインジケータについては、バーの色を変化させたりするなど、ユーザに注意を向けさせるような態様を表示させてもよい。また、インジケータの態様は、図14に示したバーに限らず、例えば、折れ線や円であってもよい。これにより、ユーザは、調整すべき要素を直感的に把握することが可能である。
(各撮像装置の画像に重畳させて優先度を表示する例)
図15は、第1の実施形態において複数の撮像装置200によりそれぞれ撮像される撮像画像に重畳させて、それぞれの撮像装置200における調整の要素ごとの優先度を表示する例を示す図である。図15を参照すると、複数の撮像装置200により撮像される撮像画像が3×3のコマにそれぞれ配置され、各撮像装置の調整の要素ごとの優先度が数値として示されている。なお、上記のような優先度を示す数値は、図14の例で示したインジケータに置き換えられてもよい。また、各コマに記載された数値は、各撮像装置の設置状態の調整によって適宜修正されてもよい。また、図13に示したように、最も高い優先度を示す要素における数値については、文字の大きさを変化させたりするなど、ユーザに注意を向けさせるような態様を表示させてもよい。これにより、ユーザは、各撮像装置の撮像画像を確認しながら、各撮像装置を表示される優先度の数値に従って各撮像装置の設置状態を調整することが可能である。
(撮像画像の出力画面とともに指示を出力する例)
続いて、本実施形態の変形例として、調整指示特定部123により特定された調整の指示に関する情報が、通信部110によって撮像装置200に送信され、撮像装置200の出力画面とともに出力される例について説明する。図16Aおよび図16Bは、第1の実施形態において撮像装置200により撮像されるライブビュー画像の出力画面に指示を表示する変形例を示す図である。図16Aを参照すると、現在設置状態にある撮像装置200により撮像されるライブビュー画像501に、撮像装置200に関する調整指示を示す矢印461a、および調整指示を支援するテキスト461bが重畳されている。矢印461aおよびテキスト461bは、撮像装置200と端末装置100との通信より端末装置100から取得され得る。矢印461aは、最も高い優先度を示す調整の要素を調整するための指示を示す矢印であり得る。矢印461aは撮像装置200を移動または回転させる方向を指示している。テキスト461bには「右へ動かしてください」と記載されているように、矢印461aの指示を補強するテキストが記載され得る。これにより、ユーザは、撮像装置200が撮像するライブビュー画像501を見ながら撮像装置200の設置状態を調整することができる。
ユーザが矢印461aの示す指示に従って撮像装置200を調整し、調整が確定すると、端末装置100は、次に優先度が高い要素についての指示を提示してもよい。図16Bを参照すると、端末装置100は、撮像装置200の調整指示を再度特定する処理を行った結果として、次に優先度が高い要素の調整を示す矢印462aおよびテキスト462bを表示させる。矢印462aはy軸周りの回転(ピッチ)を示している。テキスト462bには「上方向に回転してください」と記載されているように、矢印462aの指示を補強するテキストが記載され得る。これにより、ユーザは、撮像装置200の設置状態の調整を、撮像装置200が撮像するライブビュー画像501を見ながら優先度の高い順に従って調整することが可能である。
(撮像装置のLEDによって指示を出力する例)
図17は、第1の実施形態において撮像装置200のLED251に調整指示を出力する例を示す図である。図17を参照すると、撮像装置200を構成する筐体の各面にLED251a〜251fがそれぞれ配設され得る。なお、撮像装置200に配設されるLEDの数は限定されない。図17に示した例においては、略直方体の筐体の各面に、1つずつLED251a〜251fが配設されている。この場合、1面あたりに配設されるLEDの数は限定されない。ユーザが撮像装置200のある要素について調整している場合、端末装置100は、上記要素に係る調整量分の調整が完了した場合の撮像装置200の仮想設置状態への近接の程度に応じて、撮像装置200のLEDの表示の態様を変化させてもよい。例えば、LED251は、調整が必要とされている方向と、調整がどの程度残っているかを表示してもよい。より具体的には、例えば、撮像装置200を図中の右方向に平行移動させる調整が必要な場合、LED251aが所定の色で点灯してもよい。また、図中の左右方向の軸周りの回転(ピッチ)による調整が必要な場合は、端末装置100はLED251aおよびLED251cを平行移動の場合とは異なる色に点灯させてもよい。ユーザが回転の調整を実行し、撮像装置200の回転角度が適切設置状態に近づいた場合にはLED251a,251cが点滅し、さらに回転角度が適切設置状態に近づくにつれてLED251aの点滅速度を大きくなってもよい。なお、点灯や点滅の色は、任意に設定されうる。これにより、ユーザは、撮像装置200のLEDの表示に従って撮像装置200の設置状態を直感的に調整することが可能である。
(その他の出力例)
なお、上記のような出力例の他に、端末装置100は、音声により調整指示をユーザに提示してもよい。例えば、端末装置100は、最も高い優先度を示す調整の要素を示す指示を音声により、どの要素についてどの程度調整すればよいかをユーザに音声により提示してもよい。これにより、ユーザは、端末装置100のディスプレイを視認しなくても指示を認識することができる。なお、指示に係る音声は撮像装置200から出力されてもよい。これにより、ユーザは、調整中の撮像装置200から音声をよりはっきりと認識できる。また、端末装置100は、撮像装置200以外の外部装置に調整指示特定部123により特定される指示を出力させることにより、指示をユーザに提示してもよい。例えば、端末装置100は、上記指示を外部のディスプレイ等の出力装置を介して表示させてもよい。
<2.第2の実施形態>
図1に示した第1の実施形態に係る情報処理システム10では、端末装置100が、複数の撮像装置200の設置状態の調整に関する指示を特定するが、本技術はかかる例に限定されない。例えば、情報処理システム10は、端末装置100、および撮像装置200に加えて、サーバ300をさらに含む構成であってもよい。以下、第2の実施形態に係る情報処理システム20の構成について説明する。なお、システム構成以外について、本実施形態は上記の第1の実施形態と同様であるため、重複した詳細な説明は省略する。
図18は、第2の実施形態に係る情報処理システム10の概略的な構成例を示す図である。図18を参照すると、第2の実施形態に係る情報処理システム10は、端末装置100、撮像装置200、およびサーバ300を含み得る。サーバ300は、ネットワーク上の一または複数の情報処理装置によって構成される。サーバ300を構成する情報処理装置は、処理回路と、通信装置を含み得る。例えば、サーバ300は、通信装置を用いて端末装置100から受信した撮像装置200の撮像画像や現在の設置状態に関する情報等について、処理回路によって撮像装置200の設置状態に関する処理を実行し、処理結果を通信装置によって端末装置100に送信してもよい。この場合、処理結果を受信した端末装置100は、上記処理結果を出力装置を介して出力してもよいし、また、上記処理結果を撮像装置200へ転送してもよい。
本実施形態に係るサーバ300は、例えば、第1の実施形態に係る端末装置100の制御部120が有する調整要素算出部121、優先度決定部122、調整指示特定部123、および出力制御部124を有してもよい。これにより、例えば、端末装置100は、撮像装置200から受信した撮像画像や現在設置状態等の情報をサーバ300へ送信してもよい。このとき、サーバ300は、撮像画像や現在設置状態等の情報について撮像装置200の設置状態に関する処理を実行し、処理結果を端末装置100において出力してもよい。また、端末装置100が撮像するライブビュー画像をサーバ300が取得し、サーバ300は、ライブビュー画像を上記処理結果と重畳させ、端末装置100において出力してもよい。つまりサーバ300は調整指示の特定に関する処理を行い、端末装置100は、サーバ300の処理に関するインタフェースとしての役割を果たし得る。
<3.第3の実施形態>
撮像装置200がサーバ300と直接的に通信可能である場合には、情報処理システム10は、撮像装置200およびサーバ300だけを含む構成であってもよい。図19は、第3の実施形態に係る情報処理システム30の概略的な構成例を示す図である。図19を参照すると、第3の実施形態に係る情報処理システム30は、撮像装置200、およびサーバ300を含み得る。かかる構成においては、撮像装置200は、通信装置を用いて撮像装置200の撮像画像や現在の設置状態に関する情報等をサーバ300に送信し、サーバ300から取得した処理結果を出力装置を介して出力してもよい。図19に示した例では、撮像装置200a、200bを撮像している撮像装置200cの出力装置に処理結果が出力される。つまり、撮像装置200cは、第2の実施形態における端末装置100の役割を果たし得る。なお、システム構成以外について、本実施形態は上記の第1の実施形態と同様であるため、重複した詳細な説明は省略する。
また、本実施形態では、撮像装置200に関する処理を、サーバ300ではなく、撮像装置200自身が行ってもよい。この場合、情報処理システム10は撮像装置200だけを含んでもよい。
<4.ハードウェア構成例>
次に、図20を参照して、本開示の実施形態に係る情報処理装置900のハードウェア構成について説明する。図20は、本開示の一実施形態に係る情報処理装置900のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における端末装置、撮像装置およびサーバを実現し得る。
情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インタフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、センサ935、およびLED937を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の颯太に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的にまたは聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、OELD(Organic Electro−Luminescence Display)などの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、SSD(Solid State Drive)などの半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、または動画を撮像するものであってもよい。
センサ935は、例えば、GPS(Grobal Positioning System)センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の位置や姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。
LED937は、発光素子の一例である。例えば、LED937は、赤色や青色、白色などの所定の色は発光する半導体素子であってもよい。また、LED937は、複数の色を発光することが可能な半導体素子であってもよい。LED937の点灯や点滅などの発光パターンは、CPU901により制御される。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されてもよいし、各構成要素の機能に特化したハードウェアにより構成されてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
<5.まとめ>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、情報処理装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアに、上述した調整指示特定部等を備える情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
複数の撮像装置の現在設置状態を前記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って前記要素を抽出または配列することにより前記調整に関する指示を特定する調整指示特定部を備える、情報処理装置。
(2)
前記調整に関して前記要素ごとに算出されるパラメータに基づき前記優先度を決定する優先度決定部をさらに備える、前記(1)に記載の情報処理装置。
(3)
前記パラメータは、前記要素ごとの調整量を含む、前記(2)に記載の情報処理装置。
(4)
前記調整量は、前記複数の撮像装置に含まれる少なくとも1つの撮像装置の姿勢または位置の前記調整における変化量を含む、前記(3)に記載の情報処理装置。
(5)
前記パラメータは、前記複数の撮像装置が撮像する画像を統合した統合画像の画質に対する前記要素ごとの貢献度を含む、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記貢献度は、前記要素を含まずに前記調整が実行された場合に前記複数の撮像装置が撮像する画像が補正されることによって生じる前記統合画像の画質の低下の程度に基づき算出される、前記(5)に記載の情報処理装置。
(7)
前記優先度決定部は、前記現在設置状態において前記複数の撮像装置によって撮像されている画像を統合のために補正し、前記補正された画像に生じた画質の低下の程度から前記貢献度を算出する、前記(6)に記載の情報処理装置。
(8)
前記調整指示特定部は、前記要素のうち最も高い前記優先度を有する要素を抽出することにより前記指示を特定する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記要素は、前記複数の撮像装置のそれぞれの位置または姿勢の調整を含み、
前記調整指示特定部は、前記複数の撮像装置に含まれる少なくとも1つの撮像装置の位置または姿勢の調整を抽出することにより前記指示を特定する、前記(8)に記載の情報処理装置。
(10)
前記調整指示特定部は、前記要素を前記優先度が高い順に配列することにより前記指示を特定する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(11)
前記要素は、空間座標系における各座標軸の向きに分解された平行移動成分を含む、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記要素は、空間座標系における各座標軸の向きに分解された回転成分を含む、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記優先度に応じて前記指示を出力する制御を行う出力制御部をさらに備える、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記出力制御部は、前記要素に対応する前記指示の部分を前記優先度に応じて異なる態様で出力する制御を行う、前記(13)に記載の情報処理装置。
(15)
前記出力制御部は、前記指示を示す表示を、前記撮像装置の撮像するライブビュー画像とともに出力する制御を行う、前記(13)または(14)に記載の情報処理装置。
(16)
前記出力制御部は、前記指示に従って調整が実行されるときに、前記指示の示す少なくとも1つの前記要素の調整量により特定される前記撮像装置の仮想設置状態への前記撮像装置の近接の程度に応じて前記指示の態様を変化させて出力する制御を行う、前記(13)〜(15)のいずれか1項に記載の情報処理装置。
(17)
プロセッサが、複数の撮像装置の現在設置状態を前記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って前記要素を抽出または配列することにより前記調整に関する指示を特定することを含む、情報処理方法。
(18)
コンピュータを、
複数の撮像装置の現在設置状態を前記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って前記要素を抽出または配列することにより前記調整に関する指示を特定する調整指示特定部として機能させるための、プログラム。
10 情報処理システム
100 端末装置
110 通信部
120 制御部
121 調整要素算出部
122 優先度決定部
123 調整指示特定部
124 出力制御部
130 撮像部
140 入力部
150 出力部
200 撮像装置
210 撮像部
220 制御部
230 通信部
240 設置状態検出部
250 出力部
251 LED
300 サーバ

Claims (18)

  1. 複数の撮像装置の現在設置状態を前記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って前記要素を抽出または配列することにより前記調整に関する指示を特定する調整指示特定部を備える、情報処理装置。
  2. 前記調整に関して前記要素ごとに算出されるパラメータに基づき前記優先度を決定する優先度決定部をさらに備える、請求項1に記載の情報処理装置。
  3. 前記パラメータは、前記要素ごとの調整量を含む、請求項2に記載の情報処理装置。
  4. 前記調整量は、前記複数の撮像装置に含まれる少なくとも1つの撮像装置の姿勢または位置の前記調整における変化量を含む、請求項3に記載の情報処理装置。
  5. 前記パラメータは、前記複数の撮像装置が撮像する画像を統合した統合画像の画質に対する前記要素ごとの貢献度を含む、請求項2に記載の情報処理装置。
  6. 前記貢献度は、前記要素を含まずに前記調整が実行された場合に前記複数の撮像装置が撮像する画像が補正されることによって生じる前記統合画像の画質の低下の程度に基づき算出される、請求項5に記載の情報処理装置。
  7. 前記優先度決定部は、前記現在設置状態において前記複数の撮像装置によって撮像されている画像を統合のために補正し、前記補正された画像に生じた画質の低下の程度から前記貢献度を算出する、請求項6に記載の情報処理装置。
  8. 前記調整指示特定部は、前記要素のうち最も高い前記優先度を有する要素を抽出することにより前記指示を特定する、請求項1に記載の情報処理装置。
  9. 前記要素は、前記複数の撮像装置のそれぞれの位置または姿勢の調整を含み、
    前記調整指示特定部は、前記複数の撮像装置に含まれる少なくとも1つの撮像装置の位置または姿勢の調整を抽出することにより前記指示を特定する、請求項8に記載の情報処理装置。
  10. 前記調整指示特定部は、前記要素を前記優先度が高い順に配列することにより前記指示を特定する、請求項1に記載の情報処理装置。
  11. 前記要素は、空間座標系における各座標軸の向きに分解された平行移動成分を含む、請求項1に記載の情報処理装置。
  12. 前記要素は、空間座標系における各座標軸の向きに分解された回転成分を含む、請求項1に記載の情報処理装置。
  13. 前記優先度に応じて前記指示を出力する制御を行う出力制御部をさらに備える、請求項1に記載の情報処理装置。
  14. 前記出力制御部は、前記要素に対応する前記指示の部分を前記優先度に応じて異なる態様で出力する制御を行う、請求項13に記載の情報処理装置。
  15. 前記出力制御部は、前記指示を示す表示を、前記撮像装置の撮像するライブビュー画像とともに出力する制御を行う、請求項13に記載の情報処理装置。
  16. 前記出力制御部は、前記指示に従って調整が実行されるときに、前記指示の示す少なくとも1つの前記要素の調整量により特定される前記撮像装置の仮想設置状態への前記撮像装置の近接の程度に応じて前記指示の態様を変化させて出力する制御を行う、請求項13に記載の情報処理装置。
  17. プロセッサが、複数の撮像装置の現在設置状態を前記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って前記要素を抽出または配列することにより前記調整に関する指示を特定することを含む、情報処理方法。
  18. コンピュータを、
    複数の撮像装置の現在設置状態を前記複数の撮像装置の適切設置状態に近づけるための調整の要素ごとの優先度に従って前記要素を抽出または配列することにより前記調整に関する指示を特定する調整指示特定部として機能させるための、プログラム。
JP2017515425A 2015-04-28 2016-03-10 情報処理装置、情報処理方法、およびプログラム Active JP6720966B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015091309 2015-04-28
JP2015091309 2015-04-28
PCT/JP2016/057653 WO2016174942A1 (ja) 2015-04-28 2016-03-10 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016174942A1 true JPWO2016174942A1 (ja) 2018-02-15
JP6720966B2 JP6720966B2 (ja) 2020-07-08

Family

ID=57198404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515425A Active JP6720966B2 (ja) 2015-04-28 2016-03-10 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10750080B2 (ja)
EP (1) EP3293960A4 (ja)
JP (1) JP6720966B2 (ja)
WO (1) WO2016174942A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10606149B2 (en) * 2016-05-25 2020-03-31 Sony Corporation Information processing device, information processing method, and program
JP7215173B2 (ja) * 2017-02-02 2023-01-31 ソニーグループ株式会社 情報処理装置、および情報処理方法
JP7223978B2 (ja) * 2018-05-23 2023-02-17 パナソニックIpマネジメント株式会社 校正装置および校正方法
US10827116B1 (en) * 2019-08-26 2020-11-03 Juan Ramon Terven Self calibration system for moving cameras

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302785A (ja) * 2008-06-11 2009-12-24 Sony Corp 情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム
JP2010063052A (ja) * 2008-09-08 2010-03-18 Sony Corp 撮影装置および方法、並びにプログラム
JP2010135983A (ja) * 2008-12-03 2010-06-17 Fujifilm Corp 撮影装置、通信端末、サーバ、撮影方法及び通信方法
US20120060077A1 (en) * 2010-09-08 2012-03-08 Nokia Corporation Method and apparatus for video synthesis
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2015012543A (ja) * 2013-07-01 2015-01-19 キヤノン株式会社 撮影システム、撮像装置及びサーバ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5275789B2 (ja) * 2008-12-26 2013-08-28 オリンパスイメージング株式会社 カメラ
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
EP2477156A1 (en) * 2010-12-23 2012-07-18 Alcatel Lucent An integrated method for camera planning and positioning
US9692966B2 (en) * 2012-06-11 2017-06-27 Sony Corporation Image capturing device and image capturing method
EP2940985A4 (en) * 2012-12-26 2016-08-17 Sony Corp IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD AND PROGRAM
JP2014142255A (ja) * 2013-01-24 2014-08-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2015095147A (ja) * 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP6034775B2 (ja) * 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
JP6750500B2 (ja) * 2014-08-27 2020-09-02 日本電気株式会社 情報処理装置および認識支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302785A (ja) * 2008-06-11 2009-12-24 Sony Corp 情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム
JP2010063052A (ja) * 2008-09-08 2010-03-18 Sony Corp 撮影装置および方法、並びにプログラム
JP2010135983A (ja) * 2008-12-03 2010-06-17 Fujifilm Corp 撮影装置、通信端末、サーバ、撮影方法及び通信方法
US20120060077A1 (en) * 2010-09-08 2012-03-08 Nokia Corporation Method and apparatus for video synthesis
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2015012543A (ja) * 2013-07-01 2015-01-19 キヤノン株式会社 撮影システム、撮像装置及びサーバ

Also Published As

Publication number Publication date
EP3293960A1 (en) 2018-03-14
JP6720966B2 (ja) 2020-07-08
WO2016174942A1 (ja) 2016-11-03
EP3293960A4 (en) 2018-12-05
US10750080B2 (en) 2020-08-18
US20180109723A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
EP3054414B1 (en) Image processing system, image generation apparatus, and image generation method
WO2018171429A1 (zh) 图像拼接方法、装置、终端及存储介质
US20180367732A1 (en) Visual cues for managing image capture
US9036943B1 (en) Cloud-based image improvement
CN109691084A (zh) 信息处理装置和方法以及程序
JP6720966B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107018316B (zh) 图像处理装置、图像处理方法以及存储介质
JPWO2016038971A1 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
US10638120B2 (en) Information processing device and information processing method for stereoscopic image calibration
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
JP5793975B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体
JP2013027021A (ja) 全方位撮像装置及び全方位撮像方法
WO2014185170A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2014185169A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014042160A (ja) 表示端末、動体検知の対象領域の設定方法及びプログラム
JPWO2016125352A1 (ja) カメラ装置、撮像システム、制御方法及びプログラム
WO2017203796A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200342833A1 (en) Head mounted display system and scene scanning method thereof
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
WO2016027527A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110503618A (zh) 图像处理方法及电子设备
JP6306822B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
JP5742305B2 (ja) 描画画像処理装置
WO2019176177A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200601

R151 Written notification of patent or utility model registration

Ref document number: 6720966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151