JP7513035B2 - 制御装置、制御方法、情報処理システム - Google Patents

制御装置、制御方法、情報処理システム Download PDF

Info

Publication number
JP7513035B2
JP7513035B2 JP2021562460A JP2021562460A JP7513035B2 JP 7513035 B2 JP7513035 B2 JP 7513035B2 JP 2021562460 A JP2021562460 A JP 2021562460A JP 2021562460 A JP2021562460 A JP 2021562460A JP 7513035 B2 JP7513035 B2 JP 7513035B2
Authority
JP
Japan
Prior art keywords
information
imaging
camera
imaging device
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021562460A
Other languages
English (en)
Other versions
JPWO2021111700A1 (ja
Inventor
直秀 山田
浩二 神谷
聡史 椿
慧 柿谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021111700A1 publication Critical patent/JPWO2021111700A1/ja
Application granted granted Critical
Publication of JP7513035B2 publication Critical patent/JP7513035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本技術は制御装置、制御方法、及び情報処理システムに関し、特には、撮像に関連する情報である撮像関連情報の出力制御に係る技術分野に関する。
例えば、スポーツ中継に用いられる放送システム等、複数のカメラ(撮像装置)による撮像画像のうちからオペレータによって選択された画像を放送用に送出したり、記録したりする放送システムがある。
この種の放送システムでは、各カメラの配置位置やどの方向を向いているか等、カメラの状態を示す情報をオペレータに表示するということが考えられる。このような表示を行うことで、オペレータによる各カメラの状態把握を容易化でき、どのカメラの撮像画像を選択すべきかを直感的に理解させることが可能となる。
なお、関連する従来技術については下記特許文献1を挙げることができる。
特開平9-289606号公報
ここで、上記のように各カメラの位置やどの方向を向いているか等のカメラの状態情報を表示するにあたっては、カメラ側から位置や向きを示す情報を例えば撮像画像のメタデータ等として出力させる構成とすることが考えられる。すなわち、撮像に関する情報としての撮像関連情報をカメラ側から出力させる構成である。
このとき、撮像関連情報の出力については、その頻度やどのような種類の情報を出力するか等といった出力態様の最適化が図られるべきである。
本技術に係る制御装置は、撮像装置の使用態様を判定する判定部と、前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備えるものである。
撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置の位置(撮像視点の位置に相当する)を示す情報、焦点距離の情報、撮像方向を示す情報(例えば、三脚上で使用されている場合のパン方向又はチルト方向の向きを示す情報や、方位センサによる方位情報等)、撮像装置に作用する加速度や角速度等の撮像装置の動きを示す情報、撮像装置の移動速度の情報、等を挙げることができる。また、撮像装置の使用態様の例としては、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラ等の使用態様を挙げることができる。上記のように撮像装置の使用態様に基づいて撮像関連情報の出力制御を行うことで、例えば、移動が行われない固定カメラの場合には、カメラの位置情報としての撮像関連情報を出力せず、移動が想定されるハンディカメラの場合にはカメラの位置情報としての撮像関連情報を出力する等、カメラの使用態様に応じて、不要とされる情報を出力しないように制御することが可能となる。或いは、カメラの使用態様に応じて、出力する撮像関連情報の種類を変化させるといったことも可能となる。
上記した本技術に係る制御装置においては、前記判定部は、前記使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う構成とすることが可能である。
例えば、撮像関連情報として撮像装置の位置情報を出力する場合において、固定カメラは、位置が固定であるため、基本的には位置情報の出力は不要であるのに対し、ハンディカメラは、カメラマンが持って移動している可能性が高くその位置の確認は高頻度で行われるべきであって位置情報の出力頻度を高めることが要請される。このように固定カメラとハンディカメラとでは、特定の撮像関連情報について、その出力態様を変化させるべき場合がある。
上記した本技術に係る制御装置においては、前記判定部は、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定する構成とすることが可能である。
これにより、位置が非固定のカメラの使用態様として、ハンディカメラ、移動装置に搭載されたカメラの何れであるかが判定される。
上記した本技術に係る制御装置においては、前記制御部は、前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像関連情報の出力頻度を低下させる構成とすることが可能である。
例えば、固定カメラの場合には位置情報の出力を不要とすることが可能である等、固定カメラについては、撮像関連情報の出力頻度を低下させても、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
上記した本技術に係る制御装置においては、前記制御部は、前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする構成とすることが可能である。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように撮像関連情報を頻繁に出力せずとも、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
上記した本技術に係る制御装置においては、前記判定部は、センサの検出情報に基づいて前記使用態様を判定する構成とすることが可能である。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサや撮像装置の位置を検出する位置センサ等の検出情報に基づいてカメラの使用態様を判定する。
上記した本技術に係る制御装置においては、前記判定部は、前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する構成とすることが可能である。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定する。これにより、例えば手ブレによるカメラの動き等、ハンディカメラに特有の動きの特徴を検出可能となる。
上記した本技術に係る制御装置においては、前記判定部は、前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する構成とすることが可能である。
これにより、カメラ位置の変化態様に基づいた使用態様の判定を行うことが可能となる。
上記した本技術に係る制御装置においては、前記撮像関連情報は前記撮像装置の位置情報を含む構成とすることが可能である。
これにより、撮像関連情報として位置情報を出力することが可能とされ、撮像関連情報を用いるアプリケーションとして、オペレータ等のユーザにカメラ位置を例えばマップ上等で示すアプリケーションを実現可能となる。
上記した本技術に係る制御装置においては、前記制御部は、前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる構成とすることが可能である。
これにより、カメラの使用態様に応じた適切な種類の撮像関連情報を出力することが可能となる。
上記した本技術に係る制御装置においては、前記判定部は、前記使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、前記制御部は、前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う構成とすることが可能である。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
上記した本技術に係る制御装置においては、前記制御部は、前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う構成とすることが可能である。
パン情報とは、撮像装置のパン方向の角度情報を意味する。上記構成によれば、パン情報を取得不能な場合には、パン情報の代替情報としての方位情報が出力される。
上記した本技術に係る制御装置においては、前記判定部は、前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う構成とすることが可能である。
これにより、固定カメラであるか否かの判定にあたって撮像装置の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
上記した本技術に係る制御装置においては、前記判定部は、前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する構成とすることが可能である。
これにより、使用態様の判定にあたって撮像装置の動き情報や位置情報を取得したり、動き情報や位置情報についての解析処理を行う必要がなくなる。
本技術に係る制御方法は、撮像装置の使用態様を判定し、判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御方法である。
このような制御方法によっても、上記した本技術に係る制御装置と同様の作用が得られる。
本技術に係る情報処理システムは、撮像装置の使用態様を判定する判定部と、前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備えるものである。
このような情報処理システムによっても、上記した本技術に係る制御装置と同様の作用が得られる。
また、上記した本技術に係る情報処理システムにおいては、前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、前記表示処理部は、前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う構成とすることが可能である。
移動後に停止した撮像装置は、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了した撮像装置であると推定できる。
本技術に係る実施形態としての情報処理システムの構成例を示したブロック図である。 実施形態における撮像装置の内部構成例を示したブロック図である。 実施形態における固定装置の説明図である。 実施形態における情報処理装置の内部構成例を示したブロックである。 実施形態における撮像状態マップの説明図である。 撮像関連情報の出力頻度の例を説明するための図である。 実施形態としての撮像関連情報の出力制御を実現するための具体的な処理手順を例示したフローチャートである。 固定カメラか否かの判定を固定装置に対する接続判定により行う場合の処理手順を例示したフローチャートである。 移動後に停止したハンディカメラの通知表示を実現するために撮像装置側で実行すべき具体的な処理手順を例示したフローチャートである。 ハンディカメラが移動後に停止したか否かの判定を情報処理装置側で行う場合の具体的な処理手順を例示したフローチャートである。 実施形態としての情報処理システムの変形例としての構成を例示したブロック図である。
以下、本技術に係る実施形態を次の順序で説明する。
<1.情報処理システムの構成>
[1-1.システム全体構成]
[1-2.撮像装置の構成]
[1-3.情報処理装置の構成]
<2.実施形態としての処理>
[2-1.撮像関連情報の出力制御]
[2-2.通知表示]
<3.変形例>
<4.実施形態のまとめ>
<5.本技術>
<1.情報処理システムの構成>
[1-1.システム全体構成]

図1は、実施形態としての情報処理システム100の構成例を示したブロック図である。
実施形態の情報処理システム100は、複数のカメラ(撮像装置)による撮像画像のうちからオペレータによって選択された画像を放送用に送出する機能を有した、放送システムとして構成されている。
図示のように情報処理システム100は、複数の撮像装置1と、収録機2、スイッチャ3、送出機4、情報処理装置5、操作卓6、及びマルチモニタ7を備えている。これら構成要素のうち、撮像装置1は、本技術に係る制御装置の一実施形態であり、情報処理装置5は、本技術に係る情報処理装置の一実施形態である。
撮像装置1は、被写体を撮像した撮像画像を得ると共に、撮像画像と撮像関連情報とを収録機2に出力する。
ここで、撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置1の位置(撮像視点の位置に相当する)を示す情報、焦点距離の情報、撮像方向を示す情報(例えば、三脚上で使用されている場合のパン方向又はチルト方向の向きを示す情報や、方位センサによる方位情報等)、撮像装置1に作用する加速度や角速度等の撮像装置1の動きを示す情報、撮像装置1の移動速度の情報、等を挙げることができる。なお、撮像装置1の位置を示す情報としては、例えば緯度及び経度による水平方向の位置情報に限らず、高度による垂直方向の位置情報を含む場合がある。
撮像関連情報は、上記のように撮像に関連する情報であって、撮像によって得られる撮像画像自体は撮像関連情報に含まれない。
本例において、撮像装置1は、撮像画像を動画像データの形式で出力する。また、本例における撮像装置1は、撮像関連情報を撮像画像のメタデータとして付加して出力する。
収録機2は、例えばHDD(Hard Disk Drive)やフラッシュメモリ装置等の記憶デバイスを備えて構成され、各撮像装置1から出力された動画像データとしての撮像画像(本例では撮像関連情報が付加されている)を収録すると共に、スイッチャ3に出力する。また、収録機2は、操作入力に基づき、収録した動画像データとしての撮像画像に対しリプレイなどの映像効果を付加してスイッチャ3に出力することが可能とされる。
スイッチャ3は、情報処理装置5からの指示に基づき、収録機2を介して入力される各撮像装置1からの撮像画像のうちから送出機4に出力すべき撮像画像を選択する。
送出機4は、スイッチャ3により選択された撮像画像を放送として送出する。
情報処理装置5には、収録機2から出力された撮像画像がスイッチャ3を介して入力される。
情報処理装置5には、オペレータとしてのユーザが操作に用いる各種操作子が設けられた操作卓6と、マルチモニタ7としての表示装置とが接続されており、情報処理装置5は、スイッチャ3に入力されている各撮像画像をマルチモニタ7に表示させると共に、操作卓6を介したユーザの操作入力に基づいて、スイッチャ3に対し、送出機4に出力すべき撮像画像の指示を行う。
なお、マルチモニタ7は単一の表示装置とされもよいし、撮像画像を個別に表示する複数の表示装置で構成されてもよい。
[1-2.撮像装置の構成]

図2は、撮像装置1の内部構成例を示したブロック図である。
図示のように撮像装置1は、撮像部11、画像処理部12、制御部13、動き検出部14、位置検出部15、方位検出部16、通信部17、及びバス18を備えている。
撮像部11は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズやシャッタ、絞り機構等を有する光学系と、該光学系を介して入射する被写体からの光を受光する例えばCMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型等の撮像素子とを備えている。
撮像部11では、撮像素子で受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号(以下「撮像画像データ」とも表記する)を、後段の画像処理部12に出力する。
画像処理部12は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成され、撮像部11からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えば、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Y/C変換処理、AE(Auto Exposure)処理等の信号処理を施す。
制御部13は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)を有するマイクロコンピュータを備えて構成され、例えば上記ROMに格納されたプログラムに従った処理を実行することで撮像装置1の全体制御を行う。
制御部13は、撮像部11、画像処理部12、及び通信部17とバス18を介して接続されており、これらの各部とバス18を介して相互のデータ通信を行うことが可能とされている。
制御部13には、動き検出部14、位置検出部15、方位検出部16が接続されている。 動き検出部14は、撮像装置1に作用する加速度や角速度等の撮像装置1の動きを示す情報を検出する。本例における動き検出部14は、撮像装置1の動きを検出するためのセンサとして加速度センサ、及びジャイロセンサを備えている。
位置検出部15は、撮像装置1の現在位置を検出し、本例ではGNSS(Global Navigation Satellite System)センサを備えている。なお、現在位置の検出手法は衛星を用いた手法に限定されるものではない。
方位検出部16は、撮像装置1が向く方位を検出するものであり、本例では方位センサ(地磁気センサ)を備える。
通信部17は、外部装置との間でデータ通信を行う。本例の通信部17は、有線接続された収録機2との間でデータ通信を行うように構成されるが、通信部17は、外部装置との間で無線通信を行うことが可能に構成されてもよい。
制御部13は、上記した動き検出部14、位置検出部15、及び方位検出部16による検出情報を撮像関連情報として取得する。
また、本例の制御部13は、撮像部11より光学系の焦点距離の情報を撮像関連情報として取得する。
制御部13は、取得した撮像関連情報を、画像処理部12の処理を介して得られた撮像画像データ(動画像データ)のメタデータとして付加し、撮像画像データと共に通信部17を介して収録機2に出力する処理を行う。
ここで、撮像装置1は、図3に示すように三脚装置10に取り付けられて(接続されて)使用される場合がある。三脚装置10は、パン方向、及びチルト方向の角度調整(回転角度調整)が可能に構成されている。
三脚装置10には、パン方向の角度、チルト方向の角度をそれぞれ検出するパン・チルトセンサが備えられたものがある。このパン・チルトセンサは、取り付けられた撮像装置1のパン方向、及びチルト方向の向きを検出するセンサと換言できる。
なお、三脚装置10は、本技術における「固定装置」の一例である。「固定装置」は、広義では撮像装置を固定する装置を意味し、狭義では、撮像装置を少なくともパン方向に回転可能に固定する装置を意味する。固定装置の構成としては、三脚未満又は四脚以上の脚を有する構成や、脚部に雲台装置が取り付けられ、該雲台装置上に撮像装置が取り付けられる構成も有り得る。
撮像装置1がパン・チルトセンサを備える三脚装置10に取り付けられた場合、制御部13は、パン・チルトセンサによる検出情報、すなわち撮像装置1のパン方向の向きを示すパン情報、及びチルト方向の向きを示すチルト情報(以下、これらを纏めて「パン・チルト情報」と表記する)を撮像関連情報として取得する。
制御部13は、このように三脚装置10から取得したパン・チルト情報としての撮像関連情報についても、撮像画像データのメタデータとして、通信部17を介して収録機2に出力する処理を行う。
[1-3.情報処理装置の構成]

図4は、情報処理装置5の内部構成例を説明するためのブロック図である。なお、図4では情報処理装置5の内部構成例と共に図1に示した操作卓6、及びマルチモニタ7も併せて示している。
図示のように情報処理装置5は、CPU21、ROM22、RAM23、バス24、入出力インタフェース25、表示制御部26、記憶部27、通信部28を備えている。
CPU21、ROM22、及びRAM23は、バス24を介して相互に接続されている。バス24には、入出力インタフェース25も接続されている。CPU21は、ROM22に記憶されているプログラム、又は記憶部27からRAM23にロードされたプログラムに従って各種の処理を実行する。RAM23にはまた、CPU21が各種の処理を実行する上において必要なデータ等も適宜記憶される。
入出力インタフェース25には、図1に示した操作卓6や、表示制御部26、記憶部27、及び通信部28が接続されている。
操作卓6からの操作入力情報は、入出力インタフェース25を介してCPU21に供給される。
表示制御部26は、CPU21からの指示に基づきマルチモニタ7の表示制御を行う。
記憶部27は、HDDやフラッシュメモリ装置等により構成された記憶デバイスである。
通信部28は、スイッチャ3との間でデータ通信を行うための通信デバイスである。
CPU21は、表示制御部26に対する指示を行って、スイッチャ3から通信部28を介して入力される各撮像画像をマルチモニタ7に表示させる。
また、CPU21は、表示制御部26に対する指示により、マルチモニタ7に撮像画像以外の情報表示を実行させることもできる。
本例のCPU21は、図5に示すように各撮像装置1による撮像状態をマップ上に示した撮像状態マップをマルチモニタ7に表示させる。
図5に示す撮像状態マップは、スポーツ中継、具体的には自動車のレース競技の中継に用いられる撮像状態マップを例示しており、自動車の走行コース(例えば、サーキットのコース)を表すマップ上に、撮像対象とするオブジェクトObのアイコンと、各撮像装置1の位置及び向きを示すカメラアイコンCと、各撮像装置1の撮像範囲Riを示すアイコンとが表示されている。撮像範囲Riのアイコンは、その長さによって焦点距離の長さを表すようにされている。
CPU21は、撮像画像データにメタデータとして付加された撮像関連情報に基づいて、このような撮像状態マップの生成及び表示指示を行う。具体的に、CPU21は、撮像関連情報に含まれる撮像装置1の位置情報、及び撮像装置1の向きを示す情報(方位情報又はパン・チルト情報)に基づいて各カメラアイコンCのマップ上の位置や向きを決定し、撮像関連情報に含まれる撮像装置1の焦点距離の情報に基づいて各撮像範囲Riのアイコンの長さを決定して、図5に例示したような撮像状態マップとしての画像の生成処理を行い、生成した画像をマルチモニタ7に表示させる処理(表示制御部26に対する表示指示)を行う。
図5に示す撮像状態マップのようなカメラの位置や向き、焦点距離等の撮像状態を表す画像の表示を行うことで、どのカメラの撮像画像を選択すべきかをオペレータとしてのユーザに直感的に理解させることができ、撮像画像の選択に係る作業負担の軽減を図ることができる。
また、カメラアイコンCや撮像範囲Riのアイコンと共にオブジェクトObのアイコンを表示することで、撮像対象とする被写体を捉えているカメラとそうでないカメラの識別を容易化できると共に、これから撮像対象とする被写体を捉えるであろうカメラの予測を容易化することができ、どのカメラの撮像画像を選択すべきかの判断がより容易となるようにすることができる。
<2.実施形態としての処理>
[2-1.撮像関連情報の出力制御]

ここで、上記のような撮像状態マップの表示を行う上では、撮像関連情報を撮像装置1側から常時送信することも考えられるが、その場合には、通信データ量が膨大となり、また撮像関連情報を記憶するためのメモリ容量の増大化を招くことになる。
このため、本実施形態では、撮像装置1の使用態様を判定し、判定した使用態様に基づいて撮像関連情報の出力制御を行う。
具体的に、本例では、撮像装置1の使用態様の判定として、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかの判定を行う。ここで、ハンディカメラとは、カメラマンの肩と手、或いは手のみにより支持される等、カメラマンによって支持された状態の撮像装置1を意味する。また、固定カメラとは、例えば三脚等の固定具に取り付けられる等して位置が固定とされた状態の撮像装置1を意味する。特に本例では、三脚装置10に取り付けられた撮像装置1を意味する。
また、移動装置とは、撮像装置1を搭載して移動可能な装置を意味する。例えば、車両、レール上を移動する台、ドローン等の飛行可能な装置等を挙げることができる。
ここで、固定カメラであれば、放送中に位置を変化させることは無いので、位置情報については、初回に一度だけ出力すれば十分であると言える。或いは、配置位置が既知であれば、固定カメラについて位置情報を出力することは不要となる。これに対し、ハンディカメラについては、カメラマンが持って歩き回ることが通常であるため、位置情報を頻繁に出力することが望ましい。
このため、本例では、固定カメラと判定された場合は、ハンディカメラと判定された場合よりも位置情報の出力頻度を低下させる。これにより、撮像関連情報を用いるアプリケーション側の機能、具体的に本例では撮像状態マップによるカメラ位置の表示機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
また、本例では、移動装置に搭載されたカメラと判定された場合は、位置情報の出力頻度を、固定カメラと判定された場合よりも高くハンディカメラと判定された場合よりも低くする。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように位置情報を頻繁に出力せずとも、アプリケーション側の機能が損なわれない場合がある。
従って、上記のような出力頻度の制御を行うことで、アプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
本例では、移動装置に搭載されたカメラと判定された場合は、撮像関連情報として撮像装置1の速度情報を出力する。なお、撮像装置1の速度情報は、位置検出部15で検出される位置の時間微分、又は動き検出部14で検出される加速度の時間積分により求めることができる。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
従って、移動装置に搭載されたカメラについて、位置情報の出力頻度を低くした場合にアプリケーション側でカメラ位置の推定精度が低下することの抑制を図ることができ、アプリケーションの機能が損なわれることの防止を図ることができる。
図6は、撮像関連情報の出力頻度の例を説明するための図である。
本例では、撮像関連情報は、撮像画像データのフレームごとに付加可能なメタデータとして出力される。
位置情報(図中「Position」)について、固定カメラの場合には、最初のフレーム(図中「Fr0」)で出力(「P0」)した以降は、出力しない。移動装置に搭載されたカメラの場合(図中「移動」)には、位置情報は、複数フレームに1度の頻度(図中では3フレームに1度の頻度)で出力し、ハンディカメラの場合には、位置情報は毎フレーム出力する。
本例では、固定カメラの場合におけるパン・チルト情報(図中「PTx」)は、毎フレーム出力する。
ここで、三脚装置10としては、パン・チルトセンサを備えないものもある。本例では、三脚装置10からパン・チルト情報を取得可能でない場合には、パン・チルト情報に代えて、方位検出部16が検出する方位情報を出力する(この点は後述する)。
また、移動装置に搭載されたカメラについて、本例では、速度情報は、位置情報と同じ頻度で出力する。なお、これはあくまで一例であり、速度情報を位置情報と同じ頻度で出力することは必須ではない。
ハンディカメラの場合、方位情報(図中「Cx」)は、位置情報と同じ頻度で出力する。なお、この点も必須ではなく、位置情報と方位情報を異なる頻度で出力することもできる。
位置情報、パン・チルト情報、速度情報、方位情報については、それぞれ最新に取得された値を出力する。
なお、前述のように本例では、撮像関連情報として焦点距離の情報も出力する。本例では、焦点距離の情報については撮像装置1の使用態様に拘わらず毎フレーム出力することから、図6では図示を省略した。
図中では、ジャイロセンサによる検出値を例示している(図中「Gx」)が、後述するように本例では、ハンディカメラであるか否かの判定に、ジャイロセンサによる検出値が用いられる。
ここで、図6に例示されるように、本例では撮像関連情報を撮像画像のメタデータとして出力するものとしているが、これにより、後段処理において撮像画像とメタデータとの時間同期を行う必要がなくなり、よりリアルタイムにオペレータに判断を促すことが可能となる。
図7は、上記により説明した実施形態としての撮像関連情報の出力制御を実現するための具体的な処理手順を例示したフローチャートである。この図7に示す処理は、撮像装置1における制御部13が、撮像画像のフレーム周期で繰り返し実行する。
なお、固定カメラについては、配置位置が既知であることが殆どであり、情報処理装置5には該既知の配置位置を示す位置情報を固定カメラの位置情報として設定すれば、上述のように最初のフレームに位置情報を付加する必要はない。このため、図7(及び後述する図8も含む)では、固定カメラの場合に位置情報を一切出力しない場合の処理を例示する。
また、本例では、焦点距離の情報は前述のように撮像装置1の使用態様に拘わらず毎フレーム出力すればよいため、図7(及び図8)では、焦点距離の出力に係る処理については図示を省略している。
先ず、制御部13はステップS101の位置情報取得処理として、位置検出部15が検出した位置情報を取得する処理を行い、続くステップS102の動き情報取得処理として、動き検出部14における加速度センサ、ジャイロセンサが検出する加速度、角速度を取得する処理を行う。
そして、制御部13は続くステップS103で、動き情報の解析処理を行う。具体的には、フーリエ変換等を用いて加速度、角速度についての波形分析を行うことにより、揺れ幅や揺れの周期を解析する。
ステップS103に続くステップS104で制御部13は、ステップS103での解析結果に基づき、ハンディカメラか否かの判定を行う。なお、ハンディカメラか否の判定にあたっては、少なくとも加速度、角速度の何れか一方の波形分析を行えばよい。
ステップS104において、ハンディカメラであると判定した場合、制御部13はステップS105に進んで方位情報を取得する処理、すなわち、方位検出部16が検出した方位情報を取得する処理を行い、続くステップS106で位置情報及び方位情報を出力する処理を行って、図7に示す一連の処理を終える。
このような処理により、ハンディカメラの場合には、位置情報と方位情報が毎フレーム出力される。
一方、ステップS104においてハンディカメラではないと判定した場合、制御部13はステップS107に進んで、移動量が所定量以上か否かを判定する。すなわち、位置検出部15により取得した位置情報として、最新に取得した位置情報とそれよりも前に取得した位置情報(例えば最新の一つ前の位置情報)とから求めた移動量が所定量以上であるか否かを判定する。移動量が所定量未満であれば固定カメラと判定でき、移動量が所定量以上あれば移動装置に搭載されたカメラと判定できる。
移動量が所定量以上でないと判定した場合、制御部13はステップS108に処理を進めて固定カメラの場合に対応した処理を実行する。
先ず、ステップS108で制御部13は、パン・チルト情報を取得可能か否かを判定する。例えば、三脚装置10からのパン・チルト情報を示す信号入力があるか否かを判定する。或いは、全ての三脚装置10がパン・チルトセンサを備えていることが保証されているシステムにおいて、三脚装置10に取り付けられた状態であるか否かを検知するためのスイッチがある場合には、該スイッチのオン/オフ状態に基づいてパン・チルト情報を取得可能か否かを判定することもできる。
ステップS108において、パン・チルト情報を取得可能と判定した場合、制御部13はステップS109に進んで三脚装置10よりパン・チルト情報を取得した上で、ステップS110でパン・チルト情報を出力する処理を行い、図7に示す一連の処理を終える。
一方、パン・チルト情報を取得可能でないと判定した場合、制御部13はステップS111に進んで方位検出部16より方位情報を取得した上で、ステップS112で方位情報を出力する処理を行い、図7に示す一連の処理を終える。
このように固定カメラであると判定された場合には、パン・チルト情報を取得可能であればパン・チルト情報が毎フレーム出力され、パン・チルト情報を取得不能であれば、方位情報が毎フレーム出力される。
また、先のステップS107で移動量が所定量以上であると判定した場合、制御部13はステップS113に進み、前回の情報出力から一定時間以上経過しているか否かを判定する。例えば、図6で例示したように移動装置に搭載されたカメラについて3フレームごとの情報出力を行う場合には、前回の情報出力から2フレーム分以上の時間が経過したか否かを判定する。
前回の情報出力から一定時間以上経過していなければ、制御部13は図7に示す一連の処理を終える。
一方、前回の情報出力から一定時間以上経過していれば、制御部13はステップS114に進んで速度情報を取得した上で、ステップS115で位置情報及び速度情報を出力する処理を行い、図7に示す一連の処理を終える。
このように移動装置に搭載されたカメラについては、複数フレームに1度の頻度で位置情報及び速度情報が出力される。
なお、搭載しているジャイロ等のセンサによって、個々にばらつきがあることが考えられるが、そのようなばらつきを示す値をカメラ内で予め保持しておくことで、現場でのキャリブレーション等の煩雑な操作を省くことができる。内臓センサでなくても、個々のセンサのキャリブレーションデータを予め保持しておけば、カメラ内でセンサ値を正確に扱うことも可能である。
上記のように制御部13は、撮像装置1がハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れに該当するかを判定しているが、この判定結果を示す情報(例えば、フラグ情報)を、撮像関連情報として撮像画像データと共に出力することも可能である。
これにより情報処理装置5側では、マルチモニタ7上にそれぞれの撮像装置1がハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れに該当するかを示す情報を表示させることができる。
なお、固定カメラか否かの判定は、三脚装置10に対する接続判定により行うこともできる。
図8のフローチャートは、その場合の処理例を示している。なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。
図8において、この場合の制御部13は、先ずステップS201で、三脚に接続されているか否かを判定する。この判定は、全ての三脚装置10がパン・チルトセンサを備えていることが保証されているシステムであれば、三脚装置10からのパン・チルト情報を示す信号入力があるか否かの判定として行うことができる。或いは、三脚装置10に取り付けられた状態であるか否かを検知するためのスイッチがある場合には、該スイッチのオン/オフ状態を判定する処理として行うこともできる。
三脚に接続されていると判定した場合、制御部13はステップS108に処理を進める。なお、ステップS108以降、ステップS112までの処理は、図7で固定カメラについての処理として説明したものと同様となるため、重複説明は避ける。
一方、三脚に接続されていないと判定した場合、制御部13はステップS101に処理を進める。ステップS101からS106の処理については、図7で説明済みであるため重複説明は避ける。
この場合は、ステップS104でハンディカメラでないと判定された場合は、移動装置に搭載されたカメラであると判定可能なため、図示のようにステップS113に処理を進める。すなわち図7で説明した、移動装置に搭載されたカメラに対応する処理を実行する。
上記のように固定カメラか否かの判定を三脚装置10に対する接続判定により行うことで、固定カメラであるか否かの判定にあたって撮像装置1の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
[2-2.通知表示]

ハンディカメラについて、移動後に停止したものは、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了したカメラであると推定できる。
そこで本実施形態では、ハンディカメラとしての撮像装置1が移動後に停止したか否かを判定し、該判定の結果に基づき、移動後に停止したと判定された撮像装置1を通知する表示処理を行う。具体的には、例えば図5に示した撮像状態マップにおいて、該当する撮像装置1についてのカメラアイコンC及び/又は撮像範囲Riのアイコンを点滅表示させたり赤色等の特定色で表示させたりする等、該当する撮像装置1を目立たせる(強調させる)ための表示処理を行う。
図9は、このような通知表示を実現するために撮像装置1の制御部13が実行すべき具体的な処理手順を例示したフローチャートである。
なお、制御部13は、図9に示す処理と並行して、図7に示した撮像関連情報の出力制御のための処理を実行しているとする。
先ず、制御部13はステップS301で、ハンディと判定中か否か、すなわち、図7に示した処理(ステップS104参照)においてハンディカメラであると判定されている状態であるか否かを判定する。ハンディと判定中でないと判定した場合、制御部13は図9に示す一連の処理を終える。すなわち、ハンディカメラと判定中でない場合には、以下で説明する移動後の停止判定のための処理は実行されない。
一方、ハンディと判定中であると判定した場合、制御部13はステップS302に進み、移動中フラグがONであるか否かを判定する。移動中フラグは、制御部13が位置検出部15により検出される位置情報に基づき生成するフラグであり、撮像装置1が移動中であるか否かを示す。具体的には、ONが移動中を、OFFが移動中でないことを示す。
移動中フラグがONでなければ、制御部13は図9に示す一連の処理を終える。
移動中フラグがONであれば、制御部13はステップS303に進んで停止したか否かを判定する。すなわち、位置検出部15により検出される位置情報に基づき、撮像装置1が停止したか否かを判定する。
撮像装置1が停止していないと判定した場合、制御部13は図9に示す一連の処理を終える。
撮像装置1が停止したと判定した場合、制御部13はステップS304に進んで強調フラグ情報を出力する。すなわち、自装置としての撮像装置1の強調表示を指示するフラグ情報を撮像画像データのメタデータとして付加し、通信部17に出力させる。
これにより、ハンディカメラと判定中の撮像装置1について、移動後に停止したことが判定された場合には、当該撮像装置1の強調表示を情報処理装置5に対し指示することができる。
ステップS304に続くステップS305で制御部13は、移動中フラグをOFFとし、その後、図9に示す一連の処理を終える。
図示は省略するが、情報処理装置5は、強調フラグ情報を受信した場合は、該強調フラグ情報の出力元の撮像装置1をマルチモニタ7上で強調表示させるための表示処理を実行する。具体的には、前述したような撮像状態マップ上での強調表示を実現するための表示処理を行う。
これにより、移動後に停止したハンディカメラとしての撮像装置1をオペレータとしてのユーザに通知することができる。
上記では、ハンディカメラが移動後に停止したか否かの判定を撮像装置1側で行う例を挙げたが、該判定は、撮像装置1が出力する撮像関連情報に基づいて、情報処理装置5側で行うこともできる。
図10は、その場合に情報処理装置5のCPU21が実行すべき具体的な処理手順を例示したフローチャートである。
先ず、CPU21はステップS401で、ハンディカメラか否かを判定する。この判定処理は、前述したようにハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れであるかの判定結果を示す情報を撮像装置1が撮像関連情報として出力する場合には、該判定結果を示す情報に基づいて行うことができる。或いは、該判定結果を示す情報が撮像関連情報として出力されない場合には、撮像装置1が撮像関連情報として動き検出部14により検出された動き情報を出力するようにし、動き情報の解析結果に基づく判定処理として行えばよい。
ハンディカメラでないと判定した場合、CPU21は図10に示す一連の処理を終える。
ハンディカメラであると判定した場合、CPU21はステップS402に進み、移動が停止したカメラか否かを判定する。この判定処理は、撮像装置1から撮像関連情報として出力される位置情報に基づいて、例えば先のステップS302及びS303で説明した手法と同様の手法により行うことができる。
移動が停止したカメラでないと判定した場合、CPU21は図10に示す一連の処理を終える。
一方、移動が停止したカメラであると判定した場合、CPU21はステップS403に進み、当該カメラの強調表示を行う。すなわち、該当する撮像装置1をマルチモニタ7上で強調表示させるための表示処理を行う。
CPU21は、ステップS403の処理を実行したことに応じ、図10に示す一連の処理を終える。
なお、上記では、撮像状態マップとしての、撮像装置1の位置や向きを示す画像上で移動後に停止したハンディカメラを強調表示することで、該ハンディカメラを通知する例を挙げたが、例えば、マルチモニタ7上に各撮像装置1からの撮像画像を同時に表示している場合には、該当するハンディカメラからの撮像画像を強調表示する(例えば、画像の縁に枠表示を行う等)こともできる。このようにした場合も、オペレータが該当するハンディカメラを把握可能である。すなわち、移動後に停止したハンディカメラを通知する表示が行われることに変わりはない。
ここで、これまでの説明では、撮像関連情報に基づく情報の表示処理を行う情報処理装置5が、各撮像装置1からの撮像画像をスイッチャ3経由で入力する例を挙げたが、図11に例示する情報処理システム100Aのように、情報処理装置5に対し各撮像装置1からの撮像画像を直接入力する構成を採ることも可能である。
<3.変形例>

ここで、上記では、撮像装置1の使用態様の判定をセンサの検出情報に基づき判定する例を挙げたが、撮像装置1の使用態様の判定は、使用態様の計画情報に基づいて判定することもできる。放送システムにおいては、撮像装置1ごとにその使用態様の計画情報が設定されることがある。そのような場合には、該計画情報に示される使用態様の情報(本例では固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの別を表す)に基づき、使用態様を判定することもできる。
なお、使用態様の判定は、計画情報とセンサ情報の双方に基づいて行うことも可能である。例えば、計画情報に基づく判定とセンサ情報に基づく判定の双方の結果が一致することを条件とした判定とすることが考えられる。
また、上記では、移動装置に搭載されたカメラについて、速度情報と共に位置情報を出力する例を挙げたが、位置情報を出力しないようにすることもできる。この場合には、ハンディカメラについては位置情報を出力するが、移動装置に搭載されたカメラについては位置情報を出力せず速度情報を出力することになる。
また、移動装置に搭載されたカメラについては、方位情報を出力してもよいし、取得可能であればパン・チルト情報を出力してもよい。
また、上記では、スイッチャ3から送出機4に出力する撮像画像の選択操作(カメラ選択操作)を操作卓6に対する操作として受け付ける場合を例示したが、マルチモニタ7が画面に対するタッチ操作を検出するタッチパネルを有するものである場合には、画面に対するタッチ操作をカメラ選択操作として受け付けるようにしてもよい。例えば、図5に示したような撮像状態マップにおけるカメラアイコンCのタッチ操作をカメラ選択操作として受け付けることが考えられる。
また、上記では、撮像装置1が撮像画像を収録機2に出力する例を挙げたが、撮像画像は、撮像装置1からCCU(Camera Control Unit)を介して収録機2に出力することもできる。そのような構成を採った場合は、撮像関連情報についても、CCUから収録機2に出力されるようにすることができるが、この場合には、CCUが撮像関連情報の出力制御を行う構成とすることもできる。すなわち、撮像関連情報の出力制御を実行する主体は、撮像装置1に限定されるものではない。
<4.実施形態のまとめ>

上記のように実施形態としての制御装置(撮像装置1)は、撮像装置の使用態様を判定する判定部(制御部13:ステップS104、S107、S201等参照)と、判定部により判定された使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御部(制御部13:図7のステップS104以降、図8のステップS108以降及びS104以降の処理を参照)と、を備えている。
前述のように撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置の位置(撮像視点の位置に相当する)を示す情報、焦点距離の情報、撮像方向を示す情報、撮像装置に作用する加速度や角速度等の撮像装置の動きを示す情報、撮像装置の移動速度の情報、等を挙げることができる。また、撮像装置の使用態様の例としては、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラ等の使用態様を挙げることができる。上記のように撮像装置の使用態様に基づいて撮像関連情報の出力制御を行うことで、例えば、移動が行われない固定カメラの場合には、カメラの位置情報としての撮像関連情報を出力せず、移動が想定されるハンディカメラの場合にはカメラの位置情報としての撮像関連情報を出力する等、カメラの使用態様に応じて、不要とされる情報を出力しないように制御することが可能となる。或いは、カメラの使用態様に応じて、出力する撮像関連情報の種類を変化させるといったことも可能となる。
従って、撮像関連情報に関して、通信データ量の削減、及び情報記憶に用いられるメモリ容量の削減を図るような出力を行ったり、撮像装置の使用態様に応じた適切な種類の情報を出力したりする等、撮像関連情報の出力を適切な態様で行うことができる。
また、実施形態としての制御装置においては、判定部は、使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行っている。
例えば、撮像関連情報として撮像装置の位置情報を出力する場合において、固定カメラは、位置が固定であるため、基本的には位置情報の出力は不要であるのに対し、ハンディカメラは、カメラマンが持って移動している可能性が高くその位置の確認は高頻度で行われるべきであって位置情報の出力頻度を高めることが要請される。このように固定カメラとハンディカメラとでは、特定の撮像関連情報について、その出力態様を変化させるべき場合がある。
従って、上記のように固定カメラとハンディカメラの何れであるかの判定を行うことで、撮像関連情報の出力制御として、撮像装置の使用態様に応じた適切な出力制御を行うことができる。
さらに、実施形態としての制御装置においては、判定部は、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定している。
これにより、位置が非固定のカメラの使用態様として、ハンディカメラ、移動装置に搭載されたカメラの何れであるかが判定される。
従って、ハンディカメラと移動装置に搭載されるカメラとで撮像関連情報の出力態様を変化させるべき場合に対応して、カメラ使用態様の適切な場合分けを行うことができる。
さらにまた、実施形態としての制御装置においては、制御部は、判定部により固定カメラと判定された場合は、ハンディカメラと判定された場合よりも撮像関連情報の出力頻度を低下させている。
例えば、固定カメラの場合には位置情報の出力を不要とすることが可能である等、固定カメラについては、撮像関連情報の出力頻度を低下させても、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
従って、上記のように固定カメラの場合はハンディカメラの場合よりも撮像関連情報の出力頻度を低下させることで、撮像関連情報を用いるアプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
また、実施形態としての制御装置においては、制御部は、判定部により移動装置に搭載されたカメラと判定された場合は、撮像関連情報の出力頻度を、固定カメラと判定された場合よりも高くハンディカメラと判定された場合よりも低くしている。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように撮像関連情報を頻繁に出力せずとも、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
従って、上記のような出力頻度の制御を行うことで、撮像関連情報を用いるアプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
さらに、実施形態としての制御装置においては、判定部は、センサの検出情報に基づいて前記使用態様を判定している。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサや撮像装置の位置を検出する位置センサ等の検出情報に基づいてカメラの使用態様を判定する。
撮像装置の動きや位置等、撮像装置の状態をセンサにより実際に検出して使用態様を判定できるため、判定精度を高めることができる。
さらにまた、実施形態としての制御装置においては、判定部は、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定している。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定する。これにより、例えば手ブレによるカメラの動き等、ハンディカメラに特有の動きの特徴を検出可能となる。
従って、ハンディカメラとしての使用態様か否かの判定に好適である。
また、実施形態としての制御装置においては、判定部は、撮像装置の位置を検出する位置センサの検出情報に基づいて使用態様を判定している。
これにより、カメラ位置の変化態様に基づいた使用態様の判定を行うことが可能となる。
従って、固定カメラとしての使用態様であるか否かや、移動装置に搭載されたカメラであるか否かの判定に好適である。
さらに、実施形態としての制御装置においては、撮像関連情報は撮像装置の位置情報を含んでいる。
これにより、撮像関連情報として位置情報を出力することが可能とされ、撮像関連情報を用いるアプリケーションとして、オペレータ等のユーザにカメラ位置を例えばマップ上等で示すアプリケーションを実現可能となる。
従って、どのカメラの撮像画像を選択すべきかをユーザに直感的に理解させることができる利便性の高いアプリケーションを実現することができる。
さらにまた、実施形態としての制御装置においては、制御部は、判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させている。
これにより、カメラの使用態様に応じた適切な種類の撮像関連情報を出力することが可能となる。
従って、撮像関連情報を用いるアプリケーションとして、カメラの使用態様に応じた適切な情報をユーザに提示する利便性の高いアプリケーションを実現することができる。
また、実施形態としての制御装置においては、判定部は、使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、制御部は、判定部により移動装置に搭載されたカメラと判定された場合は、撮像関連情報として撮像装置の速度情報を出力する処理を行っている。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
従って、移動装置に搭載されたカメラについて、位置情報の出力頻度を低くした場合にアプリケーション側でカメラ位置の推定精度が低下することの抑制を図ることができ、アプリケーションの機能が損なわれることの防止を図ることができる。
さらに、実施形態としての制御装置においては、制御部は、撮像装置を少なくともパン方向に回転可能に固定する固定装置から撮像装置のパン情報を取得可能な場合は、撮像関連情報としてパン情報を出力する処理を行い、固定装置からパン情報を取得不能な場合は、撮像関連情報として撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行っている。
これにより、パン情報を取得不能な場合には、パン情報の代替情報としての方位情報が出力される。
従って、撮像関連情報を用いるアプリケーションとして、パン情報が取得不能な場合であってもユーザにカメラ向きを例えばマップ上等で示すアプリケーションを実現可能となり、利便性を高めることができる。
さらにまた、実施形態としての制御装置においては、判定部は、固定カメラとしての使用態様であるか否かの判定を、撮像装置を固定する固定装置に対する撮像装置の接続判定により行っている。
これにより、固定カメラであるか否かの判定にあたって撮像装置の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
また、実施形態としての制御装置においては、判定部は、撮像装置ごとに設定された使用態様の計画情報に基づいて使用態様を判定している。
これにより、使用態様の判定にあたって撮像装置の動き情報や位置情報を取得したり、動き情報や位置情報についての解析処理を行う必要がなくなる。
従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
実施形態としての制御方法は、撮像装置の使用態様を判定し、判定した使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御方法である。
このような実施形態としての制御方法によっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。
実施形態の情報処理システムは、撮像装置の使用態様を判定する判定部と、判定部により判定された使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置(撮像装置1)と、制御部の出力制御により出力された撮像関連情報に基づく情報の表示処理を行う表示処理部(CPU21)を有した情報処理装置(同5)と、を備えたものである。
このような実施形態としての情報処理システムによっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。
また、実施形態の情報処理システムにおいては、撮像装置が移動後に停止したか否かを判定する停止判定部(制御部13、又はCPU21:図9、図10を参照)を備え、表示処理部は、停止判定部により移動後に停止したと判定された撮像装置を通知する表示処理を行っている。
移動後に停止した撮像装置は、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了した撮像装置であると推定できる。
従って、上記のように移動後に停止した撮像装置を通知する表示処理を行うことで、どのカメラの撮像画像を選択すべきかをユーザ直感的に理解させることができる、利便性の高いアプリケーションを実現することができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<5.本技術>

なお本技術は以下のような構成も採ることができる。
(1)
撮像装置の使用態様を判定する判定部と、
前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備える
制御装置。
(2)
前記判定部は、
前記使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う
前記(1)に記載の制御装置。
(3)
前記判定部は、
固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定する
前記(2)に記載の制御装置。
(4)
前記制御部は、
前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像関連情報の出力頻度を低下させる
前記(2)又は(3)に記載の制御装置。
(5)
前記制御部は、
前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする
前記(3)に記載の制御装置。
(6)
前記判定部は、
センサの検出情報に基づいて前記使用態様を判定する
前記(1)から(5)の何れかに記載の制御装置。
(7)
前記判定部は、
前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する
前記(6)に記載の制御装置。
(8)
前記判定部は、
前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する
前記(6)又は(7)に記載の制御装置。
(9)
前記撮像関連情報は前記撮像装置の位置情報を含む
前記(1)から(8)の何れかに記載の制御装置。
(10)
前記制御部は、
前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる
前記(1)から(9)の何れかに記載の制御装置。
(11)
前記判定部は、
前記使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、
前記制御部は、
前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う
前記(10)に記載の制御装置。
(12)
前記制御部は、
前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
前記(1)から(11)の何れかに記載の制御装置。
(13)
前記判定部は、
前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う
前記(2)から(5)の何れかに記載の制御装置。
(14)
前記判定部は、
前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する
前記(1)から(13)の何れかに記載の制御装置。
(15)
撮像装置の使用態様を判定し、
判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う
制御方法。
(16)
撮像装置の使用態様を判定する判定部と、
前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、
前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備える
情報処理システム。
(17)
前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、
前記表示処理部は、
前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う
前記(16)に記載の情報処理システム。
1 撮像装置
2 収録機
3 スイッチャ
4 送出機
5 情報処理装置
6 操作卓
7 マルチモニタ
10 三脚装置
11 撮像部
12 画像処理部
13 制御部
14 動き検出部
15 位置検出部
16 方位検出部
17 通信部
18 バス
21 CPU
22 ROM
23 RAM
24 バス
25 入出力インタフェース
26 表示制御部
27 記憶部
28 通信部
C カメラアイコン
Ri 撮像範囲
Ob オブジェクト

Claims (14)

  1. 撮像装置の使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う判定部と、
    前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像装置に関する撮像関連情報の出力頻度を低下させる制御を行う制御部と、を備える
    制御装置。
  2. 前記判定部は、
    固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定し、
    前記制御部は、
    前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする
    請求項に記載の制御装置。
  3. 前記判定部は、
    センサの検出情報に基づいて前記使用態様を判定する
    請求項1に記載の制御装置。
  4. 前記判定部は、
    前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する
    請求項に記載の制御装置。
  5. 前記判定部は、
    前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する
    請求項に記載の制御装置。
  6. 前記撮像関連情報は前記撮像装置の位置情報を含む
    請求項1に記載の制御装置。
  7. 前記制御部は、
    前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる
    請求項1に記載の制御装置。
  8. 前記判定部は、
    固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定し、
    前記制御部は、
    前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う
    請求項に記載の制御装置。
  9. 前記判定部は、
    前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う
    請求項に記載の制御装置。
  10. 前記判定部は、
    前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する
    請求項1に記載の制御装置。
  11. 撮像装置の使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行い、
    前記固定カメラと判定した場合は、前記ハンディカメラと判定した場合よりも前記撮像装置に関する撮像関連情報の出力頻度を低下させる制御を行う
    制御方法。
  12. 撮像装置の使用態様を判定する判定部と、
    前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備え、
    前記制御部は、
    前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
    制御装置。
  13. 撮像装置の使用態様を判定し、判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御方法であって、
    前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
    制御方法。
  14. 撮像装置の使用態様を判定する判定部と、
    前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、
    前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備えると共に、
    前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、
    前記表示処理部は、
    前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う
    情報処理システム。
JP2021562460A 2019-12-03 2020-09-15 制御装置、制御方法、情報処理システム Active JP7513035B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019218960 2019-12-03
JP2019218960 2019-12-03
PCT/JP2020/034908 WO2021111700A1 (ja) 2019-12-03 2020-09-15 制御装置、制御方法、情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2021111700A1 JPWO2021111700A1 (ja) 2021-06-10
JP7513035B2 true JP7513035B2 (ja) 2024-07-09

Family

ID=76221022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021562460A Active JP7513035B2 (ja) 2019-12-03 2020-09-15 制御装置、制御方法、情報処理システム

Country Status (4)

Country Link
US (1) US11805314B2 (ja)
EP (1) EP4057617A4 (ja)
JP (1) JP7513035B2 (ja)
WO (1) WO2021111700A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743589B2 (en) * 2021-02-10 2023-08-29 AuTurn Device for autonomous tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008054155A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd 画像合成装置
JP2012058524A (ja) 2010-09-09 2012-03-22 Nikon Corp 交換レンズ
JP2012165350A (ja) 2011-01-21 2012-08-30 Panasonic Corp 撮像装置
JP2015139125A (ja) 2014-01-23 2015-07-30 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
WO2018051731A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法
JP2018097870A (ja) 2016-12-08 2018-06-21 株式会社モルフォ 画像処理装置、電子機器、画像処理方法及びプログラム
JP2019140460A (ja) 2018-02-07 2019-08-22 京セラ株式会社 電子機器、制御方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09289606A (ja) 1996-04-23 1997-11-04 Canon Inc 画像表示装置およびカメラ制御装置
US8208792B2 (en) 2006-09-12 2012-06-26 Panasonic Corporation Content shooting apparatus for generating scene representation metadata

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008054155A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd 画像合成装置
JP2012058524A (ja) 2010-09-09 2012-03-22 Nikon Corp 交換レンズ
JP2012165350A (ja) 2011-01-21 2012-08-30 Panasonic Corp 撮像装置
JP2015139125A (ja) 2014-01-23 2015-07-30 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
WO2018051731A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法
JP2018097870A (ja) 2016-12-08 2018-06-21 株式会社モルフォ 画像処理装置、電子機器、画像処理方法及びプログラム
JP2019140460A (ja) 2018-02-07 2019-08-22 京セラ株式会社 電子機器、制御方法およびプログラム

Also Published As

Publication number Publication date
EP4057617A4 (en) 2023-04-12
US11805314B2 (en) 2023-10-31
US20220417431A1 (en) 2022-12-29
JPWO2021111700A1 (ja) 2021-06-10
EP4057617A1 (en) 2022-09-14
WO2021111700A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
US9667826B2 (en) Image pickup apparatus, method for controlling the same, and program for obtaining position information and direction information
JP5558852B2 (ja) 情報処理装置およびその制御方法およびプログラム
US8756009B2 (en) Portable apparatus
US20110063457A1 (en) Arrangement for controlling networked PTZ cameras
JPWO2004066632A1 (ja) 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
US7978254B2 (en) Image capturing apparatus, its controlling method, and program
CN102957862A (zh) 摄像设备和摄像设备的控制方法
KR101259598B1 (ko) 로드뷰 제공 장치 및 방법
JP2011027847A (ja) Af枠自動追尾システム
KR20100082147A (ko) 촬영되는 화면의 확대 방법과 변경 방법, 그리고, 이를 이용한 촬영 장치
CN104145475A (zh) 图像处理设备,图像处理方法和程序
WO2016002355A1 (ja) 撮影装置及び撮影方法
JP7513035B2 (ja) 制御装置、制御方法、情報処理システム
US20150381886A1 (en) Camera Controlling Apparatus For Controlling Camera Operation
JP2012090216A (ja) 撮像装置及び撮像装置の制御方法
KR101118926B1 (ko) 주, 야간 겸용 이동물체 관측시스템
JP5677055B2 (ja) 監視映像表示装置
JP2015014672A (ja) カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム
JP2018180111A (ja) 撮像装置およびその制御方法、プログラム
CN110058272B (zh) 电子设备、定位控制方法以及记录介质
JP5276538B2 (ja) Af枠自動追尾システム
KR20100104194A (ko) 카메라 촬영 제어장치 및 방법
JP2009224900A (ja) 撮影装置、撮影方法
JP2014062926A (ja) オートフォーカスシステム
JP5938268B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230724

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240610

R150 Certificate of patent or registration of utility model

Ref document number: 7513035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150