JP7513035B2 - 制御装置、制御方法、情報処理システム - Google Patents
制御装置、制御方法、情報処理システム Download PDFInfo
- Publication number
- JP7513035B2 JP7513035B2 JP2021562460A JP2021562460A JP7513035B2 JP 7513035 B2 JP7513035 B2 JP 7513035B2 JP 2021562460 A JP2021562460 A JP 2021562460A JP 2021562460 A JP2021562460 A JP 2021562460A JP 7513035 B2 JP7513035 B2 JP 7513035B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging
- camera
- imaging device
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 72
- 230000010365 information processing Effects 0.000 title claims description 48
- 238000003384 imaging method Methods 0.000 claims description 385
- 238000012545 processing Methods 0.000 claims description 73
- 230000008569 process Effects 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 48
- 238000005516 engineering process Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 25
- 230000001133 acceleration Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 9
- 230000001771 impaired effect Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
この種の放送システムでは、各カメラの配置位置やどの方向を向いているか等、カメラの状態を示す情報をオペレータに表示するということが考えられる。このような表示を行うことで、オペレータによる各カメラの状態把握を容易化でき、どのカメラの撮像画像を選択すべきかを直感的に理解させることが可能となる。
撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置の位置(撮像視点の位置に相当する)を示す情報、焦点距離の情報、撮像方向を示す情報(例えば、三脚上で使用されている場合のパン方向又はチルト方向の向きを示す情報や、方位センサによる方位情報等)、撮像装置に作用する加速度や角速度等の撮像装置の動きを示す情報、撮像装置の移動速度の情報、等を挙げることができる。また、撮像装置の使用態様の例としては、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラ等の使用態様を挙げることができる。上記のように撮像装置の使用態様に基づいて撮像関連情報の出力制御を行うことで、例えば、移動が行われない固定カメラの場合には、カメラの位置情報としての撮像関連情報を出力せず、移動が想定されるハンディカメラの場合にはカメラの位置情報としての撮像関連情報を出力する等、カメラの使用態様に応じて、不要とされる情報を出力しないように制御することが可能となる。或いは、カメラの使用態様に応じて、出力する撮像関連情報の種類を変化させるといったことも可能となる。
例えば、撮像関連情報として撮像装置の位置情報を出力する場合において、固定カメラは、位置が固定であるため、基本的には位置情報の出力は不要であるのに対し、ハンディカメラは、カメラマンが持って移動している可能性が高くその位置の確認は高頻度で行われるべきであって位置情報の出力頻度を高めることが要請される。このように固定カメラとハンディカメラとでは、特定の撮像関連情報について、その出力態様を変化させるべき場合がある。
これにより、位置が非固定のカメラの使用態様として、ハンディカメラ、移動装置に搭載されたカメラの何れであるかが判定される。
例えば、固定カメラの場合には位置情報の出力を不要とすることが可能である等、固定カメラについては、撮像関連情報の出力頻度を低下させても、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように撮像関連情報を頻繁に出力せずとも、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサや撮像装置の位置を検出する位置センサ等の検出情報に基づいてカメラの使用態様を判定する。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定する。これにより、例えば手ブレによるカメラの動き等、ハンディカメラに特有の動きの特徴を検出可能となる。
これにより、カメラ位置の変化態様に基づいた使用態様の判定を行うことが可能となる。
これにより、撮像関連情報として位置情報を出力することが可能とされ、撮像関連情報を用いるアプリケーションとして、オペレータ等のユーザにカメラ位置を例えばマップ上等で示すアプリケーションを実現可能となる。
これにより、カメラの使用態様に応じた適切な種類の撮像関連情報を出力することが可能となる。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
パン情報とは、撮像装置のパン方向の角度情報を意味する。上記構成によれば、パン情報を取得不能な場合には、パン情報の代替情報としての方位情報が出力される。
これにより、固定カメラであるか否かの判定にあたって撮像装置の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
これにより、使用態様の判定にあたって撮像装置の動き情報や位置情報を取得したり、動き情報や位置情報についての解析処理を行う必要がなくなる。
このような制御方法によっても、上記した本技術に係る制御装置と同様の作用が得られる。
このような情報処理システムによっても、上記した本技術に係る制御装置と同様の作用が得られる。
移動後に停止した撮像装置は、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了した撮像装置であると推定できる。
<1.情報処理システムの構成>
[1-1.システム全体構成]
[1-2.撮像装置の構成]
[1-3.情報処理装置の構成]
<2.実施形態としての処理>
[2-1.撮像関連情報の出力制御]
[2-2.通知表示]
<3.変形例>
<4.実施形態のまとめ>
<5.本技術>
[1-1.システム全体構成]
図1は、実施形態としての情報処理システム100の構成例を示したブロック図である。
実施形態の情報処理システム100は、複数のカメラ(撮像装置)による撮像画像のうちからオペレータによって選択された画像を放送用に送出する機能を有した、放送システムとして構成されている。
ここで、撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置1の位置(撮像視点の位置に相当する)を示す情報、焦点距離の情報、撮像方向を示す情報(例えば、三脚上で使用されている場合のパン方向又はチルト方向の向きを示す情報や、方位センサによる方位情報等)、撮像装置1に作用する加速度や角速度等の撮像装置1の動きを示す情報、撮像装置1の移動速度の情報、等を挙げることができる。なお、撮像装置1の位置を示す情報としては、例えば緯度及び経度による水平方向の位置情報に限らず、高度による垂直方向の位置情報を含む場合がある。
撮像関連情報は、上記のように撮像に関連する情報であって、撮像によって得られる撮像画像自体は撮像関連情報に含まれない。
送出機4は、スイッチャ3により選択された撮像画像を放送として送出する。
情報処理装置5には、オペレータとしてのユーザが操作に用いる各種操作子が設けられた操作卓6と、マルチモニタ7としての表示装置とが接続されており、情報処理装置5は、スイッチャ3に入力されている各撮像画像をマルチモニタ7に表示させると共に、操作卓6を介したユーザの操作入力に基づいて、スイッチャ3に対し、送出機4に出力すべき撮像画像の指示を行う。
図2は、撮像装置1の内部構成例を示したブロック図である。
図示のように撮像装置1は、撮像部11、画像処理部12、制御部13、動き検出部14、位置検出部15、方位検出部16、通信部17、及びバス18を備えている。
撮像部11では、撮像素子で受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号(以下「撮像画像データ」とも表記する)を、後段の画像処理部12に出力する。
制御部13は、撮像部11、画像処理部12、及び通信部17とバス18を介して接続されており、これらの各部とバス18を介して相互のデータ通信を行うことが可能とされている。
位置検出部15は、撮像装置1の現在位置を検出し、本例ではGNSS(Global Navigation Satellite System)センサを備えている。なお、現在位置の検出手法は衛星を用いた手法に限定されるものではない。
方位検出部16は、撮像装置1が向く方位を検出するものであり、本例では方位センサ(地磁気センサ)を備える。
また、本例の制御部13は、撮像部11より光学系の焦点距離の情報を撮像関連情報として取得する。
制御部13は、取得した撮像関連情報を、画像処理部12の処理を介して得られた撮像画像データ(動画像データ)のメタデータとして付加し、撮像画像データと共に通信部17を介して収録機2に出力する処理を行う。
三脚装置10には、パン方向の角度、チルト方向の角度をそれぞれ検出するパン・チルトセンサが備えられたものがある。このパン・チルトセンサは、取り付けられた撮像装置1のパン方向、及びチルト方向の向きを検出するセンサと換言できる。
なお、三脚装置10は、本技術における「固定装置」の一例である。「固定装置」は、広義では撮像装置を固定する装置を意味し、狭義では、撮像装置を少なくともパン方向に回転可能に固定する装置を意味する。固定装置の構成としては、三脚未満又は四脚以上の脚を有する構成や、脚部に雲台装置が取り付けられ、該雲台装置上に撮像装置が取り付けられる構成も有り得る。
制御部13は、このように三脚装置10から取得したパン・チルト情報としての撮像関連情報についても、撮像画像データのメタデータとして、通信部17を介して収録機2に出力する処理を行う。
図4は、情報処理装置5の内部構成例を説明するためのブロック図である。なお、図4では情報処理装置5の内部構成例と共に図1に示した操作卓6、及びマルチモニタ7も併せて示している。
CPU21、ROM22、及びRAM23は、バス24を介して相互に接続されている。バス24には、入出力インタフェース25も接続されている。CPU21は、ROM22に記憶されているプログラム、又は記憶部27からRAM23にロードされたプログラムに従って各種の処理を実行する。RAM23にはまた、CPU21が各種の処理を実行する上において必要なデータ等も適宜記憶される。
操作卓6からの操作入力情報は、入出力インタフェース25を介してCPU21に供給される。
表示制御部26は、CPU21からの指示に基づきマルチモニタ7の表示制御を行う。
記憶部27は、HDDやフラッシュメモリ装置等により構成された記憶デバイスである。
通信部28は、スイッチャ3との間でデータ通信を行うための通信デバイスである。
また、CPU21は、表示制御部26に対する指示により、マルチモニタ7に撮像画像以外の情報表示を実行させることもできる。
図5に示す撮像状態マップは、スポーツ中継、具体的には自動車のレース競技の中継に用いられる撮像状態マップを例示しており、自動車の走行コース(例えば、サーキットのコース)を表すマップ上に、撮像対象とするオブジェクトObのアイコンと、各撮像装置1の位置及び向きを示すカメラアイコンCと、各撮像装置1の撮像範囲Riを示すアイコンとが表示されている。撮像範囲Riのアイコンは、その長さによって焦点距離の長さを表すようにされている。
[2-1.撮像関連情報の出力制御]
ここで、上記のような撮像状態マップの表示を行う上では、撮像関連情報を撮像装置1側から常時送信することも考えられるが、その場合には、通信データ量が膨大となり、また撮像関連情報を記憶するためのメモリ容量の増大化を招くことになる。
具体的に、本例では、撮像装置1の使用態様の判定として、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかの判定を行う。ここで、ハンディカメラとは、カメラマンの肩と手、或いは手のみにより支持される等、カメラマンによって支持された状態の撮像装置1を意味する。また、固定カメラとは、例えば三脚等の固定具に取り付けられる等して位置が固定とされた状態の撮像装置1を意味する。特に本例では、三脚装置10に取り付けられた撮像装置1を意味する。
また、移動装置とは、撮像装置1を搭載して移動可能な装置を意味する。例えば、車両、レール上を移動する台、ドローン等の飛行可能な装置等を挙げることができる。
このため、本例では、固定カメラと判定された場合は、ハンディカメラと判定された場合よりも位置情報の出力頻度を低下させる。これにより、撮像関連情報を用いるアプリケーション側の機能、具体的に本例では撮像状態マップによるカメラ位置の表示機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように位置情報を頻繁に出力せずとも、アプリケーション側の機能が損なわれない場合がある。
従って、上記のような出力頻度の制御を行うことで、アプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
従って、移動装置に搭載されたカメラについて、位置情報の出力頻度を低くした場合にアプリケーション側でカメラ位置の推定精度が低下することの抑制を図ることができ、アプリケーションの機能が損なわれることの防止を図ることができる。
本例では、撮像関連情報は、撮像画像データのフレームごとに付加可能なメタデータとして出力される。
位置情報(図中「Position」)について、固定カメラの場合には、最初のフレーム(図中「Fr0」)で出力(「P0」)した以降は、出力しない。移動装置に搭載されたカメラの場合(図中「移動」)には、位置情報は、複数フレームに1度の頻度(図中では3フレームに1度の頻度)で出力し、ハンディカメラの場合には、位置情報は毎フレーム出力する。
ここで、三脚装置10としては、パン・チルトセンサを備えないものもある。本例では、三脚装置10からパン・チルト情報を取得可能でない場合には、パン・チルト情報に代えて、方位検出部16が検出する方位情報を出力する(この点は後述する)。
なお、固定カメラについては、配置位置が既知であることが殆どであり、情報処理装置5には該既知の配置位置を示す位置情報を固定カメラの位置情報として設定すれば、上述のように最初のフレームに位置情報を付加する必要はない。このため、図7(及び後述する図8も含む)では、固定カメラの場合に位置情報を一切出力しない場合の処理を例示する。
また、本例では、焦点距離の情報は前述のように撮像装置1の使用態様に拘わらず毎フレーム出力すればよいため、図7(及び図8)では、焦点距離の出力に係る処理については図示を省略している。
そして、制御部13は続くステップS103で、動き情報の解析処理を行う。具体的には、フーリエ変換等を用いて加速度、角速度についての波形分析を行うことにより、揺れ幅や揺れの周期を解析する。
このような処理により、ハンディカメラの場合には、位置情報と方位情報が毎フレーム出力される。
先ず、ステップS108で制御部13は、パン・チルト情報を取得可能か否かを判定する。例えば、三脚装置10からのパン・チルト情報を示す信号入力があるか否かを判定する。或いは、全ての三脚装置10がパン・チルトセンサを備えていることが保証されているシステムにおいて、三脚装置10に取り付けられた状態であるか否かを検知するためのスイッチがある場合には、該スイッチのオン/オフ状態に基づいてパン・チルト情報を取得可能か否かを判定することもできる。
一方、パン・チルト情報を取得可能でないと判定した場合、制御部13はステップS111に進んで方位検出部16より方位情報を取得した上で、ステップS112で方位情報を出力する処理を行い、図7に示す一連の処理を終える。
このように固定カメラであると判定された場合には、パン・チルト情報を取得可能であればパン・チルト情報が毎フレーム出力され、パン・チルト情報を取得不能であれば、方位情報が毎フレーム出力される。
一方、前回の情報出力から一定時間以上経過していれば、制御部13はステップS114に進んで速度情報を取得した上で、ステップS115で位置情報及び速度情報を出力する処理を行い、図7に示す一連の処理を終える。
このように移動装置に搭載されたカメラについては、複数フレームに1度の頻度で位置情報及び速度情報が出力される。
これにより情報処理装置5側では、マルチモニタ7上にそれぞれの撮像装置1がハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れに該当するかを示す情報を表示させることができる。
図8のフローチャートは、その場合の処理例を示している。なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。
この場合は、ステップS104でハンディカメラでないと判定された場合は、移動装置に搭載されたカメラであると判定可能なため、図示のようにステップS113に処理を進める。すなわち図7で説明した、移動装置に搭載されたカメラに対応する処理を実行する。
従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
ハンディカメラについて、移動後に停止したものは、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了したカメラであると推定できる。
そこで本実施形態では、ハンディカメラとしての撮像装置1が移動後に停止したか否かを判定し、該判定の結果に基づき、移動後に停止したと判定された撮像装置1を通知する表示処理を行う。具体的には、例えば図5に示した撮像状態マップにおいて、該当する撮像装置1についてのカメラアイコンC及び/又は撮像範囲Riのアイコンを点滅表示させたり赤色等の特定色で表示させたりする等、該当する撮像装置1を目立たせる(強調させる)ための表示処理を行う。
なお、制御部13は、図9に示す処理と並行して、図7に示した撮像関連情報の出力制御のための処理を実行しているとする。
移動中フラグがONでなければ、制御部13は図9に示す一連の処理を終える。
撮像装置1が停止していないと判定した場合、制御部13は図9に示す一連の処理を終える。
これにより、ハンディカメラと判定中の撮像装置1について、移動後に停止したことが判定された場合には、当該撮像装置1の強調表示を情報処理装置5に対し指示することができる。
ステップS304に続くステップS305で制御部13は、移動中フラグをOFFとし、その後、図9に示す一連の処理を終える。
これにより、移動後に停止したハンディカメラとしての撮像装置1をオペレータとしてのユーザに通知することができる。
先ず、CPU21はステップS401で、ハンディカメラか否かを判定する。この判定処理は、前述したようにハンディカメラ、固定カメラ、移動装置に搭載されたカメラの何れであるかの判定結果を示す情報を撮像装置1が撮像関連情報として出力する場合には、該判定結果を示す情報に基づいて行うことができる。或いは、該判定結果を示す情報が撮像関連情報として出力されない場合には、撮像装置1が撮像関連情報として動き検出部14により検出された動き情報を出力するようにし、動き情報の解析結果に基づく判定処理として行えばよい。
ハンディカメラでないと判定した場合、CPU21は図10に示す一連の処理を終える。
移動が停止したカメラでないと判定した場合、CPU21は図10に示す一連の処理を終える。
CPU21は、ステップS403の処理を実行したことに応じ、図10に示す一連の処理を終える。
ここで、上記では、撮像装置1の使用態様の判定をセンサの検出情報に基づき判定する例を挙げたが、撮像装置1の使用態様の判定は、使用態様の計画情報に基づいて判定することもできる。放送システムにおいては、撮像装置1ごとにその使用態様の計画情報が設定されることがある。そのような場合には、該計画情報に示される使用態様の情報(本例では固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの別を表す)に基づき、使用態様を判定することもできる。
なお、使用態様の判定は、計画情報とセンサ情報の双方に基づいて行うことも可能である。例えば、計画情報に基づく判定とセンサ情報に基づく判定の双方の結果が一致することを条件とした判定とすることが考えられる。
また、移動装置に搭載されたカメラについては、方位情報を出力してもよいし、取得可能であればパン・チルト情報を出力してもよい。
上記のように実施形態としての制御装置(撮像装置1)は、撮像装置の使用態様を判定する判定部(制御部13:ステップS104、S107、S201等参照)と、判定部により判定された使用態様に基づいて撮像装置に関する撮像関連情報の出力制御を行う制御部(制御部13:図7のステップS104以降、図8のステップS108以降及びS104以降の処理を参照)と、を備えている。
前述のように撮像関連情報とは、撮像に関連する情報を意味する。例えば、撮像装置の位置(撮像視点の位置に相当する)を示す情報、焦点距離の情報、撮像方向を示す情報、撮像装置に作用する加速度や角速度等の撮像装置の動きを示す情報、撮像装置の移動速度の情報、等を挙げることができる。また、撮像装置の使用態様の例としては、固定カメラ、ハンディカメラ、移動装置に搭載されたカメラ等の使用態様を挙げることができる。上記のように撮像装置の使用態様に基づいて撮像関連情報の出力制御を行うことで、例えば、移動が行われない固定カメラの場合には、カメラの位置情報としての撮像関連情報を出力せず、移動が想定されるハンディカメラの場合にはカメラの位置情報としての撮像関連情報を出力する等、カメラの使用態様に応じて、不要とされる情報を出力しないように制御することが可能となる。或いは、カメラの使用態様に応じて、出力する撮像関連情報の種類を変化させるといったことも可能となる。
従って、撮像関連情報に関して、通信データ量の削減、及び情報記憶に用いられるメモリ容量の削減を図るような出力を行ったり、撮像装置の使用態様に応じた適切な種類の情報を出力したりする等、撮像関連情報の出力を適切な態様で行うことができる。
例えば、撮像関連情報として撮像装置の位置情報を出力する場合において、固定カメラは、位置が固定であるため、基本的には位置情報の出力は不要であるのに対し、ハンディカメラは、カメラマンが持って移動している可能性が高くその位置の確認は高頻度で行われるべきであって位置情報の出力頻度を高めることが要請される。このように固定カメラとハンディカメラとでは、特定の撮像関連情報について、その出力態様を変化させるべき場合がある。
従って、上記のように固定カメラとハンディカメラの何れであるかの判定を行うことで、撮像関連情報の出力制御として、撮像装置の使用態様に応じた適切な出力制御を行うことができる。
これにより、位置が非固定のカメラの使用態様として、ハンディカメラ、移動装置に搭載されたカメラの何れであるかが判定される。
従って、ハンディカメラと移動装置に搭載されるカメラとで撮像関連情報の出力態様を変化させるべき場合に対応して、カメラ使用態様の適切な場合分けを行うことができる。
例えば、固定カメラの場合には位置情報の出力を不要とすることが可能である等、固定カメラについては、撮像関連情報の出力頻度を低下させても、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
従って、上記のように固定カメラの場合はハンディカメラの場合よりも撮像関連情報の出力頻度を低下させることで、撮像関連情報を用いるアプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、ハンディカメラのように撮像関連情報を頻繁に出力せずとも、撮像関連情報を用いるアプリケーション側の機能が損なわれない場合がある。
従って、上記のような出力頻度の制御を行うことで、撮像関連情報を用いるアプリケーション側の機能が損なわれることの防止を図りつつ、通信データ量の削減、及びメモリ容量の削減を図ることができる。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサや撮像装置の位置を検出する位置センサ等の検出情報に基づいてカメラの使用態様を判定する。
撮像装置の動きや位置等、撮像装置の状態をセンサにより実際に検出して使用態様を判定できるため、判定精度を高めることができる。
例えば、加速度センサや角速度センサ等、撮像装置の動きを検出する動きセンサの検出情報に基づいて使用態様を判定する。これにより、例えば手ブレによるカメラの動き等、ハンディカメラに特有の動きの特徴を検出可能となる。
従って、ハンディカメラとしての使用態様か否かの判定に好適である。
これにより、カメラ位置の変化態様に基づいた使用態様の判定を行うことが可能となる。
従って、固定カメラとしての使用態様であるか否かや、移動装置に搭載されたカメラであるか否かの判定に好適である。
これにより、撮像関連情報として位置情報を出力することが可能とされ、撮像関連情報を用いるアプリケーションとして、オペレータ等のユーザにカメラ位置を例えばマップ上等で示すアプリケーションを実現可能となる。
従って、どのカメラの撮像画像を選択すべきかをユーザに直感的に理解させることができる利便性の高いアプリケーションを実現することができる。
これにより、カメラの使用態様に応じた適切な種類の撮像関連情報を出力することが可能となる。
従って、撮像関連情報を用いるアプリケーションとして、カメラの使用態様に応じた適切な情報をユーザに提示する利便性の高いアプリケーションを実現することができる。
例えば、車両やレール上を移動する台等としての移動装置に搭載されたカメラの場合は、ハンディカメラの場合と比較して、或る程度移動方向が予測可能であるため、速度情報に基づく位置の予測が可能となる。
従って、移動装置に搭載されたカメラについて、位置情報の出力頻度を低くした場合にアプリケーション側でカメラ位置の推定精度が低下することの抑制を図ることができ、アプリケーションの機能が損なわれることの防止を図ることができる。
これにより、パン情報を取得不能な場合には、パン情報の代替情報としての方位情報が出力される。
従って、撮像関連情報を用いるアプリケーションとして、パン情報が取得不能な場合であってもユーザにカメラ向きを例えばマップ上等で示すアプリケーションを実現可能となり、利便性を高めることができる。
これにより、固定カメラであるか否かの判定にあたって撮像装置の動き情報を取得したり動き情報の波形解析等の解析処理を行う必要がなくなる。
従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
これにより、使用態様の判定にあたって撮像装置の動き情報や位置情報を取得したり、動き情報や位置情報についての解析処理を行う必要がなくなる。
従って、使用態様の判定を行うにあたっての処理負担の軽減を図ることができる。
このような実施形態としての制御方法によっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。
このような実施形態としての情報処理システムによっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。
移動後に停止した撮像装置は、撮像対象とする被写体の近くに移動が完了しインタビュー等の準備中又は準備が完了した撮像装置であると推定できる。
従って、上記のように移動後に停止した撮像装置を通知する表示処理を行うことで、どのカメラの撮像画像を選択すべきかをユーザ直感的に理解させることができる、利便性の高いアプリケーションを実現することができる。
なお本技術は以下のような構成も採ることができる。
(1)
撮像装置の使用態様を判定する判定部と、
前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備える
制御装置。
(2)
前記判定部は、
前記使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う
前記(1)に記載の制御装置。
(3)
前記判定部は、
固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定する
前記(2)に記載の制御装置。
(4)
前記制御部は、
前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像関連情報の出力頻度を低下させる
前記(2)又は(3)に記載の制御装置。
(5)
前記制御部は、
前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする
前記(3)に記載の制御装置。
(6)
前記判定部は、
センサの検出情報に基づいて前記使用態様を判定する
前記(1)から(5)の何れかに記載の制御装置。
(7)
前記判定部は、
前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する
前記(6)に記載の制御装置。
(8)
前記判定部は、
前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する
前記(6)又は(7)に記載の制御装置。
(9)
前記撮像関連情報は前記撮像装置の位置情報を含む
前記(1)から(8)の何れかに記載の制御装置。
(10)
前記制御部は、
前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる
前記(1)から(9)の何れかに記載の制御装置。
(11)
前記判定部は、
前記使用態様の判定として、少なくとも移動装置に搭載されたカメラとしての使用態様か否かの判定を行い、
前記制御部は、
前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う
前記(10)に記載の制御装置。
(12)
前記制御部は、
前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
前記(1)から(11)の何れかに記載の制御装置。
(13)
前記判定部は、
前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う
前記(2)から(5)の何れかに記載の制御装置。
(14)
前記判定部は、
前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する
前記(1)から(13)の何れかに記載の制御装置。
(15)
撮像装置の使用態様を判定し、
判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う
制御方法。
(16)
撮像装置の使用態様を判定する判定部と、
前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、
前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備える
情報処理システム。
(17)
前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、
前記表示処理部は、
前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う
前記(16)に記載の情報処理システム。
2 収録機
3 スイッチャ
4 送出機
5 情報処理装置
6 操作卓
7 マルチモニタ
10 三脚装置
11 撮像部
12 画像処理部
13 制御部
14 動き検出部
15 位置検出部
16 方位検出部
17 通信部
18 バス
21 CPU
22 ROM
23 RAM
24 バス
25 入出力インタフェース
26 表示制御部
27 記憶部
28 通信部
C カメラアイコン
Ri 撮像範囲
Ob オブジェクト
Claims (14)
- 撮像装置の使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行う判定部と、
前記判定部により前記固定カメラと判定された場合は、前記ハンディカメラと判定された場合よりも前記撮像装置に関する撮像関連情報の出力頻度を低下させる制御を行う制御部と、を備える
制御装置。 - 前記判定部は、
固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定し、
前記制御部は、
前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報の出力頻度を、前記固定カメラと判定された場合よりも高く前記ハンディカメラと判定された場合よりも低くする
請求項1に記載の制御装置。 - 前記判定部は、
センサの検出情報に基づいて前記使用態様を判定する
請求項1に記載の制御装置。 - 前記判定部は、
前記撮像装置の動きを検出する動きセンサの検出情報に基づいて前記使用態様を判定する
請求項3に記載の制御装置。 - 前記判定部は、
前記撮像装置の位置を検出する位置センサの検出情報に基づいて前記使用態様を判定する
請求項3に記載の制御装置。 - 前記撮像関連情報は前記撮像装置の位置情報を含む
請求項1に記載の制御装置。 - 前記制御部は、
前記判定部による判定結果に基づき、出力する撮像関連情報の種類を変化させる
請求項1に記載の制御装置。 - 前記判定部は、
固定カメラ、ハンディカメラ、移動装置に搭載されたカメラの何れの使用態様であるかを判定し、
前記制御部は、
前記判定部により前記移動装置に搭載されたカメラと判定された場合は、前記撮像関連情報として前記撮像装置の速度情報を出力する処理を行う
請求項7に記載の制御装置。 - 前記判定部は、
前記固定カメラとしての使用態様であるか否かの判定を、前記撮像装置を固定する固定装置に対する前記撮像装置の接続判定により行う
請求項1に記載の制御装置。 - 前記判定部は、
前記撮像装置ごとに設定された前記使用態様の計画情報に基づいて前記使用態様を判定する
請求項1に記載の制御装置。 - 撮像装置の使用態様の判定として、少なくとも固定カメラとしての使用態様とハンディカメラとしての使用態様の何れかの判定を行い、
前記固定カメラと判定した場合は、前記ハンディカメラと判定した場合よりも前記撮像装置に関する撮像関連情報の出力頻度を低下させる制御を行う
制御方法。 - 撮像装置の使用態様を判定する判定部と、
前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を備え、
前記制御部は、
前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
制御装置。 - 撮像装置の使用態様を判定し、判定した前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御方法であって、
前記撮像装置を少なくともパン方向に回転可能に固定する固定装置から前記撮像装置のパン情報を取得可能な場合は、前記撮像関連情報として前記パン情報を出力する処理を行い、前記固定装置から前記パン情報を取得不能な場合は、前記撮像関連情報として前記撮像装置の方位を検出する方位センサが検出した方位情報を出力する処理を行う
制御方法。 - 撮像装置の使用態様を判定する判定部と、
前記判定部により判定された前記使用態様に基づいて前記撮像装置に関する撮像関連情報の出力制御を行う制御部と、を有した制御装置と、
前記制御部の出力制御により出力された前記撮像関連情報に基づく情報の表示処理を行う表示処理部を有した情報処理装置と、を備えると共に、
前記撮像装置が移動後に停止したか否かを判定する停止判定部を備え、
前記表示処理部は、
前記停止判定部により移動後に停止したと判定された前記撮像装置を通知する表示処理を行う
情報処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218960 | 2019-12-03 | ||
JP2019218960 | 2019-12-03 | ||
PCT/JP2020/034908 WO2021111700A1 (ja) | 2019-12-03 | 2020-09-15 | 制御装置、制御方法、情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021111700A1 JPWO2021111700A1 (ja) | 2021-06-10 |
JP7513035B2 true JP7513035B2 (ja) | 2024-07-09 |
Family
ID=76221022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021562460A Active JP7513035B2 (ja) | 2019-12-03 | 2020-09-15 | 制御装置、制御方法、情報処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11805314B2 (ja) |
EP (1) | EP4057617A4 (ja) |
JP (1) | JP7513035B2 (ja) |
WO (1) | WO2021111700A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11743589B2 (en) * | 2021-02-10 | 2023-08-29 | AuTurn | Device for autonomous tracking |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008054155A (ja) | 2006-08-28 | 2008-03-06 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JP2012058524A (ja) | 2010-09-09 | 2012-03-22 | Nikon Corp | 交換レンズ |
JP2012165350A (ja) | 2011-01-21 | 2012-08-30 | Panasonic Corp | 撮像装置 |
JP2015139125A (ja) | 2014-01-23 | 2015-07-30 | カシオ計算機株式会社 | 撮像装置、撮像制御方法、及びプログラム |
WO2018051731A1 (ja) | 2016-09-15 | 2018-03-22 | 富士フイルム株式会社 | 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法 |
JP2018097870A (ja) | 2016-12-08 | 2018-06-21 | 株式会社モルフォ | 画像処理装置、電子機器、画像処理方法及びプログラム |
JP2019140460A (ja) | 2018-02-07 | 2019-08-22 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09289606A (ja) | 1996-04-23 | 1997-11-04 | Canon Inc | 画像表示装置およびカメラ制御装置 |
US8208792B2 (en) | 2006-09-12 | 2012-06-26 | Panasonic Corporation | Content shooting apparatus for generating scene representation metadata |
-
2020
- 2020-09-15 US US17/756,477 patent/US11805314B2/en active Active
- 2020-09-15 WO PCT/JP2020/034908 patent/WO2021111700A1/ja unknown
- 2020-09-15 EP EP20896469.2A patent/EP4057617A4/en active Pending
- 2020-09-15 JP JP2021562460A patent/JP7513035B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008054155A (ja) | 2006-08-28 | 2008-03-06 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JP2012058524A (ja) | 2010-09-09 | 2012-03-22 | Nikon Corp | 交換レンズ |
JP2012165350A (ja) | 2011-01-21 | 2012-08-30 | Panasonic Corp | 撮像装置 |
JP2015139125A (ja) | 2014-01-23 | 2015-07-30 | カシオ計算機株式会社 | 撮像装置、撮像制御方法、及びプログラム |
WO2018051731A1 (ja) | 2016-09-15 | 2018-03-22 | 富士フイルム株式会社 | 撮像装置のブレ検出装置、ブレ補正装置、撮像装置及びブレ検出方法 |
JP2018097870A (ja) | 2016-12-08 | 2018-06-21 | 株式会社モルフォ | 画像処理装置、電子機器、画像処理方法及びプログラム |
JP2019140460A (ja) | 2018-02-07 | 2019-08-22 | 京セラ株式会社 | 電子機器、制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4057617A4 (en) | 2023-04-12 |
US11805314B2 (en) | 2023-10-31 |
US20220417431A1 (en) | 2022-12-29 |
JPWO2021111700A1 (ja) | 2021-06-10 |
EP4057617A1 (en) | 2022-09-14 |
WO2021111700A1 (ja) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9667826B2 (en) | Image pickup apparatus, method for controlling the same, and program for obtaining position information and direction information | |
JP5558852B2 (ja) | 情報処理装置およびその制御方法およびプログラム | |
US8756009B2 (en) | Portable apparatus | |
US20110063457A1 (en) | Arrangement for controlling networked PTZ cameras | |
JPWO2004066632A1 (ja) | 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム | |
US7978254B2 (en) | Image capturing apparatus, its controlling method, and program | |
CN102957862A (zh) | 摄像设备和摄像设备的控制方法 | |
KR101259598B1 (ko) | 로드뷰 제공 장치 및 방법 | |
JP2011027847A (ja) | Af枠自動追尾システム | |
KR20100082147A (ko) | 촬영되는 화면의 확대 방법과 변경 방법, 그리고, 이를 이용한 촬영 장치 | |
CN104145475A (zh) | 图像处理设备,图像处理方法和程序 | |
WO2016002355A1 (ja) | 撮影装置及び撮影方法 | |
JP7513035B2 (ja) | 制御装置、制御方法、情報処理システム | |
US20150381886A1 (en) | Camera Controlling Apparatus For Controlling Camera Operation | |
JP2012090216A (ja) | 撮像装置及び撮像装置の制御方法 | |
KR101118926B1 (ko) | 주, 야간 겸용 이동물체 관측시스템 | |
JP5677055B2 (ja) | 監視映像表示装置 | |
JP2015014672A (ja) | カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム | |
JP2018180111A (ja) | 撮像装置およびその制御方法、プログラム | |
CN110058272B (zh) | 电子设备、定位控制方法以及记录介质 | |
JP5276538B2 (ja) | Af枠自動追尾システム | |
KR20100104194A (ko) | 카메라 촬영 제어장치 및 방법 | |
JP2009224900A (ja) | 撮影装置、撮影方法 | |
JP2014062926A (ja) | オートフォーカスシステム | |
JP5938268B2 (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230724 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7513035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |