JP2024033919A - 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法 - Google Patents

撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法 Download PDF

Info

Publication number
JP2024033919A
JP2024033919A JP2022137841A JP2022137841A JP2024033919A JP 2024033919 A JP2024033919 A JP 2024033919A JP 2022137841 A JP2022137841 A JP 2022137841A JP 2022137841 A JP2022137841 A JP 2022137841A JP 2024033919 A JP2024033919 A JP 2024033919A
Authority
JP
Japan
Prior art keywords
imaging
distribution
camera
video data
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022137841A
Other languages
English (en)
Inventor
文彦 加藤
Fumihiko Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022137841A priority Critical patent/JP2024033919A/ja
Priority to EP23192568.6A priority patent/EP4333447A1/en
Priority to CN202311104495.8A priority patent/CN117641126A/zh
Priority to US18/458,850 priority patent/US20240073525A1/en
Publication of JP2024033919A publication Critical patent/JP2024033919A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】配信される映像データを生成する撮像装置を適切に制御する。【解決手段】撮像制御装置２００は、撮像装置１００により生成された映像データの配信状況を取得する取得手段２０１と、撮像装置のズームを制御する制御手段２０１とを有する。制御手段は、配信状況に応じて、ズーム値を変更する。また、映像データから被写体を検出する検出手段２０６を有し、制御手段は、検出された被写体の位置に応じて撮像装置の撮像方向を制御し、配信状況に応じて、撮像方向を制御するためのパラメータを変更する。【選択図】図１

Description

本発明は、撮像装置（カメラ）により生成された映像データを配信する映像配信システムにおいて用いられる撮像制御技術に関する。
上記のような映像配信システムにおいて。ＡＩ（Artificial Intelligence）により検出した特定の被写体を自動追尾するようにカメラを制御する自動追尾技術が用いられる場合がある。ユーザは被写体を自動追尾しているカメラからの映像をスイッチャで切り替えながら配信することができる。この際、配信中のカメラの映像は視聴者が見るため、映像品質を損なわないようなカメラ制御が求められる。
特許文献１には、カメラがスイッチャから映像の使用状態を取得し、該カメラからの映像が配信中である場合にはパンおよびチルトの駆動速度を制限することで配信中の映像品質を損なわないようにするカメラ制御が開示されている。
特開２０２１－３４８２４公報
一方、自動追尾技術を利用した映像配信システムにおいて映像配信中でないカメラについては、映像品質を損なわないこととともに、自動追尾が円滑に続けられることも求められる。
本発明は、配信される映像データを生成する撮像装置を適切に制御することができるようにした撮像制御装置等を提供する。
本発明の一側面としての撮像制御装置は、撮像装置により生成された映像データの配信状況を取得する取得手段と、撮像装置のズームを制御する制御手段とを有する。制御手段は、配信状況に応じて、ズーム値を変更することを特徴とする。本発明の他の一側面としての撮像制御装置は、撮像装置により生成された映像データの配信状況を取得する取得手段と、映像データから被写体を検出する検出手段と、検出された被写体の位置に応じて撮像装置の撮像方向を制御する制御手段とを有する。制御手段は、配信状況に応じて、撮像方向を制御するためのパラメータを変更することを特徴とする。なお、上記撮像制御装置を有する撮像装置も、本発明の他の一側面を構成する。
また本発明の他の一側面としての撮像制御方法は、撮像装置により生成された映像データの配信状況を取得するステップと、撮像装置のズーム値を制御するステップとを有する。ズームを制御するステップにおいて、配信状況に応じて、ズーム値を変更することを特徴とする。さらに本発明の他の一側面としての撮像制御方法は、撮像装置により生成された映像データの配信状況を取得するステップと、映像データから被写体を検出するステップと、検出された被写体の位置に応じて撮像装置の撮像方向を制御するステップとを有する。撮像方向を制御するステップにおいて、配信状況に応じて、撮像方向を制御するためのパラメータを変更することを特徴とする。なお、上記各撮像制御方法をコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。
本発明によれば、配信される映像データを生成する撮像装置を適切に制御することができる。
実施例１の映像配信システムの概要を示す図。 実施例１の映像配信システムの構成を示すブロック図。 実施例１におけるワークステーションの被写体追尾処理を示すフローチャート。 実施例１におけるカメラの被写体追尾処理を示すフローチャート。 実施例１における追尾敏感度とパン・チルト制御量を説明する図。 上記ワークステーションの被写体追尾処理を示すフローチャート。 実施例２の映像配信システムの概要を示す図。 実施例２の映像配信システムの構成を示すブロック図。 実施例２におけるカメラの被写体追尾処理を示すフローチャート。 実施例３の映像配信システムの概要を示す図。 実施例３の映像配信システムの構成を示すブロック図。 実施例３におけるコントローラの被写体追尾処理を示すフローチャート。 実施例３におけるカメラの被写体追尾処理を示すフローチャート。
以下、本発明の実施例について図面を参照しながら説明する。
［映像配信システム１０の構成］
図１は、本発明の実施例１である映像配信システムを示している。映像配信システム１０は、被写体２０を含むシーンをそれぞれ撮像する複数の撮像装置としてのカメラ１００（１００ａ、１００ｂ）と、ワークステーション２００と、スイッチャ３００とにより構成されている。カメラ１００とワークステーション２００は、ネットワーク４００を介して相互に通信可能に接続されている。接続形式や通信プロトコルはどのようなものであってもよい。また、カメラ１００とワークステーション２００を、ネットワーク４００を介さずに通信ケーブルを用いて直接接続してもよい。カメラ１００の数は、３つ以上であってもよい。
撮像制御装置としてのワークステーション２００は、ネットワーク４００（又は通信ケーブル）を介して各カメラ１００に映像データとしての映像ストリームの送信を要求する映像要求コマンドや各種パラメータの設定を指示する設定コマンドを送信して各カメラ１００の動作を制御する。各カメラ１００は、映像要求コマンドに応じて映像ストリームを映像ケーブル（又はネットワーク４００）を介してワークステーション２００に送信したり、設定コマンドに応じて種々のパラメータを記憶したりする。またワークステーション２００は、ネットワーク４００（又は通信ケーブル）を介して各カメラ１００にパン、チルトおよびズームを制御するコマンドを送信して、各カメラ１００の撮像画角のパンおよびチルト方向での向きや大きさを制御する。
複数のカメラ１００とスイッチャ３００における複数の映像入力部はそれぞれ映像ケーブルで接続されており、各カメラ１００が出力した映像ストリームはスイッチャ３００に入力される。スイッチャ３００は、複数のカメラ１００からの映像ストリームから視聴用に不図示の外部装置に配信する映像ストリーム（以下、配信映像という）や、配信映像の次に外部装置に配信する映像ストリーム（以下、プレビュー映像という）を選択する。また、各カメラ１００とスイッチャ３００はネットワーク４００を介して相互に通信可能に接続されている。接続形式や通信プロトコルはどのようなものであってもよい。また、カメラ１００とスイッチャ３００を、ネットワーク４００を介さずに通信ケーブルを用いて直接接続してもよい。
スイッチャ３００は、複数のカメラ１００に対して配信映像を取得するカメラ（以下、配信カメラという）やプレビュー映像を取得するカメラ（以下、プレビューカメラ）に選択されたことを通知するための選択コマンドを送信することができる。配信カメラを示す選択コマンドを受信したカメラは配信中ランプ３０を点灯させ、プレビューカメラを示す選択コマンドを受信したカメラはプレビュー中ランプ４０を点灯させる。またスイッチャ３００は、複数のカメラ１００のうち配信映像やプレビュー映像ではない映像ストリーム（以下、待機映像という）を取得するカメラ（以下、待機カメラという）には、待機カメラに選択されたことを通知する選択コマンドを送信することもできる。待機映像は、配信映像でもプレビュー映像でもない映像である。なお、待機映像から配信映像にすることも可能である。待機カメラを示す選択コマンドを受信したカメラは、配信中ランプ３０とプレビュー中ランプ４０を消灯せる。
本実施例では、複数のカメラ１００のうちどのカメラが配信カメラ、プレビューカメラおよび待機カメラとして選択されているか、つまりはどのカメラからの映像データが配信映像、プレビュー映像および待機映像として選択されているかを映像配信状況という。映像配信状況は、映像データの使用状態と言い換えることもできる。配信映像として選択（使用）されている状態は配信状態に相当し、待機映像として選択されている(配信を待機している)状態は待機状態に相当する。また、プレビュー映像として選択されている(待機状態より先に配信状態となり得る)状態はプレビュー状態に相当する。
ワークステーション２００は、複数のカメラ１００に対して現在の映像配信状況を問い合わせるコマンドを送信することで、各カメラの現在の映像配信状況を示す情報（以下、配信状況情報という）を取得することができる。
図２は、本実施例の映像配信システムにおけるカメラ１００、ワークステーション２００およびスイッチャ３００の構成を示している。
［カメラ１００の構成］
カメラ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、撮像部１０４、映像出力部１０５、通信部１０６、ＰＴＺ制御部１０７および配信状況表示部１０８を有し、これらは内部バス１０９を介して相互に接続されている。
ＣＰＵ１０１は、カメラ１００の動作全体を制御する。ＲＡＭ１０２は、ワークメモリとして一時的に制御プログラムやデータを格納する。ＲＯＭ１０３は、ＣＰＵ１０１が実行する制御プログラムを記憶する。撮像部１０４は、光学系により形成された光学像を撮像素子により光電変換し、該撮像素子からの出力信号から映像データを生成する。撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の光電変換素子により構成される。
映像出力部１０５は、撮像部１０４により生成された映像データを外部に出力するためのインターフェースであり、ＳＤＩ（Serial Digital Interface）やＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）等で構成される。通信部１０６は、外部機器とネットワーク通信を行う。本実施例では、通信部１０６は、ワークステーション２００やスイッチャ３００との通信を行う。
ＰＴＺ（Panoramac Tilt Zoom）制御部１０７は、撮像画角の大きさを変更するために撮像部１０４の光学系を駆動するズーム駆動部と、撮像画角の向き（撮像方向）を変更するために撮像部１０４をパン駆動およびチルト駆動するパン／チルト駆動部とを含む。なお、本実施例では、撮像部１０４の光学系を駆動して光学ズームを行うが、映像データの拡大・縮小を行う電子ズームを行ってもよい。
配信状況表示部１０８は、ＣＰＵ１０１の指示に基づいて配信カメラやプレビューカメラに選択されたことを点灯によりユーザに知らせる、図１に示した配信中ランプ３０およびプレビュー中ランプ４０を含む。ＣＰＵ１０１は、通信部１０６を介してスイッチャ３００から配信カメラやプレビューカメラに選択されたことを示す選択コマンドを受信すると、配信状況表示部１０８に対応するランプを点灯させるように指示する。例えば、配信カメラに選択された場合は配信中ランプ３０を赤点灯させ、プレビューカメラに選択された場合はプレビュー中ランプ４０を緑点灯させる。また、ＣＰＵ１０１は、待機カメラに選択されたことを示す選択コマンドを受信すると、配信状況表示部１０８に配信中ランプ３０およびプレビュー中ランプ４０を消灯するように指示する。ＣＰＵ１０１は、受信した選択コマンドを今回選択コマンドとしてＲＡＭ１０２に格納するとともに、以前に受信して格納していた前回の選択コマンドを前回コマンドとしてＲＡＭ１０２に格納する。
［ワークステーション２００の構成］
ワークステーション２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、通信部２０４、映像入力部２０５、推論部２０６およびユーザ入力Ｉ／Ｆ２０７を有し、これらは内部バス２０８を介して相互に接続されている。
取得手段および制御手段としてのＣＰＵ２０１は、ワークステーション２００の動作全体を制御する。ＲＡＭ２０２は、ワークメモリとして一時的に制御プログラムやデータを格納する。ＲＯＭ２０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＤカード等に代表される不揮発性を持った記憶装置で、ＯＳ、各種プログラムおよび各種データの永続的な記憶領域として使用され、さらに短期的な各種データの記憶領域としても使用される。
通信部２０４は、外部機器とネットワーク通信を行う。本実施例では、通信部２０４は、カメラ１００と通信を行う。映像入力部２０５は、カメラ１００から映像データを受信するためのインターフェースであり、ＳＤＩやＨＤＭＩで構成される。
検出手段としての推論部２０６は、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field -Programmable Gate Array）等で構成され、映像入力部２０５等から受信した映像データから特定の物体の有無や位置を推定（検出）する推論処理を実行する。なお、推論部２０６が行う推論処理をＣＰＵ２０１が行ってもよい。
ユーザ入力Ｉ／Ｆ２０７は、マウス、キーボード、タッチパネル等の入力デバイスが接続されるＵＳＢ（Universal Serial Bus）等のインターフェースであり、該入力デバイスに対するユーザの操作に対応する指示をＣＰＵ２０１に送信する。
［スイッチャ３００の構成］
スイッチャ３００は、ＣＰＵ３０１、ＲＡＭ３０２、映像入力部３０３、映像スイッチ制御部３０４、映像出力部３０５、ユーザ入力Ｉ／Ｆ３０６および通信部３０７を有し、これらは内部バス３０８を介して相互に接続されている。
ＣＰＵ３０１は、スイッチャ３００の動作全体を制御する。ＲＡＭ３０２は、ワークメモリとして一時的に制御プログラムやデータを格納する。
映像入力部３０３（Ａ３０３ａ、Ｂ３０３ｂ）は、カメラ１００からの映像データを受信するためのインターフェースであり、ＳＤＩやＨＤＭＩで構成される。映像入力部Ａ３０３ａはカメラ１００ａからの映像データを受信し、映像入力部Ｂ３０３ｂはカメラ１００ｂからの映像データを受信する。映像入力部３０３の数は、カメラ１００の数に対応していればよく、３つ以上であってもよい。
映像スイッチ制御部３０４は、映像入力部３０３に入力されている複数の映像データから後述するユーザ入力Ｉ／Ｆ３０６により選択された映像データを、後述する映像出力部３０５に出力する。
映像出力部３０５は、映像データを不図示のライブ配信機器や番組録画装置に出力するためのインターフェースであり、ＳＤＩやＨＤＭＩで構成される。
ユーザ入力Ｉ／Ｆ３０６は、スイッチャ３００に対するユーザからの操作の受け付けるためのインターフェースであり、ボタン、ダイヤル、ジョイスティック、タッチパネル等で構成される。ＣＰＵ３０１は、ユーザ入力Ｉ／Ｆ３０６を通じたユーザによる映像配信状況を切り替える操作に応じて、映像入力部３０３に入力されているカメラ１００からの映像データのうち、配信映像に使用する映像データやプレビュー映像に使用する映像データを選択する。そしてＣＰＵ３０１は、映像スイッチ制御部３０４に対して選択結果に応じて出力する映像データを切り替えるように指示する。例えば、映像入力部Ａ３０３ａへの入力映像データが配信映像に、映像入力部Ｂ３０３ｂへの入力映像データがプレビュー映像に選択されている状態でこれらを逆に切り替える操作が行われると、ＣＰＵ３０１は以下のように動作する。まずＣＰＵ３０１は、映像入力部Ａ３０３ａに接続されたカメラ１００ａに対して通信部３０７を介してカメラ１００ａがプレビューカメラに（カメラ１００ａからの映像データがプレビュー映像に）選択されたことを通知する選択コマンドを送信する。また、映像入力部３０３ｂに接続されたカメラ１００ｂに対して通信部３０７を介してカメラ１００ｂが配信カメラに（カメラ１００ｂからの映像データが配信映像に）選択されたことを通知する選択コマンドを送信する。次にＣＰＵ３０１は、カメラ１００ａからの映像データがプレビュー映像として使用され、カメラ１００ｂからの映像データが配信映像として使用されるという切り替え後の映像配信状況を示すデータをＲＡＭ３０２に格納する。
［被写体追尾処理］
次に、ワークステーション２００がカメラ１００からの映像データから検出した被写体に応じて、該被写体を追尾するようにカメラ１００を制御する処理について説明する。図３のフローチャートは、ワークステーション２００のＣＰＵ２０１が制御プログラムに従って実行する被写体追尾処理を示している。図４のフローチャートは、カメラ１００のＣＰＵ１０１が制御プログラムに従って実行する被写体追尾処理を示している。図中のＳはステップを意味する。
ワークステーション２００のＣＰＵ２０１は、通信部２０４やユーザ入力Ｉ／Ｆ２０７を介して被写体追尾を指示する命令を受信することで図３の処理を開始する。
Ｓ３０１において、ＣＰＵ２０１は、通信部２０４やユーザ入力Ｉ／Ｆ２０７を介して本処理の終了を示す指示する命令を受信しているか否か（処理を継続するか否か）を確認する。受信していなければＳ３０２へ進み、受信していれば本処理を終了する。
Ｓ３０２において、ＣＰＵ２０１は、ワークステーション２００の映像入力部２０５からカメラ１００が撮像により取得した映像データを受信してＲＡＭ２０２に格納する。
次にＳ３０３において、ＣＰＵ２０１は、ＲＡＭ２０２から映像データを読み出して推論部２０６に出力し、推論部２０６に被写体の種類や映像データ上での被写体の位置を推定（判定）させる。推論部２０６は、ディープラーニング等の機械学習を用いて作成された学習済みモデルを有し、入力データとしての画像データから出力データとしての人物等の被写体の種類や位置を示す情報とそれらの確からしさを示すスコアを出力する。本実施例では、被写体の位置の情報を、映像データ内での被写体の重心位置を示す座標として出力する。ＣＰＵ２０１は、被写体の種類や位置を示す情報とスコアをＲＡＭ２０２に格納する。
次にＳ３０４において、ＣＰＵ２０１は、カメラ１００のＣＰＵ１０１に対して現在のカメラ１００の状態を問い合わせるコマンドを送信し、それに対するカメラ１００からの応答であるカメラ情報をＲＡＭ２０２に格納する。カメラ情報には、パンおよびチルトの最大、最小および現在の角度およびズームにおける最大、最小および現在の画角（ズーム値）といったカメラ１００の駆動に関する情報や、出力する映像データの解像度およびフォーマット等の映像に関する情報が含まれる。
次にＳ３０５において、ＣＰＵ２０１は、Ｓ３０３でＲＡＭ２０２に格納した被写体の位置の情報と後述する追尾敏感度とＳ３０４でカメラ１００から取得したカメラ情報とを用いて、カメラ１００に被写体を追尾させるためのパン／チルト駆動部の制御量を算出する。そして、制御量をカメラ１００を制御する方法として予め取り決めているプロトコルに則って制御コマンドに変換してＲＡＭ２０２へ書き出す。制御量は、カメラ１００のパン駆動およびチルト駆動のそれぞれにおける駆動方向と駆動速度を指定する値である。制御量を算出する手順については後述する。
次にＳ３０６において、ＣＰＵ２０１は、Ｓ３０５にてＲＡＭ２０２へ書き出された制御コマンドをカメラ１００へ送信する。そしてＳ３０１に戻る。
一方、カメラ１００のＣＰＵ１０１は、ワークステーション２００がＳ３０６で送信した制御コマンドを受信することで処理を開始する。
Ｓ４０１において、ＣＰＵ１０１は受信した制御コマンドを読み出してＲＡＭ１０２へ書き出す。
次にＳ４０２において、ＣＰＵ１０１は、Ｓ４０１にてＲＡＭ１０２へ書き出された制御コマンドから、パン駆動およびチルト駆動の駆動方向と駆動速度を読み出す。
次にＳ４０３において、ＣＰＵ１０１は、Ｓ４０２にて読み出した値に基づいてパン駆動およびチルト駆動するための駆動パラメータを導出する。駆動パラメータは、ＰＴＺ制御部１０７に含まれるパン駆動用モータとチルト駆動用モータを制御するためのパラメータである。この際、受信した制御コマンドを予めＲＡＭ１０２に保持した変換テーブルを用いて駆動パラメータに変換してもよい。
次にＳ４０４において、ＣＰＵ１０１は、Ｓ４０３で導出した駆動パラメータに基づいてＰＴＺ制御部１０７を制御する。これにより、カメラ１００はパン駆動およびチルト駆動して撮像方向を変更する。そしてＣＰＵ１０１は、本処理を終了する。
［制御量の算出と追尾敏感度］
図３中のＳ３０５における制御量の算出方法について説明する。ワークステーション２００のＣＰＵ２０１は、撮像画角内の目標位置（例えば中心）を被写体位置に近づけるようにカメラ１００を制御する。この際、ＣＰＵ２０１は、目標位置を被写体位置に近づけるために必要なカメラ１００のＰＴＺ制御部１０７の制御量を算出する。具体的には、図５に示すように、目標位置から被写体位置までの距離に追尾敏感度に相当するゲインを乗算して制御量を算出する。追尾敏感度は、被写体の動き（被写体位置の変化）、つまりは目標位置から被写体位置までの距離の変化に対する撮像画角の向きの制御（変更）の速さに関するパラメータである。
制御量Ｙｐは、目標位置をＸｔ、被写体位置をＸｈ、ゲインをＫとした場合に以下の式で表される。
Ｙｐ＝（Ｘｈ－Ｘｔ）×Ｋ
制御量Ｙｐは、ゲインＫが標準値に設定されると図５中の直線５０１ａのように距離の変化に対して変化し、標準値よりも小さいゲインＫが設定されると直線５０１ｂのように距離に対して緩やかに変化する。また、標準値よりも大きいゲインＫが設定されると、直線５０１ｃのように距離の変化に対して急峻に変化する。このようにゲインＫを変更することで制御量Ｙｐを調整することができる。
なお、このように追尾敏感度が大きければ被写体の動きに対して急峻な追尾動作を行い、追尾敏感度が小さければ被写体の動きに対して緩やかな追尾動作を行うような制御量の調整方法であれば、どのような方法を採用してもよい。
また、目標位置の近傍に、被写体位置を検出してもパン駆動やチルト駆動の制御を行わない不感領域を設定してもよい。この場合、追尾敏感度が高ければ（つまりは後述するようにプレビューカメラや待機カメラであれば）パラメータとしての不感領域の大きさを縮小し、追尾敏感度が低ければ（つまりは配信カメラであれば）不感領域の大きさを拡大するようにしてもよい。また、ＰＴＺ制御部１０７に対して、目標位置と被写体位置の関係にかかわらず追尾敏感度に比例した制御量を設定してもよい。さらに、目標位置と被写体位置との差の絶対値と所定の閾値とを比較し、差の絶対値が閾値を下回ればパン駆動やチルト駆動の駆動速度を減少させ、上回れば駆動速度を増加させてもよい。この場合、追尾敏感度によって閾値を変えてもよい。すなわち、追尾敏感度が大きければ閾値を減少させ、追尾敏感度が小さければ閾値を増加させてもよい。これらの方法を組み合わせて用いてもよい。
［カメラ制御処理］
図６のフローチャートは、ワークステーション２００のＣＰＵ２０１が、制御プログラムに従って実行する、映像配信状況に応じてカメラ１００が被写体を追尾するための制御パラメータ（以下、カメラ制御パラメータという）を変更するカメラ制御処理（撮像制御方法）を示している。
Ｓ６０１において、ワークステーション２００のＣＰＵ２０１は、被写体を追尾するためのカメラ制御パラメータの初期設定を行う。具体的には、配信カメラ、プレビューカメラおよび待機カメラのそれぞれの追尾敏感度、ズームイン時のズーム値（以下、ズームイン値という）およびズームアウト時のズーム値（以下、ズームアウト値という）をそれぞれＲＯＭ２０３から読み出してＲＡＭ２０２に格納する。
配信カメラの追尾敏感度は、プレビューカメラおよび待機カメラの追尾敏感度より小さい。また、プレビューカメラと待機カメラの追尾敏感度を互いに異ならせてもよい。例えば、プレビューカメラの追尾敏感度を待機カメラの追尾敏感度より大きくしてもよい。
また、配信カメラおよびプレビューカメラのズーム値がズームイン値であり、待機カメラのズーム値がズームアウト値である。ズームイン値はズームアウト値よりも望遠側のズーム値であり、逆にズームアウト値はズームイン値よりも広角側のズーム値である。なお、配信カメラとプレビューカメラのズームイン値を互いに異ならせてもよい。例えば、プレビューカメラのズームイン値を配信カメラのズームイン値よりも広角側としてもよい。さらにズームイン値およびズームアウト値は、電子ズームにおいて用いることもできる。
また、初期設定の追尾敏感度、ズームイン値およびズームアウト値としてユーザ入力Ｉ／Ｆ２０７を介してユーザが入力したパラメータ値を利用してもよい。
Ｓ６０２において、ＣＰＵ２０１は、ＣＰＵ２０１は、通信部２０４やユーザ入力Ｉ／Ｆ２０７を介して本処理の終了を示す指示する命令を受信しているか否か（処理を継続するか否か）を確認する。受信していなければＳ６０３へ進み、受信していれば本処理を終了する。
Ｓ６０３において、ＣＰＵ２０１は、カメラ１００に現在の映像配信状況を示す配信状況情報を送信するよう指示する。該指示を受信した各カメラ１００のＣＰＵ１０１は、現在の配信状況情報をワークステーション２００に送信する。ＣＰＵ２０１は、取得した現在の配信状況情報が示す映像配信状況をＲＡＭ２０２に格納し、既に格納済みの映像配信状況を前回の映像配信状況としてＲＡＭ２０２に格納する。なお、本ステップにおいて、ＣＰＵ２０１は、スイッチャ３００（ＣＰＵ３０１）に対して現在の配信状況情報を送信するよう指示して、スイッチャ３００から現在の配信状況情報を取得してもよい。
次にＳ６０４において、ＣＰＵ２０１は、Ｓ６０３でＲＡＭ２０２に格納した現在の映像配信状況と前回の映像配信状況とを比較する。これらが一致すれば（映像配信状況に変化がなければ）Ｓ６０２に戻り、一致しない（映像配信状況が変化した）場合はＳ６０５に進む。
Ｓ６０５において、ＣＰＵ２０１は、Ｓ６０３でＲＡＭ２０２に格納した現在の映像配信状況においていずれかのカメラからの映像データが配信中か（つまりはいずれかのカメラが配信カメラか）否かを判別する。配信カメラに対してはＳ６０６に進み、配信カメラ以外のカメラに対してはＳ６０７に進む。
Ｓ６０６において、ＣＰＵ２０１は、Ｓ６０１で初期設定した配信カメラの追尾敏感度をＲＡＭ２０２から読み出し、これをＳ３０５での制御量の算出に用いる追尾敏感度（ゲイン）として設定してＲＡＭ２０２に格納する。本ステップで設定する配信カメラの追尾敏感度は、後述するＳ６０７で設定されるプレビューカメラおよび待機カメラの追尾敏感度よりも小さい。これは、映像配信中では被写体の動きに対する追従が高速すぎて映像品質が低下することを防ぐためである。この後ＣＰＵ２０１はＳ６１０に進む。
一方、Ｓ６０７において、ＣＰＵ２０１は、Ｓ６０１で初期設定したプレビューカメラおよび待機カメラの追尾敏感度をＲＡＭ２０２から読み出し、これをＳ３０５での制御量の算出に用いる追尾敏感度として設定してＲＡＭ２０２に格納する。本ステップで設定する追尾敏感度はＳ６０６で設定される追尾敏感度よりも大きい。これは、配信カメラ以外のカメラに被写体の動きを高速で追尾させるためである。この後ＣＰＵ２０１はＳ６０８に進む。
Ｓ６０８において、ＣＰＵ２０１は、Ｓ６０３でＲＡＭ２０２に格納した現在の映像配信状況においていずれかのカメラからの映像データがプレビュー中か（つまりはいずれかのカメラがプレビューカメラか）否かを判別する。プレビューカメラに対してはＳ６１０に進み、プレビューカメラ以外の待機カメラに対してはＳ６０９に進む。
Ｓ６０９において、ＣＰＵ２０１は、Ｓ６０１でＲＡＭ２０２に格納したズームアウト値を読み出し、これを待機カメラに送信してズーム値を変更するよう指示する。該指示を受信した待機カメラのＣＰＵ１０１は、ＰＴＺ制御部１０７を介して撮像部１０４に受信したズームアウト値へのズーム駆動を行わせる。これにより、待機カメラが被写体をロストする可能性を低減することができる。この際のズーム速度を配信カメラでのズーム速度より速くしてもよい。この後ＣＰＵ２０１はＳ６０２に戻る。
なお、待機カメラにズームアウトさせる際に予めズームアウト値を設定せずに、最小のズーム値（広角端）にズームアウトさせてもよい。この場合、ワークステーション２００のＣＰＵ２０１は、待機カメラのＣＰＵ１０１に対してズーム値を最小にするよう指示する。また、ワークステーション２００のＣＰＵ２０１は、推論部２０６の出力データを用いてズーム値を決定してもよい。
Ｓ６１０において、ワークステーション２００のＣＰＵ２０１は、Ｓ６０３でＲＡＭ２０２に格納した前回の映像配信状況において現在の配信カメラまたはプレビューカメラが前回の待機カメラであったか否かを判別する。前回の待機カメラであった場合はＳ６１１に進み、そうでなければＳ６０２に戻る。
Ｓ６１１において、ワークステーション２００のＣＰＵ２０１は、Ｓ６０１でＲＡＭ２０２に格納したズームイン値を読み出し、これを前回に待機カメラであった現在の配信カメラまたはプレビューカメラに送信してズーム値を変更するよう指示する。該指示を受けた前回に待機カメラであった配信カメラまたはプレビューカメラのＣＰＵ１０１は、ＰＴＺ制御部１０７を介して撮像部１０４に受信したズームイン値へのズーム駆動を行わせる。これにより、配信カメラおよびプレビューカメラは、被写体をアップで撮像することができる。この際の配信カメラのズーム速度を待機カメラのズーム速度より遅くしてもよい。これにより配信映像の急峻な画角変化を抑えて違和感のない映像を提供できる。またプレビューカメラのズーム速度を待機カメラのズーム速度と同様に高速にしてもよいし、配信カメラと待機カメラの中間のズーム速度としてもよい。
なお、配信カメラまたはプレビューカメラにズームインさせる際に予めズームイン値を設定せずに、これらのカメラが待機カメラに切り替わる前（元々の配信またはプレビューカメラであったとき）のズーム値に戻すようにしてもよい。この場合、Ｓ６０９でズームアウトする前に、ワークステーション２００のＣＰＵ２０１はカメラ１００にズーム値を問い合わせ、その応答としてのズーム値をＲＡＭ２０２に格納しておく。そしてＳ６１１でＣＰＵ２０１はＲＡＭ２０２に格納されたズーム値を読み出し、これを現在の配信またはプレビューカメラに送信してズーム値を変更するよう指示する。
また、ワークステーション２００のＣＰＵ２０１は、推論部２０６の出力データを用いてズーム値を決定してもよい。例えば、推論部２０６から被写体の四隅の位置情報を取得して被写体の大きさを算出し、その被写体が所定の大きさになるようにズーム値を算出する。そして、これを現在の配信またはプレビューカメラに送信してズーム値を変更するよう指示してもよい。
以上説明した本実施例によれば、カメラ１００の映像配信状況をワークステーション２００が取得し、その映像配信状況に応じてカメラ制御パラメータ（追尾敏感度やズーム値等）を変更する。これにより、自動追尾を行う映像配信システムにおいて、視聴者に高品質の映像を視聴させることができるとともに、円滑な被写体追尾を行うことができる。すなわち、配信される映像データを生成するカメラ１００の適切な制御を行うことができる。
なお、本実施例では、配信カメラ、プレビューカメラおよび待機カメラの３種類のカメラを使用する場合について説明したが、配信カメラと待機カメラの２種類のカメラを使用してもよい。この場合、図６中のＳ６０７の処理の後は、Ｓ６０８の処理は行わずにＳ６０９の処理を行う。
次に、本発明の実施例２について説明する。実施例１では、ワークステーション２００が映像データから被写体位置を推定し、その結果に基づいてカメラ１００の制御を行う。これに対して、本実施例では、同様の推定機能および制御機能をカメラ１００が持つことで、ワークステーションを含まない映像配信システムを構成している。すなわち、カメラ１００は撮像制御装置を含む。
図７は、本実施例の映像配信システムを示している。図８は、本実施例の映像配信システムにおけるカメラ１００（１００ａ、１００ｂ）およびスイッチャ３００の構成を示している。カメラ１００は、図２に示した構成要素に加えて推論部１１０を有する。スイッチャ３００の構成は、図２に示したスイッチャ３００と同じである。ただし、本実施例では、スイッチャ３００は図６に示した処理は実行しない。
図９は、本実施例においてカメラ１００のＣＰＵ１０１が制御プログラムに従って実行する被写体追尾処理を示している。
ＣＰＵ１０１は、通信部１０６を介して被写体追尾を指示する命令を受信することで図９の処理を開始する。
Ｓ９０１において、ＣＰＵ１０１は、通信部１０６を介して本処理の終了を示す指示する命令を受信しているか否か（処理を継続するか否か）を確認する。受信していなければＳ９０２へ進み、受信していれば本処理を終了する。
Ｓ９０２において、ＣＰＵ１０１は、撮像部１０４から撮像により取得された映像データをＲＡＭ１０２に格納する。
次にＳ９０３において、ＣＰＵ１０１は、ＲＡＭ２０２から映像データを読み出して推論部１１０に出力し、推論部１１０に被写体の種類や映像データ上での被写体の位置を推定（判定）させる。推論部１１０は、図２に示した推論部２０６と同様に映像データから出力データとしての人物等の被写体の種類や位置を示す情報とそれらの確からしさを示すスコアを出力し、被写体の種類や位置を示す情報とスコアをＲＡＭ１０２に格納する。
次にＳ９０４において、ＣＰＵ１０１は、ＰＴＺ制御部１０７にカメラ１００の駆動状態を問い合わせる。カメラ１００の駆動状態には、パンおよびチルトの最大、最小および現在の角度およびズームにおける最大、最小および現在のズーム値が含まれる。またＣＰＵ１０１は、ＲＡＭ１０２やＲＯＭ１０３から、映像データの解像度およびフォーマット等のカメラ１００の設定状態を読み出す。
次にＳ９０５において、ＣＰＵ１０１は、Ｓ９０３にてＲＡＭ１０２に格納した被写体位置の情報と追尾敏感度とＳ９０４にて取得したカメラ１００の駆動状態から、被写体を追尾するための制御コマンド（制御量）を算出する。制御量の算出方法は、図３中のＳ３０５と同様である。
次にＳ９０６において、ＣＰＵ１０１は、Ｓ９０５にて算出した制御コマンドから、パン駆動およびチルト駆動するための駆動パラメータを導出する。
そしてＳ９０７において、ＣＰＵ１０１は、Ｓ９０６にて導出した駆動パラメータに基づいてＰＴＺ制御部１０７を制御する。これにより、カメラ１００はパン駆動およびチルト駆動して撮像方向を変更する。そしてＣＰＵ１０１はＳ９０１に戻る。
本実施例によれば、ワークステーションを有さなくても、被写体を追尾するようにカメラ１００を動作させることができる。
本実施例では、実施例１において図６に示した処理と同様のカメラ制御処理をカメラ１００のＣＰＵ１０１が行うことで、カメラ１００の映像配信状況に応じた被写体を追尾するためのカメラ制御パラメータを変更する。
Ｓ６０１において、ＣＰＵ１０１は、カメラ制御パラメータの初期設定を行う。具体的には、配信カメラ、プレビューカメラおよび待機カメラのそれぞれの追尾敏感度、ズームイン値およびズームアウト値をそれぞれＲＯＭ１０３から読み出してＲＡＭ１０２に格納する。なお、初期設定の追尾敏感度、ズームイン値およびズームアウト値として、カメラ１００に設けられた不図示のユーザ入力Ｉ／Ｆを介してユーザが入力したパラメータ値を利用してもよい。
次にＳ６０２において、ＣＰＵ１０１は、通信部１０６を介して本処理の終了を示す指示する命令を受信しているか否か（処理を継続するか否か）を確認する。受信していなければＳ６０３へ進み、受信していれば本処理を終了する。
Ｓ６０３において、ＣＰＵ１０１は、ＲＡＭ１０２に格納されている現在の映像配信状況と前回の映像配信状況を読み出す。
次にＳ６０４において、ＣＰＵ１０１は、Ｓ６０３で読み出した現在の映像配信状況と前回の映像配信状況を比較する。これらが一致すればＳ６０２に進み、一致しない場合はＳ６０５に進む。
Ｓ６０５において、ＣＰＵ１０１は、Ｓ６０３で読み出した現在の映像配信状況においていずれかのカメラからの映像データが配信中か（つまりはいずれかのカメラが配信カメラか）否かを判別する。配信カメラに対してはＳ６０６に進み、配信カメラ以外のカメラに対してはＳ６０７に進む。
Ｓ６０６において、ＣＰＵ１０１は、Ｓ６０１で初期設定した配信カメラの追尾敏感度をＲＡＭ１０２から読み出し、これをＳ９０５での制御量の算出に用いる追尾敏感度（ゲイン）として設定してＲＡＭ１０２に格納する。この後ＣＰＵ２０１はＳ６１０に進む。
Ｓ６０７において、ＣＰＵ１０１は、Ｓ６０１で初期設定したプレビューおよび待機カメラの追尾敏感度をＲＡＭ１０２から読み出し、これをＳ９０５での制御量の算出に用いる追尾敏感度として設定してＲＡＭ１０２に格納する。この後ＣＰＵ２０１はＳ６０８に進む。
Ｓ６０８において、ＣＰＵ１０１は、Ｓ６０３でＲＡＭ１０２に格納した現在の映像配信状況においていずれかのカメラからの映像データがブレビュー中か（つまりはいずれかのカメラがプレビューカメラか）否かを判別する。プレビューカメラに対してはＳ６１０に進み、プレビューカメラ以外の待機カメラに対してはＳ６０９に進む。
Ｓ６０９において、待機カメラのＣＰＵ１０１は、Ｓ６０１でＲＡＭ１０２に格納したズームアウト値を読み出し、ＰＴＺ制御部１０７を介して撮像部１０４に受信したズームアウト値へのズーム駆動を行わせる。
Ｓ６１０において、ＣＰＵ１０１は、Ｓ６０３でＲＡＭ１０２に格納した前回の映像配信状況において現在の配信カメラまたはプレビューカメラが前回の待機カメラであったか否かを判別する。前回の待機カメラであった場合はＳ６１１に進み、そうでなければＳ６０２に戻る。
Ｓ６１１において、前回の待機カメラであった現在の配信カメラまたはプレビューカメラのＣＰＵ１０１は、Ｓ６０１でＲＡＭ１０２に格納したズームイン値を読み出し、ＰＴＺ制御部１０７を介して撮像部１０４に受信したズームイン値へのズーム駆動を行わせる。
本実施例では、自動追尾機能をカメラ１００に搭載した場合においても（ワークステーションを有さなくても）、映像配信状況に応じてカメラ制御パラメータを変更する。これにより、自動追尾を行う映像配信システムにおいて、視聴者に高品質の映像を視聴させることができるとともに、円滑な被写体追尾を行うことができる。
次に、本発明の実施例３について説明する。本実施例では、実施例１のワークステーション２００に代えて、撮像制御装置としてのコントローラ６００を有する。実施例１、２ではワークステーション２００またはカメラ１００が映像データから推定した被写体位置に基づいてカメラ１００が制御されるが、本実施例ではユーザにより操作されるコントローラ６００がカメラ１００を制御する。すなわち、本実施例では、映像データからの被写体位置の推定を行わずに被写体を自動追尾するようにカメラ１００を制御する。
カメラ１００の制御をユーザがコントローラ６００を通じて行う際には、図１０に示すようにカメラ１００により取得された映像５０をコントローラ６００（又は不図示のモニタ）に表示させることで、ユーザはその映像５０を見ながらコントローラ６００を操作する。この際の映像５０は、スイッチャ３００において選択された配信カメラまたはプレビューカメラからの配信映像またはプレビュー映像である。
その後、スイッチャ３００において待機カメラが配信カメラまたはプレビューカメラに切り替えられた場合に待機カメラのズーム値が望遠側であると、映像５０から被写体２０が消えて被写体をロストする可能性が高くなり、再び被写体２０を撮像するのに時間を要する。本実施例では、このような場合でも被写体をロストする可能性を低減しつつ、視聴者に視聴させる高品質の映像の配信を可能とする。
カメラ１００、スイッチャ３００およびコントローラ６００はそれぞれネットワーク４００を介して相互に通信可能である。これらを通信ケーブルを介して接続してもよい。
コントローラ６００は、カメラ１００に対して、ネットワーク４００（又は通信ケーブル）を介して各カメラ１００に映像ストリームの送信を要求する映像要求コマンドや各種パラメータの設定を指示する設定コマンドを送信して各カメラ１００の動作を制御する。各カメラ１００は、映像要求コマンドに応じて映像ストリームを映像ケーブル（又はネットワーク４００）を介してコントローラ６００に送信したり、設定コマンドに応じて種々のパラメータを記憶したりする。コントローラ６００は、各カメラ１００に対してパン、チルトおよびズームを制御するコマンドを送信することで、カメラ１００の撮像画角のパンおよびチルト方向での向きや大きさを制御する。
図１１には、本実施例の映像配信システムにおけるカメラ１００、スイッチャ３００およびコントローラ６００の構成を示している。カメラ１００およびスイッチャ３００の構成は実施例１と同様である。
コントローラ６００は、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、通信部６０４、表示部６０５およびユーザ入力Ｉ／Ｆ６０６を有し、これらは内部バス６０７を介して相互に接続されている。
ＣＰＵ６０１は、コントローラ６００の動作全体を制御する。ＲＡＭ６０２は、ワークメモリとして一時的に制御プログラムやデータを格納する。ＲＯＭ６０３は、フラッシュメモリ等に代表される不揮発性記憶媒体であり、ＯＳ、各種プログラムおよび各種データの永続的な記憶領域として使用される。またＲＯＭ６０３は、短期的な各種データの記憶領域としても使用される。
通信部６０４は、外部機器とネットワーク通信を行う。本実施例では、通信部６０４はカメラ１００と通信を行う。表示部６０５は、液晶パネルや有機ＥＬパネル等により構成され、カメラ１００から取得した映像データやコントローラ６００の設定用の画面を表示する。
ユーザ入力Ｉ／Ｆ６０６は、コントローラ６００に設けられたボタン、ダイヤル、ジョイスティック、タッチパネル等の入力デバイスが接続され、該入力デバイスに対するユーザの操作に対応する指示をＣＰＵ６０１に送信する。これにより、入力デバイスに対するユーザの操作に応じた制御コマンドを送信するカメラを選択することもでき、制御コマンドを送信するカメラの選択に関する情報はＲＡＭ６０２に格納される。
図１２のフローチャートは、コントローラ６００のＣＰＵ６０１が制御プログラムに従って実行するカメラ制御処理を示している。本実施例ではカメラ１００はコントローラ６００から送信される制御コマンドに基づいて制御されるが、カメラ１００が行う処理は図４と同様であるため、ここでの説明を省略する。
コントローラ６００のＣＰＵ６０１は、コントローラ６００の入力デバイス（ここではジョイスティックとする）に対する操作をユーザ入力Ｉ／Ｆ６０６を介して検出することで本処理を開始する。
Ｓ１２０１において、ＣＰＵ６０１は、ユーザによるジョイスティックの操作を読み込む。
次にＳ１２０２において、ＣＰＵ６０１は、ジョイスティックの操作方向と操作量を取得する。ジョイスティックの例としては、パン方向およびチルト方向のそれぞれに設けられた可変抵抗器からアナログ電圧を出力するものがある。ＣＰＵ６０１は、このジョイスティックから出力されるアナログ電圧をＡ／Ｄ変換して得られるデジタル値を読み出すことで操作方向と操作量を取得する。またＣＰＵ６０１は、パン方向およびチルト方向のそれぞれにおいて０～１０２３等の所定範囲のデジタル値の変化速度をジョイスティックの操作速度（角速度）として取得することができる。
次にＳ１２０３において、ＣＰＵ６０１は、ジョイスティックの操作方向、操作量および操作速度を予め取り決められたプロトコルに則って制御コマンドに変換してＲＡＭ６０２へ書き出す。
次にＳ１２０４において、ＣＰＵ６０１は、Ｓ１２０３にてＲＡＭ６０２から制御コマンドと該制御コマンドを送信するカメラの選択に関する情報とを読み出す。そしてＣＰＵ６０１は、通信部６０４を介して制御コマンドを選択されているカメラ１００へ送信する。
以上の処理により、コントローラ６００に対するユーザ操作に応じたカメラ１００のパン駆動およびチルト駆動の制御を行うことができる。
図１３のフローチャートは、コントローラ６００のＣＰＵ６０１が、制御プログラムに従って実行する、映像配信状況に応じてカメラ１００が被写体を追尾するためのカメラ制御パラメータを変更するカメラ制御処理（撮像制御方法）を示している。
Ｓ１３０１において、ＣＰＵ６０１は、カメラ制御パラメータの初期設定を行う。具体的には、ズームイン値およびズームアウト値をそれぞれＲＯＭ６０３から読み出してＲＡＭ６０２に格納する。なお、初期設定のズームイン値およびズームアウト値として、ユーザ入力Ｉ／Ｆ６０６に接続された入力デバイスを通じてユーザが入力したパラメータ値を利用してもよい。
次にＳ１３０２において、ＣＰＵ６０１は、通信部６０４やユーザ入力Ｉ／Ｆ６０６を介して本処理の終了を示す指示する命令を受信しているか否か（処理を継続するか否か）を確認する。受信していなければＳ１３０３へ進み、受信していれば本処理を終了する。
Ｓ１３０３において、ＣＰＵ６０１は、カメラ１００に対して現在の映像配信状況（配信状況情報）を送信するように指示する。該指示を受信したカメラ１００のＣＰＵ１０１は、現在の映像配信状況をコントローラ６００に送信する。現在の映像配信状況を受信したコントローラ６００のＣＰＵ６０１は、これをＲＡＭ６０２に格納する。またＣＰＵ６０１は、既に格納済みの映像配信状況を前回の映像配信状況としてＲＡＭ６０２に格納する。
次にＳ１３０４において、ＣＰＵ６０１は、Ｓ１３０３でＲＡＭ６０２に格納した現在の映像配信状況と前回の映像配信状況を比較する。これらが一致すれば（映像配信状況に変化がないと）Ｓ１３０２に進み、一致しない（映像配信状況が変化した）場合はＳ１３０５に進む。
Ｓ１３０５において、ＣＰＵ６０１は、Ｓ１３０３でＲＡＭ６０２に格納した現在の映像配信状況においていずれかのカメラからの映像データが待機中か（すなわち、いずれかのカメラが待機カメラか）否かを判別する。待機カメラに対してはＳ１３０６に進み、待機カメラ以外の配信カメラおよびプレビューカメラに対してはＳ１３０７に進む。
Ｓ１３０６において、ＣＰＵ６０１は、Ｓ１３０１でＲＡＭ６０２に格納したズームアウト値を読み出し、これを待機カメラに送信してズーム値を変更するよう指示する。該指示を受信した待機カメラのＣＰＵ１０１は、ＰＴＺ制御部１０７を介して撮像部１０４に受信したズームアウト値へのズーム駆動を行わせる。これにより、待機カメラが被写体をロストする可能性を低減することができる。この後ＣＰＵ６０１はＳ１３０２に戻る。
なお、本実施例でも、待機カメラにズームアウトさせる際に予めズームアウト値を設定せずに、最小のズーム値にズームアウトさせてもよい。この場合、ＣＰＵ６０１は、待機カメラのＣＰＵ１０１に対してズーム値を最小にするよう指示する。
Ｓ１３０７において、でコントローラ６００のＣＰＵ６０１は、Ｓ１３０３でＲＡＭ６０２に格納した前回の映像配信状況において現在の配信カメラまたはプレビューカメラが前回の待機カメラであったか否かを判別する。前回の待機カメラであった場合はＳ１３０８に進み、そうでなければＳ１３０２に戻る。
Ｓ１３０８において、ＣＰＵ６０１は、Ｓ１３０１でＲＡＭ６０２に格納したズームイン値を読み出し、これを前回に待機カメラであった現在の配信カメラまたはプレビューカメラに送信してズーム値を変更するよう指示する。該指示を受けた前回に待機カメラであった配信カメラまたはプレビューカメラのＣＰＵ１０１は、ＰＴＺ制御部１０７を介して撮像部１０４に受信したズームイン値へのズーム駆動を行わせる。これにより、配信カメラまたはプレビューカメラは、被写体をアップで撮像することができる。この後ＣＰＵ６０１はＳ１３０２に戻る。
なお、配信カメラまたはプレビューカメラにズームインさせる際に予めズームイン値を設定せずに、これらのカメラが前回に待機カメラに切り替わる前（元々の配信またはプレビューカメラであったとき）のズーム値に戻すようにしてもよい。この場合、Ｓ１３０６でズームアウトする前に、ＣＰＵ６０１はカメラ１００にズーム値を問い合わせ、その応答としてのズーム値をＲＡＭ６０２に格納しておく。そしてＳ１３０８でＣＰＵ６０１はＲＡＭ６０２に格納されたズーム値を読み出し、これを現在の配信またはプレビューカメラに送信してズーム値を変更するよう指示する。
なお、本実施例ではコントローラ６００がカメラ１００の映像配信状況を取得し、取得した映像配信状況に基づいてカメラ１００を制御するが、カメラ１００が自身の映像配信状況を読み取って自身を制御してもよい。この場合、カメラ１００のＣＰＵ１０１が、ＲＡＭ１０２に格納されている配信カメラ、プレビューカメラおよび待機カメラの追尾敏感度、ズームイン値、ズームアウト値、現在と前回の映像配信状況を読み出してＳ１３０３～Ｓ１３０８の処理を行う。
以上説明した本実施例によれば、コントローラ６００に対するユーザ操作に応じてカメラ１００が制御される場合において、視聴者に高品質の映像を視聴させることができるとともに、円滑な被写体追尾を行うことができる。
以上の実施の形態には、以下の構成が含まれる。
（構成１）
撮像装置により生成された映像データの配信状況を取得する取得手段と、
前記撮像装置のズームを制御する制御手段とを有し、
前記制御手段は、前記配信状況に応じて、ズーム値を変更することを特徴とする撮像制御装置。
（構成２)
前記映像データから被写体を検出する検出手段を有し、
前記制御手段は、検出された前記被写体に基づいて前記ズーム値を制御することを特徴とする構成１に記載の撮像制御装置。
（構成３)
前記撮像装置が複数あり、
前記取得手段は、前記複数の撮像装置のそれぞれにより生成された複数の映像データの前記配信状況を取得し、
前記制御手段は、前記複数の撮像装置のそれぞれの前記ズーム値を前記配信状況に応じて変更することを特徴とする構成１または２に記載の撮像制御装置。
（構成４)
前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
前記制御手段は、前記待機状態において前記配信状態よりも前記ズーム値を広角側とすることを特徴とする構成１から３のいずれか１つに記載の撮像制御装置。
（構成５)
前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
前記制御手段は、
前記配信状態から前記待機状態になった際に前記配信状態での前記ズーム値を記憶し、
前記待機状態から前記配信状態になった際に、前記ズーム値を前記記憶されたズーム値に変更することを特徴とする構成１から４のいずれか１つに記載の撮像制御装置。
（構成６)
前記配信状況は、前記映像データが配信されている配信状態、配信を待機している待機状態および前記待機状態より先に前記配信状態となり得るプレビュー状態を含み、
前記制御手段は、前記プレビュー状態と前記待機状態とで前記ズーム値を変更することを特徴とする構成１から５のいずれか１つに記載の撮像制御装置。
（構成７)
前記制御手段は、前記待機状態において前記プレビュー状態よりも前記ズーム値を広角側とすることを特徴とする構成６に記載の撮像制御装置。
（構成８)
前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
前記制御手段は、前記配信状態において前記待機状態よりもズーム速度を遅くすることを特徴とする構成１から７のいずれか１つに記載の撮像制御装置。
（構成９)
前記映像データから被写体を検出する検出手段を有し、
前記制御手段は、
検出された前記被写体の位置に応じて前記撮像装置の撮像方向を制御し、
前記配信状況に応じて、前記撮像方向を制御するためのパラメータを変更することを特徴とする構成１から８のいずれか１つに記載の撮像制御装置。
（構成１０)
前記パラメータは、前記被写体の位置の変化に対する前記撮像方向の制御の速さに関する敏感度であることを特徴とする構成９に記載の撮像制御装置。
（構成１１)
撮像装置により生成された映像データの配信状況を取得する取得手段と、
前記映像データから被写体を検出する検出手段と、
検出された前記被写体の位置に応じて前記撮像装置の撮像方向を制御する制御手段とを有し、
前記制御手段は、前記配信状況に応じて、前記撮像方向を制御するためのパラメータを変更することを特徴とする撮像制御装置。
（構成１２)
前記パラメータは、前記被写体の位置の変化に対する前記撮像方向の制御の速さに関する敏感度であることを特徴とする構成１１に記載の撮像制御装置。
（構成１３)
前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
前記制御手段は、前記配信状態において前記待機状態よりも前記速さが遅くなるように前記敏感度を設定することを特徴とする構成１２に記載の撮像制御装置。
（構成１４)
前記配信状況は、前記映像データが配信されている配信状態、配信を待機している待機状態および前記待機状態より先に前記配信状態となり得るプレビュー状態を含み、
前記制御手段は、前記配信状態と前記プレビュー状態とで前記敏感度を変更することを特徴とする構成１１から１３のいずれか１つに記載の撮像制御装置。
（構成１５)
前記制御手段は、前記配信状態において前記プレビュー状態よりも前記速さが遅くなるように前記敏感度を設定することを特徴とする構成１４に記載の撮像制御装置。
（構成１６)
前記制御手段は、
前記被写体の動きに対して前記撮像方向を制御しない不感領域を設定し、
前記パラメータは、前記不感領域の大きさであることを特徴とする構成１１から１６のいずれか１つに記載の撮像制御装置。
（構成１７)
前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
前記制御手段は、前記配信状態において前記待機状態よりも前記不感領域の大きさを大きくすることを特徴とする構成１６に記載の撮像制御装置。
（構成１８)
撮像を行って映像データを生成する撮像部と、
構成１から１７のいずれか一項に記載の撮像制御装置とを有することを特徴とする撮像装置。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
１００ カメラ
１０１ ＣＰＵ
２００ ワークステーション
２０１ ＣＰＵ
３００ スイッチャ
３０１ ＣＰＵ
６００ コントローラ
６０１ ＣＰＵ

Claims (21)

  1. 撮像装置により生成された映像データの配信状況を取得する取得手段と、
    前記撮像装置のズームを制御する制御手段とを有し、
    前記制御手段は、前記配信状況に応じて、ズーム値を変更することを特徴とする撮像制御装置。
  2. 前記映像データから被写体を検出する検出手段を有し、
    前記制御手段は、検出された前記被写体に基づいて前記ズーム値を制御することを特徴とする請求項１に記載の撮像制御装置。
  3. 前記撮像装置が複数あり、
    前記取得手段は、前記複数の撮像装置のそれぞれにより生成された複数の映像データの前記配信状況を取得し、
    前記制御手段は、前記複数の撮像装置のそれぞれの前記ズーム値を前記配信状況に応じて変更することを特徴とする請求項１に記載の撮像制御装置。
  4. 前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
    前記制御手段は、前記待機状態において前記配信状態よりも前記ズーム値を広角側とすることを特徴とする請求項１に記載の撮像制御装置。
  5. 前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
    前記制御手段は、
    前記配信状態から前記待機状態になった際に前記配信状態での前記ズーム値を記憶し、
    前記待機状態から前記配信状態になった際に、前記ズーム値を前記記憶されたズーム値に変更することを特徴とする請求項１に記載の撮像制御装置。
  6. 前記配信状況は、前記映像データが配信されている配信状態、配信を待機している待機状態および前記待機状態より先に前記配信状態となり得るプレビュー状態を含み、
    前記制御手段は、前記プレビュー状態と前記待機状態とで前記ズーム値を変更することを特徴とする請求項１に記載の撮像制御装置。
  7. 前記制御手段は、前記待機状態において前記プレビュー状態よりも前記ズーム値を広角側とすることを特徴とする請求項６に記載の撮像制御装置。
  8. 前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
    前記制御手段は、前記配信状態において前記待機状態よりもズーム速度を遅くすることを特徴とする請求項１に記載の撮像制御装置。
  9. 前記映像データから被写体を検出する検出手段を有し、
    前記制御手段は、
    検出された前記被写体の位置に応じて前記撮像装置の撮像方向を制御し、
    前記配信状況に応じて、前記撮像方向を制御するためのパラメータを変更することを特徴とする請求項１に記載の撮像制御装置。
  10. 前記パラメータは、前記被写体の位置の変化に対する前記撮像方向の制御の速さに関する敏感度であることを特徴とする請求項９に記載の撮像制御装置。
  11. 撮像装置により生成された映像データの配信状況を取得する取得手段と、
    前記映像データから被写体を検出する検出手段と、
    検出された前記被写体の位置に応じて前記撮像装置の撮像方向を制御する制御手段とを有し、
    前記制御手段は、前記配信状況に応じて、前記撮像方向を制御するためのパラメータを変更することを特徴とする撮像制御装置。
  12. 前記パラメータは、前記被写体の位置の変化に対する前記撮像方向の制御の速さに関する敏感度であることを特徴とする請求項１１に記載の撮像制御装置。
  13. 前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
    前記制御手段は、前記配信状態において前記待機状態よりも前記速さが遅くなるように前記敏感度を設定することを特徴とする請求項１２に記載の撮像制御装置。
  14. 前記配信状況は、前記映像データが配信されている配信状態、配信を待機している待機状態および前記待機状態より先に前記配信状態となり得るプレビュー状態を含み、
    前記制御手段は、前記配信状態と前記プレビュー状態とで前記敏感度を変更することを特徴とする請求項１１に記載の撮像制御装置。
  15. 前記制御手段は、前記配信状態において前記プレビュー状態よりも前記速さが遅くなるように前記敏感度を設定することを特徴とする請求項１４に記載の撮像制御装置。
  16. 前記制御手段は、
    前記被写体の動きに対して前記撮像方向を制御しない不感領域を設定し、
    前記パラメータは、前記不感領域の大きさであることを特徴とする請求項１１に記載の撮像制御装置。
  17. 前記配信状況は、前記映像データが配信されている配信状態と配信を待機している待機状態を含み、
    前記制御手段は、前記配信状態において前記待機状態よりも前記不感領域の大きさを大きくすることを特徴とする請求項１６に記載の撮像制御装置。
  18. 撮像を行って映像データを生成する撮像部と、
    請求項１から１７のいずれか一項に記載の撮像制御装置とを有することを特徴とする撮像装置。
  19. 撮像装置により生成された映像データの配信状況を取得するステップと、
    前記撮像装置のズームを制御するステップとを有し、
    前記ズームを制御するステップにおいて、前記配信状況に応じて、ズーム値を変更することを特徴とする撮像制御方法。
  20. 撮像装置により生成された映像データの配信状況を取得するステップと、
    前記映像データから被写体を検出するステップと、
    検出された前記被写体の位置に応じて前記撮像装置の撮像方向を制御するステップとを有し、
    前記撮像方向を制御するステップにおいて、前記配信状況に応じて、前記撮像方向を制御するためのパラメータを変更することを特徴とする撮像制御方法。
  21. 請求項１９または２０に記載の撮像制御方法をコンピュータに実行させることを特徴とするプログラム。
JP2022137841A 2022-08-31 2022-08-31 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法 Pending JP2024033919A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022137841A JP2024033919A (ja) 2022-08-31 2022-08-31 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法
EP23192568.6A EP4333447A1 (en) 2022-08-31 2023-08-22 Imaging control apparatus, image pickup apparatus, imaging control method, and program
CN202311104495.8A CN117641126A (zh) 2022-08-31 2023-08-30 摄像控制设备、摄像设备、摄像控制方法和存储介质
US18/458,850 US20240073525A1 (en) 2022-08-31 2023-08-30 Imaging control apparatus, image pickup apparatus, imaging control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022137841A JP2024033919A (ja) 2022-08-31 2022-08-31 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法

Publications (1)

Publication Number Publication Date
JP2024033919A true JP2024033919A (ja) 2024-03-13

Family

ID=87762691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022137841A Pending JP2024033919A (ja) 2022-08-31 2022-08-31 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法

Country Status (4)

Country Link
US (1) US20240073525A1 (ja)
EP (1) EP4333447A1 (ja)
JP (1) JP2024033919A (ja)
CN (1) CN117641126A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082665B2 (en) * 2010-11-05 2021-08-03 Razberi Secure Technologies, Llc System and method for a security system
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
JP7358116B2 (ja) 2019-08-21 2023-10-10 キヤノン株式会社 撮像装置、制御装置、プログラム、記憶媒体及び制御方法

Also Published As

Publication number Publication date
US20240073525A1 (en) 2024-02-29
EP4333447A1 (en) 2024-03-06
CN117641126A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
US7848628B2 (en) Camera system, camera control apparatus, panorama image making method and computer program product
KR101299613B1 (ko) 제어 장치, 제어 방법, 카메라 시스템 및 기록 매체
CN106454065B (zh) 信息处理装置及其控制方法
TWI461057B (zh) 控制裝置，相機系統及程式
US9325970B2 (en) Imaging control device and imaging control method
US20110012998A1 (en) Imaging device, imaging method and recording medium
US20040179121A1 (en) System and method for displaying captured images according to imaging device position
JP4760896B2 (ja) カメラ制御装置及びカメラ制御方法
US20110090341A1 (en) Intruding object detection system and controlling method thereof
US11823715B2 (en) Image processing device and image processing method
JP2016082556A (ja) 制御装置及びその制御方法、プログラム
JP2019205161A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US11128764B2 (en) Imaging apparatus, control method, and non-transitory computer readable medium
EP0989747B1 (en) Television lens apparatus adapted for a virtual studio
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP2024033919A (ja) 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法
JP7386307B2 (ja) ビデオストリームを送信するための方法およびシステム
JPH09116886A (ja) 画像情報通信装置
US10567665B2 (en) Display control device and display control system
KR20090028043A (ko) 촬영 화면 기반의 화면 지정이 가능한 촬영 장치 및 화면지정 방법
US20240022812A1 (en) Image capturing system, control apparatus, image capturing apparatus, and display apparatus constituting the system, control method, and display method
JP2021056809A (ja) 表示制御装置、方法及びプログラム
JP2024010640A (ja) 撮像システム及びそれを構成する制御装置、撮像装置、制御方法
US20230269360A1 (en) Electronic device and method for controlling electronic device
JP2024033741A (ja) 制御装置、撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240724