JP2024060611A - 撮像システム、撮像システムの制御方法、および撮像システムの制御プログラム - Google Patents

Abstract

【課題】画質の劣化を抑えつつ、所望の領域を精度よくズーミングでき、コストを増加させない撮像システムを提供すること【解決手段】本発明の一実施形態に係る、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器とを備える撮像システムは、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させる方向制御部と、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力する出力部とを備える。【選択図】 図２

Description

本発明は、撮像システム、撮像システムの制御方法、および撮像システムの制御プログラムに関する。

従来、スポーツ競技の放送や配信が広く行われている。例えば、特許文献１は、スポーツイベントのテレビ番組制作に関し、フィールドに設置した複数のカメラでビデオイメージを取り込むことを開示している。

特表２０１７－５１３３８５号公報

特許文献１は、デジタルズーミングによってフレームストリームをズームすることを開示しているが、デジタルズーミングによるズームでは、画素数が減り画像が粗くなってしまう。なお、特許文献１は、ズーミングによる画質の劣化がない、光学ズーム機能を有するパン・チルト・ズーム（Panoramic Tilt Zoom：PTZ）カメラを用いることも開示している。しかしながら、PTZカメラでは、撮像位置を変更する際に、カメラレンズとカメラセンサとからなるカメラ本体を機械的に制御する必要があるため、ストロークが大振りになり、繊細なコントロールができない。

なお、カメラを複数設置し、それぞれ、広域を撮像するカメラと望遠によって狭域を拡大して撮像するカメラとで機能を分けることも考えられるが、複数のカメラを用いることは、コスト増につながるという問題もある。したがって、画質の劣化を抑えつつ、所望の領域を精度よくズーミングでき、コストを増加させない撮像システムが求められていた。

本発明の一実施形態に係る撮像システムは、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器と、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させる方向制御部と、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力する出力部とを備える。

本発明の一実施形態に係る撮像システムにおいて、方向制御部は、一のカメラの撮像範囲よりも広い第１フィールドを、一のカメラが所定の順序で走査しながら撮像するように、偏向器を制御し、一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれると判定されたことに応じて、人物を含む一の画像の撮影対象範囲を設定する設定部と、をさらに備え、方向制御部は、設定部によって撮影対象範囲が設定されると、撮影対象範囲の大きさと、一のカメラの撮像範囲の大きさとに基づき、一のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して一のカメラの撮像範囲を移動させ、出力部は、一のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも１以上出力してもよい。

本発明の一実施形態に係る撮像システムにおいて、設定部は、一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれる場合、人物の顔の向きに基づいて、一の画像の撮影対象範囲を設定してもよい。

本発明の一実施形態に係る撮像システムにおいて、方向制御部は、設定部によって撮影対象範囲が設定されると、第１フィールドの撮像を停止して、一のカメラが撮影対象範囲を撮像するように偏向器を制御してもよい。

本発明の一実施形態に係る撮像システムにおいて、方向制御部は、撮影対象範囲の撮像が完了したことに応じて、一のカメラによる第１フィールドの撮像を、撮影対象範囲と異なる位置から再開するように、偏向器を制御してもよい。

本発明の一実施形態に係る撮像システムは、一のカメラの光軸上に、偏向器との間に設けられたハーフミラーと、ハーフミラーによって光軸方向を一のカメラと同一とする、一のカメラと異なる他のカメラをさらに備え、方向制御部は、設定部によって撮影対象範囲が設定されると、撮影対象範囲の大きさと、他のカメラの撮像範囲の大きさとに基づき、一のカメラとは異なる他のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して他のカメラの撮像範囲を移動させ、出力部は、他のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも１以上出力してもよい。

本発明の一実施形態に係る撮像システムは、一のカメラと異なる他のカメラと、偏向器と異なる他の偏向器と、他の偏向器を制御して、偏向器を介して撮像対象を撮影するカメラを、一のカメラと、他のカメラとで切り替える他の方向制御部と、をさらに備え、他の方向制御部は、一のカメラが第１フィールドを走査するように他の偏向器を制御し、設定部によって撮影対象範囲が設定されると、他のカメラが撮影対象範囲を撮像するように他の偏向器を制御し、方向制御部は、撮影対象範囲の大きさと、他のカメラの撮像範囲の大きさとに基づき、他のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して他のカメラの撮像範囲を移動させ、出力部は、他のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも１以上出力してもよい。

本発明の一実施形態に係る撮像システムにおいて、一のカメラの撮像範囲の大きさに基づいて、一のカメラの撮像範囲よりも広い第２フィールドを分割した領域であって、一の領域が一の画像フレームで撮像されるＮ個（Ｎは１以上の整数）の領域に関する情報を記憶する記憶部をさらに備え、（ｉ）広角動画の撮像に際し、方向制御部は、Ｎ個の領域の撮像を、一のカメラが所定の順序で繰り返すように偏向器を制御し、出力部は、Ｎ個の領域をそれぞれ撮像したＮ個の画像フレームを合成した合成画像フレームを、時系列で連結させて成る広角動画を出力し、（ｉｉ）拡大動画の撮像に際し、方向制御部は、Ｎ個の領域のうち所定の一の領域を撮像するように偏向器を制御し、出力部は、一のカメラが所定の一の領域を撮像した画像フレームを、時系列で連結させて成る拡大動画を出力してもよい。

本発明の一実施形態に係る撮像システムにおいて、方向制御部は、一のカメラが第１～第Ｍ（Ｍは１以上の整数）の領域を所定の順序で繰り返し撮像するように偏向器を制御し、出力部は、第１～第Ｍの領域を撮像した画像フレームを、第１～第Ｍの領域ごとにそれぞれ時系列で連結させて成る第１～第Ｍの動画を出力してよい。

本発明の一実施形態に係る撮像システムにおいて、一のカメラは、スポーツ競技を撮像するものであって、出力部は、スポーツ競技の動画または静止画像を配信してもよい。

本発明の一実施形態に係る撮像システムにおいて、偏向器は、ガルバノスキャナであってよい。

本発明の一実施形態に係る、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器と、を備える撮像システムの制御方法は、コンピュータが、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させるステップと、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力するステップとを含む。

本発明の一実施形態に係る、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器と、を備える撮像システムの制御プログラムは、コンピュータに、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させる機能と、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力する機能とを実現させる。

本発明の一実施形態に係る撮像システムにおいて、方向制御部は、一のカメラの一回の露光時間中に、一のカメラの光軸方向を偏向器の移動方向における最大可動幅分移動させ、一のカメラによって最大可動幅分を撮像した画像フレーム内に人物の顔の少なくとも一部が含まれることが、あらかじめブラーを含む画像からの顔認識を学習した学習モデルを用いて判定されたことに応じて、人物を含む一の画像の撮影対象範囲を設定する設定部をさらに備え、方向制御部は、設定部によって撮影対象範囲が設定されると、撮影対象範囲の大きさと、一のカメラの撮像範囲の大きさとに基づき、一のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して一のカメラの撮像範囲を移動させ、出力部は、一のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも１以上出力してもよい。

本発明の一実施形態に係る撮像システムは、一のカメラと異なる広角カメラと、広角カメラが撮像した領域の特徴点と、一のカメラが撮像した領域の特徴点とから、広角カメラの撮像箇所を一のカメラの撮像箇所に対応させる校正部とをさらに備え、方向制御部は、広角カメラによって撮像された画像フレームに、追跡対象の少なくとも一部が含まれると判定された場合、一のカメラの光軸方向を追跡対象の方向に移動させるとともに、一のカメラによって撮像される画像フレーム内に追跡対象が含まれるように、偏向器を制御して一のカメラの撮像範囲を移動させ、出力部は、一のカメラが撮像した複数の画像フレームを出力してもよい。

本発明の一実施形態に係る撮像システムにおいて、少なくとも一のカメラは、水平方向の回転、及び、垂直方向の傾斜の少なくともいずれかが可能な回転台の上に載置されてよい。

本発明の一実施形態によれば、画質の劣化を抑えつつ、所望の領域を精度よくズーミングでき、コストを増加させない撮像システム等を提供することができる。

本発明の一実施形態に係る撮像システム構成の概略図であって、第１実施形態に関する概略図である。 本発明の一実施形態に係る撮像システムの機能ブロック図であって、撮像装置、および動画像処理装置の機能ブロック図の一例である。 （ａ）、（ｂ）は、本発明の第１実施形態に係る撮像システムにおける、撮像処理の概要を説明する図である。 本発明の一実施形態に係る撮像システム構成の概略図であって、第２実施形態に関する概略図である。 本発明の第２実施形態に係る撮像システムの制御方法を示すフローチャートである。 （ａ）、（ｂ）は、本発明の第２実施形態に係る撮像システムにおける、撮像処理の概要を説明する図である。 （ａ）、（ｂ）は、本発明の一実施形態に係る撮像システム構成の概略図であって、第３実施形態に関する概略図である。 本発明の第３実施形態に係る撮像システムの制御方法を示すフローチャートである。 （ａ）、（ｂ）は、本発明の一実施形態に係る撮像システム構成の概略図であって、第４実施形態に関する概略図である。 本発明の第４実施形態に係る撮像システムの制御方法を示すフローチャートである。 （ａ）、（ｂ）は、本発明の一実施形態に係る撮像システム構成の概略図であって、第５実施形態に関する概略図である。 本発明の第５実施形態に係る撮像システムの制御方法を示すフローチャートである。 （ａ）～（ｃ）は、本発明の第６実施形態に係る撮像システムにおける、撮像処理の概要を説明する図である。 本発明第６実施形態に係る撮像システムの制御方法を示すフローチャートである。 （ａ）、（ｂ）は、本発明の第７実施形態に係る撮像システム構成の概略図、（ｃ）は概要を説明する図である。 （ａ）、（ｂ）は、本発明の第７実施形態に係る撮像システムの制御方法を示すフローチャートである。 （ａ）は、本発明の第８実施形態に係る撮像システム構成の概略図、（ｂ）は、概要を説明する図の一部である。 （ａ）～（ｃ）は、本発明の第８実施形態に係る撮像システムの概要を説明する図の一部である。 （ａ）、（ｂ）は、本発明の第８実施形態に係る撮像システムの概要を説明する図の一部である。 本発明の第８実施形態に係る撮像システムの制御方法を示すフローチャートである。

以降、図を用いて、本開示に係る発明（本発明ともいう）の一実施形態を説明する。なお、図は一例であって、本発明は図に示すものに限定されない。例えば、図示した撮像システム（撮像装置、動画像処理装置）、フローチャート、画像フレーム、動画データ等は一例であって、本発明はこれらに限定されるものではない。また、以下では、本発明を複数の実施形態に分けて説明するが、それらは単独で実施されてもよいし、複数の実施形態を組み合わせて実施されてもよい。また、図において、同一機能を有するものには同一の符号を付し、その繰り返しの説明は省略する。

＜第１実施形態＞
＜システム構成＞
図１は、本発明の第１実施形態による撮像システム構成の概略図である。撮像システム５００は、撮像装置１００と、動画像処理装置２００とを含み、フィールド１０を撮像（撮影）した動画像や静止画像を、ネットワーク４００を介して配信サーバ３００に提供するシステムである。なお、配信サーバ３００から図示しないユーザ端末に、動画像等のコンテンツが配信されてもよい。ここで、「フィールド」とは、撮像システム５００が撮像する場所を意味し、撮像システム５００に含まれるカメラの撮像範囲よりも広い範囲の空間であってよい。なお、これ以降、カメラはパン、チルト機能を持たない固定カメラであり、「カメラの撮像範囲」は、カメラの画角を意味する。

図１では、フィールドの一例として、柔道の試合が行われている競技場を示してある。なお、本発明の一実施形態による撮像システム５００が撮像する場所は、図示した柔道の競技場に限定されず、サッカー、テニス、水泳、陸上競技といった任意のスポーツ競技や運動会等が行われる競技場、運動場、広場、球場等であってよい。また、本発明の一実施形態による撮像システム５００が撮像する対象は、スポーツ競技に限定されず、映画や演劇等であってよく、撮影する場所も、スタジオ、舞台等であってよい。

撮像装置１００は、一のカメラ１０１、レンズ系１０２、偏向器１０３と、それらを制御する制御部１１０を少なくとも備える。カメラ１０１は、静止画及び動画を撮影可能なデジタルカメラであって、レンズ系１０２を介して偏向器１０３に接続される。レンズ系１０２は、カメラの入射瞳を光学的に転送する既存のレンズ群である。なお、カメラ１０１の撮像範囲を後述する偏向器１０３で切り替え可能であれば、レンズ系１０２はどのようなものであってもよいし、レンズ系１０２はなくてもよい。

偏向器１０３は、カメラ１０１の光軸方向を変化させてカメラ１０１の撮像範囲を移動させる偏向器であって、例えば、ミラー１０４ａ，１０４ｂと、それらミラーを軸方向に回転させる図示しない軸回転用モーターと、ミラーの回転角度を制御する駆動部を備え、それらミラーの向きを駆動電流で制御するスキャナであってよい。なお、偏向器１０３は、カメラ１０１の光軸方向を、上下左右方向に移動させることができてよい。

撮像装置１００は、撮像対象である領域２０および領域３０を撮像可能な位置に設置され、撮像したデータ（動画像データや静止画像データ）を動画像処理装置２００へ送信する。ここで、本発明の第１実施形態に係る撮像システム５００によれば、図１のように、偏向器１０３によってカメラ１０１の撮像範囲を領域２０と領域３０とで交互に移動させ、カメラ１０１は、領域２０と領域３０とを交互に撮像することができる。なお、後述するように、撮像範囲を移動させる領域は２つに限定されない。

動画像処理装置２００は、撮像装置１００が撮像した動画像データや静止画像データを取得し、所定の処理を行った上で出力する（詳細は後述する）。

ネットワーク４００は、データのやり取りが可能な通信経路であって、無線、有線のいずれであってもよい。具体的には、ネットワーク４００は、電話通信網、ケーブル網、インターネット等の通信網であってよい。

配信サーバ３００は、動画像処理装置２００から出力される動画像データを、図示しないユーザ端末に配信してよい。なお、ユーザに動画像を提供するのに配信サーバ３００は必須ではなく、撮像システム５００からユーザ端末へ、直接動画像データが出力されてもよい。

次に、図２を用いて、本発明の一実施形態に係る撮像装置１００、及び動画像処理装置２００のハードウェア構成、機能構成について説明する。

＜撮像装置＞
（１）撮像装置のハードウェア構成
撮像装置１００は、カメラ１０１、偏向器１０３、通信部１２０、制御部１１０、及び記憶部１７０を備える。

上述のように、カメラ１０１は、静止画像及び動画像を撮影可能なデジタルカメラであって、動画像を撮影する場合、設定された所定のフレームレートで静止画像（画像フレーム）を撮像する。また、上述のように、偏向器１０３は、カメラ１０１の光軸方向を変化させる機能を有するデバイスであって、例えばガルバノミラー、ポリゴンミラー、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラー等を用いたスキャナであってよい。なお、これ以降、偏向器１０３をガルバノミラーを用いたガルバノスキャナとして説明する。

通信部１２０は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、動画像処理装置２００との間で各種データの送受信を行う。なお、通信部１２０による通信は、無線であってもよいし有線であってもよい。

制御部１１０は、典型的にはプロセッサであって、中央処理装置（ＣＰＵ：Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡ等を含み、集積回路等に形成された論理回路（ハードウェア）や専用回路によって実現されてよい。

記憶部１７０は、撮像装置１００が動作するうえで必要とする各種プログラムや各種情報を記憶する。記憶部１７０は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等を含んでよい。また、記憶部１７０は、制御部１１０に対する作業領域を提供するメモリを含んでよい。なお、記憶部１７０は、カメラ１０１が撮像したデータを記憶してもよい。

（２）撮像装置の機能構成
撮像装置１００は、制御部１１０によって実現される機能として、方向制御部１１２、及び取得部１１３を含んでよい。なお、図２において、これ以降に説明する各実施形態で必須でない機能部はなくともよい。また、各機能部の機能又は処理は、実現可能な範囲において、機械学習又はＡＩにより実現されてもよい。

方向制御部１１２は、偏向器１０３におけるミラー１０４ａ，１０４ｂの向きを制御する。具体的には、所望の偏向角度に応じた駆動電流がガルバノミラー１０４ａ，１０４ｂに印加されるように、図示しない直流電源からの印加電圧を制御する制御信号を発する。

取得部１１３は、所定のフレームレートで動画像を撮影するカメラ１０１から、撮像した画像データ（画像フレーム）を時系列で取得し、通信部１２０を介して動画像処理装置２００へ出力する。

なお、本発明の一実施形態において、カメラ１０１が動画を撮像する際、偏向器１０３によるミラーの向きの変更速度、すなわち、カメラ１０１の撮像範囲の移動は、カメラ１０１のフレームレートに比べて非常に高速である。したがって、カメラ１０１は、動画を撮像する際、図１における領域２０，３０を撮像した画像フレームを、時系列で交互に取得することができる。このことを、図３を用いて説明する。

図３（ａ）は、カメラ１０１による動画の撮像を説明する概略図であって、横軸を時間としたときの、カメラ１０１によって生成される画像フレームの一例を示す図である。図の例では、カメラ１０１がフレームレート６０ｆｐｓで動画を撮像し、カメラ１０１の撮像周期（フレーム長、t4-t1、t7-t4等）は、１／６０≒１６ｍｓである。なお、一般に、動画のシャッタースピード（露光時間）は、フレームレートの２倍分の１秒にすることが推奨される。したがって、露光時間（t2-t1、t5-t4、t8-t7等）は、１／１２０≒８ｍｓとなる。これに対し、ガルバノスキャナがミラーの向きを変更するのに要する時間（t3-t2、t6-t5、t9-t8等）は、０．５ｍｓ程度であり、露光時間とミラーの向き変更に要する時間とを合わせても、８ｍｓ＋０．５ｍｓ＝８．５ｍｓとなる。すなわち、カメラ１０１の撮像周期である１６ｍｓ以内でミラーの角度を変更することができ、カメラ１０１による１つの画像フレームの撮像の完了後、次の撮像周期が到来する前に、カメラ１０１の撮像範囲を移動させることができる。

図３（ａ）において、フレームＦＲ１は、図１における領域２０を撮像した画像フレームである。領域２０の撮像後、方向制御部１１２は、カメラ１０１の撮像範囲が領域３０となるように、偏向器１０３を制御し、カメラ１０１は、次の撮像周期で領域３０を撮像する。領域３０の撮像後、方向制御部１１２は、カメラ１０１の撮像範囲が領域２０となるように偏向器１０３を制御し、カメラ１０１は、次の撮像周期で領域２０を撮像する。すなわち、方向制御部１１２は、カメラ１０１が第１～第Ｍ（Ｍは１以上の整数、図１の場合はＭ＝２）の領域を所定の順序で繰り返し撮像するように、偏向器１０３を制御してよい。

＜動画像処理装置＞
（１）動画像処理装置のハードウェア構成
図２に戻り、動画像処理装置のハードウェア構成、機能構成について説明する。動画像処理装置２００は、通信部２２０、制御部２１０、及び記憶部２７０を備える。

通信部２２０は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、撮像装置１００や配信サーバ３００との間で各種データの送受信を行う。なお、通信部２２０による通信は、無線であってもよいし有線であってもよい。例えば、通信部２２０は、撮像装置１００から画像フレームを受信する。また、通信部２２０は、動画像処理装置２００で設定された各種情報を、撮像装置１００へ送信する。

制御部２１０は、典型的にはプロセッサであって、中央処理装置（ＣＰＵ）、ＭＰＵ、ＧＰＵ、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡ等を含み、集積回路等に形成された論理回路（ハードウェア）や専用回路によって実現されてよい。

記憶部２７０は、動画像処理装置２００が動作するうえで必要とする各種プログラムや各種情報を記憶する。記憶部２７０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等を含んでよい。また、記憶部２７０は、制御部２１０に対する作業領域を提供するメモリを含んでよい。なお、記憶部２７０は、カメラ１０１から取得した撮像データを記憶してもよい。

（２）動画像処理装置の機能構成
動画像処理装置２００は、制御部２１０によって実現される機能として、フレーム処理部２１２、出力部２１３、受付部２１４、設定部２１５、及び顔認識部２１６を含んでよい。なお、図２において、各実施形態で必須でない機能部はなくともよい。また、各機能部の機能又は処理は、実現可能な範囲において、機械学習又はＡＩにより実現されてもよい。

フレーム処理部２１２は、撮像装置１００から送信された複数の画像フレームに対して所定の処理を行う。例えば、フレーム処理部２１２は、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行ってよい。本発明の第１実施形態において、フレーム処理部２１２は、所定の処理として、カメラ１０１が第１～第Ｍ（Ｍは１以上の整数）の領域を所定の順序で繰り返し撮像した場合、第１～第Ｍの領域を撮像した画像フレームを、第１～第Ｍの領域ごとにそれぞれ時系列で連結させて成る第１～第Ｍの動画を生成してよい。

ここで、図１のようにＭ＝２である場合に生成される動画について、図３（ｂ）を用いて説明する。図３（ａ）に示すように、カメラ１０１によって、領域２０，３０を交互に撮像した画像フレームが取得されると、フレーム処理部２１２は、領域２０，３０ごとにそれぞれ時系列で連結させて成る動画を生成する。図３（ｂ）の例では、領域２０を撮像した画像フレームＦＲ１，ＦＲ３，ＦＲ５，ＦＲ７…等を連結して、領域２０で行われている競技に関する動画ＭＶ１０が生成され、領域３０を撮像した画像フレームＦＲ２，ＦＲ４，ＦＲ６，ＦＲ８…等を連結して、領域３０で行われている競技に関する動画ＭＶ２０が生成されている。

図２に戻り、出力部２１３は、フレーム処理部２１２が生成した動画像を、配信サーバ３００に出力する。配信サーバ３００は、図示しないユーザ端末に対し、動画像を配信してよい。

上述のように、本発明の第１実施形態によれば、一のカメラによる一連の動画撮影動作において複数の領域の動画を撮像し、各領域に関する動画像を同時に生成することができる。したがって、カメラを複数台用意することなく、複数の領域を同時に撮像し、それら領域ごとの動画像を生成することが可能となる。

なお、図１、図３の例では、カメラ１０１によって撮像する領域を、領域２０，３０の２つの場合について説明したが、本発明はこれに限定されず、偏向器１０３によってカメラ１０１の光軸を移動可能な範囲であれば、撮像する領域は２つ以上であってよい。また、図では、領域２０，３０が水平方向に並んだ例を示したが、本発明はこれに限定されず、撮像する領域が垂直方向に並んでいてもよい。

＜第２実施形態＞
図４は、本発明の第２実施形態による撮像システム構成の概略図である。なお、第１実施形態と同一の機能構成については同一の符号を付し、説明を省略する。本発明の第２実施形態において、撮像システム５００は、フィールド（第２フィールド）１１を撮像した動画像や静止画像を、ネットワーク４００を介して配信サーバ３００に提供するシステムである。本発明の第２実施形態に係る撮像システム５００は、偏向器１０３によって、カメラ１０１の撮像範囲よりも広いフィールド１１を、カメラ１０１が所定の順序で走査しながら撮像してよい。ここで、第２実施形態に係る撮像システム５００は、一のカメラ１０１のみで、ある領域についてズームインしたズームイン動画（拡大動画）と、ズームアウトしたズームアウト動画（広域動画）とを撮影することができる。

本発明の第２実施形態について、図４～６を用いて説明する。図４は第２実施形態のシステム構成の概略図、図５は第２実施形態に係る制御フローチャート、図６は、第２実施形態における撮像処理の概要を説明する図である。

図５のフローチャートを参照すると、まず、撮像装置１００の記憶部１７０は、フィールド１１（第２フィールド）を分割した領域であって、一の領域が一の画像フレームで撮像されるＮ個（Ｎは１以上の任意の整数）の領域に関する情報を記憶する（ステップＳ１１）。図４の例では、Ｎ＝９であって、領域４０を分割した９個の領域に関する情報が記憶される。なお、Ｎは任意の数であってよく、領域の位置も適宜変更することができてよい。

撮像装置１００は、撮像モードの指定を受け付ける（ステップＳ１２）。撮像モードの指定は、動画像処理装置２００の受付部２１４が、動画像の配信ユーザから受け付けてよい。撮像モードが広角動画の場合、方向制御部１１２は、Ｎ個の領域の撮像を、カメラ１０１が所定の順序で繰り返すように偏向器１０３を制御する（ステップＳ１３）。図４の例では、方向制御部１１２は、カメラ１０１が、領域４０を分割した９個の領域の撮像を、第１領域から第９領域の順で繰り返すように偏向器１０３を制御してよい。本発明の第２実施形態において、フレーム処理部２１２は、所定の処理として、Ｎ個の領域をそれぞれ撮像したＮ個の画像フレームを合成した合成画像フレームを生成し、出力部２１３は、生成された合成画像フレームを時系列で連結させて成る広角動画を出力する（ステップＳ１４）。

このことを、図６（ａ）を用いて説明する。まず、方向制御部１１２は、領域４０における第１領域がカメラ１０１の撮像範囲となるように偏向器１０３を制御し、カメラ１０１は、第１領域を撮像する。これにより、第１領域を撮像した画像フレームＦＲ１が生成される。第１領域の撮像完了後、方向制御部１１２は、カメラ１０１の次の撮像周期が到来する前に、領域４０における第２領域がカメラ１０１の撮像範囲となるように偏向器１０３を制御する。そして、カメラ１０１による次の撮像周期で、第２領域を撮像した画像フレームＦＲ２が生成される。このように、領域の撮像と、撮像範囲の移動が繰り返され、第９領域を撮像した画像フレームＦＲ９が生成されると、偏向器１０３は、次の撮像周期で第１領域が撮像されるように偏向器１０３を制御する。そして、フレーム処理部２１２は、第１領域から第９領域までの画像フレームＦＲ１～ＦＲ９を合成して、合成画像フレームＣＦＲ１を生成する。このように生成された合成画像フレームＣＦＲ１は、領域４０を撮像した広角画像であって、合成画像フレームＣＦＲ１，ＣＦＲ２…を時系列で連結した動画ＭＶ３０は、領域４０を撮像した広角動画となる。

より具体的に、図４～６の例において、カメラ１０１はフレームレート２４０ｆｐｓで動画を撮像し、カメラ１０１の撮像周期（フレーム長）は１／２４０≒４ｍｓ、露光時間は、１／４８０≒２ｍｓとなる。したがって、露光時間と、ガルバノスキャナがミラーの向きを変更するのに要する時間０．５ｍｓとを合わせても、２ｍｓ＋０．５ｍｓ＝２．５ｍｓとなって、カメラ１０１の撮像周期以内で、ミラーの角度を変更することができる。合成画像フレームＣＦＲ１のフレーム長は、４ｍｓ×９＝３６ｍｓであって、合成画像フレームＣＦＲ１，ＣＦＲ２…を時系列で連結した動画ＭＶ３０は、フレームレート２７ｆｐｓの動画となる。

図５に戻り、撮像システム５００は、ステップＳ１３～Ｓ１４を繰り返し、領域４０の広角動画の出力を継続する。配信ユーザによって撮像モードの切り替えが指示された場合、ステップＳ１２へ進み、撮像終了が指示された場合、撮像を終了してよい（ステップＳ１５）。

ステップＳ１２で指定された撮像モードが拡大動画（ズームイン動画）である場合、ステップＳ１６へ進み、方向制御部１１２は、Ｎ個の領域のうち所定の一の領域を撮像するように偏向器１０３を制御する。なお、ズームして撮像する領域（ズームイン領域）はあらかじめ設定されてよく、図４の例では、領域４０の第５領域が、ズームイン領域であるとする。

方向制御部１１２は、カメラ１０１の撮像範囲が第５領域となるように偏向器１０３を制御したのち、ミラー１０４ａ，１０４ｂの位置をそのまま保持する。カメラ１０１は、第５領域を撮像し、出力部２１３は、カメラ１０１が第５領域を撮像した画像フレームを、時系列で連結させて成る拡大動画を出力する（ステップS１７）。

このことを、図６（ｂ）を用いて説明する。まず、方向制御部１１２は、領域４０における第５領域がカメラ１０１の撮像範囲となるように偏向器１０３を制御し、カメラ１０１は第５領域の画像を撮像する。これにより、第５領域のみが撮像された画像フレームであって、すなわち、第５領域の拡大画像フレームＺＦＲ１が生成される。カメラ１０１は、設定された撮像周期で第５領域の撮像を繰り返し、拡大画像フレームＺＦＲ１，ＺＦＲ２…を時系列で連結した動画ＭＶ４０は、領域４０における第５領域のみが撮像された、第５領域の拡大動画となる。なお、カメラ１０１のフレームレートが２４０ｆｐｓである場合、動画ＭＶ４０も同様にフレームレート２４０ｆｐｓの動画となる。

図５に戻り、撮像システム５００は、ステップＳ１６～Ｓ１７を繰り返し、領域４０の第５領域の拡大動画の出力を継続する。配信ユーザによって撮像モードの切り替えが指示された場合、ステップＳ１２へ進み、撮像終了が指示された場合、撮像を終了してよい（ステップＳ１８）。

上述のように、本発明の第２実施形態によれば、広域の撮像と、拡大しての撮像とを、一のカメラのみで実現することができる。したがって、広域を撮像するカメラと、拡大して撮像するカメラとを複数設置する必要がなく、コストを増加させることがない。また、デジタルズームによるズーミングと比較して、画質の劣化を抑えることができる。

＜第３実施形態＞
図７は、本発明の第３実施形態による撮像システム構成の概略図である。なお、図７では、撮像システム５００のうち偏向器１０３のみを示してある。本発明の第３実施形態に係る撮像システム５００は、偏向器１０３によって、カメラ１０１の撮像範囲よりも広いフィールド（第１フィールド）１２を、カメラ１０１が所定の順序で走査するように撮像し、フィールド１２に含まれる人物を撮像した動画像や静止画像を、ネットワーク４００を介してユーザに提供するシステムである。例えば、第３実施形態によれば、図７のように走っている子供の顔を認識して、子供の顔を含む全身画像等が生成されてよい。

本発明の第３実施形態について、図７に加え図８も用いて説明する。図８は、第３実施形態に係る制御フローチャートである。

まず、方向制御部１１２は、偏向器１０３を制御して、フィールド１２における開始領域から、カメラ１０１による走査を開始させる（ステップＴ１１）。図７（ａ）の例では、方向制御部１１２は、偏向器１０３を制御して、領域ＳＣ１０から、矢印Ａ１０の向きに、領域ＳＣ１１，ＳＣ１２，ＳＣ１３…の順序でカメラ１０１の光軸方向を移動させる。動画像処理装置２００の顔認識部２１６は、撮像した領域について顔認識処理を行う（ステップＴ１２）。すなわち、顔認識部２１６は、領域ＳＣ１１を撮像した画像フレームに人物の顔の少なくとも一部が含まれるか否かを判定する（ステップＴ１３）。ステップＴ１３で顔が認識されない場合（ステップＴ１３でＮＯ）、ステップＴ１４へ進み、次の領域（図７の場合、領域ＳＣ１２）を撮像するように偏向器１０３を制御する。そして、領域ＳＣ１２についての顔認識処理を繰り返す。すなわち、顔が認識されるまで、領域ＳＣ１２以降、矢印Ａ１０の向きで領域が走査され、ステップＴ１２～Ｔ１４の処理が繰り返される。

図７（ａ）に示すように、領域ＳＣ１９において人物Ｕ１０の顔が検出され（ステップＴ１３でＹＥＳ）、ステップＴ１５へ進み、動画像処理装置２００の設定部２１５は、人物Ｕ１０を含む一の画像の撮影対象範囲を設定する（ステップＴ１５）。図７（ｂ）に示すように、設定部２１５は、人物Ｕ１０を含む領域Ｒ２０を、撮影対象範囲として設定してよい。なお、撮影対象範囲は、例えば、検出された人物Ｕ１０の顔の大きさから、人物Ｕ１０の大きさを推定し設定されてよい。あるいは、人物Ｕ１０を検出した領域を含む所定数（図７（ｂ）の場合、１５個）分の領域を撮影対象範囲とすることが、あらかじめ設定されていてよい。

あるいは、設定部２１５は、カメラ１０１によって撮像された人物の顔の向きに基づいて、撮影対象範囲を設定してもよい。なお、人物の顔の向きは、顔の特徴量データ等を用いる既知の頭部方向推定アルゴリズムによって推定されてよい。人物の顔の向きに基づく撮影対象範囲の設定とは、目線の方向に余白を多く取る構図の画像が生成されるような設定であってよい。

方向制御部１１２は、設定部２１５によって撮影対象範囲Ｒ２０が設定されると、撮影対象範囲の大きさと、カメラ１０１の撮像範囲の大きさとに基づき、カメラ１０１によって撮影対象範囲Ｒ２０が撮像されるように、偏向器１０３を制御してカメラ１０１の撮像範囲を移動させる（ステップＴ１６）。図７（ｂ）の例では、領域ＳＣ２０から、矢印Ａ２０の向きに、ＳＣ２１，ＳＣ２２…と撮像範囲を移動させ、各領域を撮像する。このとき、第１実施形態や第２実施形態で説明したように、偏向器１０３によるミラー１０４ａ，１０４ｂの向きの変更速度は、カメラ１０１の撮像周期と比較して非常に高速である。このため、カメラ１０１で動画を撮影しながら偏向器１０３によって撮像範囲を移動させ、撮影対象範囲Ｒ２０全体を高速に撮像することができる。

本発明の第３実施形態において、フレーム処理部２１２は、所定の処理として、カメラ１０１が撮像した複数の画像フレームを合成した合成画像フレームを生成してよい。なお、合成画像フレームは、第２実施形態と同様に生成されてよい。出力部２１３は、生成された合成画像フレームからなる撮影対象範囲の画像を、少なくとも１以上出力する（ステップＴ１７）。このとき出力される画像は、人物Ｕ１０を含む撮影対象範囲Ｒ２０を撮像した画像となる。

このように、本発明の第３実施形態によれば、カメラ１０１によってフィールドを撮像して走査しながら、フィールドに含まれる人物の静止画像を生成することができる。ここで、フィールドの走査と静止画像の生成とは、カメラ１０１による一連の動画撮影動作で行われるため、複数のカメラを設置する必要がない。

なお、方向制御部１１２は、設定部２１５によって撮影対象範囲が設定されると、フィールド１２の撮像（走査）を停止して、カメラ１０１が撮影対象範囲を撮像するように偏向器１０３を制御する。これにより、フィールド１２における撮影対象が移動している場合でも、顔を認識すると同時に撮影対象の撮像が開始され、ブレのない画像を得ることができる。

そして、方向制御部１１２は、撮影対象範囲の撮像が完了したことに応じて、カメラ１０１によるフィールド１２の撮像を、これ以前の撮影対象範囲と異なる位置から再開するように、偏向器１０３を制御する。すなわち、前回顔を検出した領域ＳＣ１９に隣接する領域であって、顔が検出されていない領域から、フィールド１２の撮像を再開してよい（ステップＴ１８）。これにより、これ以前に撮影対象となっていない人物についても、検出される機会を向上させ、静止画像を生成することができる。

＜第４実施形態＞
図９（ａ）、（ｂ）は、本発明の第４実施形態による撮像システム構成の概略図である。なお、第４実施形態は、第３実施形態の変形例であるため、図９（ａ）、（ｂ）では、第３実施形態の概略図である図７と異なる部分には異なる符号を付し、同一の部分には同じ符号を付してある。

第３実施形態では、カメラ１０１が、第１フィールド１２の走査及び領域Ｒ２０の撮像を行う態様について説明した。これに対し、第４実施形態では、第１フィールド１２の走査を行うカメラとは別に、領域Ｒ２０の撮像を行うカメラをさらに備えてよい。図９の例では、カメラ（一のカメラ）１０１ｄが第１フィールド１２の走査を行い、カメラ（他のカメラ）１０１が領域Ｒ２０の撮像を行ってよい。なお、これ以降、カメラ１０１ｄを「第１カメラ１０１ｄ」、カメラ１０１を「第２カメラ１０１」として区別する。ここで、第１フィールド１２の走査を行う第１カメラ１０１ｄは、フレームレートが３０ｆｐｓを超えるいわゆるハイスピードカメラであってよく、領域２０の撮像を行う第２カメラ１０１は、フレームレートが３０ｆｐｓ以下のカメラであってよいが、これに限定されるものではない。

図９（ａ）、（ｂ）において、偏向器１０３とは別個に設けられたミラー１０５は、ハーフミラーであってよい。ここで、ハーフミラーとは、入射光の一部を反射し、一部を透過する鏡のうち、入射光と透過光の強さがほぼ同じものを指してよい。第４実施形態では、図９（ａ）、（ｂ）のように、第１カメラ（一のカメラ）１０１ｄの光軸上において、偏向器１０３との間にハーフミラー１０５が設けられ、ハーフミラー１０５の反射光ＡＲ２を第２カメラ１０１が撮像し、ハーフミラー１０５の透過光ＡＲ１を第１カメラ１０１ｄが撮像する位置に、第１カメラ１０１ｄと第２カメラ１０１とを設置してよい。すなわち、第１カメラ１０１ｄと第２カメラ１０１とは、ハーフミラー１０５によって、光軸方向が同一となってよい。なお、「光軸方向が同一」とは、第１カメラ１０１ｄと第２カメラ１０１とが、相対的な位置関係を保ったままで、同時に同一の対象を撮影できることを意味してよい。

本発明の第４実施形態について、図１０の、第４実施形態に係る制御フローチャートを用いて説明する。まず、方向制御部１１２は、偏向器１０３を制御して、フィールド１２における開始領域から、第１カメラ（一のカメラ）１０１ｄによる走査を開始させる（ステップＰ１１）。図９（ａ）の例では、方向制御部１１２は、偏向器１０３を制御して、領域ＳＣ１０から、矢印Ａ１０の向きに、領域ＳＣ１１，ＳＣ１２，ＳＣ１３…の順序で第１カメラ１０１ｄの光軸方向を移動させる。動画像処理装置２００の顔認識部２１６は、撮像した領域について顔認識処理を行う（ステップＰ１２）。すなわち、顔認識部２１６は、領域ＳＣ１０を撮像した画像フレームに人物の顔の少なくとも一部が含まれるか否かを判定する（ステップＰ１３）。なお、第４実施形態において、第３実施形態と異なり、方向制御部１１２は、第２カメラ１０１の露光時間中に偏向器１０３の向きを変更してもよい。この場合、第２カメラ１０１が撮影した画像には、ブラー（かすみやぼけのような、いわゆる「ぶれ」）が生じ得るが、顔認識のための走査は第１カメラ１０１ｄによって行われるため、特に問題とならない。なお、顔認識が、第２カメラ１０１の撮影した、ブラーの生じた画像から行われてもよい。あるいは、走査時には、第２カメラ１０１による撮影は行われなくてもよい。なお、走査の方向は、図示したものに限定されない。

ステップＰ１３で顔が認識されない場合（ステップＰ１３でＮＯ）、ステップＰ１４へ進み、次の領域（図９（ａ）の場合、領域ＳＣ１１）を撮像するように偏向器１０３を制御する。そして、領域ＳＣ１１についての顔認識処理を繰り返す。すなわち、顔が認識されるまで、領域ＳＣ１１以降、矢印Ａ１０の向きで領域が走査され、ステップＰ１２～Ｐ１４の処理が繰り返される。

図９（ａ）に示すように、領域ＳＣ１９において人物Ｕ１０の顔が検出され（ステップＰ１３でＹＥＳ）、ステップＰ１５へ進み、動画像処理装置２００の設定部２１５は、人物Ｕ１０を含む一の画像の撮影対象範囲を設定する（ステップＰ１５）。図９（ｂ）に示すように、設定部２１５は、人物Ｕ１０を含む領域Ｒ２０を、撮影対象範囲として設定してよい。なお、領域２０の設定については、第３実施形態と同様であってよい。

方向制御部１１２は、設定部２１５によって撮影対象範囲Ｒ２０が設定されると、撮影対象範囲の大きさと、第２カメラ（他のカメラ）１０１の撮像範囲の大きさとに基づき、第２カメラ１０１によって撮影対象範囲Ｒ２０が撮像されるように、偏向器１０３を制御して第２カメラ１０１の撮像範囲を移動させる（ステップＰ１６）。図９（ｂ）の例では、領域ＳＣ２０から、矢印Ａ２０の向きに、ＳＣ２１，ＳＣ２２…と撮像範囲を移動させ、各領域を撮像する。このとき、第１実施形態や第２実施形態で説明したように、偏向器１０３に含まれるミラーの向きの変更速度は、第２カメラ１０１の撮像周期と比較して非常に高速である。このため、第２カメラ１０１で動画を撮影しながら偏向器１０３によって撮像範囲を移動させ、撮影対象範囲Ｒ２０全体を高速に撮像することができる。なお、走査の方向は、図示したものに限定されない。

本発明の第４実施形態において、フレーム処理部２１２は、所定の処理として、第２カメラ１０１が撮像した複数の画像フレームを合成した合成画像フレームを生成してよい。なお、合成画像フレームは、第２実施形態と同様に生成されてよい。出力部２１３は、生成された合成画像フレームからなる撮影対象範囲の画像を、少なくとも１以上出力する（ステップＰ１７）。このとき出力される画像は、人物Ｕ１０を含む撮影対象範囲Ｒ２０を撮像した画像となる。

そして、方向制御部１１２は、撮影対象範囲の撮像が完了したことに応じて、第１カメラ１０１ｄによるフィールド１２の撮像（走査）を、これ以前の撮影対象範囲と異なる位置から再開するように、偏向器１０３を制御する。すなわち、前回顔を検出した領域ＳＣ１９に隣接する領域であって、顔が検出されていない領域から、フィールド１２の撮像を再開してよい（ステップＰ１８）。

このように、本発明の第４実施形態によれば、顔を識別するための識別用カメラと、撮像するための撮影用カメラとが別個に用意される。このとき、識別用カメラの解像度は、識別するのに十分であればよく、撮影用カメラの解像度よりも低くてよい。したがって、広範囲の走査時に必要なデータ容量を削減しつつ、顔の撮影時には高解像度の写真を撮影することが可能となる。

＜第５実施形態＞
図１１（ａ）、（ｂ）は、本発明の第５実施形態による撮像システム構成の概略図である。なお、第５実施形態は、第４実施形態の変形例であるため、図１１（ａ）、（ｂ）では、第４実施形態の概略図である図９（ａ）、（ｂ）と異なる部分には異なる符号を付し、同一の部分には同じ符号を付してある。

第４実施形態では、ハーフミラー１０５を介して、第１フィールド１２の走査を行うカメラ（一のカメラ、第１カメラ）１０１ｄと、領域Ｒ２０の撮像を行うカメラ（他のカメラ、第２カメラ）１０１とに対し、同一の像が入力される（撮像される）態様について説明した。これに対し、第５実施形態に係る撮像システムでは、ハーフミラー１０５に代わり、偏向器１０３とは異なる他の偏向器１０６をさらに備え、偏向器１０６によって、像を入力する（撮像対象を撮影する）カメラが、一のカメラ１０１ｄと他のカメラ１０１とで切り替えられてよい。ここで、偏向器１０６は、ガルバノスキャナであってよく、図示しない方向制御部（他の方向制御部）によってその方向を制御されてよい。また、偏向器１０６に搭載されるガルバノミラーは、第１カメラ１０１ｄと、第２カメラ１０１の撮像素子で感光できる周波数帯の光を反射できることが望ましい。また、第４実施形態と同様に、第１フィールド１２の走査を行う第１カメラ１０１ｄは、フレームレートが３０ｆｐｓを超えるいわゆるハイスピードカメラであってよく、領域２０の撮像を行う第２カメラ１０１は、フレームレートが３０ｆｐｓ以下のカメラであってよいが、これに限定されるものではない。

本発明の第５実施形態について、図１２の、第５実施形態に係る制御フローチャートを用いて説明する。まず、図示しない方向制御部は、第１カメラ（一のカメラ）１０１ｄで撮像するように偏向器１０６を制御する（ステップＰ２０）。具体的には、図１１（ａ）のように、偏向器１０３を経た光が第１カメラ１０１ｄに至る光路ＡＲ３を形成するように、偏向器１０６の向きが調整される。そして、方向制御部１１２は、偏向器１０３を制御して、フィールド１２における開始領域から、第１カメラ１０１ｄによる走査を開始させる（ステップＰ２１）。図１１（ａ）の例では、方向制御部１１２は、偏向器１０３を制御して、領域ＳＣ１０から、矢印Ａ１０の向きに、領域ＳＣ１１，ＳＣ１２，ＳＣ１３…の順序で第１カメラ１０１ｄの光軸方向を移動させる。動画像処理装置２００の顔認識部２１６は、撮像した領域について顔認識処理を行う（ステップＰ２２）。すなわち、顔認識部２１６は、領域ＳＣ１１を撮像した画像フレームに人物の顔の少なくとも一部が含まれるか否かを判定する（ステップＰ２３）。

ステップＰ２３で顔が認識されない場合（ステップＰ２３でＮＯ）、ステップＰ２４へ進み、次の領域（図１１（ａ）の場合、領域ＳＣ１２）を撮像するように偏向器１０３が制御される。そして、領域ＳＣ１２についての顔認識処理を繰り返す。すなわち、顔が認識されるまで、領域ＳＣ１２以降、矢印Ａ１０の向きで領域が走査され、ステップＰ２２～Ｐ２４の処理が繰り返される。

図１１（ａ）に示すように、領域ＳＣ１９において人物Ｕ１０の顔が検出され（ステップＰ２３でＹＥＳ）、ステップＰ２５へ進み、動画像処理装置２００の設定部２１５は、人物Ｕ１０を含む一の画像の撮影対象範囲を設定する（ステップＰ２５）。図１１（ｂ）に示すように、設定部２１５は、人物Ｕ１０を含む領域Ｒ２０を、撮影対象範囲として設定してよい。なお、領域２０の設定については、第３実施形態と同様であってよい。

他の方向制御部は、設定部２１５によって撮影対象範囲Ｒ２０が設定されると、第２カメラ（他のカメラ）１０１で撮像するように偏向器１０６を制御する。具体的には、図１１（ｂ）のように、偏向器１０３を経た光が第２カメラ１０１に至る光路ＡＲ４を形成するように、偏向器１０６の向きが調整される。そして、方向制御部１１２は、第２カメラ１０１によって撮影対象範囲Ｒ２０が撮像されるように、偏向器１０３を制御して第２カメラ１０１の撮像範囲を移動させる（ステップＰ２６）。図１１（ｂ）の例では、領域ＳＣ２０から、矢印Ａ２０の向きに、ＳＣ２１，ＳＣ２２…と撮像範囲を移動させ、各領域を撮像する。このとき、第１実施形態や第２実施形態で説明したように、偏向器１０３に含まれるミラーの向きの変更速度は、第２カメラ１０１の撮像周期と比較して非常に高速である。このため、第２カメラ１０１で動画を撮影しながら偏向器１０３によって撮像範囲を移動させ、撮影対象範囲Ｒ２０全体を高速に撮像することができる。

本発明の第５実施形態において、フレーム処理部２１２は、所定の処理として、第２カメラ１０１が撮像した複数の画像フレームを合成した合成画像フレームを生成してよい。なお、合成画像フレームは、第２実施形態と同様に生成されてよい。出力部２１３は、生成された合成画像フレームからなる撮影対象範囲の画像を、少なくとも１以上出力する（ステップＰ２７）。このとき出力される画像は、人物Ｕ１０を含む撮影対象範囲Ｒ２０を撮像した画像となる。

そして、他の方向制御部は、撮影対象範囲の撮像が完了したことに応じて、第１カメラ１０１ｄで撮像するように偏向器１０６を制御してよい。すなわち、図１１（ｂ）の光路ＡＲ４の状態から、図１１（ａ）の光路ＡＲ３の状態が形成されるように、偏向器１０６の方向が調整されてよい。その上で、方向制御部１１２は、第１カメラ１０１ｄによるフィールド１２の撮像（走査）を、これ以前の撮影対象範囲と異なる位置から再開するように、偏向器１０３を制御する。すなわち、前回顔を検出した領域ＳＣ１９に隣接する領域であって、顔が検出されていない領域から、フィールド１２の撮像を再開してよい（ステップＰ２８）。

このように、本発明の第５実施形態によれば、顔を識別するための識別用カメラと、撮像するための撮影用カメラとが別個に用意され、走査時と撮影時とで切り替えられる。したがって、広範囲の走査時に必要なデータ容量を削減しつつ、顔の撮影時には高解像度の写真を撮影することが可能となる。

＜第６実施形態＞
上述した第４実施形態において、顔認識が、ブラーの生じた画像から行われてもよいことを述べたが、この形態の更なる詳細を、第６実施形態として、図１３（ａ）～（ｃ）、図１４を用いて説明する。図１３（ａ）～（ｃ）、図１４を用いて詳細に説明する。すなわち、第６実施形態は、偏向器１０３の最大可動幅分を、単一のカメラ１０１による一回の露光で撮像し、ブラーを含む画像から顔認識を行った上で、フィールド１２に含まれる人物を撮像した動画像や静止画像を、ネットワーク４００を介してユーザに提供するシステムである。

図１３（ａ）は、本発明の第６実施形態による撮像システム構成の概略図、図１３（ｂ）、（ｃ）は、第６実施形態における撮像処理の概要を説明する図、図１４は、第６実施形態に係る撮像システム５００の制御フローチャートである。なお、図１３（ａ）は、図１に示す撮像システム５００のうち、偏向器１０３のみを示してある。

図１４の制御フローチャートにおいて、動画像処理装置２００は、あらかじめ、ブラーを含む画像からの顔（または人物）の検出について機械学習を行う（ステップＰ３０）。機械学習は、ブラーを含む画像と、当該画像内の顔部分との組み合わせによる教師あり学習であってもよいし、教師なし学習であってもよい。また、ブラーを含む画像からの顔検出が可能であれば、機械学習のアルゴリズムはどのようなものであってもよい。

方向制御部１１２は、カメラ１０１の一回の露光時間中に、偏向器１０３を制御して、カメラ１０１の光軸方向を、フィールド１２の走査開始地点から、水平方向の最大可動幅分（１ライン分）移動させる（ステップＰ３１）。すなわち、図１３（ａ）に示すように、カメラ１０１は、偏向器１０３の水平方向における最大可動幅分であるラインＬ１を、一回の露光で撮像する。図１３（ｂ）を用いて説明すると、方向制御部１１２は、カメラ１０１の一回の露光時間中に、偏向器１０３を水平方向に移動させ、カメラ１０１の次の露光の開始前に、次のラインＬ２が撮影されるように偏向器１０３を垂直方向に移動させる。これにより、ラインＬ１を撮像したフレームＬＦＲ１が生成されることになる。なお、図３（ｃ）に示すように、フレームＦＲ１はブラーが含まれる画像となり得る。

顔認識部２１６は、撮像した領域について顔認識処理を実行する（ステップＰ３２）。すなわち、顔認識部２１６は、フレームＬＦＲ１に人物の顔の少なくとも一部が含まれるか否かを判定する（ステップＰ３３）。ここで、図１３（ｃ）に示すように、フレームＬＦＲ１はブラーを含む画像となり得るため、顔認識部２１６は、ステップＰ３０による機械学習で生成された学習モデルを用いた顔認識処理を行ってよい。ステップＰ３３で顔が認識されない場合（ステップＰ３３でＮＯ）、ステップＰ３４へ進み、フィールド１２の走査が終了したか否かが判定されてよい。フィールド１２の走査が終了していない場合（ステップＰ３４でＮＯ）、方向制御部１１２は、次のライン（図１３の場合、ラインＬ２）を撮像するように偏向器１０３を制御する（ステップＰ３５）。そして、ステップＰ３１へ戻り、ラインＬ２について、カメラの一回の露光中による撮像と、それにより生成された、ブラーを含むフレームＬＦＲ２について顔認識処理が行われる。すなわち、顔が認識されるまで、ラインＬ２以降、ラインごとの走査が行われ、ステップＰ３１～Ｐ３５の処理が繰り返される。

図１３（ｃ）に示すように、フレームＬＦＲ２において人物Ｕ１０の顔が検出されると（ステップＰ３３でＹＥＳ）、動画像処理装置２００の設定部２１５は、人物Ｕ１０を含む一の画像の撮影対象範囲を設定する（ステップＰ３６）。なお、ステップＰ３６～Ｐ３８は、第３実施形態のステップＴ１５～Ｔ１７と同様であってよく、説明を省略する。すなわち、ステップＰ３７，Ｐ３８では、一回の露光時間内で偏向器１０３を移動させず、固定して１フレーム分の画像を撮像した上で、複数のフレームが合成される。なお、ステップＰ３７，Ｐ３８の露光時間は、ステップＰ３１の露光時間とは異なる。ここで、一つのラインに複数の顔が検出された場合、それぞれの顔について撮影対象範囲が設定され、順にステップＰ３７～Ｐ３８が実行されてよい。

ステップＰ３８のあと、ステップＰ３４へ進み、フィールド１２の走査が完了したか否かが判定され、走査が完了していない場合、次のラインの走査（撮像）が行われてよい。なお、フィールド１２の走査が完了した場合（ステップＰ３４でＹＥＳ）、処理を終了してよい。

なお、上述では、顔が検出されたことをトリガとして、人物全体の撮影が行われる態様について説明した。しかしながら、顔が検出されても人物全体の撮影を行わずに、画像フレームに対応するラインの位置を、所定の記憶部へ記憶してよい。そして、先にフィールド１２すべての撮像を完了した後、記憶部に記憶されたラインに含まれる人物について、それぞれ、人物全体の撮影が行われてもよい。また、顔認識処理は、複数のフレームにわたって行われてもよい。

また、上述では、カメラ１０１の一回の露光時間中に、カメラ１０１の光軸方向を、水平方向の最大可動幅分移動させる態様について説明した。しかしながら、カメラ１０１の光軸方向を最大可動幅分移動させる方向は、垂直方向であってもよく、垂直方における偏向器１０３の最大可動幅分を１ラインとして、図１４の処理が行われてもよい。

このように、本発明の第６実施形態によれば、人物の検出のために複数のフレームを撮像することなく、顔認識処理と、人物全体の動画像や静止画像の撮影が可能となる。したがって、処理負荷を低減するとともに、処理速度を早めることができる。

＜第７実施形態＞
図１５は、本発明の第７実施形態による撮像システム構成の概略図である。第７実施形態では、撮像システム５００において、偏向器１０３であるガルバノミラーの向きの変更速度が非常に高速である点を用い、動く物体のトラッキング（追跡）が行われてよい。なお、ガルバノミラーを用いた高速トラッキングについては、例えば、奥寛雅著、「光学式視線制御機構による高速ビジュアルトラッキング」、日本ロボット学会誌Vol.32、No.9, pp774-778, 2014を参照できる。

高速トラッキングは、画像処理によって対象を認識し、その位置に合わせてカメラ１０１の視線を制御することで実現できる。しかしながら、偏向器１０３の水平方向の最大可動範囲は±２２．５°程度であるため、パン、チルト機能を持たない固定カメラではトラッキング範囲が制限されてしまう。この課題の解決のため、第７実施形態では、撮像装置１００を回転台の上に設置し、水平方向のトラッキング範囲を拡大する。

図１５（ａ）は、回転台１０７に載置された撮像装置１００を上面からみた模式図、図１５（ｂ）は、側面からみた模式図である。また、図１５（ｃ）は、第７実施形態によってトラッキング範囲が拡大されることを示す概略図である。なお、図は概略であって、サイズ、位置関係は正確ではない。回転台１０７は、ロータリーエンコーダ１０８を有し、回転台の回転方向を制御する図示しない制御装置に接続されている。ここで、カメラ１０１の光軸方向の水平方向の移動に係るミラー１０４ｂの回転軸は、回転台１０７の回転中心に位置させることが好ましい。

第７実施形態による動画像処理装置２００、回転台１０７の制御について、図１６（ａ）、（ｂ）のフローチャートを用いて説明する。図１６（ａ）は動画像処理装置２００、図１６（ｂ）は回転台１０７の制御フローチャートの一例である。まず、方向制御部１１２は、偏向器１０３を制御して、トラッキング対象が存在するフィールドのカメラ１０１による走査を開始させる（ステップＳ２０）。なお、カメラ１０１による走査は、第３実施形態の図７と同様に、方向制御部１１２が偏向器１０３を制御して、カメラ１０１の光軸方向を移動させることで行われてよい。顔認識部２１６は、カメラ１０１が撮像した画像フレームに、トラッキング対象が含まれているか否か（対象を検出したか否か）を判定する（ステップＳ２１）。なお、対象を検出したことの判定は顔に限定されず、対象の少なくとも一部が検出されたことによって行われてよい。対象が検出されない場合（ステップＳ２１でＮＯ）、カメラ１０１による走査と、検出処理が継続されてよい。

ステップＳ２１で対象が検出された場合（ステップＳ２１でＹＥＳ）、方向制御部１１２は、対象がフレームの中心となるように偏向器１０３の角度を変更する（ステップＳ２２）。すなわち、方向制御部１１２は、偏向器１０３を制御して、カメラ１０１の光軸方向を対象の移動に追随して移動させ、対象のトラッキングを行ってよい。なお、偏向器１０３の制御については、例えば以下のように行われてよい。まず、カメラ１０１によって生成されたフレームを正規化し、ｘｙ座標において、（ｘ，ｙ）＝（０，０）、（０，１）、（１，０）、（１，１）の４点で示されるサイズとする。そして、フレーム内の対象の中心座標を（ｘ，ｙ）、偏向器１０３の水平方向、垂直方向の制御範囲をともに０°～θmaxとすると、水平方向、垂直方向への移動角度は、以下の式で表されてよい。
水平方向の移動角度θpan（変化後）＝θpan（変化前）－ Kpan（x－0.5）
垂直方向の移動角度θtilt（変化後）＝θtilt（変化前）－ Ktilt（y－0.5）
（ただし、Kpan, Ktiltは任意の係数）

次に、カメラ１０１によるトラッキングが行われている間の回転台１０７の制御について、図１６（ｂ）の制御フローチャートを用いて説明する。回転台１０７の図示しない制御装置は、方向制御部１１２から、偏向器１０３の水平方向の角度を取得する（ステップＳ３０）。制御装置は、水平方向の角度が０度よりも大きい場合（ステップＳ３１でＹＥＳ）、回転台を右回りに回転させてよい（ステップＳ３２）。また、制御装置は、水平方向の角度が０度よりも小さい場合（ステップＳ３１でＮＯ）、回転台を左回りに回転させてよい（ステップＳ３３）。なお、回転台の回転方向は、回転台の上面から回転台を見たときの方向として定義されてよい。また、偏向器１０３の水平方向の回転角度は、初期状態を０度として、カメラ１０１の光軸方向が、フィールドに向かって右方向となるときをプラス、左方向となるときをマイナスとして定義されてよい。

上述の処理によれば、対象のトラッキングによって、偏向器１０３が例えばプラス方向に駆動された場合、回転台１０７が右回りに回転する。このとき、カメラ１０１が対象の存在する方向を向き続けるように、偏向器１０３はマイナス方向に駆動されることになる。また、偏向器１０３が例えばマイナス方向に駆動された場合、回転台１０７が左回りに回転する。このとき、カメラ１０１が対象の存在する方向を向き続けるように、偏向器１０３はプラス方向に駆動されることになる。すなわち、図１５（ｃ）に示すように、対象５０の方向に対して、偏向器１０３の水平方向の向きを０度の状態とすることができるため、偏向器１０３の最大可動幅を確保することが可能となる。なお、動画像処理装置２００、回転台１０７は、トラッキングの終了を検知した場合（ステップＳ２３，Ｓ３４でＹＥＳ）、トラッキング処理を終了してよい。

このように、本発明の第７実施形態によれば、対象のトラッキングにおいて、偏向器１０３の水平方向における走査範囲の制限を低減し、広範囲の高速トラッキングが可能となる。

なお、上述では、トラッキングが水平方向に行われる場合を一例に本発明の第７実施形態を説明した。しかしながら、トラッキングの方向は、垂直方向であってもよい。すなわち、回転台が垂直方向に傾斜可能であって、垂直方向のトラッキング範囲を拡大させてもよい。この場合、回転台の中心を通り、回転台の径方向（水平方向）の回転軸による垂直方向へ傾かせることが可能な回転台に、撮像装置１００が載置されてよい。なお、水平方向の回転と、垂直方向の傾斜とが可能な、２軸の回転台が用いられてもよい。

＜第８実施形態＞
図１７（ａ）は、本発明の第８実施形態による撮像システム構成の概略図である。なお、第８実施形態の撮像システム構成は、図１の撮像システム構成の変形例であって、図１７（ａ）では、図１と同一の部分には同一の符号を付すとともに、カメラ１０１と偏向器１０３のみ示してある。本発明の第８実施形態において、撮像システムは、フィールド１０に存在する対象をトラッキングした動画像（または静止画像）を、ネットワーク４００を介して配信サーバ３００に提供するシステムである。図１７の例では、トラッキングの対象は柔道選手であってよい。ここで、第８実施形態による撮像システムは、広角カメラ１０９をさらに備え、フィールド１０を広角カメラ１０９で撮像した画像から、トラッキングする対象を検出し、カメラ１０１によるトラッキングが行われてよい。

第８実施形態について、図を用いて説明する。図１７（ｂ）、図１８，１９は、広角カメラによる撮像範囲と、カメラ１０１による撮像範囲との校正（キャリブレーション）を説明する図、図１０は、第８実施形態の制御フローチャートである。図２０のフローチャートにおいて、広角カメラ１０９は、対象領域であるフィールド１０を撮影する（ステップＳ４０）。なお、広角カメラ１０９は、フィールド１０を画角内に収める位置に配置されてよい。また、広角カメラ１０９とカメラ１０１とは、設置のしやすさから、例えば同一の筐体等に一体化されていてもよい。また、広角カメラ１０９は動画像処理装置２００に接続され、広角カメラ１０９による画像が、動画像処理装置２００へ送信されてよい。

顔認識部２１６は、広角カメラ１０９が撮影した画像に、トラッキング対象が含まれるか否かを判定してよい（ステップＳ４１）。なお、トラッキング対象が含まれない場合（ステップＳ４１でＮＯ）、対象が検出されるまで、広角カメラ１０９によるフィールド１０の撮像と、検出処理とを継続してよい。ステップＳ４１で対象が検出された場合（ステップＳ４１でＹＥＳ）、フレーム処理部２１２は、広角カメラ座標における対象の位置を、偏向器座標における位置に変換してよい（ステップＳ４２）。

ここで、広角カメラ１０９とカメラ１０１と間のキャリブレーション（座標変換）について、図１７（ｂ）～図１９を用いて説明する。まず、図１７（ｂ）に示すように、偏向器１０３で走査可能な最大可動幅として四隅の位置の画像フレームＧ１～Ｇ４を取得する。ここで、偏向器１０３の水平方向、垂直方向の角度を（ｐ，ｔ）とすると、フレームＧ１～Ｇ４は、それぞれ、（ｐ，ｔ）＝（０，０）、（ｐｍａｘ，０）、（０，ｔｍａｘ）、（ｐｍａｘ， ｔｍａｘ）となる。図１８（ａ）に移り、４つの画像フレームＧ１～Ｇ４内の特徴点（図内の丸印）が抽出される。なお、図１８（ａ）において、破線で示す範囲がカメラ１０１による走査可能な範囲（走査範囲）である。 なお、図１８（ａ）において、例えばＧ１は、ガルバノミラーを走査範囲における左上端の限度まで向けた状態を示し、破線で示す範囲外の左方向及び上方向への走査はできない。そのほか、Ｇ２～Ｇ４についても同様であってよい。次に、図１８（ａ）の画像フレームＧ１～Ｇ４の走査範囲内で、それぞれ、画像フレームの中心に最も近い特徴点（図内の斜線で示す丸印）を中心としたときの画像フレームとして、図１８（ｂ）の画像フレームＧ１′～Ｇ４′を得る。このとき、画像フレームＧ１′～Ｇ４′の位置関係は、図１８（ｃ）のようになる。このとき、それぞれの画像フレームの中心ｇ１～ｇ４を偏向器１０３の座標（ｐ，ｔ）で示すと、フレームＧ１′～Ｇ４′は、それぞれ、ｇ１＝（ｐ１，ｔ１）、ｇ２＝（ｐ２，ｔ２）、ｇ３＝（ｐ３，ｔ３）、ｇ４＝（ｐ４，ｔ４）であるとする。

ここで、フレームＧ１′～Ｇ４′の座標は、広角カメラ１０９による歪みを含む画像フレームＭ１における座標であるため、図１９（ａ）に示すように、歪みを含まない画像フレームＭ２に補正する。その際、画像フレームＧ１′～Ｇ４′と、広角カメラ１０９による歪みを補正した画像全体を照らし合わせ、特徴点マッチングを行い、画像フレームＧ１′～Ｇ４′に、画像フレームとＭ２においてマッチするフレームをそれぞれＷ１～Ｗ４として割り出してよい。なお、特徴点マッチングには、既存の技術が用いられてよい。これにより、画像フレームＧ１′～Ｇ４′の中心の特徴点に対応する、広角カメラ画像上の座標として、それぞれ、ｗ１＝（ｘ１，ｙ１）、ｗ２＝（ｘ２，ｙ２）、ｗ３＝（ｘ３，ｙ３）、ｗ４＝（ｘ４，ｙ４）を得ることができる。

これより、偏向器１０３による走査範囲のｇ１＝（ｐ１，ｔ１）、ｇ２＝（ｐ２，ｔ２）、ｇ３＝（ｐ３，ｔ３）、ｇ４＝（ｐ４，ｔ４）の４点と、それらに対応した広角カメラのフレームのｗ１＝（ｘ１，ｙ１）、ｗ２＝（ｘ２，ｙ２）、ｗ３＝（ｘ３，ｙ３）、ｗ４＝（ｘ４，ｙ４）の４点との間の射影変換行列Ｈを導くことができる。

なお、ｐ１～ｐ４，ｔ１～ｔ４は球面座標であるため、２次元平面に射影した座標（ｕ，ｖ)に変換し、この（ｕ１，ｖ１）から（ｕ４，ｖ４）までの４点と、ｗ１からｗ４までとで射影変換行列を求めても良い。なお、ガルバノミラーの可動範囲が、－２２．５度から２２．５度と狭いため、球面座標のままでも線形的に近似できる。これにより、ある程度の精度で射影変換することができる。なお、球面座標から平面座標への変換は既知であって、詳細な説明をここでは省略する。

図２０のフローチャートに戻り、ステップＳ４２では、上述した射影変換座標Ｈを用いて、広角カメラ座標における対象の位置を、偏向器座標における位置に変換される。そして、方向制御部１１２は、対象の中心をフレームの中心となるように、偏向器の向きを変更する（ステップＳ４３）。その後、トラッキングが終了するまで（ステップＳ４４でＹＥＳ）、トラッキングが継続されてよい。

このように、本発明の第８実施形態によれば、広角カメラ１０９によってフィールド全体が撮影され、その画像からトラッキング対象の検出が行われる。このため、偏向器１０３によってカメラ１０１の光軸方向を移動させながらの走査と比べ、トラッキング対象の検出処理における負荷を低減することができる。また、偏向器１０３とカメラ１０１によるトラッキングにおいて、対象を見失った場合でも、広角カメラ１０９の画像を画像認識処理することにより、対象を即座に検出することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。例えば、撮像装置１００が備えるとして説明した各構成部は、複数の撮像装置によって分散されて実現されてもよいし、機能によっては、外部のプラットフォーム等をＡＰＩ（Application Programming Interface）等で呼び出して実現してもよい。また、上述で撮像装置１００が行うとして説明した処理を、動画像処理装置２００が実行してもよいし、動画像処理装置２００が行うとして説明した処理を、撮像装置１００が実行してもよい。

また、撮像システム５００として、撮像装置１００と動画像処理装置２００とを別に示したが、撮像装置１００と動画像処理装置２００は、一体の装置であってもよい。

また、上述の第１実施形態では、１フレームごとに、撮像する範囲を領域２０と領域３０とを切り替える態様について説明した。しかしながら、領域２０と領域３０との撮像の切り替えは、１フレームごとでなくてもよい。例えば、５フレームごと、１０フレームごとなど、撮像する対象の移動速度等に応じて設定されてもよい。

また、上述の第３、第４実施形態では、人物を含む静止画像が出力される態様を説明したが、出力されるデータは動画像であってもよい。

さらに、上述の第３、第４実施形態では、領域を走査して認識された任意の人物について、静止画像が生成される態様について説明した。しかしながら、本発明の一実施形態において、静止画像を撮像する人物があらかじめ設定され、顔認識部２１６は、パターンマッチング、遺伝的アルゴリズム等を用いて、設定された人物を認識する処理を含んでもよい。

また、第４実施形態において、走査用の第１カメラ１０１ｄと撮像用の第２カメラ１０１とは、その位置が入れ替わったものでもよい。

また、第８実施形態において、校正の手法は上述したものに限定されない。

撮像システム５００の各機能部をソフトウェアにより実現する場合、撮像システム５００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種情報がコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。すなわち、本発明に係る撮像システム５００は、ＣＰＵがＲＡＭ上にロードされたプログラムを実行することにより、上述した各構成部として機能する。上記記録媒体としては、「一時的でない有形の媒体」、例えば、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれた情報信号の形態でも実現され得る。

なお、上記プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Swift、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装されてよい。さらに、特許請求の範囲における「部（section、module、unit）」との記載は、「手段」や「回路」に読み替えてもよい。例えば、通信部は、通信手段や通信回路に読み替えることができる。

また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して、撮像システム５００に提供されてもよい。

１００ 撮像装置
１０１ カメラ
１０２ レンズ系
１０３ 偏向器
１０４ ミラー
１０５ ハーフミラー
１０６ 偏向器
１０７ 回転台
１０８ ロータリーエンコーダ
１０９ 広角カメラ
１１０ 制御部
１１２ 方向制御部
１１３ 取得部
１１４ 選択部
１２０ 通信部
１７０ 記憶部
２００ 動画像処理装置
２１０ 制御部
２１２ フレーム処理部
２１３ 出力部
２１４ 受付部
２１５ 設定部
２１６ 顔認識部
２７０ 記憶部
３００ 配信サーバ
４００ ネットワーク
５００ 撮像システム

Claims (16)

1. 一のカメラと、
   前記一のカメラによる動画の撮影に際し、前記一のカメラの光軸方向を変化させて前記一のカメラの撮像範囲を移動させる偏向器と、
   前記偏向器を制御して、前記動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、前記一のカメラの撮像範囲を移動させる方向制御部と、
   前記複数の画像フレームそれぞれの時系列に関する情報と、前記複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、前記複数の画像フレームに対して所定の処理を行った上で出力する出力部と、
   を備える、撮像システム。
2. 前記方向制御部は、前記一のカメラの撮像範囲よりも広い第１フィールドを、前記一のカメラが所定の順序で走査しながら撮像するように、前記偏向器を制御し、
   前記一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれると判定されたことに応じて、前記人物を含む一の画像の撮影対象範囲を設定する設定部と、
   をさらに備え、
   前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記撮影対象範囲の大きさと、前記一のカメラの撮像範囲の大きさとに基づき、前記一のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記一のカメラの撮像範囲を移動させ、
   前記出力部は、前記一のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも１以上出力する、
   請求項１に記載の撮像システム。
3. 前記設定部は、前記一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれる場合、前記人物の顔の向きに基づいて、前記一の画像の撮影対象範囲を設定する、
   請求項２に記載の撮像システム。
4. 前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記第１フィールドの撮像を停止して、前記一のカメラが前記撮影対象範囲を撮像するように前記偏向器を制御する、
   請求項２に記載の撮像システム。
5. 前記方向制御部は、前記撮影対象範囲の撮像が完了したことに応じて、前記一のカメラによる前記第１フィールドの撮像を、前記撮影対象範囲と異なる位置から再開するように、前記偏向器を制御する、
   請求項４に記載の撮像システム。
6. 前記一のカメラの光軸上に、前記偏向器との間に設けられたハーフミラーと、
   前記ハーフミラーによって光軸方向を前記一のカメラと同一とする、前記一のカメラと異なる他のカメラと、
   をさらに備え、
   前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記撮影対象範囲の大きさと、前記他のカメラの撮像範囲の大きさとに基づき、前記一のカメラとは異なる前記他のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記他のカメラの撮像範囲を移動させ、
   前記出力部は、前記他のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも１以上出力する、
   請求項２～５のいずれか一項に記載の撮像システム。
7. 前記一のカメラと異なる他のカメラと、
   前記偏向器と異なる他の偏向器と、
   前記他の偏向器を制御して、前記偏向器を介して撮像対象を撮影するカメラを、前記一のカメラと、前記他のカメラとで切り替える他の方向制御部と、
   をさらに備え、
   前記他の方向制御部は、前記一のカメラが前記第１フィールドを走査するように前記他の偏向器を制御し、前記設定部によって前記撮影対象範囲が設定されると、前記他のカメラが前記撮影対象範囲を撮像するように前記他の偏向器を制御し、
   前記方向制御部は、前記撮影対象範囲の大きさと、前記他のカメラの撮像範囲の大きさとに基づき、前記他のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記他のカメラの撮像範囲を移動させ、
   前記出力部は、前記他のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも１以上出力する、
   請求項２～５のいずれか一項に記載の撮像システム。
8. 前記一のカメラの撮像範囲の大きさに基づいて、前記一のカメラの撮像範囲よりも広い第２フィールドを分割した領域であって、一の領域が一の画像フレームで撮像されるＮ個（Ｎは１以上の整数）の領域に関する情報を記憶する記憶部をさらに備え、
   （ｉ）広角動画の撮像に際し、
   前記方向制御部は、前記Ｎ個の領域の撮像を、前記一のカメラが所定の順序で繰り返すように前記偏向器を制御し、
   前記出力部は、前記Ｎ個の領域をそれぞれ撮像したＮ個の前記画像フレームを合成した合成画像フレームを、時系列で連結させて成る前記広角動画を出力し、
   （ｉｉ）拡大動画の撮像に際し、
   前記方向制御部は、前記Ｎ個の領域のうち所定の一の領域を撮像するように前記偏向器を制御し、
   前記出力部は、前記一のカメラが前記所定の一の領域を撮像した画像フレームを、時系列で連結させて成る拡大動画を出力する、
   請求項１に記載の撮像システム。
9. 前記方向制御部は、前記一のカメラが第１～第Ｍ（Ｍは１以上の整数）の領域を所定の順序で繰り返し撮像するように前記偏向器を制御し、
   前記出力部は、前記第１～第Ｍの領域を撮像した画像フレームを、前記第１～第Ｍの領域ごとにそれぞれ時系列で連結させて成る第１～第Ｍの動画を出力する、
   請求項１に記載の撮像システム。
10. 前記一のカメラは、スポーツ競技を撮像するものであって、
    前記出力部は、前記スポーツ競技の動画または静止画像を配信する、
    請求項１、２、８のいずれか一項に記載の撮像システム。
11. 前記偏向器は、ガルバノスキャナである、
    請求項１に記載の撮像システム。
12. 一のカメラと、
    前記一のカメラによる動画の撮影に際し、前記一のカメラの光軸方向を変化させて前記一のカメラの撮像範囲を移動させる偏向器と、
    を備える撮像システムの制御方法であって、
    コンピュータが、
    前記偏向器を制御して、前記動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、前記一のカメラの撮像範囲を移動させるステップと、
    前記複数の画像フレームそれぞれの時系列に関する情報と、前記複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、前記複数の画像フレームに対して所定の処理を行った上で出力するステップと、
    を含む、撮像システムの制御方法。
13. 一のカメラと、
    前記一のカメラによる動画の撮影に際し、前記一のカメラの光軸方向を変化させて前記一のカメラの撮像範囲を移動させる偏向器と、
    を備える撮像システムの制御プログラムであって、
    コンピュータに、
    前記偏向器を制御して、前記動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、前記一のカメラの撮像範囲を移動させる機能と、
    前記複数の画像フレームそれぞれの時系列に関する情報と、前記複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、前記複数の画像フレームに対して所定の処理を行った上で出力する機能と、
    を実現させる、撮像システムの制御プログラム。
14. 前記方向制御部は、前記一のカメラの一回の露光時間中に、前記一のカメラの光軸方向を前記偏向器の移動方向における最大可動幅分移動させ、
    前記一のカメラによって最大可動幅分を撮像した画像フレーム内に人物の顔の少なくとも一部が含まれることが、あらかじめブラーを含む画像からの顔認識を学習した学習モデルを用いて判定されたことに応じて、前記人物を含む一の画像の撮影対象範囲を設定する設定部と、
    をさらに備え、
    前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記撮影対象範囲の大きさと、前記一のカメラの撮像範囲の大きさとに基づき、前記一のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記一のカメラの撮像範囲を移動させ、
    前記出力部は、前記一のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも１以上出力する、
    請求項１に記載の撮像システム。
15. 前記一のカメラと異なる広角カメラと、
    前記広角カメラが撮像した領域の特徴点と、前記一のカメラが撮像した領域の特徴点とから、前記広角カメラの撮像箇所を前記一のカメラの撮像箇所に対応させる校正部と、
    をさらに備え、
    前記方向制御部は、前記広角カメラによって撮像された画像フレームに、追跡対象の少なくとも一部が含まれると判定された場合、前記一のカメラの光軸方向を前記追跡対象の方向に移動させるとともに、前記一のカメラによって撮像される画像フレーム内に前記追跡対象が含まれるように、前記偏向器を制御して前記一のカメラの撮像範囲を移動させ、
    前記出力部は、前記一のカメラが撮像した複数の画像フレームを出力する、
    請求項１に記載の撮像システム。
16. 少なくとも前記一のカメラは、水平方向の回転、及び、垂直方向の傾斜の少なくともいずれかが可能な回転台の上に載置されている、
    請求項１に記載の撮像システム。

Images