JP2024060611A - 撮像システム、撮像システムの制御方法、および撮像システムの制御プログラム - Google Patents
撮像システム、撮像システムの制御方法、および撮像システムの制御プログラム Download PDFInfo
- Publication number
- JP2024060611A JP2024060611A JP2023180234A JP2023180234A JP2024060611A JP 2024060611 A JP2024060611 A JP 2024060611A JP 2023180234 A JP2023180234 A JP 2023180234A JP 2023180234 A JP2023180234 A JP 2023180234A JP 2024060611 A JP2024060611 A JP 2024060611A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- imaging
- deflector
- image
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 274
- 238000000034 method Methods 0.000 title claims description 52
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000003287 optical effect Effects 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 8
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 41
- 238000004891 communication Methods 0.000 description 19
- 239000002131 composite material Substances 0.000 description 18
- 238000009826 distribution Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 102100034223 Golgi apparatus protein 1 Human genes 0.000 description 5
- 101100449731 Homo sapiens GLG1 gene Proteins 0.000 description 5
- 101100439271 Schizosaccharomyces pombe (strain 972 / ATCC 24843) cfr1 gene Proteins 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 101000759174 Homo sapiens Zinc finger RNA-binding protein Proteins 0.000 description 2
- 102100023406 Zinc finger RNA-binding protein Human genes 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101000759172 Homo sapiens Zinc finger RNA-binding protein 2 Proteins 0.000 description 1
- 102100023404 Zinc finger RNA-binding protein 2 Human genes 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
【課題】画質の劣化を抑えつつ、所望の領域を精度よくズーミングでき、コストを増加させない撮像システムを提供すること【解決手段】本発明の一実施形態に係る、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器とを備える撮像システムは、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させる方向制御部と、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力する出力部とを備える。【選択図】 図2
Description
本発明は、撮像システム、撮像システムの制御方法、および撮像システムの制御プログラムに関する。
従来、スポーツ競技の放送や配信が広く行われている。例えば、特許文献1は、スポーツイベントのテレビ番組制作に関し、フィールドに設置した複数のカメラでビデオイメージを取り込むことを開示している。
特許文献1は、デジタルズーミングによってフレームストリームをズームすることを開示しているが、デジタルズーミングによるズームでは、画素数が減り画像が粗くなってしまう。なお、特許文献1は、ズーミングによる画質の劣化がない、光学ズーム機能を有するパン・チルト・ズーム(Panoramic Tilt Zoom:PTZ)カメラを用いることも開示している。しかしながら、PTZカメラでは、撮像位置を変更する際に、カメラレンズとカメラセンサとからなるカメラ本体を機械的に制御する必要があるため、ストロークが大振りになり、繊細なコントロールができない。
なお、カメラを複数設置し、それぞれ、広域を撮像するカメラと望遠によって狭域を拡大して撮像するカメラとで機能を分けることも考えられるが、複数のカメラを用いることは、コスト増につながるという問題もある。したがって、画質の劣化を抑えつつ、所望の領域を精度よくズーミングでき、コストを増加させない撮像システムが求められていた。
本発明の一実施形態に係る撮像システムは、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器と、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させる方向制御部と、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力する出力部とを備える。
本発明の一実施形態に係る撮像システムにおいて、方向制御部は、一のカメラの撮像範囲よりも広い第1フィールドを、一のカメラが所定の順序で走査しながら撮像するように、偏向器を制御し、一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれると判定されたことに応じて、人物を含む一の画像の撮影対象範囲を設定する設定部と、をさらに備え、方向制御部は、設定部によって撮影対象範囲が設定されると、撮影対象範囲の大きさと、一のカメラの撮像範囲の大きさとに基づき、一のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して一のカメラの撮像範囲を移動させ、出力部は、一のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも1以上出力してもよい。
本発明の一実施形態に係る撮像システムにおいて、設定部は、一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれる場合、人物の顔の向きに基づいて、一の画像の撮影対象範囲を設定してもよい。
本発明の一実施形態に係る撮像システムにおいて、方向制御部は、設定部によって撮影対象範囲が設定されると、第1フィールドの撮像を停止して、一のカメラが撮影対象範囲を撮像するように偏向器を制御してもよい。
本発明の一実施形態に係る撮像システムにおいて、方向制御部は、撮影対象範囲の撮像が完了したことに応じて、一のカメラによる第1フィールドの撮像を、撮影対象範囲と異なる位置から再開するように、偏向器を制御してもよい。
本発明の一実施形態に係る撮像システムは、一のカメラの光軸上に、偏向器との間に設けられたハーフミラーと、ハーフミラーによって光軸方向を一のカメラと同一とする、一のカメラと異なる他のカメラをさらに備え、方向制御部は、設定部によって撮影対象範囲が設定されると、撮影対象範囲の大きさと、他のカメラの撮像範囲の大きさとに基づき、一のカメラとは異なる他のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して他のカメラの撮像範囲を移動させ、出力部は、他のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも1以上出力してもよい。
本発明の一実施形態に係る撮像システムは、一のカメラと異なる他のカメラと、偏向器と異なる他の偏向器と、他の偏向器を制御して、偏向器を介して撮像対象を撮影するカメラを、一のカメラと、他のカメラとで切り替える他の方向制御部と、をさらに備え、他の方向制御部は、一のカメラが第1フィールドを走査するように他の偏向器を制御し、設定部によって撮影対象範囲が設定されると、他のカメラが撮影対象範囲を撮像するように他の偏向器を制御し、方向制御部は、撮影対象範囲の大きさと、他のカメラの撮像範囲の大きさとに基づき、他のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して他のカメラの撮像範囲を移動させ、出力部は、他のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも1以上出力してもよい。
本発明の一実施形態に係る撮像システムにおいて、一のカメラの撮像範囲の大きさに基づいて、一のカメラの撮像範囲よりも広い第2フィールドを分割した領域であって、一の領域が一の画像フレームで撮像されるN個(Nは1以上の整数)の領域に関する情報を記憶する記憶部をさらに備え、(i)広角動画の撮像に際し、方向制御部は、N個の領域の撮像を、一のカメラが所定の順序で繰り返すように偏向器を制御し、出力部は、N個の領域をそれぞれ撮像したN個の画像フレームを合成した合成画像フレームを、時系列で連結させて成る広角動画を出力し、(ii)拡大動画の撮像に際し、方向制御部は、N個の領域のうち所定の一の領域を撮像するように偏向器を制御し、出力部は、一のカメラが所定の一の領域を撮像した画像フレームを、時系列で連結させて成る拡大動画を出力してもよい。
本発明の一実施形態に係る撮像システムにおいて、方向制御部は、一のカメラが第1~第M(Mは1以上の整数)の領域を所定の順序で繰り返し撮像するように偏向器を制御し、出力部は、第1~第Mの領域を撮像した画像フレームを、第1~第Mの領域ごとにそれぞれ時系列で連結させて成る第1~第Mの動画を出力してよい。
本発明の一実施形態に係る撮像システムにおいて、一のカメラは、スポーツ競技を撮像するものであって、出力部は、スポーツ競技の動画または静止画像を配信してもよい。
本発明の一実施形態に係る撮像システムにおいて、偏向器は、ガルバノスキャナであってよい。
本発明の一実施形態に係る、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器と、を備える撮像システムの制御方法は、コンピュータが、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させるステップと、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力するステップとを含む。
本発明の一実施形態に係る、一のカメラと、一のカメラによる動画の撮影に際し、一のカメラの光軸方向を変化させて一のカメラの撮像範囲を移動させる偏向器と、を備える撮像システムの制御プログラムは、コンピュータに、偏向器を制御して、動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、一のカメラの撮像範囲を移動させる機能と、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行った上で出力する機能とを実現させる。
本発明の一実施形態に係る撮像システムにおいて、方向制御部は、一のカメラの一回の露光時間中に、一のカメラの光軸方向を偏向器の移動方向における最大可動幅分移動させ、一のカメラによって最大可動幅分を撮像した画像フレーム内に人物の顔の少なくとも一部が含まれることが、あらかじめブラーを含む画像からの顔認識を学習した学習モデルを用いて判定されたことに応じて、人物を含む一の画像の撮影対象範囲を設定する設定部をさらに備え、方向制御部は、設定部によって撮影対象範囲が設定されると、撮影対象範囲の大きさと、一のカメラの撮像範囲の大きさとに基づき、一のカメラによって撮影対象範囲が撮像されるように、偏向器を制御して一のカメラの撮像範囲を移動させ、出力部は、一のカメラが撮像した複数の画像フレームを合成し、撮影対象範囲の画像を少なくとも1以上出力してもよい。
本発明の一実施形態に係る撮像システムは、一のカメラと異なる広角カメラと、広角カメラが撮像した領域の特徴点と、一のカメラが撮像した領域の特徴点とから、広角カメラの撮像箇所を一のカメラの撮像箇所に対応させる校正部とをさらに備え、方向制御部は、広角カメラによって撮像された画像フレームに、追跡対象の少なくとも一部が含まれると判定された場合、一のカメラの光軸方向を追跡対象の方向に移動させるとともに、一のカメラによって撮像される画像フレーム内に追跡対象が含まれるように、偏向器を制御して一のカメラの撮像範囲を移動させ、出力部は、一のカメラが撮像した複数の画像フレームを出力してもよい。
本発明の一実施形態に係る撮像システムにおいて、少なくとも一のカメラは、水平方向の回転、及び、垂直方向の傾斜の少なくともいずれかが可能な回転台の上に載置されてよい。
本発明の一実施形態によれば、画質の劣化を抑えつつ、所望の領域を精度よくズーミングでき、コストを増加させない撮像システム等を提供することができる。
以降、図を用いて、本開示に係る発明(本発明ともいう)の一実施形態を説明する。なお、図は一例であって、本発明は図に示すものに限定されない。例えば、図示した撮像システム(撮像装置、動画像処理装置)、フローチャート、画像フレーム、動画データ等は一例であって、本発明はこれらに限定されるものではない。また、以下では、本発明を複数の実施形態に分けて説明するが、それらは単独で実施されてもよいし、複数の実施形態を組み合わせて実施されてもよい。また、図において、同一機能を有するものには同一の符号を付し、その繰り返しの説明は省略する。
<第1実施形態>
<システム構成>
図1は、本発明の第1実施形態による撮像システム構成の概略図である。撮像システム500は、撮像装置100と、動画像処理装置200とを含み、フィールド10を撮像(撮影)した動画像や静止画像を、ネットワーク400を介して配信サーバ300に提供するシステムである。なお、配信サーバ300から図示しないユーザ端末に、動画像等のコンテンツが配信されてもよい。ここで、「フィールド」とは、撮像システム500が撮像する場所を意味し、撮像システム500に含まれるカメラの撮像範囲よりも広い範囲の空間であってよい。なお、これ以降、カメラはパン、チルト機能を持たない固定カメラであり、「カメラの撮像範囲」は、カメラの画角を意味する。
<システム構成>
図1は、本発明の第1実施形態による撮像システム構成の概略図である。撮像システム500は、撮像装置100と、動画像処理装置200とを含み、フィールド10を撮像(撮影)した動画像や静止画像を、ネットワーク400を介して配信サーバ300に提供するシステムである。なお、配信サーバ300から図示しないユーザ端末に、動画像等のコンテンツが配信されてもよい。ここで、「フィールド」とは、撮像システム500が撮像する場所を意味し、撮像システム500に含まれるカメラの撮像範囲よりも広い範囲の空間であってよい。なお、これ以降、カメラはパン、チルト機能を持たない固定カメラであり、「カメラの撮像範囲」は、カメラの画角を意味する。
図1では、フィールドの一例として、柔道の試合が行われている競技場を示してある。なお、本発明の一実施形態による撮像システム500が撮像する場所は、図示した柔道の競技場に限定されず、サッカー、テニス、水泳、陸上競技といった任意のスポーツ競技や運動会等が行われる競技場、運動場、広場、球場等であってよい。また、本発明の一実施形態による撮像システム500が撮像する対象は、スポーツ競技に限定されず、映画や演劇等であってよく、撮影する場所も、スタジオ、舞台等であってよい。
撮像装置100は、一のカメラ101、レンズ系102、偏向器103と、それらを制御する制御部110を少なくとも備える。カメラ101は、静止画及び動画を撮影可能なデジタルカメラであって、レンズ系102を介して偏向器103に接続される。レンズ系102は、カメラの入射瞳を光学的に転送する既存のレンズ群である。なお、カメラ101の撮像範囲を後述する偏向器103で切り替え可能であれば、レンズ系102はどのようなものであってもよいし、レンズ系102はなくてもよい。
偏向器103は、カメラ101の光軸方向を変化させてカメラ101の撮像範囲を移動させる偏向器であって、例えば、ミラー104a,104bと、それらミラーを軸方向に回転させる図示しない軸回転用モーターと、ミラーの回転角度を制御する駆動部を備え、それらミラーの向きを駆動電流で制御するスキャナであってよい。なお、偏向器103は、カメラ101の光軸方向を、上下左右方向に移動させることができてよい。
撮像装置100は、撮像対象である領域20および領域30を撮像可能な位置に設置され、撮像したデータ(動画像データや静止画像データ)を動画像処理装置200へ送信する。ここで、本発明の第1実施形態に係る撮像システム500によれば、図1のように、偏向器103によってカメラ101の撮像範囲を領域20と領域30とで交互に移動させ、カメラ101は、領域20と領域30とを交互に撮像することができる。なお、後述するように、撮像範囲を移動させる領域は2つに限定されない。
動画像処理装置200は、撮像装置100が撮像した動画像データや静止画像データを取得し、所定の処理を行った上で出力する(詳細は後述する)。
ネットワーク400は、データのやり取りが可能な通信経路であって、無線、有線のいずれであってもよい。具体的には、ネットワーク400は、電話通信網、ケーブル網、インターネット等の通信網であってよい。
配信サーバ300は、動画像処理装置200から出力される動画像データを、図示しないユーザ端末に配信してよい。なお、ユーザに動画像を提供するのに配信サーバ300は必須ではなく、撮像システム500からユーザ端末へ、直接動画像データが出力されてもよい。
次に、図2を用いて、本発明の一実施形態に係る撮像装置100、及び動画像処理装置200のハードウェア構成、機能構成について説明する。
<撮像装置>
(1)撮像装置のハードウェア構成
撮像装置100は、カメラ101、偏向器103、通信部120、制御部110、及び記憶部170を備える。
(1)撮像装置のハードウェア構成
撮像装置100は、カメラ101、偏向器103、通信部120、制御部110、及び記憶部170を備える。
上述のように、カメラ101は、静止画像及び動画像を撮影可能なデジタルカメラであって、動画像を撮影する場合、設定された所定のフレームレートで静止画像(画像フレーム)を撮像する。また、上述のように、偏向器103は、カメラ101の光軸方向を変化させる機能を有するデバイスであって、例えばガルバノミラー、ポリゴンミラー、MEMS(Micro Electro Mechanical Systems)ミラー等を用いたスキャナであってよい。なお、これ以降、偏向器103をガルバノミラーを用いたガルバノスキャナとして説明する。
通信部120は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、動画像処理装置200との間で各種データの送受信を行う。なお、通信部120による通信は、無線であってもよいし有線であってもよい。
制御部110は、典型的にはプロセッサであって、中央処理装置(CPU:Central Processing Unit)、MPU(Micro Processor Unit)、GPU(Graphics Processing Unit)、マルチプロセッサ、ASIC、FPGA等を含み、集積回路等に形成された論理回路(ハードウェア)や専用回路によって実現されてよい。
記憶部170は、撮像装置100が動作するうえで必要とする各種プログラムや各種情報を記憶する。記憶部170は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等を含んでよい。また、記憶部170は、制御部110に対する作業領域を提供するメモリを含んでよい。なお、記憶部170は、カメラ101が撮像したデータを記憶してもよい。
(2)撮像装置の機能構成
撮像装置100は、制御部110によって実現される機能として、方向制御部112、及び取得部113を含んでよい。なお、図2において、これ以降に説明する各実施形態で必須でない機能部はなくともよい。また、各機能部の機能又は処理は、実現可能な範囲において、機械学習又はAIにより実現されてもよい。
撮像装置100は、制御部110によって実現される機能として、方向制御部112、及び取得部113を含んでよい。なお、図2において、これ以降に説明する各実施形態で必須でない機能部はなくともよい。また、各機能部の機能又は処理は、実現可能な範囲において、機械学習又はAIにより実現されてもよい。
方向制御部112は、偏向器103におけるミラー104a,104bの向きを制御する。具体的には、所望の偏向角度に応じた駆動電流がガルバノミラー104a,104bに印加されるように、図示しない直流電源からの印加電圧を制御する制御信号を発する。
取得部113は、所定のフレームレートで動画像を撮影するカメラ101から、撮像した画像データ(画像フレーム)を時系列で取得し、通信部120を介して動画像処理装置200へ出力する。
なお、本発明の一実施形態において、カメラ101が動画を撮像する際、偏向器103によるミラーの向きの変更速度、すなわち、カメラ101の撮像範囲の移動は、カメラ101のフレームレートに比べて非常に高速である。したがって、カメラ101は、動画を撮像する際、図1における領域20,30を撮像した画像フレームを、時系列で交互に取得することができる。このことを、図3を用いて説明する。
図3(a)は、カメラ101による動画の撮像を説明する概略図であって、横軸を時間としたときの、カメラ101によって生成される画像フレームの一例を示す図である。図の例では、カメラ101がフレームレート60fpsで動画を撮像し、カメラ101の撮像周期(フレーム長、t4-t1、t7-t4等)は、1/60≒16msである。なお、一般に、動画のシャッタースピード(露光時間)は、フレームレートの2倍分の1秒にすることが推奨される。したがって、露光時間(t2-t1、t5-t4、t8-t7等)は、1/120≒8msとなる。これに対し、ガルバノスキャナがミラーの向きを変更するのに要する時間(t3-t2、t6-t5、t9-t8等)は、0.5ms程度であり、露光時間とミラーの向き変更に要する時間とを合わせても、8ms+0.5ms=8.5msとなる。すなわち、カメラ101の撮像周期である16ms以内でミラーの角度を変更することができ、カメラ101による1つの画像フレームの撮像の完了後、次の撮像周期が到来する前に、カメラ101の撮像範囲を移動させることができる。
図3(a)において、フレームFR1は、図1における領域20を撮像した画像フレームである。領域20の撮像後、方向制御部112は、カメラ101の撮像範囲が領域30となるように、偏向器103を制御し、カメラ101は、次の撮像周期で領域30を撮像する。領域30の撮像後、方向制御部112は、カメラ101の撮像範囲が領域20となるように偏向器103を制御し、カメラ101は、次の撮像周期で領域20を撮像する。すなわち、方向制御部112は、カメラ101が第1~第M(Mは1以上の整数、図1の場合はM=2)の領域を所定の順序で繰り返し撮像するように、偏向器103を制御してよい。
<動画像処理装置>
(1)動画像処理装置のハードウェア構成
図2に戻り、動画像処理装置のハードウェア構成、機能構成について説明する。動画像処理装置200は、通信部220、制御部210、及び記憶部270を備える。
(1)動画像処理装置のハードウェア構成
図2に戻り、動画像処理装置のハードウェア構成、機能構成について説明する。動画像処理装置200は、通信部220、制御部210、及び記憶部270を備える。
通信部220は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、撮像装置100や配信サーバ300との間で各種データの送受信を行う。なお、通信部220による通信は、無線であってもよいし有線であってもよい。例えば、通信部220は、撮像装置100から画像フレームを受信する。また、通信部220は、動画像処理装置200で設定された各種情報を、撮像装置100へ送信する。
制御部210は、典型的にはプロセッサであって、中央処理装置(CPU)、MPU、GPU、マルチプロセッサ、ASIC、FPGA等を含み、集積回路等に形成された論理回路(ハードウェア)や専用回路によって実現されてよい。
記憶部270は、動画像処理装置200が動作するうえで必要とする各種プログラムや各種情報を記憶する。記憶部270は、例えば、HDD、SSD、フラッシュメモリ等を含んでよい。また、記憶部270は、制御部210に対する作業領域を提供するメモリを含んでよい。なお、記憶部270は、カメラ101から取得した撮像データを記憶してもよい。
(2)動画像処理装置の機能構成
動画像処理装置200は、制御部210によって実現される機能として、フレーム処理部212、出力部213、受付部214、設定部215、及び顔認識部216を含んでよい。なお、図2において、各実施形態で必須でない機能部はなくともよい。また、各機能部の機能又は処理は、実現可能な範囲において、機械学習又はAIにより実現されてもよい。
動画像処理装置200は、制御部210によって実現される機能として、フレーム処理部212、出力部213、受付部214、設定部215、及び顔認識部216を含んでよい。なお、図2において、各実施形態で必須でない機能部はなくともよい。また、各機能部の機能又は処理は、実現可能な範囲において、機械学習又はAIにより実現されてもよい。
フレーム処理部212は、撮像装置100から送信された複数の画像フレームに対して所定の処理を行う。例えば、フレーム処理部212は、複数の画像フレームそれぞれの時系列に関する情報と、複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、複数の画像フレームに対して所定の処理を行ってよい。本発明の第1実施形態において、フレーム処理部212は、所定の処理として、カメラ101が第1~第M(Mは1以上の整数)の領域を所定の順序で繰り返し撮像した場合、第1~第Mの領域を撮像した画像フレームを、第1~第Mの領域ごとにそれぞれ時系列で連結させて成る第1~第Mの動画を生成してよい。
ここで、図1のようにM=2である場合に生成される動画について、図3(b)を用いて説明する。図3(a)に示すように、カメラ101によって、領域20,30を交互に撮像した画像フレームが取得されると、フレーム処理部212は、領域20,30ごとにそれぞれ時系列で連結させて成る動画を生成する。図3(b)の例では、領域20を撮像した画像フレームFR1,FR3,FR5,FR7…等を連結して、領域20で行われている競技に関する動画MV10が生成され、領域30を撮像した画像フレームFR2,FR4,FR6,FR8…等を連結して、領域30で行われている競技に関する動画MV20が生成されている。
図2に戻り、出力部213は、フレーム処理部212が生成した動画像を、配信サーバ300に出力する。配信サーバ300は、図示しないユーザ端末に対し、動画像を配信してよい。
上述のように、本発明の第1実施形態によれば、一のカメラによる一連の動画撮影動作において複数の領域の動画を撮像し、各領域に関する動画像を同時に生成することができる。したがって、カメラを複数台用意することなく、複数の領域を同時に撮像し、それら領域ごとの動画像を生成することが可能となる。
なお、図1、図3の例では、カメラ101によって撮像する領域を、領域20,30の2つの場合について説明したが、本発明はこれに限定されず、偏向器103によってカメラ101の光軸を移動可能な範囲であれば、撮像する領域は2つ以上であってよい。また、図では、領域20,30が水平方向に並んだ例を示したが、本発明はこれに限定されず、撮像する領域が垂直方向に並んでいてもよい。
<第2実施形態>
図4は、本発明の第2実施形態による撮像システム構成の概略図である。なお、第1実施形態と同一の機能構成については同一の符号を付し、説明を省略する。本発明の第2実施形態において、撮像システム500は、フィールド(第2フィールド)11を撮像した動画像や静止画像を、ネットワーク400を介して配信サーバ300に提供するシステムである。本発明の第2実施形態に係る撮像システム500は、偏向器103によって、カメラ101の撮像範囲よりも広いフィールド11を、カメラ101が所定の順序で走査しながら撮像してよい。ここで、第2実施形態に係る撮像システム500は、一のカメラ101のみで、ある領域についてズームインしたズームイン動画(拡大動画)と、ズームアウトしたズームアウト動画(広域動画)とを撮影することができる。
図4は、本発明の第2実施形態による撮像システム構成の概略図である。なお、第1実施形態と同一の機能構成については同一の符号を付し、説明を省略する。本発明の第2実施形態において、撮像システム500は、フィールド(第2フィールド)11を撮像した動画像や静止画像を、ネットワーク400を介して配信サーバ300に提供するシステムである。本発明の第2実施形態に係る撮像システム500は、偏向器103によって、カメラ101の撮像範囲よりも広いフィールド11を、カメラ101が所定の順序で走査しながら撮像してよい。ここで、第2実施形態に係る撮像システム500は、一のカメラ101のみで、ある領域についてズームインしたズームイン動画(拡大動画)と、ズームアウトしたズームアウト動画(広域動画)とを撮影することができる。
本発明の第2実施形態について、図4~6を用いて説明する。図4は第2実施形態のシステム構成の概略図、図5は第2実施形態に係る制御フローチャート、図6は、第2実施形態における撮像処理の概要を説明する図である。
図5のフローチャートを参照すると、まず、撮像装置100の記憶部170は、フィールド11(第2フィールド)を分割した領域であって、一の領域が一の画像フレームで撮像されるN個(Nは1以上の任意の整数)の領域に関する情報を記憶する(ステップS11)。図4の例では、N=9であって、領域40を分割した9個の領域に関する情報が記憶される。なお、Nは任意の数であってよく、領域の位置も適宜変更することができてよい。
撮像装置100は、撮像モードの指定を受け付ける(ステップS12)。撮像モードの指定は、動画像処理装置200の受付部214が、動画像の配信ユーザから受け付けてよい。撮像モードが広角動画の場合、方向制御部112は、N個の領域の撮像を、カメラ101が所定の順序で繰り返すように偏向器103を制御する(ステップS13)。図4の例では、方向制御部112は、カメラ101が、領域40を分割した9個の領域の撮像を、第1領域から第9領域の順で繰り返すように偏向器103を制御してよい。本発明の第2実施形態において、フレーム処理部212は、所定の処理として、N個の領域をそれぞれ撮像したN個の画像フレームを合成した合成画像フレームを生成し、出力部213は、生成された合成画像フレームを時系列で連結させて成る広角動画を出力する(ステップS14)。
このことを、図6(a)を用いて説明する。まず、方向制御部112は、領域40における第1領域がカメラ101の撮像範囲となるように偏向器103を制御し、カメラ101は、第1領域を撮像する。これにより、第1領域を撮像した画像フレームFR1が生成される。第1領域の撮像完了後、方向制御部112は、カメラ101の次の撮像周期が到来する前に、領域40における第2領域がカメラ101の撮像範囲となるように偏向器103を制御する。そして、カメラ101による次の撮像周期で、第2領域を撮像した画像フレームFR2が生成される。このように、領域の撮像と、撮像範囲の移動が繰り返され、第9領域を撮像した画像フレームFR9が生成されると、偏向器103は、次の撮像周期で第1領域が撮像されるように偏向器103を制御する。そして、フレーム処理部212は、第1領域から第9領域までの画像フレームFR1~FR9を合成して、合成画像フレームCFR1を生成する。このように生成された合成画像フレームCFR1は、領域40を撮像した広角画像であって、合成画像フレームCFR1,CFR2…を時系列で連結した動画MV30は、領域40を撮像した広角動画となる。
より具体的に、図4~6の例において、カメラ101はフレームレート240fpsで動画を撮像し、カメラ101の撮像周期(フレーム長)は1/240≒4ms、露光時間は、1/480≒2msとなる。したがって、露光時間と、ガルバノスキャナがミラーの向きを変更するのに要する時間0.5msとを合わせても、2ms+0.5ms=2.5msとなって、カメラ101の撮像周期以内で、ミラーの角度を変更することができる。合成画像フレームCFR1のフレーム長は、4ms×9=36msであって、合成画像フレームCFR1,CFR2…を時系列で連結した動画MV30は、フレームレート27fpsの動画となる。
図5に戻り、撮像システム500は、ステップS13~S14を繰り返し、領域40の広角動画の出力を継続する。配信ユーザによって撮像モードの切り替えが指示された場合、ステップS12へ進み、撮像終了が指示された場合、撮像を終了してよい(ステップS15)。
ステップS12で指定された撮像モードが拡大動画(ズームイン動画)である場合、ステップS16へ進み、方向制御部112は、N個の領域のうち所定の一の領域を撮像するように偏向器103を制御する。なお、ズームして撮像する領域(ズームイン領域)はあらかじめ設定されてよく、図4の例では、領域40の第5領域が、ズームイン領域であるとする。
方向制御部112は、カメラ101の撮像範囲が第5領域となるように偏向器103を制御したのち、ミラー104a,104bの位置をそのまま保持する。カメラ101は、第5領域を撮像し、出力部213は、カメラ101が第5領域を撮像した画像フレームを、時系列で連結させて成る拡大動画を出力する(ステップS17)。
このことを、図6(b)を用いて説明する。まず、方向制御部112は、領域40における第5領域がカメラ101の撮像範囲となるように偏向器103を制御し、カメラ101は第5領域の画像を撮像する。これにより、第5領域のみが撮像された画像フレームであって、すなわち、第5領域の拡大画像フレームZFR1が生成される。カメラ101は、設定された撮像周期で第5領域の撮像を繰り返し、拡大画像フレームZFR1,ZFR2…を時系列で連結した動画MV40は、領域40における第5領域のみが撮像された、第5領域の拡大動画となる。なお、カメラ101のフレームレートが240fpsである場合、動画MV40も同様にフレームレート240fpsの動画となる。
図5に戻り、撮像システム500は、ステップS16~S17を繰り返し、領域40の第5領域の拡大動画の出力を継続する。配信ユーザによって撮像モードの切り替えが指示された場合、ステップS12へ進み、撮像終了が指示された場合、撮像を終了してよい(ステップS18)。
上述のように、本発明の第2実施形態によれば、広域の撮像と、拡大しての撮像とを、一のカメラのみで実現することができる。したがって、広域を撮像するカメラと、拡大して撮像するカメラとを複数設置する必要がなく、コストを増加させることがない。また、デジタルズームによるズーミングと比較して、画質の劣化を抑えることができる。
<第3実施形態>
図7は、本発明の第3実施形態による撮像システム構成の概略図である。なお、図7では、撮像システム500のうち偏向器103のみを示してある。本発明の第3実施形態に係る撮像システム500は、偏向器103によって、カメラ101の撮像範囲よりも広いフィールド(第1フィールド)12を、カメラ101が所定の順序で走査するように撮像し、フィールド12に含まれる人物を撮像した動画像や静止画像を、ネットワーク400を介してユーザに提供するシステムである。例えば、第3実施形態によれば、図7のように走っている子供の顔を認識して、子供の顔を含む全身画像等が生成されてよい。
図7は、本発明の第3実施形態による撮像システム構成の概略図である。なお、図7では、撮像システム500のうち偏向器103のみを示してある。本発明の第3実施形態に係る撮像システム500は、偏向器103によって、カメラ101の撮像範囲よりも広いフィールド(第1フィールド)12を、カメラ101が所定の順序で走査するように撮像し、フィールド12に含まれる人物を撮像した動画像や静止画像を、ネットワーク400を介してユーザに提供するシステムである。例えば、第3実施形態によれば、図7のように走っている子供の顔を認識して、子供の顔を含む全身画像等が生成されてよい。
本発明の第3実施形態について、図7に加え図8も用いて説明する。図8は、第3実施形態に係る制御フローチャートである。
まず、方向制御部112は、偏向器103を制御して、フィールド12における開始領域から、カメラ101による走査を開始させる(ステップT11)。図7(a)の例では、方向制御部112は、偏向器103を制御して、領域SC10から、矢印A10の向きに、領域SC11,SC12,SC13…の順序でカメラ101の光軸方向を移動させる。動画像処理装置200の顔認識部216は、撮像した領域について顔認識処理を行う(ステップT12)。すなわち、顔認識部216は、領域SC11を撮像した画像フレームに人物の顔の少なくとも一部が含まれるか否かを判定する(ステップT13)。ステップT13で顔が認識されない場合(ステップT13でNO)、ステップT14へ進み、次の領域(図7の場合、領域SC12)を撮像するように偏向器103を制御する。そして、領域SC12についての顔認識処理を繰り返す。すなわち、顔が認識されるまで、領域SC12以降、矢印A10の向きで領域が走査され、ステップT12~T14の処理が繰り返される。
図7(a)に示すように、領域SC19において人物U10の顔が検出され(ステップT13でYES)、ステップT15へ進み、動画像処理装置200の設定部215は、人物U10を含む一の画像の撮影対象範囲を設定する(ステップT15)。図7(b)に示すように、設定部215は、人物U10を含む領域R20を、撮影対象範囲として設定してよい。なお、撮影対象範囲は、例えば、検出された人物U10の顔の大きさから、人物U10の大きさを推定し設定されてよい。あるいは、人物U10を検出した領域を含む所定数(図7(b)の場合、15個)分の領域を撮影対象範囲とすることが、あらかじめ設定されていてよい。
あるいは、設定部215は、カメラ101によって撮像された人物の顔の向きに基づいて、撮影対象範囲を設定してもよい。なお、人物の顔の向きは、顔の特徴量データ等を用いる既知の頭部方向推定アルゴリズムによって推定されてよい。人物の顔の向きに基づく撮影対象範囲の設定とは、目線の方向に余白を多く取る構図の画像が生成されるような設定であってよい。
方向制御部112は、設定部215によって撮影対象範囲R20が設定されると、撮影対象範囲の大きさと、カメラ101の撮像範囲の大きさとに基づき、カメラ101によって撮影対象範囲R20が撮像されるように、偏向器103を制御してカメラ101の撮像範囲を移動させる(ステップT16)。図7(b)の例では、領域SC20から、矢印A20の向きに、SC21,SC22…と撮像範囲を移動させ、各領域を撮像する。このとき、第1実施形態や第2実施形態で説明したように、偏向器103によるミラー104a,104bの向きの変更速度は、カメラ101の撮像周期と比較して非常に高速である。このため、カメラ101で動画を撮影しながら偏向器103によって撮像範囲を移動させ、撮影対象範囲R20全体を高速に撮像することができる。
本発明の第3実施形態において、フレーム処理部212は、所定の処理として、カメラ101が撮像した複数の画像フレームを合成した合成画像フレームを生成してよい。なお、合成画像フレームは、第2実施形態と同様に生成されてよい。出力部213は、生成された合成画像フレームからなる撮影対象範囲の画像を、少なくとも1以上出力する(ステップT17)。このとき出力される画像は、人物U10を含む撮影対象範囲R20を撮像した画像となる。
このように、本発明の第3実施形態によれば、カメラ101によってフィールドを撮像して走査しながら、フィールドに含まれる人物の静止画像を生成することができる。ここで、フィールドの走査と静止画像の生成とは、カメラ101による一連の動画撮影動作で行われるため、複数のカメラを設置する必要がない。
なお、方向制御部112は、設定部215によって撮影対象範囲が設定されると、フィールド12の撮像(走査)を停止して、カメラ101が撮影対象範囲を撮像するように偏向器103を制御する。これにより、フィールド12における撮影対象が移動している場合でも、顔を認識すると同時に撮影対象の撮像が開始され、ブレのない画像を得ることができる。
そして、方向制御部112は、撮影対象範囲の撮像が完了したことに応じて、カメラ101によるフィールド12の撮像を、これ以前の撮影対象範囲と異なる位置から再開するように、偏向器103を制御する。すなわち、前回顔を検出した領域SC19に隣接する領域であって、顔が検出されていない領域から、フィールド12の撮像を再開してよい(ステップT18)。これにより、これ以前に撮影対象となっていない人物についても、検出される機会を向上させ、静止画像を生成することができる。
<第4実施形態>
図9(a)、(b)は、本発明の第4実施形態による撮像システム構成の概略図である。なお、第4実施形態は、第3実施形態の変形例であるため、図9(a)、(b)では、第3実施形態の概略図である図7と異なる部分には異なる符号を付し、同一の部分には同じ符号を付してある。
図9(a)、(b)は、本発明の第4実施形態による撮像システム構成の概略図である。なお、第4実施形態は、第3実施形態の変形例であるため、図9(a)、(b)では、第3実施形態の概略図である図7と異なる部分には異なる符号を付し、同一の部分には同じ符号を付してある。
第3実施形態では、カメラ101が、第1フィールド12の走査及び領域R20の撮像を行う態様について説明した。これに対し、第4実施形態では、第1フィールド12の走査を行うカメラとは別に、領域R20の撮像を行うカメラをさらに備えてよい。図9の例では、カメラ(一のカメラ)101dが第1フィールド12の走査を行い、カメラ(他のカメラ)101が領域R20の撮像を行ってよい。なお、これ以降、カメラ101dを「第1カメラ101d」、カメラ101を「第2カメラ101」として区別する。ここで、第1フィールド12の走査を行う第1カメラ101dは、フレームレートが30fpsを超えるいわゆるハイスピードカメラであってよく、領域20の撮像を行う第2カメラ101は、フレームレートが30fps以下のカメラであってよいが、これに限定されるものではない。
図9(a)、(b)において、偏向器103とは別個に設けられたミラー105は、ハーフミラーであってよい。ここで、ハーフミラーとは、入射光の一部を反射し、一部を透過する鏡のうち、入射光と透過光の強さがほぼ同じものを指してよい。第4実施形態では、図9(a)、(b)のように、第1カメラ(一のカメラ)101dの光軸上において、偏向器103との間にハーフミラー105が設けられ、ハーフミラー105の反射光AR2を第2カメラ101が撮像し、ハーフミラー105の透過光AR1を第1カメラ101dが撮像する位置に、第1カメラ101dと第2カメラ101とを設置してよい。すなわち、第1カメラ101dと第2カメラ101とは、ハーフミラー105によって、光軸方向が同一となってよい。なお、「光軸方向が同一」とは、第1カメラ101dと第2カメラ101とが、相対的な位置関係を保ったままで、同時に同一の対象を撮影できることを意味してよい。
本発明の第4実施形態について、図10の、第4実施形態に係る制御フローチャートを用いて説明する。まず、方向制御部112は、偏向器103を制御して、フィールド12における開始領域から、第1カメラ(一のカメラ)101dによる走査を開始させる(ステップP11)。図9(a)の例では、方向制御部112は、偏向器103を制御して、領域SC10から、矢印A10の向きに、領域SC11,SC12,SC13…の順序で第1カメラ101dの光軸方向を移動させる。動画像処理装置200の顔認識部216は、撮像した領域について顔認識処理を行う(ステップP12)。すなわち、顔認識部216は、領域SC10を撮像した画像フレームに人物の顔の少なくとも一部が含まれるか否かを判定する(ステップP13)。なお、第4実施形態において、第3実施形態と異なり、方向制御部112は、第2カメラ101の露光時間中に偏向器103の向きを変更してもよい。この場合、第2カメラ101が撮影した画像には、ブラー(かすみやぼけのような、いわゆる「ぶれ」)が生じ得るが、顔認識のための走査は第1カメラ101dによって行われるため、特に問題とならない。なお、顔認識が、第2カメラ101の撮影した、ブラーの生じた画像から行われてもよい。あるいは、走査時には、第2カメラ101による撮影は行われなくてもよい。なお、走査の方向は、図示したものに限定されない。
ステップP13で顔が認識されない場合(ステップP13でNO)、ステップP14へ進み、次の領域(図9(a)の場合、領域SC11)を撮像するように偏向器103を制御する。そして、領域SC11についての顔認識処理を繰り返す。すなわち、顔が認識されるまで、領域SC11以降、矢印A10の向きで領域が走査され、ステップP12~P14の処理が繰り返される。
図9(a)に示すように、領域SC19において人物U10の顔が検出され(ステップP13でYES)、ステップP15へ進み、動画像処理装置200の設定部215は、人物U10を含む一の画像の撮影対象範囲を設定する(ステップP15)。図9(b)に示すように、設定部215は、人物U10を含む領域R20を、撮影対象範囲として設定してよい。なお、領域20の設定については、第3実施形態と同様であってよい。
方向制御部112は、設定部215によって撮影対象範囲R20が設定されると、撮影対象範囲の大きさと、第2カメラ(他のカメラ)101の撮像範囲の大きさとに基づき、第2カメラ101によって撮影対象範囲R20が撮像されるように、偏向器103を制御して第2カメラ101の撮像範囲を移動させる(ステップP16)。図9(b)の例では、領域SC20から、矢印A20の向きに、SC21,SC22…と撮像範囲を移動させ、各領域を撮像する。このとき、第1実施形態や第2実施形態で説明したように、偏向器103に含まれるミラーの向きの変更速度は、第2カメラ101の撮像周期と比較して非常に高速である。このため、第2カメラ101で動画を撮影しながら偏向器103によって撮像範囲を移動させ、撮影対象範囲R20全体を高速に撮像することができる。なお、走査の方向は、図示したものに限定されない。
本発明の第4実施形態において、フレーム処理部212は、所定の処理として、第2カメラ101が撮像した複数の画像フレームを合成した合成画像フレームを生成してよい。なお、合成画像フレームは、第2実施形態と同様に生成されてよい。出力部213は、生成された合成画像フレームからなる撮影対象範囲の画像を、少なくとも1以上出力する(ステップP17)。このとき出力される画像は、人物U10を含む撮影対象範囲R20を撮像した画像となる。
そして、方向制御部112は、撮影対象範囲の撮像が完了したことに応じて、第1カメラ101dによるフィールド12の撮像(走査)を、これ以前の撮影対象範囲と異なる位置から再開するように、偏向器103を制御する。すなわち、前回顔を検出した領域SC19に隣接する領域であって、顔が検出されていない領域から、フィールド12の撮像を再開してよい(ステップP18)。
このように、本発明の第4実施形態によれば、顔を識別するための識別用カメラと、撮像するための撮影用カメラとが別個に用意される。このとき、識別用カメラの解像度は、識別するのに十分であればよく、撮影用カメラの解像度よりも低くてよい。したがって、広範囲の走査時に必要なデータ容量を削減しつつ、顔の撮影時には高解像度の写真を撮影することが可能となる。
<第5実施形態>
図11(a)、(b)は、本発明の第5実施形態による撮像システム構成の概略図である。なお、第5実施形態は、第4実施形態の変形例であるため、図11(a)、(b)では、第4実施形態の概略図である図9(a)、(b)と異なる部分には異なる符号を付し、同一の部分には同じ符号を付してある。
図11(a)、(b)は、本発明の第5実施形態による撮像システム構成の概略図である。なお、第5実施形態は、第4実施形態の変形例であるため、図11(a)、(b)では、第4実施形態の概略図である図9(a)、(b)と異なる部分には異なる符号を付し、同一の部分には同じ符号を付してある。
第4実施形態では、ハーフミラー105を介して、第1フィールド12の走査を行うカメラ(一のカメラ、第1カメラ)101dと、領域R20の撮像を行うカメラ(他のカメラ、第2カメラ)101とに対し、同一の像が入力される(撮像される)態様について説明した。これに対し、第5実施形態に係る撮像システムでは、ハーフミラー105に代わり、偏向器103とは異なる他の偏向器106をさらに備え、偏向器106によって、像を入力する(撮像対象を撮影する)カメラが、一のカメラ101dと他のカメラ101とで切り替えられてよい。ここで、偏向器106は、ガルバノスキャナであってよく、図示しない方向制御部(他の方向制御部)によってその方向を制御されてよい。また、偏向器106に搭載されるガルバノミラーは、第1カメラ101dと、第2カメラ101の撮像素子で感光できる周波数帯の光を反射できることが望ましい。また、第4実施形態と同様に、第1フィールド12の走査を行う第1カメラ101dは、フレームレートが30fpsを超えるいわゆるハイスピードカメラであってよく、領域20の撮像を行う第2カメラ101は、フレームレートが30fps以下のカメラであってよいが、これに限定されるものではない。
本発明の第5実施形態について、図12の、第5実施形態に係る制御フローチャートを用いて説明する。まず、図示しない方向制御部は、第1カメラ(一のカメラ)101dで撮像するように偏向器106を制御する(ステップP20)。具体的には、図11(a)のように、偏向器103を経た光が第1カメラ101dに至る光路AR3を形成するように、偏向器106の向きが調整される。そして、方向制御部112は、偏向器103を制御して、フィールド12における開始領域から、第1カメラ101dによる走査を開始させる(ステップP21)。図11(a)の例では、方向制御部112は、偏向器103を制御して、領域SC10から、矢印A10の向きに、領域SC11,SC12,SC13…の順序で第1カメラ101dの光軸方向を移動させる。動画像処理装置200の顔認識部216は、撮像した領域について顔認識処理を行う(ステップP22)。すなわち、顔認識部216は、領域SC11を撮像した画像フレームに人物の顔の少なくとも一部が含まれるか否かを判定する(ステップP23)。
ステップP23で顔が認識されない場合(ステップP23でNO)、ステップP24へ進み、次の領域(図11(a)の場合、領域SC12)を撮像するように偏向器103が制御される。そして、領域SC12についての顔認識処理を繰り返す。すなわち、顔が認識されるまで、領域SC12以降、矢印A10の向きで領域が走査され、ステップP22~P24の処理が繰り返される。
図11(a)に示すように、領域SC19において人物U10の顔が検出され(ステップP23でYES)、ステップP25へ進み、動画像処理装置200の設定部215は、人物U10を含む一の画像の撮影対象範囲を設定する(ステップP25)。図11(b)に示すように、設定部215は、人物U10を含む領域R20を、撮影対象範囲として設定してよい。なお、領域20の設定については、第3実施形態と同様であってよい。
他の方向制御部は、設定部215によって撮影対象範囲R20が設定されると、第2カメラ(他のカメラ)101で撮像するように偏向器106を制御する。具体的には、図11(b)のように、偏向器103を経た光が第2カメラ101に至る光路AR4を形成するように、偏向器106の向きが調整される。そして、方向制御部112は、第2カメラ101によって撮影対象範囲R20が撮像されるように、偏向器103を制御して第2カメラ101の撮像範囲を移動させる(ステップP26)。図11(b)の例では、領域SC20から、矢印A20の向きに、SC21,SC22…と撮像範囲を移動させ、各領域を撮像する。このとき、第1実施形態や第2実施形態で説明したように、偏向器103に含まれるミラーの向きの変更速度は、第2カメラ101の撮像周期と比較して非常に高速である。このため、第2カメラ101で動画を撮影しながら偏向器103によって撮像範囲を移動させ、撮影対象範囲R20全体を高速に撮像することができる。
本発明の第5実施形態において、フレーム処理部212は、所定の処理として、第2カメラ101が撮像した複数の画像フレームを合成した合成画像フレームを生成してよい。なお、合成画像フレームは、第2実施形態と同様に生成されてよい。出力部213は、生成された合成画像フレームからなる撮影対象範囲の画像を、少なくとも1以上出力する(ステップP27)。このとき出力される画像は、人物U10を含む撮影対象範囲R20を撮像した画像となる。
そして、他の方向制御部は、撮影対象範囲の撮像が完了したことに応じて、第1カメラ101dで撮像するように偏向器106を制御してよい。すなわち、図11(b)の光路AR4の状態から、図11(a)の光路AR3の状態が形成されるように、偏向器106の方向が調整されてよい。その上で、方向制御部112は、第1カメラ101dによるフィールド12の撮像(走査)を、これ以前の撮影対象範囲と異なる位置から再開するように、偏向器103を制御する。すなわち、前回顔を検出した領域SC19に隣接する領域であって、顔が検出されていない領域から、フィールド12の撮像を再開してよい(ステップP28)。
このように、本発明の第5実施形態によれば、顔を識別するための識別用カメラと、撮像するための撮影用カメラとが別個に用意され、走査時と撮影時とで切り替えられる。したがって、広範囲の走査時に必要なデータ容量を削減しつつ、顔の撮影時には高解像度の写真を撮影することが可能となる。
<第6実施形態>
上述した第4実施形態において、顔認識が、ブラーの生じた画像から行われてもよいことを述べたが、この形態の更なる詳細を、第6実施形態として、図13(a)~(c)、図14を用いて説明する。図13(a)~(c)、図14を用いて詳細に説明する。すなわち、第6実施形態は、偏向器103の最大可動幅分を、単一のカメラ101による一回の露光で撮像し、ブラーを含む画像から顔認識を行った上で、フィールド12に含まれる人物を撮像した動画像や静止画像を、ネットワーク400を介してユーザに提供するシステムである。
上述した第4実施形態において、顔認識が、ブラーの生じた画像から行われてもよいことを述べたが、この形態の更なる詳細を、第6実施形態として、図13(a)~(c)、図14を用いて説明する。図13(a)~(c)、図14を用いて詳細に説明する。すなわち、第6実施形態は、偏向器103の最大可動幅分を、単一のカメラ101による一回の露光で撮像し、ブラーを含む画像から顔認識を行った上で、フィールド12に含まれる人物を撮像した動画像や静止画像を、ネットワーク400を介してユーザに提供するシステムである。
図13(a)は、本発明の第6実施形態による撮像システム構成の概略図、図13(b)、(c)は、第6実施形態における撮像処理の概要を説明する図、図14は、第6実施形態に係る撮像システム500の制御フローチャートである。なお、図13(a)は、図1に示す撮像システム500のうち、偏向器103のみを示してある。
図14の制御フローチャートにおいて、動画像処理装置200は、あらかじめ、ブラーを含む画像からの顔(または人物)の検出について機械学習を行う(ステップP30)。機械学習は、ブラーを含む画像と、当該画像内の顔部分との組み合わせによる教師あり学習であってもよいし、教師なし学習であってもよい。また、ブラーを含む画像からの顔検出が可能であれば、機械学習のアルゴリズムはどのようなものであってもよい。
方向制御部112は、カメラ101の一回の露光時間中に、偏向器103を制御して、カメラ101の光軸方向を、フィールド12の走査開始地点から、水平方向の最大可動幅分(1ライン分)移動させる(ステップP31)。すなわち、図13(a)に示すように、カメラ101は、偏向器103の水平方向における最大可動幅分であるラインL1を、一回の露光で撮像する。図13(b)を用いて説明すると、方向制御部112は、カメラ101の一回の露光時間中に、偏向器103を水平方向に移動させ、カメラ101の次の露光の開始前に、次のラインL2が撮影されるように偏向器103を垂直方向に移動させる。これにより、ラインL1を撮像したフレームLFR1が生成されることになる。なお、図3(c)に示すように、フレームFR1はブラーが含まれる画像となり得る。
顔認識部216は、撮像した領域について顔認識処理を実行する(ステップP32)。すなわち、顔認識部216は、フレームLFR1に人物の顔の少なくとも一部が含まれるか否かを判定する(ステップP33)。ここで、図13(c)に示すように、フレームLFR1はブラーを含む画像となり得るため、顔認識部216は、ステップP30による機械学習で生成された学習モデルを用いた顔認識処理を行ってよい。ステップP33で顔が認識されない場合(ステップP33でNO)、ステップP34へ進み、フィールド12の走査が終了したか否かが判定されてよい。フィールド12の走査が終了していない場合(ステップP34でNO)、方向制御部112は、次のライン(図13の場合、ラインL2)を撮像するように偏向器103を制御する(ステップP35)。そして、ステップP31へ戻り、ラインL2について、カメラの一回の露光中による撮像と、それにより生成された、ブラーを含むフレームLFR2について顔認識処理が行われる。すなわち、顔が認識されるまで、ラインL2以降、ラインごとの走査が行われ、ステップP31~P35の処理が繰り返される。
図13(c)に示すように、フレームLFR2において人物U10の顔が検出されると(ステップP33でYES)、動画像処理装置200の設定部215は、人物U10を含む一の画像の撮影対象範囲を設定する(ステップP36)。なお、ステップP36~P38は、第3実施形態のステップT15~T17と同様であってよく、説明を省略する。すなわち、ステップP37,P38では、一回の露光時間内で偏向器103を移動させず、固定して1フレーム分の画像を撮像した上で、複数のフレームが合成される。なお、ステップP37,P38の露光時間は、ステップP31の露光時間とは異なる。ここで、一つのラインに複数の顔が検出された場合、それぞれの顔について撮影対象範囲が設定され、順にステップP37~P38が実行されてよい。
ステップP38のあと、ステップP34へ進み、フィールド12の走査が完了したか否かが判定され、走査が完了していない場合、次のラインの走査(撮像)が行われてよい。なお、フィールド12の走査が完了した場合(ステップP34でYES)、処理を終了してよい。
なお、上述では、顔が検出されたことをトリガとして、人物全体の撮影が行われる態様について説明した。しかしながら、顔が検出されても人物全体の撮影を行わずに、画像フレームに対応するラインの位置を、所定の記憶部へ記憶してよい。そして、先にフィールド12すべての撮像を完了した後、記憶部に記憶されたラインに含まれる人物について、それぞれ、人物全体の撮影が行われてもよい。また、顔認識処理は、複数のフレームにわたって行われてもよい。
また、上述では、カメラ101の一回の露光時間中に、カメラ101の光軸方向を、水平方向の最大可動幅分移動させる態様について説明した。しかしながら、カメラ101の光軸方向を最大可動幅分移動させる方向は、垂直方向であってもよく、垂直方における偏向器103の最大可動幅分を1ラインとして、図14の処理が行われてもよい。
このように、本発明の第6実施形態によれば、人物の検出のために複数のフレームを撮像することなく、顔認識処理と、人物全体の動画像や静止画像の撮影が可能となる。したがって、処理負荷を低減するとともに、処理速度を早めることができる。
<第7実施形態>
図15は、本発明の第7実施形態による撮像システム構成の概略図である。第7実施形態では、撮像システム500において、偏向器103であるガルバノミラーの向きの変更速度が非常に高速である点を用い、動く物体のトラッキング(追跡)が行われてよい。なお、ガルバノミラーを用いた高速トラッキングについては、例えば、奥寛雅著、「光学式視線制御機構による高速ビジュアルトラッキング」、日本ロボット学会誌Vol.32、No.9, pp774-778, 2014を参照できる。
図15は、本発明の第7実施形態による撮像システム構成の概略図である。第7実施形態では、撮像システム500において、偏向器103であるガルバノミラーの向きの変更速度が非常に高速である点を用い、動く物体のトラッキング(追跡)が行われてよい。なお、ガルバノミラーを用いた高速トラッキングについては、例えば、奥寛雅著、「光学式視線制御機構による高速ビジュアルトラッキング」、日本ロボット学会誌Vol.32、No.9, pp774-778, 2014を参照できる。
高速トラッキングは、画像処理によって対象を認識し、その位置に合わせてカメラ101の視線を制御することで実現できる。しかしながら、偏向器103の水平方向の最大可動範囲は±22.5°程度であるため、パン、チルト機能を持たない固定カメラではトラッキング範囲が制限されてしまう。この課題の解決のため、第7実施形態では、撮像装置100を回転台の上に設置し、水平方向のトラッキング範囲を拡大する。
図15(a)は、回転台107に載置された撮像装置100を上面からみた模式図、図15(b)は、側面からみた模式図である。また、図15(c)は、第7実施形態によってトラッキング範囲が拡大されることを示す概略図である。なお、図は概略であって、サイズ、位置関係は正確ではない。回転台107は、ロータリーエンコーダ108を有し、回転台の回転方向を制御する図示しない制御装置に接続されている。ここで、カメラ101の光軸方向の水平方向の移動に係るミラー104bの回転軸は、回転台107の回転中心に位置させることが好ましい。
第7実施形態による動画像処理装置200、回転台107の制御について、図16(a)、(b)のフローチャートを用いて説明する。図16(a)は動画像処理装置200、図16(b)は回転台107の制御フローチャートの一例である。まず、方向制御部112は、偏向器103を制御して、トラッキング対象が存在するフィールドのカメラ101による走査を開始させる(ステップS20)。なお、カメラ101による走査は、第3実施形態の図7と同様に、方向制御部112が偏向器103を制御して、カメラ101の光軸方向を移動させることで行われてよい。顔認識部216は、カメラ101が撮像した画像フレームに、トラッキング対象が含まれているか否か(対象を検出したか否か)を判定する(ステップS21)。なお、対象を検出したことの判定は顔に限定されず、対象の少なくとも一部が検出されたことによって行われてよい。対象が検出されない場合(ステップS21でNO)、カメラ101による走査と、検出処理が継続されてよい。
ステップS21で対象が検出された場合(ステップS21でYES)、方向制御部112は、対象がフレームの中心となるように偏向器103の角度を変更する(ステップS22)。すなわち、方向制御部112は、偏向器103を制御して、カメラ101の光軸方向を対象の移動に追随して移動させ、対象のトラッキングを行ってよい。なお、偏向器103の制御については、例えば以下のように行われてよい。まず、カメラ101によって生成されたフレームを正規化し、xy座標において、(x,y)=(0,0)、(0,1)、(1,0)、(1,1)の4点で示されるサイズとする。そして、フレーム内の対象の中心座標を(x,y)、偏向器103の水平方向、垂直方向の制御範囲をともに0°~θmaxとすると、水平方向、垂直方向への移動角度は、以下の式で表されてよい。
水平方向の移動角度θpan(変化後)=θpan(変化前)- Kpan(x-0.5)
垂直方向の移動角度θtilt(変化後)=θtilt(変化前)- Ktilt(y-0.5)
(ただし、Kpan, Ktiltは任意の係数)
水平方向の移動角度θpan(変化後)=θpan(変化前)- Kpan(x-0.5)
垂直方向の移動角度θtilt(変化後)=θtilt(変化前)- Ktilt(y-0.5)
(ただし、Kpan, Ktiltは任意の係数)
次に、カメラ101によるトラッキングが行われている間の回転台107の制御について、図16(b)の制御フローチャートを用いて説明する。回転台107の図示しない制御装置は、方向制御部112から、偏向器103の水平方向の角度を取得する(ステップS30)。制御装置は、水平方向の角度が0度よりも大きい場合(ステップS31でYES)、回転台を右回りに回転させてよい(ステップS32)。また、制御装置は、水平方向の角度が0度よりも小さい場合(ステップS31でNO)、回転台を左回りに回転させてよい(ステップS33)。なお、回転台の回転方向は、回転台の上面から回転台を見たときの方向として定義されてよい。また、偏向器103の水平方向の回転角度は、初期状態を0度として、カメラ101の光軸方向が、フィールドに向かって右方向となるときをプラス、左方向となるときをマイナスとして定義されてよい。
上述の処理によれば、対象のトラッキングによって、偏向器103が例えばプラス方向に駆動された場合、回転台107が右回りに回転する。このとき、カメラ101が対象の存在する方向を向き続けるように、偏向器103はマイナス方向に駆動されることになる。また、偏向器103が例えばマイナス方向に駆動された場合、回転台107が左回りに回転する。このとき、カメラ101が対象の存在する方向を向き続けるように、偏向器103はプラス方向に駆動されることになる。すなわち、図15(c)に示すように、対象50の方向に対して、偏向器103の水平方向の向きを0度の状態とすることができるため、偏向器103の最大可動幅を確保することが可能となる。なお、動画像処理装置200、回転台107は、トラッキングの終了を検知した場合(ステップS23,S34でYES)、トラッキング処理を終了してよい。
このように、本発明の第7実施形態によれば、対象のトラッキングにおいて、偏向器103の水平方向における走査範囲の制限を低減し、広範囲の高速トラッキングが可能となる。
なお、上述では、トラッキングが水平方向に行われる場合を一例に本発明の第7実施形態を説明した。しかしながら、トラッキングの方向は、垂直方向であってもよい。すなわち、回転台が垂直方向に傾斜可能であって、垂直方向のトラッキング範囲を拡大させてもよい。この場合、回転台の中心を通り、回転台の径方向(水平方向)の回転軸による垂直方向へ傾かせることが可能な回転台に、撮像装置100が載置されてよい。なお、水平方向の回転と、垂直方向の傾斜とが可能な、2軸の回転台が用いられてもよい。
<第8実施形態>
図17(a)は、本発明の第8実施形態による撮像システム構成の概略図である。なお、第8実施形態の撮像システム構成は、図1の撮像システム構成の変形例であって、図17(a)では、図1と同一の部分には同一の符号を付すとともに、カメラ101と偏向器103のみ示してある。本発明の第8実施形態において、撮像システムは、フィールド10に存在する対象をトラッキングした動画像(または静止画像)を、ネットワーク400を介して配信サーバ300に提供するシステムである。図17の例では、トラッキングの対象は柔道選手であってよい。ここで、第8実施形態による撮像システムは、広角カメラ109をさらに備え、フィールド10を広角カメラ109で撮像した画像から、トラッキングする対象を検出し、カメラ101によるトラッキングが行われてよい。
図17(a)は、本発明の第8実施形態による撮像システム構成の概略図である。なお、第8実施形態の撮像システム構成は、図1の撮像システム構成の変形例であって、図17(a)では、図1と同一の部分には同一の符号を付すとともに、カメラ101と偏向器103のみ示してある。本発明の第8実施形態において、撮像システムは、フィールド10に存在する対象をトラッキングした動画像(または静止画像)を、ネットワーク400を介して配信サーバ300に提供するシステムである。図17の例では、トラッキングの対象は柔道選手であってよい。ここで、第8実施形態による撮像システムは、広角カメラ109をさらに備え、フィールド10を広角カメラ109で撮像した画像から、トラッキングする対象を検出し、カメラ101によるトラッキングが行われてよい。
第8実施形態について、図を用いて説明する。図17(b)、図18,19は、広角カメラによる撮像範囲と、カメラ101による撮像範囲との校正(キャリブレーション)を説明する図、図10は、第8実施形態の制御フローチャートである。図20のフローチャートにおいて、広角カメラ109は、対象領域であるフィールド10を撮影する(ステップS40)。なお、広角カメラ109は、フィールド10を画角内に収める位置に配置されてよい。また、広角カメラ109とカメラ101とは、設置のしやすさから、例えば同一の筐体等に一体化されていてもよい。また、広角カメラ109は動画像処理装置200に接続され、広角カメラ109による画像が、動画像処理装置200へ送信されてよい。
顔認識部216は、広角カメラ109が撮影した画像に、トラッキング対象が含まれるか否かを判定してよい(ステップS41)。なお、トラッキング対象が含まれない場合(ステップS41でNO)、対象が検出されるまで、広角カメラ109によるフィールド10の撮像と、検出処理とを継続してよい。ステップS41で対象が検出された場合(ステップS41でYES)、フレーム処理部212は、広角カメラ座標における対象の位置を、偏向器座標における位置に変換してよい(ステップS42)。
ここで、広角カメラ109とカメラ101と間のキャリブレーション(座標変換)について、図17(b)~図19を用いて説明する。まず、図17(b)に示すように、偏向器103で走査可能な最大可動幅として四隅の位置の画像フレームG1~G4を取得する。ここで、偏向器103の水平方向、垂直方向の角度を(p,t)とすると、フレームG1~G4は、それぞれ、(p,t)=(0,0)、(pmax,0)、(0,tmax)、(pmax, tmax)となる。図18(a)に移り、4つの画像フレームG1~G4内の特徴点(図内の丸印)が抽出される。なお、図18(a)において、破線で示す範囲がカメラ101による走査可能な範囲(走査範囲)である。 なお、図18(a)において、例えばG1は、ガルバノミラーを走査範囲における左上端の限度まで向けた状態を示し、破線で示す範囲外の左方向及び上方向への走査はできない。そのほか、G2~G4についても同様であってよい。次に、図18(a)の画像フレームG1~G4の走査範囲内で、それぞれ、画像フレームの中心に最も近い特徴点(図内の斜線で示す丸印)を中心としたときの画像フレームとして、図18(b)の画像フレームG1′~G4′を得る。このとき、画像フレームG1′~G4′の位置関係は、図18(c)のようになる。このとき、それぞれの画像フレームの中心g1~g4を偏向器103の座標(p,t)で示すと、フレームG1′~G4′は、それぞれ、g1=(p1,t1)、g2=(p2,t2)、g3=(p3,t3)、g4=(p4,t4)であるとする。
ここで、フレームG1′~G4′の座標は、広角カメラ109による歪みを含む画像フレームM1における座標であるため、図19(a)に示すように、歪みを含まない画像フレームM2に補正する。その際、画像フレームG1′~G4′と、広角カメラ109による歪みを補正した画像全体を照らし合わせ、特徴点マッチングを行い、画像フレームG1′~G4′に、画像フレームとM2においてマッチするフレームをそれぞれW1~W4として割り出してよい。なお、特徴点マッチングには、既存の技術が用いられてよい。これにより、画像フレームG1′~G4′の中心の特徴点に対応する、広角カメラ画像上の座標として、それぞれ、w1=(x1,y1)、w2=(x2,y2)、w3=(x3,y3)、w4=(x4,y4)を得ることができる。
これより、偏向器103による走査範囲のg1=(p1,t1)、g2=(p2,t2)、g3=(p3,t3)、g4=(p4,t4)の4点と、それらに対応した広角カメラのフレームのw1=(x1,y1)、w2=(x2,y2)、w3=(x3,y3)、w4=(x4,y4)の4点との間の射影変換行列Hを導くことができる。
なお、p1~p4,t1~t4は球面座標であるため、2次元平面に射影した座標(u,v)に変換し、この(u1,v1)から(u4,v4)までの4点と、w1からw4までとで射影変換行列を求めても良い。なお、ガルバノミラーの可動範囲が、-22.5度から22.5度と狭いため、球面座標のままでも線形的に近似できる。これにより、ある程度の精度で射影変換することができる。なお、球面座標から平面座標への変換は既知であって、詳細な説明をここでは省略する。
図20のフローチャートに戻り、ステップS42では、上述した射影変換座標Hを用いて、広角カメラ座標における対象の位置を、偏向器座標における位置に変換される。そして、方向制御部112は、対象の中心をフレームの中心となるように、偏向器の向きを変更する(ステップS43)。その後、トラッキングが終了するまで(ステップS44でYES)、トラッキングが継続されてよい。
このように、本発明の第8実施形態によれば、広角カメラ109によってフィールド全体が撮影され、その画像からトラッキング対象の検出が行われる。このため、偏向器103によってカメラ101の光軸方向を移動させながらの走査と比べ、トラッキング対象の検出処理における負荷を低減することができる。また、偏向器103とカメラ101によるトラッキングにおいて、対象を見失った場合でも、広角カメラ109の画像を画像認識処理することにより、対象を即座に検出することができる。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。例えば、撮像装置100が備えるとして説明した各構成部は、複数の撮像装置によって分散されて実現されてもよいし、機能によっては、外部のプラットフォーム等をAPI(Application Programming Interface)等で呼び出して実現してもよい。また、上述で撮像装置100が行うとして説明した処理を、動画像処理装置200が実行してもよいし、動画像処理装置200が行うとして説明した処理を、撮像装置100が実行してもよい。
また、撮像システム500として、撮像装置100と動画像処理装置200とを別に示したが、撮像装置100と動画像処理装置200は、一体の装置であってもよい。
また、上述の第1実施形態では、1フレームごとに、撮像する範囲を領域20と領域30とを切り替える態様について説明した。しかしながら、領域20と領域30との撮像の切り替えは、1フレームごとでなくてもよい。例えば、5フレームごと、10フレームごとなど、撮像する対象の移動速度等に応じて設定されてもよい。
また、上述の第3、第4実施形態では、人物を含む静止画像が出力される態様を説明したが、出力されるデータは動画像であってもよい。
さらに、上述の第3、第4実施形態では、領域を走査して認識された任意の人物について、静止画像が生成される態様について説明した。しかしながら、本発明の一実施形態において、静止画像を撮像する人物があらかじめ設定され、顔認識部216は、パターンマッチング、遺伝的アルゴリズム等を用いて、設定された人物を認識する処理を含んでもよい。
また、第4実施形態において、走査用の第1カメラ101dと撮像用の第2カメラ101とは、その位置が入れ替わったものでもよい。
また、第8実施形態において、校正の手法は上述したものに限定されない。
撮像システム500の各機能部をソフトウェアにより実現する場合、撮像システム500は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラム及び各種情報がコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。すなわち、本発明に係る撮像システム500は、CPUがRAM上にロードされたプログラムを実行することにより、上述した各構成部として機能する。上記記録媒体としては、「一時的でない有形の媒体」、例えば、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれた情報信号の形態でも実現され得る。
なお、上記プログラムは、例えば、ActionScript、JavaScript(登録商標)、Python、Rubyなどのスクリプト言語、C言語、C++、C#、Objective-C、Swift、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装されてよい。さらに、特許請求の範囲における「部(section、module、unit)」との記載は、「手段」や「回路」に読み替えてもよい。例えば、通信部は、通信手段や通信回路に読み替えることができる。
また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、撮像システム500に提供されてもよい。
100 撮像装置
101 カメラ
102 レンズ系
103 偏向器
104 ミラー
105 ハーフミラー
106 偏向器
107 回転台
108 ロータリーエンコーダ
109 広角カメラ
110 制御部
112 方向制御部
113 取得部
114 選択部
120 通信部
170 記憶部
200 動画像処理装置
210 制御部
212 フレーム処理部
213 出力部
214 受付部
215 設定部
216 顔認識部
270 記憶部
300 配信サーバ
400 ネットワーク
500 撮像システム
101 カメラ
102 レンズ系
103 偏向器
104 ミラー
105 ハーフミラー
106 偏向器
107 回転台
108 ロータリーエンコーダ
109 広角カメラ
110 制御部
112 方向制御部
113 取得部
114 選択部
120 通信部
170 記憶部
200 動画像処理装置
210 制御部
212 フレーム処理部
213 出力部
214 受付部
215 設定部
216 顔認識部
270 記憶部
300 配信サーバ
400 ネットワーク
500 撮像システム
Claims (16)
- 一のカメラと、
前記一のカメラによる動画の撮影に際し、前記一のカメラの光軸方向を変化させて前記一のカメラの撮像範囲を移動させる偏向器と、
前記偏向器を制御して、前記動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、前記一のカメラの撮像範囲を移動させる方向制御部と、
前記複数の画像フレームそれぞれの時系列に関する情報と、前記複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、前記複数の画像フレームに対して所定の処理を行った上で出力する出力部と、
を備える、撮像システム。 - 前記方向制御部は、前記一のカメラの撮像範囲よりも広い第1フィールドを、前記一のカメラが所定の順序で走査しながら撮像するように、前記偏向器を制御し、
前記一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれると判定されたことに応じて、前記人物を含む一の画像の撮影対象範囲を設定する設定部と、
をさらに備え、
前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記撮影対象範囲の大きさと、前記一のカメラの撮像範囲の大きさとに基づき、前記一のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記一のカメラの撮像範囲を移動させ、
前記出力部は、前記一のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも1以上出力する、
請求項1に記載の撮像システム。 - 前記設定部は、前記一のカメラによって撮像された画像フレームに人物の顔の少なくとも一部が含まれる場合、前記人物の顔の向きに基づいて、前記一の画像の撮影対象範囲を設定する、
請求項2に記載の撮像システム。 - 前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記第1フィールドの撮像を停止して、前記一のカメラが前記撮影対象範囲を撮像するように前記偏向器を制御する、
請求項2に記載の撮像システム。 - 前記方向制御部は、前記撮影対象範囲の撮像が完了したことに応じて、前記一のカメラによる前記第1フィールドの撮像を、前記撮影対象範囲と異なる位置から再開するように、前記偏向器を制御する、
請求項4に記載の撮像システム。 - 前記一のカメラの光軸上に、前記偏向器との間に設けられたハーフミラーと、
前記ハーフミラーによって光軸方向を前記一のカメラと同一とする、前記一のカメラと異なる他のカメラと、
をさらに備え、
前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記撮影対象範囲の大きさと、前記他のカメラの撮像範囲の大きさとに基づき、前記一のカメラとは異なる前記他のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記他のカメラの撮像範囲を移動させ、
前記出力部は、前記他のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも1以上出力する、
請求項2~5のいずれか一項に記載の撮像システム。 - 前記一のカメラと異なる他のカメラと、
前記偏向器と異なる他の偏向器と、
前記他の偏向器を制御して、前記偏向器を介して撮像対象を撮影するカメラを、前記一のカメラと、前記他のカメラとで切り替える他の方向制御部と、
をさらに備え、
前記他の方向制御部は、前記一のカメラが前記第1フィールドを走査するように前記他の偏向器を制御し、前記設定部によって前記撮影対象範囲が設定されると、前記他のカメラが前記撮影対象範囲を撮像するように前記他の偏向器を制御し、
前記方向制御部は、前記撮影対象範囲の大きさと、前記他のカメラの撮像範囲の大きさとに基づき、前記他のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記他のカメラの撮像範囲を移動させ、
前記出力部は、前記他のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも1以上出力する、
請求項2~5のいずれか一項に記載の撮像システム。 - 前記一のカメラの撮像範囲の大きさに基づいて、前記一のカメラの撮像範囲よりも広い第2フィールドを分割した領域であって、一の領域が一の画像フレームで撮像されるN個(Nは1以上の整数)の領域に関する情報を記憶する記憶部をさらに備え、
(i)広角動画の撮像に際し、
前記方向制御部は、前記N個の領域の撮像を、前記一のカメラが所定の順序で繰り返すように前記偏向器を制御し、
前記出力部は、前記N個の領域をそれぞれ撮像したN個の前記画像フレームを合成した合成画像フレームを、時系列で連結させて成る前記広角動画を出力し、
(ii)拡大動画の撮像に際し、
前記方向制御部は、前記N個の領域のうち所定の一の領域を撮像するように前記偏向器を制御し、
前記出力部は、前記一のカメラが前記所定の一の領域を撮像した画像フレームを、時系列で連結させて成る拡大動画を出力する、
請求項1に記載の撮像システム。 - 前記方向制御部は、前記一のカメラが第1~第M(Mは1以上の整数)の領域を所定の順序で繰り返し撮像するように前記偏向器を制御し、
前記出力部は、前記第1~第Mの領域を撮像した画像フレームを、前記第1~第Mの領域ごとにそれぞれ時系列で連結させて成る第1~第Mの動画を出力する、
請求項1に記載の撮像システム。 - 前記一のカメラは、スポーツ競技を撮像するものであって、
前記出力部は、前記スポーツ競技の動画または静止画像を配信する、
請求項1、2、8のいずれか一項に記載の撮像システム。 - 前記偏向器は、ガルバノスキャナである、
請求項1に記載の撮像システム。 - 一のカメラと、
前記一のカメラによる動画の撮影に際し、前記一のカメラの光軸方向を変化させて前記一のカメラの撮像範囲を移動させる偏向器と、
を備える撮像システムの制御方法であって、
コンピュータが、
前記偏向器を制御して、前記動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、前記一のカメラの撮像範囲を移動させるステップと、
前記複数の画像フレームそれぞれの時系列に関する情報と、前記複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、前記複数の画像フレームに対して所定の処理を行った上で出力するステップと、
を含む、撮像システムの制御方法。 - 一のカメラと、
前記一のカメラによる動画の撮影に際し、前記一のカメラの光軸方向を変化させて前記一のカメラの撮像範囲を移動させる偏向器と、
を備える撮像システムの制御プログラムであって、
コンピュータに、
前記偏向器を制御して、前記動画を構成する複数の画像フレーム毎に異なる撮像範囲となるように、前記一のカメラの撮像範囲を移動させる機能と、
前記複数の画像フレームそれぞれの時系列に関する情報と、前記複数の画像フレームそれぞれの撮像範囲に関する情報とに基づき、前記複数の画像フレームに対して所定の処理を行った上で出力する機能と、
を実現させる、撮像システムの制御プログラム。 - 前記方向制御部は、前記一のカメラの一回の露光時間中に、前記一のカメラの光軸方向を前記偏向器の移動方向における最大可動幅分移動させ、
前記一のカメラによって最大可動幅分を撮像した画像フレーム内に人物の顔の少なくとも一部が含まれることが、あらかじめブラーを含む画像からの顔認識を学習した学習モデルを用いて判定されたことに応じて、前記人物を含む一の画像の撮影対象範囲を設定する設定部と、
をさらに備え、
前記方向制御部は、前記設定部によって前記撮影対象範囲が設定されると、前記撮影対象範囲の大きさと、前記一のカメラの撮像範囲の大きさとに基づき、前記一のカメラによって前記撮影対象範囲が撮像されるように、前記偏向器を制御して前記一のカメラの撮像範囲を移動させ、
前記出力部は、前記一のカメラが撮像した複数の画像フレームを合成し、前記撮影対象範囲の画像を少なくとも1以上出力する、
請求項1に記載の撮像システム。 - 前記一のカメラと異なる広角カメラと、
前記広角カメラが撮像した領域の特徴点と、前記一のカメラが撮像した領域の特徴点とから、前記広角カメラの撮像箇所を前記一のカメラの撮像箇所に対応させる校正部と、
をさらに備え、
前記方向制御部は、前記広角カメラによって撮像された画像フレームに、追跡対象の少なくとも一部が含まれると判定された場合、前記一のカメラの光軸方向を前記追跡対象の方向に移動させるとともに、前記一のカメラによって撮像される画像フレーム内に前記追跡対象が含まれるように、前記偏向器を制御して前記一のカメラの撮像範囲を移動させ、
前記出力部は、前記一のカメラが撮像した複数の画像フレームを出力する、
請求項1に記載の撮像システム。 - 少なくとも前記一のカメラは、水平方向の回転、及び、垂直方向の傾斜の少なくともいずれかが可能な回転台の上に載置されている、
請求項1に記載の撮像システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022167838 | 2022-10-19 | ||
JP2022167838 | 2022-10-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024060611A true JP2024060611A (ja) | 2024-05-02 |
Family
ID=90828575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023180234A Pending JP2024060611A (ja) | 2022-10-19 | 2023-10-19 | 撮像システム、撮像システムの制御方法、および撮像システムの制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024060611A (ja) |
-
2023
- 2023-10-19 JP JP2023180234A patent/JP2024060611A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
JP2007108744A (ja) | パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置 | |
KR20020068330A (ko) | 디지털 이미지 내의 관심 객체를 추적하기 위한 방법 및장치 | |
KR102365748B1 (ko) | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 | |
KR20120108747A (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
KR101689534B1 (ko) | 멀티스케일 이미징 시스템 | |
JP2000069352A (ja) | 画像入力方法及び画像入力装置 | |
JP2009059107A (ja) | 画像処理方法と該画像処理方法を用いた撮像装置 | |
JP2003134375A (ja) | 画像撮影システム | |
JP2003179798A (ja) | デジタルカメラ | |
KR102495627B1 (ko) | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 | |
JPH1188754A (ja) | 画像信号撮像および記録装置および方法 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JPH1141509A (ja) | 撮像装置 | |
JP2000244797A (ja) | 画像信号処理装置および方法 | |
JP2007049266A (ja) | 画像撮像装置 | |
JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
JP2005051318A (ja) | マルチ静電カメラモジュール、画像処理方法及びプログラム | |
JP2024060611A (ja) | 撮像システム、撮像システムの制御方法、および撮像システムの制御プログラム | |
JP2011188258A (ja) | カメラシステム | |
JP2011176460A (ja) | 撮像装置 | |
CN111885309A (zh) | 一种全景图像采集方法和全景相机 | |
JP2013009435A (ja) | 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム | |
JP2001275096A (ja) | 撮像および表示装置並びにテレビ会議装置 | |
JP2001111879A (ja) | 撮像装置 |