JP3891402B2

JP3891402B2 - Image clipping control device

Info

Publication number: JP3891402B2
Application number: JP2001321065A
Authority: JP
Inventors: 洋島本
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-10-18
Filing date: 2001-10-18
Publication date: 2007-03-14
Anticipated expiration: 2021-10-18
Also published as: JP2003125286A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像切出し制御装置に係り、特に映像から所望の領域を切り出す映像切出し処理を制御する映像切出し制御装置に関する。
【０００２】
【従来の技術】
例えばスポーツ中継などでは、カメラマン自らの判断または他人からの指示によって，又はリモコンカメラなどを用いて操作者の指示によって，又はロボットカメラを用いて予め登録された指示によって、映像撮像装置（カメラ）の撮影方向および撮影画角が決定されている。この撮影方向および撮影画角に応じて撮像された映像は、放送映像として出力されていた。
【０００３】
近年、超高精細カメラなどで予め精細度の高い映像を取得しておき、その映像から一部の領域を切り出すことにより、電子的にズームした映像を取得する映像切出し装置が知られるようになった。このような映像切出し装置の一例が、例えば「島本ほか：“超高精細動画像からのハイビジョン切り出し映像”、信学技報ＩＥ９６−７２」などに記載されている。
【０００４】
例えばスポーツ中継などにおいて会場全体を超高精細カメラで撮像しておくことにより、映像切出し装置は実時間又は後処理において会場全体の映像から一部の領域を切出して電子的にズームした映像を取得する。なお、会場全体の映像から切り出された切出し領域は、放送映像の画素数を有するものとする。
【０００５】
従来、映像切出し装置を利用することにより、カメラマン等によるカメラワーク（撮影方向および撮影画角などの操作）で撮像された映像と同様な映像を電子的な処理により取得していた。
【０００６】
【発明が解決しようとする課題】
しかしながら、カメラマン自らの判断または他人からの指示によって，又はリモコンカメラなどを用いて操作者の指示によって，又はロボットカメラを用いて予め登録された指示によって、カメラの撮影方向および撮影画角を決定する場合には、人間が撮影方向および撮影画角を決定しなければならなかった。また、カメラの撮影方向および撮影画角の制御は機構的な動作が必要であるため、大きな動作に素早く反応することが困難であった。
【０００７】
さらに、映像切出し装置を利用することで、カメラマン等によるカメラワークにより撮像された映像と同様な映像を電子的な処理により取得する場合には、映像から一部の領域を切出して電子的にズームする処理を人間が行わなければならなかった。
【０００８】
本発明は、上記の点に鑑みなされたもので、映像のうち視聴者が所望する領域を決定することができ、映像から視聴者が所望する領域を自動的に切り出させることが可能な映像切出し制御装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、映像の少なくとも一部の領域を切り出す映像切出し装置を制御する映像切出し制御装置であって、撮像される対象物を見ている二人以上の観客の視線情報を取得し、取得した視線情報を統計的に処理する統計処理手段と、前記統計的に処理した結果に応じて、撮像された映像から切り出す切出し領域を決定する切出し領域決定手段とを有し、前記統計処理手段は、取得した視線情報に応じて前記二人以上の観客の視線方向の平均を算出する平均算出手段と、取得した視線情報に応じて前記二人以上の観客の視線方向のばらつきを算出するばらつき算出手段とを有し、前記切出し領域決定手段は、算出した視線方向の平均に応じて前記映像から切り出す切出し位置を決定する切出し位置決定手段と、算出した視線方向のばらつきに応じて前記映像から切り出す切出し範囲を決定する切出し範囲決定手段とを有し、前記決定した切出し位置及び切出し範囲に応じて前記映像切出し装置を制御することを特徴とする。
【００１３】
このような映像切出し制御装置では、撮像される対象物を見ている二人以上の観客の視線情報を取得し、取得した視線情報を統計処理手段により統計的に処理する。視線情報を統計的に処理した結果は、映像のうち観客の視線が集まっている領域を表しており、視聴者が所望する可能性の高い領域であると判断できる。
【００１４】
したがって、視線情報を統計的に処理した結果に応じて、切出し領域決定手段により映像から切り出す切出し領域を決定することにより、視聴者が所望する領域を切り出すように映像切出し装置を制御することが可能となる。
【００１６】
このような映像切出し制御装置では、統計処理手段が、取得した視線情報から観客の視線方向の平均とばらつきとを算出することができる。
【００１８】
このような映像切出し制御装置では、切出し領域決定手段が、視線方向の平均に応じて切出し位置を決定すると共に、視線方向のばらつきに応じて切出し範囲を決定することができる。
【００１９】
また、本発明は、前記決定した切出し位置および切出し範囲に応じて前記映像切出し装置を制御することを特徴としてもよい。
【００２０】
このような映像切出し制御装置では、算出した切出し位置および切出し範囲に応じて映像切出し装置を制御することができる。
【００２１】
また、本発明は、前記視線情報の替わりに、前記観客が選択した前記映像上の位置情報を用いることを特徴とする。
【００２２】
このような映像切出し制御装置では、視線情報に限ることなく、映像上の位置情報を用いることもできる。つまり、視聴者が所望する可能性の高い領域であるか否かを判断できる情報を利用することにより、視聴者が所望すると予測される領域を判断することが可能である。
【００２３】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。なお、本実施例では、撮像する映像の一例としてスポーツ中継の例を説明するが、いかなる映像でもよい。
【００２４】
図１は、本発明の映像切出し制御装置を含むシステムの一実施例の構成図を示す。図１のシステム１は、映像切出し制御装置１０，視線入力装置２０ａ〜２０ｎ，映像撮像装置３０，映像切出し装置４０を含むように構成される。また、映像切出し制御装置１０は、平均値算出回路１１，分散値算出回路１２，切出し位置決定回路１３および切出し範囲決定回路１４を含む。
【００２５】
以下、スポーツ中継の一例としてサッカーの試合を中継する場合について説明する。映像撮像装置３０は、映像切出し装置４０で映像切出し処理を行っても放送映像として十分な画質を保持できる詳細な映像を撮像できる映像撮像装置である。映像撮像装置３０は、放送映像として利用する例えばサッカー会場の全範囲の映像を撮像する。映像撮像装置３０により撮像された映像は、映像切出し装置４０に供給される。
【００２６】
映像切出し装置４０は、映像撮像装置３０から供給される映像の一部を映像切出し制御装置１０からの制御に応じて切出し、切出した映像を切出し映像として出力する。なお、切出し映像は、放送映像の画素数を有している。
【００２７】
視線入力装置２０ａ〜２０ｎは、サッカー会場に来ている観客の一部又は全部に一つずつ取り付けられる。視線入力装置２０ａ〜２０ｎは、取り付けている観客の視線位置を検出し、検出した観客の視線位置を映像切出し制御装置１０に供給する。
【００２８】
映像切出し制御装置１０は、視線入力装置２０ａ〜２０ｎから夫々供給された視線位置を統計的に処理する。具体的に説明すると、平均値算出回路１１は供給された視線位置の平均を算出する。平均値算出回路１１は、算出した視線位置の平均を切出し位置決定回路１３に供給する。例えばｎ人の観客の視線位置を二次元平面上に投影したときの空間的な位置をＥｉ（ｘ，ｙ）とすると、観客の視線位置の平均的な位置（重心）は、以下の式（１）から算出される。
【００２９】
【数１】

分散値算出回路１２は供給された視線位置のばらつきとして標準偏差又は分散を算出する。分散値算出回路１２は、算出した視線位置の標準偏差又は分散を切出し範囲決定回路１４に供給する。例えば観客の視線位置の標準偏差は、以下の式（２）から算出される。また、観客の視線位置の分散は、以下の式（３）から算出される。
【００３０】
【数２】

切出し位置決定回路１３は、供給された視線位置の平均に基づき映像の切出し位置を決定する。ここで、視線位置の平均はサッカー会場の内で観客の視線が集まっている位置を表している。つまり、視線位置の平均は、そのサッカー中継を放送した場合に、放送映像の視聴者が視聴を所望する可能性の高い位置（撮影方向）であると判断できる。切出し位置決定回路１３は、決定した映像の切出し位置を映像切出し装置４０に供給する。
【００３１】
切出し範囲決定回路１４は、供給された標準偏差又は分散に基づき映像の切出し範囲を決定する。ここで、視線位置の標準偏差又は分散はサッカー会場の内で観客の視線がばらついている範囲を表している。つまり、視線位置の標準偏差又は分散は、そのスポーツ中継を放送した場合に、放送映像の視聴者が視聴を所望する可能性の高い範囲（撮影画角）であると判断できる。切出し範囲決定回路１４は、決定した映像の切出し範囲を映像切出し装置４０に供給する。
【００３２】
例えば映像撮像装置３０でサッカー会場の全体映像を、映像切出し処理を行っても放送映像として十分な画質を保持できる高精細な映像で撮像し、撮像した全体映像の一部を映像切出し装置４０で切り出すときの切出し範囲（領域）の大きさは、以下の式（４）から算出される。
【００３３】
【数３】

以上のように、映像切出し制御装置１０は、決定した切出し位置および切出し範囲を映像切出し装置４０に供給することで、映像切出し装置４０で行う映像切出し処理を制御する。したがって、映像切出し装置４０から出力される切出し映像は、サッカー中継の視聴者が所望すると予測される領域のものとなる。
【００３４】
なお、視線入力装置２０ａ〜２０ｎは、サッカー会場に来ている観客に限ることなく、映像撮像装置３０により撮像された全画面を視聴する視聴者に取り付けてもよい。また、視線入力装置２０ａ〜２０ｎは、取り付けている観客の視線位置が取得できるのであれば、観客の視線位置を自動検出するものに限らず、手動入力するものであってもよい。
【００３５】
すなわち、視線入力装置２０ａ〜２０ｎを手動入力装置とし、その手動入力装置はサッカー会場に来ている観客の一部又は全部に配布され、観客の意志による希望切出し位置が入力される。手動入力装置は、視線情報の替わりに、観客の興味が高い領域を判断できる情報が入力されるものであればよく、例えばジョイスティックや音声入力装置などで構成される。手動入力装置は、入力された希望切出し位置を映像切出し制御装置１０に供給する。
【００３６】
更に、図１のシステム１の処理について、具体的な数値を用いて説明する。例えば、６人の観客ａ〜ｆに視線入力装置２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅおよび２０ｆが一つずつ取り付けられているとする。また、観客ａ〜ｆの二次元空間上の視線位置を水平方向ｘ，垂直方向ｙとする。
【００３７】
視線入力装置２０ａ〜２０ｆは、観客ａ〜ｆの視線位置Ｅｉ（ｘ，ｙ）を検出し、検出した視線位置Ｅｉを映像切出し制御装置１０に供給する。例えば視線位置の空間範囲を正規化（０≦ｘ≦１，０≦ｙ≦１）したとき、映像切出し制御装置１０は以下の表１のような視線位置Ｅｉ（ｘ，ｙ）が供給される。
【００３８】
【表１】

映像切出し制御装置１０は上記の式（１）を利用することで、以下の式（５）のような観客ａ〜ｆの平均的な視線位置を算出する。映像切出し制御装置１０は上記の式（２）を利用することで、以下の式（６）のような観客ａ〜ｆの視線位置の標準偏差を算出する。また、映像切出し制御装置１０は上記の式（４）を利用することで、以下の式（７）のような映像切出し装置４０で切り出す切出し領域の大きさを算出する。
【００３９】
【数４】

したがって、映像切出し制御装置１０は、映像切出し装置４０で切り出す切出し範囲の中心を（０．４６，０．５４）、切出し範囲を（０．４４,０．４０）と決定することができる。なお、切出し範囲は、視線位置の標準偏差をベクトルで求め、そのベクトル長を所定の縦横比，例えば１６：９の比率でそれぞれ横方向および縦方向の大きさを求めて算出してもよい。また、切出し範囲の中心位置や大きさを決定する手段として、観客の平均的な視線位置や視線位置の標準偏差を用いると共に、所定の重み付けや非線形処理などを施してもよい。
【００４０】
図２は、本発明の映像切出し制御装置を含むシステムの他の実施例の構成図を示す。図２のシステム２は、映像切出し制御装置１０，映像撮像装置３０，切出し位置希望入力装置５０ａ〜５０ｎ，カメラ撮像位置制御装置６０を含むように構成される。なお、図２のシステム２は、図１のシステム１と同様な構成部分を有しているため、同一な構成部分に同一符号を付して説明を省略する。
【００４１】
切出し位置希望入力装置５０ａ〜５０ｎは、サッカー会場に来ている観客の一部又は全部に配布され、観客の意志による希望切出し位置が入力される。切出し位置希望入力装置５０ａ〜５０ｎは、視線情報の替わりに、観客の興味が高い領域を判断できる情報が入力されるものであればよい。切出し位置希望入力装置５０ａ〜５０ｎは、例えばジョイスティックや音声入力装置などで構成される。切出し位置希望入力装置５０ａ〜５０ｎは、入力された希望切出し位置を映像切出し制御装置１０に供給する。
【００４２】
映像切出し制御装置１０は、切出し位置希望入力装置５０ａ〜５０ｎから夫々供給された希望切出し位置を前述した視線位置と同様、統計的に処理する。映像切出し制御装置１０は、統計的に処理した結果として、切出し位置および切出し範囲をカメラ撮像位置制御装置６０に供給する。
【００４３】
カメラ撮像位置制御装置６０は、映像切出し制御装置１０から供給された切出し位置および切出し範囲に応じて、映像撮像装置３０の撮影方向および撮影画角を制御する。映像撮像装置３０は、カメラ撮像位置制御装置６０からの制御に応じて撮影方向および撮影画角を決定する。映像撮像装置３０は、例えばカメラ三脚に取り付けられた電動パン・チルト駆動装置および電動ズーム装置などで撮影方向および撮影画角を制御することが考えられる。このように、図２のシステムでは、映像切出し制御装置１０を使わない場合に、ズーム，パン・チルトで対応することを特徴としている。
【００４４】
以上のように、映像切出し制御装置１０は、決定した切出し位置および切出し範囲をカメラ撮像位置制御装置６０に供給することで、映像撮像装置３０の撮影方向および撮影画角を制御する。したがって、映像撮像装置３０から出力される映像は、サッカー中継の視聴者が所望すると予測される領域のものとなる。
【００４５】
【発明の効果】
上述の如く、本発明によれば、視線情報を統計的に処理した結果に応じて、映像から切り出す切出し領域を決定することにより、視聴者が所望する領域を切り出すように映像切出し処理を制御することが可能となる。
【００４６】
また、本発明によれば、視線情報に限ることなく、視聴者が所望する可能性の高い領域であるか否かを判断できる情報を利用することにより、視聴者が所望すると予測される領域を判断することが可能となる。
【００４７】
【図面の簡単な説明】
【図１】本発明の映像切出し制御装置を含むシステムの一実施例の構成図である。
【図２】本発明の映像切出し制御装置を含むシステムの他の実施例の構成図である。
【符号の説明】
１，２システム
１０映像切出し制御装置
１１平均値算出回路
１２分散値算出回路
１３切出し位置決定回路
１４切出し範囲決定回路
２０ａ〜２０ｎ視線入力装置
３０映像撮像装置
４０映像切出し装置
５０ａ〜５０ｎ切出し位置希望入力装置
６０カメラ撮像位置制御装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a Film image cutout control device, particularly to movies image cutout control unit that controls the image cutout process of cutting out a desired area from the image.
[0002]
[Prior art]
For example, in sports broadcasts, the image capturing device (camera) can be used by a photographer's own judgment or an instruction from another person, by an operator's instruction using a remote control camera, or by an instruction registered in advance using a robot camera. The shooting direction and the shooting angle of view are determined. The video imaged according to the shooting direction and the shooting angle of view was output as a broadcast video.
[0003]
2. Description of the Related Art In recent years, there has been known a video clipping device that acquires an electronically zoomed video by acquiring a high-definition video in advance with an ultra-high-definition camera or the like and cutting out a part of the video from the video. It was. An example of such a video cutout device is described in, for example, “Shimamoto et al .:“ High-vision cutout video from ultra-high-definition moving images ”, IEICE Technical Report IE96-72”.
[0004]
For example, by capturing the entire venue with an ultra-high-definition camera during sports broadcasts, etc., the video clipping device cuts out a partial area from the entire venue video in real time or in post-processing to obtain an electronically zoomed video. To do. Note that the cut-out area cut out from the video of the entire venue has the number of pixels of the broadcast video.
[0005]
Conventionally, by using an image cutout device, an image similar to an image captured by camera work (operations such as a shooting direction and a shooting angle of view) by a cameraman or the like has been acquired by electronic processing.
[0006]
[Problems to be solved by the invention]
However, the camera's shooting direction and shooting angle of view are determined by the cameraman's own judgment or instructions from others, by an operator's instructions using a remote control camera or the like, or by instructions registered in advance using a robot camera. In some cases, a human had to determine the shooting direction and the shooting angle of view. In addition, since the control of the shooting direction and the shooting angle of view of the camera requires a mechanical operation, it is difficult to react quickly to a large operation.
[0007]
Furthermore, by using a video cropping device, if a video similar to the video captured by camera work by a cameraman or the like is obtained by electronic processing, a part of the area is cut out from the video and electronically zoomed. Humans had to do the processing to do.
[0008]
The present invention has been made in view of the above, it is possible to determine the desired area audience in the video, automatically Film images capable to cut the desired area viewer from the image It aims at providing a cutting-out control apparatus.
[0012]
[Means for Solving the Problems]
Accordingly, in order to solve the above-described problem, the present invention is an image extraction control device that controls an image extraction device that extracts at least a partial area of an image, and includes two or more spectators watching an object to be imaged. Statistical processing means for statistically processing the acquired visual line information, and cutout area determining means for determining a cutout area to be cut out from the captured video according to the statistically processed result The statistical processing means includes an average calculating means for calculating an average of the gaze direction of the two or more spectators according to the acquired gaze information, and the gaze of the two or more spectators according to the obtained gaze information A variation calculation unit that calculates a variation in direction, and the cut-out area determination unit includes a cut-out position determination unit that determines a cut-out position to be cut out from the video according to an average of the calculated line-of-sight directions. Depending on the variation of the calculated sight line direction and a cut-out range determining means for determining a cut-out area to be cut out from the image, and controls the image cutout unit in accordance with the extraction position and the cut-out area the determined .
[0013]
In such a video clipping control device, the line-of-sight information of two or more spectators who are looking at the object to be imaged is acquired, and the acquired line-of-sight information is statistically processed by a statistical processing means. The result of statistically processing the line-of-sight information represents an area where the line of sight of the audience is gathered in the video, and it can be determined that the area is highly likely to be desired by the viewer.
[0014]
Therefore, it is possible to control the video cutting device so as to cut out the desired area by the viewer by determining the cut-out area to be cut out from the video by the cut-out area determining means according to the result of statistical processing of the line-of-sight information. It becomes.
[0016]
In such an image cutout control device, the statistical processing means can calculate the average and variation in the sight line direction of the audience from the acquired sight line information.
[0018]
In such a video cutout control device, the cutout area determining means can determine the cutout position according to the average of the line-of-sight direction and can determine the cutout range according to the variation in the line-of-sight direction.
[0019]
The present invention may be characterized by controlling said image cutout unit in accordance with the extraction position and the cut-out area and the determined.
[0020]
In such a video cutting control device, the video cutting device can be controlled in accordance with the calculated cutting position and cutting range.
[0021]
Further, the present invention is characterized in that position information on the video selected by the audience is used instead of the line-of-sight information.
[0022]
In such an image cutout control device, position information on the image can be used without being limited to the line-of-sight information. That is, it is possible to determine an area predicted to be desired by the viewer by using information that can determine whether the area is highly likely to be desired by the viewer.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings. In this embodiment, an example of a sports broadcast is described as an example of an image to be captured, but any image may be used.
[0024]
FIG. 1 shows a block diagram of an embodiment of a system including a video cutout control device of the present invention. The system 1 in FIG. 1 is configured to include a video cutout control device 10, line-of-sight input devices 20a to 20n, a video imaging device 30, and a video cutout device 40. The image cutout control apparatus 10 includes an average value calculation circuit 11, a variance value calculation circuit 12, a cutout position determination circuit 13, and a cutout range determination circuit 14.
[0025]
Hereinafter, a case where a soccer game is relayed as an example of a sports relay will be described. The video imaging device 30 is a video imaging device that can capture a detailed video that can maintain sufficient image quality as a broadcast video even if the video clipping process is performed by the video clipping device 40. The video imaging device 30 captures video of the entire range of, for example, a soccer venue used as a broadcast video. The video imaged by the video imaging device 30 is supplied to the video clipping device 40.
[0026]
The video cutout device 40 cuts out a part of the video supplied from the video imaging device 30 in accordance with the control from the video cutout control device 10, and outputs the cutout video as a cutout video. Note that the cut-out video has the number of pixels of the broadcast video.
[0027]
The line-of-sight input devices 20a to 20n are attached one by one to some or all of the spectators coming to the soccer venue. The line-of-sight input devices 20a to 20n detect the line-of-sight position of the attached audience and supply the detected line-of-sight position of the audience to the video clipping control apparatus 10.
[0028]
The video cutout control device 10 statistically processes the line-of-sight positions respectively supplied from the line-of-sight input devices 20a to 20n. More specifically, the average value calculation circuit 11 calculates the average of the supplied line-of-sight positions. The average value calculation circuit 11 supplies the average of the calculated line-of-sight positions to the cut-out position determination circuit 13. For example, assuming that the spatial position when the gaze positions of n spectators are projected on a two-dimensional plane is Ei (x, y), the average position (center of gravity) of the spectators' gaze positions is expressed by the following formula ( Calculated from 1).
[0029]
[Expression 1]

The variance value calculation circuit 12 calculates a standard deviation or variance as a variation in the supplied line-of-sight position. The variance value calculation circuit 12 supplies the calculated standard deviation or variance of the line-of-sight position to the cutout range determination circuit 14. For example, the standard deviation of the sight line position of the audience is calculated from the following equation (2). Further, the variance of the sight line position of the audience is calculated from the following equation (3).
[0030]
[Expression 2]

The cutout position determination circuit 13 determines the cutout position of the video based on the average of the supplied line-of-sight positions. Here, the average of the line-of-sight position represents the position where the line of sight of the audience is gathered in the soccer venue. That is, the average line-of-sight position can be determined to be a position (shooting direction) that is likely to be viewed by the viewer of the broadcast video when the soccer broadcast is broadcast. The cutout position determination circuit 13 supplies the determined cutout position of the video to the video cutout device 40.
[0031]
The cutout range determination circuit 14 determines the cutout range of the video based on the supplied standard deviation or variance. Here, the standard deviation or variance of the line-of-sight position represents the range where the line of sight of the audience varies within the soccer venue. That is, it can be determined that the standard deviation or variance of the line-of-sight position is within a range (shooting angle of view) in which the viewer of the broadcast video is likely to view when the sports broadcast is broadcast. The cutout range determination circuit 14 supplies the determined cutout range of the video to the video cutout device 40.
[0032]
For example, the entire image of the soccer venue is captured by the image capturing device 30 as a high-definition image that can maintain sufficient image quality as a broadcast image even if the image clipping process is performed, and a portion of the captured entire image is captured by the image clipping device 40. The size of the extraction range (region) when extracting is calculated from the following equation (4).
[0033]
[Equation 3]

As described above, the video cutout control device 10 controls the video cutout processing performed by the video cutout device 40 by supplying the determined cutout position and cutout range to the video cutout device 40. Therefore, the cut-out video output from the video cut-out device 40 is in an area predicted to be desired by the viewer of the soccer broadcast.
[0034]
Note that the line-of-sight input devices 20a to 20n may be attached to viewers who view the full screen imaged by the video imaging device 30 without being limited to the spectators coming to the soccer venue. The line-of-sight input devices 20a to 20n are not limited to those that automatically detect the line-of-sight position of the audience as long as the line-of-sight position of the attached audience can be acquired, and may be manually input.
[0035]
That is, the line-of-sight input devices 20a to 20n are manual input devices, and the manual input devices are distributed to some or all of the spectators coming to the soccer venue, and the desired cut-out positions according to the will of the spectators are input. The manual input device may be any device that can input information that can be used to determine an area in which the audience is highly interested, instead of the line-of-sight information. For example, the manual input device includes a joystick or a voice input device. The manual input device supplies the input desired cutout position to the video cutout control device 10.
[0036]
Further, the processing of the system 1 in FIG. 1 will be described using specific numerical values. For example, it is assumed that line-of-sight input devices 20a, 20b, 20c, 20d, 20e, and 20f are attached to six audiences a to f one by one. Further, the line-of-sight positions of the audiences a to f in the two-dimensional space are defined as a horizontal direction x and a vertical direction y.
[0037]
The line-of-sight input devices 20 a to 20 f detect the line-of-sight position Ei (x, y) of the audience a to f, and supply the detected line-of-sight position Ei to the video cutout control device 10. For example, when the spatial range of the line-of-sight position is normalized (0 ≦ x ≦ 1, 0 ≦ y ≦ 1), the video clipping control device 10 is supplied with the line-of-sight position Ei (x, y) as shown in Table 1 below. .
[0038]
[Table 1]

The image cut-out control device 10 calculates the average line-of-sight position of the audiences a to f as in the following Expression (5) by using the above Expression (1). The image cut-out control device 10 calculates the standard deviation of the line-of-sight positions of the audiences a to f as shown in the following equation (6) by using the above equation (2). Further, the image cutout control device 10 calculates the size of the cutout region cut out by the image cutout device 40 as shown in the following equation (7) by using the above equation (4).
[0039]
[Expression 4]

Therefore, the video cutout control device 10 can determine the center of the cutout range cut out by the video cutout device 40 as (0.46, 0.54) and the cutout range as (0.44, 0.40). The cutout range may be calculated by calculating the standard deviation of the line-of-sight position as a vector and calculating the vector length by determining the size in the horizontal direction and the vertical direction at a predetermined aspect ratio, for example, a ratio of 16: 9. Further, as means for determining the center position and size of the cut-out range, the average gaze position of the spectator and the standard deviation of the gaze position may be used, and predetermined weighting or non-linear processing may be performed.
[0040]
FIG. 2 is a block diagram showing another embodiment of the system including the video cutout control device of the present invention. The system 2 in FIG. 2 is configured to include an image cutout control device 10, a video image pickup device 30, cutout position desired input devices 50a to 50n, and a camera image pickup position control device 60. 2 has the same components as the system 1 of FIG. 1, the same components are denoted by the same reference numerals and description thereof is omitted.
[0041]
The cut-out position desired input devices 50a to 50n are distributed to some or all of the spectators who have come to the soccer venue, and the desired cut-out positions according to the will of the spectators are input. The cut-out position request input devices 50a to 50n may be any devices that can input information that can determine an area in which the audience is highly interested instead of the line-of-sight information. The cut-out position desired input devices 50a to 50n are configured by, for example, a joystick or a voice input device. The cut-out position desired input devices 50 a to 50 n supply the input desired cut-out position to the video cut-out control device 10.
[0042]
The video cut-out control device 10 statistically processes the desired cut-out positions supplied from the cut-out position desired input devices 50a to 50n in the same manner as the line-of-sight position described above. The video cutout control apparatus 10 supplies the cutout position and cutout range to the camera imaging position control apparatus 60 as a result of statistical processing.
[0043]
The camera imaging position control device 60 controls the shooting direction and the shooting angle of view of the video imaging device 30 in accordance with the cutting position and the cutting range supplied from the video cutting control device 10. The video imaging device 30 determines the shooting direction and the shooting angle of view in accordance with control from the camera imaging position control device 60. It is conceivable that the video imaging device 30 controls the shooting direction and the shooting angle of view with, for example, an electric pan / tilt driving device and an electric zoom device attached to a camera tripod. As described above, the system shown in FIG. 2 is characterized in that zooming, panning / tilting can be used when the image cutout control device 10 is not used.
[0044]
As described above, the video cutout control device 10 supplies the determined cutout position and cutout range to the camera imaging position control device 60, thereby controlling the shooting direction and the shooting angle of view of the video imaging device 30. Accordingly, the video output from the video imaging device 30 is in an area predicted to be desired by a soccer broadcast viewer.
[0045]
【The invention's effect】
As described above, according to the present invention, the video cutout process is controlled so as to cut out the region desired by the viewer by determining the cutout region to be cut out from the video according to the result of statistical processing of the line-of-sight information. It becomes possible.
[0046]
Further, according to the present invention, not only the line-of-sight information but also the region that the viewer is expected to desire can be obtained by using the information that can be determined whether or not the region is likely to be desired by the viewer. It becomes possible to judge.
[0047]
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an embodiment of a system including an image cutout control device of the present invention.
FIG. 2 is a configuration diagram of another embodiment of a system including a video cutout control device of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1, 2 System 10 Image | video cut-out control apparatus 11 Average value calculation circuit 12 Dispersion value calculation circuit 13 Cut-out position determination circuit 14 Cut-out range determination circuit 20a-20n Line-of-sight input device 30 Image pick-up device 40 Image cut-out device 50a-50n Input desired cut-out position Device 60 Camera imaging position control device

Claims

A video cutout control device for controlling a video cutout device that cuts out at least a partial area of a video,
Statistical processing means for acquiring gaze information of two or more spectators who are viewing the object to be imaged, and statistically processing the obtained gaze information;
According to the statistically processed result, a cutout area determining means for determining a cutout area to be cut out from the captured image;
The statistical processing means is an average calculating means for calculating an average of the gaze direction of the two or more spectators according to the acquired gaze information;
Variation calculating means for calculating variations in the line-of-sight direction of the two or more spectators according to the acquired line-of-sight information,
The cut-out area determining unit is a cut-out position determining unit that determines a cut-out position to be cut out from the video according to the average of the calculated line-of-sight directions.
A cutout range determining means for determining a cutout range to be cut out from the video according to the variation in the calculated line-of-sight direction;
An image cutout control apparatus that controls the image cutout apparatus in accordance with the determined cutout position and cutout range .

2. The video cutout control device according to claim 1, wherein position information on the video selected by the spectator is used instead of the line-of-sight information.