JP6622650B2 - 情報処理装置及びその制御方法、撮影システム - Google Patents
情報処理装置及びその制御方法、撮影システム Download PDFInfo
- Publication number
- JP6622650B2 JP6622650B2 JP2016099822A JP2016099822A JP6622650B2 JP 6622650 B2 JP6622650 B2 JP 6622650B2 JP 2016099822 A JP2016099822 A JP 2016099822A JP 2016099822 A JP2016099822 A JP 2016099822A JP 6622650 B2 JP6622650 B2 JP 6622650B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing apparatus
- viewpoint
- video
- captured images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明に係る情報処理装置の第1実施形態として、被写体を異なる方向から撮像する複数の撮像装置により撮像された複数の撮像映像に基づき、カメラワークの候補である推奨カメラワークを操作者に提示する情報処理装置について説明する。
一般には、「カメラワーク」は、1台のカメラ(撮像装置)を動かして撮影する一連の動作を意味する。ただし、以下の説明においては、被写体を異なる方向から撮像する複数の撮像装置により撮像された複数の撮像映像を連続的に切り替えることに得られる仮想的な視点移動の制御を意味する。また、当該仮想的な視点移動の制御により得られる映像を以下では「カメラワーク映像」又は「視点移動映像」と呼ぶ。
図1は、第1実施形態に係る情報処理装置を含む撮影システムの概略構成を示すブロック図である。撮影システムは、複数の撮像装置110a,110b・・・(以下、単に撮像装置110と表記する)、映像伝送切替装置130、情報処理装置140、表示装置150を含み、ネットワーク160に接続されている。
図2は、競技場に配置された複数の撮像装置の配置を模式的に示した図である。図2は、競技場のフィールド220を上方から見た場合の状況を示しており、複数の撮像装置110である複数のカメラ210は、フィールド220を囲むように配置してある。カメラ210は、それぞれ所定の方向を撮影するように設定された固定カメラとして構成されている。ここでは、それぞれのカメラは、同一の注視点としてフィールドの中央部230を撮影するように構成されている。ここでは、説明を単純化するために固定カメラを用いる形態について説明するが、後述の前景割合を導出可能な構成であれば、パン・チルト・ズームが可能な撮像装置(PTZカメラ)を用いてもよい。
図3は、複数の撮像装置に得られる映像における撮影方向の違いによる前景割合の変化を例示的に示す図である。ここで、前景割合とは、撮像された映像における前景画像(オブジェクト320の画像領域)の背景画像に対する面積割合を意味する。
前景割合=前景画像の画素数/背景画像の画素数
として前景割合を導出する。なお、背景画像の画素数には、S105で除去対象となった影部分の画素数を加えてもよい。また、
前景割合=前景画像の画素数/(前景画像の画素数+背景画像の画素数)
として導出してもよい。なお、上述のように、他のカメラにおける前景割合と比較可能とするため、オブジェクトの大きさを基準にデジタルズームを行い規格化された画像に対して前景割合を算出する。
以下では、各撮像装置に対して導出された前景割合(メタデータ)に基づいて推奨カメラワークを決定する手法について説明する。特に、前景割合の値に基づいて推奨カメラワークにおける始点及び終点を決定する手法について説明する。
図7は、表示装置に表示するGUIの例を示す図である。当該GUIは、表示制御部144により決定された1以上の推奨カメラワークをユーザに提示し選択させるためのユーザインタフェースである。領域710〜730は、推奨カメラワークを例示的に表示する領域であり、ここでは3つの推奨カメラワークを例示的に表示している。
<前景画像の他の抽出方法>
第1実施形態においては、背景差分法を用いて前景画像の領域を抽出する形態について説明した。しかしながら、前景画像の抽出方法は当該方法に限定されるものではない。
第1実施形態においては、比較処理部143は、情報処理装置140内に配置される機能部であるとして説明を行った。ただし、図8に示すように、比較処理部を撮像装置に配置してもよい。
第1実施形態においては、ネットワーク160に送出する前段階で、情報処理装置140内の表示制御部144において映像の解析を行って、表示装置150に表示する内容を決定した。ただし、図9に示すように、表示制御部を表示装置内に配置してもよい。
複数の撮像装置の配置は、フィールドの大きさや被写体の動き方などによって、様々な構成が考えられる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (13)
- 互いに異なる方向から被写体を撮像する複数の撮像装置により撮像された複数の撮像映像を取得する取得手段と、
前記複数の撮像映像それぞれにおける被写体に関する情報に基づいて、該複数の撮像映像に基づき生成される視点移動映像の視点移動の始点及び終点のうち少なくとも一方を決定する決定手段と、
を有することを特徴とする情報処理装置。 - 前記撮像映像における前記被写体の面積割合を導出する導出手段を更に有する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記導出手段は、前記複数の撮像装置により同時に撮像された複数の撮像映像それぞれに対して前記被写体の面積割合を導出する
ことを特徴とする請求項2に記載の情報処理装置。 - 前記導出手段は、前記複数の撮像映像に含まれる前記被写体の大きさに基づいて前記面積割合の導出の対象となる前記複数の撮像映像それぞれの領域を規格化し、該規格化された前記複数の撮像映像それぞれの領域に対して前記面積割合を導出する
ことを特徴とする請求項2に記載の情報処理装置。 - 前記決定手段は、前記複数の撮像装置の並びで前記複数の撮像映像それぞれにおける面積割合を表示した際に得られる曲線の極大値又は極小値に対応する視点位置に基づいて前記始点及び終点を決定する
ことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 - 前記決定手段は、前記曲線における前記極大値より所定値だけ小さい値又は前記極小値より該所定値だけ大きい値に対応する視点位置を前記始点及び終点として決定する
ことを特徴とする請求項5に記載の情報処理装置。 - 前記決定手段により決定された前記始点及び終点に基づく1以上の視点移動の候補を表示する表示手段と、
前記1以上の視点移動の候補から1つの視点移動の候補の選択を操作者から受け付ける受付手段と、
前記選択された1つの視点移動の候補に基づいて視点移動映像を生成する生成手段と、
を更に有することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。 - 前記表示手段は、前記1以上の視点移動の候補を、それぞれの視点移動に対応する視点位置に存在する複数の撮像装置により撮像された複数の撮像映像をレイアウト表示することにより表示する
ことを特徴とする請求項7に記載の情報処理装置。 - 前記生成手段は、前記視点移動映像が予め指定されたフレームレートとなるように、前記複数の撮像映像に基づく補間フレームを生成し、該補間フレームを前記視点移動映像に含める
ことを特徴とする請求項7に記載の情報処理装置。 - 前記導出手段は、背景差分法、距離情報、色情報の少なくとも1つを用いて前記撮像映像から前記被写体の領域を抽出し、該抽出した被写体の領域の画素数を前記撮像映像の画素数で除することにより前記面積割合を導出する
ことを特徴とする請求項2又は請求項2に従属する場合の請求項3乃至9の何れか1項に記載の情報処理装置。 - 互いに異なる方向から被写体を撮像する複数の撮像装置により撮像された複数の撮像映像を取得する取得工程と、
前記複数の撮像映像それぞれにおける被写体に関する情報に基づいて、該複数の撮像映像に基づき生成される視点移動映像の視点移動の始点及び終点のうち少なくとも一方を決定する決定工程と、
を含むことを特徴とする情報処理装置の制御方法。 - 互いに異なる方向から被写体を撮像する複数の撮像手段と、
前記複数の撮像手段により撮像された複数の撮像映像それぞれにおける前記被写体に関する情報を導出する導出手段と、
前記導出手段により導出された前記複数の撮像映像それぞれにおける被写体に関する情報に基づいて、該複数の撮像映像に基づき生成される視点移動映像の視点移動の始点及び終点のうち少なくとも一方を決定する決定手段と、
前記決定手段により決定された前記始点及び終点のうち少なくとも一方に基づく1以上の視点移動の候補を表示する表示手段と、
前記1以上の視点移動の候補から1つの視点移動の候補の選択を操作者から受け付ける受付手段と、
前記選択された1つの視点移動の候補に基づいて視点移動映像を生成する生成手段と、
を有することを特徴とする撮影システム。 - 請求項1乃至10の何れか1項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099822A JP6622650B2 (ja) | 2016-05-18 | 2016-05-18 | 情報処理装置及びその制御方法、撮影システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016099822A JP6622650B2 (ja) | 2016-05-18 | 2016-05-18 | 情報処理装置及びその制御方法、撮影システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017208702A JP2017208702A (ja) | 2017-11-24 |
JP6622650B2 true JP6622650B2 (ja) | 2019-12-18 |
Family
ID=60415560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016099822A Active JP6622650B2 (ja) | 2016-05-18 | 2016-05-18 | 情報処理装置及びその制御方法、撮影システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6622650B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7182865B2 (ja) | 2017-11-28 | 2022-12-05 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP6427258B1 (ja) | 2017-12-21 | 2018-11-21 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
JP7024604B2 (ja) * | 2018-05-23 | 2022-02-24 | トヨタ車体株式会社 | 車体情報管理システムおよび車体情報管理方法 |
JP6685364B2 (ja) * | 2018-10-25 | 2020-04-22 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
JP2020134973A (ja) * | 2019-02-12 | 2020-08-31 | キヤノン株式会社 | 素材生成装置、画像生成装置および画像処理装置 |
DE112021002080T5 (de) * | 2020-03-30 | 2023-01-19 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
AU2021325471B2 (en) * | 2020-08-11 | 2023-08-24 | Contentsrights Llc | Information processing device, information processing program, and recording medium |
WO2024023982A1 (ja) * | 2022-07-27 | 2024-02-01 | 日本電信電話株式会社 | 映像処理装置、方法およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5495855B2 (ja) * | 2010-03-01 | 2014-05-21 | キヤノン株式会社 | 映像処理装置及び映像処理方法 |
JP6369080B2 (ja) * | 2014-03-20 | 2018-08-08 | 大日本印刷株式会社 | 画像データ生成システム、画像生成方法、画像処理装置及びプログラム |
JP6354244B2 (ja) * | 2014-03-25 | 2018-07-11 | 大日本印刷株式会社 | 画像再生端末、画像再生方法、プログラム、及び、多視点画像再生システム |
JP6702329B2 (ja) * | 2015-09-03 | 2020-06-03 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
-
2016
- 2016-05-18 JP JP2016099822A patent/JP6622650B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017208702A (ja) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6622650B2 (ja) | 情報処理装置及びその制御方法、撮影システム | |
US10917621B2 (en) | Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium | |
JP6399356B2 (ja) | 追跡支援装置、追跡支援システムおよび追跡支援方法 | |
US9532008B2 (en) | Display control apparatus and display control method | |
WO2018019135A1 (zh) | 一种目标监控方法、摄像头、控制器和目标监控系统 | |
KR101782282B1 (ko) | 제어 장치, 카메라 시스템 및 카메라 제어를 행하는 제어 방법 | |
US20170041530A1 (en) | Information processing apparatus and control method therefor | |
US10542210B2 (en) | Display control apparatus, image processing apparatus, display control method, and image processing method in which a panoramic image corresponds to a range indicated on a user interface | |
JP2018036955A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015018296A (ja) | 表示制御装置、プログラム及び記録媒体 | |
JP6289762B1 (ja) | 映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム | |
JP2016127571A (ja) | カメラシステム、表示制御装置、表示制御方法、及びプログラム | |
CN109510967B (zh) | 摄像装置、摄像装置的控制方法和存储介质 | |
KR20160094655A (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
JP2012257021A (ja) | 表示制御装置および方法、プログラム、並びに記録媒体 | |
US20180089842A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2013179708A (ja) | 撮像システムおよび撮像方法 | |
JP2008129946A (ja) | 画像制御装置及びその制御方法 | |
JP5509986B2 (ja) | 画像処理装置、画像処理システム、及び画像処理プログラム | |
KR20170055455A (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 | |
JPH11243508A (ja) | 画像表示装置 | |
JP2017182843A (ja) | プログラム、表示制御装置及び表示制御方法 | |
JP2023173764A (ja) | 情報処理装置、情報処理方法 | |
JP5397245B2 (ja) | 情報処理装置および情報処理方法 | |
JP2016220148A (ja) | 制御装置、制御方法、システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6622650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |