JP6812181B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents
画像処理装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6812181B2 JP6812181B2 JP2016188762A JP2016188762A JP6812181B2 JP 6812181 B2 JP6812181 B2 JP 6812181B2 JP 2016188762 A JP2016188762 A JP 2016188762A JP 2016188762 A JP2016188762 A JP 2016188762A JP 6812181 B2 JP6812181 B2 JP 6812181B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- specific object
- viewpoint image
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
本実施形態では、ユーザ操作により指定された仮想視点とは異なる視点(別視点)に応じた画像(別視点画像)から検出された被写体の情報を、仮想視点に応じた仮想視点画像に合成して表示させる例を中心に説明する。特に、本実施形態では、ユーザ操作に基づく仮想視点画像から特定オブジェクトが検出されなかった場合に、別視点画像に対する特定オブジェクトの検出処理を行う例を中心に説明する。
第1実施形態との差異を中心に第2実施形態を説明する。第2実施形態は、複数の第二仮想視点に応じた複数の第二仮想視点画像から、被写体(特定オブジェクト)を検出し、複数の被写体が検出された場合は、その中から選択された被写体の情報を、第一仮想視点画像に合成して合成画像を生成する例を中心に説明する。
上述の実施形態では、ユーザが合成画像を見ながら仮想視点の移動操作を行う場合の例を中心に説明したが、この例に限らない。例えば、ユーザは、合成画像上に表示される被写体から、追尾対象とする被写体を指定することによって、当該被写体が第一仮想視点画像内に収まるように仮想視点を制御するようにしても良い。
200 画像生成装置
201 ユーザ入力部
202 第一仮想視点画像管理部
203 仮想視点画像生成部
204 分離画像保存部
205 前景背景分離部
206 画像入力部
207 前景画像検出部
208 第二仮想視点画像管理部
209 前景画像配置部
210 前景画像表示変換部
211 前景画像合成部
212 画像出力部
300 端末装置
Claims (15)
- 被写体を複数の異なる方向から撮影するための複数のカメラによる撮影画像に基づいて生成される仮想視点画像に係る仮想視点の指定を受け付ける受付手段と、
前記受付手段により受け付けられた仮想視点に応じた仮想視点画像に対する特定オブジェクトの検出処理結果を取得する取得手段と、
前記受付手段により受け付けられた仮想視点とは異なる別視点に応じた別視点画像から検出された特定オブジェクトの情報を、前記受付手段により受け付けられた仮想視点に応じた仮想視点画像と共に表示させるための付加処理を、前記取得手段により取得された前記仮想視点画像に対する特定オブジェクトの検出処理結果に応じて実行する付加手段とを有することを特徴とする画像処理装置。 - 前記別視点は、前記受付手段により受け付けられた仮想視点と所定の位置関係にある仮想視点であることを特徴とする請求項1に記載の画像処理装置。
- 前記付加手段は、前記仮想視点画像から検出された前記特定オブジェクトの数が所定数未満であることを示す検出処理結果が前記取得手段により取得された場合、前記付加処理を実行することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記特定オブジェクトの情報が前記付加処理によって付加される前記仮想視点画像上の位置を、前記受付手段により受け付けられた仮想視点と前記別視点との位置関係、及び、前記別視点画像における前記特定オブジェクトの位置に基づいて決定する決定手段を有することを特徴とする請求項1乃至3のうち、何れか1項に記載の画像処理装置。
- 前記付加手段は、前記特定オブジェクトの情報が前記仮想視点画像の表示領域とは異なる表示領域に表示されるように付加処理を実行することを特徴とする請求項1乃至3のうち、何れか1項に記載の画像処理装置。
- 前記仮想視点画像から特定オブジェクトを検出する検出手段を有し、
前記取得手段は、前記検出手段による検出処理結果を取得することを特徴とする請求項1乃至5のうち、何れか1項に記載の画像処理装置。 - 前記付加手段は、前記別視点画像から特定オブジェクトが検出されない場合、前記別視点と異なる第2別視点に応じた第2別視点画像から検出された特定オブジェクトの情報を、前記仮想視点画像に付加する付加処理を実行することを特徴とする請求項1乃至6のうち、何れか1項に記載の画像処理装置。
- 前記付加手段は、前記別視点画像及び前記第2別視点画像から前記特定オブジェクトが検出されない場合、前記特定オブジェクトの情報を仮想視点画像に付加しないことを決定することを特徴とする請求項7に記載の画像処理装置。
- 前記別視点画像及び前記第2別視点画像から前記特定オブジェクトが検出されない場合、当該検出結果の通知をディスプレイに表示させる表示制御手段を有することを特徴とする請求項7又は8に記載の画像処理装置。
- 前記受付手段により受け付けられた仮想視点とは異なる複数の別視点に応じた複数の別視点画像から特定オブジェクトが検出された場合、いずれの別視点画像から検出された特定オブジェクトの情報を表示させるかを選択する選択手段を有し、
前記付加手段は、前記選択手段により選択された特定オブジェクトの情報が前記仮想視点画像と共に表示されるように付加処理を実行することを特徴とする請求項1乃至9のうち、何れか1項に記載の画像処理装置。 - 前記特定オブジェクトは、予め定められた画像パターンに対応する人物、予め定められた空間領域から検出される人物、及びボールのうち、少なくとも何れかが含まれることを特徴とする請求項1乃至10のうち、何れか1項に記載の画像処理装置。
- 前記付加手段により付加処理がなされた仮想視点画像を表示する表示手段を有することを特徴とする請求項1乃至6のうち、何れか1項に記載の画像処理装置。
- 前記付加手段により付加される特定オブジェクトの情報には、前記別視点画像から切り出された特定オブジェクトの画像、前記特定オブジェクトを示す図形、前記特定オブジェクトを示すアイコン、及び、前記特定オブジェクトの数を示す数字のうち、少なくとも何れかであることを特徴とする請求項1乃至12のうち、何れか1項に記載の画像処理装置。
- 画像処理方法であって、
被写体を複数の異なる方向から撮影するための複数のカメラによる撮影画像に基づいて生成される仮想視点画像に係る仮想視点の指定を受け、
前記仮想視点に応じた仮想視点画像に対する特定オブジェクトの検出処理結果を取得し、
前記仮想視点とは異なる別視点に応じた別視点画像から検出された特定オブジェクトの情報を、前記仮想視点に応じた仮想視点画像と共に表示させるための付加処理を、前記仮想視点画像に対する特定オブジェクトの検出処理結果に応じて実行することを特徴とする画像処理方法。 - コンピュータを請求項1乃至13のうち、何れか1項に記載の画像処理装置の各手段として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188762A JP6812181B2 (ja) | 2016-09-27 | 2016-09-27 | 画像処理装置、画像処理方法、及び、プログラム |
US15/711,913 US20180089842A1 (en) | 2016-09-27 | 2017-09-21 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188762A JP6812181B2 (ja) | 2016-09-27 | 2016-09-27 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055279A JP2018055279A (ja) | 2018-04-05 |
JP6812181B2 true JP6812181B2 (ja) | 2021-01-13 |
Family
ID=61686436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016188762A Active JP6812181B2 (ja) | 2016-09-27 | 2016-09-27 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180089842A1 (ja) |
JP (1) | JP6812181B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7030452B2 (ja) * | 2017-08-30 | 2022-03-07 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
JP2020191598A (ja) * | 2019-05-23 | 2020-11-26 | キヤノン株式会社 | 画像処理システム |
JP7423974B2 (ja) * | 2019-10-21 | 2024-01-30 | 株式会社Jvcケンウッド | 情報処理システム、情報処理方法及びプログラム |
WO2021220892A1 (ja) * | 2020-04-27 | 2021-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6990681B2 (en) * | 2001-08-09 | 2006-01-24 | Sony Corporation | Enhancing broadcast of an event with synthetic scene using a depth map |
JP2005242606A (ja) * | 2004-02-26 | 2005-09-08 | Olympus Corp | 画像生成装置、画像生成プログラム、及び画像生成方法 |
WO2007020897A1 (ja) * | 2005-08-17 | 2007-02-22 | Matsushita Electric Industrial Co., Ltd. | 映像シーン分類装置および映像シーン分類方法 |
JP2008186324A (ja) * | 2007-01-31 | 2008-08-14 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
US8466913B2 (en) * | 2007-11-16 | 2013-06-18 | Sportvision, Inc. | User interface for accessing virtual viewpoint animations |
US9782660B2 (en) * | 2007-11-30 | 2017-10-10 | Nike, Inc. | Athletic training system and method |
GB0907870D0 (en) * | 2009-05-07 | 2009-06-24 | Univ Catholique Louvain | Systems and methods for the autonomous production of videos from multi-sensored data |
JP5681569B2 (ja) * | 2011-05-31 | 2015-03-11 | 富士通テン株式会社 | 情報処理システム、サーバ装置、および、車載装置 |
US8873852B2 (en) * | 2011-09-29 | 2014-10-28 | Mediatek Singapore Pte. Ltd | Method and apparatus for foreground object detection |
JP2014215828A (ja) * | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
JP2015187797A (ja) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
US10089785B2 (en) * | 2014-07-25 | 2018-10-02 | mindHIVE Inc. | Real-time immersive mediated reality experiences |
JP2016033763A (ja) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
WO2017134706A1 (ja) * | 2016-02-03 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 映像表示方法及び映像表示装置 |
-
2016
- 2016-09-27 JP JP2016188762A patent/JP6812181B2/ja active Active
-
2017
- 2017-09-21 US US15/711,913 patent/US20180089842A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20180089842A1 (en) | 2018-03-29 |
JP2018055279A (ja) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6659187B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6513169B1 (ja) | 仮想視点画像を生成するシステム、方法及びプログラム | |
JP7179515B2 (ja) | 装置、制御方法、及びプログラム | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US11734931B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6938123B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP7366611B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
KR102382247B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 | |
JP2018116537A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2007133660A (ja) | 多視点映像合成装置及び多視点映像合成システム | |
JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7514346B2 (ja) | 画像処理装置及び方法、プログラム | |
JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020135290A (ja) | 画像生成装置、画像生成方法、画像生成システム、及びプログラム | |
JP2021144522A (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
JP7271095B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
EP4187904A1 (en) | Information processing apparatus, information processing system, and program | |
EP4295930A1 (en) | Image processing system, image processing method, and computer program | |
JP2022103836A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2023167486A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2024014517A (ja) | 情報処理システム、情報処理方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6812181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |