JP7051457B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7051457B2 JP7051457B2 JP2018005732A JP2018005732A JP7051457B2 JP 7051457 B2 JP7051457 B2 JP 7051457B2 JP 2018005732 A JP2018005732 A JP 2018005732A JP 2018005732 A JP2018005732 A JP 2018005732A JP 7051457 B2 JP7051457 B2 JP 7051457B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- image processing
- viewpoint image
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
実施形態1では、仮想視点画像をレンダリングするために必要な処理負荷に応じて、仮想視点画像を構成するモデルの領域ごとに解像度を変化させて仮想視点画像を生成する処理を説明する。
図1は、画像処理システムの構成を示す図である。画像処理システム1は、仮想視点画像をレンダリングする処理負荷を示す処理負荷情報を取得し、処理負荷情報に応じてレンダリングに係るパラメータを変化させて仮想視点画像を生成し出力する。画像処理システム1は、画像処理装置10、カメラ群20、入力装置30、及び表示装置40を有する。
図2は、本実施形態の画像処理装置10のハードウェア構成の一例を示す図である。本実施形態の画像処理装置10は、CPU201、RAM202、ROM203、二次記憶装置204、入力インターフェース205、出力インターフェース206を含む。画像処理装置10の各構成部は、システムバス207によって相互に接続されている。また、画像処理装置10は、入力インターフェース205を介してカメラ群20および入力装置30に接続されており、出力インターフェース206を介して表示装置40に接続されている。
図3は、仮想視点画像を構成するモデルの領域ごとに解像度を変えて生成した仮想視点画像の概略図である。仮想視点画像を用いると、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。図3は、サッカーのシーンにおける仮想視点画像の概略図を示している。図3(a)および図3(b)は、同じシーンの画像である。ただし、図3(b)は、図3(a)よりも、仮想視点を前景オブジェクト301に寄った(あるいはズームした)場合の視点の画像である。図3(a)および図3(b)においてレンダリング対象の領域は、前景オブジェクト301および背景302である。なお、本明細書において共通の構成の説明をする場合には、符号の末尾の枝番(図3の例では、aまたはb)を省略する場合がある。図3では、ハッチングされているモデルが前景オブジェクトであり、その他が背景モデルである。
図4は、実施形態1の処理の流れを説明したフローチャートである。図4に示す処理は、ROM203に格納されたプログラムがRAM202に読み出され、CPU201によって実行されることによって実現される。なお、後述する各フローチャートの各ステップの一部またはすべてを専用のハードウェアにより実現してもよい。専用のハードウェアは、例えば、ASIC、FPGAまたはGPUなどであってもよい。
実施形態1では、解像度変更部136が解像度を変化させたパラメータを出力し、出力されたパラメータに従ってレンダリングが行われることで、処理の遅延を抑制する形態を例に挙げて説明した。本実施形態では、仮想視点画像をレンダリングするために必要な処理負荷に応じて、仮想視点画像を構成するモデルの領域ごとにレンダリングを省略して、仮想視点画像を生成する方法を説明する。処理負荷は、実施形態1と同様、前景オブジェクトが仮想視点画像に占める割合と仮定する。また、レンダリングする領域も、実施形態1と同様である。
実施形態3では、仮想視点画像をレンダリングするために必要な処理負荷に応じて、前景の色づけ処理を簡略化する方法を説明する。処理負荷は、実施形態1と同様、前景オブジェクトが仮想視点画像に占める割合であると仮定する。また、前景オブジェクトの色づけ処理は、カメラの台数が増加するに従い、その処理時間が増加すると仮定する。
実施形態4では、仮想視点画像のレンダリングに係るパラメータの変更が、操作者による指示に応じて行われる形態を説明する。
上述の各実施形態を適宜組み合わせてもよい。例えば、画像処理装置10は、仮想視点画像の生成に要する処理負荷に応じて、仮想視点画像の解像度を変更し、モデルの領域ごとのレンダリングを省略し、かつ、前景の色付け処理を簡略化してもよい
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 カメラ情報取得部
110 仮想視点情報取得部
120 処理負荷情報取得部
130 仮想視点画像生成部
140 出力部
Claims (19)
- 仮想視点からの見えを表す仮想視点画像を生成する画像処理装置であって、
複数の撮像装置の撮像に基づく複数の画像を取得する第1取得手段と、
仮想視点を特定するための情報を取得する第2取得手段と、
前記第2取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が閾値を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを、前記複数の撮像装置により撮像される撮像領域内のオブジェクトに基づいて決定する決定手段と、
前記決定手段により決定されたパラメータと、前記第1取得手段により取得された複数の画像とに基づいて、前記第2取得手段により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。 - 前記決定手段は、前記撮像領域内のオブジェクトの3次元位置に基づいて、前記パラメータを決定することを特徴とする請求項1に記載の画像処理装置。
- 前記決定手段は、前記第2取得手段により取得された情報により特定される仮想視点と、前記撮像領域内のオブジェクトの3次元位置とに基づいて、前記パラメータを決定することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記決定手段は、前記仮想視点に対応する視界内に位置する第1オブジェクトに対するパラメータと、前記第1オブジェクトよりも前記視界の中心から遠くに位置する第2オブジェクトに対するパラメータとを、互いに異なるように決定することを特徴とする請求項3に記載の画像処理装置。
- 前記複数の撮像装置の位置及び方向を特定する情報を取得する第3取得手段をさらに有し、
前記決定手段は、前記第3取得手段により取得された情報と、前記撮像領域内のオブジェクトの3次元位置とに基づいて、前記パラメータを決定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記決定手段は、前記撮像領域内のオブジェクトの種別に基づいて、前記パラメータを決定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記オブジェクトの種別には、前景オブジェクトと、背景オブジェクトとが含まれることを特徴とする請求項6に記載の画像処理装置。
- 前記決定手段は、前記第2取得手段により取得された情報により特定される仮想視点に対応する視界内に含まれるオブジェクトの数と大きさの少なくとも何れかに基づいて、前記パラメータを決定することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記パラメータは、前記仮想視点画像におけるオブジェクトの解像度に係るパラメータであることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記パラメータは、前記第1取得手段により取得された画像に基づいて生成されるオブジェクトの3次元形状を示すモデルの生成の処理に係るパラメータであることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記パラメータは、前記モデルの構成要素のサイズを特定するためのパラメータであることを特徴とする請求項10に記載の画像処理装置。
- 前記パラメータは、前記モデルの生成の処理に用いられる撮像装置の数を特定するためのパラメータであることを特徴とする請求項10又は11に記載の画像処理装置。
- 前記生成手段は、前記パラメータと前記複数の画像とに基づいてオブジェクトの3次元形状を示すモデルを生成し、生成された当該モデルに基づいて仮想視点画像を生成することを特徴とする請求項10乃至12のいずれか1項に記載の画像処理装置。
- 前記パラメータは、前記仮想視点画像におけるオブジェクトの表示の有無を制御するパラメータであることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記生成手段により生成される前記仮想視点画像内の前景オブジェクトが占める領域の大きさが所定の閾値より大きい場合における前記仮想視点画像内の背景オブジェクトの解像度は、前記生成手段により生成される前記仮想視点画像内の1以上の前景オブジェクトが占める領域の大きさが前記所定の閾値より小さい場合における前記仮想視点画像内の背景オブジェクトの解像度よりも低いことを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
- ユーザによる操作に基づいて処理時間の閾値を設定する設定手段を、さらに有し、
前記決定手段は、前記仮想視点画像の生成に係る処理時間が前記設定手段により設定された閾値を超えないように、前記パラメータを決定することを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。 - 前記パラメータを決定するためのオブジェクトに関する条件を指定するための画像を表示手段に表示させる表示制御手段をさらに有することを特徴とする請求項1乃至16のいずれか1項に記載の画像処理装置。
- 仮想視点からの見えを表す仮想視点画像を生成する画像処理方法であって、
複数の撮像装置の撮像に基づく複数の画像を取得する第1取得工程と、
仮想視点を特定するための情報を取得する第2取得工程と、
前記第2取得工程により取得された情報により特定される仮想視点に対応する仮想視点画像の生成に係る処理時間が所定時間を超えないように、前記仮想視点画像の生成に係る処理におけるパラメータを、前記複数の撮像装置により撮像される撮像領域内のオブジェクトに基づいて決定する決定工程と、
前記決定工程により決定されたパラメータと、前記第1取得工程により取得された複数の画像とに基づいて、前記第2取得工程により取得された情報により特定される仮想視点に対応する仮想視点画像を生成する生成工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至17のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018005732A JP7051457B2 (ja) | 2018-01-17 | 2018-01-17 | 画像処理装置、画像処理方法、及びプログラム |
US16/244,688 US10916048B2 (en) | 2018-01-17 | 2019-01-10 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018005732A JP7051457B2 (ja) | 2018-01-17 | 2018-01-17 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019125929A JP2019125929A (ja) | 2019-07-25 |
JP2019125929A5 JP2019125929A5 (ja) | 2021-02-25 |
JP7051457B2 true JP7051457B2 (ja) | 2022-04-11 |
Family
ID=67213004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018005732A Active JP7051457B2 (ja) | 2018-01-17 | 2018-01-17 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10916048B2 (ja) |
JP (1) | JP7051457B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10600245B1 (en) * | 2014-05-28 | 2020-03-24 | Lucasfilm Entertainment Company Ltd. | Navigating a virtual environment of a media content item |
US20210134049A1 (en) * | 2017-08-08 | 2021-05-06 | Sony Corporation | Image processing apparatus and method |
JP7170441B2 (ja) | 2018-07-12 | 2022-11-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US12020368B1 (en) | 2018-11-02 | 2024-06-25 | Meta Platforms Technologies, Llc | Pixel replication and interpolation for foveated rendering in a display engine |
JP2020134973A (ja) * | 2019-02-12 | 2020-08-31 | キヤノン株式会社 | 素材生成装置、画像生成装置および画像処理装置 |
KR102579700B1 (ko) * | 2019-06-03 | 2023-09-18 | 삼성전자주식회사 | 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치 |
WO2021117482A1 (ja) * | 2019-12-09 | 2021-06-17 | ソニーグループ株式会社 | 情報処理装置および方法、プログラム、並びに、情報処理システム |
CN115004237A (zh) * | 2020-01-23 | 2022-09-02 | 索尼集团公司 | 信息处理装置、信息处理方法以及程序 |
US11694379B1 (en) * | 2020-03-26 | 2023-07-04 | Apple Inc. | Animation modification for optical see-through displays |
US20230179798A1 (en) * | 2020-05-13 | 2023-06-08 | Sony Group Corporation | Delivery apparatus and delivery method |
JP7451291B2 (ja) | 2020-05-14 | 2024-03-18 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2022032483A (ja) | 2020-08-12 | 2022-02-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US11941729B2 (en) * | 2020-12-11 | 2024-03-26 | Canon Kabushiki Kaisha | Image processing apparatus, method for controlling image processing apparatus, and storage medium |
JP2022160233A (ja) * | 2021-04-06 | 2022-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7500512B2 (ja) * | 2021-08-30 | 2024-06-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2023111640A (ja) * | 2022-01-31 | 2023-08-10 | キヤノン株式会社 | 情報処理装置、情報処理方法、データ構造及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004302524A (ja) | 2003-03-28 | 2004-10-28 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法 |
JP2005050036A (ja) | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
JP2007214769A (ja) | 2006-02-08 | 2007-08-23 | Nissan Motor Co Ltd | 車両用映像処理装置、車両周囲監視システム並びに映像処理方法 |
JP2017212592A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9706114B2 (en) | 2014-09-12 | 2017-07-11 | Sony Corporation | Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program |
US10429923B1 (en) * | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
JP7054677B2 (ja) * | 2016-08-10 | 2022-04-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | カメラワーク生成方法及び映像処理装置 |
JP6775776B2 (ja) * | 2017-03-09 | 2020-10-28 | 株式会社岩根研究所 | 自由視点移動表示装置 |
WO2018181249A1 (ja) * | 2017-03-31 | 2018-10-04 | パナソニックIpマネジメント株式会社 | 撮像システムおよび校正方法 |
US11122258B2 (en) * | 2017-06-30 | 2021-09-14 | Pcms Holdings, Inc. | Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements |
US10573061B2 (en) * | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Saccadic redirection for virtual reality locomotion |
-
2018
- 2018-01-17 JP JP2018005732A patent/JP7051457B2/ja active Active
-
2019
- 2019-01-10 US US16/244,688 patent/US10916048B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004302524A (ja) | 2003-03-28 | 2004-10-28 | Kitakyushu Foundation For The Advancement Of Industry Science & Technology | 3次元モデリング・プログラム、3次元モデリング制御プログラム、3次元モデリング・データ伝送プログラム、記録媒体および3次元モデリング方法 |
JP2005050036A (ja) | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
JP2007214769A (ja) | 2006-02-08 | 2007-08-23 | Nissan Motor Co Ltd | 車両用映像処理装置、車両周囲監視システム並びに映像処理方法 |
JP2017212592A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019125929A (ja) | 2019-07-25 |
US10916048B2 (en) | 2021-02-09 |
US20190221029A1 (en) | 2019-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6434947B2 (ja) | 撮像システム、画像処理装置、画像処理方法、及びプログラム | |
JP6849430B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR102162107B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
US20190213791A1 (en) | Information processing apparatus relating to generation of virtual viewpoint image, method and storage medium | |
JP6419128B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
KR102316061B1 (ko) | 화상 처리장치, 방법 및 컴퓨터 프로그램 | |
CN110460835B (zh) | 图像处理装置及其控制方法和计算机可读存储介质 | |
JP6882868B2 (ja) | 画像処理装置、画像処理方法、システム | |
JP7073092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7027049B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7439146B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2014010805A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2019144958A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018129025A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
JP2019067419A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2022176719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019145894A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019053738A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
US20220408069A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US20230291865A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2022103836A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2022041594A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2009258862A (ja) | 映像表示装置及び映像表示方法 | |
JP2021010102A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220330 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7051457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |