JP7842659B2 - 良視点画像選択装置、及びコンピュータを良視点画像選択装置として機能させるためのプログラム - Google Patents
良視点画像選択装置、及びコンピュータを良視点画像選択装置として機能させるためのプログラムInfo
- Publication number
- JP7842659B2 JP7842659B2 JP2022125072A JP2022125072A JP7842659B2 JP 7842659 B2 JP7842659 B2 JP 7842659B2 JP 2022125072 A JP2022125072 A JP 2022125072A JP 2022125072 A JP2022125072 A JP 2022125072A JP 7842659 B2 JP7842659 B2 JP 7842659B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- viewpoint
- coordinates
- image
- good
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
図1は、本発明における好ましい視点から見た画像と、好ましくない視点から見た画像の一例を示す図である。
良視点画像選択装置200には、CGシーン100が入力され、良視点画像選択装置200からは、好ましい視点からの画像300が出力される。
良視点画像選択装置200は、シーン分析部10と、特徴量抽出部20と、注目対象計算部30と、カメラ中心座標生成部40と、特徴量データベース50と、良視点計算部60と、カメラ球座標生成部70と、良画像生成部80とを備える。
特徴量抽出部20は、各オブジェクトについて、複数種類の特徴量を抽出する。複数種類の特徴量の例は、体積や顕著性である。
注目対象計算部30は、特徴量抽出部20で抽出された特徴量の一部を用いて、注目を受けやすいオブジェクトを計算する。例えば、顕著性を用いて、注目を受けやすいオブジェクトを計算する。
特徴量データベース50は、複数種類の特徴量の各特徴量に対して、好ましい視点を選択することに対する各特徴量の重要度が格納されている。この各特徴量の重要度は、マイナスの値をとることもある。
カメラ球座標生成部70は、良視点計算部60が計算した情報量が多くなる視点を、カメラの位置を表す球座標として設定する。この「カメラの位置を表す球座標」を、以後「カメラ球座標」という。
ステップS101では、表示したいCGシーン100を良視点画像選択装置200に入力する。図4(a)が、入力されたCGシーン100の例である。
ステップS102では、シーン分析部10が、CGシーン100を分析し複数のオブジェクトに分解する。
ステップS104では、特徴量抽出部20が、各オブジェクトについて、特徴量を記録する。
また、ステップS104では、注目対象計算部30が、抽出された特徴量の一部を用いて、注目を受けやすいオブジェクトを計算する。例えば、顕著性を用いて、注目を受けやすいオブジェクトを計算する。顕著性マップの作成については、非特許文献2に記載されている。図4(b)、(c)は、非特許文献2の顕著性マップの作成を説明する図である。図4(b)では顕著性が高い部分が、輝度が高く表示されている。その輝度をオブジェクトに転写することにより、図4(c)が得られる。図4(c)では、顕著性が高いオブジェクトが白く表示されており、顕著性が高いオブジェクトを割り出すことができる。この例では、図4(c)の右上のタワーを、顕著性が高いオブジェクトと判定した。
ステップS107では、良画像生成部80が、カメラ球座標の位置からの画像を生成し出力する。図4(e)が、オブジェクトが複数存在する状態での出力された良視点からの画像の例である。
ここで、s′all,iは、本実施形態の方法による視点iから見た画像の情報量であり、sall,iは、従来の方法(非特許文献1)による視点iから見た画像の情報量を表す。
そこで、本実施形態の方法では、視点iから見たときのオブジェクトjの情報量si,jを重要度wi,jで重み付けした値を加算した式を用いる。
ここで、重要度wi,jは、視点iから見たときのオブジェクトjのk番目の特徴量νi,j,kに、k番目の特徴量の重要度αkを乗算したものに分解することができる(図8の(2)式)。本実施形態では、図8の(2)式を(1)式に代入した式を用いて、画像の情報量を計算する。そして、得られた画像の情報量が高くなる視点の座標を、カメラ球座標として決定する。
画像にオブジェクトjのn個の面が映っており、m番目の面が映っているピクセル数をpm、画像の総ピクセル数をptとすると、
si,j =-Σm=1 n{(pm/pt)log(pm/pt)}
と計算できる。上記式は、情報理論におけるエントロピーの定義に基づくものである。
20 特徴量抽出部
30 注目対象計算部
40 カメラ中心座標生成部
50 特徴量データベース
60 良視点計算部
70 カメラ球座標生成部
80 良画像生成部
200 良視点画像選択装置
Claims (8)
- 最適な視点を選択したいシーンを分析し、複数のオブジェクトに分解するシーン分析部と、
各オブジェクトの複数種類の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出した複数種類の特徴量の内の一部の種類の特徴量を用いて、注目を受けやすいオブジェクトを計算する注目対象計算部と、
前記注目対象計算部で計算された注目を受けやすいオブジェクトの重心位置の座標であるカメラ中心座標を生成するカメラ中心座標生成部と、
特徴量の種類毎に、好ましい視点を選択することに対する特徴量の重要度が格納されている特徴量データベースと、
前記カメラ中心座標を中心とする球体の表面上の複数の点の観察位置としての良さを、前記特徴量抽出部で抽出した特徴量と、前記特徴量データベースを使用して計算する良視点計算部と、
前記カメラ中心座標を中心とする球体の表面上の前記複数の点の中から、観察位置として良好な視点を選択し、前記観察位置として良好な視点の座標であるカメラ球座標を登録するカメラ球座標生成部と、
前記カメラ中心座標と前記カメラ球座標に基づいて、前記観察位置として良好な視点からのカメラ画像を生成する良画像生成部と、
を備える良視点画像選択装置。 - 前記観察位置としての良さは、前記観察位置から見た画像の情報量によって評価し、前記観察位置から見た画像の情報量は、オブジェクト毎の情報量に前記オブジェクト毎の情報量の重要度を乗算して、複数のオブジェクトに関して加算した量を含む、請求項1に記載の良視点画像選択装置。
- 前記注目を受けやすいオブジェクトは、オブジェクトの顕著性に基づいて計算される、請求項1に記載の良視点画像選択装置。
- 前記特徴量データベースに格納されている特徴量の重要度は、前記良視点計算部が計算した観察位置としての良さが、実験によって得られた観察位置に対する人の好ましさのデータと最も相関が高くなるように多重回帰分析により決定する、請求項1に記載の良視点画像選択装置。
- コンピュータを、
最適な視点を選択したいシーンを分析し、複数のオブジェクトに分解するシーン分析部と、
各オブジェクトの複数種類の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出した複数種類の特徴量の内の一部の種類の特徴量を用いて、注目を受けやすいオブジェクトを計算する注目対象計算部と、
前記注目対象計算部で計算された注目を受けやすいオブジェクトの重心位置の座標であるカメラ中心座標を生成するカメラ中心座標生成部と、
特徴量の種類毎に、好ましい視点を選択することに対する特徴量の重要度が格納されている特徴量データベースと、
前記カメラ中心座標を中心とする球体の表面上の複数の点の観察位置としての良さを、前記特徴量抽出部で抽出した特徴量と、前記特徴量データベースを使用して計算する良視点計算部と、
前記カメラ中心座標を中心とする球体の表面上の前記複数の点の中から、観察位置として良好な視点を選択し、前記観察位置として良好な視点の座標であるカメラ球座標を登録するカメラ球座標生成部と、
前記カメラ中心座標と前記カメラ球座標に基づいて、前記観察位置として良好な視点からのカメラ画像を生成する良画像生成部と、
を備える良視点画像選択装置として機能させるためのプログラム。 - 前記観察位置としての良さは、前記観察位置から見た画像の情報量によって評価し、前記観察位置から見た画像の情報量は、オブジェクト毎の情報量に前記オブジェクト毎の情報量の重要度を乗算して、複数のオブジェクトに関して加算した量を含む、請求項5に記載のプログラム。
- 前記注目を受けやすいオブジェクトは、オブジェクトの顕著性に基づいて計算される、請求項5に記載のプログラム。
- 前記特徴量データベースに格納されている特徴量の重要度は、前記良視点計算部が計算した観察位置としての良さが、実験によって得られた観察位置に対する人の好ましさのデータと最も相関が高くなるように多重回帰分析により決定する、請求項5に記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022125072A JP7842659B2 (ja) | 2022-08-04 | 2022-08-04 | 良視点画像選択装置、及びコンピュータを良視点画像選択装置として機能させるためのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022125072A JP7842659B2 (ja) | 2022-08-04 | 2022-08-04 | 良視点画像選択装置、及びコンピュータを良視点画像選択装置として機能させるためのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024021896A JP2024021896A (ja) | 2024-02-16 |
| JP7842659B2 true JP7842659B2 (ja) | 2026-04-08 |
Family
ID=89855411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022125072A Active JP7842659B2 (ja) | 2022-08-04 | 2022-08-04 | 良視点画像選択装置、及びコンピュータを良視点画像選択装置として機能させるためのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7842659B2 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171889A (ja) | 2004-12-13 | 2006-06-29 | Ricoh Co Ltd | 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム |
| JP2012504828A (ja) | 2008-10-03 | 2012-02-23 | スリーエム イノベイティブ プロパティズ カンパニー | シーンを最適化するシステム及び方法 |
| JP2015170116A (ja) | 2014-03-06 | 2015-09-28 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
| JP2016099665A (ja) | 2014-11-18 | 2016-05-30 | 株式会社東芝 | 視点位置算出装置、画像生成装置、視点位置算出方法、画像生成方法、視点位置算出プログラム、及び、画像生成プログラム |
| US20170153116A1 (en) | 2015-05-14 | 2017-06-01 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Navigation technology in three-dimensional scenes |
| JP2022112197A (ja) | 2021-01-21 | 2022-08-02 | 電駆ビジョン株式会社 | プログラム、情報処理装置及び方法 |
-
2022
- 2022-08-04 JP JP2022125072A patent/JP7842659B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171889A (ja) | 2004-12-13 | 2006-06-29 | Ricoh Co Ltd | 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム |
| JP2012504828A (ja) | 2008-10-03 | 2012-02-23 | スリーエム イノベイティブ プロパティズ カンパニー | シーンを最適化するシステム及び方法 |
| JP2015170116A (ja) | 2014-03-06 | 2015-09-28 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
| JP2016099665A (ja) | 2014-11-18 | 2016-05-30 | 株式会社東芝 | 視点位置算出装置、画像生成装置、視点位置算出方法、画像生成方法、視点位置算出プログラム、及び、画像生成プログラム |
| US20170153116A1 (en) | 2015-05-14 | 2017-06-01 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Navigation technology in three-dimensional scenes |
| JP2022112197A (ja) | 2021-01-21 | 2022-08-02 | 電駆ビジョン株式会社 | プログラム、情報処理装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024021896A (ja) | 2024-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10284789B2 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
| JP6697986B2 (ja) | 情報処理装置および画像領域分割方法 | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| EP3309750B1 (en) | Image processing apparatus and image processing method | |
| US20180182114A1 (en) | Generation apparatus of virtual viewpoint image, generation method, and storage medium | |
| TW201214335A (en) | Method and arrangement for multi-camera calibration | |
| TWI687689B (zh) | 球狀體之旋轉之測定裝置、測定方法以及非暫時性資訊記錄媒體 | |
| JP2016066360A (ja) | テキストベース3d拡張現実 | |
| CN108564612A (zh) | 模型显示方法、装置、存储介质及电子设备 | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2011095797A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| US20220358619A1 (en) | Automatic dolly zoom image processing device | |
| CN112991159A (zh) | 人脸光照质量评估方法、系统、服务器与计算机可读介质 | |
| WO2022040988A1 (zh) | 图像处理方法、装置及可移动平台 | |
| CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、系统和介质 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及系统 | |
| US20240406363A1 (en) | Handling blur in multi-view imaging | |
| CN117201931A (zh) | 摄像机参数采集方法、装置、计算机设备和存储介质 | |
| JP2010231350A (ja) | 人物識別装置、そのプログラム、及び、その方法 | |
| CN107093435A (zh) | 一种多媒体设备 | |
| TW201222422A (en) | Method and arrangement for identifying virtual visual information in images | |
| JP2024021896A (ja) | 良視点画像選択装置、及びコンピュータを良視点画像選択装置として機能させるためのプログラム | |
| JP2023080290A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| JP7341712B2 (ja) | 画像処理装置、画像処理方法、撮像装置、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20250703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20260220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20260303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20260327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7842659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |