JP6338369B2 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP6338369B2 JP6338369B2 JP2013270130A JP2013270130A JP6338369B2 JP 6338369 B2 JP6338369 B2 JP 6338369B2 JP 2013270130 A JP2013270130 A JP 2013270130A JP 2013270130 A JP2013270130 A JP 2013270130A JP 6338369 B2 JP6338369 B2 JP 6338369B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- normal
- reflection characteristic
- information processing
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Description
前記3次元形状を示す情報から前記物体の表面における法線情報を推定する法線推定手段と、
前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定する反射特性推定手段と、
前記反射特性推定手段が前記物体の反射特性の推定を行う上で十分な量の前記法線情報が得られているか否かに基づいて、前記物体の追加撮影の要否を判定する判定手段と、
を有することを特徴とする。
本発明にかかる各実施形態を説明するのに先立ち、各実施形態に示す情報処理方法が実装される装置構成について、図2を用いて説明する。
●反射特性推定処理(概要)
以下、上記構成において実現される、本発明にかかる第1実施形態の反射特性推定処理の概要について、図1を用いて説明する。
以下、上記反射特性推定部110における対象物体の反射特性、すなわち輝度分布を推定する処理について、図3、図4を用いて詳細に説明する。
一方、法線ベクトルをN=(Nx,Ny,Nz)とし、反射中心軸ベクトルHと法線ベクトルNとのなす角をθとすると、θは以下の(2)式で表わされる。
なお反射特性推定部110では、撮影環境情報109に記載された照明303とカメラ304の3次元位置から、対象物体301の点P302における光源方向ベクトルLおよびカメラ方向ベクトルVが取得できる。また法線ベクトルNは、法線情報105として取得される。
なお、(3)式におけるCとmはそれぞれ、輝度分布全体の強度と輝度分布の広がりを表す輝度分布パラメータであり、本実施形態ではこのパラメータを推定することで、輝度分布モデルを近似する。
最尤推定フィッティングをこの誤差関数Eの最小化問題として考える。すると、誤差関数EはパラメータCに関して下に凸の2次関数であるため、以下の(5)式を解けば、タCの更新式が(6)式のように求まる。
(7)式を最急降下的に解くと、逐次更新式は以下の(8)式のようになり、これはRobbins-Monroの手続きと呼ばれる。なお、(8)式における係数ηは正の値で定義される定数であり、観測データ数の逆数として与えるのが一般的である。
なお、(9)式においてKd,Ks,mはこのモデルにおける輝度分布パラメータである。このモデルを図3に適用すると、θは(2)式のθと同様であり、すなわち法線ベクトルNと反射中心軸ベクトルHのなす角である。また、αは法線ベクトルNと光源方向ベクトルLのなす角、βは法線ベクトルNとカメラ方向ベクトルVのなす角であり、それぞれ以下の(10),(11)式で表わされる。
β=cos-1(V・N/(|V||N|)) ・・・(11)
各観測画素jに対応する(9)式における角度αjとβjは、上記(10),(11)式から得ることができ、これによりθj、αj、βjに対応する輝度値Jjの観測分布を得ることができる。この観測分布に対して(9)式のモデルを最尤推定によってフィッティングすることで、対象物体301の表面輝度分布の推定モデルを得ることができる。
以下、本実施形態の特徴である法線分布の評価処理について、詳細に説明する。上記従来の反射特性推定方法では、回転テーブル等の特別な装置を用いることで、十分な観測データを得ることができ、特に観測点の法線方向に関して十分な多様性を確保することが可能であった。一方、本発明が想定している図3に示すような観測状況においては、回転テーブル等の他装置を使用せず、1個以上の対象物体301を配置するのみであるため、観測点の法線方向に関して十分な多様性が得られるとは限らない。例えば、図4(a)にプロットされた観測点データ401が、“あるθの値”の周辺に局在する可能性がある。このように観測点の法線方向に多様性がなくθ値が局在すると、輝度分布モデルのパラメータ推定が適切に行えず、任意照明条件下で対象物体の“見え”の再現が不正確になってしまうという問題があった。本実施形態では法線分布評価部111において観測点の法線方向分布の評価を行うことで、この問題を解決する。
以下、図2に示す構成において実現される、本発明にかかる第2実施形態の反射特性推定処理の概要について、図6を用いて説明する。図6は、第2実施形態の機能構成を示すブロック図である。なお、図6において上述した図1と同様の構成には同一符号を付し、説明を省略する。
まず、反射特性推定部610における対象物体表面の反射特性すなわち輝度分布の推定処理について、図7(a)を用いて説明する。図7(a)は、上記図4(a)と同様に観測点データ701の分布を示すグラフであり、703が第2実施形態において輝度分布モデルを用いて推定した、輝度Jと変数θの関係を記述する関数を示す推定曲線である。
以下、法線ヒストグラム作成部611および法線分布評価部612による観測点の法線方向分布の評価処理について、図7(b)を用いて説明する。
以下、図2に示す構成において実現される、本発明にかかる第3実施形態の反射特性推定処理の概要について、図8を用いて説明する。図8は、第3実施形態の機能構成を示すブロック図である。なお、図8において上述した図1と同様の構成には同一符号を付し、説明を省略する。
以下、図2に示す構成において実現される、本発明にかかる第4実施形態の反射特性推定処理の概要について、図10を用いて説明する。図10は、第4実施形態の機能構成を示すブロック図である。なお、図10において上述した図1と同様の構成には同一符号を付し、説明を省略する。第4実施形態では、上述した第3実施形態と同様に、追加撮影時の対象物体の配置を提案する。
以下、増加法線推定部1014および姿勢順位決定部1015における推奨姿勢決定処理について、図11のフローチャートを用いて説明する。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (20)
- 物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得する取得手段と、
前記3次元形状を示す情報から前記物体の表面における法線情報を推定する法線推定手段と、
前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定する反射特性推定手段と、
前記反射特性推定手段が前記物体の反射特性の推定を行う上で十分な量の前記法線情報が得られているか否かに基づいて、前記物体の追加撮影の要否を判定する判定手段と、
を有することを特徴とする情報処理装置。 - 前記判定手段は、前記法線情報が示す法線方向間の差が全て所定の閾値以下であれば、前記追加撮影が不要であると判定することを特徴とする請求項1に記載の情報処理装置。
- 前記判定手段は、前記法線情報が示す全ての法線方向に対応する前記輝度情報のうち、前記推定された反射特性が示す輝度に対する誤差が所定の許容範囲内にある数が所定の閾値以上であれば、前記追加撮影が不要であると判定することを特徴とする請求項1に記載の情報処理装置。
- 前記取得手段は、前記撮影画像において前記物体の撮影位置からの距離を示す距離情報を前記3次元形状を示す情報として取得することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- さらに、前記撮影画像の撮影環境情報を取得する撮影環境の取得手段を有し、
前記反射特性推定手段はさらに、前記反射特性の推定に前記撮影環境情報を用いることを特徴とする請求項4に記載の情報処理装置。 - 前記撮影画像は同一種類の複数の物体が撮影された画像であり、
前記判定手段は、前記複数の物体の法線情報から、1つあるいは複数の前記物体の追加撮影の要否を判定することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 - さらに、前記判定手段で追加撮影が必要であると判定された場合に、前記追加撮影が必要である旨を報知する報知手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記報知手段は、前記追加撮影における前記物体の配置を提示することを特徴とする請求項7に記載の情報処理装置。
- 前記報知手段は、前記追加撮影において取得すべき法線方向を提示することを特徴とする請求項8に記載の情報処理装置。
- 前記報知手段は、前記物体の複数種類の姿勢ごとに、前記追加撮影によって取得される法線方向に基づいて優先順位を提示することを特徴とする請求項8に記載の情報処理装置。
- 前記反射特性推定手段は、前記法線情報が示す法線方向の分布に対し、輝度分布モデルを示す関数を近似させることで前記物体の反射特性を推定することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
- さらに、前記法線方向の分布を示すヒストグラムを作成するヒストグラム作成手段を有し、
前記判定手段は、前記ヒストグラムの全区間における最小度数が所定の閾値以上であれば、前記追加撮影が不要であると判定することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。 - 物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得する取得手段と、
前記3次元形状を示す情報から前記物体の表面における法線情報を推定する法線推定手段と、
前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定する反射特性推定手段と、
前記法線方向の分布から、前記物体の追加撮影の要否を判定する判定手段と、
を有し、
前記判定手段は、前記法線情報が示す全ての法線方向に対応する前記輝度情報のうち、前記推定された反射特性が示す輝度に対する誤差が所定の許容範囲内にある数が所定の閾値以上であれば、前記追加撮影が不要であると判定することを特徴とする情報処理装置。 - 物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得する取得手段と、
前記3次元形状を示す情報から前記物体の表面における法線情報を推定する法線推定手段と、
前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定する反射特性推定手段と、
前記法線方向の分布から、前記物体の追加撮影の要否を判定する判定手段と、
を有し、
前記撮影画像は同一種類の複数の物体が撮影された画像であり、
前記判定手段は、前記複数の物体の法線情報から、1つあるいは複数の前記物体の追加撮影の要否を判定することを特徴とする情報処理装置。 - 物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得する取得手段と、
前記3次元形状を示す情報から前記物体の表面における法線情報を推定する法線推定手段と、
前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定する反射特性推定手段と、
前記法線方向の分布から、前記物体の追加撮影の要否を判定する判定手段と、
前記判定手段で追加撮影が必要であると判定された場合に、前記追加撮影が必要である旨を報知する報知手段と、
を有し、
前記報知手段は、前記追加撮影における前記物体の配置を提示すると共に、前記物体の複数種類の姿勢ごとに、前記追加撮影によって取得される法線方向に基づいて優先順位を提示することを特徴とする情報処理装置。 - 取得手段、法線推定手段、反射特性推定手段、および判定手段を有する情報処理装置における情報処理方法であって、
前記取得手段が、物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得し、
前記法線推定手段が、前記3次元形状を示す情報から前記物体の表面における法線情報を推定し、
前記反射特性推定手段が、前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定し、
前記判定手段が、前記反射特性推定工程で前記物体の反射特性の推定を行う上で十分な量の前記法線情報が得られているか否かに基づいて、前記物体の追加撮影の要否を判定する、ことを特徴とする情報処理方法。 - 取得手段、法線推定手段、反射特性推定手段、および判定手段を有する情報処理装置における情報処理方法であって、
前記取得手段が、物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得し、
前記法線推定手段が、前記3次元形状を示す情報から前記物体の表面における法線情報を推定し、
前記反射特性推定手段が、前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定し、
前記判定手段が、前記法線方向の分布から、前記物体の追加撮影の要否を判定し、
前記判定手段は、前記法線情報が示す全ての法線方向に対応する前記輝度情報のうち、前記推定された反射特性が示す輝度に対する誤差が所定の許容範囲内にある数が所定の閾値以上であれば、前記追加撮影が不要であると判定することを特徴とする情報処理方法。 - 取得手段、法線推定手段、反射特性推定手段、および判定手段を有する情報処理装置における情報処理方法であって、
前記取得手段が、物体の撮影画像から該物体の3次元形状を示す情報および輝度情報を取得し、
前記法線推定手段が、前記3次元形状を示す情報から前記物体の表面における法線情報を推定し、
前記反射特性推定手段が、前記法線情報が示す法線方向の分布と前記輝度情報に基づき、前記物体の反射特性を推定し、
前記判定手段が、前記法線方向の分布から、前記物体の追加撮影の要否を判定し、
前記撮影画像は同一種類の複数の物体が撮影された画像であり、
前記判定手段は、前記複数の物体の法線情報から、1つあるいは複数の前記物体の追加撮影の要否を判定することを特徴とする情報処理方法。 - コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至15のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
- 請求項19に記載のプログラムを記憶した、コンピュータによる読み出し可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013270130A JP6338369B2 (ja) | 2013-12-26 | 2013-12-26 | 情報処理装置および情報処理方法 |
US14/562,966 US20150189144A1 (en) | 2013-12-26 | 2014-12-08 | Information processing apparatus and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013270130A JP6338369B2 (ja) | 2013-12-26 | 2013-12-26 | 情報処理装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015125621A JP2015125621A (ja) | 2015-07-06 |
JP6338369B2 true JP6338369B2 (ja) | 2018-06-06 |
Family
ID=53483355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013270130A Active JP6338369B2 (ja) | 2013-12-26 | 2013-12-26 | 情報処理装置および情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150189144A1 (ja) |
JP (1) | JP6338369B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5812599B2 (ja) * | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
JP6126437B2 (ja) * | 2013-03-29 | 2017-05-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2018056086A1 (ja) * | 2016-09-23 | 2018-03-29 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、データ構造、およびプログラム |
US11353322B2 (en) | 2017-12-15 | 2022-06-07 | Horiba, Ltd. | Surface characteristic inspection apparatus and surface characteristic inspection program |
US10598791B2 (en) * | 2018-07-31 | 2020-03-24 | Uatc, Llc | Object detection based on Lidar intensity |
US11223782B2 (en) * | 2019-03-21 | 2022-01-11 | Qualcomm Technologies, Inc. | Video processing using a spectral decomposition layer |
US11210539B2 (en) | 2019-04-04 | 2021-12-28 | Joyson Safety Systems Acquisition Llc | Detection and monitoring of active optical retroreflectors |
JPWO2021014775A1 (ja) * | 2019-07-19 | 2021-01-28 | ||
JP2022076368A (ja) * | 2020-11-09 | 2022-05-19 | キヤノン株式会社 | 画像処理装置、撮像装置、情報処理装置、画像処理方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216973A (ja) * | 2002-01-21 | 2003-07-31 | Canon Inc | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム |
JP3962588B2 (ja) * | 2002-01-07 | 2007-08-22 | キヤノン株式会社 | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
JP2005189205A (ja) * | 2003-12-26 | 2005-07-14 | Fuji Xerox Co Ltd | 3次元形状計測装置および方法 |
JP4764963B2 (ja) * | 2004-07-21 | 2011-09-07 | 公立大学法人広島市立大学 | 画像処理装置 |
JP4052323B2 (ja) * | 2005-06-22 | 2008-02-27 | コニカミノルタセンシング株式会社 | 3次元測定システム |
JP4926817B2 (ja) * | 2006-08-11 | 2012-05-09 | キヤノン株式会社 | 指標配置情報計測装置および方法 |
JP4324238B2 (ja) * | 2007-02-13 | 2009-09-02 | パナソニック株式会社 | 画像処理システム、方法及び装置 |
JP5812599B2 (ja) * | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
-
2013
- 2013-12-26 JP JP2013270130A patent/JP6338369B2/ja active Active
-
2014
- 2014-12-08 US US14/562,966 patent/US20150189144A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2015125621A (ja) | 2015-07-06 |
US20150189144A1 (en) | 2015-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6338369B2 (ja) | 情報処理装置および情報処理方法 | |
EP3108449B1 (en) | View independent 3d scene texturing | |
JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
CN104380338B (zh) | 信息处理器以及信息处理方法 | |
JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
CN109801374B (zh) | 一种通过多角度图像集重构三维模型的方法、介质及系统 | |
JP5132832B1 (ja) | 計測装置および情報処理装置 | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
JP6503906B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6464938B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
EP2342676B1 (en) | Methods and apparatus for dot marker matching | |
JP7057971B2 (ja) | 動物体の体重推定装置及び体重推定方法 | |
TWI722638B (zh) | 一種點雲融合方法、電子設備和電腦儲存介質 | |
JP7407428B2 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
JP6282377B2 (ja) | 3次元形状計測システムおよびその計測方法 | |
CN113689578A (zh) | 一种人体数据集生成方法及装置 | |
WO2022102476A1 (ja) | 三次元点群高密度化装置、三次元点群高密度化方法、及び、プログラム | |
CN109389645B (zh) | 相机自校准方法、系统、相机、机器人及云端服务器 | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
WO2021193672A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
WO2019150431A1 (ja) | 情報処理装置 | |
JP2009244229A (ja) | 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム | |
TWI679397B (zh) | 三維形狀測量系統、探測器、攝像裝置、電腦裝置以及測量時間設定方法 | |
WO2021100681A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6338369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |