JP5808180B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP5808180B2 JP5808180B2 JP2011157124A JP2011157124A JP5808180B2 JP 5808180 B2 JP5808180 B2 JP 5808180B2 JP 2011157124 A JP2011157124 A JP 2011157124A JP 2011157124 A JP2011157124 A JP 2011157124A JP 5808180 B2 JP5808180 B2 JP 5808180B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- image processing
- spectral
- image
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本実施形態においては、デジタルカメラで撮影された実写映像との合成対象となるシーンのコンピュータグラフィックス画像(CG)を、光線追跡(レイトレーシング)によって生成する処理について説明する。このとき、該デジタルカメラにおけるカラーフィルタの分光特性に基づいて、光線追跡を行う波長(追跡対象波長)を決定することを特徴とする。
このように屈折角は光の波長λの関数になるため、光線追跡法によって追跡する光の経路が波長λによって変化することになる。従って、図1でオブジェクト101を透過した光がさらに分光屈折率n3(λ)のオブジェクト102を透過する等、あるシーンにおける光の透過を忠実に再現するためには、光を分光として扱い、複数の光線から色を再現する必要がある。また、正確に色を再現するためには、光源から発せられる光の全ての波長に対して追跡計算を行う必要がある。しかし、全ての波長に対して光線追跡計算を行うことは、計算量が余りにも膨大となってしまうため現実的には不可能である。そこで、全波長域から所定間隔おきに抽出した波長について光線追跡を行って、色再現を行うことが一般的である。
本実施形態における画像処理装置の構成例について、図2を用いて説明する。図2に示すように本実施形態の画像処理装置は、CPU201、RAM202、外部記憶装置203、汎用インターフェイス(以下、単にI/F)204、ROM205、モニタ206、メインバス207を備える。I/F204は、不図示の光ディスク装置やネットワーク装置等を、メインバス207に接続する。以下、CPU201がROM205に格納された各種ソフトウェア(コンピュータプロラム)を動作させることで実現する各種処理について説明する。
ここで、本実施形態におけるデバイス特性データ309の詳細について、図5を用いて説明する。図5は、対象デバイスであるデジタルカメラにおけるR,G,Bの各カラーフィルタの分光透過率を示すデータであり、この波長域において抽出された特定の波長が、デバイス特性データ309として予めテーブル形式で保持されている。図5の横軸は波長[nm]、縦軸は分光透過率[%]を示し、R,G,Bそれぞれの波長帯の光を透過するフィルタが存在することを示している。本実施形態では、光線追跡法を適用する光線の波長(追跡対象波長)を、このデバイス特性データとして示された分光特性に基づいて決定する。具体的には図5に点線で示すように、R,G,Bそれぞれの透過波長域において、フィルタ透過率(すなわちフィルタ感度)が最も高いピーク部分から所定範囲(第1の波長域)で、追跡対象波長をより細かく抽出する。したがって相対的に、フィルタ感度が低い範囲(第2の波長域)では追跡対象波長の抽出数が少なくなる。
以下、本実施形態の画像処理装置301において、実写映像との合成対象となるシーンのCG画像を作成する画像生成処理について、図4のフローチャートを用いて説明する。
以下、上記S406における追跡対象波長の放射輝度の算出処理について、図6を用いて詳細に説明する。上述したように、追跡対象波長の放射輝度の算出には光線追跡法を用いる。この手法によれば、本実施形態であればデジタルカメラに相当する視点が画角内の各方向から受け取るはずの光線を、仮想的に光源まで追跡することでCG画像の描画を行う。詳細には、視点から描画する各画素の方向へ直線を伸ばし、オブジェクトとの交差の有無を数学的に判定する。そして、反射や透過により発生した光線について、再帰的に探索を繰り返し、光源と交差した場合に計算を終了する。すなわち本実施形態では、図6のフローチャートに示す処理を再帰的に実行することで複数の光線(発射光線)を追跡し、光線ごとに算出した放射輝度の平均により、対象画素における追跡対象波長の放射輝度を算出する。
一方、光線が光源以外のオブジェクトと交差している場合にはS604に移行し、まず、光線が交差したオブジェクトの分光特性(分光反射特性および分光透過特性)を、オブジェクトデータ308から取得する。
Pt(λt)=P0(λi)*ft(x,ωi,λt,ωt) …(4)
ここで、オブジェクトの反射特性および透過特性について説明する。一般に、オブジェクトの反射特性は双方向反射率分布関数(BRDF:Bidirectional Reflectance Distribution Function)frで表される。オブジェクト上の位置xにおいて、ある方向ωiから入射する光の波長をλi、強度をLiとし、ある方向ωrに反射する光の波長をλr、強度をdLrとすると、反射特性frは以下の(5)式で示される。
一般に、反射光の強度分布はオブジェクトの表面形状に依存し、オブジェクト表面が平滑なほど、鏡面反射方向すなわちωi=ωr方向の反射強度が高くなり、それ以外の拡散反射方向への反射強度は小さくなる。
一般に、透過光の強度分布は分光屈折率に依存するため、ωtが上記式(1)を満たす場合に、透過強度が最大になる。尚、オブジェクトの透過特性ftの取得方法としても、オブジェクトデータ308以外の、例えば外部記憶装置203等に記憶されているデータを入力しても良い。また、透過特性ftのデータ形式も、オブジェクトへの光の入射角と屈折角に対応した透過率が得られれば、任意であって良い。例えば、上記(4)式のように一意の関数として入力しても良いし、ωi=ωr=0°の透過特性をωtが(1)式の屈折角θに等しい場合に適用し、それ以外の透過は別途LUTにする等、分割して入力しても良い。
以上、S406では図6に示す処理を再帰的に実行することによって、対象画素における追跡対象波長λの単色光線を追跡し、その放射輝度Ex(λ)を算出する。本実施形態では、上述したようにこの放射輝度算出処理をデバイス特性データ309が保持する各波長について行うことで、波長λごとの分光放射輝度Ex(λ)を取得する。
以下、上記S407における画素ごとの色信号値の算出処理について、図7を用いて詳細に説明する。尚、本実施形態では最終的にsRGB形式の色信号値を出力するとして説明するが、Adobe RGB等の他形式による色信号値であっても構わない。
。
以下、本発明に係る第2実施形態について、特に第1実施形態と異なる個所について説明する。第2実施形態は、上述した第1実施形態に対し、図3に示したデバイス特性データ入力部302の動作、および、デバイス特性データ309の内容が異なる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- 任意のシーンについてのコンピュータグラフィックス画像を、光線追跡法によって生成する画像処理装置であって、
デバイスの分光特性を示すデバイス特性データを入力するデバイス特性データ入力手段と、
前記シーン内におけるオブジェクトの情報を示すオブジェクトデータを入力するオブジェクトデータ入力手段と、
前記デバイス特性データに基づき、前記分光特性を特徴づける波長を追跡対象波長として決定する波長決定手段と、
前記オブジェクトデータに基づいて前記追跡対象波長の光線に対する光線追跡を行うことによって、前記シーンにおける画素ごとの分光放射輝度を算出する光線追跡手段と、
前記画素ごとの分光放射輝度を色信号に変換して前記コンピュータグラフィックス画像を生成する色変換手段と、
を有することを特徴とする画像処理装置。 - 前記デバイス特性データは、前記デバイスが備えるカラーフィルタの分光特性を示し、
前記波長決定手段は、前記カラーフィルタの分光特性において、フィルタ透過率がピークとなる波長を中心とした所定範囲の第1の波長域から、前記追跡対象波長を抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記波長決定手段は、前記カラーフィルタの分光特性において、フィルタ透過率の変化が所定の閾値以上である第1の波長域から、前記追跡対象波長を抽出することを特徴とする請求項2に記載の画像処理装置。
- 前記波長決定手段は、前記第1の波長域において、前記追跡対象波長を等間隔で抽出することを特徴とする請求項2または3に記載の画像処理装置。
- 前記波長決定手段は、該第1の波長域とは異なる第2の波長域において、該第1の波長域における前記追跡対象波長の抽出間隔よりも大きな間隔で、前記追跡対象波長を抽出することを特徴とする請求項4に記載の画像処理装置。
- 前記デバイスは、前記シーンと合成する実写映像を撮影する撮像装置であることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記デバイスは、前記コンピュータグラフィックス画像を表示するディスプレイであることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記オブジェクトデータは、前記シーン内におけるオブジェクトの位置および大きさ、分光反射特性および分光透過特性の情報を含むことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- デバイス特性データ入力手段、オブジェクトデータ入力手段、波長決定手段、光線追跡手段、および色変換手段、を有し、任意のシーンについてのコンピュータグラフィックス画像を、光線追跡法によって生成する画像処理装置における画像処理方法であって、
前記デバイス特性データ入力手段が、デバイスの分光特性を示すデバイス特性データを入力し、
前記オブジェクトデータ入力手段が、前記シーン内におけるオブジェクトの情報を示すオブジェクトデータを入力し、
前記波長決定手段が、前記デバイス特性データに基づき、前記分光特性を特徴づける波長を追跡対象波長として決定し、
前記光線追跡手段が、前記オブジェクトデータに基づいて前記追跡対象波長の光線に対する光線追跡を行うことによって、前記シーンにおける画素ごとの分光放射輝度を算出し、
前記色変換手段が、前記画素ごとの分光放射輝度を色信号に変換して前記コンピュータグラフィックス画像を生成する
ことを特徴とする画像処理方法。 - コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至8のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011157124A JP5808180B2 (ja) | 2011-07-15 | 2011-07-15 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011157124A JP5808180B2 (ja) | 2011-07-15 | 2011-07-15 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013025404A JP2013025404A (ja) | 2013-02-04 |
JP5808180B2 true JP5808180B2 (ja) | 2015-11-10 |
Family
ID=47783720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011157124A Active JP5808180B2 (ja) | 2011-07-15 | 2011-07-15 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5808180B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4217100B2 (ja) * | 2003-04-17 | 2009-01-28 | 本田技研工業株式会社 | 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム |
JP2005181038A (ja) * | 2003-12-18 | 2005-07-07 | Olympus Corp | 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法 |
-
2011
- 2011-07-15 JP JP2011157124A patent/JP5808180B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013025404A (ja) | 2013-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017154705A1 (ja) | 撮像装置、画像処理装置、画像処理プログラム、データ構造、及び撮像システム | |
US9558580B2 (en) | Image processing apparatus and method therefor | |
US8988449B2 (en) | Image processing apparatus and image processing method | |
WO2016081118A1 (en) | Measuring accuracy of image based depth sensing systems | |
JP5615041B2 (ja) | 画像処理装置、画像処理方法 | |
US11967094B2 (en) | Detecting device, information processing device, detecting method, and information processing program | |
CN110889426A (zh) | 三维表达体生成系统 | |
JP2013182417A (ja) | 画像処理装置および画像処理方法 | |
JP2016071733A (ja) | 画像処理装置および画像処理方法 | |
EP2866432B1 (en) | Automatic image compositing device | |
JP5808180B2 (ja) | 画像処理装置および画像処理方法 | |
JP5474113B2 (ja) | 画像処理装置および画像処理方法 | |
US8704890B2 (en) | Inspection apparatus and measuring method | |
US11302073B2 (en) | Method for texturing a 3D model | |
JP4615430B2 (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
RU2705423C1 (ru) | Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона | |
WO2019198446A1 (ja) | 検出装置、検出方法、情報処理装置、及び情報処理プログラム | |
JP4888023B2 (ja) | 物体の反射特性データの作成方法および作成装置 | |
JP6787389B2 (ja) | 検出装置、検出システム、検出方法、情報処理装置、及び処理プログラム | |
JP2009217174A (ja) | 映像表示システムの調整装置、調整方法、幾何情報取得方法、及びプログラム | |
KR101665409B1 (ko) | 레티넥스 모델 기반 영상 신호 분리 장치 및 그 방법 | |
CN115115766B (zh) | 多光谱场景数据生成方法及装置 | |
JP7421607B2 (ja) | 画像処理装置およびその方法 | |
CN105282394A (zh) | 图像处理装置和图像处理方法 | |
JP6103767B2 (ja) | 画像処理装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150529 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150908 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5808180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |