JP5762015B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP5762015B2 JP5762015B2 JP2011015705A JP2011015705A JP5762015B2 JP 5762015 B2 JP5762015 B2 JP 5762015B2 JP 2011015705 A JP2011015705 A JP 2011015705A JP 2011015705 A JP2011015705 A JP 2011015705A JP 5762015 B2 JP5762015 B2 JP 5762015B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- image processing
- environment map
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Controls And Circuits For Display Device (AREA)
Description
表示手段と撮像手段とを有する画像表示装置のための処理を行う画像処理装置であって、
オブジェクトの反射特性を含むオブジェクトデータを入力する入力手段と、
前記撮像手段により撮像された画像データに基づいて、観察者の観察位置を示す観察位置データと前記撮像手段の周辺の光源を含む環境マップとを取得する取得手段と、
前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の光量を、前記環境マップの各位置から前記オブジェクトへの光の入射角と前記オブジェクトから前記観察位置への光の反射角とに基づいて前記オブジェクトデータを参照して取得し、かつ前記環境マップの各位置について取得した光量を積算することにより、前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の画像を示す画像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。
以下、本発明に係る一実施例である実施例1について、図面を参照して詳細に説明する。本実施例においては、上述した光沢成分、干渉色、及び構造色などに起因する色の変化が、表示装置上で再現される(以下、偏角色再現と呼ぶ)。
本実施例ではオブジェクトデータは、各ピクセルのRGB各色について、以下の関連付け情報を示す。画像表示装置101から画像表示装置101の外部に存在する光源へと向かう第1の方向と、画像表示装置101から画像表示装置101の観察者へと向かう第2の方向と、光源から表示装置へと照射される光の照度値と、輝度値と、の間の関連付けである。具体的には本実施例においては、偏角色再現を行うために、各ピクセルについて第1の方向(光の入射方向)と第2の方向(光の出射方向)とに応じた反射特性(以下、偏角反射特性)を示す平面画像データを用いる。
図4は本実施例において説明のために使用するXYZ軸の向きを示した図である。本実施例ではイメージセンサ104の位置を原点とし、イメージセンサ104の光学軸(画像表示装置101の表面に対して垂直な方向)をZ軸とする。また、イメージセンサ104が向いている方向をZ軸正方向とする。また、イメージセンサ104と表示部102の中心とを結んだ直線をY軸とし、イメージセンサ側をY軸正方向とする。さらにZ軸およびY軸と垂直な軸をX軸とし、Y軸正方向からみて時計回りにある方向をX軸正方向とする。表示部102はZ=0となるXY平面上に位置する。
続いて、画像処理アプリケーション301において実施される画像処理について説明する。図5は本実施例における画像処理の流れを示したフローチャートである。もっとも、並列に実行可能なステップは並列に実行されてもよいし、逆の順序で実行されてもよい。
図10は、ステップS505における偏角色再現画像を生成する処理の詳細を示すフローチャートである。ステップS1001でレンダリング部306は、オブジェクトの位置を決定し、仮想空間内にオブジェクトを配置する。本実施例において仮想空間は、上述の現実空間と座標系を共有する。すなわち、仮想空間のXYZ軸は、上述したイメージセンサ104を原点とする現実空間のXYZ軸と一致する。
O(x,y) = O0 − P(x,y) …(1)
I(x,y) = I0 − P(x,y) …(2)
(表示部およびUI部について)
実施例1では、表示部102およびUI部103として、タッチパネル機能付きカラー液晶ディスプレイを使用した。しかしながら、本発明を構成する上で表示部102とUI部103が一体化されている必要はない。また、表示部102とUI部103とは異なる装置を用いて実装することもできる。例えばUI部103として、各種のボタン又はポインティングデバイスを用いてもよい。また、通信部108に接続された外部入力デバイスを、UI部103として使用してもよい。
実施例1では、イメージセンサ104は、表示部102の表示面側を撮影した。しかしながらイメージセンサ104の撮像系の光学軸は、正確に表示部102の法線方向になくてもよい。またイメージセンサ104は画像表示装置101に固定されている必要はなく、画像表示装置101に対して可動であってもよいし、画像表示装置101から分離可能であってもよい。
オブジェクトデータの形式は、上述の偏角反射データには限定されない。例えば、表示部102又は画像処理アプリケーション301の性能および処理形態に応じて、より簡略化されたデータをオブジェクトデータとして用いてもよいし、より詳細なデータをオブジェクトデータとして用いてもよい。例えばオブジェクトデータは偏角反射を表現可能な関数そのものであっても、関数の係数であってもよい。また例えばオブジェクトデータは、オブジェクトの拡散反射特性と鏡面反射特性を個別に記録するものであってもよく、これらの特性は個別にモデル化されていてもよい。またオブジェクトデータは、角度ごとの分光反射率データを記録した分光偏角反射データであってもよい。
観察者の位置を取得する方法は、顔検出に限られない。任意の手法を用いて、画像表示装置と観察者との位置関係を取得しうる。例えば、観察者が頭部にマーカーを装着してもよい。このマーカーは、画像処理によって識別可能であってもよいし、他の位置検出方法によって識別可能であってもよい。この場合、マーカーを検出することにより、観察者の位置を取得することができる。あるいは、画像表示装置101は複数のイメージセンサを備えていてもよい。この場合、視差を用いて観察者の位置を算出することができる。
上述の撮像入射光マップ801の形状は平面には限られない。また、拡張入射光マップ901の形状も、直方体には限られない。例えば撮像入射光マップ801は円形であってもよく、拡張入射光マップ901はこの撮像入射光マップ801を上底面の一部として有する円柱状であってもよい。また、イメージセンサ104が魚眼レンズを備えてもよい。この場合、拡張入射光マップ901は表示部102の表面側を覆う半球状であってもよく、拡張入射光マップ901の一部または全部が撮像入射光マップ801であってもよい。
実施例1では、表示部102の表面にはノングレア処理が施されている。しかしながら、表面処理によって外光の反射を完全に抑えることは困難である。そのため、表示画像に適切な画像補正を行うことにより、外光の反射を相殺してもよい。このためには例えば、予め取得された表示部102表面のBRDF又は偏角反射データを用いることができる。この場合レンダリング部306は、拡張入射光マップ901からの入射光に対する、表示部102表面での反射光量を算出しうる。そして出力部307は、算出された反射光量を相殺するような画像補正を、表示部102に表示されるデータに対して行ってもよい。
実施例1では、図1に示される画像表示装置101が処理を行った。しかしながら、本発明は他の装置を用いて実現することも可能である。例えば、CPUとメモリとを備える一般的なコンピュータを、実施例1の画像表示装置101として用いることもできる。また実施例1においては、画像表示装置101上で動作する画像処理アプリケーション301が処理を行うものとして説明した。しかしながら、実施例1に示した処理は、専用の装置を用いて実現することもできる。このような専用の装置は例えば、画像処理アプリケーション301の論理構成302〜307のそれぞれを実現する、1以上のハードウェア要素を備えてもよい。また、本発明に係る画像処理装置は、複数の機器から構成されるシステムであってもよい。
Claims (14)
- 表示手段と撮像手段とを有する画像表示装置のための処理を行う画像処理装置であって、
オブジェクトの反射特性を含むオブジェクトデータを入力する入力手段と、
前記撮像手段により撮像された画像データに基づいて、観察者の観察位置を示す観察位置データと前記撮像手段の周辺の光源を含む環境マップとを取得する取得手段と、
前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の光量を、前記環境マップの各位置から前記オブジェクトへの光の入射角と前記オブジェクトから前記観察位置への光の反射角とに基づいて前記オブジェクトデータを参照して取得し、かつ前記環境マップの各位置について取得した光量を積算することにより、前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の画像を示す画像データを生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 画像データを撮像する撮像手段と、
オブジェクトの反射特性を含むオブジェクトデータを入力する入力手段と、
前記撮像手段により撮像された画像データに基づいて、観察者の観察位置を示す観察位置データと前記撮像手段の周辺の光源を含む環境マップとを取得する取得手段と、
前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の光量を、前記環境マップの各位置から前記オブジェクトへの光の入射角と前記オブジェクトから前記観察位置への光の反射角とに基づいて前記オブジェクトデータを参照して取得し、かつ前記環境マップの各位置について取得した光量を積算することにより、前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の画像を示す画像データを生成する生成手段と、
前記生成手段により生成された画像データを表示する表示手段と、
を備えることを特徴とする画像処理装置。 - 前記反射特性は、光の入射角度に応じた反射率を示す情報を含むことを特徴とする、請求項1又は2に記載の画像処理装置。
- 前記観察者の観察位置を示す観察位置データは、顔検出により決定されることを特徴とする、請求項1乃至3の何れか1項に記載の画像処理装置。
- 前記顔検出において複数の顔が検出された場合、最も大きな顔に基づいて前記観察者の観察位置を示す観察位置データが決定されることを特徴とする、請求項4に記載の画像処理装置。
- 前記環境マップから前記顔検出により検出された顔を取り除く手段をさらに備えることを特徴とする、請求項4又は5に記載の画像処理装置。
- 前記環境マップにおいては、前記表示手段に対応する平面から所定距離離れて、前記撮像手段により撮像された画像データが配置されていることを特徴とする、請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記環境マップは、前記撮像手段の画角内の光源に加えて、前記撮像手段の画角外の光源を含んでいることを特徴とする、請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記観察者の観察位置に基づいて、前記表示手段の偏角特性を補償するように前記画像データに対して補正処理を行う手段をさらに備えることを特徴とする、請求項1乃至8の何れか1項に記載の画像処理装置。
- 前記オブジェクトデータは、前記光源の強度値及び方向と前記観察位置の方向と前記画像の輝度値との関係を示すことを特徴とする、請求項1乃至9の何れか1項に記載の画像処理装置。
- 前記オブジェクトデータは、前記光源の強度値と前記画像の輝度値との比を示すことを特徴とする、請求項10に記載の画像処理装置。
- 前記環境マップは、前記光源の強度値及び方向を示すことを特徴とする、請求項1乃至11の何れか1項に記載の画像処理装置。
- コンピュータを、請求項1乃至12の何れか1項に記載の画像処理装置の入力手段、取得手段、及び生成手段として機能させるためのプログラム。
- 表示手段と撮像手段とを有する画像表示装置のための処理を行う画像処理装置が行う画像処理方法であって、
オブジェクトの反射特性を含むオブジェクトデータを入力する入力工程と、
前記撮像手段により撮像された画像データに基づいて、観察者の観察位置を示す観察位置データと前記撮像手段の周辺の光源を含む環境マップとを取得する取得工程と、
前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の光量を、前記環境マップの各位置から前記オブジェクトへの光の入射角と前記オブジェクトから前記観察位置への光の反射角とに基づいて前記オブジェクトデータを参照して取得し、かつ前記環境マップの各位置について取得した光量を積算することにより、前記オブジェクトにおいて反射した前記環境マップの各位置からの光を前記観察位置において観察した場合の画像を示す画像データを生成する生成工程と、
を備えることを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015705A JP5762015B2 (ja) | 2011-01-27 | 2011-01-27 | 画像処理装置、画像処理方法、及びプログラム |
US13/348,300 US8878786B2 (en) | 2011-01-27 | 2012-01-11 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015705A JP5762015B2 (ja) | 2011-01-27 | 2011-01-27 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012155624A JP2012155624A (ja) | 2012-08-16 |
JP2012155624A5 JP2012155624A5 (ja) | 2014-03-13 |
JP5762015B2 true JP5762015B2 (ja) | 2015-08-12 |
Family
ID=46576938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011015705A Active JP5762015B2 (ja) | 2011-01-27 | 2011-01-27 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8878786B2 (ja) |
JP (1) | JP5762015B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140176548A1 (en) * | 2012-12-21 | 2014-06-26 | Nvidia Corporation | Facial image enhancement for video communication |
US10373344B2 (en) * | 2014-04-23 | 2019-08-06 | Sony Corporation | Image processing apparatus and method for adjusting intensity of a reflective property of an object in a displayed image |
WO2016181804A1 (ja) * | 2015-05-08 | 2016-11-17 | ソニー株式会社 | 画像処理装置および方法 |
US10395421B2 (en) | 2015-07-21 | 2019-08-27 | Dolby Laboratories Licensing Corporation | Surround ambient light sensing, processing and adjustment |
WO2017154046A1 (ja) * | 2016-03-10 | 2017-09-14 | パナソニックIpマネジメント株式会社 | 表示装置 |
US10354573B2 (en) * | 2017-07-25 | 2019-07-16 | Lenovo (Singapore) Pte Ltd | Screen color calibration |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3052681B2 (ja) * | 1993-08-06 | 2000-06-19 | 松下電器産業株式会社 | 3次元動画像生成装置 |
US6064749A (en) * | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
US6018350A (en) * | 1996-10-29 | 2000-01-25 | Real 3D, Inc. | Illumination and shadow simulation in a computer graphics/imaging system |
JPH10255069A (ja) * | 1997-03-10 | 1998-09-25 | Canon Inc | 画像処理システム |
US6798390B1 (en) * | 1997-08-29 | 2004-09-28 | Canon Kabushiki Kaisha | 3D image reconstructing apparatus and 3D object inputting apparatus |
EP1074943A3 (en) * | 1999-08-06 | 2004-03-24 | Canon Kabushiki Kaisha | Image processing method and apparatus |
US7123257B2 (en) * | 2001-07-31 | 2006-10-17 | Canon Kabushiki Kaisha | Coloring information adding method and apparatus, and image processing method and apparatus |
JP2003099801A (ja) | 2001-09-25 | 2003-04-04 | Toyota Motor Corp | 三次元モデルの画像表示方法、装置、プログラム及び記録媒体 |
JP2004252603A (ja) * | 2003-02-18 | 2004-09-09 | Canon Inc | 三次元データ処理方法 |
EP1679689B1 (en) * | 2003-10-28 | 2014-01-01 | Panasonic Corporation | Image display device and image display method |
JP2006106950A (ja) | 2004-10-01 | 2006-04-20 | Tokyo Univ Of Science | 画像表示装置、画像表示方法、及びプログラム |
JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP2007052304A (ja) * | 2005-08-19 | 2007-03-01 | Mitsubishi Electric Corp | 映像表示システム |
JP4839760B2 (ja) * | 2005-09-28 | 2011-12-21 | 大日本印刷株式会社 | 画像生成装置、画像生成方法等 |
JP4710016B2 (ja) | 2006-03-01 | 2011-06-29 | 国立大学法人神戸大学 | ディスプレイ上での光沢表現方法 |
JP5517685B2 (ja) * | 2009-04-14 | 2014-06-11 | キヤノン株式会社 | 画像処理装置および方法 |
JP4831223B2 (ja) * | 2009-09-29 | 2011-12-07 | カシオ計算機株式会社 | 画像表示装置及び方法並びにプログラム |
US8371693B2 (en) * | 2010-03-30 | 2013-02-12 | National University Corporation Shizuoka University | Autism diagnosis support apparatus |
-
2011
- 2011-01-27 JP JP2011015705A patent/JP5762015B2/ja active Active
-
2012
- 2012-01-11 US US13/348,300 patent/US8878786B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8878786B2 (en) | 2014-11-04 |
JP2012155624A (ja) | 2012-08-16 |
US20120194433A1 (en) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7007348B2 (ja) | 画像処理装置 | |
US9459820B2 (en) | Display processing apparatus, display processing method, and computer program product | |
US11189043B2 (en) | Image reconstruction for virtual 3D | |
JP5762015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9865032B2 (en) | Focal length warping | |
US10237531B2 (en) | Discontinuity-aware reprojection | |
CN110738736B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP2013003848A (ja) | 仮想物体表示装置 | |
US20160063765A1 (en) | Image processing apparatus and image processing method | |
KR101713875B1 (ko) | 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 | |
US20230334617A1 (en) | Camera-based Transparent Display | |
JP2020173529A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6028527B2 (ja) | 表示処理装置、表示処理方法、及びプログラム | |
EP3189493B1 (en) | Depth map based perspective correction in digital photos | |
JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
US20230177744A1 (en) | Augmented reality system and method for substrates, coated articles, insulating glass units, and/or the like | |
Law et al. | Projector placement planning for high quality visualizations on real-world colored objects | |
US11636578B1 (en) | Partial image completion | |
JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20190056694A (ko) | 디지털 소묘 요소가 태깅된 2.5차원 오브젝트를 활용한 가상 전시 공간 제공 방법 | |
JP2015045958A (ja) | 表示処理装置、表示処理方法、及びプログラム | |
JP2014224718A (ja) | 画像処理装置および画像処理方法 | |
JP2019082955A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Jiang et al. | Project report: Light source estimation using kinect | |
JP2006163545A (ja) | 3次元データ処理プログラム、3次元データ処理システム及び3次元データ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150609 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5762015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |