JPWO2018211654A1 - 情報処理装置および法線情報取得方法 - Google Patents

情報処理装置および法線情報取得方法 Download PDF

Info

Publication number
JPWO2018211654A1
JPWO2018211654A1 JP2019518693A JP2019518693A JPWO2018211654A1 JP WO2018211654 A1 JPWO2018211654 A1 JP WO2018211654A1 JP 2019518693 A JP2019518693 A JP 2019518693A JP 2019518693 A JP2019518693 A JP 2019518693A JP WO2018211654 A1 JPWO2018211654 A1 JP WO2018211654A1
Authority
JP
Japan
Prior art keywords
image
normal
polarization
information processing
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019518693A
Other languages
English (en)
Other versions
JP6783928B2 (ja
Inventor
英彦 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2018211654A1 publication Critical patent/JPWO2018211654A1/ja
Application granted granted Critical
Publication of JP6783928B2 publication Critical patent/JP6783928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Abstract

撮影画像取得部５０は、撮像装置１２から対象物を撮影した偏光画像のデータを取得し、画像データ記憶部５２に格納する。法線情報取得部５４の領域分割部５８は、偏光度や輝度など所定の基準に基づき画像平面を領域分割する。法線算出部６０は、領域ごとに鏡面反射モデルまたは拡散反射モデルのどちらかを適用して法線分布を求める。統合部６２は領域ごとの法線分布を統合し画像全体での分布とする。出力データ生成部５６は、法線分布を用いて情報処理を行い、その結果を出力する。

Description

本発明は、撮影画像を利用して対象物の状態を認識する情報処理装置および対象物認識方法に関する。
ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理に利用したりする技術は、小型の携帯端末からレジャー施設まで、規模によらず幅広い分野で利用されている。
欧州特許出願公開第０９９９５１８号明細書
対象物の位置や姿勢を撮影画像から取得する画像解析においては、対象物の外観や位置、撮影環境などに起因して処理の精度が不安定になりやすい、という課題がある。例えば撮影画像から対象物の像を抽出したりマッチングしたりするのに特徴点を利用する一般的な技術では、元来対象物に特徴点が少なかったり、対象物がカメラから離れた位置に存在し見かけ上のサイズが小さかったりすることで処理精度が悪化する。処理精度に頑健性を求めるほど、空間的、時間的に処理の粒度を細かくしたり、アルゴリズムが複雑化したりして処理の負荷が増加する。
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて効率的かつ精度よく対象物の状態を取得できる技術を提供することにある。
本発明のある態様は情報処理装置に関する。この情報処理装置は、偏光画像から被写体表面の法線に係る情報を取得して情報処理を行う情報処理装置であって、画像平面を複数の領域に分割し、鏡面反射モデルおよび拡散反射モデルのどちらかを割り当てる領域分割部と、偏光画像における分割された領域ごとに、割り当てられたモデルを適用して法線分布を求める法線算出部と、領域ごとの法線分布を統合し画像平面全体における法線分布を生成して出力する統合部と、を備えることを特徴とする。
本発明のさらに別の態様は法線情報取得方法に関する。この法線情報取得方法は、偏光画像から被写体表面の法線に係る情報を取得する情報処理装置が、画像平面を複数の領域に分割し、鏡面反射モデルおよび拡散反射モデルのどちらかを割り当てるステップと、偏光画像における分割された領域ごとに、割り当てられたモデルを適用して法線分布を求めるステップと、領域ごとの法線分布を統合し画像平面全体における法線分布を生成して出力するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、撮影画像を用いて効率的かつ精度よく対象物の状態を取得できる。
本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態における撮像装置が備える撮像素子の構造例を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態において拡散反射モデルの適用が有効に働く例を説明するための図である。 画像全体に鏡面反射モデルを適用して取得した法線分布を、天井照明と正対照明で比較する図である。 図６の（ｂ）で用いた偏光画像に拡散反射モデルを適用した場合の法線画像を示す図である。 図７の法線画像に対応する方位角画像を示す図である。 本実施の形態において、適用するモデルを切り替えることによる効果を説明するための図である。 本実施の形態における領域分割の基準として輝度を用いる場合について説明するための図である。 入射角に対する偏光度の変化を鏡面反射と拡散反射で比較する図である。 本実施の形態で得られる偏光度画像を例示する図である。 本実施の形態において、偏光度に基づき領域分割することにより法線情報を得る様子を例示する図である。 本実施の形態において被写空間に拡散体がある場合の各種画像を例示する図である。 本実施の形態において偏光度に基づき領域分割した結果と、領域ごとに適用するモデルを切り替えて求めた法線画像を示す図である。 本実施の形態の情報処理装置が、偏光画像を用いて被写体の法線情報を取得し、出力データを生成、出力する処理手順を示すフローチャートである。
図１は本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体８を所定のフレームレートで撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。
情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。
このようなシステムにおいて情報処理装置１０は、撮像装置１２が所定のフレームレートで撮影した画像のデータを順次取得し、それを解析することにより、被写体８の表面の法線分布を取得する。そして法線分布に基づき被写体の位置や姿勢、形状といった状態情報を取得する。さらにその結果に対応するように情報処理を実施し、表示画像や音声のデータを生成して表示装置１６に出力する。ここで情報処理装置１０が法線分布に基づき取得する被写体８の状態情報や、それに対応させて実施する情報処理の内容は特に限定されない。
例えば被写体８に含まれる所定の対象物をゲームのコントローラとし、ユーザが把持して動かすことでゲームに対する操作がなされるようにしてもよい。この場合、ゲーム世界を表す画像がコントローラの動きに応じて変化したり、ユーザを写した撮影画像上でコントローラが仮想オブジェクトに置換された画像を表示させたりすることができる。あるいはヘッドマウントディスプレイを装着したユーザの視線に対応する視野で、ユーザの手とインタラクションする仮想オブジェクトを表した画像を当該ヘッドマウントディスプレイに表示させることもできる。
このように法線分布を利用してなされる情報処理については様々に考えられるため、以後は、撮影画像から被写体８の法線分布を効率的かつ精度よく特定する手法に主眼を置き説明する。この目的において本実施の形態における撮像装置１２は、少なくとも被写空間の偏光画像を撮影する。
図２は、撮像装置１２が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。
透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。
同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。
各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。
同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の主軸角度とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などにも開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは一般的なカメラの前面に主軸角度が変更可能な偏光板を配置した構造としてもよい。
偏光強度の方位に対する振る舞いが被写体からの光の反射角度に依存することを利用して、偏光子の角度変化に対する偏光画像の輝度の変化に基づき被写体表面の法線を求める手法は一般的に知られており（例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９−５８５３３号公報等参照）、本実施の形態ではそれを適用できる。以下、概要を説明する。
まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θｐｏｌに対し次の式のように変化する。
Figure 2018211654
ここでＩｍａｘ、Ｉｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉｍａｘ、Ｉｍｉｎ、φを求めることができる。そのように求めたＩｍａｘ、Ｉｍｉｎを用いて、次の式により偏光度ρが求められる。
Figure 2018211654
対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉｍａｘを与える主軸角度である。
天頂角θは、鏡面反射の場合の偏光度ρｓ、拡散反射の場合の偏光度ρｄと、それぞれ次のような関係にある。
Figure 2018211654
ここでｎは物体の屈折率である。式２で得られる偏光度ρを式３のρｓ、ρｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐｘ，ｐｙ，ｐｚ）は次のように得られる。
Figure 2018211654
このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θｐｏｌとの関係から当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。ただし上述のとおり、観測された光には鏡面反射成分と拡散反射成分が含まれ、それによって法線ベクトルの算出手法が異なる。また被写体表面の色や材質によって、反射光に含まれる鏡面反射成分と拡散反射成分の割合が異なり、それに応じて偏光特性と被写体の法線との関係が変化する。
そのため従来、観測された偏光を鏡面反射成分と拡散反射成分に分離して評価する手法が様々に研究されてきたが、精度や処理の負荷の観点で課題が多い。そこで本実施の形態では画像平面を適切に領域分割し、領域ごとに鏡面反射モデルと拡散反射モデルのどちらか一方を適用することにより、成分を分離することなく容易に精度の高い法線情報が得られるようにする。
図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
図４は本実施の形態の情報処理装置１０の機能ブロックの構成を示している。図４に示す各機能ブロックは、ハードウェア的には、図３に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮影画像から被写体の法線情報を取得する法線情報取得部５４、および、法線情報に基づき情報処理を実施し、出力すべきデータを生成する出力データ生成部５６を含む。
撮影画像取得部５０は図３の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像など撮影画像のデータを所定のレートで取得する。上述のとおり被写体の法線情報を取得するため、撮影画像取得部５０は少なくとも偏光画像のデータを取得するが、情報処理装置１０が実施する情報処理の内容や表示すべき画像によって、無偏光（自然光）の画像データをさらに取得してよい。画像データ記憶部５２はメインメモリ２６で実現され、撮影画像取得部５０が取得した撮影画像のデータを順次格納する。このとき撮影画像取得部５０は必要に応じて、カラー画像から輝度画像を生成するなど、後段の処理に必要な画像データも生成して格納する。
法線情報取得部５４はＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納された偏光画像のデータを用いて、被写空間に存在する被写体表面の法線情報を所定のレートで取得する。詳細には法線情報取得部５４は、領域分割部５８、法線算出部６０、統合部６２を含む。領域分割部５８は、偏光画像の平面を所定の基準で分割する。定性的には、拡散反射モデルを適用した方が正しい法線が得られる領域を、偏光度や輝度といった間接的な指標を用いて抽出する。
そして当該領域を、拡散反射モデルを適用すべき領域とし、それ以外を、鏡面反射モデルを適用すべき領域とする。一般に、物体表面に吸収され散乱されてなる拡散反射光と比較し、そのような行程を経ない鏡面反射成分は、偏光画像として観測される光の強度が大きい。したがって画像全体にわたって同じモデルを適用する場合は、鏡面反射モデルを適用した方が正しい法線が得られる可能性が高い。
一方、本願発明者は、照明（光源）の位置や被写体の材質によって、明確に拡散反射モデルを適用した方が、精度が高くなる場合があるという知見を得た。したがって、状況に応じてそのような領域と他の領域を分離し、前者に拡散反射モデルを、後者に鏡面反射モデルを適用することにより、照明や材質によらず高精度に法線情報を取得できるようにする。偏光度や輝度を用いてそのような領域を特定する具体例は後に述べる。
法線算出部６０は、分割された領域ごとに拡散反射モデルあるいは鏡面反射モデルを適用して、像として表れている被写体表面の法線情報を、上述のとおり算出する。法線ベクトルを画素ごと、または複数の画素で構成される画素ブロックごとに求めることにより、法線ベクトルの分布が領域ごとに得られる。統合部６２は、領域ごとに異なるモデルで算出された法線ベクトルの分布を統合し、一つの法線ベクトル分布のデータとする。
出力データ生成部５６はＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、法線情報取得部５４が取得した法線情報に基づき所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成する。上述したようにここで実施する情報処理の内容は特に限定されない。例えば撮影画像上に、対象物と接するように仮想オブジェクトを描画する場合、出力データ生成部５６は画像データ記憶部５２からカラー撮影画像のデータを読み出し、対象物の表面状態に対応するようにオブジェクトを描画する。
いずれにしろ出力データ生成部５６は、法線情報取得部５４が取得した法線情報に基づき、被写体に含まれる対象物の位置、姿勢、傾きなど、情報処理に必要な情報を取得する。なお出力データ生成部５６は、撮像装置１２が備えるステレオカメラにより撮影された、左右に視差を有するステレオ画像を用いて対象物の距離を取得するなど、別の手段で対象物の状態を求め、法線情報と相補間的に用いることにより対象物の状態をより精度よく求めてもよい。出力データ生成部５６は、そのようにして生成した表示画像などの出力データを表示装置１６に送信する。
図５は、拡散反射モデルの適用が有効に働く例を説明するための図である。図のように物体表面８２からの光を、撮像装置１２ａ、１２ｂ、１２ｃの３通りの位置で撮影する場合を考える。このとき光源８０から入射し物体表面８２で鏡面反射した光は、法線ベクトル８４を中心に対称な角度で逆方向に反射する。そのため反射する方向に位置する撮像装置１２ｂ、１２ｃには、鏡面反射した光が到達する。結果として撮像装置１２ｂ、１２ｃでは、鏡面反射を捉えた画像が撮影される。
一方、鏡面反射の進行方向に撮像装置がない場合、すなわち法線ベクトル８４を基準として光源８０と同じ側に撮像装置１２ａがある場合、撮影される光の割合は、被写体で散乱された光、すなわち拡散反射した光が優勢となる。つまり法線ベクトル８４に対し光源８０と撮像装置１２が同じ側にあるとき、光源８０からの光が直接当たっている物の撮影画像における像は、拡散反射成分が支配的な光によって形作られる。
このような撮像装置と光源の位置関係は、例えば照明を落とした室内で、撮像装置１２を備えるヘッドマウントディスプレイから照明を当てるときや、撮像装置１２を表示装置１６上に載置し表示装置１６の画面からの光が被写体に当たっているときなど、様々な状況で発生し得る。なお図では微視的な原理を示しているが、大局的には被写体から見て撮像装置１２ａから所定の角度範囲Θに光源８０があるとき、あるいは撮像装置１２ａから所定距離内に光源８０があるとき、その直接光を受ける被写体の像の多くの領域で拡散反射が支配的となる。換言すると、撮像装置１２から近い位置にある光源を利用することにより反射成分を制御できるため、鏡面反射と拡散反射の割合が不明な一般的な照明による画像より高い精度で法線情報が得られる。以後、上記の条件を満たす光源による照明を「正対照明」と呼ぶ。
図６は、画像全体に鏡面反射モデルを適用して取得した法線分布を、天井照明と正対照明で比較している。同図では、式４で表される法線ベクトルの３成分を、（Ｒ，Ｇ，Ｂ）の３要素として表した法線画像を、さらにグレースケールとして表している。（ａ）で示した天井照明の場合、被写体である球体の上半分の面で鏡面反射した光が撮像装置１２に到達するため、鏡面反射モデルを適用することにより、矢印で示すような正確な法線ベクトルが得られる。
法線画像における色は法線ベクトルの３要素で決定するため、本来（ｂ）で示した正対照明の場合でも、（ａ）の場合と同様の色分布で球体が表現されるべきである。ところが（ｂ）の法線画像における球体の色分布は（ａ）の場合と大きく異なっている。例えば（ａ）の法線画像において実線楕円９０ａの位置で表れる色は、（ｂ）の法線画像では実線楕円９２ａの位置で表れる。
（ａ）の法線画像において破線楕円９０ｂの位置で表れる色は、（ｂ）の法線画像では破線楕円９２ｂの位置で表れる。このような誤差は上述のとおり、撮像装置１２側から当てた光が球体表面に直接当たり鏡面反射するとき、その反射光は球体表面の多くの領域で撮像装置１２と逆方向に向かうことに起因する。このような場合に、球体の像の領域については鏡面反射モデルを用いず拡散反射モデルを適用することにより、法線情報の精度を高める。
図７は、図６の（ｂ）で用いた偏光画像に拡散反射モデルを適用した場合の法線画像を示している。拡散反射モデルを適用すると、正対照明が直接当たっている球体表面の法線ベクトルについて、図６の（ａ）で示した天井照明の場合と同様の結果が得られる。例えば図６の（ａ）の法線画像において実線楕円９０ａで表れる色は、図７の法線画像でも同じ位置（実線楕円９４ａ）に表れる。図６の（ａ）の法線画像において破線楕円９０ｂで表れる色は、図７の法線画像でも同じ位置（破線楕円９４ｂ）に表れる。
図８は、図７の法線画像に対応する方位角画像を示している。方位角画像とは、法線の方位角を画素値として表した画像であり、図示する例では、同図右下に示すように、右方向を正とする軸と法線のなす角θ（０≦θ＜１８０°）が小さいほど輝度が小さくなるようなグレースケールで表している。例えば球体の上半分を見ると、右側面に近いほど黒く、左側面に近いほど白くなっており、方位角が正確に求められていることがわかる。
これまでの説明では、撮像装置１２側に光源を有する照明が直接当たっている球体に着目していた。一方、被写空間には当然、当該照明からの直接光でなく、他の物からの反射光や、その他の照明からの反射光により結像する物が含まれる。これらの物については上述のとおりより強度が大きい鏡面反射モデルを適用して法線を求めることにより、高い精度が得られやすい。
図９は、領域によって適用するモデルを切り替えることによる効果を説明するための図である。同図左側の画像１３０ａ、１３０ｂはそれぞれ、正対照明が当たっている球体を含む被写空間の偏光画像に、鏡面反射モデルおよび拡散反射モデルを適用したときの法線画像である。図６〜図８を参照して説明したように、正対照明が当たっている球体１３２ａ、１３２ｂについては、拡散反射モデルを適用した画像１３０ｂの方がより正確な法線情報が得られる。
一方、球体脇の椅子の上面１３４ａ、１３４ｂについては、上向きの法線ベクトルが得られている、鏡面反射モデルを適用した画像１３０ａの方が正確である。このことは、同様に上向きの法線ベクトルが得られている、画像１３０ｂの球体１３２ｂの上面の色との類似性によっても明らかである。すなわち画像１３０ａ、１３０ｂで椅子の上面１３４ａ、１３４ｂの色を比較すると、鏡面反射モデルを適用したときの上面１３４ａの方が、球体１３２ｂの上面に近い色となっている。
椅子の上面に限らずその他の被写体も、上述した原理により鏡面反射モデルを適用することで精度が得られる場合が多い。したがって領域分割部５８は、この例では球体の像の領域とその他の領域で画像平面を分割し、前者に拡散反射モデルを、後者に鏡面反射モデルを割り当てる。そして法線算出部６０は、各モデルを適用して図示するように法線分布を算出する。
なお同図ではどちらのモデルの法線も画像全体に対する分布として表しているが、実際にはモデルごとに割り当てられた領域のみを処理対象とすればよい。統合部６２は、領域ごとに得られた法線分布を合成して、最終結果としての法線画像１３６を生成する。これにより、正対照明が当たっている球体のみならず、視野全体にわたり精度の高い法線情報を得ることができる。
次に領域分割部５８が領域分割に用いる基準を例示する。図１０は、領域分割の基準として輝度を用いる場合について説明するための図である。同図上段の画像１４０はこれまで同様、正対照明が当たっている球体を含む被写空間を撮影したときの輝度画像を示している。上述の通り４５°おきの４方位の偏光画像を取得する態様においては、輝度画像の画素値は、４つの偏光画像における対応する画素の値の平均値によって得られる。ただしカラー画像や輝度画像が撮像装置から別途得られる場合はそれらを用いてもよい。
同図下段のグラフ１４２は、画像１４０のうちＡＡ’の行における輝度の分布を示している。視野中央に球体があり、その中央部分に正対照明が当たっている場合、輝度はその部分をピークとし球体の像の範囲では比較的高い値を保つ。背景など周囲の輝度は球体の像の輝度より小さくなる。正対照明が直接当たっている物とそれ以外の物との輝度の差は、室内の他の照明や環境光と比較して、正対照明の強度が大きいほどより顕著に観測される。そこで輝度に対ししきい値１４４を設定し、それより大きな輝度が得られている画像上の範囲を、正対照明が直接当たっている被写体の像の領域として拡散反射モデルを適用する。
例えば領域分割部５８は、輝度画像１４０の最上の行から順にしきい値判定を繰り返すことにより、輝度がしきい値より大きいか否かで画素を２種類に分ける。これにより拡散反射モデルを適用すべき球の領域１４６を画像平面から抽出できる。設定するしきい値については、実験などにより高い精度で法線が得られる値をあらかじめ求めておいてもよいし、実際の輝度画像における輝度のヒストグラムなどに基づき、撮影画像のフレームごとに求めてもよい。
領域分割の基準に用いる指標の他の例として偏光度がある。図１１は、入射角に対する偏光度の変化を鏡面反射と拡散反射で比較している。物体の屈折率ｎは１．４および１．６としている。（ｂ）に示す拡散反射と比較し、（ａ）に示す鏡面反射は、入射角の大部分の範囲において偏光度が格段に高い。この特性を利用すると、これまで述べた球体のように正対照明が直接当たっている物体からの反射光は、拡散反射成分が支配的なため偏光度が低くなると考えられる。
図１２は実際の偏光度画像を例示している。偏光度画像は、偏光画像から上述のように算出した偏光度を画素値として表した画像であり、図示する例では偏光度が低いほど輝度の低いグレースケールで表している。上述したように正対照明が当たっている球体１５０は、椅子の上面１５２や床などと比べて偏光度が低いことがわかる。
図１３は、偏光度に基づき領域分割することにより法線情報を得る様子を例示している。領域分割部５８は、偏光度画像１６０を取得し、その画素値が所定のしきい値を超えたか否かに基づき画像平面を領域分割する。例えば図１２で示した偏光度画像と同様、偏光度画像１６０においても、中央の球体で偏光度が低く、椅子の上面では偏光度が高いことが輝度値の大小で表されている。その他の領域についても同じ基準で領域を分ける。
すると法線算出部６０は、偏光度が大きい領域については鏡面反射モデルを用い、偏光度が小さい領域については拡散反射モデルを用い、それぞれ法線ベクトルの分布を求める。図では前者の結果を法線画像１６６ａ、後者の結果を法線画像１６６ｂとしている。ただし図９と同様、法線算出部６０は各モデルに割り当てられた領域のみ法線を計算すればよい。これにより法線画像１６６ａでは、椅子の上面１６８ａについて正確な法線が得られ、法線画像１６６ｂでは、球体１６８ｂについて正確な法線が得られる。
次に統合部６２は、両者を合成して最終的な法線画像１６８を生成する。これにより図９の法線画像１３６と同様、画像平面全体において精度の高い法線情報を得ることができる。様々な条件で評価した結果、図１３の場合と同様に、画像全体に渡り高い精度で法線情報が得られることが確認できた。例えば、人の手のように光を拡散しやすい材質の物体（以後、拡散体と呼ぶ）が被写体に含まれている場合、光源の位置によらず同様の基準で拡散反射モデルを適用する領域を決定することにより、法線情報を正確に得ることができる。
図１４は、被写空間に拡散体がある場合の各種画像を例示している。同図左の画像１７０は、画像全体に鏡面反射モデルを適用して生成した法線画像である。画像１７０において表される球１７２ａと拡散体である手１７２ｂの法線ベクトルは、例えば上向きになるべき上面で、それと異なる方向を示しているなど、本来の法線ベクトルとは異なっている。そこで同図右の画像１７４のように偏光度画像を求め、それに基づき分割してなる領域ごとに適用するモデルを切り替える。
画像１７４では球１７６ａ、手１７６ｂのどちらも偏光度が低い。そこでそのような領域を偏光度のしきい値判定により抽出し、拡散反射モデルを適用する。図１５は、偏光度に基づき領域分割した結果と、領域ごとに適用するモデルを切り替えて求めた法線画像を示している。領域分割画像１８０は、偏光度がしきい値以下の領域を黒、しきい値を超える領域を白で表している。図示するように、正対照明が当たっている球体１８２ａや拡散体である手１８２ｂなどが、偏光度が低い領域として抽出され、その他の領域と区別される。
そして偏光度が低い領域について拡散反射モデルを適用して法線を求め、鏡面反射モデルを適用したその他の領域の結果と統合すると、最終的な法線画像１８４が得られる。図示するように図１４の画像１７０と比較し、例えば球体１８６ａや手１８６ｂの法線情報が修正され、画像全体で法線情報の精度を高めることができる。図では手を例示したが人の肌や大理石など様々な拡散体で同様の効果が得られる。
領域分割画像１８０において手１８２ｂの像が正確に得られていることからわかるように、偏光度に基づく領域分割は、目的によらず拡散体の像の高精度な抽出に利用できる。これにより、手など人の部位の動きを追跡し、それに応じて電子ゲームなどの情報処理を進捗させたり、手とインタラクションする仮想オブジェクトを表現したりする処理の精度も向上させることができる。また鏡面反射が少ない布やつや消し材料を用いたコントローラを利用し、その動きに応じた情報処理を精度よく行える。この場合、出力データ生成部５６は、領域分割部５８から領域分割した結果を直接取得し、それを用いて適宜情報処理を実施すればよい。
次に、以上述べた構成によって実現される情報処理装置の動作を説明する。図１６は、本実施の形態の情報処理装置１０が、偏光画像を用いて被写体の法線情報を取得し、出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０に対しユーザが処理の開始を要求し、それに応じて撮像装置１２が対象物の撮影を開始したときに開始される。
まず撮影画像取得部５０は、撮像装置１２から撮影画像のデータを取得する（Ｓ１０）。当該データには複数の主軸角度に対応する偏光画像のほか、自然光の画像が含まれていてよい。自然光の画像はステレオカメラが撮影した左右の視点からのステレオ画像でもよい。あるいはステレオ画像のうち少なくともどちらかが偏光画像であってもよい。撮像装置１２または情報処理装置１０が、偏光画像同士を演算することにより自然光の画像を作り出すようにしてもよい。
次に法線情報取得部５４の領域分割部５８は、式２を用いて画像全体に対し偏光度を算出する（Ｓ１２）。偏光度の算出は、画素単位でもよいしそれより大きい単位でもよい。そして偏光度が所定のしきい値以下か否かを判定していくことで画素を２種類に分ける（Ｓ１４）。結果として図１５の領域分割画像１８０のような２種類の領域を示す２値画像が得られる。領域分割部５８は偏光度がしきい値以下の領域には拡散反射モデルを、それ以外の領域には鏡面反射モデルを割り当てる。ただし上述のとおり、領域分割の基準として輝度を用いることもできる。
なお本実施の形態は、照明の当たり具合や材質が同じか否か、という観点で領域を分割する。つまり分割されてなる領域は物の像と同等の大きさを有することになる。これを踏まえ、ローパスフィルタにより偏光度画像のうち高周波数成分を逓減させたうえでしきい値判定を実施してもよい。これによりノイズなどの影響を抑え、むしろ高い精度で適切に領域を分けることができる。領域分割に用いるしきい値は、実験などにより高い精度が得られる値をあらかじめ求めておいてもよいし、偏光度のヒストグラムなどに基づきＳ１４で決定してもよい。
次に法線算出部６０は、各領域に対し割り当てられたモデルを適用し、それぞれについて法線分布を取得する（Ｓ１６）。偏光度はＳ１２で求められたものを利用し、適用するモデルに応じて、式３、式４等に基づき法線ベクトルの分布が求められる。統合部６２は分割された領域を元の画像として合成することにより、領域ごとの法線ベクトル分布を統合した法線データを生成する（Ｓ１８）。
出力データ生成部５６は、法線データに基づきゲームを進捗させたり撮影画像上に仮想オブジェクトを描画したりして、表示画像や音声の出力データを生成し、表示装置１６に出力する（Ｓ２０）。ここでなされる処理は上述のとおり特に限定されない。また、偏光度のしきい値判定により手など拡散体の像を抽出し、その結果を直接、情報処理に用いる場合、Ｓ１６、Ｓ１８の処理は省略してよい。
ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ２２のＮ）、後続の画像フレームに対しＳ１０〜Ｓ２０の処理を繰り返す。これにより、被写体の状態に応じたゲーム画面や情報処理の結果が動画として表示される。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ２２のＹ）。
以上述べた本実施の形態によれば、偏光画像を用いて被写体表面の法線を求める技術において、所定の基準で画像平面を領域に分割したうえで、適用するモデルを領域単位で切り替える。例えば、拡散反射と鏡面反射で偏光度のレンジが異なり、前者は後者より格段に小さい場合が多いことを利用し、偏光度が所定のしきい値以下の領域には拡散反射モデルを適用し、しきい値より大きい領域には鏡面反射モデルを適用する。あるいは正対照明の直接光が当たっている物体からの反射光は拡散反射成分の割合が多いことを利用し、輝度が所定のしきい値より大きい領域には拡散反射モデルを適用し、それ以外の領域には鏡面反射モデルを適用する。
このようにすることで、材質や照明の当たり方など様々な要因で拡散反射が支配的な領域を容易に判別でき、拡散反射モデルにより正確な法線を求められる。また鏡面反射は拡散反射より強度が高いことが多いため、その他の領域については鏡面反射モデルを適用することにより、拡散反射成分が含まれていても法線情報の精度が落ちにくい。結果として、画像全体で法線情報の精度を高めることができる。
撮像装置側からの照明が当たっている被写体の場合、材質によらず拡散反射の光が優位に撮像装置に到達する。したがってこのような場合は特に、偏光度や輝度を用いてそのような領域を抽出し、拡散反射モデルを適用することにより、高精度に法線情報を取得できる。また、元来鏡面反射が生じにくい材質を有する人の肌や大理石などの拡散体については、光源の位置によらず拡散反射が優位となるため、上述の原理により偏光度がしきい値以下といった基準で像の領域を正確に抽出できる。抽出した領域の情報は、拡散反射モデルの適用対象として利用できるほか、そのまま情報処理や画像描画にも利用できる。結果として容易な処理で被写体の情報を高精度に取得し、各種情報処理に活かすことができる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば本実施の形態では特に、正対照明が当たっている被写体について、正確に法線情報が得られることを述べた。これを応用し、被写体の状態が正しく認識されているか否かを確かめたり必要に応じて修正したりするのに正対照明を利用してもよい。すなわち正対照明を当てない状態を通常状態とし、偏光画像やステレオ画像などに基づき一般的な手法で被写体の状態を取得する。そして所定のタイミングで一時的に正対照明を照射して、本実施の形態で述べたように法線を算出し、それまでに取得されていた状態情報と比較する。
正対照明を当てた被写体はより正確に法線が求められることに鑑みれば、両者に差があるとき、それまで取得されていた状態情報に誤りがあることが判明する。そして必要に応じて、正対照明を当てた状態で得られた法線情報に基づく修正が可能である。正対照明による確認は、所定の時間間隔で周期的に行ってもよいし、処理の開始時、キャリブレーション時、ゲームシーンの切り替わり時など、何らかの区切りのタイミングで行ってもよい。または一般的な手法で被写体の状態が不定となったときに正対照明を照射し、状態情報をリセットしてもよい。
いずれの場合も、情報処理装置には正対照明のための照明機器のオン／オフや発光強度を制御する図示しない照明制御部を設ける。撮像装置１２に照明を設ける場合は、撮像装置１２と通信する撮影画像取得部５０がその役割を担ってもよい。表示装置１６の画面からの光を利用する場合は、表示装置１６と通信する出力データ生成部５６がその役割を担い、所定以上の照度で被写体が照らされるように表示画像を制御してもよい。
そして情報処理装置は、当該照明機器をオンとしたり発光強度を所定値以上としたりした期間において、本実施の形態で述べた手法により正確に法線情報を取得する。通常状態での状態認識との比較や修正を行ったら、適宜照明機器をオフにしたり発光強度を元に戻したりする。このように一時的に正対照明を利用することにより、照明に要する電力を節約しつつ、被写体の状態を正確に取得し続けることができる。
なお情報処理装置が光源を制御せず、実際に正対照明が当たっているか否かに係る情報を別途取得することにより、当たっている期間において本実施の形態の手法を適用してもよい。例えばユーザにそのような位置にある照明機器をオンするように促してもよい。または図１０で示したような輝度画像における輝度のピークが所定値以上であるときに、正対照明が当たっていると判定してもよい。
１０ 情報処理装置、 １２ 撮像装置、 １６ 表示装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 撮影画像取得部、 ５２ 画像データ記憶部、 ５４ 法線情報取得部、 ５６ 出力データ生成部、 ５８ 領域分割部、 ６０ 法線算出部、 ６２ 統合部。
以上のように本発明は、ゲーム装置、携帯端末、パーソナルコンピュータなど各種情報処理装置と、それを含むシステムなどに利用可能である。

Claims (8)

  1. 偏光画像から被写体表面の法線に係る情報を取得して情報処理を行う情報処理装置であって、
    画像平面を複数の領域に分割し、鏡面反射モデルおよび拡散反射モデルのどちらかを割り当てる領域分割部と、
    偏光画像における分割された領域ごとに、割り当てられたモデルを適用して法線分布を求める法線算出部と、
    領域ごとの法線分布を統合し画像平面全体における法線分布を生成して出力する統合部と、
    を備えることを特徴とする情報処理装置。
  2. 前記領域分割部は、前記偏光画像から得られる偏光度がしきい値以下の領域に拡散反射モデルを割り当て、それ以外の領域に鏡面反射モデルを割り当てることを特徴とする請求項１に記載の情報処理装置。
  3. 前記領域分割部は、前記偏光画像に対応する輝度画像において、輝度がしきい値より大きい領域に拡散反射モデルを割り当て、それ以外の領域に鏡面反射モデルを割り当てることを特徴とする請求項１に記載の情報処理装置。
  4. 前記出力データ生成部はさらに、前記領域分割部が領域分割した結果を用いて情報処理を行うことを特徴とする請求項１または２に記載の情報処理装置。
  5. 前記領域分割部、前記法線算出部、および前記統合部は、前記偏光画像を撮影する撮像装置から所定の距離内に光源があるときに動作することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
  6. 前記偏光画像を撮影する撮像装置から所定の距離内にある光源のオン／オフまたは発光強度を制御する照明制御部をさらに備え、
    前記領域分割部、前記法線算出部、および前記統合部は、前記光源がオンの期間または所定値以上の発光強度とした期間において動作することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
  7. 偏光画像から被写体表面の法線に係る情報を取得する情報処理装置が、
    画像平面を複数の領域に分割し、鏡面反射モデルおよび拡散反射モデルのどちらかを割り当てるステップと、
    偏光画像における分割された領域ごとに、割り当てられたモデルを適用して法線分布を求めるステップと、
    領域ごとの法線分布を統合し画像平面全体における法線分布を生成して出力するステップと、
    を含むことを特徴とする法線情報取得方法。
  8. 偏光画像から被写体表面の法線に係る情報を取得するコンピュータに、
    画像平面を複数の領域に分割し、鏡面反射モデルおよび拡散反射モデルのどちらかを割り当てる機能と、
    偏光画像における分割された領域ごとに、割り当てられたモデルを適用して法線分布を求める機能と、
    領域ごとの法線分布を統合し画像平面全体における法線分布を生成して出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
JP2019518693A 2017-05-18 2017-05-18 情報処理装置および法線情報取得方法 Active JP6783928B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018659 WO2018211654A1 (ja) 2017-05-18 2017-05-18 情報処理装置および法線情報取得方法

Publications (2)

Publication Number Publication Date
JPWO2018211654A1 true JPWO2018211654A1 (ja) 2019-11-07
JP6783928B2 JP6783928B2 (ja) 2020-11-11

Family

ID=64273582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518693A Active JP6783928B2 (ja) 2017-05-18 2017-05-18 情報処理装置および法線情報取得方法

Country Status (3)

Country Link
US (1) US11173394B2 (ja)
JP (1) JP6783928B2 (ja)
WO (1) WO2018211654A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3708948B1 (en) 2019-03-12 2021-09-22 Sick Ag A light line triangulation apparatus
KR20210025957A (ko) * 2019-08-28 2021-03-10 엘지이노텍 주식회사 광학 기기

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159888A (ja) * 2003-11-27 2005-06-16 Fuji Photo Film Co Ltd 撮像装置
US20050254378A1 (en) * 2002-09-19 2005-11-17 Obe Ohnmacht & Baumgartner Method and device for optical form measurement and/or estimation
JP2009058533A (ja) * 2007-08-07 2009-03-19 Panasonic Corp 法線情報生成装置および法線情報生成方法
JP4435867B2 (ja) * 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2013120093A (ja) * 2011-12-06 2013-06-17 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2016133396A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
JP2017016431A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1222911C (zh) 1998-05-19 2005-10-12 索尼电脑娱乐公司 图像处理装置和方法
JP3012828B2 (ja) * 1998-05-25 2000-02-28 株式会社セタ 描画方法、装置および記録媒体
EP2202688B1 (en) * 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
EP2293541B1 (en) * 2008-06-26 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image division program and image synthesising method
JP5170154B2 (ja) * 2010-04-26 2013-03-27 オムロン株式会社 形状計測装置およびキャリブレーション方法
JP5682437B2 (ja) 2010-09-07 2015-03-11 ソニー株式会社 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法
US8334985B2 (en) * 2010-10-08 2012-12-18 Omron Corporation Shape measuring apparatus and shape measuring method
EP2600168A1 (de) * 2011-12-01 2013-06-05 Leica Geosystems AG Entfernungsmesser
US9064764B2 (en) 2012-03-22 2015-06-23 Sionyx, Inc. Pixel isolation elements, devices, and associated methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254378A1 (en) * 2002-09-19 2005-11-17 Obe Ohnmacht & Baumgartner Method and device for optical form measurement and/or estimation
JP2005159888A (ja) * 2003-11-27 2005-06-16 Fuji Photo Film Co Ltd 撮像装置
JP2009058533A (ja) * 2007-08-07 2009-03-19 Panasonic Corp 法線情報生成装置および法線情報生成方法
JP4435867B2 (ja) * 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2013120093A (ja) * 2011-12-06 2013-06-17 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2016133396A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
JP2017016431A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法

Also Published As

Publication number Publication date
US11173394B2 (en) 2021-11-16
WO2018211654A1 (ja) 2018-11-22
JP6783928B2 (ja) 2020-11-11
US20200094140A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
JP6615723B2 (ja) 情報処理装置および対象物認識方法
JP6697986B2 (ja) 情報処理装置および画像領域分割方法
JP6799155B2 (ja) 情報処理装置、情報処理システム、および被写体情報特定方法
JP6799154B2 (ja) 情報処理装置および材質特定方法
US20210342578A1 (en) Polarization Imaging for Facial Recognition Enhancement System and Method
US9542755B2 (en) Image processor and image processing method
JP6662745B2 (ja) 撮影装置、情報処理システム、および偏光画像処理方法
CN108846807B (zh) 光效处理方法、装置、终端及计算机可读存储介质
US11315360B2 (en) Live facial recognition system and method
JP6851475B2 (ja) 情報処理装置および情報処理方法
JP6783928B2 (ja) 情報処理装置および法線情報取得方法
WO2018037975A1 (ja) 情報処理装置、情報処理システム、操作用オブジェクト、および情報処理方法
JP7039616B2 (ja) 情報処理装置および表面粗さ取得方法
WO2019215820A1 (ja) 情報処理装置および被写体情報取得方法
JP6934575B2 (ja) 情報処理装置および物体検出方法
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
JP6934565B2 (ja) 情報処理装置および被写体情報取得方法
WO2022259466A1 (ja) 画像処理装置およびマテリアル情報取得方法
JP2014102756A (ja) 画像処理方法、装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201022

R150 Certificate of patent or registration of utility model

Ref document number: 6783928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150