JPWO2019003384A1 - 情報処理装置、情報処理システム、および材質特定方法 - Google Patents

情報処理装置、情報処理システム、および材質特定方法 Download PDF

Info

Publication number
JPWO2019003384A1
JPWO2019003384A1 JP2019526065A JP2019526065A JPWO2019003384A1 JP WO2019003384 A1 JPWO2019003384 A1 JP WO2019003384A1 JP 2019526065 A JP2019526065 A JP 2019526065A JP 2019526065 A JP2019526065 A JP 2019526065A JP WO2019003384 A1 JPWO2019003384 A1 JP WO2019003384A1
Authority
JP
Japan
Prior art keywords
image
polarization
information processing
subject
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019526065A
Other languages
English (en)
Other versions
JP6799155B2 (ja
Inventor
英彦 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2019003384A1 publication Critical patent/JPWO2019003384A1/ja
Application granted granted Critical
Publication of JP6799155B2 publication Critical patent/JP6799155B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

情報処理装置は、撮像装置が所定の波長帯の参照光を被写体に照射し、その反射光を撮影することにより取得された、複数方位の偏光画像を含む撮影画像のデータを取得する(S30)。次に当該偏光画像に基づき偏光度の分布を表す偏光度画像を取得する(S32)。そして偏光度が所定範囲にある領域を、所定の材質を有する被写体の像として抽出し(S34)、像に応じた処理を実施して出力データを生成、出力する(S36)。

Description

本発明は、撮影画像を利用して対象物の状態を認識する情報処理装置、情報処理システム、および対象物の材質特定方法に関する。
ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている(例えば、特許文献1参照)。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理に利用したりする技術は、小型の携帯端末からレジャー施設まで、規模によらず幅広い分野で利用されている。
欧州特許出願公開第0999518号明細書
対象物の位置や姿勢を撮影画像から取得する画像解析においては、対象物の外観や位置、撮影環境などに起因して処理の精度が不安定になりやすいという課題がある。例えば撮影画像から対象物の像を抽出したりマッチングしたりするのに特徴点を利用する一般的な技術では、元来対象物に特徴点が少なかったり、対象物がカメラから離れた位置に存在し見かけ上のサイズが小さかったりすることで処理精度が悪化する。処理精度に頑健性を求めるほど、空間的、時間的に処理の粒度を細かくしたり、アルゴリズムが複雑化したりして処理の負荷が増加する。
本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて効率的かつ精度よく対象物の状態を取得できる技術を提供することにある。
本発明のある態様は情報処理装置に関する。この情報処理装置は、被写体に照射された所定の波長帯の参照光が反射してなる、複数方位の偏光を撮影した偏光画像のデータを取得する撮影画像取得部と、偏光画像に基づき偏光度の分布を取得し、その範囲に基づき所定の材質を有する被写体の像を特定する材質特定部と、特定された像に応じたデータを出力する出力データ生成部と、を備えたことを特徴とする。
本発明のさらに別の態様は材質特定方法に関する。この材質特定方法は、被写体に照射された所定の波長帯の参照光が反射してなる、複数方位の偏光を撮影した偏光画像のデータを取得するステップと、偏光画像に基づき偏光度の分布を取得し、その範囲に基づき所定の材質を有する被写体の像を特定するステップと、特定された像に応じたデータを出力するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、撮影画像を用いて効率的かつ精度よく対象物の状態を取得できる。
本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態における撮像装置が備える撮像素子の構造例を示す図である。 入射角に対する偏光度の変化を、鏡面反射した光と拡散反射した光で比較した図である。 本実施の形態における撮像装置の機能ブロックの構成を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態における反射モデル利用部の機能ブロックをより詳細に示す図である。 本実施の形態における光源位置特定部が偏光度により光源の位置を特定する処理を説明するための図である。 本実施の形態において液晶ディスプレイがある室内の偏光度画像を例示する図である。 本実施の形態における材質特定部のうち反射モデル利用部が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。 図10のS16において光源位置特定部64が光源の位置を特定する処理手順をより詳細に示すフローチャートである。 本実施の形態において赤外線照射下での人の手を撮影した画像を例示する図である。 本実施の形態において広い視野で撮影した偏光画像から生成した偏光度画像を例示する図である。 本実施の形態において4方位の偏光画像から算出した法線ベクトルを画素値として示した法線画像を示す図である。 本実施の形態の情報処理装置において、材質特定部のうち参照光画像利用部が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。 本実施の形態の情報処理装置において、材質特定部の反射モデル利用部および参照光画像利用部の双方が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。
図1は、本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体8を所定のフレームレートで撮影する撮像装置12、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置10、および情報処理の結果を出力する表示装置16を含む。情報処理システムにはさらに、情報処理装置10に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置10はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。
情報処理装置10と撮像装置12および表示装置16とは、有線ケーブルで接続されてよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。また情報処理装置10、撮像装置12、表示装置16のいずれか2つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置16を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置12を設けてもよい。いずれにしろ情報処理装置10、撮像装置12、表示装置16の外観形状は図示するものに限らない。
このようなシステムにおいて情報処理装置10は、撮像装置12が所定のフレームレートで撮影した画像のデータを順次取得し、当該画像における被写体8の像を抽出する。そして抽出結果に基づき情報処理を実施し、表示画像や音声のデータを生成して表示装置16に出力する。ここで像の抽出結果に基づき情報処理装置10が実施する情報処理の内容は特に限定されない。例えば被写体8に含まれる所定の対象物をゲームのコントローラとし、ユーザが把持して動かすことでゲームに対する操作がなされるようにしてもよい。
この場合、ゲーム世界を表す画像がコントローラの動きに応じて変化したり、ユーザを写した撮影画像上でコントローラが仮想オブジェクトに置換された画像を表示させたりすることができる。あるいはヘッドマウントディスプレイを装着したユーザの視線に対応する視野で、ユーザの手とインタラクションする仮想オブジェクトを表した画像を当該ヘッドマウントディスプレイに表示させることもできる。または単に、撮影画像から抽出した特定の対象物の像の領域を所定の画像に置換したり、当該領域のみに加工を施したりしてもよい。さらに当該領域に限定して、より詳細に画像解析を行ってもよい。
このような技術においては、被写体8やそれに含まれる特定の対象物の像を、撮影画像から正確に抽出することが求められる。例えば被写空間に、像を抽出したい対象物と形状が類似する別の物体が存在する場合、それらの像を区別して認識する必要がある。ところが被写空間の照度、照明器具の配置、対象物表面の色や模様など様々な要因によって、画像上の像の表れ方が変化するため、一般的な色や輝度に基づく抽出手法では精度が安定しないことがあり得る。
そこで本実施の形態では、材質による偏光特性の違いに着目し、偏光画像における像とその元となる被写体とを材質に基づき対応づける。これにより、周囲の状況に依存した見かけ上の変化の影響を受けにくい像抽出技術を実現できる。材質の特定は、被写体の像の抽出以外にも有用である。例えば撮影画像に対象物の一部のみが写っていたとしても、その材質が判明することにより当該対象物が視野内に存在することを認識できる。また材質によって実空間にある物を識別できるため、工場などでの物品検査、ロボットの動作制御などにも利用できる。情報処理装置10はそれらのいずれを実施してもよい。このような態様を実現するため、撮像装置12は少なくとも被写空間の偏光画像を撮影する。
図2は、撮像装置12が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子110はマイクロレンズ層112、ワイヤグリッド型偏光子層114、カラーフィルター層116、および光検出層118を含む。ワイヤグリッド型偏光子層114は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層112により集光された光がワイヤグリッド型偏光子層114に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。
透過した偏光成分を光検出層118で検出することにより偏光画像が取得される。光検出層118は一般的なCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層114は、光検出層118における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層114を上面から見たときの偏光子配列120を例示している。
同図において網掛けされたラインが偏光子を構成する導体(ワイヤ)である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、4通りの主軸角度の偏光子が2行2列の4つの領域122a、122b、122c、122dに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は45°の差を有する。すなわち45°おきの4つの主軸角度の偏光子を設けている。
各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層118においては、4つの領域122a、122b、122c、122dに対応する各領域で、45°おきの4方位の偏光情報を得ることができる。このような4つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、4種類の偏光情報を2次元データとして同時に取得するイメージセンサを実現できる。
同図に示す撮像素子110では、ワイヤグリッド型偏光子層114と光検出層118の間にカラーフィルター層116を設けている。カラーフィルター層116は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層114における偏光子の主軸角度とカラーフィルター層116におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開2012−80065号公報などにも開示されている。ただし本実施の形態における撮像装置12の素子構造は図示するものに限らない。例えば本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層116を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは一般的なカメラの前面に主軸角度が変更可能な偏光板を配置した構造としてもよい。
本実施の形態では、複数方位の偏光画像から偏光度の分布を求め、材質の特定に利用する。偏光輝度の方位に対する振る舞いは、被写体表面の姿勢と材質に依存して変化することが知られており、偏光度は当該振る舞いを表す指標と捉えることができる。ここで偏光子を介して観察される光の輝度は、偏光子の主軸角度θpolに対し次の式のように変化する。
Figure 2019003384
ここでImax、Iminはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり4通りの主軸角度θpolに対し偏光画像を取得した場合、同じ位置にある画素の輝度Iは、各主軸角度θpolに対し式1を満たすことになる。したがって、それらの座標(I,θpol)を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Imax、Imin、φを求めることができる。そのように求めたImax、Iminを用いて、次の式により偏光度ρが求められる。
Figure 2019003384
偏光度ρが1のとき、観測される光は完全偏光(直線偏光)、すなわちある1方向に振動している。偏光度ρが0のときは、非偏光であり光は等方的に振動している。その他、振動の偏り具合によって、偏光度ρが0から1の間で変化する。ところで二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。反射した光に含まれる鏡面反射成分と拡散反射成分の割合は、反射する物体の材質にも依存する。
図3は、入射角に対する偏光度の変化を、鏡面反射した光と拡散反射した光で比較している。なお反射する物体の屈折率nは1.4および1.6としている。(a)に示す鏡面反射光と比較し、(b)に示す拡散反射光は、入射角の大部分の範囲において偏光度が格段に小さい。すなわち拡散反射が支配的となるような材質の被写体の像は、偏光度が低く表れる可能性が高い。この特性を利用すれば、所定の材質を有する被写体の像を偏光度に基づき抽出できる。また一般的に光源からの直接光は等方的、すなわち偏光度が低いことが知られている。この特性を利用することにより、光源からの光と、それが鏡面反射した光とを偏光度によって区別でき、後述する反射モデルを利用した材質特定における光源の設定に活用できる。
図4は、撮像装置12の機能ブロックの構成を示している。なお図4および後述する図6、7に示す各機能ブロックは、ハードウェア的には、マイクロコンピュータ、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、各種メモリ、データバス、各種センサなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
撮像装置12は、自然光画像取得部70、偏光画像取得部72、および参照光照射部74を含む。自然光画像取得部70はCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子アレイを含み、それにより所定のフレームレートで撮影された自然光(無偏光)の画像データを出力する。当該データは情報処理装置10において、被写空間における光源の位置を特定したり、被写空間と撮像面の位置や姿勢の相対関係を特定したりするのに用いられる。
撮像装置12は好適には魚眼カメラとすることにより、天井照明など室内の光源を撮影できるようにする。ただし通常のレンズによってもカメラの視野に光源が入るような環境においては、魚眼レンズは必須ではない。あるいは被写空間における光源の位置を事前に取得していれば、光源が撮影画像に写っていなくてもよい。また被写空間と撮像面の位置や姿勢の相対関係を特定するため、自然光画像取得部70は好適には、所定距離を有する左右の視点から被写空間を撮影するステレオカメラとする。なお情報処理装置10の処理内容によっては、自然光画像取得部70はカラー情報を含まない輝度画像のデータのみを出力してもよい。
偏光画像取得部72は、図2で例示したように4方位の偏光を検出する撮像素子のアレイを含み、それにより所定のフレームレートで撮影された、4方位の偏光画像のデータを出力する。なお4方位の偏光の検出値を平均することにより無偏光の輝度画像を生成できるため、偏光画像取得部72が自然光画像取得部70を兼ねていてもよい。このとき偏光画像から無偏光の輝度画像を生成する機構を偏光画像取得部72に設けてもよいし、情報処理装置10に設けてもよい。また偏光画像取得部72をステレオカメラとしてもよいし、自然光画像取得部70および偏光画像取得部72によりステレオカメラを構成してもよい。
参照光照射部74は、所定の波長帯の参照光を被写空間に照射する。ここで参照光は、検出したい材質によって吸収されやすい波長帯を選択する。本実施の形態では、被写体表面で一旦吸収され、それが内部で乱反射して放出される拡散反射を、照射する光の波長帯を適切に選択することにより意図的に作り出す。そして拡散反射の偏光度が低いことを利用して、偏光度に基づき検出対象の材質を有する被写体の像を特定する。代表的には、赤外線を照射することにより、手など皮膚が露出した人の部位の像を特定する。以後、参照光を赤外線として説明するが、波長帯をこれに限定する趣旨ではない。
参照光照射部74は赤外線を定常的に照射してもよいし、必要なタイミングでのみ照射してもよい。偏光画像取得部72が、赤外線を照射したタイミングを偏光画像取得部72に通知することにより、偏光画像取得部72は、赤外線照射下の偏光画像のデータにその旨の情報を付加するなどして、赤外線を照射していない期間のデータと区別して出力する。なお赤外線を照射し、その反射光が検出されるまでの時間から被写体の距離を導出する技術はTOF(Time Of Flight)として知られている。本実施の形態では上述のとおり、赤外線を被写体の材質特定に利用するが、当該赤外線の波長帯を検出する赤外線カメラを別途設け、TOFにより被写体の距離を同時に取得してもよい。
通信部78は情報処理装置10と通信を確立し、自然光画像取得部70が出力した自然光の撮影画像のデータおよび、偏光画像取得部72が出力した4方位の偏光画像のデータを情報処理装置10に順次出力する。また通信部78は、情報処理装置10から必要なデータの種類や赤外線照射のタイミングに係る情報を取得し、自然光画像取得部70、偏光画像取得部72、および参照光照射部74に適宜通知する。
図5は情報処理装置10の内部回路構成を示している。情報処理装置10は、CPU(Central Processing Unit)23、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、USBやIEEE1394などの周辺機器インターフェースや、有線又は無線LANのネットワークインターフェースからなる通信部32、ハードディスクドライブや不揮発性メモリなどの記憶部34、表示装置16へデータを出力する出力部36、撮像装置12や図示しない入力装置からデータを入力する入力部38、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。
CPU23は、記憶部34に記憶されているオペレーティングシステムを実行することにより情報処理装置10の全体を制御する。CPU23はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた、あるいは通信部32を介してダウンロードされた各種プログラムを実行する。GPU24は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、CPU23からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部36に出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図6は、本実施の形態の情報処理装置10の機能ブロックの構成を示している。情報処理装置10は、撮像装置12から撮影画像のデータを取得する撮影画像取得部50、取得した画像のデータを格納する画像データ記憶部52、撮影画像に写る被写体の材質を特定する材質特定部54、および、材質の特定結果に基づき情報処理を実施し、出力すべきデータを生成する出力データ生成部56を含む。
撮影画像取得部50は図5の入力部38、CPU23などで実現され、撮像装置12から偏光画像など撮影画像のデータを所定のレートで取得する。また撮影画像取得部50は、材質特定部54による特定結果などに応じて、必要な撮影画像の種類や赤外線の照射タイミングに係る要求を撮像装置12に送信する。画像データ記憶部52はメインメモリ26で実現され、撮影画像取得部50が取得した撮影画像のデータを順次格納する。このとき撮影画像取得部50は必要に応じて、自然光画像あるいは偏光画像から輝度画像を生成するなど、後段の処理に必要な画像データも生成し格納してよい。
材質特定部54は図5のCPU23、GPU24などで実現され、画像データ記憶部52に格納されたデータを用いて、撮影画像に写る被写体の材質を所定のレートで取得する。より詳細には材質特定部54は、反射モデル利用部58および参照光画像利用部60を含み、それぞれが異なる手法で被写体の材質を特定する。両者は独立した機能のため、材質特定部54としてどちらか一方を設けてもよいし、双方を設けて材質特定の精度を高めてもよい。
反射モデル利用部58は、コンピュータグラフィクス描画において一般的に利用されるレンダリング方程式の逆問題を解くことにより材質を特定する。つまり撮影画像として観測された輝度が得られるために、光源からの光が被写体表面でどのように反射しているべきか、という観点から被写体の材質を特定する。そのため反射モデル利用部58は、実空間における被写体、撮像装置12の撮像面、および光源の位置関係を取得する。そして当該位置関係と撮影画像の各画素が表す輝度に基づき被写体表面での反射特性を導出し、そのような反射特性が得られる材質を特定する。詳細は後に述べる。
一方、参照光画像利用部60は、赤外線照射時に撮影された偏光画像から偏光度の分布を取得し、そのうち偏光度が所定のしきい値より小さい領域を抽出する。上述のとおり赤外線を吸収しやすい被写体の場合、その表面からの反射光は拡散反射成分が支配的となる。拡散反射は鏡面反射より偏光度が格段に小さいため、赤外線の照射時に低い偏光度を示す像は、赤外線の吸収率が高い材質であると推定できる。この原理により、例えば人体のうち手などの皮膚が露出した部位の像を特定できる。具体例は後に示す。
出力データ生成部56は図5のCPU23、GPU24、出力部36などで実現し、材質特定部54が特定した、像と材質との関係に基づき、所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成する。上述したようにここで実施する情報処理の内容は特に限定されない。画像に写る被写体の材質が判明することにより、例えば人の手やコントローラなど材質が既知の物体の動きを求め、それを入力情報として電子ゲームを進捗させることができる。あるいは出力データ生成部56は、画像データ記憶部52から自然光の撮影画像のデータを読み出し、特定の材質の対象物と接するように仮想オブジェクトを描画することにより拡張現実を実現してもよい。
本実施の形態では材質を介して精度よく対称物の像を特定できるため、対象物の距離を求めたり、形状や位置の変化を特定したりすることを、その像のみに限定して効率的に行える。あるいは画像データ記憶部52に格納された4方位の偏光画像を用いて、対称物表面の法線ベクトル分布を求めてもよい。偏光画像から被写体の法線ベクトルを求める手法は広く知られている。すなわち対象物表面の法線は、光の入射面(拡散反射の場合は出射面)の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。方位角αは、鏡面反射の場合は式1において最小輝度Iminを与える主軸角度であり、拡散反射の場合は式1において最大輝度Imaxを与える主軸角度である。また天頂角θは、鏡面反射の場合の偏光度ρ、拡散反射の場合の偏光度ρと、それぞれ次のような関係にある。
Figure 2019003384
ここでnは物体の屈折率である。式2で得られる偏光度ρを式3のρ、ρのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル(p,p,p)は次のように得られる。
Figure 2019003384
これにより対称物の全体的な動きのみならず、微妙な角度変化や面の境界などを高精度に取得でき、ゲームを多様化させたり拡張現実の精度を向上させたりできる。出力データ生成部56は、そのような処理を経て生成した表示画像などの出力データを表示装置16に送信する。
図7は、反射モデル利用部58の機能ブロックをより詳細に示している。反射モデル利用部58は、空間情報取得部62、光源位置特定部64、材質特定部66、および材質モデル記憶部68を含む。空間情報取得部62は撮影画像を用いて、3次元実空間を構成する被写体と、撮像装置12の撮像面との位置関係を取得する。この情報は、コンピュータグラフィクスにおいてワールド座標系にオブジェクトを配置し、カメラ座標系を設定する処理に対応する。
そのため空間情報取得部62は、撮影されたステレオ画像における対応点を求め、三角測量の原理により撮像面から各被写体までの距離を求める。そして撮影画像の画素を距離に応じた3次元空間の位置に逆射影することにより、被写体の面と撮像面との位置関係を取得できる。撮像装置12をヘッドマウントディスプレイに搭載する場合、3次元空間に対し撮像面が動くことになる。このような場合、撮影された画像を用いて周囲の物体の構成(環境地図)を取得したり、それらに対する撮像面の位置や姿勢を推定したりするSLAM(Simultaneous Localization and Mapping)の技術を導入する。空間情報取得部62はさらに、4方位の偏光画像を用いて上述のように法線ベクトルを求め、被写体の姿勢を厳密に特定してもよい。
光源位置特定部64は、3次元実空間における光源の位置を特定する。魚眼レンズ等により光源が視野に入るように撮影すれば、基本的には空間情報取得部62と同様にして、光源の位置も求めることができる。ただし撮影環境によっては、鏡面反射が支配的な光沢のある材質の存在により、そこでの反射が光源と同等の輝度で観測される場合がある。この場合、反射が生じた位置を光源と誤認し、材質の特定精度が悪化することが考えられる。
そこで光源位置特定部64は、上述のとおり偏光度を利用して、光源の像とその反射光の像とを区別する。光源と誤認しやすい高い輝度の反射は鏡面反射成分が大きいため、偏光度を比較すれば、光源からの等方性の光との区別が容易にできる。つまり撮影画像における光源の像候補の偏光度を確認し、所定のしきい値より高い偏光度を示す像は光源でないと判定して候補から除外する。
また被写空間に液晶ディスプレイがある場合、画面からの発光は偏光度が高くなる。そこで光源位置特定部64はさらに、上述のとおり偏光度の高さによって除外した光の像のうち、液晶ディスプレイの像と、鏡面反射成分が大きい反射光の像とを区別する。後者は、照明などの光源が鏡面反射してなる領域の中心から離れるほど偏光度が減衰するのに対し、発光ディスプレイは比較的大きな面積を有する画面全体で均一な偏光度となる。したがって光源位置特定部64は、偏光度の空間分布に基づきそれらの像を区別する。
材質特定部66は、撮影画像が示す輝度の情報と、空間情報取得部62および光源位置特定部64が取得した、被写体、撮像面、および光源の3次元空間における位置関係に基づき、反射モデルを用いて方程式を立てることにより、被写体の材質を特定する。一般的なコンピュータグラフィクスでは、ワールド座標系において、反射特性が設定されたオブジェクトを配置し、光源とカメラ座標系を設定することにより、オブジェクト表面からの反射光の輝度分布を計算する。このとき、次のレンダリング方程式によって、オブジェクト表面上の点rにおいて方向ωへ放射される光の輝度L(r,ω)を求める。
Figure 2019003384
ここでL(r,ω)は点rにおいて物体自体が発する光の輝度である。f(r,ω,ω)は、点rにおける光の反射特性を表す双方向性反射率分布関数(BRDF:Bidirectional reflection distribution function)であり、入射方向ωの入射光の輝度L(r,ω)に対する、方向ωへの反射光の輝度L(r,ω)の比率を表す。この関数は材質に依存する。またΘは、点rにおける被写体表面の法線の方向と光の反射方向ωとがなす角、Sは点rにおける光の入射方向ωの範囲である。結果として輝度L(r,ω)、ひいては点rを表す撮影画像上の像の輝度は、点rにおける法線と、光源および撮像面との位置関係、および被写体の材質によって決定される。
式5の関係を利用し、撮影画像が表す像の輝度値を左辺に与えれば、右辺に含まれるいずれかのパラメータを求めることができる。この手法は、グラフィクス描画の逆問題としてインバースレンダリングと呼ばれる。関数fは実際には、被写体の材質を均一としても、入射光および反射光それぞれの方位角および天頂角を含む4次元の関数であるため、それを簡潔に表現するために様々なモデルが提案されている。(例えば“インバースレンダリング:画像からの光学情報の復元”,佐藤洋一, http://www.mtl.t.u-tokyo.ac.jp/~katsu-t/ssii05-ysato.pdf参照)。
本実施の形態では、被写体として想定される材質と、関数fあるいはそれを所定のモデルで近似したデータ(反射特性)とを対応づけた材質モデルを事前に生成し、材質モデル記憶部68に格納しておく。あらかじめ様々な材質の物体を撮影することで、材質ごとに関数fの代替パラメータを反射特性の実値データとして取得してもよい。材質特定部66は、空間情報取得部62および光源位置特定部64が求めた情報と、撮影画像における像の輝度値から、式5を逆に解くことにより反射特性を求め、それをインデックスとして材質モデルを参照する。
そして最も適合する材質を、像の元となる被写体の材質として選択する。空間情報取得部62により像と被写体との関係が判明しているため、被写体の材質を求めるためには上記処理を像単位で行えばよい。上述のとおりレンダリング方程式を簡略化するためのモデルとして様々なものが提案されているため、実際に想定される被写空間の環境や情報処理装置10の処理性能などに応じて適切なモデルを選択する。なお本実施の形態で材質を特定する対象は発光体以外のため、式3の第1項は省略できる。
また上記処理では自然光の撮影画像における輝度を用いているが、本実施の形態では4方位の偏光画像も取得するため、それらを利用してもよい。すなわち材質ごと、偏光方位ごとに、関数fに対応するパラメータを取得し材質モデル記憶部68に格納しておく。そして実際に得られた4方位の偏光画像の輝度から式5を用いて取得した、各方位の反射特性に最も近い反射特性を示す材質を特定する。例えば式5における反射光の輝度L(r,ω)は、輝度L(r,ω)の入射光が拡散反射した成分と鏡面反射した成分の和として次のようなモデルで表すことができる。
Figure 2019003384
上式はPhongのモデルとしてコンピュータグラフィクスの分野で広く知られている。ただし環境光の成分は省略している。ここでkは拡散反射率、kは鏡面反射率、hは材質固有の光沢の度合いを表すパラメータである。これらのパラメータは材質に依存する。またβは、物体表面の位置rにおける法線ベクトルと光源方向へのベクトルのなす角度であり、空間情報取得部62および光源位置特定部64が取得した、被写体および光源の3次元空間における位置関係に基づき求められる。右辺の第1項の拡散反射成分、第2項の鏡面反射成分の輝度をそれぞれi、iとすると、偏光子の主軸角度θpolに対する拡散反射成分および鏡面反射成分の偏光輝度I(θpol)、I(θpol)は次のように表される。
Figure 2019003384
ここでρ、ρは式3で表される拡散反射成分の偏光度、鏡面反射成分の偏光度であり、空間情報取得部62および光源位置特定部64が取得した、被写体および光源の3次元空間における位置関係を既知とすると、屈折率n、ひいては材質依存の値となる。式7を同じ主軸角度θpol=0°、15°、30°、45°同士で足し合わせると、対応する方位の偏光の輝度L(r,ω,θpol)が求められる。したがって材質ごとにパラメータk、k、h、nを準備しておくことにより、入射方向ωの入射光の輝度L(r,ω)に対する、方向ωへの反射光の偏光の輝度L(r,ω,θpol)の比率、すなわち関数fが偏光方位ごとに得られることになる。
そこで式5の方程式を偏光方位ごとに立てて得られた関数fと、材質モデル記憶部68に格納されたパラメータk、k、h、nおよび3次元空間における光源と被写体との位置関係から材質ごと、偏光方位ごとに得られる関数fとを比較し、最も適合する材質を選択する。この場合、比較する関数fは4つになるため、方位ごとに差分を求め、その合計が最も小さい材質を選択する。あるいは先に材質を仮定して式5により偏光輝度を各方位について求め、実際の偏光画像に最も近い材質を選択してもよい。いずれにしろ4方位の偏光の輝度を利用することにより、偏光成分の割合の観点からより高い精度で材質を求められる。
また式5で表されるモデル以外のモデルを適用して、同様の原理により材質を推定してもよい。例えば材質モデルとして、反射光に含まれる拡散反射成分と鏡面反射成分の割合γを、候補となる材質に対応づけて格納しておく。ここでγは上述の角度βと反射方向の角度ωの関数である。上述のとおり反射光のスペクトルはそれらの反射成分の線形和である。したがって光源の位置、被写体と撮像面の位置および姿勢に基づきγの値を決定することにより、撮像面の各画素に入射する光の偏光特性、すなわち方位に対する偏光輝度の変化を取得できる。その結果を、実際の偏光画像を用いて式1から取得した偏光輝度の変化と比較し、差分が最も小さくなる材質を、真の材質として特定してもよい。なお光源や撮像装置の位置を様々に変化させて偏光画像を取得することにより、材質ごと、偏光方位ごとに関数fやγを実値データとして求めておき、それを材質モデル記憶部68に格納してもよい。
図8は、光源位置特定部64が偏光度により光源の位置を特定する処理を説明するための図である。(a)は照明のある室内を撮影した自然光の輝度画像を示している。この例では2つのフロアスタンド照明の像80a、80bのほか、床からの反射光の像82a、82bが高い輝度で表れている。特に光沢のある床やテーブルなどでは、図示するように照明と同程度の輝度で反射光が撮影されることがあり得る。
この画像を元に3次元空間における光源位置を設定し、上述のようにレンダリング方程式に当てはめた場合、反射光を光源と誤認した結果、正しい材質を特定できなくなることが考えられる。材質特定処理に限らず、実際の光源を反映するように仮想オブジェクトを描画する場合や、光源の位置に基づき画像解析を行う場合など、様々な情報処理において、光源と反射光を区別できるようにすることが処理の精度向上に有効である。
(b)は(a)に対応する偏光画像を基に生成した偏光度画像を示している。ここで偏光度画像は、式2により算出した偏光度を画素値とする画像であり、同図では偏光度が高いほど大きい輝度で表している。図示するように、床からの反射光は鏡面反射成分が支配的なため、拡散反射成分が支配的なフロアスタンド照明からの直接光の像83a、83bと比較し、その像84a、84bの偏光度は格段に大きい。なお反射光の像84a、84bの中心部分は、偏光度が画素値として設定できる上限を超えたことによって黒くなっている。
このように、自然光の輝度画像では光源との判別が難しい反射光の像であっても、偏光度を利用することにより、反射光であることを容易に特定できる。背の低いロボットに搭載したカメラでは、視点が床に近いため床からの反射光が視野に入りやすい。このような視野で撮影された画像を用いてSLAMにより自己位置を特定する場合、実際の照明と床での反射とを誤認識することにより、誤った環境地図が作成されたり処理が破綻したりすることが考えられる。本実施の形態を適用し反射光を光源と区別して認識できるようにすれば、ロボット制御も精度よく行える。
図9は、液晶ディスプレイがある室内の偏光度画像を例示している。図示するように液晶ディスプレイによる発光も、その像86の偏光度が高くなるため、図8で示したのと同様に光源との区別が容易になる。また液晶ディスプレイの場合、面全体で偏光度が変化せず背景との境界が顕著に表れているのに対し、図8の(b)で示した、床からの反射光の像84a、84bの場合、偏光度は中心を最大値として周辺に向かうほどなだらかに減衰している。このような偏光度の空間分布の差を利用すれば、反射光と液晶ディスプレイとを区別できる。
次に、情報処理装置10の動作を説明する。図10は、材質特定部54のうち反射モデル利用部58が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置10に対しユーザが処理の開始を要求し、それに応じて撮像装置12が対象物の撮影を開始したときに開始される。
まず撮影画像取得部50は、撮像装置12から撮影画像のデータを取得して画像データ記憶部52に格納する(S10)。当該データには複数の方位の偏光画像と自然光の輝度画像が含まれる。またステレオカメラが撮影した、左右の視点からのステレオ画像も含まれる。ステレオ画像は自然光の撮影画像でもよいし、偏光画像でもよい。なおTOFの機構を導入した場合、ステレオ画像の代わりに距離画像を取得してもよい。また自然光の輝度画像は、情報処理装置10が偏光画像同士を演算することにより生成してもよい。
次に反射モデル利用部58の空間情報取得部62は、撮影画像に含まれるステレオ画像を用いて、3次元空間における各被写体と撮像面との位置関係に係る空間情報を取得する(S12)。一方、光源位置特定部64は、4方位の偏光画像を用いて、図8の(b)や図9に示すような偏光度分布を取得する(S14)。そして輝度値画像から所定のしきい値以上の輝度を示す領域を光源候補として抽出したうえ、偏光度に基づき真の光源の像を特定し、その距離をステレオ画像により求めることにより、S12で取得した3次元空間における光源の位置を取得する(S16)。
次に材質特定部66は、3次元空間における被写体、撮像面、光源の位置や姿勢の関係と、輝度画像における各画素の輝度値とを式5で表されるレンダリング方程式に当てはめることにより、関数fあるいはそれを所定のモデルで近似したデータを導出する(S18)。そして材質モデル記憶部68から、導出したデータに対応づけられた、あるいはそれに最も近い材質を選択することで、像の材質を特定する(S20)。上述のとおりS18、S20の処理は像単位で行ってよい。あるいは画素単位など像より小さい単位で行い、それらの結果を統合して最も確からしい材質を選択してもよい。
S20の処理の代わりに、関数fあるいはそれを所定のモデルで近似したデータを最初に仮定して式5に当てはめ、一般的な描画処理と同様に画像を描画し、実際の撮影画像と比較することで、仮定が適切であったかどうかを判定してもよい。この場合、仮定するデータは、材質候補に対応づけて材質モデル記憶部68に格納されたものを用いればよい。全ての材質を仮定して描画した画像をそれぞれ、撮影画像と比較し、最も小さい差分が得られた材質を最終的な特定結果とする。
続いて出力データ生成部56は、得られた材質に基づき所定の処理を実施し、表示画像や音声の出力データを生成して表示装置16に出力する(S22)。ここでなされる処理は上述のとおり特に限定されない。すなわち、所定の材質を有する被写体の像を抽出し、その位置や動きを特定したり、その像の領域に対しさらなる画像解析を行ったりしてゲーム画面などを描画してもよい。あるいは単に撮像装置の視野にある物体を材質に基づき認識したり、物品検査に用いたりしてその結果を表すデータを生成、出力してもよい。また所定の材質の物体に近づいたり掴んだりする制御信号をロボットに出力してもよい。
ユーザ操作などにより処理を停止させる必要がない期間は(S24のN)、後続の画像フレームに対しS10〜S22の処理を繰り返す。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる(S24のY)。
図11は、図10のS16において光源位置特定部64が光源の位置を特定する処理手順をより詳細に示すフローチャートである。光源位置特定部64はまず、輝度画像から所定のしきい値以上の輝度値を有する像を、光源の像の候補として抽出する(S60)。そして偏光度画像における対応する領域の偏光度を確認していく。光源の像の候補の偏光度が所定のしきい値以下であるとき(S62のY)、当該像は真の光源の像であると判定する(S64)。偏光度がしきい値を超え(S62のN)、像の外側へ向かうほど偏光度が減衰するような分布であるとき(S66のY)、当該像は反射光の像であると判定する(S68)。
例えば像を構成する画素を、水平方向や垂直方向に走査して偏光度の1次元分布を取得し、その形状に基づき減衰しているか否かを判定する。あるいは像を構成する画素の偏光度のヒストグラムや分散を取得し、所定以上の分散が確認されたら減衰していると判定する。その他、判定には様々な基準を設けられることは、当業者には理解されるところである。偏光度が減衰していない、すなわち偏光度が像全体で一律と見なせる場合(S66のN)、当該像は液晶ディスプレイの像であると判定する(S70)。
S60で抽出した光源の像の候補全てに判定がなされていないうちは、各像に対しS62〜S70の判定処理を繰り返す(S72のN)。全ての像に対し判定し終えたら(S72のY)、ステレオ画像の対応する像の視差に基づき3次元空間における位置を取得する(S74)。なおここで位置を取得する対象は、後段に行う処理によって、光源、光源からの光が反射している箇所、および液晶ディスプレイの全てでもよいし、光源のみ、光源と液晶ディスプレイのみ、などのいずれでもよい。
次に材質特定部54の参照光画像利用部60の機能について説明する。上述のとおり参照光画像利用部60は、赤外線照射下での偏光画像を利用して、赤外線を吸収しやすい被写体、例えば人の皮膚が露出した部分の像を特定する。波長700〜900nm程度の近赤外光は生体組織を透過しやすいことで知られ、生体組織のイメージングに利用される。一方、X線や超音波と比較し生体組織に散乱されやすい特性を持つ。そのため照射した赤外線の反射光を観測した場合、その光は皮膚表面を透過し生体組織で乱反射した、拡散反射成分が支配的な光と考えられる。
図12は、赤外線照射下での人の手の撮影画像を例示している。赤外線の波長は850nmの近赤外領域である。(a)に示す輝度画像では、手の領域で高い輝度が得られる一方、手の内部からの反射光により血管が認識される。(b)に示す偏光度画像では、背景領域と比較し手の領域で一様に画素値が小さく偏光度が低い。すなわち偏光度の低さによって、背景領域との区別が可能なことがわかる。このような偏光度の差は、表面での光の吸収度合いに依存するため、照明の当たり具体などによって輝度画像での区別が困難な場合も、安定して手の像を抽出できる。
図13は、広い視野で撮影した偏光画像から生成した偏光度画像を例示している。(a)に示すように被写体たる人物が何も持っていない場合、図12と同様に、周囲にある他の被写体の像と比較し、手の領域の偏光度が一様に小さくなるため、精度よくその像を抽出できる。(b)や(c)に示すように飲料ボトルなどを持っている場合であっても、ボトルの像の部分のみ偏光度が高くなることから、手の像との区別を正確にできる。
これにより例えば、飲料ボトルの像の部分のみを切り取って別の画像に置き換えたり、人物が何かを持っていることを認識したりできる。特に人が仮想オブジェクトを手で操作するような拡張現実を実現する場合、手の像の領域を他と区別して特定できることは重要である。手は通常、肌を露出させている可能性が高いため、赤外線の吸収と偏光度を利用した本実施の形態の特定対象としても都合がよい。ただし上述のとおり、対象物に吸収されやすい波長帯の光を利用すれば、その他の材質の物でも同様の処理で正確な特定が可能である。
図14は、図13の(a)で例示した画像の手の領域について、4方位の偏光画像から算出した法線ベクトルを画素値として示した法線画像を示している。法線ベクトルの算出は出力データ生成部56が行うが、材質特定部54の参照光画像利用部60が手の像の領域を抽出することにより、当該領域のみを法線ベクトルの算出対象とすることができ処理効率がよい。同図では、矢印の分布で例示するように、手のひらの法線が正確に導出できていることがわかる。したがって上述の拡張現実や、手によるジェスチャ認識などを精度よく行える。
参照光画像利用部60は赤外線照射下での撮影画像を利用する。そのため赤外線を照射しその反射光を検出するまでの時間から、被写体までの距離を計測するTOFの技術と組み合わせることができる。被写体が半透明の場合、透過した光が被写体内部で散乱して反射する光が、表面で反射した光より遅れて観測されるため、計測される距離が実際より長くなる場合がある。この特性を利用して、計測される距離の歪みから被写体の材質を分類する技術が提案されている(“ToFカメラの距離計測歪みを手掛かりとした半透明物体の分類”, 岩口ら,研究報告コンピュータビジョンとイメージメディア, 2016,CVIM-203, Vol 12, P.1-7参照)。
この技術は被写体の材質によって内部での光の散乱の強さが変化し、距離の計測値に生じる歪みも材質に依存することを利用している。同じ状況下で偏光画像を撮影し、偏光度を評価すると、同じ原理で偏光度が材質により変化する。図13で示した例でも、飲料ボトルの領域では特有の偏光度が得られている。したがって、上述のとおり偏光度に1つのしきい値を設定し人の皮膚の領域を抽出する代わりに、材質ごとに想定される偏光度の範囲を対応づけておくことで、被写体の材質を分類することもできる。また、TOFカメラによる計測値の歪みに基づく材料分類と、偏光度に基づく材料分類とを同時に行い、材質特定の精度を向上させることもできる。
さらに、TOFによって生成された距離画像のうち、赤外線の吸収によって誤差が生じている領域を、偏光度の低さで判定することができる。例えば偏光度が所定値以下の領域は対応する被写体表面で赤外線が吸収されているとし、出力データ生成部56は、そこで得られた距離値を所定の割合だけ縮小するように修正する。偏光度と距離値の誤差との双方が赤外線の吸収率の影響を受けることから、あらかじめ偏光度と誤差との相関関係を取得しておけば、偏光度に基づき、距離値をより正確に修正することもできる。すなわち出力データ生成部56は、像が表す偏光度の範囲によって、距離値の縮小割合を異ならせる。
図15は、情報処理装置10において、材質特定部54のうち参照光画像利用部60が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置10に対しユーザが処理の開始を要求し、それに応じて撮像装置12が対象物の撮影を開始したときに開始される。
まず撮影画像取得部50は、撮像装置12から撮影画像のデータを取得して画像データ記憶部52に格納する(S30)。この処理は図10のS10と同様である。ただし少なくとも偏光画像は、赤外線など所定の波長帯の参照光を照射したときの撮影画像である。次に参照光画像利用部60は、4方位の偏光画像を用いて画素ごとに偏光度を計算し、それを画素値とした偏光度画像を生成する(S32)。
次に参照光画像利用部60は、偏光度画像において偏光度が所定範囲の領域を、所定の材質を有する対象物の像として抽出する(S34)。例えば手の場合、偏光度が所定のしきい値より小さい領域を抽出する。材質の異なる2種類以上の対象物の像を特定する場合は、それぞれに設定された範囲の偏光度を示す領域を抽出する。なお抽出した領域についてパターンマッチングを行うなどして、明らかに対象物と異なる像を抽出結果から除外してもよい。
続いて出力データ生成部56は、得られた材質に基づき所定の処理を実施し、表示画像や音声の出力データを生成して表示装置16に出力する(S36)。この処理は図10のS22と同様でよい。ただし上述のように、TOFによって計測された距離値を修正したり、TOFを利用して推定された材質とS34の処理による結果とを統合したりして、所定の材質を有する被写体の像を最終的に決定する処理を含めてもよい。ユーザ操作などにより処理を停止させる必要がない期間は(S38のN)、後続の画像フレームに対しS30〜S36の処理を繰り返す。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる(S38のY)。
図16は、情報処理装置10において、材質特定部54の反射モデル利用部58および参照光画像利用部60の双方が材質を特定し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置10に対しユーザが処理の開始を要求し、それに応じて撮像装置12が対象物の撮影を開始したときに開始される。
まず撮影画像取得部50は、撮像装置12から撮影画像のデータを取得して画像データ記憶部52に格納する(S40)。この処理は図10のS10と同様である。ただしこの場合、撮影画像取得部50は、参照光照射の開始および停止を所定のタイミングで撮像装置12に要求する。従って取得する撮影画像は参照光照射下のものの場合と、それ以外のものの場合がある。撮影画像取得部50は、撮像装置12から送信された撮影画像の付加データを参照してそれらを区別し、画像データ記憶部52に格納する。なお図15で示した処理手順においても、撮影画像取得部50からの要求により撮像装置12は参照光を短期間のみ照射するようにし、その期間に後段の処理を行ってもよい。
次に材質特定部54の反射モデル利用部58は、撮影画像に反射モデルを適用することにより、像の元となる被写体の材質を特定する(S42)。この処理は詳細には、図10のS12〜S20の処理と同様である。得られた撮影画像が参照光の照射下で撮影されたものでなければ(S44のN)、出力データ生成部56は、得られた材質に基づき所定の処理を実施し、表示画像や音声の出力データを生成して表示装置16に出力する(S50)。この処理も、図10のS22の処理と同様でよい。
ユーザ操作などにより処理を停止させる必要がない期間は(S52のN)、後続の画像フレームに対しS40、S42、S50の処理を繰り返す。基本的にはこのようなループを継続し、所定のタイミングで参照光が照射されたら(S44のY)、材質特定部54の参照光画像利用部60は、その偏光画像から得られた偏光度に基づき、所定の材質を有する被写体の像を特定する(S46)。ここで参照光の照射を開始するタイミングは、所定の時間間隔でもよいし、S42において人の皮膚など所定の材質が特定された時点でもよい。
参照光画像利用部60は、S46で自らが特定した結果と、S42で反射モデル利用部58が特定した結果を統合する(S48)。ここで参照光画像利用部60が行う処理は、反射モデル利用部58による材質特定結果を修正したり、後続のフレームにおいて反射モデル利用部58による材質特定処理の精度を向上させたりする役割を有する。例えばS42で手の像として抽出された領域を、参照光照射下の偏光度による結果と比較することにより、当該領域が真に手の像であるか否かを判定し、後者であれば結果から除外する。またS42で特定した領域が位置ずれを起こしていたらそれを修正して最終結果とする。
さらに、S46で特定した領域に係る情報を反射モデル利用部58に出力してもよい。これにより人の手など特定の対象物の像のおよその位置が判明するため、反射モデル利用部58は当該領域に処理対象を限定して、効率的に反射モデルによる材質特定を行える。参照光の照射を一時的かつ所定の短時間で終了させることにより、消費電力を増大させずに、材質特定の精度を向上させることができる。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる(S52のY)。
以上述べた本実施の形態によれば、撮影画像に写る被写体の材質を、反射モデルおよび参照光照射下の偏光度の少なくともいずれかにより特定する。前者の場合、撮影画像における輝度と、ステレオ画像などから被写空間における被写体の位置や姿勢、それに対する撮像面の位置や姿勢、および光源の位置を用いて、レンダリング方程式の逆問題を解くことにより、反射特性を取得し、それに対応する材質を特定する。この際、撮影画像における光源の像と、それからの反射光の像とを区別するため、偏光度によるしきい値判定を行う。
これにより、光源の像の位置を誤認することなく、正確にレンダリング方程式を立てることができ、被写体の材質を高精度に特定することができる。また、レンダリング方程式で得られる輝度値を、偏光画像の輝度とし、実際に得られた複数方位の偏光画像と比較することで、自然光の輝度を用いた場合より多くのパラメータから材質を特定でき、より精度を向上させることができる。
また、特定の材質で吸収されやすい波長帯の参照光を被写空間に照射し、その偏光度をしきい値判定することにより、当該材質を有する被写体の像を特定する。この手法は、表面で一旦吸収された光が内部で散乱し、拡散反射が支配的になる状況を意図的に作り出すものであり、照度や光源など被写空間の環境に対する頑健性が高い。したがって単独の処理でも所定の材質の対象物の像を高精度に特定できるとともに、上述の反射モデルを用いた材質特定処理と組み合わせることにより、処理の効率を上げたり、より精度を向上させたりすることができる。結果として、材質を介して対象物の像を正確に抽出したり、視野にある物を認識したりすることが高精度に行え、対象物の状態を導出したりそれを用いて情報処理を行ったりすることも精度よくできるようになる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 情報処理装置、 12 撮像装置、 16 表示装置、 23 CPU、 24 GPU、 26 メインメモリ、 50 撮影画像取得部、 52 画像データ記憶部、 54 材質特定部、 56 出力データ生成部、 58 反射モデル利用部、 60 参照光画像利用部、 62 空間情報取得部、 64 光源位置特定部、 66 材質特定部、 68 材質モデル記憶部、 70 自然光画像取得部、 72 偏光画像取得部、 74 参照光照射部、 78 通信部。
以上のように本発明は、ゲーム装置、携帯端末、パーソナルコンピュータ、ロボット、検品装置など各種情報処理装置と、それを含むシステムなどに利用可能である。

Claims (9)

  1. 被写体に照射された所定の波長帯の参照光が反射してなる、複数方位の偏光を撮影した偏光画像のデータを取得する撮影画像取得部と、
    前記偏光画像に基づき偏光度の分布を取得し、その範囲に基づき所定の材質を有する被写体の像を特定する材質特定部と、
    特定された像に応じたデータを出力する出力データ生成部と、
    を備えたことを特徴とする情報処理装置。
  2. 前記撮影画像取得部は赤外線の前記偏光画像を取得し、
    前記材質特定部は、前記偏光度が所定のしきい値より小さい領域を、人の皮膚が露出した部分の像として特定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記撮影画像取得部は、前記参照光が照射されていない期間の撮影画像のデータをさらに取得し、
    前記材質特定部は、当該撮影画像を用いて別途特定した前記被写体の像に係る情報を、前記参照光が反射してなる前記偏光画像に基づき特定した前記被写体の像に係る情報に基づき修正することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記撮影画像取得部は、前記材質特定部が前記参照光が照射されていない期間の撮影画像を用いて前記所定の材質を有する被写体の像を検出したとき、撮像装置に前記参照光の照射を要求することを特徴とする請求項3に記載の情報処理装置。
  5. 前記撮影画像取得部は、前記参照光の照射から反射光の検出までの時間に基づき算出した、被写体までの距離を表す距離画像のデータをさらに取得し、
    前記出力データ生成部は、前記距離画像のデータのうち、前記所定の材質を有する被写体の距離値を、所定の割合で縮小する修正を行うことを特徴とする請求項1から4のいずれかに記載の情報処理装置。
  6. 前記出力データ生成部は、前記偏光度の範囲によって、前記距離値を縮小する割合を異ならせることを特徴とする請求項5に記載の情報処理装置。
  7. 請求項1から6のいずれかに記載の情報処理装置と、
    前記情報処理装置からの要求に従い前記参照光を照射し、当該参照光が照射されている期間とそれ以外の期間を区別する情報を付加して、撮影した画像のデータを前記情報処理装置に送信する撮像装置と、
    を含む情報処理システム。
  8. 被写体に照射された所定の波長帯の参照光が反射してなる、複数方位の偏光を撮影した偏光画像のデータを取得するステップと、
    前記偏光画像に基づき偏光度の分布を取得し、その範囲に基づき所定の材質を有する被写体の像を特定するステップと、
    特定された像に応じたデータを出力するステップと、
    を含むことを特徴とする、情報処理装置による材質特定方法。
  9. 被写体に照射された所定の波長帯の参照光が反射してなる、複数方位の偏光を撮影した偏光画像のデータを取得する機能と、
    前記偏光画像に基づき偏光度の分布を取得し、その範囲に基づき所定の材質を有する被写体の像を特定する機能と、
    特定された像に応じたデータを出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
JP2019526065A 2017-06-29 2017-06-29 情報処理装置、情報処理システム、および被写体情報特定方法 Active JP6799155B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023947 WO2019003384A1 (ja) 2017-06-29 2017-06-29 情報処理装置、情報処理システム、および材質特定方法

Publications (2)

Publication Number Publication Date
JPWO2019003384A1 true JPWO2019003384A1 (ja) 2019-11-07
JP6799155B2 JP6799155B2 (ja) 2020-12-09

Family

ID=64741272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019526065A Active JP6799155B2 (ja) 2017-06-29 2017-06-29 情報処理装置、情報処理システム、および被写体情報特定方法

Country Status (3)

Country Link
US (1) US11710289B2 (ja)
JP (1) JP6799155B2 (ja)
WO (1) WO2019003384A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
US11276197B2 (en) 2018-05-08 2022-03-15 Sony Interactive Entertainment Inc. Information processing apparatus and subject information acquisition method
US11108966B2 (en) * 2018-05-08 2021-08-31 Sony Interactive Entertainment Inc. Information processing apparatus and subject information acquisition method
WO2020202695A1 (ja) * 2019-04-03 2020-10-08 ソニー株式会社 画像処理装置と情報生成装置およびその方法
US11431884B2 (en) * 2019-09-16 2022-08-30 Meta Platforms Technologies, Llc Polarization capture device for identifying feature of object
KR20210102458A (ko) * 2020-03-11 2021-08-19 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 정보를 취득하는 방법 및 장치
CN112464012B (zh) * 2020-10-31 2022-06-17 浙江工业大学 可自动筛选照片的景区自动拍照系统及景区自动拍照方法
CN112860360B (zh) * 2020-12-31 2023-02-24 上海米哈游天命科技有限公司 一种画面拍摄方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002718A (ja) * 2009-06-19 2011-01-06 Toshiba Corp 画像撮像装置
JP2011164061A (ja) * 2010-02-15 2011-08-25 Ricoh Co Ltd 透明体検出システム
JP2012004984A (ja) * 2010-06-18 2012-01-05 Sony Corp 画像処理装置、画像処理方法、プログラム、及び電子装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
WO2017056821A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報取得装置と情報取得方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2000102890A (ru) 1998-05-19 2002-03-27 Сони Компьютер Энтертейнмент Инк. (Jp) Устройство и способ обработки изображений и распространяемый носитель
US9597024B2 (en) * 2005-02-09 2017-03-21 Medici Instruments Llc Methods and apparatuses for noninvasive determinations of analytes
WO2011062279A1 (ja) * 2009-11-20 2011-05-26 独立行政法人産業技術総合研究所 欠陥を検査する方法、欠陥の検査を行ったウエハまたはそのウエハを用いて製造された半導体素子、ウエハまたは半導体素子の品質管理方法及び欠陥検査装置
WO2011099404A1 (en) * 2010-02-15 2011-08-18 Ricoh Company, Ltd. Transparent object detection system and transparent flat plate detection system
JP5682437B2 (ja) 2010-09-07 2015-03-11 ソニー株式会社 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
US20140300897A1 (en) * 2013-04-05 2014-10-09 Chemimage Corporation Security screening systems and methods
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002718A (ja) * 2009-06-19 2011-01-06 Toshiba Corp 画像撮像装置
JP2011164061A (ja) * 2010-02-15 2011-08-25 Ricoh Co Ltd 透明体検出システム
JP2012004984A (ja) * 2010-06-18 2012-01-05 Sony Corp 画像処理装置、画像処理方法、プログラム、及び電子装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
WO2017056821A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報取得装置と情報取得方法

Also Published As

Publication number Publication date
JP6799155B2 (ja) 2020-12-09
US11710289B2 (en) 2023-07-25
WO2019003384A1 (ja) 2019-01-03
US20200175297A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP6799155B2 (ja) 情報処理装置、情報処理システム、および被写体情報特定方法
JP6615723B2 (ja) 情報処理装置および対象物認識方法
JP6697986B2 (ja) 情報処理装置および画像領域分割方法
JP6799154B2 (ja) 情報処理装置および材質特定方法
US9542755B2 (en) Image processor and image processing method
US20210342578A1 (en) Polarization Imaging for Facial Recognition Enhancement System and Method
TW201915831A (zh) 對象識別方法
WO2015122079A1 (ja) 情報処理装置および情報処理方法
JP6073858B2 (ja) 顔の位置検出
JP7039616B2 (ja) 情報処理装置および表面粗さ取得方法
JP6934575B2 (ja) 情報処理装置および物体検出方法
JP6851475B2 (ja) 情報処理装置および情報処理方法
JP6783928B2 (ja) 情報処理装置および法線情報取得方法
WO2022259466A1 (ja) 画像処理装置およびマテリアル情報取得方法
JP6165650B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201119

R150 Certificate of patent or registration of utility model

Ref document number: 6799155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150