WO2020065717A1

WO2020065717A1 - 情報処理装置、情報処理システム、および物体情報取得方法

Info

Publication number: WO2020065717A1
Application number: PCT/JP2018/035415
Authority: WO
Inventors: 和田　信也; 隆行石田
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2018-09-25
Filing date: 2018-09-25
Publication date: 2020-04-02

Abstract

情報処理装置１０の画像取得部５０は、物体を撮影してなる複数方位の偏光画像を取得する。画像解析部５４は、撮影画像に写る物体表面の法線ベクトルを取得する。把持位置取得部６４は、法線ベクトルと逆方向に力を加えたときのつり合いに基づき、ロボットが物体を把持する際の適切な把持位置を取得する。物性取得部６６は、ロボットが物体を把持した状態における、重力との力のつり合いなどに基づき、物体の質量、摩擦係数、柔らかさを取得する。衝突姿勢取得部６８は、ロボットが物体に衝突したときの跳ね返りの方向を予測し、それに応じてロボットがとるべき姿勢を取得する。出力データ生成部５８は、取得した各種情報に基づきデータを生成し出力する。

Description

情報処理装置、情報処理システム、および物体情報取得方法

　本発明は、撮影画像を用いて物体の情報を取得する情報処理装置および物体情報取得方法に関する。

　物流や製造ラインなど様々な分野でロボットが活用されている。単純作業を行う従来のロボットから、様々な状況変化に対応可能なロボットへと進化が進み、これまで以上の広い分野での導入が見込まれている。

　ロボットを臨機応変に動作させるには、撮影画像を用いた被写空間の認識技術が有効である。しかしながらロボットに物を把持させたり運搬させたりする場合、限られた視点からの見かけの形状のみから、どのように把持するのが最適であるかを導出することは難しい。また見かけの形状のみから、質量、摩擦係数、柔らかさなどの物性を取得することも困難である。したがって、未知の物体でもそれらの特性を容易に取得し、適切に扱うことのできる技術が求められている。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて物体の特性を容易に取得できる技術を提供することにある。本発明の別の目的は、そのような特性に基づきロボットを適切に動作させる技術を提供することにある。

　本発明のある態様は情報処理装置に関する。この情報処理装置は、物体を撮影してなる複数方位の偏光画像に基づき、当該物体表面の法線ベクトルを取得する画像解析部と、法線ベクトルに基づき、物体表面に加える外力の釣り合いを計算し、それに基づき物体に係る情報を取得する物体情報取得部と、物体に係る情報に基づき出力すべきデータを生成して出力する出力データ生成部と、を備えたことを特徴とする。

　本発明の別の態様は情報処理システムに関する。この情報処理システムは、物体を把持する機構を有するロボットと、ロボットを制御する情報処理装置と、を含み、情報処理装置は、物体を撮影してなる複数方位の偏光画像に基づき、当該物体表面の法線ベクトルを取得する画像解析部と、物体表面の複数の位置に、法線ベクトルと逆方向の力を加えたときにその力がつり合い、かつ力のモーメントが０となる当該位置を、適切な把持位置として決定する物体情報取得部と、適切な把持位置で物体を把持するように制御する信号をロボットに送信する出力データ生成部と、を備えたことを特徴とする。

　本発明のさらに別の態様は物体情報取得方法に関する。この物体情報取得方法は情報処理装置が、物体を撮影してなる複数方位の偏光画像に基づき、当該物体表面の法線ベクトルを取得するステップと、法線ベクトルに基づき、物体表面に加える外力の釣り合いを計算し、それに基づき物体に係る情報を取得するステップと、物体に係る情報に基づき出力すべきデータを生成して出力するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、撮影画像を用いて物体の特性を容易に取得できる。また、当該特性に基づきロボットを適切に動作させることができる。

本実施の形態における情報処理システムの構成例を示す図である。本実施の形態における情報処理装置の内部回路構成を示す図である。本実施の形態における情報処理装置の機能ブロックの構成を示す図である。本実施の形態の撮像装置に導入できる、偏光子層を有する撮像素子の構造例を示す図である。本実施の形態において物体情報取得部の把持位置取得部が、物体の最適な把持位置を決定する規則を説明するための図である。本実施の形態における物体情報取得部の把持位置取得部が、物体の最適な把持位置を決定する別の規則を説明するための図である。本実施の形態における出力データ生成部が、ユーザに適切な把持位置を提示するために生成する表示画像を例示する図である。本実施の形態における物体情報取得部の物性取得部が、物体の質量を取得する手法を説明するための図である。本実施の形態における物体情報取得部の物性取得部が、物体の摩擦係数を取得する手法を説明するための図である。本実施の形態における物体情報取得部の物性取得部が、物体の柔らかさを取得する手法を説明するための図である。本実施の形態における物体情報取得部の把持位置取得部が、物体の柔らかさを考慮して把持位置を決定する手法を説明するための図である。本実施の形態における衝突姿勢取得部が、物体に衝突するロボットの姿勢を適切に制御する手法を説明するための図である。本実施の形態において、情報処理装置が物体とロボットとのインタラクションに基づく情報を出力する処理手順を示すフローチャートである。

　図１は、本実施の形態における情報処理システムの構成例を示している。このシステムは、物体８を把持可能なロボット１８、物体８を含む空間を撮影する撮像装置１２、撮像装置１２が撮影した画像を解析することにより、物体８に係る情報を取得したりロボット１８の動作計画を立てたりする情報処理装置１０、情報処理装置１０の処理の結果や処理に必要な情報を得るための画像を表示させる表示装置１６を含む。

　情報処理装置１０は物体８に係る情報として、ロボット１８が把持する際の最適な把持位置（力点）、質量、摩擦係数、柔らかさの少なくともいずれかを取得する。最適な把持位置を取得する場合、情報処理装置１０はその結果を表示装置１６に表示させることにより、ユーザがそれを見ながら図示しないコントローラでロボット１８を遠隔操作し、物体８を把持できるようにする。あるいは情報処理装置１０はロボット１８に直接、信号を送信することにより、ロボット１８が物体８を適切に把持できるように制御する。

　物体の質量、摩擦係数、柔らかさを取得する場合、情報処理装置１０は取得した結果を物体８の情報として表示装置１６に表示させる。情報処理装置１０は、これらのパラメータを取得する目的でも、ロボット１８に物体８を把持させる。この場合も上述のとおり、ユーザがロボット１８に物体８を把持させるように、表示画像を介して促してもよいし、情報処理装置１０が直接、ロボット１８を制御してもよい。情報処理装置１０は得られたパラメータを利用して、より適切な把持位置を求め直してもよい。

　あるいは取得したパラメータに基づき物体を選別したり検品したりしてもよい。この場合、情報処理システムは検品システム、物体選別システムとして実現される。このように本実施の形態の情報処理システムの目的は特に限定されず、それによって情報処理装置１０が出力するデータも様々となる。例えば情報処理装置１０がロボット１８を直接制御し、ユーザに情報を提示する必要がなければ表示装置１６をシステムに含めなくてもよい。またロボット１８、撮像装置１２、情報処理装置１０、表示装置１６の形状は図示するものに限らない。

　例えばロボット１８を、撮像装置１２、情報処理装置１０を備える装置としてもよい。またロボット１８は、２点以上の位置で挟み込むような力を加えることにより物体８を把持する、いわゆるロボットハンドを有している限りその形状は限定されず、図示するようにロボットハンドを主体とする形状でもよいし、頭、胴体、足なども備えた人型のロボットなどでもよい。例えばロボット１８の底面に車輪を設けるなどして走行可能なロボットとしてもよい。この場合、情報処理装置１０はさらに、ロボット１８の物体８への衝突を予測し、取得した物体８の特性に従って適切な姿勢をとるようロボット１８を制御してもよい。

　以上述べた情報処理装置１０の機能は、そのうちのいずれか１つのみを実現してもよいし、２つ以上を組み合わせて実現してもよい。情報処理装置１０と、撮像装置１２および表示装置１６は、有線または無線で、既存のプロトコルにより通信を確立する。ロボット１８を直接制御する場合、情報処理装置１０はロボット１８とも通信を確立する。

　図２は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ロボット１８や表示装置１６へデータを出力する出力部３６、撮像装置１２からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

　ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。

　そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なお上述のとおり本実施の形態には様々な用途が考えられる。そのため用途に応じた処理結果の出力形態によって、図示する構成の一部を省略したり別の回路に置き換えたりしてよい。

　図３は、本実施の形態における情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図２で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各主回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮影画像を解析し物体８に係る情報を取得する画像解析部５４、ロボット１８が加える外力を加味して物体８に係る情報を取得する物体情報取得部５６、物体８への衝突に際しロボット１８の適切な姿勢を決定する衝突姿勢取得部６８、および出力すべきデータを生成し出力する出力データ生成部５８を含む。

　画像取得部５０は図２の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から撮影画像のデータを取得する。本実施の形態では被写体表面の法線ベクトルを取得するため、撮像装置１２は少なくとも被写空間の３方位の偏光画像を撮影し、画像取得部５０は当該偏光画像のデータを取得する。偏光画像は、撮像装置１２の前面に配置した直線偏光板を回転させ、所定の方向で停止させる都度、撮影することにより取得してもよいし、後述するように偏光子層を備えた撮像素子を含むイメージセンサを導入することにより取得してもよい。後者の場合、一度の撮影で複数方位の偏光画像を取得できる。

　出力する表示画像に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、撮像装置１２が一般的な自然光のカラー画像も同時に撮影することにより、画像取得部５０は当該画像のデータも取得してよい。ただし自然光の画像は、複数方位の偏光画像同士を加算することによっても得られる。また撮像装置１２を、既知の間隔で設けた２つのカメラからなるステレオカメラとし、画像取得部５０は、それらのカメラが撮影した左右に視差を有するステレオ画像のデータを取得してもよい。

　画像データ記憶部５２はメインメモリ２６で実現され、画像取得部５０が取得した撮影画像のデータを順次格納する。このとき画像取得部５０は後段の処理における必要性に応じて、偏光画像から自然光の画像を生成したり、カラー画像から輝度画像を生成したりして、画像データ記憶部５２に適宜格納してよい。画像解析部５４は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、撮影画像を解析することにより被写体に係る情報を取得する。

　より詳細には画像解析部５４は、像検出部６０と法線取得部６２を含む。像検出部６０は撮影画像に写っている被写体のうち対象となる物体８の像を検出する。ここで対象となる物体とは、基本的にはロボット１８が把持すべき物、または把持している物である。把持すべき物は例えば、ロボット１８に最も近い物、表示装置１６に表示させた撮影画像のうちユーザが指定した物、特定のバーコードやタグのついた物、所定の色、形状、サイズを有する物など、所定の規則で被写体から選択した物である。

　ロボット１８からの距離を基準として物体の像を検出する場合、像検出部６０は例えば、画像データ記憶部５２に格納されたステレオ画像を用いて被写体の３次元空間での位置を特定する。撮像装置１２をロボット１８とは別の個体として設ける場合、当該被写体にはロボット１８も含まれる。そして３次元空間での距離に基づき、ロボット１８からの距離が所定の条件を満たす物体の像を特定する。ステレオ画像から対応点を抽出し、画像上でのずれ量から三角測量の原理で対象物までの距離を取得する手法は一般的に知られている。

　ユーザの指定に基づく場合、像検出部６０は撮影画像を表示装置１６に表示させ、図示しない入力装置を介した指定操作を受け付ける。このとき表示する画像は、複数方位の偏光画像を加算して生成したものでもよいし、別途撮影された自然光の画像でもよい。タグや色、形状など外観から対象物を決定する場合は、例えばそのテンプレート画像を準備しておき一般的なマッチング処理により像を検出する。

　法線取得部６２は、偏光画像を用いて、像検出部６０が検出した物体８の表面の法線ベクトルを取得する。偏光強度の方位に対する振る舞いが被写体からの光の反射角度に依存することを利用して、被写体表面の法線を求める手法は一般的に知られている。詳細は後に述べる。

　物体情報取得部５６は図２のＣＰＵ２３、メインメモリ２６などで実現され、ロボット１８が物体８を把持することによって加わる力のつり合いに基づき、物体８の特性を取得する。より詳細には物体情報取得部５６は、把持位置取得部６４と物性取得部６６を含む。把持位置取得部６４は、物体８の法線ベクトルと逆方向に力を加えたときの力のつり合いがとれるような力点の位置を、適切な把持位置として求める。力が加わることにより対象物が変形する場合、把持位置取得部６４はその変形の様子から、把持が持続可能か否かを判定し、持続できないと判定した場合は再度、適切な把持位置を取得し直す。

　物性取得部６６は、ロボット１８が物体８を把持している状態における力のつり合いや変形の様子に基づき、物体８の質量、摩擦係数、柔らかさ、といった物性の少なくともいずれかを取得する。すなわち把持位置取得部６４が取得した適切な把持位置で、法線ベクトルと逆方向の力で物体８を把持させたとき、重力と加えた力とのつり合いを表す方程式を立てることにより、物体８の質量や摩擦係数を求める。

　また把持したときに加えた力の大きさと物体８の変形量に基づき、物体８の柔らかさを求める。ロボット１８が物体８に加える力は、情報処理装置１０自体が制御することにより既知としてもよいし、ロボットハンドの先端に設けた圧力センサの値から導出してもよい。後者の場合、物体情報取得部５６は、ロボット１８からセンサの計測値を取得する。

　衝突姿勢取得部６８は、物体情報取得部５６が取得した物体８の法線ベクトルに基づき、ロボット１８が移動して物体８に衝突したときの跳ね返りの方向、転倒の方向を予測する。そしてロボット１８が実際に衝突、転倒しても、ダメージが最小限に抑えられるように、衝突に際しとるべき姿勢を決定する。例えば、センサ、回路、関節などロボット１８が有する重要な機能を備える部位が転倒により破壊されないように、その他の部位から転倒するような姿勢をとらせる。あるいはユーザから見て面白いと感じるような転び方となるような姿勢をとらせることにより、娯楽性を演出してもよい。

　出力データ生成部５８は、図２のＣＰＵ２３、ＧＰＵ２４、出力部３６、通信部３２などで実現し、物体情報取得部５６や衝突姿勢取得部６８が取得した情報に基づきロボット１８への制御信号や、ユーザに提示する画像や音声など、出力すべきデータを生成する。例えば出力データ生成部５８は、把持位置取得部６４が取得した、適切な把持位置で物体８を把持させる制御信号を生成する。または、衝突姿勢取得部６８が決定した姿勢をとらせる制御信号を生成する。

　あるいはユーザがロボット１８を遠隔操作している場合に、出力データ生成部５８は、物体８の像とともに適切な把持位置を示す表示画像を生成する。出力データ生成部５８はまた、取得された物体８の物性やそれに基づく識別結果などを示す画像や音声、それらの情報を利用してゲームなどを進捗させた結果を表す画像や音声などを生成してもよい。出力データ生成部５８は生成した制御信号をロボット１８に、画像や音声のデータを表示装置１６に、適宜出力する。

　なお情報処理装置１０は、図示する全ての機能を備えてもよいし、使用目的によって一部の機能のみを備えてもよい。例えばロボットに物体を把持させたり運搬させたりすることのみで足りる場合、物性取得部６６や衝突姿勢取得部６８を省略できる。逆に物体を把持したり、物性を取得したりする必要がなければ、物体情報取得部５６を省略してもよい。ただし適切な把持位置、物体の物性、ロボットが物体に衝突したときの最適な姿勢の情報を全て用いて、物体とのインタラクションにおいてロボットを適切に動作させられるようにすることで、各種業務やエンタテインメントの分野で幅広くロボットを活用できるようになる。

　図４は、撮像装置１２に導入できる、偏光子層を有する撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。

　透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。

　同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。

　各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。

　同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の主軸角度とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。

　また同一色の偏光画像どうしを演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などにも開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば本実施の形態における対象物の状態の特定には基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは上述のとおり、一般的なカメラの前面に偏光板を配置した構造としてもよい。

　偏光画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９－５８５３３号公報などに開示されており、本実施の形態ではそれを適用してよい。以下、法線取得部６２が偏光画像を用いて法線ベクトルを取得する手法の概要を説明する。

　まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

　ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

　物体表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉ_ｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉ_ｍａｘを与える主軸角度である。

　天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

　ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

　なお観測される光において鏡面反射が支配的か拡散反射が支配的かは、想定される物体８の材質などに基づきあらかじめ設定しておいてもよいし、偏光度ρに基づき推定してもよい。鏡面反射が支配的な場合、偏光度ρが高くなりやすいことが知られている。したがって偏光度ρにしきい値を設定しておき、それを超える偏光度が得られる場合は鏡面反射、それ以外を拡散反射と判定することで、方位角αおよび天頂角θを求めてもよい。

　図５は、物体情報取得部５６の把持位置取得部６４が、物体の最適な把持位置を決定する規則を説明するための図である。前提として画像解析部５４の法線取得部６２は、同図（ａ）に点線矢印で示すように、物体７０の法線ベクトルの分布を上述のとおり取得している。なお図では離散的な矢印を示しているが、実際には撮影された物体の像を構成する画素単位で法線ベクトルを取得できる。また法線ベクトルは３次元のパラメータである。

　把持位置取得部６４は、ロボット１８のロボットハンドにより物体７０を２点で把持する場合の適切な把持位置を、次のように決定する。
（１）法線ベクトルをベクトルの向きと逆方向に延長する
（２）延長した線が同一直線を構成する法線ベクトルの対を検出する
（３）当該対の法線ベクトルを有する、物体表面上の２点を「適切な把持位置」とする

　例えば同図（ｂ）において、物体７０上の点７２ａ、７２ｂは、法線ベクトルを延長した線が直線７４を構成する。したがって当該２点７２ａ、７２ｂは「適切な把持位置」である。当該２点７２ａ、７２ｂに、太線矢印で示すように法線ベクトルと逆向きのベクトルである力Ｆ１、Ｆ２を、
　Ｆ１＋Ｆ２＝０
となるような大きさで加えると、作用線が重なることにより力がつり合い、かつ力のモーメントが０となるため安定した把持が可能となる。力Ｆ１、Ｆ２の向きは逆方向であるため、｜Ｆ１｜＝｜Ｆ２｜とすることにより上記式が満たされる。なお｜Ｆ１｜の値は、物体が滑り落ちないような十分な静止摩擦力が発生する大きさとする。

　図示する例では、点７２ａ、７２ｂを含む２つ面上で対向する位置の対であれば、いずれを適切な把持位置としてもよいことになる。一方、それらの面に隣接する平行でない面では、どの位置の対（例えば点７６ａ、７６ｂ）であっても法線の延長線が一直線にならないため、それらの面での把持はバランスが悪いことがわかる。図では物体７０の輪郭を２次元で示しているが、法線ベクトルは実際には３次元で得られるため、３次元の構造として面が平行であるか否かを特定できる。このような情報は、一般的な撮影画像における像の形状のみからは特定しづらい。

　図６は、物体情報取得部５６の把持位置取得部６４が、物体の最適な把持位置を決定する別の規則を説明するための図である。図５が２点での把持を前提としたのに対し、図６は３点での把持を想定している。この場合も画像解析部５４の法線取得部６２は、同図（ａ）に点線矢印で示すように、物体８０の法線ベクトルの分布を取得している。

　把持位置取得部６４は、ロボット１８のロボットハンドにより物体８０を３点で把持する場合の適切な把持位置を、次のように決定する。
（１）法線ベクトルをベクトルの向きと逆方向に延長する
（２）延長した線が一点で交わる３つの法線ベクトルの組を検出する
（３）当該組の法線ベクトルを有する、物体表面上の３点を「適切な把持位置」とする

　ただし（２）は、３つの法線ベクトルのうち少なくとも２つの法線ベクトルの内積が負であることを条件として組を決定する。例えば同図（ｂ）において、物体８０上の点８２ａ、８２ｂ、８２ｃは、法線ベクトルを延長した線が点８４において交わり、点８２ｃの法線ベクトルと、点８２ａ、８２ｂの法線ベクトルの内積はそれぞれ負の値となる。したがって当該３点８２ａ、８２ｂ、８２ｃは「適切な把持位置」である。

　当該３点８２ａ、８２ｂ、８２ｃに、太線矢印で示すように法線ベクトルと逆向きのベクトルである力Ｆ１、Ｆ２、Ｆ３を、
　Ｆ１＋Ｆ２＋Ｆ３＝０
となるような大きさで加えると、作用線が１点で交わることにより力がつり合い、かつ力のモーメントが０となるため安定した把持が可能となる。把持する点が４点以上の場合も同様の規則で適切な把持位置を決定できる。

　図７は、出力データ生成部５８がユーザに適切な把持位置を提示するために生成する表示画像を例示している。この例では把持位置提示画像９０は、物体９２を含む撮影画像に、適切な把持位置を示す図形９４ａ、９４ｂを重畳表示させた画像である。図示する例では物体９２は飛行機のおもちゃであり、その撮影画像に、把持位置取得部６４が決定した２点の把持位置で両側から把持するのが適切であることを示す矢印を図形９４ａ、９４ｂとして描画している。

　上述のように、適切な把持位置と、そこでの法線ベクトルの逆ベクトルである把持方向は３次元の情報である。したがって出力データ生成部５８は、当該逆ベクトルを撮影画像の平面に射影することで図形９４ａ、９４ｂを描画する。図示するように図形９４ａ、９４ｂを矢印とすることで、把持する位置や方向を直感的に把握させることができる。ただし図形９４ａ、９４ｂの形状は図示するものに限らない。

　また３点以上の把持位置を取得した場合は当然、図形もその数だけ描画する。表示装置１６に把持位置提示画像９０を表示させることにより、ユーザがコントローラ等を介してロボット１８を動かし、適切な位置で物体８を把持できるようにする。これにより物体８を安定的に把持して持ち上げたり運搬したりすることができる。ただし上述のとおり、情報処理装置１０は把持位置提示画像９０を生成することなく、ロボット１８を直接制御してもよい。

　図８は、物体情報取得部５６の物性取得部６６が、物体の質量を取得する手法を説明するための図である。まずロボット１８には、把持位置取得部６４が上述の規則により決定した把持位置で、法線ベクトルと逆方向の力を加えることにより物体を把持させる。ロボットの制御は、図７で示した把持位置提示画像９０を表示装置１６に表示させることによりユーザに促してもよいし、情報処理装置１０が自ら行ってもよい。

　図示する例は、図６と同様、３点の適切な把持位置に、法線ベクトルと逆向きの力Ｆ１、Ｆ２、Ｆ３を加えることにより、物体８０を把持した状態を示している。ここで図の下方向を重力の方向とすると、物体８０にはロボット１８が把持する力Ｆ１、Ｆ２、Ｆ３の他に重力ｍｇが加わっている。物体８０が静止している場合や等速運動している場合、力Ｆ１、Ｆ２、Ｆ３は、重力ｍｇとつり合った状態であるため、次の式が成り立つ。
　Ｆ１＋Ｆ２＋Ｆ３＋ｍｇ＝０
物体８０が加速度運動している場合は、次の式が成り立つ。
　Ｆ１＋Ｆ２＋Ｆ３＋ｍｇ＋ｍａ＝０

　ここでｍは物体８０の質量、ｇは重力加速度ベクトルである。またａは物体８０の加速度ベクトルであり、撮影画像上の像の変位から導出できる。力Ｆ１、Ｆ２、Ｆ３の大きさは、ロボットハンドの先端に設けた圧力センサ、あるいはロボットハンドを駆動させるモーターのトルクなどから取得できる。また重力加速度の方向は、ロボットハンド内部に設けた加速度センサなどにより取得できる。これらの情報により、ベクトルＦ１、Ｆ２、Ｆ３、ｇ、ａを既知として上記方程式を解くことにより、物体８０の質量ｍを取得できる。

　図９は、物体情報取得部５６の物性取得部６６が、物体の摩擦係数を取得する手法を説明するための図である。まずロボット１８には、把持位置取得部６４が上述の規則により決定した２点の把持位置で、法線ベクトルと逆方向の力を加えることにより物体を把持させる。ただしこの場合は、把持位置を結ぶ直線７４が、重力の方向と垂直となるような把持位置を選択する。図示する例は、図５と同様、物体７０を力Ｆ１、Ｆ２で把持した状態を示している。

　この場合、把持により加えられる力｜Ｆ１｜＝｜Ｆ２｜が物体表面に対する垂直抗力となるため、静止摩擦係数をμとして静止摩擦力はμ・｜Ｆ１｜で与えられる。力Ｆ１、Ｆ２を徐々に弱めていくと、摩擦力が弱まることによりいずれは物体７０が落下する。落下直前における静止摩擦力は重力ｍｇとつり合った状態であるため、次の式が成り立つ。
　μ・｜Ｆ１｜＝ｍｇ

　あるいは物体７０が滑り落ちている期間、等速運動している場合は動摩擦力と重力ｍｇが釣り合った状態であるため、μ’を動摩擦係数として次の式が成り立つ。
　μ’・｜Ｆ１｜＝ｍｇ
物体が加速度運動している場合は、加速度ベクトルをａとして次の式が成り立つ。
　μ’・｜Ｆ１｜－ｍｇ＝ｍａ
物体７０の質量ｍを既知として、物体７０のいずれかの状態に対応する上記方程式を解くことにより、物体７０の静止摩擦係数μまたは動摩擦係数μ’を取得できる。

　物体７０の質量ｍは、図８を参照して説明したように求めてもよいし、形状と質量を対応づけたデータベースを準備しておくことにより、撮影画像上の像の形状に基づき特定してもよい。あるいは計測器などを用いて別途計測しておいてもよい。物体の質量を計測する手段と比較し、当該物体の摩擦係数を定量的に求める手段は少なく、本実施の形態はその点で特に有効である。物性取得部６６が取得した質量ｍや摩擦係数μ、μ’は、物体を把持したり運搬したりするためにロボットが加える把持力を決定するのに用いてもよい。定性的には質量が大きいほど、また摩擦係数が小さいほど、物体を把持させる力を大きくすることで安定性が保たれる。

　図１０は、物体情報取得部５６の物性取得部６６が、物体の柔らかさを取得する手法を説明するための図である。この場合もロボット１８には、把持位置取得部６４が上述の規則により決定した２点の把持位置で、法線ベクトルと逆方向の力を加えることにより物体を把持させる。すなわち図の（ａ）に示すように、物体１３０ａの法線ベクトルｎ１、ｎ２と逆方向に、同じ大きさの力Ｆ１、Ｆ２を加える。

　力Ｆ１、Ｆ２を加え続けると、（ｂ）に示すように、物体１３０ｂが柔らかさに応じて変形する。撮像装置１２がその様子を動画像として撮影することにより、物性取得部６６は当該変形を検出したうえ定量的に評価できる。例えば像検出部６０が検出する物体１３０ｂの像において、把持位置での輪郭の変化量を取得する。あるいは法線取得部６２が取得する物体１３０ｂの法線ベクトルのうち、把持位置から所定範囲における法線ベクトルの分布の変化を取得する。例えば当該所定範囲における位置ｉ（１≦ｉ≦Ｎ）の把持前の法線ベクトルをｎ_ｉ、把持後の法線ベクトルをｍ_ｉとし、把持によって生じた分布のばらつきの度合いを示すパラメータσを次のように計算する。

　なお法線ベクトルｎ_ｉ、ｍ_ｉは長さ１に正規化されているとする。σの値が大きいほど、把持による法線ベクトルの変化、ひいては物体１３０ｂの変形が大きいといえる。物性取得部６６は、輪郭の変化量および法線ベクトル分布のばらつき度合いσの少なくともいずれかを、物体１３０ｂの変形量として求める。そして加えた力｜Ｆ１｜＝｜Ｆ２｜に応じて当該変形量を正規化することにより、柔らかさを表すパラメータを導出する。例えば基準とする物体について、標準的な力を加えたときの変形量を測定し、それを１とした場合の割合として柔らかさを数値化する。

　物体の柔らかさは把持の安定性にも影響を与える。したがって把持位置取得部６４は、物体の把持後の変形を踏まえて、より適切な把持位置を求めるようにしてもよい。図１１は、物体情報取得部５６の把持位置取得部６４が、物体の柔らかさを考慮して把持位置を決定する手法を説明するための図である。（ａ）に示すように、図１０と同じ物体１３０ａを、法線ベクトルｎ１、ｎ２と逆方向の力Ｆ１、Ｆ２を加え把持したとする。しかし図１１の例では、（ｂ）、（ｃ）に示すように把持位置が適切でないことから、変形により力のつり合いが崩れている。

　すなわち物体１３０ａから１３０ｃ、１３０ｄと変形していくことで、把持位置から所定範囲における法線ベクトルの平均ベクトルが（ｎ１，ｎ２）から（ｍ１，ｍ２）、（ｍ１’，ｍ２’）と変化する。そのため当初に適切な把持位置を取得したときに達成した力のつり合いが崩れて安定性を失い、場合によっては物体１３０ｄが落下することも考えられる。一方、図１０に示す例では、物体が変形しても、法線ベクトルの平均ベクトルが変化しないため、力のつり合いは保たれ、そのまま持ち上げ運搬しても安定性を維持できる。

　そこで把持位置取得部６４は、把持位置から所定範囲における法線ベクトルの平均ベクトルを把持後にも監視することにより、安定して把持状態を維持できるか否かを判定する。例えば当該平均ベクトルの変化がしきい値を超える場合、安定した把持が困難と判定する。このとき把持位置取得部６４は、その旨を示す画像や音声を提示してユーザに把持状態からの解放を促す。あるいはロボット１８に直接制御信号を送ることにより、物体１３０ｄを把持状態から解放させる。そして上記規則により別の位置で適切な把持位置を決定し直し、画像や音声でユーザに提示したり、制御信号によりロボット１８に当該位置で把持させたりする。

　これにより、例えば図１０に示すような把持位置を決定すれば、物体１３０ａを安定的に把持し持ち上げたり運搬したりすることができる。なお把持位置取得部６４は、図１０のような適切な把持位置を取得できるまで、把持位置を変化させて法線ベクトルの変化に基づく安定性の評価を繰り返してよい。

　図１２は衝突姿勢取得部６８が、物体に衝突するロボットの姿勢を適切に制御する手法を説明するための図である。この態様ではロボット１４０ａは、少なくとも情報処理装置１０が出力する制御信号により姿勢を変化させる機構を有する。またロボット１４０ａは、ユーザによるコントローラなどからの制御、または情報処理装置１０による制御により移動する機構を有する。これまで述べたように物体を把持する機構も有していてよい。

　ロボット１４０ａを移動させる目的は特に限定されない。すなわち物体を運搬するなど作業を目的としてもよいし、ゲームなど娯楽を提供することを目的としてもよい。このような環境において、衝突姿勢取得部６８は、像検出部６０による検出結果に基づき、ロボット１４０ａの進行方向に物体１４２が存在することを検出する。物体１４２は一時的に置かれた物でもよいし壁や家具など定常的に存在する物でもよい。あるいは他のロボットでもよい。すなわち物体１４２の大きさや形状は限定されない。

　像検出部６０が動画像から被写体の像を検出し続けることにより、衝突姿勢取得部６８は、ロボット１４０ａと物体１４２の位置関係を取得していき、それに基づき衝突する時刻と衝突位置１４４を予測する。一方、ロボット１４０ａが近づいている物体１４２の法線ベクトルの分布を、法線取得部６２から取得する。そして衝突姿勢取得部６８は、予測した衝突位置１４４における法線ベクトルｎに基づき、ロボット１４０ａが衝突後に跳ね返される方向、ひいてはロボット１４０ｂがどちら向きに転倒するかをさらに予測する。具体的には衝突する方向に対し、法線ベクトルｎに対称に跳ね返されると予測する。

　そして衝突姿勢取得部６８は、予測した方向に跳ね返されたロボット１４０ｂがとるべき姿勢を決定する。例えば衝突の衝撃により転倒した場合に、ロボット１４０ｂの機能上、重要な部位への衝撃が低くなるような姿勢を決定する。当該部位として例えば、カメラなどのセンサや集積回路を内蔵する部分などが考えられる。そのような部位が転倒方向にある場合、それ以外の部位を当該方向に移動させた姿勢をとるなどして、最初に床にぶつかるのを回避させる。図示する例ではロボットアーム１４８を床側に向けることによりロボット１４０ｂの頭部１４６への衝撃を和らげている。このとき同時に、頭部１４６の角度を調整して床からの距離をより離すようにしてもよい。

　あるいは跳ね返された方向に回転するようにしたり、床とのインタラクションにより特有のポーズをとらせたりすることにより、ユーザがその様子を楽しめるようにしてもよい。このように、衝突姿勢取得部６８が決定するロボットの姿勢は様々に考えられる。跳ね返される方向によってどのような姿勢をとるべきか、それに応じてどのような制御信号を送信すべきかを、あらかじめ実験などにより求めておくことでデータベースとして準備する。

　そして衝突姿勢取得部６８は、実際のロボット１４０ａの衝突方向と物体１４２の法線ベクトルｎとの関係に基づき跳ね返る方向を推定し、それに基づきデータベースを参照することにより適切な制御信号を取得する。そして出力データ生成部５８を介してロボット１８に送信することにより、ロボット１４０ｂに適切な姿勢をとらせる。適切な姿勢をとらせるタイミングは、衝突直前、衝突時、衝突直後のいずれのタイミングでもよい。

　次にこれまで述べた構成によって実現できる情報処理装置１０の動作について説明する。図１３は、情報処理装置１０が物体とロボットとのインタラクションに基づく情報を出力する処理手順を示すフローチャートである。まず画像取得部５０は撮像装置１２から少なくとも複数方位の偏光画像を取得する（Ｓ１０）。以後、所定の頻度で画像の取得を続行する。画像解析部５４はロボット１８から最も近い物体など所定の規則で選択した物体の像を検出し、その法線ベクトルの分布を取得する（Ｓ１２）。

　次に物体情報取得部５６または衝突姿勢取得部６８は、物体の法線ベクトルを利用してロボット１８などにより加えられる外力のつり合いを計算する（Ｓ１４）。具体的には把持位置取得部６４は、法線ベクトルと逆方向に力を加えたときに力がつり合うような位置を取得する。また実際に把持した際の物体の変形を検出し、必要に応じてより適切な把持位置を取得し直す。また物性取得部６６は、把持により加わる力と重力とのバランスに基づき、物体の質量あるいは摩擦係数を取得する。または把持したときの変形量に基づき物体の柔らかさを取得する。

　また衝突姿勢取得部６８は、ロボット１８が物体に衝突する位置や跳ね返り方向を予測し、適切な姿勢をとれるような制御信号を取得する。出力データ生成部５８は、そのように力のつり合いに基づき得られた情報に基づき出力データを生成し出力する（Ｓ１６）。具体的には適切な把持位置を表す画像や音声を生成し表示装置１６に出力したり、当該把持位置で物体を把持するように制御する信号をロボット１８に送信したりする。また物体の質量、摩擦係数、柔らかさなどを表す画像、それらのパラメータを利用して情報処理を行った結果を表す画像などを生成し表示装置１６に出力する。

　あるいは衝突時に適切な姿勢をとらせるための制御信号をロボット１８に送信する。以後、必要なタイミングでＳ１２からＳ１６の処理を繰り返す（Ｓ１８のＮ）。例えばコンベアで流れてくる物体を順次対象とする場合、次の物体がロボット１８近づく都度、Ｓ１２からＳ１６の処理を実施することにより、物体を次々に把持したりその物性を取得したりできる。またロボットと物体との距離が所定値以下となるまで近づいたタイミングでＳ１２からＳ１６の処理を実施することにより、ロボット１８に、衝突に応じた適切な姿勢をとらせることができる。ユーザの指示入力などにより処理を停止させる必要が生じたら、全ての処理を停止する（Ｓ１８のＹ）。

　以上述べた本実施の形態によれば、物体の法線を利用して外力のつり合いを計算する。具体的には外力がつり合うための力点を求めることにより、それを適切な把持位置としてユーザに提示したり制御信号を送信したりしてロボットに当該位置で把持させる。あるいは実際に把持したときにロボットが加える力と、重力や摩擦力とのつり合いを表す方程式を立てることにより、物体の質量や摩擦係数を求める。さらに物体の変形を検出することにより柔らかさを求める。またロボットが物体に衝突したときの跳ね返りの方向を取得することにより、重要な部位が破壊されないような姿勢や、ユーザが面白いと感じる姿勢をとらせる。

　物体にかかる外力は３次元空間でのパラメータである。そのため２次元の情報を基本とする一般的な撮影画像では、正確につり合いを評価することが難しい。そのため見かけの形状が同じ物を同様の位置で把持させても、予想外に把持できなかったり安定した把持ができず落下させてしまったりすることが起こり得る。本実施の形態により物体の３次元空間での情報を得ることにより、その場での撮影画像に基づき臨機応変にロボットを動かすことができる。また撮影画像から物体の物性を取得する、という特有の態様を実現できる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　１０　情報処理装置、　１２　撮像装置、　１６　表示装置、　１８　ロボット、　２３　ＣＰＵ、　２４　ＧＰＵ、　２６　メインメモリ、　５０　画像取得部、　５２　画像データ記憶部、　５４　画像解析部、　５６　物体情報取得部、　５８　出力データ生成部、　６０　像検出部、　６２　法線取得部、　６４　把持位置取得部、　６６　物性取得部、　６８　衝突姿勢取得部。

　以上のように本発明は、ロボット制御装置、検品装置、物体認識装置、電子コンテンツ処理装置など各種情報処理装置およびシステムに利用可能である。

Claims

　物体を撮影してなる複数方位の偏光画像に基づき、当該物体表面の法線ベクトルを取得する画像解析部と、
　前記法線ベクトルに基づき、物体表面に加える外力のつり合いを計算し、それに基づき物体に係る情報を取得する物体情報取得部と、
　前記物体に係る情報に基づき出力すべきデータを生成して出力する出力データ生成部と、
　を備えたことを特徴とする情報処理装置。
　前記物体情報取得部は、物体表面の複数の位置に、前記法線ベクトルと逆方向の力を加えたときにその力がつり合い、かつ力のモーメントが０となる前記位置を、適切な把持位置として決定し、
　前記出力データ生成部は、前記適切な把持位置を表すデータを生成して出力することを特徴とする請求項１に記載の情報処理装置。
　前記出力データ生成部は、前記適切な把持位置で物体を把持するように制御する信号をロボットに送信することを特徴とする請求項２に記載の情報処理装置。
　前記出力データ生成部は、物体を撮影した画像に前記適切な把持位置を示す図形を重畳させた表示画像を生成し、表示装置に出力することを特徴とする請求項２に記載の情報処理装置。
　前記物体情報取得部は、ロボットが前記適切な把持位置で物体を把持したときの、把持位置から所定範囲における法線ベクトルの平均ベクトルの変化に基づき、物体の変形により安定した把持を維持できないことを判定し、それに応じて前記適切な把持位置を決定し直すことを特徴とする請求項２から４のいずれかに記載の情報処理装置。
　前記物体情報取得部は、物体表面の複数の位置に、前記法線ベクトルと逆方向の力を加えさせることによりロボットに当該物体を把持させたときの、加えた力と重力とのつり合いに基づき、当該物体の質量を取得することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
　前記物体情報取得部は、物体表面の複数の位置に、前記法線ベクトルと逆方向の力を加えさせることによりロボットに当該物体を把持させたときの、加えた力を垂直抗力とする摩擦力と重力とのつり合いに基づき、当該物体の摩擦係数を取得することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
　前記物体情報取得部は、物体表面の複数の位置に、前記法線ベクトルと逆方向の力を加えさせることによりロボットに当該物体を把持させたときの、加えた力と物体の変形量に基づき、当該物体の柔らかさを示すパラメータを取得することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
　前記法線ベクトルに基づき、移動するロボットが前記物体に衝突した際の跳ね返りの方向を予測し、当該方向に対応づけられた、前記ロボットがとるべき姿勢を取得する衝突姿勢取得部をさらに備え、
　前記出力データ生成部は、前記姿勢をとるように制御する信号を前記ロボットに送信することを特徴とする請求項１に記載の情報処理装置。
　物体を把持する機構を有するロボットと、前記ロボットを制御する情報処理装置と、を含み、
　前記情報処理装置は、
　物体を撮影してなる複数方位の偏光画像に基づき、当該物体表面の法線ベクトルを取得する画像解析部と、
　物体表面の複数の位置に、前記法線ベクトルと逆方向の力を加えたときにその力がつり合い、かつ力のモーメントが０となる前記位置を、適切な把持位置として決定する物体情報取得部と、
　前記適切な把持位置で物体を把持するように制御する信号を前記ロボットに送信する出力データ生成部と、
　を備えたことを特徴とする情報処理システム。
　前記物体情報取得部は、前記ロボットが前記法線ベクトルと逆方向の力を加えて物体を把持している状態における、力のつり合いに基づき、当該物体の質量または摩擦係数をさらに取得することを特徴とする請求項１０に記載の情報処理システム。
　物体を撮影してなる複数方位の偏光画像に基づき、当該物体表面の法線ベクトルを取得するステップと、
　前記法線ベクトルに基づき、物体表面に加える外力のつり合いを計算し、それに基づき物体に係る情報を取得するステップと、
　前記物体に係る情報に基づき出力すべきデータを生成して出力するステップと、
　を含むことを特徴とする、情報処理装置による物体情報取得方法。
　物体を撮影してなる複数方位の偏光画像に基づき、当該物体表面の法線ベクトルを取得する機能と、
　前記法線ベクトルに基づき、物体表面に加える外力のつり合いを計算し、それに基づき物体に係る情報を取得する機能と、
　前記物体に係る情報に基づき出力すべきデータを生成して出力する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラム。