WO2016129154A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016129154A1
WO2016129154A1 PCT/JP2015/080946 JP2015080946W WO2016129154A1 WO 2016129154 A1 WO2016129154 A1 WO 2016129154A1 JP 2015080946 W JP2015080946 W JP 2015080946W WO 2016129154 A1 WO2016129154 A1 WO 2016129154A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
reflector
processing apparatus
present
estimation
Prior art date
Application number
PCT/JP2015/080946
Other languages
English (en)
French (fr)
Inventor
辰吾 鶴見
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016129154A1 publication Critical patent/WO2016129154A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Abstract

位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、オブジェクトの位置を推定する推定部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　視線の検出に用いられる手法としては、例えば、ＩＲ　ＬＥＤ（InfraRed　Light　Emitting　Diode）などの光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。）を用いる角膜反射法を利用する方法がある。角膜反射法を利用した視線の検出に係る技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。
特開２０１４－１８８３２２号公報
　例えば特許文献１に記載の技術が用いられる場合には、赤外光パターンを表示させ、当該赤外光パターンの角膜反射像が映った対象者の眼を含む範囲が撮像された撮像画像から瞳孔と角膜反射像が抽出される。また、特許文献１に記載の技術が用いられる場合には、赤外光パターンの表示位置を移動させ、移動後に撮像された撮像画像から抽出された角膜反射像を用いて、角膜の曲率中心位置が算出される。ここで、例えば特許文献１に記載の技術が用いられる場合には、赤外光パターンの表示位置は、撮像画像から抽出された瞳孔の中心位置と角膜反射像の基準点の位置とのずれによって、光源の発光位置を移動させることによって移動される。
　しかしながら、例えば特許文献１に記載の技術を用いたとしても、赤外光パターンの表示に係る上記光源のような、直接的に撮像されないオブジェクトの位置を推定することはできない。
　本開示では、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置が提供される。
　また、本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法が提供される。
　また、本開示によれば、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラムが提供される。
　本開示によれば、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理装置が備える推定部における処理の一例を説明するためのブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るプログラム
（本実施形態に係る情報処理方法）
　本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
［１］本実施形態に係る情報処理方法の概要
　角膜反射法を利用して視線の検出が行われる場合には、複数の角膜反射像（以下、「輝点」と示す場合がある。）が撮像された撮像画像に基づいて、角膜中心（角膜曲率中心）の３次元位置を求めることが可能である。ここで、角膜反射法を利用して視線の検出が行われる場合には、例えば、瞳孔や角膜中心の位置が０．１［ｍｍ］精度で求められ、瞳孔や角膜中心の位置の算出に係る計算では、撮像デバイス（以下、「Ｃａｍｅｒａ」と示す場合がある。）に対する光源の相対位置の情報（データ）が利用される。
　上記のような撮像デバイスに対する光源の相対位置は、光源が設置される位置に依存し、光源が設置される位置には、設計上の位置に対して誤差が生じうる。そのため、光源が設置された後に、撮像デバイスに対する光源の位置を求めることが、望ましい。
　ここで、例えば、撮像デバイスと、当該撮像装置の周辺のオブジェクトとの位置や姿勢に関する較正（以下、「キャリブレーション」と示す場合がある。）を行う方法が存在する。例えば、いわゆるステレオカメラキャリブレーションのような、２つの撮像装置同士におけるキャリブレーションは、例えば、チェッカーボードなどの形状が既知のオブジェクトを、２つの撮像装置それぞれで同時に撮像することによって、実現することが可能である。
　しかしながら、角膜反射法を利用して視線の検出が行われる場合に用いられる光源は、一般的に、撮像デバイスでは直接的に撮像することができない位置に配置されるので、上記のような既存のキャリブレーションに係る方法を用いることはできない。
　そこで、本実施形態に係る情報処理装置は、撮像デバイスにより直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定する。
　より具体的には、本実施形態に係る情報処理装置は、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、当該オブジェクトの位置を推定する（推定処理）。
　ここで、本実施形態に係る位置を推定する対象のオブジェクトとしては、例えば、角膜反射法を利用して視線の検出が行われる場合に用いられる、ＩＲ　ＬＥＤなどの光源が挙げられる。なお、本実施形態に係る位置を推定する対象のオブジェクトは、上記のような光源に限られない。例えば、本実施形態に係る位置を推定する対象のオブジェクトは、本実施形態に係る反射体に映ることが可能な、任意の物や生物などが挙げられる。
　以下では、本実施形態に係る位置を推定する対象のオブジェクトが、ＩＲ　ＬＥＤなどの光源である場合を例に挙げる。また、以下では、本実施形態に係る位置を推定する対象のオブジェクトを、単に「オブジェクト」、または「ＬＥＤ」と示す場合がある。
　また、本実施形態に係る反射体としては、例えば、所定のパターンが表されている平面の反射体や、色分けされている球状の反射体が挙げられる。
　図１～図４は、本実施形態に係る情報処理方法の一例を説明するための説明図である。図１～図３は、撮像デバイスと複数の光源とが配置されている眼鏡型の装置において、当該撮像デバイスにより光源が映っている反射体Ｒｅｆｅｆを撮像し、反射体Ｒｅｆが撮像された撮像画像に基づいて光源の位置が推定される場合を示している。また、図４は、図３に示す反射体Ｒｅｆを示しており、図４のＡは、色分けされている球状の反射体の正面を示し、図４のＢは、色分けされている球状の反射体の側面を示している。
　本実施形態に係る反射体としては、例えば下記に示す例が挙げられる。
　　・所定のパターンが印刷されている平面鏡（図１に示す反射体Ｒｅｆ。所定のパターンが表されている平面の反射体の一例）
　　・所定のパターンが表示されている表示デバイスの表示画面（図２に示す反射体Ｒｅｆ。所定のパターンが表されている平面の反射体の一例）
　　・色分けされている球面鏡（図３に示す反射体Ｒｅｆ。色分けされている球状の反射体の一例）
　本実施形態に係る所定のパターンとは、平面の反射体の位置および姿勢を推定するために用いられる平面の反射体の特徴を、抽出するためのパターンである。
　本実施形態に係る所定のパターンとしては、図１の反射体Ｒｅｆや、図２の反射体Ｒｅｆに示すように、格子状のパターンが挙げられる。本実施形態に係る所定のパターンが図１や図２に示すような格子状のパターンである場合、本実施形態に係る情報処理装置は、当該パターンの角の部分の点（コーナー点）を、反射体の特徴として抽出する。
　ここで、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、表示デバイスの画面サイズやピクセルピッチなどによって、パターンの角の部分の点の位置関係が変わりうる。よって、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置は、表示画面に関する情報に基づいて、パターンにおける所定の位置を抽出する。
　本実施形態に係る情報処理装置は、本実施形態に係る情報処理装置が備える通信部（後述する）、または本実施形態に係る情報処理装置に接続されている外部の通信デバイスを介して、表示デバイスと通信を行うことによって、表示画面に関する情報を取得する。そして、本実施形態に係る情報処理装置は、取得された表示画面に関する情報を用いて、表示画面の画面サイズやピクセルピッチなどを特定して、所定のパターンにおける所定の位置を抽出する。
　本実施形態に係る表示画面に関する情報とは、例えば、画面サイズやピクセルピッチなどを示すデータである。本実施形態に係る表示画面に関する情報としては、画面サイズやピクセルピッチなどを直接的に示すデータが挙げられる。本実施形態に係る表示画面に関する情報が、画面サイズやピクセルピッチなどを直接的に示すデータである場合には、本実施形態に係る情報処理装置は、当該データを参照することによって、表示画面の画面サイズやピクセルピッチなどを特定する。
　なお、本実施形態に係る表示画面に関する情報は、上記に示す例に限られない。例えば、本実施形態に係る表示画面に関する情報は、表示デバイスのＩＤや型番など、表示デバイスを示す識別情報（データ）であってもよい。
　本実施形態に係る表示画面に関する情報が上記識別情報である場合には、本実施形態に係る情報処理装置は、例えば、識別情報と、画面サイズやピクセルピッチなどを直接的に示すデータとが対応付けられているテーブル（または、データベース）を用いて、表示画面の画面サイズやピクセルピッチなどを特定する。また、本実施形態に係る情報処理装置は、例えば、通信部（後述する）などを介してサーバなどの外部装置と通信を行い、当該外部装置から、上記識別情報に基づく画面サイズやピクセルピッチなどを直接的に示すデータを取得することによって、表示画面の画面サイズやピクセルピッチなどを特定することも可能である。
　本実施形態に係る表示画面に関する情報を用いて表示画面の画面サイズやピクセルピッチなどを特定することによって、本実施形態に係る情報処理装置は、所定のパターンにおける所定の位置をより正確に特定することができる。
　なお、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置では、例えば図２に示すような表示画面上に表示されているボタンが操作されることによって、本実施形態に係る推定処理が行われてもよい。
　また、本実施形態に係る反射体が、図２に示すような表示デバイスの表示画面である場合には、表示画面に、本実施形態に係る推定処理に係る操作手順や、本実施形態に係る推定処理の進捗状況が表示されてもよい。
　なお、本実施形態に係る所定のパターンは、図１や図２に示す例に限られない。例えば、本実施形態に係る所定のパターンは、平面の反射体の位置および姿勢を推定することが可能な特徴を抽出することが可能な、任意の形状であってもよい。
　また、本実施形態に係る反射体が、球面鏡である場合には、図４においてペイント部分と示されているように、球面鏡の一部が色づけされることにより、色分けがされる。本実施形態に係る反射体が、色分けされている球面鏡のような色分けされている球状の反射体である場合、本実施形態に係る情報処理装置は、球状の反射体の輪郭を、特徴として抽出する。
　なお、本実施形態に係る球状の反射体における色分けの仕方は、図３、図４に示す例に限られない。例えば、本実施形態に係る球状の反射体には、球状の反射体の位置を推定することが可能な特徴を抽出することが可能な、任意の色付けがされていてもよく、また、本実施形態に係る球状の反射体には、球状の反射体の位置を推定することが可能な特徴を抽出することが可能な、任意の模様が付されていてもよい。
　本実施形態に係る情報処理装置は、位置を推定する対象のオブジェクトが映っている、図１～図４に示すような反射体が異なる角度から撮像された複数の撮像画像を処理することによって、オブジェクトの位置を推定する
　より具体的には、本実施形態に係る情報処理装置は、複数の撮像画像それぞれから“反射体に映っているオブジェクトからオブジェクトへのベクトル”を算出する。そして、本実施形態に係る情報処理装置は、複数の撮像画像からそれぞれ算出されたベクトルに基づいて、オブジェクトの位置を推定する。本実施形態に係る情報処理装置は、複数の撮像画像からそれぞれ算出された複数のベクトルの交点、または、複数のベクトルの最近傍点を、オブジェクトの位置として推定する。
　ここで、オブジェクトの位置が変わらない場合、ベクトルの算出誤差などがない理想的な状態では、複数の撮像画像からそれぞれ算出された複数のベクトルは、一点で交わる。つまり、複数の撮像画像からそれぞれ算出された複数のベクトルを用いて、上記一点（例えば上記理想的な状態の場合）、または複数のベクトルの最近傍点（例えば上記理想的な状態ではない場合）を求めることによって、オブジェクトの位置を推定することが可能である。
　よって、本実施形態に係る情報処理装置は、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが映っている反射体が異なる角度から撮像された撮像画像、すなわち、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　以下、本実施形態に係る情報処理方法に係る推定処理について、より具体的に説明する。
［２］本実施形態に係る情報処理方法に係る処理
　本実施形態に係る情報処理装置は、本実施形態に係る推定処理として、例えば、下記の（１）検出処理、（２）抽出処理、（３）第１推定処理、（４）算出処理、および（５）第２推定処理を行う。
（１）検出処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、オブジェクトを検出する。
　本実施形態に係る情報処理装置は、例えば、オブジェクトの特徴が記録されている辞書データを用いて撮像画像からオブジェクトを検出する方法など、撮像画像からオブジェクトを検出することが可能な、任意の画像認識技術を用いて、撮像画像ごとに、オブジェクトを検出する。ここで、上記のような辞書データは、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶される。本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などから辞書データを適宜読み出して処理に用いる。
　なお、本実施形態に係る検出処理は、上記に示すような画像認識技術を用いて行われることに限られない。
　例えば、撮像画像においてオブジェクトが存在する位置が、ユーザ操作により指定される場合には、指定された位置に存在するオブジェクトを検出することも可能である。
（２）抽出処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、反射体の特徴を抽出する。
　反射体が、所定のパターンが表されている平面の反射体である場合、本実施形態に係る情報処理装置は、上述したように、例えば、撮像画像に含まれる所定のパターンの角の部分の点（コーナー点）を、反射体の特徴として抽出する。また、反射体が、図２に示すような表示デバイスの表示画面である場合には、本実施形態に係る情報処理装置は、表示画面に関する情報に基づいて、パターンの角の部分の点を抽出する。
　また、反射体が、色分けされている球状の反射体である場合、本実施形態に係る情報処理装置は、上述したように、例えば、球状の反射体の輪郭を、反射体の特徴として抽出する。
（３）第１推定処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴に基づいて、反射体の位置、または、反射体の位置および姿勢を推定する。
　反射体が、所定のパターンが表されている平面の反射体である場合には、本実施形態に係る情報処理装置は、抽出された特徴に基づいて、反射体の位置および姿勢を推定する。また、反射体が、色分けされている球状の反射体である場合には、本実施形態に係る情報処理装置は、抽出された特徴に基づいて、反射体の位置を推定する。本実施形態に係る第１推定処理の具体例については、後述する。
（４）算出処理
　本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、反射体に映っているオブジェクトからオブジェクトへのベクトル（以下、「ベクトルＲ」と示す）を算出する。本実施形態に係る算出処理の具体例については、後述する。
（５）第２推定処理
　本実施形態に係る情報処理装置は、撮像画像それぞれに対して上記（１）の処理（検出処理）～上記（４）の処理（算出処理）が行われることにより算出されたベクトルＲに基づいて、オブジェクトの位置を推定する。本実施形態に係る算出処理の具体例については、後述する。
　本実施形態に係る情報処理装置は、例えば上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を行うことによって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが映っている反射体が異なる角度から撮像された撮像画像（当該オブジェクトが間接的に撮像された撮像画像）に基づいて推定する。
　なお、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）は、便宜上、本実施形態に係る情報処理方法に係る推定処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る推定処理は、例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る推定処理は、例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を、（任意の切り分け方によって）２以上の処理と捉えることも可能である。
　以下、本実施形態に係る推定処理の一例を示す。
［２－１］推定処理の第１の例：反射体が、所定のパターンが表されている平面の反射体である場合
　まず、反射体が、所定のパターンが表されている平面の反射体である場合における推定処理の一例について説明する。以下では、反射体が、所定のパターンが印刷されている平面鏡（所定のパターンが表されている平面の反射体の一例）であり、オブジェクトが、ＬＥＤである場合を例に挙げる。
　図５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、反射体が、所定のパターンが印刷されている平面鏡（所定のパターンが表されている平面の反射体の一例）である場合における、オブジェクトの位置の推定の原理を示している。
　本実施形態に係る情報処理装置は、例えば図５のＡに示す“ｔａｋｅ１”、“ｔａｋｅ２”、および“ｔａｋｅ３”のように、ＬＥＤが映っている平面鏡が、異なる複数の角度から撮像された撮像画像を、例えば下記の（Ｉ）～（Ｖ）に示すように処理する。
（Ｉ）上記（１）の処理（検出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、ＬＥＤ（オブジェクトの一例）を検出する。
（ＩＩ）上記（２）の処理（抽出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、撮像画像に含まれる所定のパターンの角の部分の点（パターンにおける所定の位置の一例）を、任意の画像処理技術を利用して検出することによって、反射体の特徴を抽出する。以下では、所定のパターンの角の部分の点を、「特徴点」と示す。
（ＩＩＩ）上記（３）の処理（第１推定処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴であるパターンにおける所定の位置に基づいて、平面鏡の位置および姿勢を推定する。
　本実施形態に係る情報処理装置は、例えば、特徴点の位置を示す特徴点位置情報（データ）と、撮像デバイスのパラメータ（例えば、画角や、倍率などを示すデータ）と、上記（２）の処理（抽出処理）において抽出された特徴点の位置を示す情報（データ）とに基づいて、平面鏡の位置および姿勢を推定する。
　ここで、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶されている特徴点位置情報を用いる。また、本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などに記憶されている撮像デバイスのパラメータを示す情報を用いる。なお、本実施形態に係る情報処理装置は、撮像画像から撮像デバイスのパラメータを推定し、推定されたパラメータを用いてもよい。
（ＩＶ）上記（４）の処理（算出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、図５のＢに示すベクトルＲ（反射体に映っているオブジェクトからオブジェクトへのベクトルの一例）を算出する。
　より具体的には、本実施形態に係る情報処理装置は、例えば、上記（３）の処理（第１推定処理）において推定された平面鏡の位置および姿勢に基づいて、３次元の平面方程式を算出して、平面鏡の三次元平面を特定する。
　また、本実施形態に係る情報処理装置は、例えば、平面方程式に基づいて、特定された三次元平面上のオブジェクトの位置を算出する。本実施形態に係る情報処理装置は、例えば、平面方程式と、図５のＢに示す“平面鏡に映っているＬＥＤの位置（例えば、ｕ，ｖ座標系の座標で表される。）から算出される、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬ”との交点を求めることによって、三次元平面上のオブジェクトの位置を算出する。
　そして、本実施形態に係る情報処理装置は、例えば、特定された三次元平面の法線ベクトル（例えば図５のＢに示すベクトルＮ）と、三次元平面上のオブジェクトの位置とに基づいて、ベクトルＲを算出する。
　本実施形態に係る情報処理装置は、例えば、反射の法則を利用し、下記の数式１によって、ベクトルＲを算出する。ここで、下記の数式１に示す“Ｒ”は、反射体に映っているオブジェクトからオブジェクトへのベクトルＲであり、下記の数式１に示す“Ｌ”は、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬである。また、下記の数式１に示す“Ｎ”は、特定された三次元平面の法線ベクトルＮである。
Figure JPOXMLDOC01-appb-M000001
　本実施形態に係る情報処理装置は、上述したような上記（１）の処理（検出処理）～上記（４）の処理（算出処理）を、複数の撮像画像分繰り返す。また、本実施形態に係る情報処理装置は、各撮像画像に基づき求められた、三次元平面上のオブジェクトの位置と、ベクトルＲとを、記憶部（後述する）などに記録させる。
（Ｖ）上記（５）の処理（第２推定処理）
　本実施形態に係る情報処理装置は、上記（１）の処理（検出処理）～上記（４）の処理（算出処理）によって、複数の撮像画像からそれぞれ算出された複数のベクトルＲの交点、または、複数のベクトルＲの最近傍点を、オブジェクトの位置として推定する。
　複数のベクトルＲの交点をオブジェクトの位置として推定する場合、本実施形態に係る情報処理装置は、例えば、複数のベクトルＲの交点のうち、交点上を通るベクトルＲの数が最も多い交点の位置を、オブジェクトの位置として推定する。また、交点上を通るベクトルＲの数が最も多い交点が複数存在する場合には、本実施形態に係る情報処理装置は、ランダムに選択するなど任意の選択方法によって、１つの交点を選択し、選択された交点の位置をオブジェクトの位置として推定してもよい。
　また、複数のベクトルＲの最近傍点をオブジェクトの位置として推定する場合には、本実施形態に係る情報処理装置は、例えば、最小二乗法を用いて最近傍点を算出し、算出された最近傍点の位置を、オブジェクトの位置として推定する。
　ここで、図５のＢに示すベクトルＲ上の点を“Ｌ→ ｉ”、法線ベクトルＮ上の点を“ｄ→ ｉ”、平面鏡（反射体の一例）に映っているＬＥＤ（オブジェクトの一例）の位置を“Ｃ→ ｉ”とおくと、ベクトルＲ上の点Ｌ→ ｉは、例えば下記の数式２で表される。ここで、下記の数式２に示す“ｉ”は、撮像画像に付されている番号を示しており、また、下記の数式２に示す“ｔｉ”は、設定されている媒介変数である。媒介変数ｔｉは、固定値であってもよいし、ユーザ操作などに基づき設定可能な可変値であってもよい。
Figure JPOXMLDOC01-appb-M000002
　また、推定するＬＥＤ（オブジェクトの一例）の位置を“ｐ→”とおくと、ＬＥＤの位置ｐ→とベクトルＲ上の点Ｌ→ ｉとの距離は、例えば下記の数式３で表される。
Figure JPOXMLDOC01-appb-M000003
　本実施形態に係る情報処理装置は、例えば全てのｉに対して点Ｌｉとの距離の二乗和を最小にする点を求め、求められた点を、推定するＬＥＤ（オブジェクトの一例）の位置ｐ→とする。具体的には、本実施形態に係る情報処理装置は、例えば下記の数式４に示すｎ＋１個（ｎは、正の整数）の連立方程式を解きｐ→の値を求める。ここで、下記の数式４に示す“Ｆ”は、例えば下記の数式５で表される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　反射体が、図１に示す反射体Ｒｅｆのような、所定のパターンが表されている平面の反射体である場合には、本実施形態に係る情報処理装置は、例えば、上記（Ｉ）に示す処理～上記（Ｖ）に示す処理を推定処理として行うことによって、オブジェクトの位置を推定する。
　また、反射体に複数のオブジェクトが映っている場合には、本実施形態に係る情報処理装置は、例えば、上記（Ｉ）に示す処理～上記（Ｖ）に示す処理を、オブジェクトごとに行うことによって、オブジェクトの位置をそれぞれ推定することが可能である。
　なお、本実施形態に係る推定処理は、上記（Ｉ）に示す処理～上記（Ｖ）に示す処理に限られない。
　例えば、本実施形態に係る情報処理装置は、設定されている拘束条件に基づいて、オブジェクトの位置を推定することも可能である。
　図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図６のＡは、拘束条件の一例を示しており、図６のＢは、拘束条件の他の例を示している。
　本実施形態に係る拘束条件としては、例えば下記に示す（ａ）～（ｅ）が挙げられる。なお、本実施形態に係る拘束条件が、下記にに示す（ａ）～（ｅ）に限られないことは、言うまでもない。
　（ａ）オブジェクトと撮像デバイスとが、設定されている同一の平面上に存在する（図６のＡ）。
　（ｂ）複数のオブジェクトが、設定されている同一の平面上に存在する（図６のＢ）。
　（ｃ）複数のオブジェクトそれぞれの間の距離が、設定されている。
　（ｄ）全てのオブジェクト同士の位置関係が設定されており、撮像デバイスに係る座標系とオブジェクトの座標系とにおける、オブジェクトの姿勢が異なる。
　（ｅ）上記（ａ）～上記（ｄ）の拘束条件のうちの、２以上を組み合わせた拘束条件。
　例えば、上記（ａ）～（ｅ）に示すような拘束条件が設定されることによって、例えば、オブジェクトの位置の推定精度の向上を図ることができる。
［２－２］推定処理の第２の例：反射体が、色分けされている球状の反射体である場合
　次に、反射体が、色分けされている球状の反射体である場合における推定処理の一例について説明する。以下では、反射体が、色分けされている球面鏡（色分けされている球状の反射体の一例）であり、オブジェクトが、ＬＥＤである場合を例に挙げる。
　図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、反射体が、色分けされている球面鏡（色分けされている球状の反射体の一例）である場合を示している。図７のＡは、ＬＥＤ（オブジェクトの一例）が映っている色分けされている球面鏡（図３に示す反射体Ｒｅｆ）が撮像された撮像画像の一例を示している。また、図７のＢは、反射体が、色分けされている球面鏡である場合における、オブジェクトの位置の推定の原理を示している。
　本実施形態に係る情報処理装置は、ＬＥＤが映っている球面鏡が、異なる複数の角度から撮像された撮像画像を、例えば下記の（ｉ）～（ｖ）に示すように処理する。
（ｉ）上記（１）の処理（検出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、ＬＥＤ（オブジェクトの一例）を検出する。ここで、（ｉ）における処理は、上記第１の例に係る（Ｉ）の処理と同様である。
（ｉｉ）上記（２）の処理（抽出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、色分けされた球面鏡の輪郭を検出することによって、反射体の特徴を抽出する。本実施形態に係る情報処理装置は、例えば、撮像画像から色が付されている領域を検出することによって、球面鏡の輪郭を検出する。なお、球面鏡の輪郭を検出する方法は、上記に限られず、本実施形態に係る情報処理装置は、例えば、撮像画像から球面鏡の輪郭を検出することが可能な、任意の方法を用いることが可能である。
（ｉｉｉ）上記（３）の処理（第１推定処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、抽出された特徴である球面鏡の輪郭に基づいて、球面鏡の位置を推定する。
　本実施形態に係る情報処理装置は、例えば、球面鏡のサイズを示す情報（データ）と、撮像デバイスのパラメータ（例えば、画角や、倍率などを示すデータ）と、上記（２）の処理（抽出処理）において抽出された球面鏡の輪郭を示す情報（データ）とに基づいて、球面鏡の位置を推定する。
　ここで、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の記録媒体に記憶されている、球面鏡のサイズを示す情報を用いる。また、本実施形態に係る情報処理装置は、例えば、記憶部（後述する）などに記憶されている撮像デバイスのパラメータを示す情報を用いる。なお、本実施形態に係る情報処理装置は、撮像画像から撮像デバイスのパラメータを推定し、推定されたパラメータを用いてもよい。
（ｉｖ）上記（４）の処理（算出処理）
　本実施形態に係る情報処理装置は、撮像画像ごとに、上記（３）の処理（第１推定処理）の推定結果に基づいて、図７のＢに示すベクトルＲ（反射体に映っているオブジェクトからオブジェクトへのベクトルの一例）を算出する。
　より具体的には、本実施形態に係る情報処理装置は、例えば、上記（３）の処理（第１推定処理）において推定された球面鏡の位置に基づいて、球面方程式を算出して、球面鏡の球面を特定する。ここで、球面方程式は、例えば、撮像画像に基づき抽出された球面鏡の輪郭（例えば図８のＡに示す“球の輪郭”）を用い、円フィッティングを行って球の中心座標と半径を求め、球のカメラ座標系における３次元位置と半径を求めることによって算出される。
　また、本実施形態に係る情報処理装置は、例えば、球面方程式に基づいて、特定された球面上のオブジェクトの位置を算出する。本実施形態に係る情報処理装置は、例えば、球面方程式と、図７のＢに示す“球面鏡に映っているＬＥＤの位置（例えば、ｕ，ｖ座標系の座標で表される。）から算出される、撮像デバイスから反射体に映っているオブジェクトへのベクトルＬ”との交点を求めることによって、球面上のオブジェクトの位置を算出する。
　そして、本実施形態に係る情報処理装置は、例えば、第１の例に係る推定処理における上記（ＩＶ）の処理と同様に、特定された球面の法線ベクトル（例えば図７のＢに示すベクトルＮ）と、球面上のオブジェクトの位置とに基づいて、反射の法則を利用して、ベクトルＲを算出する。
（ｖ）上記（５）の処理（第２推定処理）
　本実施形態に係る情報処理装置は、例えば、第１の例に係る推定処理における上記（Ｖ）の処理と同様に、上記（１）の処理（検出処理）～上記（４）の処理（算出処理）によって、複数の撮像画像からそれぞれ算出された複数のベクトルＲの交点、または、複数のベクトルＲの最近傍点を、オブジェクトの位置として推定する。
　反射体が、図３に示す反射体Ｒｅｆのような、色分けされている球状の反射体である場合には、本実施形態に係る情報処理装置は、例えば、上記（ｉ）に示す処理～上記（ｖ）に示す処理を推定処理として行うことによって、オブジェクトの位置を推定する。
　また、反射体に複数のオブジェクトが映っている場合には、本実施形態に係る情報処理装置は、例えば、上記（ｉ）に示す処理～上記（ｖ）に示す処理を、オブジェクトごとに行うことによって、オブジェクトの位置をそれぞれ推定することが可能である。
　なお、第２の例に係る推定処理は、上記（ｉ）に示す処理～上記（ｖ）に示す処理に限られない。
　例えば、本実施形態に係る情報処理装置は、上記第１の例に係る推定処理と同様に、設定されている拘束条件に基づいて、オブジェクトの位置を推定することも可能である。
［３］本実施形態に係る情報処理方法が用いられることにより奏される効果
　本実施形態に係る情報処理方法に係る推定処理（例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理））が行われることによって、直接的に撮像されないオブジェクトの位置を推定することができる。
　よって、本実施形態に係る情報処理方法に係る推定処理が行われることによって、例えば下記の効果を奏することができる。なお、本実施形態に係る情報処理方法に係る推定処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
　　・撮像デバイスに対する周辺物体の高精度な位置決めが実現される。
　　・撮像デバイスに対する周辺物体の位置決め精度を取り付け精度で補償する必要がなくなるので、例えば角膜反射法を利用して視線を検出することが可能な装置（例えばアイウェアなど）の製造が容易になる。
　　・撮像デバイスと周辺物体の位置関係が、当該周辺物体の位置の推定後にずれた場合でも、再度当該周辺物体の位置を推定し直すことができる。
　　・平面鏡や球面鏡などの反射体の位置や姿勢を、撮像画像に基づき特定することが可能であるので、撮像デバイスに対する反射体の位置決めが不要である。
　　・図２に示すような表示画面を反射体として利用することによって、例えばスマートフォンなどの装置（表示デバイスの一例）のユーザが、本実施形態に係る情報処理方法に係る操作を実施することが可能となる。
（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
　図８は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、撮像部１０２と、制御部１０４とを備える。
　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（Random　Access　Memory。図示せず）、記憶部（図示せず）、外部装置と無線または有線で通信を行うための通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、辞書データや、特徴点位置情報、撮像デバイスのパラメータを示す情報、推定結果を示すデータ（例えばベクトルＲを示すデータなど）など、本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
　ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
　通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。
［情報処理装置１００のハードウェア構成例］
　図９は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６と、ＩＲ　ＬＥＤ１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する推定部１１０の役目を果たす。
　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、推定結果を示すデータなどの本実施形態に係る情報処理方法に係るデータや、撮像画像を示す画像データ、アプリケーションなど様々なデータを記憶する。
　記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。
　操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
　表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。
　なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像デバイスや外部の表示デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal　Serial　Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
　また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide　Area　Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless　Local　Area　Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless　Wide　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
　撮像デバイス１６６は、情報処理装置１００が備える撮像手段であり、撮像により画像（撮像画像）を生成する撮像部１０２として機能する。撮像デバイス１６６を備える場合、情報処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
　撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ　Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
　ＩＲ　ＬＥＤ１６８は、情報処理装置１００が備える光源であり、例えば複数のＩＲ　ＬＥＤで構成される。ここで、ＩＲ　ＬＥＤ１６８が、角膜反射法によりユーザの視線を推定するために用いられる光源である場合には、ＩＲ　ＬＥＤ１６８は、例えば、光がユーザの眼に照射される位置に設けられる。なお、上述したように、情報処理装置１００が備える光源がＩＲ　ＬＥＤに限られないことは、言うまでもない。
　また、ＩＲ　ＬＥＤ１６８は、例えば、本実施形態に係る情報処理方法によって位置を推定する対象のオブジェクトに該当しうる。なお、本実施形態に係る情報処理方法によって位置を推定する対象のオブジェクトは、ＩＲ　ＬＥＤ１６８などの光源に限られず、例えば、本実施形態に係る反射体に映ることが可能な、任意の物や生物などであってもよい。
　情報処理装置１００は、例えば図９に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図９に示す構成に限られない。
　例えば、外部の撮像デバイスにより撮像された撮像画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置１００は、撮像デバイス１６６を備えていなくてもよい。
　また、情報処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２、ＩＲ　ＬＥＤ１６８を備えない構成をとることも可能である。
　再度、図８を参照して、本実施形態に係る情報処理装置１００の構成の一例について説明する。撮像部１０２は、撮像により画像（撮像画像）を生成する。撮像部１０２としては、例えば撮像デバイス１６６が挙げられる。
　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば推定部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
　推定部１１０は、本実施形態に係る情報処理方法に係る推定処理を主導的に行う役目を果たし、位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、当該オブジェクトの位置を推定する。
　図１０は、本実施形態に係る情報処理装置１００が備える推定部１１０における処理の一例を説明するためのブロック図である。図１０は、推定部１１０が、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）を行う場合の処理の一例を示している。
　推定部１１０は、例えば、検出部１２０と、抽出部１２２と、第１推定処理部１２４と、算出部１２６と、第２推定処理部１２８とを有する。
　検出部１２０は、上記（１）の処理（検出処理）を主導的に行う役目を果たし、撮像画像ごとに、オブジェクトを検出する。検出部１２０は、例えば、上記（Ｉ）に示す処理や、上記（ｉ）に示す処理を行う。
　抽出部１２２は、上記（２）の処理（抽出処理）を主導的に行う役目を果たし、撮像画像ごとに、反射体の特徴を抽出する。抽出部１２２は、例えば、上記（ＩＩ）に示す処理や、上記（ｉｉ）に示す処理を行う。
　第１推定処理部１２４は、上記（３）の処理（第１推定処理）を主導的に行う役目を果たし、撮像画像ごとに、抽出部１２２において抽出された特徴に基づいて、反射体の位置、または、反射体の位置および姿勢を推定する。第１推定処理部１２４は、例えば、上記（ＩＩＩ）に示す処理や、上記（ｉｉｉ）に示す処理を行う。
　算出部１２６は、上記（４）の処理（算出処理）を主導的に行う役目を果たし、撮像画像ごとに、第１推定処理部１２４における推定結果に基づいて、反射体に映っているオブジェクトからオブジェクトへのベクトルＲを算出する。算出部１２６は、例えば、上記（ＩＶ）に示す処理や、上記（ｉｖ）に示す処理を行う。
　第２推定処理部１２８は、上記（５）の処理（第２推定処理）を主導的に行う役目を果たし、複数の撮像画像からそれぞれ算出されたベクトルＲに基づいて、オブジェクトの位置を推定する。第２推定処理部１２８は、例えば、上記（Ｖ）に示す処理や、上記（ｖ）に示す処理を行う。
　推定部１１０は、例えば、検出部１２０、抽出部１２２、第１推定処理部１２４、算出部１２６、および第２推定処理部１２８を有することによって、本実施形態に係る情報処理方法に係る推定処理を主導的に行う。
　なお、推定部１１０の構成は、図１０に示す構成に限られない。
　例えば、上述したように、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）は、便宜上、本実施形態に係る情報処理方法に係る推定処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る推定処理を実現するための構成は、図１０に示す検出部１２０、抽出部１２２、第１推定処理部１２４、算出部１２６、および第２推定処理部１２８に限られず、推定部１１０は、本実施形態に係る情報処理方法に係る推定処理の切り分け方に応じた構成をとることが可能である。
　制御部１０４は、例えば、推定部１１０を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
　情報処理装置１００は、例えば図８に示す構成によって、本実施形態に係る情報処理方法に係る推定処理（例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理））を行う。
　したがって、情報処理装置１００は、例えば図８に示す構成によって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　また、例えば図８に示す構成によって、情報処理装置１００は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
　なお、本実施形態に係る情報処理装置の構成は、図８に示す構成に限られない。
　例えば、本実施形態に係る情報処理装置は、図８に示す推定部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
　例えば、外部の撮像デバイスにより撮像された撮像画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置１００は、撮像部１０２を備えていなくてもよい。
　また、本実施形態に係る情報処理装置は、例えば通信部（図示せず）など、他の構成要素をさらに備えていてもよい。
　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、ＰＣ（Personal　Computer）やサーバなどのコンピュータや、アイウェアやＨＭＤなどのユーザの頭部に装着されて用いられる装置、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated　Circuit）に適用することもできる。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、上記（１）の処理（検出処理）～上記（５）の処理（第２推定処理）など、本実施形態に係る情報処理方法に係る推定処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、直接的に撮像されないオブジェクトの位置を、当該オブジェクトが間接的に撮像された撮像画像に基づいて推定することができる。
　また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置。
（２）
　前記推定部は、
　前記撮像画像ごとに、前記オブジェクトを検出する検出部と、
　前記撮像画像ごとに、前記反射体の特徴を抽出する抽出部と、
　前記撮像画像ごとに、抽出された前記特徴に基づいて、前記反射体の位置、または、前記反射体の位置および姿勢を推定する第１推定処理部と、
　前記撮像画像ごとに、推定結果に基づいて、前記反射体に映っている前記オブジェクトから前記オブジェクトへのベクトルを算出する算出部と、
　複数の前記撮像画像からそれぞれ算出された前記ベクトルに基づいて、前記オブジェクトの位置を推定する第２推定処理部と、
　を有する、（１）に記載の情報処理装置。
（３）
　前記反射体は、所定のパターンが表されている平面の反射体であり、
　前記抽出部は、前記パターンにおける所定の位置を、前記特徴として抽出し、
　前記第１推定処理部は、抽出された前記パターンにおける所定の位置に基づいて前記反射体の位置および姿勢を推定し、
　前記算出部は、推定された前記平面の反射体の位置および姿勢に基づいて前記反射体の三次元平面を特定して、特定された前記三次元平面上の前記オブジェクトの位置を算出し、前記三次元平面の法線ベクトルと、前記三次元平面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、（２）に記載の情報処理装置。
（４）
　前記反射体は、前記所定のパターンが印刷されている平面鏡、または、前記所定のパターンが表示されている表示デバイスの表示画面である、（３）に記載の情報処理装置。
（５）
　前記反射体が前記表示画面である場合、
　前記抽出部は、前記表示画面に関する情報に基づいて、前記パターンにおける所定の位置を抽出する、（４）に記載の情報処理装置。
（６）
　前記反射体は、色分けされている球状の反射体であり、
　前記抽出部は、色分けされた前記反射体の輪郭を、前記特徴として抽出し、
　前記第１推定処理部は、抽出された前記反射体の輪郭に基づいて前記反射体の位置を推定し、
　前記算出部は、推定された前記球状の反射体の位置に基づいて前記反射体の球面を特定して、特定された前記球面上の前記オブジェクトの位置を算出し、前記球面の法線ベクトルと、前記球面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、（２）に記載の情報処理装置。
（７）
　前記第２推定処理部は、複数の前記撮像画像からそれぞれ算出された複数の前記ベクトルの交点、または、複数の前記ベクトルの最近傍点を、前記オブジェクトの位置として推定する、（２）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記反射体に複数の前記オブジェクトが映っている場合、
　前記推定部は、オブジェクトごとに、前記オブジェクトの位置を推定する、（１）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記推定部は、設定されている拘束条件に基づいて、前記オブジェクトの位置を推定する、（１）～（７）のいずれか１つに記載の情報処理装置。
（１０）
　前記オブジェクトは、光源である、（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法。
（１２）
　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラム。
　１００　　情報処理装置
　１０２　　撮像部
　１０４　　制御部
　１１０　　推定部
　１２０　　検出部
　１２２　　抽出部
　１２４　　第１推定処理部
　１２６　　算出部
　１２８　　第２推定処理部

Claims (12)

  1. 　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定する推定部を備える、情報処理装置。
  2. 　前記推定部は、
    　前記撮像画像ごとに、前記オブジェクトを検出する検出部と、
    　前記撮像画像ごとに、前記反射体の特徴を抽出する抽出部と、
    　前記撮像画像ごとに、抽出された前記特徴に基づいて、前記反射体の位置、または、前記反射体の位置および姿勢を推定する第１推定処理部と、
    　前記撮像画像ごとに、推定結果に基づいて、前記反射体に映っている前記オブジェクトから前記オブジェクトへのベクトルを算出する算出部と、
    　複数の前記撮像画像からそれぞれ算出された前記ベクトルに基づいて、前記オブジェクトの位置を推定する第２推定処理部と、
    　を有する、請求項１に記載の情報処理装置。
  3. 　前記反射体は、所定のパターンが表されている平面の反射体であり、
    　前記抽出部は、前記パターンにおける所定の位置を、前記特徴として抽出し、
    　前記第１推定処理部は、抽出された前記パターンにおける所定の位置に基づいて前記反射体の位置および姿勢を推定し、
    　前記算出部は、推定された前記平面の反射体の位置および姿勢に基づいて前記反射体の三次元平面を特定して、特定された前記三次元平面上の前記オブジェクトの位置を算出し、前記三次元平面の法線ベクトルと、前記三次元平面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、請求項２に記載の情報処理装置。
  4. 　前記反射体は、前記所定のパターンが印刷されている平面鏡、または、前記所定のパターンが表示されている表示デバイスの表示画面である、請求項３に記載の情報処理装置。
  5. 　前記反射体が前記表示画面である場合、
    　前記抽出部は、前記表示画面に関する情報に基づいて、前記パターンにおける所定の位置を抽出する、請求項４に記載の情報処理装置。
  6. 　前記反射体は、色分けされている球状の反射体であり、
    　前記抽出部は、色分けされた前記反射体の輪郭を、前記特徴として抽出し、
    　前記第１推定処理部は、抽出された前記反射体の輪郭に基づいて前記反射体の位置を推定し、
    　前記算出部は、推定された前記球状の反射体の位置に基づいて前記反射体の球面を特定して、特定された前記球面上の前記オブジェクトの位置を算出し、前記球面の法線ベクトルと、前記球面上の前記オブジェクトの位置とに基づいて、前記ベクトルを算出する、請求項２に記載の情報処理装置。
  7. 　前記第２推定処理部は、複数の前記撮像画像からそれぞれ算出された複数の前記ベクトルの交点、または、複数の前記ベクトルの最近傍点を、前記オブジェクトの位置として推定する、請求項２に記載の情報処理装置。
  8. 　前記反射体に複数の前記オブジェクトが映っている場合、
    　前記推定部は、オブジェクトごとに、前記オブジェクトの位置を推定する、請求項１に記載の情報処理装置。
  9. 　前記推定部は、設定されている拘束条件に基づいて、前記オブジェクトの位置を推定する、請求項１に記載の情報処理装置。
  10. 　前記オブジェクトは、光源である、請求項１に記載の情報処理装置。
  11. 　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップを有する、情報処理装置により実行される情報処理方法。
  12. 　位置を推定する対象のオブジェクトが映っている反射体が異なる角度から撮像された複数の撮像画像に基づいて、前記オブジェクトの位置を推定するステップをコンピュータに実行させるためのプログラム。
PCT/JP2015/080946 2015-02-13 2015-11-02 情報処理装置、情報処理方法、およびプログラム WO2016129154A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015026457A JP2016148622A (ja) 2015-02-13 2015-02-13 情報処理装置、情報処理方法、およびプログラム
JP2015-026457 2015-02-13

Publications (1)

Publication Number Publication Date
WO2016129154A1 true WO2016129154A1 (ja) 2016-08-18

Family

ID=56615385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080946 WO2016129154A1 (ja) 2015-02-13 2015-11-02 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2016148622A (ja)
WO (1) WO2016129154A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3381351A1 (en) * 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user
JPWO2022070407A1 (ja) * 2020-10-02 2022-04-07

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015031601A (ja) * 2013-08-02 2015-02-16 国立大学法人電気通信大学 ３次元計測装置及び方法並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015031601A (ja) * 2013-08-02 2015-02-16 国立大学法人電気通信大学 ３次元計測装置及び方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAYASHI ET AL.: "Humanoid Self-correction of Posture Using Mirror, Proceedings of IROS2013", 2013 IEEE /RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, 3 November 2013 (2013-11-03), pages 1614 - 1619, XP032537380, DOI: doi:10.1109/IROS.2013.6696565 *

Also Published As

Publication number Publication date
JP2016148622A (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
WO2016088418A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
WO2016129156A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105700138B (zh) 头戴型显示装置及其校正方法
US8705868B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8699749B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8625898B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8571266B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8718325B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
CN109155055B (zh) 关注区域图像生成装置
WO2017163516A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6016760B2 (ja) 作業確認システム
WO2017169158A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR100844129B1 (ko) 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107704106B (zh) 姿态定位方法、装置及电子设备
WO2015118756A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
CN106663412B (zh) 信息处理设备、信息处理方法及程序
CN107608541B (zh) 三维姿态定位方法、装置及电子设备
US8705869B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US20180061135A1 (en) Image display apparatus and image display method
WO2017029886A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5951966B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6335696B2 (ja) 入力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882028

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15882028

Country of ref document: EP

Kind code of ref document: A1