JP6127958B2 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP6127958B2
JP6127958B2 JP2013262011A JP2013262011A JP6127958B2 JP 6127958 B2 JP6127958 B2 JP 6127958B2 JP 2013262011 A JP2013262011 A JP 2013262011A JP 2013262011 A JP2013262011 A JP 2013262011A JP 6127958 B2 JP6127958 B2 JP 6127958B2
Authority
JP
Japan
Prior art keywords
image
object detection
pixel
information processing
pattern irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013262011A
Other languages
English (en)
Other versions
JP2015118583A (ja
JP2015118583A5 (ja
Inventor
順 横野
順 横野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013262011A priority Critical patent/JP6127958B2/ja
Priority to US14/565,688 priority patent/US10140509B2/en
Publication of JP2015118583A publication Critical patent/JP2015118583A/ja
Publication of JP2015118583A5 publication Critical patent/JP2015118583A5/ja
Application granted granted Critical
Publication of JP6127958B2 publication Critical patent/JP6127958B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、情報処理装置、情報処理方法、並びにプログラムに関する。さらに詳細にはカメラの撮影画像に基づいて特定オブジェクトの検出や距離算出を行う情報処理装置、情報処理方法、並びにプログラムに関する。
画像に撮影された被写体までの距離を算出するシステムとしてステレオカメラを用いた距離解析処理が知られている。
これは、２つの異なる位置から撮影した２枚の画像の対応点を解析し、この対応点情報に基づいてカメラから被写体までの距離（デプス）を算出するものである。
ステレオカメラを用いた距離計測について開示した従来技術として、例えば特許文献１（特開２００４−１３２７５９号公報）がある。
２枚の画像の対応点としては、例えば画像内の画素値の変化量の大きいエッジ領域などの特徴点が利用される。しかし、例えば無色の壁など平坦な領域では、エッジ等の特徴点を設定することができず、正確な距離算出が困難となってしまう。
この問題を解決するため、所定のパターンを、壁など測定対象となる領域に照射し、パターン照射された画像を撮影してパターンを含む撮影画像を利用して特徴点を設定し、対応点を検出する処理が行われる。
パターンの照射により、特徴点に基づく対応点の検出が容易となり、被写体距離を高精度に算出することが可能となる。
しかし、一方、撮影画像から特定の被写体を検出する場合、例えば撮影画像に含まれる人の指を検出しようとする場合、逆にパターンが邪魔となる場合がある。
例えば撮影画像から人の指の検出を行う場合は、人の指の特徴を検出するために、様々なパターンを持つフィルタを適用した処理が行われる。
具体的には、例えば、指と背景領域との境界領域に出現する画像パターンをフィルタ適用処理によって撮影画像から検出する処理を実行する。
このフィルタを適用した被写体検出処理を行なう場合、上述した外部から照射されるパターンは、逆に正確なフィルタによるオブジェクト検出の妨げとなる。
特開２００４−１３２７５９号公報
本開示は、例えば上述の問題点に鑑みてなされたものであり、カメラの撮影画像に基づいて特定オブジェクトの検出と距離算出を高精度に実行することを可能とした情報処理装置、情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第１の側面は、
異なる視点から撮影した画像の解析を実行するデータ処理部を有し、
前記データ処理部は、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
パターン照射なし画像を適用したオブジェクト検出処理を実行する情報処理装置にある。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、パターン照射画像からパターン画像を減算する画像変換により、パターン照射なし画像を生成し、生成したパターン照射なし画像を適用したオブジェクト検出処理を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、
（ａ）複数の異なる視点のパターン照射画像の入力、および入力した複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理、
（ｂ）パターン照射なし画像の入力、および入力したパターン照射なし画像を適用したオブジェクト検出処理、
上記（ａ），（ｂ）の各処理を交互に実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記オブジェクト検出処理において、前記パターン照射なし画像から特徴量を抽出する特徴量抽出処理と、前記特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行する構成であり、前記特徴量抽出処理は、複数のフィルタを適用した特徴量抽出処理として実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、予め実行した学習処理において前記特定オブジェクトの検出状態と非検出状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の特徴量を加算したスコアを算出し、加算スコアに基づいて前記特定オブジェクトの検出判定処理を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の画素対応の特徴量を加算した画素対応のスコアを算出し、算出した画素対応のスコアをさらに加算した総合スコアに基づいて前記特定オブジェクトの検出判定処理を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記パターン照射画像は、赤外光パターンの照射画像である。
さらに、本開示の第２の側面は、
異なる視点から撮影した画像の解析を実行するデータ処理部を有し、
前記データ処理部は、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行する情報処理装置にある。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、検出対象の含まれない画像を複数フレーム連続して撮影し、撮影した複数の画像を平均化して前記背景モデル画像を生成する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記オブジェクト検出処理において、前記特定オブジェクト検出用画像から特徴量を抽出する特徴量抽出処理と、前記特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行する構成であり、前記特徴量抽出処理は、複数のフィルタを適用した特徴量抽出処理として実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、予め実行した学習処理において前記特定オブジェクトの検出状態と非検出状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の特徴量を加算したスコアを算出し、加算スコアに基づいて前記特定オブジェクトの検出判定処理を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の画素対応の特徴量を加算した画素対応のスコアを算出し、算出した画素対応のスコアをさらに加算した総合スコアに基づいて前記特定オブジェクトの検出判定処理を実行する。
さらに、本開示の情報処理装置の一実施態様において、前記パターン照射画像は、赤外光パターンの照射画像である。
さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
データ処理部が、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
パターン照射なし画像を適用したオブジェクト検出処理を実行する情報処理方法にある。
さらに、本開示の第４の側面は、
情報処理装置において実行する情報処理方法であり、
データ処理部が、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行する情報処理方法にある。
さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
パターン照射なし画像を適用したオブジェクト検出処理を実行させるプログラムにある。
さらに、本開示の第６の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、特定オブジェクトの検出処理と距離算出処理の２つの処理を高精度に実行する装置、方法が実現される。
具体的には、異なる視点から撮影したパターン照射画像を適用したオブジェクト距離算出処理と、パターン照射なし画像を適用したオブジェクト検出処理を実行する。データ処理部は、パターン照射画像からパターン画像を減算する画像変換により、パターン照射なし画像を生成し、生成したパターン照射なし画像を適用したオブジェクト検出処理を実行する。あるいは、パターン照射画像を適用したオブジェクト距離算出処理と、パターン照射なし画像を適用したオブジェクト検出処理を交互に実行する。
本構成により、特定オブジェクトの検出処理と距離算出処理の２つの処理を高精度に実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の情報処理装置が実行する処理の概要について説明する図である。 本開示の情報処理装置が実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 ステレオ法に基づく距離算出処理例について説明する図である。 本開示の情報処理装置の構成と処理について説明する図である。 特徴量抽出に適用するフィルタについて説明する図である。 特徴量抽出に適用するフィルタについて説明する図である。 特徴量抽出処理について説明する図である。 スコア算出処理について説明する図である。 オブジェクト検出のための学習処理について説明する図である。 オブジェクト検出のための学習処理について説明する図である。 オブジェクト検出のための学習処理について説明する図である。 特徴量抽出処理について説明する図である。 特徴量抽出処理について説明する図である。 総合スコア算出処理について説明する図である。 本開示の情報処理装置が実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 本開示の情報処理装置が実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 情報処理装置の構成例について説明する図である。 情報処理装置の構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の情報処理装置の実行する処理の概要について
２．本開示の情報処理装置の第１実施例について
２Ａ．オブジェクト距離算出処理について
２Ｂ．オブジェクト検出処理について
２Ｂ−１．学習処理部の特徴量抽出部が実行する処理について
２Ｂ−２．機械学習部の実行する処理について
２Ｂ−３．認識処理部の実行する処理について
３．本開示の情報処理装置の第２実施例について
４．本開示の情報処理装置の第３実施例について
５．情報処理装置の構成例について
６．本開示の構成のまとめ
［１．本開示の情報処理装置の実行する処理の概要について］
まず、図１以下を参照して本開示の情報処理装置が実行する処理の概要について説明する。
本開示の情報処理装置は、複数の異なる位置に設置されたカメラの撮影画像を入力し、カメラ撮影画像の解析に基づいて、以下の各処理を実行する。
（ａ）撮影画像内の特定のオブジェクトの距離を算出する「特定オブジェクト距離算出処理」
（ｂ）撮影画像内に特定のオブジェクトが含まれるか否かを判定する「特定オブジェクト検出処理」
これら（ａ），（ｂ）の各処理を実行する。
なお、以下の実施例では、距離算出、および検出処理の対象とする特定オブジェクトを図１（ａ）に示す人の指３０とした実施例を説明する。
図１（ａ）は、画像の撮影環境の一例を示す図である。
図１（ａ）は、ボード２１上に人の指３０があり、指３０がボード２１に接触（タッチ）している状態を示している。
なお、指３０は、随時、移動し、ボード２１に接触していない離れた状態になる場合や、ボード２１から離れて、ボード２１上には存在しなくなる場合もある。
本開示の情報処理装置は、図１に示す２つのカメラ、すなわちカメラＬ１１とカメラＲ１２の撮影画像に基づいて、指の距離（カメラＬＲラインからの距離）と、指がカメラ撮影画像内にあるか否かを判別する。
カメラＬ１１はボード２１の中心部から見て左上部の位置に固定され、ボード２１の平面を左上部から撮影する。
一方、カメラＲ１２はボード２１の中心部から見て右上部の位置に固定され、ボード２１の平面を右上部から撮影する。
ボード２１上に指３０が存在する場合は、指３０を含む画像をそれぞれ左上部、および右上部から撮影する。
パターン照射部１３が、被写体であるボード２１や指３０に特定のパターン、例えばドットパターンナやボロノイパターンを照射するために設けられている。
このパターンは、ステレオ法を用いた距離算出においてＬＲ各画像の対応点を高精度に検出するために利用するパターンである。
ただし、画像内に特定オブジェクト（指）があるか否かを判定するオブジェクト検出処理においては、この照射パターンが邪魔になることがある。
各カメラの撮影画像の例を図１（ｂ）に示す。
パターン照射あり画像５１は、パターン照射部１３からパターンを照射して撮影された画像である。
パターン照射なし画像５２は、パターン照射部１３からパターンを照射しないで撮影された画像である。
ＬＲ画像ともほぼ同様の画像となる。
パターン照射あり画像５１は、ＬＲ各画像の対応点マッチング処理において高精度な対応点検出を可能とする。
しかし、画像内に特定オブジェクト（指）があるか否かを判定するオブジェクト検出処理においては、パターン照射なし画像５２を利用した方が検出精度を高めることができる。
図に示すように、パターン照射あり画像５１には、実オブジェクトではないパターンが含まれ、オブジェクト認識にとってこれらのパターンが邪魔になるからである。
例えば撮影画像に含まれる人の指を検出しようとする場合、人の指の特徴を検出するために、様々なパターンを持つフィルタを適用した処理が行われる。
具体的には、例えば、指と背景領域との境界領域に出現する画像パターンをフィルタ適用処理によって撮影画像から検出する処理を実行する。
このフィルタを適用した被写体検出処理を行なう場合、上述した外部から照射されるパターンは、フィルタによるオブジェクト検出の妨げとなる。
本開示の処理は、オブジェクトの距離算出には、パターン照射あり画像を用い、オブジェクトの検出処理には、パターン照射なし画像を用いる構成とすることで、いずれの処理も高精度に実行することを可能としている。なお、パターン照射なし画像は、パターン照射あり画像から所定の画像処理によって生成する場合もある。
以下、これらの処理の複数の実施例について、順次、説明する。
なお、カメラＬ１１、カメラＲ１２の撮影画像は静止画でも、動画でもよい。静止画である場合は、撮影された２枚の静止画を利用して、オブジェクトの距離算出と検出処理を実行する。
また、撮影画像が動画である場合は、例えば各撮影フレーム単位、あるいは、予め規定した所定フレーム間隔でオブジェクトの距離算出と検出処理を実行する。
［２．本開示の情報処理装置の第１実施例について］
次に、本開示の情報処理装置の第１実施例について説明する。
まず、図２に示すフローチャートを参照して本開示の情報処理装置の実行する処理シーケンスの一例について説明する。
本開示の情報処理装置は、例えば図１に示す２つの異なる位置に設定されたカメラであるカメラＬ１１、カメラＲ１２の撮影画像を入力する。これらの入力画像に基づいて、
（ａ）撮影画像内の特定のオブジェクトの距離を算出する「特定オブジェクト距離算出処理」
（ｂ）撮影画像内に特定のオブジェクトが含まれるか否かを判定する「特定オブジェクト検出処理」
これら（ａ），（ｂ）の各処理を実行する。
図２に示すフローの各ステップの処理について説明する。
（ステップＳ１０１）
まず、情報処理装置は、パターン照射部１３によるパターン照射を実行し、カメラＬ１１とカメラＲ１２の２つの異なる位置に設定されたカメラによって、パターン照射画像を撮影し入力する。
（ステップＳ１０２）
ステップＳ１０２の処理と、ステップＳ１０３〜Ｓ１０４の処理は並列に実行可能である。
ステップＳ１０２の処理は、ステップＳ１０１で撮影したパターン照射ＬＲ画像を利用したオブジェクト距離算出処理である。
ここでは、指３０のカメラからの距離を算出する。この距離算出においては、Ｌ画像とＲ画像の対応点を検出することが必要である。
この対応点検出を高精度に実行するために画像内のパターンが有効に利用される。
なお、本実施例では、オブジェクト距離算出は、対応点マッチングを利用したステレオ法を用いる。この具体的処理例については後述する。
（ステップＳ１０３）
ステップＳ１０３〜Ｓ１０４の処理は、撮影画像内から特定オブジェクトの検出を行う処理である。例えば、指３０が画像に含まれるか否かを判定する。
なお、このオブジェクト検出処理は、Ｌ画像またはＲ画像のいずれか一方のみに対して実行しともよいし、２つの画像各々に対して実行してもよい。
ここでは、ＬＲ画像のいずれか一方の画像のみに対してオブジェクト検出を行う例について説明する。
ステップＳ１０３の処理は、パターンあり画像からパターンなし画像を生成する処理である。例えばパターン照射ありＬ画像からパターン照射なしＬ画像を生成する画像変換処理を実行する。
パターン照射部１３の照射するパターンは、既知のパターンであり、カメラによって撮影された画像から、既知パターンに応じて画素値の減算を実行してパターンなし画像を生成することができる。
（ステップＳ１０４）
次に、ステップＳ１０４において、ステップＳ１０３で生成したパターンなし画像を利用して撮影画像に特定オブジェクト、すなわち、本実施例では指が含まれるか否かのオブジェクト（指）検出処理を実行する。
この指検出処理には、予め蓄積した特徴量を示す学習データを利用する。この処理の具体的処理については、後段で説明する。
（ステップＳ１０５）
次に、情報処理装置は、ステップＳ１０５において、解析処理が終了したか否かを判定する。解析対象となる画像の入力がない場合には、処理終了と判定する。例えば、動画を撮影しながら予め規定したフレーム間隔ごとに解析を継続的に実行する場合には、図２に示すフローに従った処理を所定フレーム間隔ごとに繰り返し実行する。この場合には、ステップＳ１０５の判定はＮｏとなり、ステップＳ１０１に戻り、新たな入力画像に対して、ステップＳ１０１以下の解析処理を繰り返し実行する。
このように、本開示の情報処理装置は、異なる視点から撮影した２枚のパターン照射あり画像に基づくオブジェクト距離算出を実行し、さらに、パターン照射あり画像から生成したパターン照射なし画像を利用してオブジェクト検出処理を実行する。
なお、ここで説明する実施例では、距離算出と、検出処理の対象となるオブジェクトは指である。
なお、パターン照射部１３によるパターン照射は、赤外光による照射パターンとし、カメラＬ１１とカメラＲ１２の２つのカメラは、赤外光のパターンを撮影可能なカメラとしてもよい。この場合、ステップＳ１０２のオブジェクト距離の算出において実行するＬ画像とＲ画像の対応点マッチング処理は、赤外光パターンを利用して実行する。
図２に示すフローを参照して説明したように、本開示の情報処理装置は、距離算出処理においては、異なる視点から撮影した２枚のパターン照射あり画像を適用した処理を実行する。
一方、オブジェクト検出は、パターン照射あり画像からパターン画像分を減算して生成したパターン照射なし画像を用いた処理を実行する。
これらの処理を行なうことで、オブジェクト距離算出も、オブジェクト検出処理のいずれも高精度な処理として実行可能となる。
［２Ａ．オブジェクト距離算出処理について］
次に、図２に示すフローのステップＳ１０２において実行するオブジェクト距離算出処理について説明する。
この距離算出は、既存のステレオ法を用いた処理である。これは２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。
ステレオ法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで測定対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと参照カメラにより異なる複数視点から同一対象物を撮影して、それぞれの画像内の測定対象物の距離を三角測量の原理により測定する。
図３は、ステレオ法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と参照カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している参照カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
基準カメラにおけるポイント「ｍｂ」の位置は、参照カメラによる画像中では「エピポーラライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、参照カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
図３には、エピポーララインと、参照画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、参照画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得することができる。
上述のステレオ法は１台の基準カメラと１台の参照カメラとを用いた構成としたが、参照カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の参照カメラによって撮影される画像を用い、複数の参照カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。
上述のように、ステレオ画像法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで測定対象物の三次元空間における位置を求めようとするものである。
従来、よく使われている「対応点付け」の手法は、Pixel-basedマッチング、Area-basedマッチングとFeature-basedマッチングに大別される。
Pixel-basedマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である。
Area-basedマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である。
Feature-basedマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である。
上記の各手法の特徴を整理すると、次のようになる。
（１）Pixel-basedマッチングとArea-basedマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Feature-basedマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
（２）Area-basedマッチングは、一種の相関演算を行うため、Pixel-basedマッチングとFeature-basedマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
（３）Pixel-basedマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてArea-basedマッチングは有効であり、よく使われている。
上述の各種の方法により、ステレオ画像法における対応点付け処理が行なわれる。しかしながら、白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しては、上述のいずれの方法を使用しても、３次元形状を計測するために必要となる対応点付け処理が困難となる。これが、ステレオ画像法による処理における一つの大きな課題となっている。
この問題を解決するため、パターン照射部１３からドットパターンやボロノイパターン等のパターンを照射して撮影画像にパターンを含ませ、パターンを有する画像を用いて対応点検索を実行する。
このパターン画像を用いた対応点検索処理を行なうことで、高精度の対応点マッチングが可能となり、高精度な距離算出が可能となる。
［２Ｂ．オブジェクト検出処理について］
次に、図２に示すフローのステップＳ１０３〜Ｓ１０４において実行するオブジェクト検出処理について説明する。
ステップＳ１０３〜Ｓ１０４の処理は、撮影画像から特定オブジェクトの検出を行う処理である。例えば、指３０が画像に含まれるか否かを判定する。
なお、このオブジェクト検出処理は、Ｌ画像またはＲ画像のいずれか一方のみに対して実行しともよいし、２つの画像各々に対して実行してもよい。
ここでは、ＬＲ画像のいずれか一方の画像のみに対してオブジェクト検出を行う例について説明する。
先に説明したようにステップＳ１０３の処理は、パターンあり画像からパターンなし画像を生成する処理である。例えばパターン照射ありＬ画像からパターン照射なしＬ画像を生成する画像変換処理を実行する。
パターン照射部１３の照射するパターンは、既知のパターンを有しており、カメラによって撮影された画像から、既知パターンに応じた画素値減算を伴う画素値補正を実行してパターンなし画像を生成する。
次に、ステップＳ１０４において、ステップＳ１０３で生成したパターンなし画像を利用して撮影画像に特定オブジェクト、すなわち指が含まれるか否かのオブジェクト（指）検出処理を実行する。
この指検出処理には、予め蓄積した特徴量を示す学習データを利用する。この処理の具体的処理について、以下説明する。
図４は、情報処理装置のオブジェクト検出処理部１００の構成例を示す図である。
情報処理装置のオブジェクト検出処理部１００は、学習処理部１１０と認識処理部１２０を有する。
学習処理部１１０は、画像入力部１１１、特徴量抽出部１１２、機械学習部１１３、認識辞書記憶部１１４を有する。
学習処理部１１０は、多数の画像を学習画像として入力し、学習画像に基づいて、認識処理部１２０が画像から特定オブジェクトを検出するために用いる認識辞書を生成する。生成した認識辞書は認識辞書記憶部１１４に格納される。
一方、認識処理部１２０は、画像入力部１２１、特徴量抽出部１２２、特定オブジェクト認識部１２３を有する。
認識処理部１２０は、解析対象画像を入力して、特定オブジェクトの検出と位置判定を行なう。認識処理部１２０は、学習処理部１１０が学習データに基づいて生成し、認識辞書記憶部１１４に格納した認識辞書を用いて、特定オブジェクトの検出と位置判定を行なう。
図２を参照して説明したフローチャートのステップＳ１０４の処理は、この認識処理部１２０の実行する処理に相当する。
学習処理部１１０は、画像に指が含まれるか否かのオブジェクト検出処理に適用する学習データとしての認識辞書を生成する。
なお、学習処理に適用する画像は、当初からパターンを照射しないパターンなし画像を適用可能である。あるいは、図２に示すフローのステップＳ１０３と同様の処理を実行して、パターン照射あり画像から生成したパターンなし画像を用いて実行してもよい。
以下、図４に示す各処理部の実行する処理について、順次、説明する。
［２Ｂ−１．学習処理部の特徴量抽出部が実行する処理について］
まず、図４に示す情報処理装置１００の学習処理部１１０内の特徴量抽出部１１２が実行する処理について説明する。
学習処理部１１０は、画像入力部１１１から多数の撮影画像を学習画像として入力する。
学習画像は、例えば、図１（ａ）を参照して説明した撮影環境において撮影された多数の画像である。この学習画像には、例えば、以下の各状態の画像が各々多数含まれる。
（状態１）指３０が撮影画像内に含まれる状態
（状態２）指３０が撮影画像内に含まれない状態
なお、学習処理に際して入力する学習画像の各々には、各画像が上記のどの状態の画像であるかを示す属性情報（ラベル，タグ等）が設定されている。
なお、前述したように、学習処理に適用する画像は、当初からパターンを照射しないパターンなし画像とする。あるいは、図２に示すフローのステップＳ１０３と同様の処理を実行して、パターン照射あり画像から生成したパターンなし画像を用いる。
画像入力部１１１が、カメラからパターン照射あり画像を入力した場合は、特徴量抽出部１１２は、まず、カメラ撮影画像自身に含まれる照射パターンを取り除き、パターンなし画像を生成する。この処理は、図２に示すフローのステップＳ１０３の処理に対応する。入力画像から、既知の照射パターン対応の画素値を減算する画素値補正を実行してパターン照射なし画像を生成する。
特徴量抽出部１１２は、パターンなし画像を学習画像として設定し、学習画像に含まれる特徴量を抽出する。特徴量抽出には、様々なフィルタが用いられる。図５、図６に特徴量抽出に適用する矩形フィルタの例を示す。
図５（ａ）に示す１次微分フィルタは、画像内において白から黒、または、黒から白へ変化する特徴を持つ画素領域を入力画像から抽出する処理に適したフィルタである。
垂直・水平方向フィルタは白から黒、または、黒から白へ変化する方向が垂直または水平方向の場合、斜め方向フィルタは白から黒、または、黒から白へ変化する方向が斜め方向の画素領域を効率的に抽出することができる。
図５（ｂ）に示す２次微分フィルタは、画像内において白／黒／白、または、黒／白／黒と変化する特徴を持つ画素領域を入力画像から抽出する処理に適したフィルタである。
垂直・水平方向フィルタは変化方向が垂直または水平方向の場合、斜め方向フィルタは、変化方向が斜め方向である画素領域を効率的に抽出することができる。
図６（ｃ）に示す３次微分フィルタは、画像内において白／黒／白／黒、または、黒／白／黒／白と変化する特徴を持つ画素領域を入力画像から抽出する処理に適したフィルタである。
垂直・水平方向フィルタは変化方向が垂直または水平方向の場合、斜め方向フィルタは、変化方向が斜め方向である画素領域を効率的に抽出することができる。
図４に示す情報処理装置１００の学習処理部１１０内の特徴量抽出部１１２の実行するフィルタを適用した特徴量抽出の一例について、図７を参照して説明する。
図７は、図５（Ａ）に示す１次微分フィルタの左上端に示す黒から白へ横方向に変化するフィルタ１３０を適用して、画像から同様の変化領域を持つ画素領域を抽出する処理例を説明する図である。
図７（Ａ）は入力画像である。ここで、入力画像は学習画像であり、パターンなし画像である。
図７（Ｂ）は、図５（Ａ）に示す１次微分フィルタの左上端に示す、黒から白へ横方向に変化するフィルタ１３０を適用したフィルタ演算を実行して得られる画像である。
フィルタ演算は、図に示すように以下の式に従って実行する。
・・・（式１）
上記式（式１）に示すＧｄ，θは、図５、図６を参照して説明した各フィルタに対応するガウス関数Ｇのｄ次微分関数である。ｄは、図５、図６を参照して説明した次数に相当し、θがフィルタの角度、すなわち図５、図６を参照して説明した垂直、水平（０°，９０°）、斜め（４５°，１３５°）等のフィルタの設定角度に相当する。。
また、Ｉ（ｘi，ｙi，ｓi）の（ｘi，ｙi）は画素位置を示し、ｓiは画像のスケールを意味する。ｉは、適用する画像のスケール識別子である。
Ｉ（ｘi，ｙi，ｓi）はスケールｓiの画像の画素位置（ｘi，ｙi）の画素値、例えば輝度を示す。
上記（式１）は、Ｇｄ，θによって定義されるフィルタと、画像の各画素値との畳み込み演算を実行する式である。
図７に示す例は、図５（Ａ）に示す１次微分フィルタの左上端に示す黒から白へ横方向に変化するフィルタ１３０を適用したフィルタ演算の実行例である。
このフィルタ演算によって、図７（Ａ）入力画像の画素値は図７（Ｂ）に示す画像のように変換される。
図７（Ｃ）は、図５（Ａ）に示すフィルタ１３０に対応する右方向に黒から白へ変化するパターンと、逆に白から黒に変化するパターンを等化させる演算を実行して得られる画像である。この処理により、例えば背景輝度に対して不変な特徴パターンの抽出が実現される。
この画像の生成に適用するフィルタ演算は以下の式に示す演算である。
・・・（式２）
上記式（式２）は、前述の（式１）の絶対値を算出する処理に相当する。
図７（Ｄ）は、画素位置のずれ等に対する耐性を高めるために、上記（式２）で得られる結果を、図７（Ｃ）に示す画像の所定範囲の画素領域で平滑化する処理を行なったものである。
この画像の生成に適用するフィルタ演算は以下の式に示す演算である。
・・・（式３）
例えば、上記（式３）によって得られる値が、Ｇｄ，θによって定義されるフィルタに基づいて得られる特徴量（ｘ）となる。
図７に示す例は、図５（Ａ）に示す１次微分フィルタの左上端に示す黒から白へ横方向に変化するフィルタ１３０を適用した特徴量算出処理例であり、フィルタ１３０のパターンと類似する画素領域ほど特徴量（ｘ）の値が大きくなる。
なお、特徴量（ｘ）は各画素対応の値として算出される。
その他のフィルタについても同様の処理を実行して、各フィルタ対応の特徴量（ｘ）を抽出し、抽出結果を図４に示す機械学習部１１３に出力する。
［２Ｂ−２．機械学習部の実行する処理について］
次に、図４に示す学習処理部１１０内の機械学習部１１３の実行する処理について説明する。
図５、図６に示したフィルタは、それぞれ１つの弱識別器（ＷＬ：ＷｅａｋＬｅａｒｎｅｒ）となり得る。弱識別器は、フィルタを探索領域に重ね合わせて得られる矩形特徴、例えば黒矩形に対応する領域内の輝度値の和と白矩形に対応する領域内の輝度値の和との差（特徴量ｘ）が閾値（ｔｈ）よりも大きいかで、物体を検出したか否かを判定する。
すなわち、オブジェクト（指）検出処理では、フィルタ適用によって得られた特徴量（ｘ）が閾値より大きいか否かで、特定のオブジェクトが検出されたか否かを判定する。
図５、図６に示す白黒パターンの矩形型フィルタの適用においては、例えば、指の領域が背景より輝度値が低いという学習結果を利用して、矩形特徴に基づいて入力画像から指領域をある程度の確率で判別することができる。
個々の弱識別器のみでは十分な識別能力を発揮することはできないが、複数の弱識別器の識別結果を線形結合することで、より強い識別力を持つ識別器を構築することができる。
機械学習部１１３の実行する処理の１つは、各フィルタ対応の弱識別器によって得られた特徴量抽出結果を統合して、より強い識別器を生成することであり、認識処理部１２０において特定オブジェクト（指）の検出や位置判定に最適な特徴量の選択情報（スコア）を生成することである。
この処理について、図８を参照して説明する。
なお、図８以下では、画像内に指が含まれるか否かのオブジェクト検出処理を行なう場合の処理例について説明する。
図８は、各フィルタを弱識別器１〜ｎとして設定し、各フィルタ対応の弱識別器１〜ｎによって得られる特徴量（ｘ）に基づいて、各画像領域に検出対象（例えば指）が含まれるか否かの判別結果を出力する関数ｆ１（ｘ）〜ｆｎ（ｘ）を設定し、これらの複数の弱識別器によって得られる判別結果に基づくスコアの算出処理例を説明する図である。
各フィルタ対応の弱識別器１〜ｎによって得られる特徴量（ｘ）に基づいて、各画像領域に検出対象（例えば指）が含まれるか否かの判別結果を出力する関数ｆｎ１（ｘ）は以下の式（式４）で示される。
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ ・・・（式４）
なお、式（１）においてａｎおよびｂｎは係数（パラメータ）である。また、ｇ（ｘ＞ｔｈｎ）は、特徴量ｘが閾値ｔｈｎより大きい場合、所定領域が検出対象らしいことを示す数値「１」を出力し、特徴量ｘが閾値ｔｈｎ以下である場合、所定領域が検出対象らしくないことを示す数値「０」を出力する関数である。
ｎはフィルタ識別子である。
上記（式４）によって算出される値が、ｆｎ（ｘ）＝ａｎ＋ｂｎである場合、所定領域は検出対象らしく、ｆｎ（ｘ）＝ｂｎである場合、所定領域は検出対象らしくないとの判別がなされる。
このような弱識別器の判別結果ｆｎ（ｘ）の加算値をスコアＦ（ｘ）とする。
スコアＦ（ｘ）は、例えば次式（式５）で示される。
Ｆ（ｘ）＝Σｆｎ（ｘ） ・・・（式５）
すなわち、スコアＦ（ｘ）はＮ個の弱識別器の判別結果ｆ１（ｘ）〜ｆｎ（ｘ）の和となる。また、スコアＦ（ｘ）の値が所定の閾値ｔｈより大きい場合、画像中に検出対象があるとされ、スコアＦ（ｘ）の出力値が閾値ｔｈ以下である場合、画像中に検出対象がないとされる。
機械学習部１１３は、例えば、多数の学習画像データとして、
指が含まれる画像、
指が含まれない画像、
これらの２種類のカテゴリに分類される画像を入力して、図５、図６を参照して説明したフィルタ１〜ｎを適用した判別結果を出力し、その出力結果に基づく統計学習を実行して、識別力の高い弱識別器を選択する処理を実行する。
この処理について、図９を参照して説明する。
図９には、学習画像の例として、
（Ａ）撮影画像中に識別対象オブジェクトである指が含まれる「指あり画像」
（Ｂ）撮影画像中に識別対象オブジェクトである指が含まれない「指なし画像」
これらの各画像を示している。
これらの学習画像は、上記（Ａ），（Ｂ）のいずれであるかを示す属性情報（ラベル，タグ等）が設定された画像である。
これらの各画像に対して図５、図６を参照して説明したフィルタｆ１〜ｆｎ（＝弱識別器１〜ｎ）を適用して得られる特徴量（ｘ）を算出する。図９に示す１つの矩形のｘ各々が、１つのフィルタを適用した１つの画像のある画素対応の特徴量ｘを示している。
なお、オブジェクト検出処理には、図５（ａ），（ｂ）〜図６（ｃ）に示す１次〜３次微分フィルタを用いる。
フィルタ適用処理によって算出される特徴量ｘの値は、フィルタｆ１〜ｆｎ（＝弱識別器１〜ｎ）の識別力に応じて異なる値となるが、識別力が高ければ指あり画像と、指なし画像とでは、その差が大きくなる。
図１０に、各学習画像に対してフィルタｆ１を適用した場合の特徴量（ｘ）と度数との対応データを示す。
この度数分布データに示すように、ある程度の識別力がある場合は、指あり画像データの度数分布と、指なし画像データの度数分布は、異なる山を形成する。
しかし、この分布は、適用するフィルタによって異なるものとなる。
図１１（１）は、識別力の低い弱識別器（フィルタ）に基づく度数分布データの例を示している。
また、図１１（２）は、識別力の高い弱識別器（フィルタ）に基づく度数分布データの例を示している。
このように、識別力の低い弱識別器（フィルタ）を適用すると、指あり画像と指なし画像を区別することが困難になり、識別力の高い弱識別器（フィルタ）を適用すると、指あり画像と指なし画像を区別することが容易となる。
この度数分布データに基づいて、識別力の高い弱識別器（フィルタ）のみを選択して、この選択されたフィルタのみから図８を参照して説明したスコアを算出する処理を行なうことで、より信頼度の高い識別処理が実現される。
図１１（３）は、識別力の高い選択された複数の弱識別器（フィルタ）のみから算出したスコアの度数分布データの例を示している。
スコアの閾値は、例えばブースティングやサポート・ベクター、マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）などの統計学習器を用いた学習により決定する。
機械学習部１１３は、このような統計学習を実行して識別力の高いフィルタの選択を実行する。
また、先に図８を参照して説明した各フィルタ（弱識別器）により判別結果を出力する関数ｆｎ１（ｘ）、すなわち、
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ
上記式において利用されるパラメータａｎ，ｂｎ，ｔｈｎについても、この統計学習によって、識別レベルを高く設定するための最適値を算出する。
この学習処理によって算出したパラメータと、識別力の高低を示すデータ（タグ）を各フィルタ（弱識別器）に設定して認識辞書を生成し、認識辞書記憶部１１４に格納する。
［２Ｂ−３．認識処理部の実行する処理について］
次に、図４に示す認識処理部１２０の実行する処理について説明する。
画像内に指が含まれるか否かの特定オブジェクト検出処理について説明する。
この処理は、図２に示すフローのステップＳ１０３〜Ｓ１０４の処理に相当する。
認識処理部１２０は、画像入力部１２１、特徴量抽出部１２２、特定オブジェクト認識部１２３を有する。
認識処理部１２０は、解析対象画像を入力して、特定オブジェクトの検出を行なう。認識処理部１２０は、学習処理部１１０が学習データに基づいて生成し、認識辞書記憶部１１４に格納した認識辞書を用いて、特定オブジェクトの検出を行なう。
認識処理部１２０の画像入力部１２１は、解析対象とする画像を入力する。すなわち、図１（ａ）に示す撮影環境のカメラＬ１１の撮影画像とカメラＲ１２の撮影画像である。
この解析対象画像は、学習画像とは異なり、撮影画像中に指が含まれるか否かが不明な画像である。
なお、先に説明したように、指が存在するか否かの指検出処理には、Ｌ画像またはＲ画像の一方のみを使用してよい。
特徴量抽出部１２２は、先に説明した学習処理部１１０の特徴量抽出部１１２の実行する特徴量抽出と同様、図５、図６を参照して説明したフィルタを適用した特徴量抽出処理を実行する。
ただし、認識処理部１２０の特徴量抽出部１２２で適用するフィルタ（弱識別器）は、学習処理部１１０の学習結果によって、識別力が高いと判定されたフィルタのみを選択して実行する。
これらは、認識辞書記憶部１１４に格納されたフィルタ情報（タグ）に基づいて選択される。
また、各フィルタ（弱識別器）を用いて算出する特徴量（ｘ）の算出式、すなわち、
ｆｎ（ｘ）＝ａｎ×ｇ（ｘ＞ｔｈｎ）＋ｂｎ
上記式のパラメータａｎ，ｂｎ，ｔｈｎについても、前述した学習処理部１１０の学習処理によって決定され、認識辞書記憶部１１４に格納された値を利用する。
認識処理部１２０は、このように識別力の高い選択されたフィルタを用いて特徴量を算出し、スコアの算出を実行し、スコアの値に基づいて、指検出処理を行なう。
特徴量抽出部１２２は、まず、前述たように、カメラ撮影画像自身に含まれる照射パターンを取り除き、パターンなし画像を生成する。この処理は、図２に示すフローのステップＳ１０３の処理に対応する。入力画像から、既知の照射パターン対応の画素値を減算する画素値補正を実行してパターン照射なし画像を生成する。
図１２は、パターン照射なし画像に対して認識処理部１２０の実行する画像探索処理手順を模式的に示す図である。
まず、生成したパターン照射なし画像から、中間画像として積分画像を作成する。
生成したパターン照射なし画像に対して、直接、図７を参照して説明したフィルタ適用処理を実行してもよいが、中間画像として積分画像を生成し、積分画像に対してフィルタ適用を実行することで高速処理が可能となる。
なお、積分画像の生成処理と、積分画像を用いた特徴量算出の高速化処理については、本出願人の先の出願である特開２０１１−１８０７９２に記載されている。本開示の処理においても、この特許文献に記載されたと同様の処理手順に従って積分画像の生成と、積分画像を適用した特徴量算出を実行する。
積分画像は、垂直・水平矩形フィルタ用と斜め方向矩形フィルタ用とで作成方法が異なる。認識処理部１２０の特徴量抽出部１２２は、図５、図６を参照して説明したフィルタに対応する垂直・水平矩形フィルタ用と、斜め方向矩形フィルタ用の２種類の積分画像（Ｉｎｔｅｇｒａｌ ｉｍａｇｅ）を作成する。
認識処理部１２０の特徴量抽出部１２２は、生成した積分画像を用い、積分画像上で各フィルタを適用して特徴量を算出する。すなわち、先に図７を参照して説明した特徴量（ｘ）の算出処理を実行する。具体的には、積分画像をスキャンして、各スキャン位置（ｘ，ｙ）において、前述の式（式１）〜（式３）を適用して特徴量（ｘ）を算出する。
ここで、適用するフィルタは識別レベルの高い選択されたフィルタ（弱識別器）である。
特定オブジェクト認識部１２３は、複数の選択されたフィルタ（弱識別器）を適用して得られた特徴量を加算してスコアを算出する。この処理は、先に図８を参照して説明した処理である。
積分画像を用いることで、スキャン位置毎の矩形特徴を高速に計算することができる。
検出スコアが、予め設定した閾値以上に到達したときに、そのスキャン位置（ｘ，ｙ）で目的オブジェクト、本実施例では指が検出されたと判定する。
画像をスキャンして得られた最大の検出スコア次第で、検出結果が否定的（ｒｅｊｅｃｔｉｏｎ）、すなわち、目的オブジェクト（指）が検出されなかったという結果が返されることもある。また、スケール変換すなわち入力画像の大きさを変えながら、積分画像の生成と検出スコアの計算を繰り返し行なう構成としてもよい。
なお、最初に計算した積分画像をスケール変換すれば任意のサイズのウィンドウの探索が可能になるが、積分画像をスケール変換すると演算量が増大し、積分画像を使用して処理を高速化する効果を相殺することになる。そこで、図１２に示した例では、入力画像をスケール変換する度に積分画像を再計算するようにしている。
画像のスキャン処理例を図１３に示す。
画像の左上から水平方向に順次スキャン処理を実行し、各画素点で個々の選択フィルタに基づく特徴量（ｘ）を算出し、その後、選択フィルタ各々に基づいて算出された特徴量（ｘ）を加算して各画素点に対応するスコアを算出する。
算出したスコアが、あらかじめ規定した閾値を超えたら目的オブジェクト（指）が検出されたと判定する。
図１３に示すように、スコアは各画素位置対応のスコアとして算出される。しかし、例えば１つの画素位置のみスコアが高くても、画像内に目的オブジェクト（指）が検出されたとは言えない。すなわち、例えば指の形状に応じた複数の画素位置に対応する複数の高スコアが検出されなければ、画像内に目的オブジェクト（指）が検出されたとは言えない。
従って、最終的に指が検出されたか否かを判定するためには、複数の画素位置のスコアを総合して評価する必要がある。
特定オブジェクト認識部１２３は、このスコアの総合評価処理を実行する。
図１４を参照してスコアの総合評価処理例について説明する。
図１４には、画像に対するスキャン処理によって設定した各画素位置（画素位置１〜ｋ）でのフィルタ適用処理を示す画像と、これら各画素位置で算出したスコア１〜スコアｋを示している。
指が検出されると、これらの各画素位置でのスコアは高くなる。
画像に目的オブジェクト（指）が含まれるか否かを判定する最終的な指標値としての総合評価値である総合スコアは、これら各画素位置のスコアの加算値として算出する。すなわち、
総合スコア＝スコア１＋スコア２＋・・・＋スコアｋ
このように画像の各画素対応ののスコアを加算した値を総合スコアとし、総合スコアが予め設定した閾値以上である場合は、目的オブジェクト（指）が検出されたと判定する。
図２に示すフローを参照して説明したように、本開示の情報処理装置は、距離算出処理においては、異なる視点から撮影した２枚のパターン照射あり画像を適用した処理を実行する。
一方、オブジェクト検出処理については、パターン照射あり画像からパターン画像分を減算して生成したパターン照射なし画像を用いた処理を実行する。
これらの処理を行なうことで、オブジェクト距離算出も、オブジェクト検出処理のいずれも精度の高い処理として実行可能となる。
［３．本開示の情報処理装置の第２実施例について］
次に、本開示の情報処理装置の第２実施例について説明する。
図１５に示すフローチャートを参照して本開示の情報処理装置の第２実施例の処理シーケンスについて説明する。
第２実施例も、例えば図１に示す２つの異なる位置に設定されたカメラであるカメラＬ１１、カメラＲ１２の撮影画像を入力して、これらの画像に基づいて、
（ａ）撮影画像内の特定のオブジェクトの距離を算出する「特定オブジェクト距離算出処理」
（ｂ）撮影画像内に特定のオブジェクトが含まれるか否かを判定する「特定オブジェクト検出処理」
これら（ａ），（ｂ）の各処理を実行する。
図１５に示すフローの各ステップの処理について説明する。
（ステップＳ２０１）
まず、情報処理装置は、パターン照射状態で検出対象オブジェクトの無い状態の画像を撮影する。例えば図１において、検出対象オブジェクトが指３０である場合、指３０を撮影領域内に含ませずに、カメラＬ１１とカメラＲ１２で画像を撮影する。
連続するＮフレームをそれぞれ撮影する。
（ステップＳ２０２）
次に、情報処理装置は、ステップＳ２０１で撮影したパターン照射画像に基づく背景モデル画像を生成する。具体的には、例えば撮影したＮフレーム画像の平均画像を生成する。この平均画像を背景モデル画像とする。
ここまでのステップＳ２０１〜Ｓ２０２の処理は事前処理であり、背景モデル画像の生成処理として、事前に実行する。
以下のステップＳ２０３以下の処理が、背景メデル画像生成後に実行するオブジェクト検出処理である。
（ステップＳ２０３）
情報処理装置は、ステップＳ２０３において、オブジェクト検出処理の解析対象画像の撮影を行う。この画像には、検出対象となるオブジェクト（指）が含まれるか否かは不明である。
パターン照射部１３によるパターン照射を実行し、カメラＬ１１とカメラＲ１２の２つの異なる位置に設定されたカメラによって撮影されたパターン照射画像を撮影して入力する。
（ステップＳ２０４）
ステップＳ２０４の処理と、ステップＳ２０５〜Ｓ２０６の処理は並列に実行可能である。
ステップＳ２０４の処理は、先に図２を参照して説明したフローのステップＳ１０２の処理と同様の処理であり、ステップＳ２０３で撮影したパターン照射ＬＲ画像を利用したオブジェクト距離算出処理である。
ここでは、指３０のカメラからの距離を算出する。この距離算出においては、Ｌ画像とＲ画像の対応点を検出することが必要である。
この対応点検出を高精度に実行するために画像内のパターンが有効に利用される。
なお、本実施例では、オブジェクト距離算出は、対応点マッチングを利用したステレオ法を用いる。この具体的処理例については先に図３を参照して説明した通りである。
（ステップＳ２０５）
ステップＳ２０５〜Ｓ２０６の処理は、撮影画像内から特定オブジェクトの検出を行う処理である。例えば、指３０が画像に含まれるか否かを判定する。
なお、このオブジェクト検出処理は、Ｌ画像またはＲ画像のいずれか一方のみに対して実行しともよいし、２つの画像各々に対して実行してもよい。
こでは、ＬＲ画像のいずれか一方の画像のみに対してオブジェクト検出を行う例について説明する。
ステップＳ２０５の処理は、ステップＳ２０３において入力したパターンあり画像からステップＳ２０２で生成した背景モデル画像を減算して特定オブジェクト検出用画像を生成する処理である。ステップＳ２０３において入力したパターンあり画像の画素値から、ステップＳ２０２で生成した背景モデル画像の画素値を各対応画素において減算する。
この処理により、背景モデルと同じ画像領域は画素値＝０となり、特定オブジェクト（指）の画像領域のみに画素値が設定され、指領域のみに有効画素値が設定された画像（特定オブジェクト検出用画像）が生成される。
（ステップＳ２０６）
次に、ステップＳ２０６において、ステップＳ２０５で生成した特定オブジェクト検出用画像を利用して特定オブジェクト、すなわち指が含まれるか否かのオブジェクト（指）検出処理を実行する。
この指検出処理は、予め蓄積した特徴量を示す学習データを利用した処理であり、前述した実施例１において、図４〜図１４を参照して説明した処理と同様の処理である。
（ステップＳ２０７）
次に、情報処理装置は、ステップＳ２０７において、解析処理が終了したか否かを判定する。解析対象となる画像の入力がない場合には、処理終了と判定する。例えば、動画を撮影しながら予め規定したフレーム間隔ごとに解析を継続的に実行する場合には、図１５に示すフローに従った処理を所定フレーム間隔ごとに繰り返し実行する。この場合には、ステップＳ２０７の判定はＮｏとなり、ステップＳ２０１に戻り、新たな入力画像に対して、ステップＳ２０１以下の解析処理を繰り返し実行する。
なお、本実施例においてもパターン照射部１３によるパターン照射は、赤外光による照射パターンとし、カメラＬ１１とカメラＲ１２の２つのカメラは、赤外光のパターンを撮影可能なカメラとしてもよい。この場合、ステップＳ２０４のオブジェクト距離の算出において実行するＬ画像とＲ画像の対応点マッチング処理は、赤外光パターンを利用して実行する。
このように、本実施例２では、
オブジェクト距離算出については、異なる視点から撮影した２枚のパターン照射あり画像に基づくオブジェクト距離算出を実行する。
一方、オブジェクト検出処理は、事前に検出対象オブジェクトを含まないパターン照射背景モデル画像を生成し、パターン照射あり画像から背景モデル画像を減算して特定オブジェクト検出用画像を生成して、この特定オブジェクト検出用画像を利用してオブジェクト検出処理を実行する。
これらの処理を行なうことで、オブジェクト距離算出も、オブジェクト検出処理のいずれも高精度な処理として実行可能となる。
［４．本開示の情報処理装置の第３実施例について］
次に、本開示の情報処理装置の第３実施例について説明する。
図１６に示すフローチャートを参照して本開示の情報処理装置の第２実施例の処理シーケンスについて説明する。
第３実施例も、例えば図１に示す２つの異なる位置に設定されたカメラであるカメラＬ１１、カメラＲ１２の撮影画像を入力して、これらの画像に基づいて、
（ａ）撮影画像内の特定のオブジェクトの距離を算出する「特定オブジェクト距離算出処理」
（ｂ）撮影画像内に特定のオブジェクトが含まれるか否かを判定する「特定オブジェクト検出処理」
これら（ａ），（ｂ）の各処理を実行する。
図１６に示すフローの各ステップの処理について説明する。
（ステップＳ３０１）
まず、情報処理装置は、パターン照射部１３によるパターン照射を実行し、カメラＬ１１とカメラＲ１２の２つの異なる位置に設定されたカメラによって、パターン照射画像を撮影し入力する。
（ステップＳ３０２）
ステップＳ３０２の処理は、ステップＳ３０１で撮影したパターン照射ＬＲ画像を利用したオブジェクト距離算出処理である。
ここでは、指３０のカメラからの距離を算出する。この距離算出においては、Ｌ画像とＲ画像の対応点を検出することが必要である。
この対応点検出を高精度に実行するために画像内のパターンが有効に利用される。
なお、本実施例では、オブジェクト距離算出は、対応点マッチングを利用したステレオ法を用いる。この具体的処理例については後述する。
（ステップＳ３０３）
ステップＳ３０３〜Ｓ３０４の処理は、撮影画像内から特定オブジェクトの検出を行う処理である。例えば、指３０が画像に含まれるか否かを判定する。
なお、このオブジェクト検出処理は、Ｌ画像またはＲ画像のいずれか一方のみに対して実行しともよいし、２つの画像各々に対して実行してもよい。
こでは、ＬＲ画像のいずれか一方の画像のみに対してオブジェクト検出を行う例について説明する。
情報処理装置は、ステップＳ３０３において、パターン照射部１３によるパターン照射を停止し、カメラＬ１１またはカメラＲ１２のいずれかのカメラによって撮影されたパターン照射なし画像を入力する。
（ステップＳ３０４）
次に、ステップＳ３０４において、ステップＳ３０３で入力したパターンなし画像を利用して撮影画像に特定オブジェクト、すなわち指が含まれるか否かのオブジェクト（指）検出処理を実行する。
この指検出処理には、予め蓄積した特徴量を示す学習データを利用する。この処理の具体的処理は、先に実施例１において図４〜図１４を参照して説明した処理と同様の処理である。
（ステップＳ３０５）
次に、情報処理装置は、ステップＳ３０５において、解析処理が終了したか否かを判定する。解析対象となる画像の入力がない場合には、処理終了と判定する。例えば、動画を撮影しながら予め規定したフレーム間隔ごとに解析を継続的に実行する場合には、図２に示すフローに従った処理を所定フレーム間隔ごとに繰り返し実行する。この場合には、ステップＳ３０５の判定はＮｏとなり、ステップＳ３０１に戻り、新たな入力画像に対して、ステップＳ３０１以下の解析処理を繰り返し実行する。
なお、本実施例においてもパターン照射部１３によるパターン照射は、赤外光による照射パターンとし、カメラＬ１１とカメラＲ１２の２つのカメラは、赤外光のパターンを撮影可能なカメラとしてもよい。この場合、ステップＳ３０２のオブジェクト距離の算出において実行するＬ画像とＲ画像の対応点マッチング処理は、赤外光パターンを利用して実行する。
このように、本実施例３は、実施例１と同様、異なる視点から撮影した２枚のパターン照射あり画像に基づくオブジェクト距離算出を実行し、さらに、パターン照射あり画像から生成したパターン照射なし画像を利用してオブジェクト検出処理を実行する。
実施例１との差異は、オブジェクト距離算出とオブジェクト検出処理を交互に実行する点である。
なお、ここで説明する実施例では、距離算出と、検出処理の対象となるオブジェクトは指である。
図１６に示すフローを参照して説明したように、本開示の情報処理装置は、距離算出処理においては、異なる視点から撮影した２枚のパターン照射あり画像を適用した処理を実行する。
一方、オブジェクト検出処理については、パターン照射なし画像を用いた処理を実行する。
これらの処理を行なうことで、オブジェクト距離算出も、オブジェクト検出処理のいずれも高精度な処理として実行可能となる。
［５．情報処理装置の構成例について］
次に情報処理装置の構成例について説明する。
情報処理装置は、例えばＰＣ等のコンピュータ装置によって構成可能である。
図１７は、情報処理装置の機能構成を説明するブロック図である。
図１８は、情報処理装置のハードウェア構成例を説明する図である。
まず、図１７を参照して情報処理装置の機能構成について説明する。
情報処理装置１８０は、異なる視点からの画像を撮影するカメラＬ１５１、カメラＲ１５２と、パターン照射を実行するパターン照射部１６０の処理制御を行う処理制御部１８１を有する。
さらに、カメラＬ１５１、カメラＲ１５２の撮影画像を入力する画像入力部１８２と、上述した実施例１〜３の処理に従った処理を実行するデータ処理部１８４、さらに、画像データや、処理プログラム、各種パラメータ等の記憶領域として利用される記憶部１８３を有する。
データ処理部１８４は、画像の解析により、オブジェクトの距離算出と、オブジェクトの検出処理を実行する。さらに、前述した実施例において説明したように、パターンあり画像からパーンなし画像の生成等、各種の画像変換も実行する。
次に、図１８を参照して上述した処理を実行する情報処理装置のハードウェア構成例について説明する。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、先に説明した実施例に従った処理等を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３には、ＣＰＵ２０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４により相互に接続されている。
ＣＰＵ２０１はバス２０４を介して入出力インタフェース２０５に接続され、入出力インタフェース２０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。ＣＰＵ２０１は、入力部２０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部２０７に出力する。
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスク等からなり、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
入出力インタフェース２０５に接続されているドライブ２１０は、データの記録再生対象となるリムーバブルメディア２１１を駆動し、データの記録、再生を実行する。
ＣＰＵ２０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる視点から撮影した画像の解析を実行するデータ処理部を有し、
前記データ処理部は、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
パターン照射なし画像を適用したオブジェクト検出処理を実行する情報処理装置。
（２）前記データ処理部は、パターン照射画像からパターン画像を減算する画像変換により、パターン照射なし画像を生成し、生成したパターン照射なし画像を適用したオブジェクト検出処理を実行する前記（１）に記載の情報処理装置。
（３）前記データ処理部は、
（ａ）複数の異なる視点のパターン照射画像の入力、および入力した複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理、
（ｂ）パターン照射なし画像の入力、および入力したパターン照射なし画像を適用したオブジェクト検出処理、
上記（ａ），（ｂ）の各処理を交互に実行する前記（１）に記載の情報処理装置。
（４）前記データ処理部は、前記オブジェクト検出処理において、前記パターン照射なし画像から特徴量を抽出する特徴量抽出処理と、前記特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行する構成であり、前記特徴量抽出処理は、複数のフィルタを適用した特徴量抽出処理として実行する前記（１）〜（３）いずれかに記載の情報処理装置。
（５）前記データ処理部は、予め実行した学習処理において前記特定オブジェクトの検出状態と非検出状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する前記（４）に記載の情報処理装置。
（６）前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の特徴量を加算したスコアを算出し、加算スコアに基づいて前記特定オブジェクトの検出判定処理を実行する前記（４）または（５）に記載の情報処理装置。
（７）前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の画素対応の特徴量を加算した画素対応のスコアを算出し、算出した画素対応のスコアをさらに加算した総合スコアに基づいて前記特定オブジェクトの検出判定処理を実行する前記（４）〜（６）いずれかに記載の情報処理装置。
（８）さらに、本開示の情報処理装置の一実施態様において、前記パターン照射画像は、赤外光パターンの照射画像である前記（１）〜（７）いずれかに記載の情報処理装置。
（９） 異なる視点から撮影した画像の解析を実行するデータ処理部を有し、
前記データ処理部は、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行する情報処理装置。
（１０）前記データ処理部は、検出対象の含まれない画像を複数フレーム連続して撮影し、撮影した複数の画像を平均化して前記背景モデル画像を生成する前記（９）に記載の情報処理装置。
（１１）前記データ処理部は、前記オブジェクト検出処理において、前記特定オブジェクト検出用画像から特徴量を抽出する特徴量抽出処理と、前記特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行する構成であり、前記特徴量抽出処理は、複数のフィルタを適用した特徴量抽出処理として実行する前記（９）または（１０）いずれかに記載の情報処理装置。
（１２）前記データ処理部は、予め実行した学習処理において前記特定オブジェクトの検出状態と非検出状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する前記（１１）に記載の情報処理装置。
（１３）前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の特徴量を加算したスコアを算出し、加算スコアに基づいて前記特定オブジェクトの検出判定処理を実行する前記（１１）または（１２）に記載の情報処理装置。
（１４）前記データ処理部は、前記特徴量抽出処理において抽出した異なるフィルタ対応の画素対応の特徴量を加算した画素対応のスコアを算出し、算出した画素対応のスコアをさらに加算した総合スコアに基づいて前記特定オブジェクトの検出判定処理を実行する前記（１１）〜（１３）いずれかに記載の情報処理装置。
（１５）さらに、本開示の情報処理装置の一実施態様において、前記パターン照射画像は、赤外光パターンの照射画像である前記（９）〜（１４）いずれかに記載の情報処理装置。
（１６） 情報処理装置において実行する情報処理方法であり、
データ処理部が、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
パターン照射なし画像を適用したオブジェクト検出処理を実行する情報処理方法。
（１７） 情報処理装置において実行する情報処理方法であり、
データ処理部が、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行する情報処理方法。
（１８） 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
パターン照射なし画像を適用したオブジェクト検出処理を実行させるプログラム。
（１９） 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、特定オブジェクトの検出処理と距離算出処理の２つの処理を高精度に実行する装置、方法が実現される。
具体的には、異なる視点から撮影したパターン照射画像を適用したオブジェクト距離算出処理と、パターン照射なし画像を適用したオブジェクト検出処理を実行する。データ処理部は、パターン照射画像からパターン画像を減算する画像変換により、パターン照射なし画像を生成し、生成したパターン照射なし画像を適用したオブジェクト検出処理を実行する。あるいは、パターン照射画像を適用したオブジェクト距離算出処理と、パターン照射なし画像を適用したオブジェクト検出処理を交互に実行する。
本構成により、特定オブジェクトの検出処理と距離算出処理の２つの処理を高精度に実行する装置、方法が実現される。
１１ カメラＬ
１２ カメラＲ
２１ ボード
３０ 指
５１ Ｌ画像
５２ Ｒ画像
１００ 情報処理装置
１１０ 学習処理部
１１１ 画像入力部
１１２ 特徴量抽出部
１１３ 機械学習部
１１４ 認識辞書記憶部
１２０ 認識処理部
１２１ 画像入力部
１２２ 特徴量抽出部
１２３ 特定オブジェクト認識部
１５１ カメラＬ
１５２ カメラＲ
１６０ パターン照射部
１８０ 情報処理装置
１８１ 処理制御部
１８２ 画像入力部
１８３ 記憶部
１８４データ処理部
２００ 情報処理装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ バス
２０５ 入出力インタフェース
２０６ 入力部
２０７ 出力部
２０８ 記憶部
２０９ 通信部
２１０ ドライブ
２１１ リムーバブルメディア

Claims (15)

  1. 異なる視点から撮影した画像の解析を実行するデータ処理部を有し、
    前記データ処理部は、
    複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
    パターン照射なし画像を適用したオブジェクト検出処理を実行し、
    前記オブジェクト検出処理は、
    （ａ）パターン照射なし画像に対する複数の異なるフィルタを適用した特徴量抽出処理によるフィルタ単位の画素対応特徴量抽出処理、
    （ｂ）フィルタ単位の画素対応特徴量を、全適用フィルタについて加算した画素対応スコアの算出処理、
    （ｃ）画素対応スコアを、複数画素について加算した総合スコアの算出処理、
    上記（ａ）〜（ｃ）の処理によって算出した総合スコアに基づく特定オブジェクト検出処理である情報処理装置。
  2. 前記データ処理部は、
    パターン照射画像からパターン画像を減算する画像変換により、パターン照射なし画像を生成し、生成したパターン照射なし画像を適用したオブジェクト検出処理を実行する請求項１に記載の情報処理装置。
  3. 前記データ処理部は、
    （ａ）複数の異なる視点のパターン照射画像の入力、および入力した複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理、
    （ｂ）パターン照射なし画像の入力、および入力したパターン照射なし画像を適用したオブジェクト検出処理、
    上記（ａ），（ｂ）の各処理を交互に実行する請求項１に記載の情報処理装置。
  4. 前記データ処理部は、
    前記オブジェクト検出処理において、
    前記パターン照射なし画像から特徴量を抽出する特徴量抽出処理と、
    前記特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行する請求項１〜３いずれかに記載の情報処理装置。
  5. 前記データ処理部は、
    予め実行した学習処理において前記特定オブジェクトの検出状態と非検出状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する請求項１〜４いずれかに記載の情報処理装置。
  6. 前記パターン照射画像は、赤外光パターンの照射画像である請求項１〜５いずれかに記載の情報処理装置。
  7. 異なる視点から撮影した画像の解析を実行するデータ処理部を有し、
    前記データ処理部は、
    複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
    検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行し、
    前記オブジェクト検出処理は、
    （ａ）特定オブジェクト検出用画像に対する複数の異なるフィルタを適用した特徴量抽出処理によるフィルタ単位の画素対応特徴量抽出処理、
    （ｂ）フィルタ単位の画素対応特徴量を、全適用フィルタについて加算した画素対応スコアの算出処理、
    （ｃ）画素対応スコアを、複数画素について加算した総合スコアの算出処理、
    上記（ａ）〜（ｃ）の処理によって算出した総合スコアに基づく特定オブジェクト検出処理である情報処理装置。
  8. 前記データ処理部は、
    検出対象の含まれない画像を複数フレーム連続して撮影し、撮影した複数の画像を平均化して前記背景モデル画像を生成する請求項７に記載の情報処理装置。
  9. 前記データ処理部は、
    前記オブジェクト検出処理において、
    前記特定オブジェクト検出用画像から特徴量を抽出する特徴量抽出処理と、
    前記特徴量に基づいて、特定オブジェクトの位置判定処理を実行する特定オブジェクト認識処理を実行する請求項７または８に記載の情報処理装置。
  10. 前記データ処理部は、
    予め実行した学習処理において前記特定オブジェクトの検出状態と非検出状態との識別力が高いと判定したフィルタを選択的に適用して特徴量抽出を実行する請求項７〜９いずれかに記載の情報処理装置。
  11. 前記パターン照射画像は、赤外光パターンの照射画像である請求項７〜１０いずれかに記載の情報処理装置。
  12. 情報処理装置において実行する情報処理方法であり、
    データ処理部が、
    複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
    パターン照射なし画像を適用したオブジェクト検出処理を実行し、
    前記オブジェクト検出処理は、
    （ａ）パターン照射なし画像に対する複数の異なるフィルタを適用した特徴量抽出処理によるフィルタ単位の画素対応特徴量抽出処理、
    （ｂ）フィルタ単位の画素対応特徴量を、全適用フィルタについて加算した画素対応スコアの算出処理、
    （ｃ）画素対応スコアを、複数画素について加算した総合スコアの算出処理、
    上記（ａ）〜（ｃ）の処理によって算出した総合スコアに基づく特定オブジェクト検出処理である情報処理方法。
  13. 情報処理装置において実行する情報処理方法であり、
    データ処理部が、
    複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
    検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行し、
    前記オブジェクト検出処理は、
    （ａ）特定オブジェクト検出用画像に対する複数の異なるフィルタを適用した特徴量抽出処理によるフィルタ単位の画素対応特徴量抽出処理、
    （ｂ）フィルタ単位の画素対応特徴量を、全適用フィルタについて加算した画素対応スコアの算出処理、
    （ｃ）画素対応スコアを、複数画素について加算した総合スコアの算出処理、
    上記（ａ）〜（ｃ）の処理によって算出した総合スコアに基づく特定オブジェクト検出処理である情報処理方法。
  14. 情報処理装置において情報処理を実行させるプログラムであり、
    データ処理部に、
    複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
    パターン照射なし画像を適用したオブジェクト検出処理を実行させ、
    前記オブジェクト検出処理においては、
    （ａ）パターン照射なし画像に対する複数の異なるフィルタを適用した特徴量抽出処理によるフィルタ単位の画素対応特徴量抽出処理、
    （ｂ）フィルタ単位の画素対応特徴量を、全適用フィルタについて加算した画素対応スコアの算出処理、
    （ｃ）画素対応スコアを、複数画素について加算した総合スコアの算出処理、
    上記（ａ）〜（ｃ）の処理によって算出した総合スコアに基づく特定オブジェクト検出処理を実行させるプログラム。
  15. 情報処理装置において情報処理を実行させるプログラムであり、
    データ処理部に、
    複数の異なる視点のパターン照射画像を適用したオブジェクト距離算出処理と、
    検出対象の含まれない背景モデル画像を前記パターン照射画像から減算して生成した特定オブジェクト検出用画像を適用したオブジェクト検出処理を実行させ、
    前記オブジェクト検出処理においては、
    （ａ）特定オブジェクト検出用画像に対する複数の異なるフィルタを適用した特徴量抽出処理によるフィルタ単位の画素対応特徴量抽出処理、
    （ｂ）フィルタ単位の画素対応特徴量を、全適用フィルタについて加算した画素対応スコアの算出処理、
    （ｃ）画素対応スコアを、複数画素について加算した総合スコアの算出処理、
    上記（ａ）〜（ｃ）の処理によって算出した総合スコアに基づく特定オブジェクト検出処理を実行させるプログラム。
JP2013262011A 2013-12-19 2013-12-19 情報処理装置、情報処理方法、並びにプログラム Expired - Fee Related JP6127958B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013262011A JP6127958B2 (ja) 2013-12-19 2013-12-19 情報処理装置、情報処理方法、並びにプログラム
US14/565,688 US10140509B2 (en) 2013-12-19 2014-12-10 Information processing for detection and distance calculation of a specific object in captured images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013262011A JP6127958B2 (ja) 2013-12-19 2013-12-19 情報処理装置、情報処理方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2015118583A JP2015118583A (ja) 2015-06-25
JP2015118583A5 JP2015118583A5 (ja) 2016-02-04
JP6127958B2 true JP6127958B2 (ja) 2017-05-17

Family

ID=53400571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013262011A Expired - Fee Related JP6127958B2 (ja) 2013-12-19 2013-12-19 情報処理装置、情報処理方法、並びにプログラム

Country Status (2)

Country Link
US (1) US10140509B2 (ja)
JP (1) JP6127958B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286874B1 (ko) * 2014-10-20 2021-08-09 한국전자통신연구원 다중 방향성 적분 이미지를 이용한 객체 검출 장치 및 방법
WO2018227514A1 (zh) * 2017-06-16 2018-12-20 深圳市汇顶科技股份有限公司 指纹图像处理方法、光学指纹辨识系统及电子装置
JP6824833B2 (ja) * 2017-06-23 2021-02-03 富士フイルム株式会社 距離データ生成システム、距離データ生成方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194114A (ja) * 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2004132759A (ja) 2002-10-09 2004-04-30 Sony Corp 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム
US7671843B2 (en) * 2002-11-12 2010-03-02 Steve Montellese Virtual holographic input method and device
US9760214B2 (en) * 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
JP4667912B2 (ja) * 2005-03-09 2011-04-13 富士フイルム株式会社 判別器生成装置、判別器生成方法およびそのプログラム
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
JP5061767B2 (ja) * 2006-08-10 2012-10-31 日産自動車株式会社 画像処理装置および画像処理方法
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
JP4829855B2 (ja) * 2007-09-04 2011-12-07 キヤノン株式会社 画像投影装置及びその制御方法
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
JP5227629B2 (ja) * 2008-03-25 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
US8989448B2 (en) * 2011-03-22 2015-03-24 Morpho, Inc. Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
EP2689413A4 (en) * 2011-03-25 2015-07-22 Oblong Ind Inc QUICK FINGER FINGER DETECTION TO INITIALIZE A VISION BASED HAND TRACER
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US9317768B2 (en) * 2012-09-25 2016-04-19 Intel Corporation Techniques for improved feature detection
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment

Also Published As

Publication number Publication date
US10140509B2 (en) 2018-11-27
JP2015118583A (ja) 2015-06-25
US20150178934A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR100519782B1 (ko) 스테레오 카메라를 이용한 사람 검출 방법 및 장치
KR101636370B1 (ko) 영상 처리 장치 및 방법
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
US20170308736A1 (en) Three dimensional object recognition
CN104123529B (zh) 人手检测方法及系统
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
US20110025834A1 (en) Method and apparatus of identifying human body posture
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
CN102063725B (zh) 一种基于深度信息的多目标跟踪方法
KR20110020718A (ko) 타겟 분석 장치 및 방법
JP6331761B2 (ja) 判定装置、判定方法及び判定プログラム
JP2010157093A (ja) 運動推定装置及びプログラム
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
JP6127958B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP6098498B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN115272417A (zh) 图像数据的处理方法、图像处理设备以及可读存储介质
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
JP2007257489A (ja) 画像処理装置および画像処理方法
Corneliu et al. Real-time pedestrian classification exploiting 2D and 3D information

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170327

R151 Written notification of patent or utility model registration

Ref document number: 6127958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees