JP5349622B2 - パターン識別装置 - Google Patents

パターン識別装置 Download PDF

Info

Publication number
JP5349622B2
JP5349622B2 JP2011553627A JP2011553627A JP5349622B2 JP 5349622 B2 JP5349622 B2 JP 5349622B2 JP 2011553627 A JP2011553627 A JP 2011553627A JP 2011553627 A JP2011553627 A JP 2011553627A JP 5349622 B2 JP5349622 B2 JP 5349622B2
Authority
JP
Japan
Prior art keywords
parallax
dimensional
point
feature amount
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011553627A
Other languages
English (en)
Other versions
JPWO2011099072A1 (ja
Inventor
寛 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JPWO2011099072A1 publication Critical patent/JPWO2011099072A1/ja
Application granted granted Critical
Publication of JP5349622B2 publication Critical patent/JP5349622B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/45Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像に含まれる物体の識別を行うパターン識別技術に関する。
非特許文献1には、画像から人間とそれ以外を区別するためのパターン認識(パターン識別)における特徴量抽出方法が開示されている。より詳細には、画像を複数の格子状の領域に分割し、領域毎に算出した輝度勾配方向のヒストグラムを特徴量としている。
また、特許文献1及び非特許文献2には、テクスチャ画像の種類を分類するための特徴量抽出方法が記載されている。特許文献1の技術は、画像の濃度iの点から一定の距離と方向に平行移動した点の濃度がjである組み合わせの数P(i,j)を要素とする同時生起行列を特徴量としている。テクスチャ画像では等距離毎に類似した模様が繰り返し現れるため、等距離離れた2点における濃度値の同時生起を表す特徴量はテクスチャの識別に有効である。非特許文献2の技術は、画像の濃度値の代わりに、輝度勾配方向の同時生起行列を用いることで、照明変動に対してロバストな特徴量を抽出している。
特開2000−207566号公報 Navneet Dalal,and Bill Triggs,"Histograms of oriented grad ients for human detectiom," CVPR 2005, vol.1,pp.886-893,2005. Rami Rautkorpi and Jukka Iivarinen,"A Novel Shape Feature for Image Classification and Retrieval," Proceedings of the International Conf erence on Image Analysis and Recognition,LNCS 3211,Part I,pages 753-760,Port o,Portugal,September 29-October 1,2004. T.Watanabe, S.Ito, K..Yokoi "Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection Third Pacific Rim Symposium", PSIVT 2009 pp. 37-47
非特許文献1の技術では、格子状に区切った領域毎に輝度勾配分布を算出するので、領域内のテクスチャの構造情報が特徴量に反映されない。例えば、同一格子内において上下反対の模様であっても、その領域からは全く同一の特徴量が算出されることになり、識別に有効な情報が失われるという問題点があった。
また、特許文献1及び非特許文献2の技術で算出される特徴量は、空間位置が異なる2点の輝度あるいは輝度勾配に基づくので、構造に関する情報もある程度反映される。しかしながら、2次元の画像に基づく特徴量であるため、物体の3次元形状を記述した特徴量でないという問題点があった。
そこで本発明は、上記問題点を解決するためになされたものであって、3次元画像データに対してより高い識別性能を有するパターン識別装置を提供することを目的としている。
本発明の一態様に係るパターン識別装置は、3次元画像データにおける3次元空間中に少なくとも一つの領域を設定する設定部と、前記3次元画像データの画素毎に画素特徴量を算出する特徴量算出部と、(1)前記領域内の3次元座標上の注目点から特定の写像によって位置が変位する前記領域内の3次元座標上の点を少なくとも1つ求め、(2)前記領域内の前記注目点の画素特徴量と、前記写像した各点の画素特徴量との組み合わせの発生頻度を表す共起行列を算出する行列算出部と、前記特定の写像と前記共起行列との組合せと、予め学習した検出対象物の学習サンプルに基づいて、前記領域内に前記検出対象物が撮像されているか否かを識別する識別部とを有する。
本発明によれば、3次元画像データに対して高い識別性能を有する。
本発明の一実施例を示すパターン識別装置の適用例の説明図。 パターン識別装置の構成図。 ステレオ画像の例を説明するための図。 候補矩形生成法を説明するための第1の図。 座標系を説明するための図。 視差計算を説明するための図。 候補矩形生成法を説明するための第2の図。 領域に対して定義するメッシュを説明するための図。 輝度勾配方向を説明するための図。 変位ベクトルを説明するための図。 輝度勾配方向の画像内の共起ヒストグラムを説明するための図。
以下、本発明の一実施例のパターン識別装置10について図面を参照して説明する。
本実施例では、図1に示すように、自動車の前方に2台のカメラを搭載し、自車の進行方向に存在する歩行者を検出することを想定している。
パターン識別装置10の構成について図2を参照して説明する。図2は、パターン識別装置10のブロック図を示す。パターン識別装置10は、第1入力部14、第2入力部16、第1記憶部18、第2記憶部20、特徴抽出装置12とを有する。特徴抽出装置12は、設定部22、正規化部24、特徴量算出部26、行列算出部28、識別部30、出力部32を有する。
第1入力部14、第2入力部16は、2台のカメラを用いて撮影視点が異なるステレオ画像を入力する。撮像視野に重なりがあれば複数のカメラの互いの位置や方向は任意であるが、本実施例では、同一の2台のカメラを左右平行に配置してステレオ画像を撮影するものとする。
図5に本実施例で使用する座標系を示す。座標系は、ステレオカメラ座標系と画像座標系からなる。
ステレオカメラ座標系は、3次元座標であり、その原点Oを右カメラの視点(レンズ中心)にとり、左右カメラの視点を結ぶ直線をX軸、鉛直下向きにY軸、カメラの光軸方向にZ軸を設定する。カメラ間の距離(基線長)をBとする。左カメラの位置は、(−B,0,0)と表せる。簡単のため、道路面を平面でモデル化し、かつ、水平方向の傾斜が微小であるとして無視すると、道路平面は、ステレオカメラ座標系においてY=αZ+βと表記される。αは、ステレオカメラから見た道路平面の傾斜を表し、βは、ステレオカメラの路面からの高さを表す。以下では、α,βを合わせて路面パラメータと呼ぶ。一般に道路の傾斜は場所毎に異なり、かつ、車両走行時にはカメラが振動するため、路面パラメータは車両の移動に伴って時々刻々変化する。
画像座標系は、2次元座標であり、各画像に設定するものである。画像座標系は、右画像の水平方向にx軸、垂直方向にy軸を設定し、同様に、左画像の水平方向にx’軸、垂直方向にy’軸を設定し、左右画像の水平方向x軸、x’軸は、X軸方向と一致するものとする。このような場合、右画像上の点(x,y)の左画像上の対応点を(x’,y’)とすると、y=y’となるので、水平方向の位置の違いのみを考えれば良い。以下ではこの水平方向の違いを「ステレオ視差」と呼び、右画像を基準画像として、視差d=x’−xと表記する。ステレオ視差は、以下では単に「視差」という
第1記憶部18、第2記憶部20は、第1入力部14、第2入力部16で取得した2枚のステレオ画像のデータを記憶する。
設定部22は、図2に示すように、視差計算部221、パラメータ計算部222、生成部223を有し、道路上に存在する立体物を候補領域として抽出する。候補領域は図3の点線矩形が示すように、立体物をどちらか一方の画像上で、もしくは、左右両方の画像上で抽出する。以下にその詳細を説明する。
視差計算部221は、第1記憶部18、第2記憶部20で記憶しているステレオ画像間の視差dを計算する。
図6に示すように、視差計算部221は、基準画像である右画像の任意の点x=(x,y)に対し、左画像上の同一の走査線上を探索して対応点x’=(x’,y)=(x+d,y)を求める。この場合の視差dは、非負、すなわち、d≧0となるので、視差計算部221は、探索の際には同一座標より右側のみを調べれば良い。より具体的には、図6のように、視差計算部221は、右画像上の点xの周囲にウィンドウを設定し、その内部の輝度パターンと最も類似した輝度パターンを同じサイズのウィンドウ内に持つ点を左画像の同一走査線から求める。輝度パターンの類似性の評価尺度としては、例えば正規化相互相関Cを用いる。視差計算部221が、探索ウィンドウのサイズを(2w+1)×(2w+1)画素と設定し、左右画像に設定したウィンドウ内の輝度を各々f(ξ,η),g(ξ,η)と表現すると、正規化相互相関Cは次の式(1)で与えられる。
Figure 0005349622
N=(2w+1)はウィンドウ内の画素数、f,gはウィンドウ内の輝度の平均、σ ,σ は各ウィンドウ内の輝度の分散を表し、次の式(2)、式(3)で与えられる。なお、バー記号−の付された文字f、gは、本文中では「f」、「g」と表記する。
Figure 0005349622
視差計算部221は、基準画像上の任意の点に対して、正規化相互相関Cを用いて対応点を探索すれば、全ての点に対する視差d、すなわち、視差マップを得る。
パラメータ計算部222は、視差計算部221で計算した視差マップを用いて路面パラメータp=(α,β)を算出する。
まず、パラメータ計算部222が、基準画像上の点(x,y)の視差dから、その点の3次元位置(X,Y,Z)を求める方法について説明する。3次元空間中の点(X,Y,Z)と、その左右画像への投影像(x’,y)、(x,y)の間には、次の式(4)が成り立つ。
Figure 0005349622
式(4)をX,Y,Zについて解くと、
Figure 0005349622
を得る。パラメータ計算部222は、視差dが得られた基準画像上の点における3次元位置を上記の式(5)を用いて求める。パラメータ計算部222は、これらの計測値の内、道路面と距離が近い点を選択して、道路面の方程式Y=αZ+βに代入すれば路面パラメータp=(α,β)を得る。道路面に近い点は、次の式(6)の条件を満たす点として抽出される。
Figure 0005349622
ここで、ΔYは閾値であり、適当な値を予め設定しておく。Yは、点(X,Y,Z)を通ってY軸に平行な直線と基準道路面との交点のY座標を表す。基準道路面の路面パラメータpは、例えば、車両が停止しているときに平坦な道路で計測する。基準道路面の路面パラメータをα^,β^とすると、Yは、次の式(7)により与えられる。なお、ハット記号^の付された文字α、βは、本文中では「α^」、「β^」と表記する。
Figure 0005349622
生成部223は、次の手順に従って歩行者が含まれる領域を生成する。
まず、生成部223は、視差マップ上の任意の点(x,y)に対し、図4に示すように、その点を下辺の中点とする矩形を設定する。矩形の下辺は道路面とほぼ接しており、また、矩形の大きさは検出対象物である人間の縦横のサイズを考慮して決められる。例えば、人間の身長と横幅の代表値を各々H,Wとした場合、その高さhと幅wは、次のように求めることができる。道路面の方程式Y=αZ+βと式(4)から、
Figure 0005349622
となるので、高さhと幅wは、次の式(9)から計算できる。
Figure 0005349622
このように画像上の縦方向の位置、すなわちy座標によって画像上の矩形のサイズは変化する。また、人間の様々な大きさに対応するため、図4のように、生成部223は、画像上の各点(x,y)に対し、複数種類の矩形を用意する。図4では3種類の矩形を例示している。
次に、生成部223は、このようにして各点(x,y)に設定した矩形内の視差dから、図7(a)のように矩形R内に人間(歩行者)が含まれる可能性を評価する。矩形R内に人間が含まれる場合、矩形R内のカメラからの距離、すなわち奥行きがほぼ一様となるので、視差も一様となる。また、その視差dは、点(x,y)が道路面と接するので、式(10)により与えられる。
Figure 0005349622
したがって、矩形R内の任意の点の視差dとすると、視差の均一性は、
Figure 0005349622
を満たす点の数Nで評価できる。矩形Rの大きさによる影響を考慮するため、矩形Rの面積S=w×hで正規化し、生成部223は、次の式(12)を満たす矩形Rを候補領域として登録する。
Figure 0005349622
minは閾値であり、予め適切な値を設定しておく。なお、図7(b)に示すように対象よりも小さい矩形Rでも矩形R内の視差は均一となるので、N^が大きな値となり、上記の条件を満たす場合がある。したがって、ある点に対し複数サイズの矩形が上記を満たす場合には、最も大きな矩形Rだけを候補領域Rとして選択しても良い。
次に、上記の処理によって、生成部223は、N個(N≧0)の候補領域R〜Rを生成する。図3には、3個の候補領域R,R,Rを示す。さらに、これらの左画像における対応領域R’〜R’を抽出しても良い。各矩形Rの下辺は道路面と接触しており、その視差が式(10)により与えられるため、対応領域R’〜R’は各矩形Rの下辺のy座標から生成することができる。
なお、視差計算部221、パラメータ計算部222、生成部223を有する設定部22は、図3の点線矩形が示すようにステレオ画像間で対応する領域を設定しても良いし、どちらか一方の領域を設定しても良い。以下では、設定部22は、右画像を基準画像とし、右画像上でN個の領域R〜Rを抽出するものとする。
正規化部24は、設定部22によって設定されたN個の領域R〜Rを予め定めたサイズに正規化する。正規化のサイズは任意であるが、本実施例では48×24画素の縦長の矩形に揃えるものとする。
特徴量算出部26は、正規化部24によって正規化された領域の画像データの画素特徴量を画素毎に算出する。
画素特徴量としては、例えば、輝度勾配方向を用いる。輝度勾配方向は照明変動等に対してロバストな画素特徴量であり、明るさの変化が大きい環境下でも有効な画素特徴量である。明るさの変化が比較的小さい場合には、輝度の値自身を画素特徴量として用いても良いし、輝度の階調数を減らしても良い。以下の説明では、画素特徴量として輝度勾配方向を用いた場合について説明する。
特徴量算出部26は、算出した輝度勾配方向は適当な範囲の離散値、例えば、図9に示すような8方向に量子化する。なお、図9では、各方向に対応するように、それぞれ1〜8の数字が付されている。
行列算出部28は、正規化された領域毎に共起特徴を抽出して出力する。本実施例の場合には、共起特徴は、特徴ベクトルλである。
まず、行列算出部28は、正規化部24によって正規化された各領域を図8のようなメッシュ状に区切り、メッシュ毎に共起ヒストグラムを算出する。メッシュ数は任意であるが、例えば図8に示すように縦、横を8×4個に分割する。領域全体が48×24画素であるから、メッシュの1区画が、6×6の画素から構成される。以下に共起ヒストグラムについて説明する。
図10は、図8のメッシュの1区画を拡大表示し、第1の軸を横x、第2の軸を縦yに定義し、さらに第3の軸として視差dを定義したものである。各ブロック(すなわち、各画素)は画像位置(x,y)と視差dの組み合わせである3次元座標(x,y,d)で表現される。
視差dは1画素につき1つずつ計算されるので、ある画素(x,y)に対して、どれか1つの視差dしかデータがないこととなるが、未定義の3次元位置に対しては、未定義を表すラベルを格納しておく。
ある注目点(ある注目する画素)r=(x,y,d)(図10の中央の点)と、その注目点から変位ベクトルδ=(δ,δ,δ)だけ離れた点、すなわち、注目点rを変位ベクトルδで写像した写像点r+δを複数考える。例えば、行列算出部28が、D種類(例えば、20通り)の変位ベクトルδを予め記憶しておき、20通りの写像点r+δを求める。図10の実線矢印は変位ベクトルδ=(−2,2,2)の場合を示している。注目点rの画素特徴量と写像点r+δの画素特徴量をそれぞれi,jとして、図11(a)に示すような共起行列を定義する。図11(a)の縦軸と横軸の矢印と数字は、図9の矢印と数字に対応する。注目点rの画素特徴量iと写像点r+δの画素特徴量jの組み合わせが(i,j)=(0,1)の場合には、共起行列の要素h01が対応する。一般に共起行列hijを次の式(13)のように定義する。
Figure 0005349622
ここで#は中括弧内が表す集合の要素数(発生頻度)を示す。また、I(x)等は画像上の点xにおける画素特徴量を示す。すなわち、式(13)の共起行列hijは、変位ベクトルδによって定義される2つの点(注目点と写像点)における画素特徴量i,jの組み合わせに関して、メッシュの1区画内での分布を示す2次元のヒストグラムである。なお、メッシュの1区画内での分布を求めるために、メッシュの1区画内の3次元座標上の全ての点(画素)を順番に注目点rとして設定し、共起行列hijを求める。共起行列hijは1つの変位ベクトルδに対して定義されるため、D種類の変位ベクトルδを用いた場合には、D枚の2次元ヒストグラムが生成される。この2次元ヒストグラムが、共起ヒストグラムである。
図11(b)は、注目点rからチェビシェフ距離が1の2次元の変位ベクトルδを示す。これらの2次元ベクトルを各奥行きに対して定義する。ここで、例えば、δ=(−1,0)は、注目点と写像点を入れ替えればδ=(1,0)で代用可能であるため、チェビシェフ距離が1の2次元の変位ベクトルδはδ〜,δの4種類存在する。
図10に示すように奥行き(視差d)を注目点の前後に5段階とした場合、変位ベクトルδの種類はD=4×5=20種類となる。輝度勾配方向が8段階であるので、図8のメッシュの1区画につき、8×8×20=1280次元の特徴ベクトルが算出される。
この例では、メッシュ総数が8×4=32個だから、1つの領域から1280×32=40960次元の特徴ベクトルλが生成される。N個の領域に対して同様の処理を行って得たN本の特徴ベクトルλを識別部30に出力する。
識別部30は、行列算出部28が算出したN本の特徴ベクトルλを用いて識別処理を行う。
具体的には、特徴ベクトルλに対して線形な関数g(λ)を式(14)のように定義して、その関数g(λ)の出力の大小によって検出対象物(本実施例では歩行者)か否かを判定する。例えば、関数g(λ)の値が閾値より大きければ歩行者であると識別する。

g(λ)=wλ+b ・・・(14)

但し、「w」はλと同じ次元数を持つベクトルであり、「b」は定数項である。また、「」はベクトルの転移を表す。wとbは、検出対象物(本実施例では歩行者)の学習サンプルを用いて予め学習しておく。学習方法としては、例えばサポートベクターマシンを用いればよい。
出力部32は、識別部30が行った識別処理の結果、すなわち、歩行者であるか否かの結果を出力する。
本実施例によれば、物体の3次元形状を反映した画素特徴量を算出することにより、高い精度のパターン識別を実現できる。
本実施例では、車両の前方に設置したカメラを用いて進行方向に存在する歩行者を検出する場合について説明した。しかし、車両の側方や後方にカメラを設置しても良いし、車両ではなく他の移動体、例えばロボットにカメラを搭載する場合にも適用可能である。また、カメラを設置するのが移動体に限定されることはなく、監視カメラのような場合であっても良い。
また、本実施例では、人間を検出する場合について説明した。しかし、検出対象物はこれに限定されるものではなく、他の検出対象物であっても適用可能である。また、人間と車両の同時検出といった複数クラスの物体を検出する場合であっても良い。
また、本実施例では、2台のカメラを左右平行に並べた場合のステレオ視について説明した。しかし、2台以上であればカメラの台数は任意であり、また、視野に重なりがあればそれら複数のカメラをどのように配置しても良い。
また、本実施例では、特徴量算出部26によって算出する画素特徴量として、輝度勾配方向を8段階に量子化した場合を説明した。しかし、輝度勾配を上下(2と6)、左右(0と4)等を同一視した4方向に量子化しても良いし、輝度勾配の方向ではなく、大きさを用いても良い。あるいは、ガウシアンフィルタ、ソーベルフィルタ、ラプラシアンフィルタ等のフィルタの出力値を用いても良い。さらに、これらの内のいくつかを組み合わせ、各画素について複数種類の画素特徴量を算出しても良い。
また、本実施例では、ステレオカメラを入力部16,18として、奥行き復元処理を行う方式について説明した。しかし、直接、3次元画像を入力可能な撮影装置を用いても良い。このような装置としては、例えば、医療分野で使われるCT装置やMRI装置の3次元ボクセルデータ等がある。
また、本実施例では、行列算出部28は2つの画素における特徴の共起を算出する場合について説明した。しかし、一般にN個の画素(Nは3以上の任意の整数)における共起特徴を算出しても良い。2つの画素における画素特徴量の共起により生成される共起ヒストグラムが2次元であるのに対し、N個の画素における画素特徴量の共起を表現するためにはN次元の共起ヒストグラムが必要となる。
また、本実施例では、行列算出部28は同一種類の特徴(輝度勾配方向)の共起を算出する場合について説明した。しかし、輝度勾配方向と輝度など、異なる画像特徴量同士の共起を算出しても良い。複数の画像特徴量を用いることで識別精度を向上させることが可能である。
また、本実施例では、行列算出部28における変位ベクトルをδ=(δ,δ,δ)とした平行移動で写像点を求める方法について複数記載した。しかし、これに限らず、変位ベクトルとして回転移動ベクトル、その他の写像を行うベクトルを用いても良い。
なお、本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。
10・・パターン識別装置、12・・特徴抽出装置、14・・第1入力部、16・・第2入力部、18・・第1記憶部、20・・第2記憶部、22・・設定部、24・・正規化部、26・・特徴量算出部、28・・行列算出部、30・・識別部、32・・出力部

Claims (5)

  1. 3次元画像データにおける3次元空間中に少なくとも一つの領域を設定する設定部と、
    前記3次元画像データの画素毎に画素特徴量を算出する特徴量算出部と、
    (1)前記領域内の3次元座標上の注目点から特定の写像によって位置が変位する前記領域内の3次元座標上の点を少なくとも1つ求め、(2)前記領域内の前記注目点の画素特徴量と、前記写像した各点の画素特徴量との組み合わせの発生頻度を表す共起行列を算出する行列算出部と、
    前記特定の写像と前記共起行列との組合せと、予め学習した検出対象物の学習サンプルに基づいて、前記領域内に前記検出対象物が撮像されているか否かを識別する識別部と、
    を有することを特徴とするパターン識別装置。
  2. 視点の異なる複数の2次元画像データを入力する入力部と、
    前記2次元画像データ間の視差を計算する視差計算部と、
    をさらに有し、
    前記設定部は、前記2次元画像データのうちの一枚の画像上の2次元座標で表した前記視差が求められた点と、前記視差が求められた点における前記視差とを有する前記3次元画像データの3次元空間に前記領域を設定し、
    前記特徴量算出部は、前記3次元画像データの前記画素毎に前記画素特徴量を算出する、
    ことを特徴とする請求項1に記載のパターン識別装置。
  3. 前記設定部は、前記視差と特定の値との差の大きさが基準よりも小さい前記視差が求められた点の数が、閾値より多い前記3次元空間中に前記領域を設定する、
    ことを特徴とする請求項2に記載のパターン識別装置。
  4. 前記画素特徴量が、輝度勾配方向、輝度勾配の大きさ、又は、輝度である、
    ことを特徴とする請求項3に記載のパターン識別装置。
  5. 前記3次元画像データが、3次元ボクセルデータである、
    ことを特徴とする請求項1に記載のパターン識別装置。
JP2011553627A 2010-02-10 2010-02-10 パターン識別装置 Expired - Fee Related JP5349622B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/000848 WO2011099072A1 (ja) 2010-02-10 2010-02-10 パターン識別装置

Publications (2)

Publication Number Publication Date
JPWO2011099072A1 JPWO2011099072A1 (ja) 2013-06-13
JP5349622B2 true JP5349622B2 (ja) 2013-11-20

Family

ID=44367385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011553627A Expired - Fee Related JP5349622B2 (ja) 2010-02-10 2010-02-10 パターン識別装置

Country Status (3)

Country Link
US (1) US9064156B2 (ja)
JP (1) JP5349622B2 (ja)
WO (1) WO2011099072A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425990B (zh) * 2012-05-15 2017-05-31 中国科学院声学研究所 一种基于纹理特征的合成孔径声纳目标检测方法
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
JP6472336B2 (ja) 2014-06-18 2019-02-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10552966B2 (en) * 2016-03-07 2020-02-04 Intel Corporation Quantification of parallax motion
JPWO2018061925A1 (ja) * 2016-09-30 2019-06-24 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびプログラム記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132823A (ja) * 2000-10-19 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報処理装置、マルチメディア情報処理方法およびそのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP2009055139A (ja) * 2007-08-23 2009-03-12 Hitachi Kokusai Electric Inc 人物追跡システム、人物追跡装置および人物追跡プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207566A (ja) 1999-01-18 2000-07-28 Ricoh Co Ltd テクスチャ特徴抽出装置
US20050151734A1 (en) * 2004-01-14 2005-07-14 Gubkin Andrew A. Method and apparatus for rendering, storing and editing voxel objects
US7330593B2 (en) * 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132823A (ja) * 2000-10-19 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> マルチメディア情報処理装置、マルチメディア情報処理方法およびそのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP2009055139A (ja) * 2007-08-23 2009-03-12 Hitachi Kokusai Electric Inc 人物追跡システム、人物追跡装置および人物追跡プログラム

Also Published As

Publication number Publication date
US9064156B2 (en) 2015-06-23
US20130034296A1 (en) 2013-02-07
JPWO2011099072A1 (ja) 2013-06-13
WO2011099072A1 (ja) 2011-08-18

Similar Documents

Publication Publication Date Title
US11263499B2 (en) Multi-perspective detection of objects
US10049492B2 (en) Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds
US9846946B2 (en) Objection recognition in a 3D scene
CN108734087B (zh) 物体自动识别方法以及系统、购物设备和存储介质
JP6125188B2 (ja) 映像処理方法及び装置
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
JP6639123B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210264144A1 (en) Human pose analysis system and method
US20160027208A1 (en) Image analysis method
US9665803B2 (en) Image processing apparatus and image processing method
JP5349622B2 (ja) パターン識別装置
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
JP4970381B2 (ja) 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム
JP2007527569A (ja) 立体視に基づく差し迫った衝突の検知
KR101575857B1 (ko) 다중시점의 동작의 세기와 방향에 대한 히스토그램을 이용한 행동패턴 인식방법
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
JP5166335B2 (ja) 特徴を抽出する装置、方法およびプログラム
Kang et al. People detection method using graphics processing units for a mobile robot with an omnidirectional camera
JP5715784B2 (ja) 画像の輪郭点検出方法
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
JP6977667B2 (ja) 物体らしさ推定装置、方法、およびプログラム
JP2013164643A (ja) 画像認識装置、画像認識方法および画像認識プログラム
Palmer et al. Scale proportionate histograms of oriented gradients for object detection in co-registered visual and range data
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130820

R151 Written notification of patent or utility model registration

Ref document number: 5349622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees