JP3390426B2

JP3390426B2 - 物体像識別方法

Info

Publication number: JP3390426B2
Application number: JP2001344447A
Authority: JP
Inventors: 覚渋谷
Original assignee: 技研トラステム株式会社
Priority date: 2000-11-29
Filing date: 2001-11-09
Publication date: 2003-03-24
Anticipated expiration: 2021-11-09
Also published as: JP2002230550A; US20020064299A1; US6873712B2

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２次元画像から物
体像を背景像と区別する物体像識別方法の技術分野に属
し、例えば、物体像の輪郭部に対する法線方向あるいは
接線方向を求め、実時間で人間、車、野菜等を分別や認
識するのに好適に用いられる物体像識別方法に関するも
のである。

【０００２】

【従来の技術】従来から、テクスチャ処理をするために
２次元の濃淡画像を解析するべくフーリエ変換が利用さ
れ、この２次元画像に対するフーリエ変換は、通常、画
像に映された物体像の表面状態を解析するために利用さ
れる。この場合、前記２次元画像を正方形の領域に分割
し、各正方形領域の画像データに対しフーリエ変換を実
行し、得られた位相に基づいて物体像の結晶格子の方向
や欠陥等を解析するものである。このものでは、正方形
領域に対しフーリエ変換を実行するから、得られる位相
はその正方形領域の垂直方向あるいは水平方向のベクト
ルとなる。よって、この方法を利用して２次元画像中に
ある不特定形状の物体像を認識するために物体像の輪郭
部に対する法線方向を求めるには、更に多大な計算が必
要となる。また、画像を正方形で区切るため、正方形の
配置する位置と画像の境界の位置によっては物体像の法
線ベクトルが正確に得られないことがあるため、この影
響を軽減するのに外周部の正方形領域に対して加重を減
らすべく窓関数を用いる必要がある。そのため、計算時
間が長くなる不都合が生じる。

【０００３】一方、実時間での画像処理において、例え
ば、人間のような不定形形状の移動する物体像を認識す
るには、現画像と前画像（現画像の１フレーム前の画
像）との差分画像あるいは位相差分が利用される。この
従来の方法は、前記差分画像等よりある一定値以上の濃
度差が検出された領域の面積を基に、人数等を推測する
ために用いられる。しかしながら、この方法では、面積
を基に物体像の認識が行われることから、大きい人間１
人を２人と認識したり、小さい人間２人が同方向に並ん
で移動するとこれを１人と認識する等、誤認識してしま
うことが避けられない。また、所定位置に傾斜させて設
置したカメラや広角レンズ使用のカメラ等により映され
た１つの画面内ではその物体が映されている位置によっ
ては同じ物体であってもその輪郭部形状が異なった物体
像となって映る。そのため、差分画像等によると面積変
化が大きくなって同じ物体像であったか否かの判断が困
難となる。

【０００４】

【発明が解決しようとする課題】本発明は、『画像内の
物体像を、背景像との濃度差を利用して識別する物体像
識別方法』において、傾斜させて設置したカメラや広角
レンズ使用のカメラ等により映された物体の物体像であ
っても高速かつ容易にその位置、数量、種類を識別でき
るようにすることを課題とする。

【０００５】

【課題を解決するための手段】前記課題を解決するため
に講じた技術的手段は、次のようである。『カメラによ
り映された画面内を複数のブロックに分割し、前記各ブ
ロックにおいて背景像が映された画像上のブロック内で
の任意の１点を配置点としてその配置点を基準に当該ブ
ロックに対応した標準物体像を前記画面内に配置した挿
入画像とし、この挿入画像において標準物体像と背景像
との濃度差より前記標準物体像の輪郭部における標準法
線ベクトル群を求め、前記標準物体像の配置点からその
標準物体像における前記標準法線ベクトル群の各法線ベ
クトルまでの位置情報および各法線ベクトルの角度情報
からなる、関連付けられたベクトルデータを求め、前記
ベクトルデータを前記標準物体像に対する標準データと
して前記標準法線ベクトル群の個々の法線ベクトルが検
出された位置でのブロックに記憶し、以上の標準物体像
の配置から標準データの記憶を前記分割した全ブロック
に対して実行し、次いで、前記カメラより認識すべき物
体が映されている画面内の入力画像に対して物体像と背
景像との濃度差より物体像の輪郭部における法線ベクト
ル群を求め、これら法線ベクトル群の個々の法線ベクト
ルが出現した位置での前記ブロックに記憶した前記標準
データに基づいてこれら法線ベクトル群から前記各標準
物体像の配置点に相当する正解点群を求め、前記正解点
群により形成された焦点領域の評価を行う』ことであ
る。

【０００６】前記技術的手段は、次のように作用する。
前記カメラにより映されている画面では、映された物体
の位置によっては同じ物体であってもその輪郭部形状が
異なった物体像となって映るが、前記画面内を複数のブ
ロックに分割することにより、カメラにより映されてい
る位置に応じた輪郭部形状を持つ標準物体像を前記各ブ
ロックに対応配置させることができる。これにより、前
記カメラを傾斜させて設置したり、広角レンズ使用のカ
メラとしても、その映されている位置に応じた輪郭部形
状を持つ標準物体像を前記各ブロックに対応配置させる
ことができる。

【０００７】また、前記各ブロックにおいて求めた標準
物体像の標準法線ベクトル群は、前記標準物体像と前記
背景像との濃度差より求めるから、この標準法線ベクト
ル群が前記各標準物体像を表現したものとなる。そし
て、前記各標準物体像ごとの各標準データは、その標準
物体像の配置点から個々の法線ベクトルまでの位置情報
および個々の法線ベクトルにおける角度情報である、関
連付けられたベクトルデータよりなるから、この各標準
データが各ブロックごとの画像上の配置点における標準
物体像をそれぞれ特定したデータとなる。

【０００８】次いで、前記カメラより映されている画面
内の入力画像において認識すべき物体像は、その物体像
が映っている画面位置に対応した前記ブロックの標準物
体像とほぼ整合したものとなる。すなわち、各ブロック
の標準物体像は、カメラより映されている位置に応じた
輪郭部形状のものとしたからである。よって、前記カメ
ラから任意の位置で映されている物体像であっても、前
記各ブロックの標準物体像の輪郭部形状と整合させるこ
とができる。また、前記認識すべき物体像に対し背景像
との濃度差より法線ベクトル群を求めるから、この法線
ベクトル群が前記物体像を表現したものとなる。

【０００９】そして、認識すべき物体像における法線ベ
クトル群から前記標準データに基づいて配置点に相当す
る正解点群を求める。すなわち、前記物体像における法
線ベクトル群は、当該法線ベクトル群の個々の法線ベク
トルが出現したブロックでの前記標準データの位置情報
および角度情報から前記配置点に相当する正解点が求め
られる。すると、当該ブロックに配置した前記標準物体
像における配置点を中心とする領域にも複数の前記正解
点が形成される。すなわち、正解点は、前記標準データ
作成時のベクトルデータを逆演算することで求められる
ものであって、標準物体像を各ブロックに配置したとき
の配置点に相当するものとなる。このように正解点を求
めるための標準データは物体像の法線ベクトルが検出さ
れた当該ブロックに記憶されているので、画面における
全標準データを検索することなく、当該ブロックに記憶
された標準データを検索すればよい。従って、前記正解
点の演算スピードが格段に速く処理される利点がある。

【００１０】そして、前記複数の正解点により形成され
た焦点領域の評価として、前記焦点領域に集まった正解
点の割合等が一定値以上の極大点と評価されれば、前記
標準物体像と同一性を有した物体像が認識される。更に
は、このような法線ベクトルを用いることにより、画像
全体の明暗度が変化しても前記物体像と前記背景像との
相対的な濃度差が変わらないから、前記物体像と前記背
景像との区別を正確かつ確実に行える。なお、『前記法
線ベクトル群に代えて接線群とし、且つ、前記法線ベク
トルに代えて接線』としても、前記同様の作用を奏す
る。

【００１１】

【発明の効果】以上のように、本発明によると、物体像
の輪郭部に対する法線ベクトル群（あるいは接線群）の
正解点群を各ブロックにおける標準物体像の配置点に対
する標準データに応じて求め、これを評価するから、前
記各ブロックごとの標準物体像として人間、車、野菜等
の固有の輪郭部を有する特定物とすれば、高速且つ容易
に画像内における物体像の位置、数量、種類を識別する
ことができる。

【００１２】しかも、カメラで映された１つの画面内を
複数のブロックに分割することにより、映されている位
置に応じた輪郭部形状を持つ標準物体像を前記各々のブ
ロックに配置できるから、傾斜して設置したカメラや広
角レンズ使用のカメラにより認識すべき物体を映し撮る
場合でもその画面内に映されている物体像の位置、数
量、種類を識別することができる。さらに、物体像によ
る法線ベクトルの正解点を求めるための標準データは個
々の法線ベクトルが検出されたブロックごとに記憶され
ているので、画面における全標準データを検索すること
なく、当該ブロックに記憶された標準データを検索すれ
ばよく、従って、前記正解点の演算スピードが格段に速
く処理される利点がある。

【００１３】

【発明の実施の形態】以下に、本発明の実施の形態を説
明する。この実施の形態による物体像識別方法は、デジ
タルデータに変換された２次元画像中の物体像を周囲の
背景像との濃度差を利用して前記物体像の輪郭部の法線
ベクトルを求め、この求めた法線ベクトルに基づいて物
体像を識別する方法である。

【００１４】１．法線ベクトルの求め方まず、前記法線ベクトルの求め方から説明する。図１に
示すように、画像１上において等間隔に処理点ｐを配置
する。すなわち、画像１上の必要な領域１０（通常は全
画像領域）に対し、例えば、水平、垂直ともに２ピクセ
ル単位に処理点を配置する。これら処理点ｐは予め決め
られた固定点でも良い。なお、図１中、ｄ，ｄ１〜ｄ１
２，ｐはいずれもピクセルを示す。前記画像として、例
えば、水平３２０ピクセル、垂直２４０ピクセルの画面
等でも良い。これら各ピクセルにおいては、ある物体像
が映されている２次元画像にあっては、例えば輝度が０
〜２５５（２５６階調）等のように画像濃度が異なって
いる。

【００１５】次に、前記２ピクセル単位に配置した各処
理点ｐについてその処理点ｐを中心点とする円１１の円
周上での各ピクセルのピクセル値に対し基本波フーリエ
変換を実行する。例えば、前記円１１の半径を２ピクセ
ルとして円を描き、その円周上の点ｄ１〜ｄ１２の１２
箇所に対し、基本波フーリエ変換を実行していく。この
場合、前記円周上の点ｄ１〜ｄ１２の採り方として、例
えば、円周上に沿って所定の基準位置から反時計回りま
たは時計回りに順次に採って行っても良いし、あるいは
縦横に配置された点を横方向、縦方向にすべて採ってか
ら最終的に円周上のものを残すようにするなど、任意に
できる。前記の隣り合う処理点ｐの間隔が２ピクセルで
あって、円１１は半径を２ピクセルとするから、隣り合
う各円１１においては２ピクセルずつ重なりあったもの
となる。前記基本波フーリエ変換としては、下記式
（１）に示すように、前記１２箇所の処理点ｄ１〜ｄ１
２に対して、フーリエ変換の基本波の正弦波を積和した
ときの値（ＳＶ）、フーリエ変換の基本波の余弦波を積
和したときの値（ＣＶ）を用いてそのアークタンジェン
ト（ＡＴＡＮ）から位相（ｓｉｔａ）を求める。なお、
前記基本波とは、前記処理点ｐを中心点とする円周の長
さが１周期の長さとなる正弦波および余弦波を意味す
る。

【００１６】

【数１】ここで、ＳＶ及びＣＶは、次の式で求められる。

【００１７】

【数２】（但し、及び式において、Σｎはｎ＝１〜Ｎまでの
和を意味する。）前記式（１）により得られた位相（ｓ
ｉｔａ）が、この処理点ｐにおける法線方向（法線ベク
トル）になる。この位相（ｓｉｔａ）を前記等間隔に配
置されたすべての処理点ｐにおいて求める。

【００１８】今、図２（ａ）に示すように前記処理点ｐ
を中心とする円１１が物体像Ｂにかかった状態のとき、
同図（ａ）中に示す基準位置から反時計方向に回転させ
た正弦波および余弦波に各点ｄ１〜ｄ１２を積算した波
形は、図２（ｂ）に示すようになる。つまり、図２
（ｂ）に示すように、正弦波とピクセル値と積算した波
形ｓ・ｐは、前記円１１が物体像Ｂのかかっている９０
度付近で所定の正のピークが現れたものとなり、余弦波
とピクセル値と積算した波形ｃ・ｐは、９０度前後で正
のピークと負のピークとが現れたものとなる。そして、
波形ｓ・ｐの和となるＳＶ値にあっては９０度のところ
で正のピークが現れるものとなり、一方、波形ｃ・ｐは
９０度前後で正負が異なるだけの互いに等しいピークで
あるからこのピークは打ち消されて波形ｃ・ｐの和とな
るＣＶ値にあっては平坦なものとなる。その結果、前記
式（１）による基本波フーリエ変換で得られる位相は、
図２（ｃ）に示すように９０度のところに現れ、これは
丁度物体像Ｂの輪郭部に対する法線ベクトルとなる。

【００１９】但し、均一な濃度の画像のときはその法線
ベクトルは無効であるから（そこに物体像Ｂは存在しな
い周囲の背景像Ａあるいは物体像Ｂ中の画像と認識でき
る。）、ある一定量以下の処理点ｐを除くため、下記式
（２）に示すように、前記ＳＶおよび前記ＣＶの二乗和
の平方根の値（ｐｏｗ）が一定値以下のときはこの処理
点ｐには法線ベクトルは無いとして扱う。例えば、輝度
値が０〜２５５（２５６階調）の範囲で得られる画像の
場合では、８〜１０の輝度値の差に相当する値以下のと
きに前記一定値以下として当該処理点ｐの法線ベクトル
を無いものとして扱うのが好ましい。

【００２０】

【数３】これによると、均一な濃度の当該処理点ｐでの前記式
（１）による法線ベクトルの計算を行わなくてよくな
り、より速くかつ正確に画像中の物体像を認識できる。

【００２１】前記式（１）（２）から得られた結果は、
例えば、図３に示すような法線ベクトルｂが得られる。
前記画像上で配置する処理点ｐは、水平、垂直ともに２
ピクセル単位に配置し、前記各処理点ｐを中心とする円
１１は、半径２ピクセルの円１１を描き、前記円１１の
円周上の１２点のピクセル値に対し基本波フーリエ変換
を実行するので、隣り合う各円１１においては２ピクセ
ルずつ重なりあったものとなるから、法線ベクトルｂの
欠けがない状態で、高解像度に物体像の認識が行える。

【００２２】このようにして前記等間隔に配置されたす
べての処理点ｐでの法線ベクトルｂの集合である法線ベ
クトル群から２次元領域での物体像Ｂと背景像Ａとの境
界Ｋの存在が認識される。つまり、前記方法において、
円形の基本波フーリエ変換を実行して得られる法線ベク
トルｂでは、画像１上の物体像Ｂの厳密な境界Ｋを求め
るのではなく、ある処理点ｐに隣接する処理点ｐの法線
ベクトル群が同一方向を示している場合、この多数の処
理点のある領域の輝度傾斜は前記法線ベクトル群の方向
であると解釈される（図３を参照）。従って、前記円形
状に基本波フーリエ変換した結果の位相、すなわち、法
線ベクトルｂを利用するから、高速かつ容易に計算でき
る。

【００２３】なお、前記画像１上に等間隔に配置される
処理点ｐとして、２ピクセル単位としたが、これに限ら
ず３ピクセル、４ピクセル等の整数単位としても良い。
但し、当該処理点を中心点とする円は、隣り合う円と重
なり合ったものとなるように半径を設定して描く必要が
ある。また、前記式（１）より位相を求めるが、ＳＶ値
とＣＶ値の比に基づいた表を参照して近似値を求めるよ
うに計算しても、十分な精度が得られる。さらに、前記
式（２）では、ＳＶ値とＣＶ値の二乗和の平方根とする
が、これらＳＶ値とＣＶ値の絶対値の和を用いて前記ｐ
ｏｗの代用としても良い。

【００２４】２．物体像識別次に、前記法線ベクトルの求め方を用いて実際の物体像
を識別する方法を説明する。まず、カメラにより映され
た画面１を、例えば、図４に示すように横に６分割、縦
に４分割の合計２４個のブロック１ａ〜１ｘに分割す
る。そして、例えば、図５に示すように横１縦１の最初
のブロック１ａにおいて当該ブロック１ａにおけるカメ
ラの設置角度等に応じた標準物体像Ｓ（図５の例では人
間をモデルに標準物体像Ｓを作成している。）を配置し
た挿入画像１Ａとする。このとき、ブロック内の任意の
１点（例えば、ブロックの中央点）を配置点Ｑとして標
準物体像Ｓを配置する。なお、配置点Ｑは、標準物体像
Ｓの重心点と略一致する。そして、前記画面１において
当該最初のブロック１ａにのみ標準物体像Ｓを配置した
状態で、全法線ベクトル（標準法線ベクトル群）を検出
する。この標準法線ベクトル群の個々の前記配置点Ｑま
での位置情報および個々の法線ベクトルの角度情報であ
る、関連付けられたベクトルデータを求め、このベクト
ルデータを個々の法線ベクトルが検出されたブロックに
標準データとして記憶させる。例えば、図５では、法線
ベクトルｂは横１縦１のブロック１ａに検出されてい
るのでこの法線ベクトルｂのベクトルデータは横１縦
１のブロック１ａに記憶させ、以下同様に法線ベクトル
ｂのベクトルデータは横２縦１のブロック１ｂ（図４
参照。）に記憶させ、法線ベクトルｂのベクトルデー
タは横１縦２のブロック１ｇ（図４参照。）に記憶させ
る。そして、前記最初のブロック１ａに配置した標準物
体像Ｓを消去して背景像のみにし、次のブロックとして
例えば横２縦１のブロック１ｂについても同様の要領に
て標準物体像の配置、ベクトルデータの演算、および標
準データの記憶を行う。以下同様の要領で分割した複数
のブロック１ａ〜１ｘすべてについて標準物体像の配
置、ベクトルデータの演算、および標準データの記憶を
それぞれ行う。このようにして標準データを作成する。
なお、前記画面１におけるブロックの分割は、通常、横
に１６分割、縦に１２分割の１９２ブロック程度に分割
すれば、視野角１２０度を超える広角レンズ使用のカメ
ラでも物体像の識別に問題なく使えるが、ブロックの分
割の仕方は単一ブロックで同じ形状とみなせる範囲で任
意にできる。次に、実際の物体像を認識するには以下の
ように行う。まず、カメラより物体像の映された画面１
内の入力画像に対して法線ベクトル群の検出を行う。こ
こで検出された法線ベクトル群に対する標準データは、
個々に検出された法線ベクトルの当該画面上の場所での
前記ブロックに記憶されている。従って、検出された法
線ベクトルに対して、当該検出場所のブロックに記憶さ
れている標準データに基づいた正解点を付す。ここで、
正解点は、前記標準データ作成時のベクトルデータを逆
演算することで求められるものである。このように正解
点を求めるための標準データは物体像の法線ベクトルが
検出された位置での当該ブロックに記憶されているの
で、画面１における全標準データを検索することなく、
当該ブロックに記憶された標準データを検索すればよ
い。従って、前記正解点の演算スピードが非常に速く処
理される利点がある。そして、この正解点の演算を検出
された法線ベクトルすべてに対して実行し、これら複数
の正解点の集まった正解点群を形成する。そして、この
正解点群で形成される焦点領域の集まり具合などの評価
を行って、正解点群のうちの極大点から前記標準物体像
１個分に当たる物体像（例えば、人間）の存在を認識す
ることとなる。なお、図５の例では、標準物体像Ｓとし
て人間をモデルにするが、自動車などをモデルにしても
よく、また、人間や自動車などのように種類の異なる標
準物体像を色々用いて標準データを作成し、同一画面内
で人間と自動車などの種類の異なる物体像を同時に識別
して認識させることもでき、さらに、同種のモデルでも
大きさの異なる標準物体像を用いて標準データを作成
し、同一画面内で大きさの異なる同種の物体像（例え
ば、人間ならば大人と子供、自動車ならば大型車と小型
車などの如くである。）を同時に識別して認識させるこ
ともできる。以下では、前記標準物体像として人間をモ
デルとし、標準データ作成および物体像識別の各過程を
具体的に説明する。なお、説明を簡易にすべく、前記関
連づけられたベクトルデータの記憶先については省略し
ているが、上述のとおりベクトルデータよりなる標準物
体像の標準データは、法線ベクトルの検出された当該ブ
ロックに記憶されているものとする。

【００２５】（ａ）標準データ作成過程図６のフローチャートに示すように、ステップＳ１０１
においてカメラにより映された１つの画面内を、図４に
示した如く複数のブロック１ａ〜１ｘに分割する。

【００２６】そして、ステップＳ１０２において、前記
画面１に背景像のみ映っている画像に対して前記１．法
線ベクトルの求め方に従って画像処理を行う。すると、
この画面１において背景像における法線ベクトル群が求
まる。なお、前記背景像の映された画像は、ほとんどが
固定の画像であり（一部において例えば扉の開閉動作が
映された動画像等も存在する）、様々な物体像が存在し
ているか、何も物体像の存在しない均一な画像かは問わ
ない。そして、この背景像の法線ベクトル群情報を当該
法線ベクトルが検出された前記各ブロックに対応させて
メモリーに登録しておく。次いで、ステップＳ１０３に
おいて、前記各ブロック１ａ〜１ｘごとに前記背景像の
映った画像に対して人間をかたどった標準物体像を１つ
置く。

【００２７】この場合、所定位置に傾斜させて設置した
カメラや広角レンズ使用のカメラにより映された画面で
は物体が映される位置によっては同じ物体であってもそ
の輪郭部形状が異なった物体像となって映る。例えば、
図７に示すように、上方位置に傾斜させて設置したカメ
ラ２から映した物体Ｓ１、Ｓ２、Ｓ３のそれぞれの物体
像は、各物体Ｓ１、Ｓ２、Ｓ３がそれぞれ異なる位置に
あるから、いずれもその輪郭部形状が異なるものとな
る。すなわち、前記カメラ２から各物体Ｓ１、Ｓ２、Ｓ
３を見る角度が異なるため、これら物体Ｓ１、Ｓ２、Ｓ
３の見え方が異なるからである。また、図８に示すよう
に、広角レンズ２１を取付けたカメラ２０を真下に向け
て上方位置に設置した場合では、この広角レンズ２１使
用のカメラ２０から映した物体Ｓ１、Ｓ２、Ｓ３のそれ
ぞれの物体像においても、いずれもその輪郭部形状が異
なるものとなる。この場合も広角レンズ２１の特性より
各物体Ｓ１、Ｓ２、Ｓ３を見る角度が異なるため、これ
ら物体Ｓ１、Ｓ２、Ｓ３の見え方が異なるからである。

【００２８】従って、分割された前記各ブロックには、
カメラ２，２０のカメラアングルや広角レンズ等を加味
した標準物体像をそれぞれ配置させる。例えば、図７に
おける傾斜型設置のカメラ２による場合は、図５に示す
ように、横１縦１のブロック１ａ（図４参照。）には物
体Ｓ１に対応した標準物体像Ｓ１０を配置する。なお、
図５の破線で示すように、横３縦３のブロック１ｏ（図
４参照。）には物体Ｓ２に対応した標準物体像Ｓ２０を
配置し、横４縦４のブロック１ｖ（図４参照。）には物
体Ｓ３に対応した標準物体像Ｓ３０を配置することとな
る。

【００２９】そして、前記各ブロックごとに対応した標
準物体像Ｓ１０、Ｓ２０、Ｓ３０をブロック内に配置さ
せるには、ブロックの任意の１点（例えば、ブロックの
中央点）を配置点Ｑとして当該配置点Ｑを基準に前記標
準物体像Ｓ１０、Ｓ２０、Ｓ３０を配置する。なお、前
記各標準物体像Ｓ１０、Ｓ２０、Ｓ３０は、計算上作成
された模式的な画像データであっても良いし、実際に前
記カメラ２，２０等から映し撮った実物の画像データで
あっても良い。そして、複数に分割したブロックのうち
最初のどれか１つのブロックに標準物体像を配置させた
挿入画像１Ａ（画面１内に１つの標準物体像が配置され
た画像を指す。）に対して前記１．法線ベクトルの求め
方に従った画像処理を行う。すると、標準物体像の挿入
画像１Ａでは、背景像に起因した法線ベクトル群と、当
該標準物体像に起因した法線ベクトル群とが得られる。
例えば、図５の横３縦３のブロック１ｏに対応した標準
物体像Ｓ２０を配置した挿入画像１Ａでは、背景像に起
因した法線ベクトル群と、標準物体像Ｓ２０に起因した
法線ベクトル群が得られる。

【００３０】次いで、ステップＳ１０４において、前記
標準物体像Ｓ２０にのみ起因する法線ベクトル群（以
下、適宜「標準法線ベクトル群」という。）を算出す
る。これは、前記ステップＳ１０１でメモリーに登録し
た背景像の法線ベクトル群情報を用いた背景処理を行う
ことによる。つまり、標準物体像Ｓ２０の挿入画像１Ａ
に対して、前記背景像の法線ベクトル群とほぼ一致する
法線ベクトル群をすべて取り除く。すると、例えば標準
物体像Ｓ２０の挿入画像１Ａからは、背景像に起因する
法線ベクトル群がすべて取り除かれ、その結果、図９の
模式図に示すような前記標準物体像Ｓ２０にのみ起因す
る標準法線ベクトル群ｂ１〜ｂ１９が得られる。なお、
図９においては、画面や各ブロックは省略して標準物体
像Ｓ２０のみを現しており、また、座標軸として紙面上
下がＹ軸方向を示し紙面左右がＸ軸方向を示している。
また、図９中、処理点での法線ベクトルは、説明のため
その一部（ｂ１〜ｂ１９）しか表示していない（以下、
図１１も同様である。）。

【００３１】次いで、ステップＳ１０５において、前記
標準法線ベクトル群の各標準法線ベクトルｂ１〜ｂ１
９，・・・の位置情報および角度情報を求める。位置情
報としては、標準物体像Ｓ２０の前記配置点Ｑから各標
準法線ベクトルｂ１〜ｂ１９，・・・の処理点ｐ１〜ｐ
１９までの座標によりあらわす。一方、角度情報として
は、例えば、Ｘ軸方向に対する各標準法線ベクトルｂ１
〜ｂ１９，・・・での傾斜角度によりあらわす。ただ
し、この角度情報は、１８０度以上であれば１８０度を
減算した角度とする。これは、認識すべき物体像におい
て例えば左右の濃度が大きく異なっていると背景像との
濃度差が物体像の左右で反転することがある。このこと
は、例えば、背景が例えば床の色とそこに敷かれたマッ
トの色が左右で異なること等による。法線ベクトル群
は、通常、物体像と背景像との濃度差により物体像より
外向きあるいは内向きのベクトル方向となるので物体像
の左右では法線ベクトルのベクトル方向が反対向きとな
る。しかしながら、前記の場合では例えば、右半分では
外向き、左半分では内向きとなって法線ベクトル群のベ
クトル方向が左右で同方向となってしまうから、角度情
報としては１８０度までの角度として把握するようにし
ている。

【００３２】以下、具体的に、前記位置情報および前記
角度情報の求め方を説明する。例えば、図９に示した標
準法線ベクトル群ｂ１〜ｂ１９のうち、角度情報として
０度（水平方向あるいは図９中のＸ軸方向）を選ぶ。こ
の場合、１８０度方向に指向する標準法線ベクトルは、
前述のとおり１８０度減算されるので、０度に指向する
標準法線ベクトルとして扱われる。その結果、０度の標
準法線ベクトルは、ｂ１，ｂ５，ｂ９，ｂ１４の４つが
存在することとなる。

【００３３】次に、前記各標準法線ベクトルｂ１，ｂ
５，ｂ９，ｂ１４の位置情報を求める。すなわち、標準
法線ベクトルｂ１は、配置点Ｑからその処理点ｐ１まで
＋Ｘ方向に３ピクセル移動した地点（Ｘ＝３、Ｙ＝０）
にあり、標準法線ベクトルｂ５は、配置点Ｑからその処
理点ｐ５まで−Ｘ方向に３ピクセル移動した地点（Ｘ＝
−３、Ｙ＝０）にあり、標準法線ベクトルｂ９は、配置
点Ｑからその処理点ｐ９まで−Ｙ方向に２ピクセル、＋
Ｘ方向に１０ピクセル移動した地点（Ｘ＝１０、Ｙ＝−
２）にあり、そして、標準法線ベクトルｂ１４は、配置
点Ｑからその処理点ｐ１４まで−Ｙ方向に２ピクセル、
−Ｘ方向に１０ピクセル移動した地点（Ｘ＝−１０、Ｙ
＝−２）にある。

【００３４】以上の結果から、角度情報として０度の標
準法線ベクトルｂ１，ｂ５，ｂ９，ｂ１４に対しては、
（Ｘ＝３、Ｙ＝０）、（Ｘ＝−３、Ｙ＝０）、（Ｘ＝１
０、Ｙ＝−２）および（Ｘ＝−１０、Ｙ＝−２）の４つ
の位置情報が存在する。そして、この０度の角度情報
と、（Ｘ＝３、Ｙ＝０）、（Ｘ＝−３、Ｙ＝０）、（Ｘ
＝１０、Ｙ＝−２）および（Ｘ＝−１０、Ｙ＝−２）の
４つの位置情報とが関連付けられたベクトルデータとな
る。

【００３５】以下、同様に前記要領にて１８０度までの
角度情報に対する標準法線ベクトル群の位置情報を求
め、そのときの角度情報と位置情報とを関連付けたベク
トルデータとしておく。このようにして得られたベクト
ルデータが前記標準物体像Ｓ２０における標準データと
なる。

【００３６】次いで、ステップＳ１０６において、前記
ステップＳ１０５で求めた角度情報とこれと関連付けら
れた位置情報との、関連付けられたベクトルデータから
なる標準データを、その標準法線ベクトルが検出された
位置の各ブロックに対応させてメモリーに登録する。な
お、以上の要領で他のブロックについても１つずつ前記
同様に角度情報と位置情報との、関連付けられたベクト
ルデータからなる標準データを求め、全ブロックに対し
て標準データを作成する。以上で標準データ作成過程が
終了する。なお、前記角度情報としては、例えば、０度
から１８０度までを１５度ごとに１２分割した範囲であ
らわす等のように一定範囲の値として扱っても良い。

【００３７】（ｂ）物体像識別過程次に、物体像識別過程は、図６のフローチャートに示す
ように、ステップＳ２０１において、カメラより識別す
べき物体が映されている画像をコンピュータのメモリー
内に取り込む。前記コンピュータへの入力画像１Ｃとし
て、例えば、図１０に示すように３つの物体像Ｏ１，Ｏ
２，Ｏ３が映されている画面１の画像であったとする。
図１０に示すこの画面１の画像としては、図７において
傾斜型のカメラ２より物体Ｓ２の位置に相当する位置に
前記認識すべき物体が存在する画像と対応したものであ
る。なお、以下では、画面中央に映された物体像Ｏ２に
絞って画像処理の説明をする。ただし、実際は、この物
体像Ｏ２以外の物体像Ｏ１や物体像Ｏ３に対しても同様
の処理が実行されている。

【００３８】次いで、ステップＳ２０２において、前記
入力画像１Ｃ内の前記物体像Ｏ２にのみ起因する法線ベ
クトル群を求める。これは、前記入力画像１Ｃから得ら
れる法線ベクトル群のうち、長時間そのベクトル方向が
変化しない法線ベクトルは背景像に起因するとみなし、
これら長時間変化しない法線ベクトル群をすべて取り除
く。すなわち、背景像はほとんど変化しない静止画像と
して得られるから、背景像に起因する法線ベクトル群の
各々は長時間そのベクトル方向が変化しないことによ
る。これにより、入力画像１Ｃからは、背景像に起因す
る法線ベクトル群がすべて取り除かれ、その結果、例え
ば、図１１の模式図に示すような前記物体像Ｏ２にのみ
起因する法線ベクトル群ｂ１〜ｂ１９が得られる。ま
た、この背景処理により、背景からのノイズを削減し、
高精度で物体識別ができ、さらには後述の正解点群の計
算時間の短縮を図れる。なお、図１１においては、画面
１の外枠は省略して物体像Ｏ２のみを拡大して現してお
り、また、座標軸として紙面上下がＹ軸方向を示し紙面
左右がＸ軸方向を示している。

【００３９】次いで、ステップＳ２０３において、物体
像Ｏ２にのみ起因する法線ベクトル群における正解点群
を算出する。ここで、正解点とは、既述したように分割
した各ブロックにおいて前記標準データを算出した際の
前記配置点Ｑに相当するものであり、正解点群の算出
は、前記標準データの演算処理を逆演算することにより
行う。具体的には、前記ステップＳ１０６で登録した各
ブロックごとの標準データの角度情報および位置情報
の、関連付けられたベクトルデータに従って演算処理す
る。以下に、図１１に示す物体像Ｏ２における正解点群
の算出を例に説明する。

【００４０】例えば、角度情報として０度（水平方向あ
るいは図１１中のＸ軸方向）の法線ベクトルｂ１，ｂ
５，ｂ９，ｂ１４における各々の正解点の算出を例に挙
げて説明する。この図１１に示す物体像Ｏ２の画面位置
は、図５で示した横３縦３のブロックに配置された標準
物体像Ｓ２０に略相当するので、概ねこの標準物体像Ｓ
２０における標準データを基にして計算される。この場
合、０度の角度情報と関連付けられた位置情報は、上述
したとおり（Ｘ＝３、Ｙ＝０）、（Ｘ＝−３、Ｙ＝
０）、（Ｘ＝１０、Ｙ＝−２）および（Ｘ＝−１０、Ｙ
＝−２）の４つ存在する。従って、図１１に示す物体像
Ｏ２の法線ベクトル群ｂ１〜ｂ１９における水平方向
（０度方向および１８０度方向を指向）のものすべてに
対して、前記４つの位置情報の逆演算を行って正解点群
を求める。つまり、図１１に示す物体像Ｏ２において、
０度の法線ベクトルは、上述の場合と同様に１８０度方
向を指向するものも含めてｂ１，ｂ５，ｂ９，ｂ１４の
４つ存在する。これら、４つの法線ベクトルｂ１，ｂ
５，ｂ９，ｂ１４の処理点ｐ１，ｐ５，ｐ９，ｐ１４の
各々に対して前記４つの位置情報（Ｘ＝３、Ｙ＝０）、
（Ｘ＝−３、Ｙ＝０）、（Ｘ＝１０、Ｙ＝−２）および
（Ｘ＝−１０、Ｙ＝−２）の逆演算を行って正解点群を
求める。つまり、各処理点ｐ１，ｐ５，ｐ９，ｐ１４の
各々に対して、−（Ｘ＝３、Ｙ＝０）、−（Ｘ＝−３、
Ｙ＝０）、−（Ｘ＝１０、Ｙ＝−２）および−（Ｘ＝−
１０、Ｙ＝−２）の各地点（各正解点）を求める。

【００４１】具体的には、法線ベクトルｂ１において
は、その処理点ｐ１からそれぞれ、−（Ｘ＝３、Ｙ＝
０）に応じた−Ｘ方向に３ピクセル移動した地点Ａ１、
−（Ｘ＝−３、Ｙ＝０）に応じた＋Ｘ方向に３ピクセル
移動した地点Ａ２、−（Ｘ＝１０、Ｙ＝−２）に応じた
−Ｘ方向に１０ピクセル、＋Ｙ方向に２ピクセル移動し
た地点Ａ３、そして、−（Ｘ＝−１０、Ｙ＝−２）に応
じた＋Ｘ方向に１０ピクセル、＋Ｙ方向に２ピクセル移
動した地点Ａ４の、合計４点に正解点を付す。

【００４２】また、法線ベクトルｂ５は、その処理点ｐ
５からそれぞれ、−（Ｘ＝３、Ｙ＝０）に応じた地点Ｂ
２、−（Ｘ＝−３、Ｙ＝０）に応じた地点Ｂ１、−（Ｘ
＝１０、Ｙ＝−２）に応じた地点Ｂ３、−（Ｘ＝−１
０、Ｙ＝−２）に応じた地点Ｂ４に正解点を付す。法線
ベクトルｂ９は、その処理点ｐ９からそれぞれ、−（Ｘ
＝３、Ｙ＝０）に応じた地点Ｃ３、−（Ｘ＝−３、Ｙ＝
０）に応じた地点Ｃ４、−（Ｘ＝１０、Ｙ＝−２）に応
じた地点Ｃ１、−（Ｘ＝−１０、Ｙ＝−２）に応じた地
点Ｃ２に正解点を付す。法線ベクトルｂ１４は、その処
理点ｐ１４からそれぞれ、−（Ｘ＝３、Ｙ＝０）に応じ
た地点Ｄ３、−（Ｘ＝−３、Ｙ＝０）に応じた地点Ｄ
４、−（Ｘ＝１０、Ｙ＝−２）に応じた地点Ｄ２、−
（Ｘ＝−１０、Ｙ＝−２）に応じた地点Ｄ１に正解点を
付す。なお、前記各正解点の付し方としては、当該地点
の輝度値を１段階上げる等すれば良い。以上で、角度情
報として０度を持つ法線ベクトルｂ１，ｂ５，ｂ９，ｂ
１４のすべてに対して各々の正解点の演算が終了する。

【００４３】以下、同様にして１８０度までの角度情報
に対する各法線ベクトルのすべてに対して、その角度情
報と関連付けられた位置情報から正解点群の演算を行
う。この要領で図１０の入力画像１Ｃにおける認識物体
像Ｏ１〜Ｏ３すべて正解点群の演算がなされる。する
と、図１０に示す入力画像１Ｃでは、図１２に示すよう
な物体像Ｏ１〜Ｏ３に対する正解点群が現された評価画
面１Ｄが得られる。なお、図１２の評価画面１Ｄにおい
て破線で表した物体像や法線ベクトル群は実画面には存
在しないものである。

【００４４】次いで、ステップＳ２０４において、前記
評価画面１Ｄにおける正解点群の評価を行う。この評価
は、例えば２ピクセル分間隔有する領域（以下、適宜
「ベクトル焦点領域」という。図１２中、符号Ｇおよび
符号ｇに相当。）内に、前記正解点が法線ベクトル群の
処理点の数（この例の場合は１９個）の４割以上集まっ
た状態が得られたか否かによって行う。そして、この評
価結果でベクトル焦点領域Ｇ，ｇ内の正解点が４割以上
であると判断されると（前記ベクトル焦点領域Ｇ，ｇの
うちの極大点Ｇ）、前記各物体像が前記標準物体像と同
一性を有すると認められ、一方、前記４割未満であると
判断されると（前記ベクトル焦点領域Ｇ，ｇのうちの点
ｇ）、その物体像が標準物体像と同一性を有しないと認
められる。これにより、物体像と標準物体像との同一性
が認められれば、物体像Ｏ１〜Ｏ３の入力画像１Ｃにお
いて前記標準物体像と同一性を有した物体像が識別され
る。一方、物体像Ｏ１〜Ｏ３と標準物体像との同一性が
認められなければ、物体像Ｏ１〜Ｏ３の入力画像１Ｃに
は前記標準物体像と同一性を有した物体像が存在しない
と認められる。更には、前記極大点Ｇの存在数自体をカ
ウントすることで、前記入力画像１Ｃ内に存在する物体
像Ｏ１〜Ｏ３の数量もカウントすることができる。なぜ
ならば、前記ステップＳ２０３での正解点群の算出は、
全画面について行われ、結局は入力画像１Ｃ内の全処理
点ｐに対して実行されるから、この入力画像１Ｃ内にそ
の位置を問わず複数の物体像が存在すれば、その数に応
じた前記ベクトル焦点領域の極大点Ｇが形成されること
となるからである。

【００４５】このように、本実施の形態では、物体像Ｏ
の輪郭部に対する法線ベクトル群の正解点群を各ブロッ
クにおける標準物体像Ｓ１０、Ｓ２０、Ｓ３０の配置点
Ｑに対する標準データに応じて求め、これを評価するか
ら、前記各標準物体像Ｓ１０、Ｓ２０、Ｓ３０と同一性
のある物体像を高速且つ容易にその位置、数量、種類を
識別することができる。しかも、物体像の正解点を求め
るための、関連づけられたベクトルデータは物体像の法
線ベクトルが検出された当該ブロックに記憶されている
ので、画面１における全標準データを検索することな
く、当該ブロックに記憶された標準データを検索すれば
よいから、前記正解点の演算スピードが非常に速く処理
される利点がある。

【００４６】しかも、１つの画面１内を複数のブロック
に分割することにより、カメラ２，２０より映されてい
る位置に応じた輪郭部形状を持つ標準物体像Ｓ１０、Ｓ
２０、Ｓ３０を前記各々のブロックに配置できるから、
傾斜して設置したカメラ２や広角レンズ２１使用のカメ
ラ２０により物体を映し撮った挿入画面でもその物体の
物体像Ｏの位置、数量、種類を識別することができる。

【００４７】なお、前記実施の形態では、図４に示すよ
うに、前記画面１におけるブロックの分割を横に６分
割、縦に４分割としたが、通常、横に１６分割、縦に１
２分割の１９２ブロック程度に分割すれば、視野角１２
０度を超える広角レンズ使用のカメラでも物体像の識別
に問題なく使える。ただし、このブロックの分割数は任
意に指定でき、また、このブロックの分割の仕方も単一
ブロックで同じ形状とみなせる範囲で任意である。

【００４８】また、前記実施の形態において、前記各ブ
ロックごとの各標準物体像Ｓ１０、Ｓ２０、Ｓ３０自体
を２以上に分割し、この分割した標準物体像ごとに前記
標準データを前記分割数分作成し、次いで、認識すべき
物体像Ｏに対して前記各々の標準データごとに正解点群
を求め、この標準データごとに正解点群を求めたＭＡＰ
画面を分割した標準物体に応じて前記分割数分作成し、
そして、前記各ＭＡＰ画面を１つに合成した評価画面を
作成し、この評価画面における正解点群により形成され
た焦点領域の評価を行うようにしても良い。

【００４９】このように、標準物体像Ｓ１０、Ｓ２０、
Ｓ３０自体を２以上に分割することにより、形状が異な
る部位ごとに前記標準物体像Ｓ１０、Ｓ２０、Ｓ３０を
分割した前記標準データを作成できる。そして、形状が
異なる部位に対応して複数の標準データごとに認識すべ
き物体像Ｏが映された画像の処理を行うことで、認識す
べき物体像全体の輪郭部形状が標準物体像全体のそれと
不整合があっても各部位での整合性が向上する。これに
より、前記物体像においては分割した標準物体像がすべ
て識別されるから、前記物体像に分割した標準物体像が
すべて存在すれば、結果として前記標準物体像と同一性
を有した物体像の存在が確実に認識される。例えば、人
間について言えば、頭部と上半身で輪郭部形状は異なっ
ており、また、実際の人間（認識物体像）は標準物体像
よりも太かったり細かったり、バッグ等の手荷物を持っ
ていたり等して輪郭部形状が標準物体像と完全に整合し
難い。このような場合でも、形状が異なる部位ごとに分
割したものの標準データに基づけば、多少の不整合があ
っても、評価画面の物体像において頭部を有し且つ上半
身を有すると認識されれば前記標準物体像と同一性を有
した物体像が識別されることとなり、識別精度を向上さ
せることができる。

【００５０】また、前記実施の形態では、評価方法とし
てベクトル焦点領域Ｇ内に正解点が４割以上集まったか
否かによるとするが、これに限らず一定割合以上として
適宜に決定しても良い。これは、物体像として所定形状
の標準物体像と整合し難いものや、逆に良く整合するも
の等、その他外乱要因を考慮するためである。

【００５１】また、前記ベクトル焦点領域Ｇとしても、
配置点Ｑを中心に２ピクセル分間隔を有する領域に限ら
ず、認識する物体像や識別精度等を考慮して配置点Ｑを
中心に適宜範囲内としても良い。さらに、前記実施の形
態では、標準物体像として人間を選んだが、これに限ら
ず、例えば、車や野菜等を標準物体像として選び、これ
と同一性を有する物体像の識別を行うようにしても良
い。

【００５２】また、標準物体像として人間を上から見た
状態とするが、これに限らず、横方向から見た状態等、
様々な方向から見た状態としても良い。さらには標準物
体像として子供や大人に対応させて標準物体像自体の大
きさも適宜に変更しても良く、この場合、大きさの異な
る標準物体像を複数用いて複数の標準データを各ブロッ
クに作成するようにしても良く、さらにこの複数の標準
物体像を前述のＭＡＰ画面のように大きさ等の異なる複
数の標準物体像の各々について分割した分割標準物体像
として用いても良い。

【００５３】さらに、前記実施の形態では、物体像の輪
郭部に対する法線ベクトル群を求めるようにしたが、法
線ベクトル群に代えて物体像の輪郭部に対する接線群を
求めるようにしても良い。この場合、接線群を求める場
合は前記標準データにおける角度情報は９０度ずれたも
のとなるほか、接線の指向方向が１８０度の範囲となる
から１８０度の減算処理が不要となる以外は、前記各実
施の形態と同様にして標準物体像と同一性のある物体像
を識別することができる。

【００５４】そして、前記法線ベクトルの求め方として
円形状にフーリエ変換した位相によるが、これに限らず
既知の方法で法線ベクトルを求めるようにしても良い。
また、接線を求める場合も前記円形状にフーリエ変換し
た位相により求めても良いし、その他に既知の方法で接
線を求めるようにしても良い。

【図面の簡単な説明】

【図１】デジタルデータに変換された２次元画像を示し
た模式図である。

【図２】基本波フーリエ変換のイメージを示した模式図
である。

【図３】法線ベクトルｂを現した画像の模式図である。

【図４】１画面内を複数のブロックに分割した状態を示
す模式図である。

【図５】上方位置に傾斜させて設置したカメラに対応し
て標準物体像を挿入した画面状態を示す模式図である。

【図６】実施の形態における画像処理の手順を示すフロ
ーチャートである。

【図７】上方位置に傾斜させて設置したカメラから物体
を映す状態を示す模式図である。

【図８】上方位置に真下を向けて設置した広角レンズ使
用のカメラから物体を映す状態を示す模式図である。

【図９】標準物体像の標準法線ベクトルを示す模式図で
ある。

【図１０】認識すべき物体像が画面に映されている状態
を示す模式図である。

【図１１】物体像における正解点群の求め方を説明する
ための模式図である。

【図１２】図１０の認識すべき物体像に対する評価画面
を示す模式図である。

【符号の説明】

１カメラよる画面（２次元画像）１ａ〜１ｘブロック１Ｄ評価画面２傾斜型設置のカメラ２０広角レンズ使用のカメラ２１広角レンズｂ法線ベクトルｐ処理点Ａ背景像Ｂ物体像Ｇベクトル焦点領域Ｏ認識すべき物体像Ｑ配置点Ｓ１，Ｓ２，Ｓ３物体Ｓ１０，Ｓ２０，Ｓ３０標準物体像

Claims

(57)【特許請求の範囲】

【請求項１】画像内の物体像を、背景像との濃度差を
利用して識別する物体像識別方法であって、カメラにより映された画面内を複数のブロックに分割
し、前記各ブロックにおいて背景像が映された画像上のブロ
ック内での任意の１点を配置点としてその配置点を基準
に当該ブロックに対応した標準物体像を前記画面内に配
置した挿入画像とし、この挿入画像において標準物体像と背景像との濃度差よ
り前記標準物体像の輪郭部における標準法線ベクトル群
を求め、前記標準物体像の配置点からその標準物体像における前
記標準法線ベクトル群の各法線ベクトルまでの位置情報
および各法線ベクトルの角度情報からなる、関連付けら
れたベクトルデータを求め、前記ベクトルデータを前記標準物体像に対する標準デー
タとして前記標準法線ベクトル群の個々の法線ベクトル
が検出された位置でのブロックに記憶し、以上の標準物体像の配置から標準データの記憶を前記分
割した全ブロックに対して実行し、次いで、前記カメラより認識すべき物体が映されている
画面内の入力画像に対して物体像と背景像との濃度差よ
り物体像の輪郭部における法線ベクトル群を求め、これら法線ベクトル群の個々の法線ベクトルが出現した
位置での前記ブロックに記憶した前記標準データに基づ
いてこれら法線ベクトル群から前記各標準物体像の配置
点に相当する正解点群を求め、前記正解点群により形成された焦点領域の評価を行うこ
とを特徴とする物体像識別方法。
【請求項２】請求項１に記載の物体像識別方法におい
て、前記法線ベクトル群に代えて接線群とし、且つ、前記法
線ベクトルに代えて接線とすることを特徴とする物体像
識別方法。