JP6586852B2

JP6586852B2 - 画像処理装置

Info

Publication number: JP6586852B2
Application number: JP2015203574A
Authority: JP
Inventors: 睦永見
Original assignee: サクサ株式会社
Priority date: 2015-10-15
Filing date: 2015-10-15
Publication date: 2019-10-09
Anticipated expiration: 2035-10-15
Also published as: JP2017076260A

Description

本発明は画像処理装置に関し、より詳しくは、顔認識、文字認識、ステレオマッチング等に用いて好適な画像処理装置に関する。

コンピュータ装置の発達に伴い発展してきた画像処理技術の一分野にパターン認識がある。パターン認識は、カメラ等で入力された画像に様々な処理を施し、特定の形状として認識するものである。

このようなパターン認識に用いられている画像処理として、テンプレートマッチング処理がある。テンプレートマッチング処理とは、入力画像中でテンプレート画像と同じパターンを持つ認識対象物の位置を検出する処理である。一般的には、入力画像に対して探索領域を設定し、探索領域内の画像にテンプレート画像をずらしながら重ね合わせて相関値を計算し、最も高い相関値が得られた場所を認識対象物の存在場所と判断するという処理が行われる（特許文献１）。

特開平１１−３４０１１５号公報（段落０００２、０００３）

しかしながら、テンプレートマッチング処理では、認識対象物の形状と、比較対象物であるテンプレート画像の形状が同じであっても、サイズが異なると、認識できないという問題がある。

本発明は、このような状況に鑑みてなされたものであり、その目的は、認識対象物と比較対象物の形状が同じであれば、サイズが異なっていても、認識可能にする特徴量を取得することである。

本発明に係る画像処理装置は、対象物の画像データから前記対象物の外形点の座標を抽出し、外形に沿って配列化して座標配列を生成する配列化手段と、前記配列化手段により生成された座標配列を分割して複数の部分座標配列を生成する分割手段と、前記分割手段により生成された部分座標配列における対応する座標間の距離を算出し、かつ座標間の距離の算出値を所定の順番に配列して距離配列を生成する距離算出手段と、前記距離算出手段により生成された複数の座標間距離からなる距離配列を当該座標間距離が特徴的な値となる座標間距離を基点として並べ替える並べ替え手段と、を有する画像処理装置である。

本発明によれば、認識対象物と比較対象物の形状が同じであれば、サイズが異なっていても、認識可能にする特徴量を取得することができる。

本発明の実施形態に係る画像処理装置を含む画像処理システムの構成を示す図である。本発明の実施形態に係る画像処理装置における対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。本発明の実施形態に係る画像処理装置において、横軸を外形点の位置、縦軸を座標間距離としたグラフを示す図である。図２に示す対象物と形状が同じであり、サイズが異なる対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。本発明の実施形態に係る画像処理装置の処理対象である形状が同じであり、サイズが異なる文字の一例の画像を示す図である。図５に示す文字の画像データを処理して生成した距離配列について説明するための図である。図６に示す距離配列の比較結果について説明するための図である。距離配列の並べ替えについて説明するための図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
〈画像処理装置を含む画像処理システム〉
図１は、本発明の実施形態に係る画像処理装置を含む画像処理システムの構成を示す図である。
この画像処理システムは、画像処理装置１と、それぞれが画像処理装置１に接続された撮像装置２、入力装置３、記録媒体４、および出力装置５を備えている。

画像処理装置１は、例えば、ＰＣ（Personal Computer）であり、撮像装置２、または記録媒体４から入力される画像データを処理する。画像処理装置１における処理の詳細については後述する。

撮像装置２は、例えばビデオカメラであり、対象物（オブジェクト）を撮像するように配置される。入力装置３は、例えば、キーボード、マウス等であり、ユーザが画像処理装置１に対して種々の指示を与えるための装置である。

記録媒体４は、例えば、ＳＤメモリカード、ＵＳＢ（登録商標）メモリ等であり、画像および当該画像を撮像した撮像装置に関するデータを記録するための媒体である。出力装置５は、例えば、液晶ディスプレイ等の表示装置であり、撮像装置２、または記録媒体４から入力される画像データ、また画像処理装置１により処理された画像データ等を必要に応じて出力する。

画像処理装置１は、ＣＰＵ１１と、それぞれがＣＰＵ１１に接続された入力部１２、撮像装置制御部１３、ＲＯＭ１４、ＲＡＭ１５、ストレージ１６、および出力部１７を備えている。

ＣＰＵ１１は、画像処理装置１のコントローラとして機能する。また、後に詳述するように、ＣＰＵ１１は、ＲＡＭ１５をワークエリアとしてストレージ１６に格納された画像処理プログラムを実行することで、実現される機能ブロックとして、輪郭抽出手段２１、配列化手段２２、分割手段２３、距離算出手段２４、量子化手段２５、並べ替え手段２６、比較手段２７、および認識手段２８を備えている。

入力部１２は、撮像装置２および記録媒体４からの画像データや入力装置３からの種々の指示（命令）を受けるためのインタフェースである。撮像装置制御部１３は、撮像装置２の焦点距離、絞り、撮像方向等を制御する。

ＲＯＭ１４は、ＣＰＵ１１が実行するプログラムや固定データを記憶するメモリであり、ＲＡＭ１５は、ＣＰＵ１１のワークエリアとなるメモリである。ストレージ１６は、例えば、ハードディスク等の大容量記憶装置であり、撮像装置２で撮像され、ＣＰＵ１１で画像処理が施された画像データ、ＣＰＵ１１で生成されたデータ、その他のアプリケーションプログラムを格納する。出力部１７は、出力装置５と通信を行うためのインタフェースであり、例えば、ＣＰＵ１１で処理された画像データを出力装置５に表示させる。

次に上述した各機能ブロックの詳細について説明する。
輪郭抽出手段２１は、入力された画像データから、対象物の輪郭（外形線）に対応する画素（輪郭画素）を抽出する。

配列化手段２２は、輪郭抽出手段２１により抽出された輪郭画素を例えば一定数毎に選択（抽出）することにより外形点を生成し、さらに外形点の座標を輪郭に沿って配列化し、座標配列を生成する。ここでは、外形点の座標として、画像平面上の横軸をｘ、縦軸をｙとしたｘｙ直交座標とする。

例えば外形点がＰ_０，Ｐ_１，Ｐ_２，・・・，Ｐ_ｎ−２，Ｐ_ｎ−１，Ｐ_ｎであり、それぞれの座標［ｘ，ｙ］が［ｘ_０，ｙ_０］，［ｘ_１，ｙ_１］，［ｘ_２，ｙ_２］，・・・，［ｘ_ｎ−２，ｙ_ｎ−２］，［ｘ_ｎ−１，ｙ_ｎ−１］，［ｘ_ｎ，ｙ_ｎ］とすると、座標配列［ＸＹ］は下記の式〔１〕で表される。

［ＸＹ］＝［［ｘ_０，ｙ_０］，［ｘ_１，ｙ_１］，［ｘ_２，ｙ_２］，・・・，［ｘ_ｎ−２，ｙ_ｎ−２］，［ｘ_ｎ−１，ｙ_ｎ−１］，［ｘ_ｎ，ｙ_ｎ］］ …式〔１〕

分割手段２３は、配列化手段２２から出力される座標配列を分割して、複数の部分座標配列を生成する。分割数は２以上の任意の整数にすることができる。ただし、各部分座標配列を構成する座標数を等しくするため、外形点数（＝座標数）が分割数の整数倍になるように、外形点数、分割数を設定することが必要である。

式〔１〕で表わされる座標配列［ＸＹ］を２個に分割した場合、部分座標配列［ＸＹ］_１，［ＸＹ］_２は、それぞれ下記の式〔２〕、〔３〕で表される。

［ＸＹ］_１＝［［ｘ_０，ｙ_０］，［ｘ_１，ｙ_１］，・・・，［ｘ_{（ｎ−２）／２}，ｙ_{（ｎ−２］／２}］，［ｘ_{（ｎ-1）／２}，ｙ_{（ｎ−１）／２}］］ …式〔２〕

［ＸＹ］_２＝［［ｘ_ｎ／２，ｙ_ｎ／２］，［ｘ_{（ｎ＋１）／２}，ｙ_{（ｎ＋１）／２}］，・・・，［ｘ_ｎ−１，ｙ_ｎ−１］，［ｘ_ｎ，ｙ_ｎ］］ …式〔３〕

距離算出手段２４は、分割手段２３から出力される部分座標配列の間の対応する座標の間の距離を算出し、距離配列を生成する。ここで、対応する座標とは、部分座標配列における配列順位が同じ座標を意味する。式〔２〕、〔３〕で表わされる部分座標配列［ＸＹ］_１，［ＸＹ］_２の場合、距離配列は下記の式〔４〕で表される。

距離配列＝［√（ｘ_ｎ／２−ｘ_０）^２＋√（ｙ_ｎ／２−ｙ_０）^２，√（ｘ_{（ｎ＋１）／２}−ｘ_１）^２＋√（ｙ_{（ｎ＋１）／２}−ｙ_１）^２，・・・，√（ｘ_ｎ−１−ｘ_{（ｎ−２）／２}）^２＋√（ｙ_ｎ−１−ｙ_{（ｎ−２）／２}）^２，√（ｘ_ｎ−ｘ_{（ｎ−１）／２}）^２＋√（ｙ_ｎ−ｙ_{（ｎ−１）／２}）^２］ …式〔４〕

〈対象物の輪郭、外形点、座標配列、および距離算出の具体例〉
ここで、輪郭抽出手段２１、配列化手段２２、分割手段２３、および距離算出手段２４が実行する処理について具体例を挙げて説明する。図２は、対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。ここで、図２Ａ、図２Ｂは、それぞれ対象物の輪郭を２分割、４分割した場合を示している。

図２Ａ、図２Ｂに示すように、まず輪郭抽出手段２１により、ほぼ楕円形の輪郭（外形線）１００に対応する輪郭画像が抽出される。次に配列化手段２２により、輪郭画素から外形点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４，Ｐ_５，Ｐ_６，Ｐ_７が生成され、座標配列が生成される。ここで、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４，Ｐ_５，Ｐ_６，Ｐ_７の座標を、それぞれ［ｘ_ｋ，ｙ_ｋ］（ｋ＝０〜７）とすると、座標配列は式〔１〕にｎ＝７を代入したものとなる。

次に分割手段２３により座標配列が分割される。図２Ａの場合、輪郭（外形線）１００を１本の直線１０１で２分割したものとする。この場合、２つの分割座標配列は、それぞれ式〔２〕、〔３〕において、ｎ＝７を代入したものとなる。

図２Ｂの場合、輪郭（外形線）１００を２本の直線１０１、１０２で分割したものとする。この４つの分割座標配列は、それぞれ［［ｘ_０，ｙ_０］，［ｘ_１，ｙ_１］］、［［ｘ_２，ｙ_２］，［ｘ_３，ｙ_３］］、［［ｘ_４，ｙ_４］，［ｘ_５，ｙ_５］］、［［ｘ_６，ｙ_６］，［ｘ_７，ｙ_７］］で表される。

次に距離算出手段２４により、分割座標配列間の対応する座標間の距離が算出される。前述したように、対応する座標とは、部分座標配列における配列順位が同じ座標を意味するから、図２Ａの場合、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３に対応する座標は、それぞれＰ_４，Ｐ_５，Ｐ_６，Ｐ_７である。したがって、距離算出手段２４は、図２Ａにおいて、Ｐ_０とＰ_４とを結ぶ線分Ｌ_０４、Ｐ_１とＰ_５とを結ぶ線分Ｌ_１５、Ｐ_２とＰ_６とを結ぶ線分Ｌ_２６、およびＰ_３とＰ_７とを結ぶ線分Ｌ_３７の長さを算出し、これら４個の距離データからなる距離配列を生成する。

図２Ｂの場合、Ｐ_０，Ｐ_２，Ｐ_４，Ｐ_６の座標が互いに対応し、Ｐ_１，Ｐ_３，Ｐ_５，Ｐ_７の座標が互いに対応する。したがって、距離算出手段２４は、線分Ｌ_０２、Ｌ_０４、Ｌ_０６、Ｌ_１３、Ｌ_１５、Ｌ_１７、Ｌ_２４、Ｌ_２６、Ｌ_３５、Ｌ_３７、Ｌ_４６、Ｌ_５７の長さを算出し、これら１２個の距離データからなる距離配列を生成する。

ここで、距離配列を構成するデータの配列順について説明する。図２Ａの場合、式〔４〕に基づいて距離配列を生成すると、距離配列は［線分Ｌ_０４の長さ、線分Ｌ_１５の長さ、線分Ｌ_２６の長さ、線分Ｌ_３７の長さ］となる。しかし、距離配列を構成する座標間距離の配列の順番はこれに限定されるものではなく、任意でよい。ただし、後述するように、認識対象物の距離配列を構成する座標間距離の配列の順番と、比較対象の対象物を構成する座標間距離の配列の順番を揃えることが必要である。

図３は、横軸を外形点の位置、縦軸を座標間距離としたグラフを示す図である。図２Ａの場合、横軸には原点側から順にＰ_０，Ｐ_１，Ｐ_２，Ｐ_３が配置され、各位置における距離の値が線分Ｌ_０４の長さ、線分Ｌ_１５の長さ、線分Ｌ_２６の長さ、線分Ｌ_３７の長さとなる。ただし、実際の画像処理では多数の外形点を生成する。外形点の最大数は輪郭画素の総数である。このグラフの形状（波形）は、対象物の形状およびサイズを表す情報を含むので、距離配列を対象物の形状およびサイズを表す特徴量（マッチング処理用データ）として採用することができる。

〈形状が同じであり、向きが異なる対象物に対する処理〉
次に距離配列により形状が同じであり、サイズが異なる対象物を認識可能な理由について説明する。

図４は、図２に示す対象物と形状が同じであり、サイズが異なる対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。ここで、図４Ａは図２Ａと同じであり、図４Ｂは図４Ａに示す対象物と形状が同じであり、サイズが８０％（４／５）の対象物の輪郭、外形点、座標配列、および座標間距離を示す図である。

図４Ｂにおいて、輪郭（外形線）２００は、図４Ａに示す輪郭（外形線）１００と形状が同じであり、サイズが８０％になっている。外形点Ｐ_ａ，Ｐ_ｂ，Ｐ_ｃ，Ｐ_ｄ，Ｐ_ｅ，Ｐ_ｆ，Ｐ_ｇ，Ｐ_ｈは、配列化手段２２により生成された外形点である。座標配列は［［Ｐ_ａのx座標，Ｐ_ａのｙ座標］，［Ｐ_ｂのx座標，Ｐ_ｂのｙ座標］，・・・，［Ｐ_ｇのx座標，Ｐ_ｇのｙ座標］，［Ｐ_ｈのx座標，Ｐ_ｈのｙ座標］］となる。

分割手段２３により、直線２０１を境界として、座標配列を２つに分割すると、２つの分割座標配列は、［［Ｐ_ａのx座標，Ｐ_ａのｙ座標］，［Ｐ_ｂのx座標，Ｐ_ｂのｙ座標］，［Ｐ_ｃのx座標，Ｐ_ｃのｙ座標］，［Ｐ_ｄのx座標，Ｐ_ｄのｙ座標］］、および［［Ｐ_ｅのx座標，Ｐ_ｅのｙ座標］，［Ｐ_ｆのx座標，Ｐ_ｆのｙ座標］，［Ｐ_ｇのx座標，Ｐ_ｇのｙ座標］，［Ｐ_ｈのx座標，Ｐ_ｈのｙ座標］］となる。そして、距離算出手段２４により算出され、生成される距離配列は、［線分Ｌ_ａｅの長さ、線分Ｌ_ｂｆの長さ、線分Ｌ_ｃｇの長さ、線分Ｌ_ｄｈの長さ］となる。

ここで、外形点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４，Ｐ_５，Ｐ_６，Ｐ_７の頂点を結ぶことで形成される多角形（八角形）と外形点Ｐ_ａ，Ｐ_ｂ，Ｐ_ｃ，Ｐ_ｄ，Ｐ_ｅ，Ｐ_ｆ，Ｐ_ｇ，Ｐ_ｈの頂点を結ぶことで形成される多角形（八角形）とが相似、すなわち形状が同じであり、サイズが異なる場合、線分Ｌ_ａｅの長さ、線分Ｌ_ｂｆの長さ、線分Ｌ_ｃｇの長さ、線分Ｌ_ｄｈの長さは、それぞれ線分Ｌ_０４の長さ、線分Ｌ_１５の長さ、線分Ｌ_２６の長さ、線分Ｌ_３７の長さの８０％となる。

したがって、仮に［線分Ｌ_０４の長さ、線分Ｌ_１５の長さ、線分Ｌ_２６の長さ、線分Ｌ_３７の長さ］からなる距離配列のグラフが図３であった場合、［線分Ｌ_ａｅの長さ、線分Ｌ_ｂｆの長さ、線分Ｌ_ｃｇの長さ、線分Ｌ_ｄｈの長さ］からなる距離配列のグラフは、外形点Ｐ_ａ，Ｐ_ｂ，Ｐ_ｃ，Ｐ_ｄの横軸上の位置を外形点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３横軸上の位置に合わせれば、縦軸の値（距離）は８０％となる。画像処理装置１は、この性質を利用して、形状が同じであり、サイズが異なる対象物を認識することができる（詳細については、比較手段２７および認識手段２８に関する説明で後述する。）。

図１の説明に戻る。量子化手段２５は、比較対象物と形状は同じであり、サイズが異なる認識対象物を認識する際に、距離配列を構成する座標間距離の数を揃える処理を行う。

前述したように、実際の画像処理では、最大で輪郭画素数の外形点が設定される。したがって、仮に図４Ａにおいて、輪郭画素数である１００個の外形点が設定された場合、図４Ｂでは、最大で８０個の外形点しか設定されないことになる。

そこで、量子化手段２５は、サイズが異なる対象物を認識する際、認識対象物の距離配列を構成する座標間距離データの数と、比較対象物の距離配列を構成する座標間距離データの数とを比較し、小さい方の値に揃える処理を行う。

〈形状および向きが同じであり、サイズが異なる文字の距離配列およびその比較〉
次に、形状が同じであり、サイズが異なる対象物としてのサイズの異なる文字を処理して生成した距離配列およびその比較について説明する。

図５は、形状が同じであり、サイズが異なる文字の一例の画像を示す図であり、図６は、図５に示す文字の画像データを処理して生成した距離配列について説明するための図である。また、図７は、図６に示す距離配列の比較結果について説明するための図である。

図５において、画像１１１内の文字「あ」のサイズに対して、画像１１２内、１１３内、１１４内、１１５内、１１６内、１１７内の文字「あ」のサイズは、それぞれ９０％、８０％、７０％、６０％、５０％、４０％である。

図６において、横軸は外形点の位置を表し、縦軸は距離（座標間距離）を表している。また、グラフの特性i、ii、iii、iv、v、vi、viiは、それぞれ画像１１１、１１２、１１３、１１４、１１５、１１６、１１７内の文字の画像データに対して、輪郭抽出手段２１、配列化手段２２、分割手段２３、距離算出手段２４、および量子化手段２５による処理を施して生成した距離配列をグラフ化したものである。ここで、分割手段２３による分割数は２である。また、量子化手段２５は、サイズが最小の文字である画像１１７内の文字の外形点数に揃えている。

図６より、形状が同じであり、サイズが異なる対象物同士の距離配列の特性のグラフでは、極大値、極小値をとる外形点の位置が等しくなることが確認できた。

図７において、特性ii/i、iii/i、iv/i、v/i、vi/i、vii/iは、それぞれ図６におけるii、iii、iv、v、vi、viiの値をiの値で除算したものである。なお、各特性の折れ線の付近に存在する点列は、各特性の平均値である。

図１の説明に戻る。図７の特性を取得する処理は、比較手段２７により実行される。さらに、比較手段２７は、特性ii/i、iii/i、iv/i、v/i、vi/i、vii/iと水平線との近似度である分散値を算出する。この近似度は、画像１１１内の文字に対する、画像１１２内、１１３内、１１４内、１１５内、１１６内、１１７内の文字の近似度の指標となる。すなわち、分散値が小さい（水平線に近い）程、文字間の近似度が高いことになる。分散値の代わりに標準偏差値を用いてもよい。

比較手段２７で算出された近似度データは、認識手段２８により対象物の認識の判定に使用される。すなわち、例えば、近似度が所定の閾値を超えていれば、認識対象の対象物が比較対象の対象物と同じ形状を有すると判定する。

〈形状が同じであり、向きが異なる対象物に対する処理〉
以上、画像処理装置１によれば、形状が同じであり、サイズが異なる対象物を認識できることを説明したが、画像処理装置１は、サイズだけでなく向きが異なる対象物を認識することもできる。以下、この点について説明する。

認識対象物の回転等の影響により、認識対象物の向きが比較対象物の向きと異なる場合、配列化手段２２による外形点の座標の配列化の際に、同一の点から配列されることが保証されない。そこで、画像処理装置１では、並べ替え手段２６により、距離配列の特徴点（座標間距離が特徴的な値（例えば最小値）となる点）を基点として、距離配列を並べ替える。そして、並べ替えの済んだ距離配列を比較手段２７に出力する。

図８は、距離配列の並べ替えについて説明するための図である。図において、特性iは図６における特性iと同じであり、図５における画像１１１内の文字の画像データを処理して生成した距離配列のグラフである。これに対して、特性xiは、画像１１１内の文字を回転させて向きを変えた文字の画像データから生成される距離配列のグラフである。

特性xiの距離配列の原点と特性iの距離配列の原点と同じであるため、文字の形状が同じでも、向き（回転角度）の相違に応じて、グラフの形状が変化してしまう。そこで、特性xiのグラフの基点が原点になるように並べ替える。すなわち、特性xiのグラフのうち、基点の左側に位置する部分の左端が基点の右側に位置する部分の右端に接続されるように並べ替える。これにより、特性xiのグラフの形状を特性iのグラフの形状に一致させることができる。

以上詳細に説明したように、本発明の実施形態に係る画像処理装置は下記（１）〜（３）の特徴を備えている。
（１）認識対象物の形状が同じであれば、サイズおよび向きが異なっていても認識することができる。
（２）外形点の数を加減することにより、認識の精度を調整することができる。
（３）距離配列のデータを蓄積することで、精度を向上させることができる。

１…画像処理装置、１１…ＣＰＵ、２２…配列化手段、２３…分割手段、２４…距離算出手段、２５…量子化手段、２６…並べ替え手段、２７…比較手段、２８…認識手段。

Claims

対象物の画像データから前記対象物の外形点の座標を抽出し、外形に沿って配列化して座標配列を生成する配列化手段と、
前記配列化手段により生成された座標配列を分割して複数の部分座標配列を生成する分割手段と、
前記分割手段により生成された部分座標配列における対応する座標間の距離を算出し、かつ座標間の距離の算出値を所定の順番に配列して距離配列を生成する距離算出手段と、
前記距離算出手段により生成された複数の座標間距離からなる距離配列を当該座標間距離が特徴的な値となる座標間距離を基点として並べ替える並べ替え手段と、
を有する画像処理装置。
請求項１に記載された画像処理装置において、
前記配列化手段は、前記対象物の輪郭を構成する画素を所定数毎に選択することにより、前記外形点の座標を抽出する、画像処理装置。
請求項１に記載された画像処理装置において、
前記距離算出手段は、各部分座標配列における配列順位の同じ座標間の距離を算出する、画像処理装置。
請求項１に記載された画像処理装置において、
前記距離算出手段により生成された距離配列を構成する座標間距離の数を量子化する量子化手段を有する画像処理装置。
請求項１に記載された画像処理装置において、
認識対象物の画像データから算出した距離配列と、比較対象物の画像データから算出した距離配列とを比較し、比較結果として、近似度を表す情報を出力する比較手段と、前記比較結果に基づいて、前記認識対象物を認識する認識手段を有する画像処理装置。