JP4582079B2 - 画像識別装置および画像識別方法 - Google Patents

画像識別装置および画像識別方法 Download PDF

Info

Publication number
JP4582079B2
JP4582079B2 JP2006285527A JP2006285527A JP4582079B2 JP 4582079 B2 JP4582079 B2 JP 4582079B2 JP 2006285527 A JP2006285527 A JP 2006285527A JP 2006285527 A JP2006285527 A JP 2006285527A JP 4582079 B2 JP4582079 B2 JP 4582079B2
Authority
JP
Japan
Prior art keywords
image data
area
region
integral image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006285527A
Other languages
English (en)
Other versions
JP2008102792A (ja
Inventor
英一郎 繁原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006285527A priority Critical patent/JP4582079B2/ja
Publication of JP2008102792A publication Critical patent/JP2008102792A/ja
Application granted granted Critical
Publication of JP4582079B2 publication Critical patent/JP4582079B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像中に特徴的なパターンが含まれるか否か等を識別する画像識別装置、および画像識別方法に関する。より詳細には、画像識別の高速化に関する。
従来、CCD(Charge Coupled Devices;電荷結合素子)センサやCMOS(Complementary Metal Oxide Semiconductor;相補型MOS)センサ等の撮像素子により撮像された画像の中に特徴的なパターンが含まれるか否か等を識別する画像識別方法が知られており、人間の顔の識別(セキュリティ目的等)や自動車の運転支援(走行経路上の障害等の識別)への適用が行われている。
従来の画像識別方法のうち、検出率が高い方法としてはニューラルネットワーク(Neural Network)を用いた画像識別方法が知られている。ニューラルネットワークは相互に結合した複数の情報処理要素からなるネットワーク状のメカニズム(高等な動物の神経回路網にヒントを得たもの)であり、当該メカニズムを構成する複数の情報処理要素の間で簡単な信号のやり取りを行うことにより高度に並列化・分散化された情報処理を行うものである。
しかし、ニューラルネットワークを用いた画像識別方法は一般に計算量が膨大であり、計算コスト(計算に用いられるハードウェアのコストを含む)が大きいという問題がある。
また、ニューラルネットワークを用いた画像識別方法は計算に要する時間が長く、特に高いリアルタイム性(計算処理の高速性)が要求される自動車の運転支援への適用が困難であるという問題がある。
上記問題点を解消する方法として、V&J(Viola&Jones)法に代表されるインテグラルイメージ(Integral Image;II)を用いた画像識別方法が知られている。例えば、特許文献1に記載の如くである。
インテグラルイメージを用いた画像識別方法は、画像を構成する個々の画素の画素データをインテグラルイメージデータに変換(インテグラルイメージデータを生成)し、当該画像の所定の領域に対応するインテグラルイメージデータを用いて所定の領域の「総和」を算出し、当該算出結果を特徴データ(参照データ)と比較することにより画像識別を行うものであり、ニューラルネットワークを用いた画像識別方法に比べて計算量の削減による計算の高速化、ひいてはリアルタイム性の確保が可能である点において優れている。
しかし、従来のインテグラルイメージを用いた画像識別方法であっても、撮像された画像の高解像度化に伴いその計算量が増大する傾向にある。
特に、撮像された画像の高解像度化が進むと、生成されたインテグラルイメージを構成するインテグラルイメージデータの最大値の桁数(ビット数)が増加するため、インテグラルイメージデータを記憶(格納)する記憶媒体の大容量化、あるいは計算時の読み出し時間の増加による計算時間の増加という問題が発生する。
特開2004−185611号公報
本発明は以上の如き状況に鑑み、高速で(短時間で)画像識別を行うことが可能な画像識別装置、および画像識別方法を提供するものである。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、請求項1においては、
それぞれ画素データを有する複数の画素からなる画像を複数の積算領域に分割し、当該複数の積算領域毎にいずれかの角に位置する画素を起点とするインテグラルイメージデータを生成するインテグラルイメージデータ生成手段と、
前記インテグラルイメージデータを記憶する記憶媒体からなる記憶手段と、
前記画像の一部または全部を読み出し領域として指定する読み出し領域指定手段と、
前記インテグラルイメージデータのうち、前記読み出し領域の総和の算出に用いられるものを前記記憶手段から読み出し、当該読み出されたインテグラルイメージデータに基づいて前記読み出し領域の総和を算出する読み出し領域総和算出手段と、
を備えるものである。
請求項2においては、
前記読み出し領域指定手段は、
前記積算領域におけるインテグラルイメージデータの生成の起点となる画素に連なって前記積算領域の辺を成す画素の一部または全部が前記読み出し領域の辺を成す画素として含まれるように、前記読み出し領域を指定するものである。
請求項3においては、
前記読み出し領域指定手段は、
前記積算領域におけるインテグラルイメージデータの生成の起点となる画素が前記読み出し領域のいずれかの角を成す画素となるように、前記読み出し領域を指定するものである。
請求項4においては、
前記インテグラルイメージデータ生成手段は、
前記積算領域の角となる画素のうち、隣り合う別の積算領域との境界線に接する画素を起点として前記インテグラルイメージデータを生成するものである。
請求項5においては、
画像識別装置がそれぞれ画素データを有する複数の画素からなる画像を複数の積算領域に分割し、前記画像識別装置が当該複数の積算領域毎にいずれかの角に位置する画素を起点とするインテグラルイメージデータを生成するインテグラルイメージデータ生成工程と、
前記画像識別装置が前記インテグラルイメージデータを記憶媒体に記憶する記憶工程と、
前記画像識別装置が前記画像の一部または全部を読み出し領域として指定する読み出し領域指定工程と、
前記画像識別装置が前記インテグラルイメージデータのうち、前記読み出し領域の総和の算出に用いられるものを前記記憶媒体から読み出す読み出し工程と、
前記画像識別装置が前記読み出し工程において読み出されたインテグラルイメージデータに基づいて前記読み出し領域の総和を算出する読み出し領域総和算出工程と、
を備えるものである。
請求項6においては、
前記読み出し領域指定工程において、
前記画像識別装置は前記積算領域におけるインテグラルイメージデータの生成の起点となる画素に連なって前記積算領域の辺を成す画素の一部または全部が前記読み出し領域の辺を成す画素として含まれるように、前記読み出し領域を指定するものである。
請求項7においては、
前記読み出し領域指定工程において、
前記画像識別装置は前記積算領域におけるインテグラルイメージデータの生成の起点となる画素が前記読み出し領域のいずれかの角を成す画素となるように、前記読み出し領域を指定するものである。
請求項8においては、
前記インテグラルイメージデータ生成工程において、
前記画像識別装置は前記積算領域の角となる画素のうち、隣り合う別の積算領域との境界線に接する画素を起点として前記インテグラルイメージデータを生成するものである。
本発明の効果としては、高速で画像識別を行うことが可能である。
以下では、図1乃至図13を用いて本発明に係る画像識別装置の実施の一形態である画像識別装置1について説明する。
画像識別装置1は撮像手段の一例たるCCDカメラ10により撮像された画像について特徴的なパターンが含まれるか否か等を識別する装置であり、主としてCPU2およびメモリ3を具備する。
CPU2はインターフェース11を介してCCDカメラ10に接続され、CCDカメラ10により撮像された画像101(より厳密には、画像101に係るデータ(画像データ))を取得することが可能である(図2参照)。なお、インターフェース11では画像101のアナログデータからデジタルデータへの変換、歪み補正等が行われる。
ここで、「画像」は、複数の画素を配列(通常は格子状に配列)したものを指し、「画像データ」は個々の画素についての画素データの集合体を指す。
「画素データ」は画素が有するデータであり、例えば画像がモノクロの場合は輝度値、画像がカラーの場合はRGBのそれぞれについての色素値等が画素データに相当する。画像には静止画および動画の両方が含まれる。
また、CPU2はインターフェース12を介して画像識別装置1の外部に設けられたデータベース13に接続され、データベース13に記憶された画像識別のための特徴データを取得することが可能である。
メモリ3は本発明に係る記憶媒体の実施の一形態に相当し、メモリ3は後述するインテグラルイメージデータを記憶する。また、メモリ3はCPU2に接続され、CPU2との間で情報のやりとりを行うことが可能である。
なお、本発明に係る記憶媒体はメモリに限定されず、ハードディスクドライブ(HDD)やCD−ROM等でも良い。
CPU2はその機能毎に、インテグラルイメージデータ生成部21、読み出し領域指定部22、読み出し領域総和算出部23、画像識別部24等を具備する。
図2に示す如く、インテグラルイメージデータ生成部21は本発明に係るインテグラルイメージデータ生成手段の実施の一形態であり、CCDカメラ10により撮像された画像101を二つの積算領域101L・101Rに分割し、積算領域101L・101Rのそれぞれについてインテグラルイメージデータを生成するものである。
図2に示す如く、画像101は境界線101aで左右に分割され、それぞれ積算領域101L・101Rとなる。積算領域101L・101Rの形状は略矩形である。積算領域101L・101Rの面積は略同じ、すなわち積算領域101Lに含まれる画素の数は積算領域101Rに含まれる画素の数と略同じである。
以下では、図3乃至図5を用いてインテグラルイメージデータの生成方法の一例について説明する。
図3乃至図5に示す大きい四角は画像を表し、当該画像中において点線により区画された部分が画素を表すものとする。なお、説明の便宜上、図3乃至図5に示す画像はモノクロ画像であるものとする
図3に示す如く、画像中の左上角の画素を原点として右方向を正とする横軸および下方向を正とする縦軸を定義すると、原点となる画素から右方向にm個、下方向にn個となる画素の座標は(m,n)で表される。
図4に示す如く、座標(m,n)に位置する画素の画素データをp(m,n)と定義する。ここで、p(m,n)は座標(m,n)に位置する画素の輝度値を表す。
図5に示す如く、座標(m,n)に位置する画素のインテグラルイメージデータをii(m,n)と定義する。ii(m,n)は以下の数1で表される。
Figure 0004582079
このように、ii(m,n)は、画像についての座標系の原点となる画素と、座標(m,n)に位置する画素とを一対の対角とする矩形(長方形)の領域に含まれる画素の画素データの総和を表すものである。このとき、画像についての座標系の原点となる画素はii(m,n)を算出する際の「起点」となり、座標(m,n)に位置する画素はii(m,n)を算出する際の「終点」となる。
例えば、ii(0,0)=p(0,0)、ii(1,0)=p(0,0)+p(1,0)、ii(0,1)=p(0,0)+p(0,1)、ii(1,1)=p(0,0)+p(1,0)+p(0,1)+p(1,1)となる。
インテグラルイメージデータ生成部21は、積算領域101Lにおける右上角の画素102Lを起点とし、左下角の画素103Lを終点とするインテグラルイメージデータを生成する。次に、インテグラルイメージデータ生成部21は、積算領域101Rにおける左上角の画素102Lを起点とし、右下角の画素103Rを終点とするインテグラルイメージデータを生成する。
なお、本実施例における画像101は画素を格子状に配列するため、積算領域の形状は矩形(略長方形)となるが、本発明はこれに限定されず、画像中において画素をハニカム状に配列する構成としても良い。この場合、積算領域の形状は略平行四辺形であり、横軸と縦軸の交差する角度を60度(または120度)として座標系を定義すれば良い。
また、本実施例では左右の積算領域101L・101Rのうち、先に左の積算領域101Lについてインテグラルイメージデータを生成し、次いで右の積算領域101Rについてインテグラルイメージデータを生成する構成としたが、本発明はこれに限定されず、先に右の積算領域についてインテグラルイメージデータを生成し、次いで左の積算領域についてインテグラルイメージデータを生成する構成としても良く、左右の積算領域101L・101Rの両方についてインテグラルイメージデータを並行して生成する構成としても良い。
さらに、インテグラルイメージデータの生成時において起点となる画素は、積算領域の四隅の角のいずれを用いても良い。例えば、積算領域の右下角の画素を起点とし、左上角の画素を終点とするインテグラルイメージデータを生成する構成としても良い。
インテグラルイメージデータ生成部21は、積算領域101Lおよび積算領域101Rについてのインテグラルイメージデータを出力する。メモリ3はインテグラルイメージデータ生成部21から出力された積算領域101Lおよび積算領域101Rについてのインテグラルイメージデータを取得し、これを記憶する。
読み出し領域指定部22は本発明に係る読み出し領域指定手段の実施の一形態であり、図6に示す如く、画像101の一部(または全部)を読み出し領域110として指定するものである。
ここで、「読み出し領域」は通常、画像のうちインテグラルイメージデータによる画像識別に用いられる領域を指す。
例えば、人間の顔を識別する場合、人間の顔を撮像した画像のうち、その人間の顔の特徴が現れやすい人間の目およびその周辺に対応する部分が「読み出し領域」に相当する。
また、自動車の走行経路に人間がいるか否かを識別する場合、自動車から所定距離前方の車線と歩道との境界部分(歩道にいた人間が車道に入る際に当該人間が通過する部分)等が「読み出し領域」に相当する。
読み出し領域は本発明に係る画像識別装置の用途に応じて適宜設定可能である。
従って、画像中における読み出し領域の数は本実施例の如く一つ(読み出し領域110)に限定されず、複数でも良い。また、読み出し領域の面積(含まれる画素数)は限定されず、経時的にその面積が変化しても良い。さらに、読み出し領域は画像中で静止していても良く、経時的に移動(走査)しても良い。
読み出し領域総和算出部23は本発明に係る読み出し領域総和算出手段の実施の一形態であり、メモリ3に記憶された積算領域101Lおよび積算領域101Rについてのインテグラルイメージデータのうち、読み出し領域110の総和の算出に用いられるものをメモリ3から読み出し、当該読み出されたインテグラルイメージデータに基づいて読み出し領域110の総和を算出する。
以下では、図7を用いて読み出し領域の総和の算出方法の一例について説明する。
図7に示す如く、四つの座標(0,0)、座標(m1,0)、座標(0,n1)、座標(m1,n1)に位置する画素を四隅(角)とする矩形の領域Aを読み出し領域とする場合、領域Aの総和すなわち領域Aに含まれる画素の画素データの総和(A)は、インテグラルイメージデータを用いて以下の数2で表される。
Figure 0004582079
図7に示す如く、四つの座標(m1+1,0)、座標(m2,0)、座標(m1+1,n1)、座標(m2,n1)に位置する画素を四隅(角)とする矩形の領域Bを読み出し領域とする場合、領域Bの総和すなわち領域Bに含まれる画素の画素データの総和(B)は、インテグラルイメージデータを用いて以下の数3で表される。
Figure 0004582079
図7に示す如く、四つの座標(0,n1+1)、座標(m1,n1+1)、座標(0,n2)、座標(m1,n2)に位置する画素を四隅(角)とする矩形の領域Cを読み出し領域とする場合、領域Cの総和すなわち領域Cに含まれる画素の画素データの総和(C)は、インテグラルイメージデータを用いて以下の数4で表される。
Figure 0004582079
図7に示す如く、四つの座標(m1+1,n1+1)、座標(m2,n1+1)、座標(m1+1,n2)、座標(m2,n2)に位置する画素を四隅(角)とする矩形の領域Dを読み出し領域とする場合、領域Dの総和すなわち領域Dに含まれる画素の画素データの総和(D)は、インテグラルイメージデータを用いて以下の数5で表される。
Figure 0004582079
以上より、図7に示す領域Aの如く、(α)積算領域におけるインテグラルイメージデータの生成の起点となる画素が読み出し領域のいずれかの角を成す画素となる場合には、読み出し領域の総和を算出するために用いられるインテグラルイメージデータは一つ(ii(m1,n1))である。
また、図7に示す領域Bまたは領域Cの如く、(β)積算領域におけるインテグラルイメージデータの生成の起点となる画素に連なって積算領域の辺を成す画素(座標(m,0)または座標(0,n)で表される画素)の一部または全部が読み出し領域の辺を成す画素として含まれる場合(読み出し領域の四隅の画素の一つがインテグラルイメージデータの生成の起点となる画素である場合を除く)には、読み出し領域の総和を算出するために用いられるインテグラルイメージデータは二つ(領域Bの場合にはii(m1,n1)およびii(m2,n1)、領域Cの場合にはii(m1,n1)およびii(m1,n2))である。
さらに、図7に示す領域Dの如く、(γ)積算領域におけるインテグラルイメージデータの生成の起点となる画素が読み出し領域のいずれかの角を成す画素とならず、かつ積算領域におけるインテグラルイメージデータの生成の起点となる画素に連なって積算領域の辺を成す画素の一部または全部が読み出し領域の辺を成す画素として含まれない場合には、読み出し領域の総和を算出するために用いられるインテグラルイメージデータは四つ(ii(m1,n1)、ii(m2,n1)、ii(m1,n2)およびii(m2,n2))である。
従って、画像識別装置1は上記(α)または(β)の条件を満たすように読み出し領域110を指定することにより、読み出し領域110の総和を算出する際にメモリ3から読み出すインテグラルイメージデータの数を削減することが可能であり、ひいては読み出し領域110の総和の算出を高速化する(読み出し領域110の総和の算出に要する時間を短縮する)ことが可能である。
なお、図8に示す如く、境界線101aを跨ぐ形で読み出し領域110を指定した場合でも、境界線101aに接する画素である画素102L・102Rを積算領域101L・101Rについてのインテグラルイメージデータの生成の起点とすることにより、読み出し領域110の総和を算出する際にメモリ3から読み出すインテグラルイメージデータの数を四つ(読み出し領域110に起点となる画素が含まれない場合)または二つ(読み出し領域110に起点となる画素を含む場合)とすることが可能である。
この場合、積算領域101L・101Rについてのインテグラルイメージデータの生成の起点となる画素が境界線101aに接しない場合に比べて、読み出し領域110の総和を算出する際にメモリ3から読み出すインテグラルイメージデータの数を削減することが可能(八つまたは四つ→四つまたは二つ)であり、ひいては読み出し領域110の総和の算出を高速化する(読み出し領域110の総和の算出に要する時間を短縮する)ことが可能である。
画像識別部24は読み出し領域総和算出部23により算出された読み出し領域110の総和およびデータベース13から取得した特徴データとに基づいて画像識別を行うものである。例えば、特徴データとして読み出し領域110の総和の許容範囲(総和の上限値および下限値)を予め設定しておき、読み出し領域110の総和が許容範囲内にあるか否かにより、画像101の読み出し領域110に対応する部分に識別対象たる物体が写っているか否かを判定する。
以下では図9を用いて画像識別装置1による画像識別に係る計算量削減の効果について説明する。
図9に示す如く、画像101を64×48画素の画像とし、これを左右均等に二分割して32×48画素からなる積算領域101L・101Rが設定され、読み出し領域110の大きさを16×24画素とし、読み出し領域110が画面101の左上隅から右上隅に向かって(A)→(B)→(C)→(D)の順に互いに重複することなく設定され、続いて読み出し領域110が画面101の左下隅から右下隅に向かって(E)→(F)→(G)→(H)の順に互いに重複することなく設定される場合について説明する。
図9に示す如く、読み出し領域110が(B)または(C)の位置に設定されたときは、読み出し領域110にインテグラルイメージデータの生成の起点たる画素102L・102Rがそれぞれ含まれるため、(B)または(C)の位置に設定された読み出し領域110の総和を算出するために必要なインテグラルイメージデータはそれぞれ一つである。
従って、読み出し領域総和算出部23が(B)または(C)の位置に設定された読み出し領域110の総和を算出する際に、必要なインテグラルイメージデータを読み出すべくメモリ3にアクセスする回数はそれぞれ1回である。
図9に示す如く、読み出し領域110が(A)、(D)、(F)または(G)の位置に設定されたときは、読み出し領域110にインテグラルイメージデータの生成の起点たる画素102L・102Rに連なって積算領域101L・101Rの辺を成す画素の一部(画像101の上辺を成す画素または境界線101aに隣接する画素)がそれぞれ読み出し領域110の辺を成す画素として含まれるため、(A)、(D)、(F)または(G)の位置に設定された読み出し領域110の総和を算出するために必要なインテグラルイメージデータはそれぞれ二つである。
従って、読み出し領域総和算出部23が(A)、(D)、(F)または(G)の位置に設定された読み出し領域110の総和を算出する際に、必要なインテグラルイメージデータを読み出すべくメモリ3にアクセスする回数はそれぞれ2回である。
図9に示す如く、読み出し領域110が(E)または(H)の位置に設定されたときは、読み出し領域110にインテグラルイメージデータの生成の起点たる画素102L・102Rが含まれず、かつ、インテグラルイメージデータの生成の起点たる画素102L・102Rに連なって積算領域101L・101Rの辺を成す画素の一部(画像101の上辺を成す画素または境界線101aに隣接する画素)が読み出し領域110の辺を成す画素として含まれないため、(E)または(H)の位置に設定された読み出し領域110の総和を算出するために必要なインテグラルイメージデータはそれぞれ四つである。
従って、読み出し領域総和算出部23が(E)または(H)の位置に設定された読み出し領域110の総和を算出する際に、必要なインテグラルイメージデータを読み出すべくメモリ3にアクセスする回数はそれぞれ4回である。
図9に示す如く、画像101において(A)から(H)まで順に読み出し領域110を設定し、これらの読み出し領域110の総和を算出した場合、読み出し領域総和算出部23が必要なインテグラルイメージデータを読み出すべくメモリ3にアクセスする回数の合計は18回(=2回+1回+1回+2回+4回+2回+2回+4回)である。
これに対して、仮に画像101を分割せず、画像101を一つの積算領域とし、画像101の左上角の画素を起点、右下角の画素を終点としてインテグラルイメージデータを生成し、図9の場合と同様に画像101において(A)から(H)まで順に読み出し領域110を設定し、これらの読み出し領域110の総和を算出した場合、読み出し領域総和算出部23が必要なインテグラルイメージデータを読み出すべくメモリ3にアクセスする回数の合計は21回(=1回+2回+2回+2回+2回+4回+4回+4回)である。
このように、画像を複数の積算領域に分割し、かつ、積算領域におけるインテグラルイメージデータの生成の起点となる画素に連なって積算領域の辺を成す画素の一部または全部が読み出し領域の辺を成す画素として含まれるように、または積算領域におけるインテグラルイメージデータの生成の起点となる画素が読み出し領域のいずれかの角を成す画素となるように読み出し領域を設定することにより、読み出し領域の総和の算出時における記憶媒体へのアクセス回数を削減することが可能であり、画像識別の計算量削減に寄与する。
以下では、画像101が64×48画素の画像である場合におけるメモリ3の記憶領域の大きさ(記憶容量)について説明する。
画像101を積算領域101L・101Rに左右均等に二分割した場合、各積算領域のインテグラルイメージデータの最大値は12288(=32×48×28)となり、一つのインテグラルイメージデータを記憶するために14ビット(213<12288<214)の記憶容量が必要となる。
その結果、画像101の全ての画素についてのインテグラルイメージデータを記憶するためには43008(=64×48×14)ビットの記憶容量が必要となる。
これに対して、画像101を分割せずに画像101を一つの積算領域としてインテグラルイメージデータを生成すると、インテグラルイメージデータの最大値は24576(=64×48×28)となり、一つのインテグラルイメージデータを記憶するために15ビット(214<24576<215)の記憶容量が必要となる。
その結果、画像101の全ての画素についてのインテグラルイメージデータを記憶するためには46080(=64×48×15)ビットの記憶容量が必要となる。
このように、画像101が64×48画素の画像である場合、画像101を二分割することによりメモリ3の記憶容量を約7%(={1−(14/15)}×100)削減することが可能であり、メモリ3のコスト削減に寄与する。
以上の如く、画像識別装置1は、
それぞれ画素データを有する複数の画素からなる画像101を二つの積算領域101L・101Rに分割し、積算領域101L・101Rのそれぞれについていずれかの角に位置する画素(画素102L・102R)を起点とするインテグラルイメージデータを生成するインテグラルイメージデータ生成部21と、
前記インテグラルイメージデータを記憶する記憶媒体からなるメモリ3と、
画像101の一部(または全部)を読み出し領域110として指定する読み出し領域指定部22と、
前記インテグラルイメージデータのうち、読み出し領域110の総和の算出に用いられるものをメモリ3から読み出し、当該読み出されたインテグラルイメージデータに基づいて読み出し領域110の総和を算出する読み出し領域総和算出部23と、
を備えるものである。
このように構成することにより、読み出し領域110の総和を算出するためにメモリ3からインテグラルイメージデータを読み出す回数(メモリ3へのアクセス回数)を減らすことが可能であり、高速で画像識別を行うことが可能である。
また、インテグラルイメージデータの桁数(ビット数)を小さくしてメモリ3の記憶容量を削減することが可能であり、画像識別装置1の製造コストの削減に寄与する。
また、画像識別装置1の読み出し領域指定部22は、
積算領域101L・101Rにおけるインテグラルイメージデータの生成の起点となる画素(画素102L・102R)に連なって積算領域101L・101Rの辺を成す画素の一部または全部が読み出し領域110の辺を成す画素として含まれるように、読み出し
領域110を指定するものである。
このように構成することにより、読み出し領域110の総和を算出するためにメモリ3からインテグラルイメージデータを読み出す回数(メモリ3へのアクセス回数)を4回から2回に削減することが可能であり、高速で画像識別を行うことが可能である。
また、画像識別装置1の読み出し領域指定部22は、
積算領域101L・101Rにおけるインテグラルイメージデータの生成の起点となる画素(画素102L・102R)が読み出し領域110のいずれかの角を成す画素となるように、読み出し領域110を指定するものである。
このように構成することにより、読み出し領域110の総和を算出するためにメモリ3からインテグラルイメージデータを読み出す回数(メモリ3へのアクセス回数)を4回(または2回)から1回に削減することが可能であり、高速で画像識別を行うことが可能である。
また、画像識別装置1のインテグラルイメージデータ生成部21は、
積算領域101L・101Rの角となる画素のうち、隣り合う別の積算領域との境界線101aに接する画素102L・102Rを起点としてインテグラルイメージデータを生成するものである。
このように構成することにより、積算領域101L・101Rの境界線101aを跨ぐ形で読み出し領域110が指定された場合でも、読み出し領域110の総和を算出するためにメモリ3からインテグラルイメージデータを読み出す回数が増加することを防止することが可能である。
以下では図10乃至図12を用いて本発明に係る画像識別方法の第一実施例について説明する。
本発明に係る画像識別方法の第一実施例は画像識別装置1により行われる画像識別に相当し、図10に示す如く、画像取得工程S1100、インテグラルイメージデータ生成工程S1200、記憶工程S1300、読み出し領域指定工程S1400、読み出し工程S1500、読み出し領域総和算出工程S1600、画像識別工程S1700等を備える。
画像取得工程S1100はCCDカメラ10により撮像された画像(画像データ)を取得する工程である。
画像取得工程S1100が終了したら、インテグラルイメージデータ生成工程S1200に移行する。
インテグラルイメージデータ生成工程S1200は画像101を二つの積算領域101L・101Rに分割し、積算領域101L・101Rのそれぞれについてインテグラルイメージデータを生成する工程である。
図11に示す如く、インテグラルイメージデータ生成工程S1200は画像分割工程S1210、第一インテグラルイメージデータ生成工程S1220、第二インテグラルイメージデータ生成工程S1230を備える。
画像分割工程S1210は画像101を二つの積算領域101L・101Rに分割する工程である。
画像分割工程S1210において、インテグラルイメージデータ生成部21は画像101を境界線101aを境に左右に分割し、それぞれ積算領域101L・101Rとする。
画像分割工程S1210が終了したら第一インテグラルイメージデータ生成工程S1220に移行する。
第一インテグラルイメージデータ生成工程S1220は積算領域101Lについてのインテグラルイメージデータを生成する工程である。
第一インテグラルイメージデータ生成工程S1220において、インテグラルイメージデータ生成部21は積算領域101Lにおける右上角の画素102Lを起点とし、左下角の画素103Lを終点とするインテグラルイメージデータを生成する。
第一インテグラルイメージデータ生成工程S1220が終了したら第二インテグラルイメージデータ生成工程S1230に移行する。
第二インテグラルイメージデータ生成工程S1230は積算領域101Rについてのインテグラルイメージデータを生成する工程である。
第二インテグラルイメージデータ生成工程S1230において、インテグラルイメージデータ生成部21は積算領域101Rにおける左上角の画素102Rを起点とし、右下角の画素103Rを終点とするインテグラルイメージデータを生成する。
第二インテグラルイメージデータ生成工程S1230が終了したら記憶工程S1300に移行する。
本実施例では先に第一インテグラルイメージデータ生成工程S1220において積算領域101Lについてのインテグラルイメージデータを生成し、次に第二インテグラルイメージデータ生成工程S1230において積算領域101Rについてのインテグラルイメージデータを生成するが、本発明はこれに限定されず、左右の積算領域におけるインテグラルイメージの生成順序を逆にしても良く、左右の積算領域についてのインテグラルイメージデータを同時並行的に生成しても良い。すなわち、画像を分割した後の複数の積算領域についてのインテグラルイメージデータの生成順序を適宜選択することが可能である。
記憶工程S1300はインテグラルイメージデータ生成工程S1200において生成された積算領域101L・101Rのそれぞれについてのインテグラルイメージデータをメモリ3に記憶する工程である。
記憶工程S1300が終了したら読み出し領域指定工程S1400に移行する。
読み出し領域指定工程S1400は画像101の一部(または全部)を読み出し領域110として指定する工程である。
読み出し領域指定工程S1400が終了したら読み出し工程S1500に移行する。
読み出し工程S1500はメモリ3に記憶された積算領域101Lおよび積算領域101Rについてのインテグラルイメージデータのうち、読み出し領域110の総和の算出に用いられるものをメモリ3から読み出す工程である。
図12に示す如く、読み出し工程S1500は読み出し領域判定工程S1510、算出用データ読み出し工程S1520を備える。
読み出し領域判定工程S1510は読み出し領域指定工程S1400において指定された読み出し領域110が、(a)積算領域101L内に収まっている、(b)積算領域101R内に収まっている、(c)積算領域101L・積算領域101Rの両方に跨っている、のいずれの状態にあるかを判定する工程である。
読み出し領域判定工程S1510が終了したら算出用データ読み出し工程S1520に移行する。
算出用データ読み出し工程S1520は、読み出し領域判定工程S1510における判定結果に基づいて、メモリ3に記憶された積算領域101L・101Rについてのインテグラルイメージデータのうち、読み出し領域110の総和の算出に用いられるものをメモリ3から読み出す工程である。
算出用データ読み出し工程S1520において、読み出し領域総和算出部23は、読み出し領域判定工程S1510における判定結果に基づき、読み出し領域110が(a)積算領域101L内に収まっている、と判定した場合には、メモリ3に記憶された積算領域101Lについてのインテグラルイメージデータの中から読み出し領域110の総和の算出に用いられるものを読み出す。
また、読み出し領域総和算出部23は、読み出し領域110が(b)積算領域101R内に収まっている、と判定した場合には、メモリ3に記憶された積算領域101Rについてのインテグラルイメージデータの中から読み出し領域110の総和の算出に用いられるものを読み出す。
また、読み出し領域総和算出部23は、読み出し領域110が(c)積算領域101L・積算領域101Rの両方に跨っている、と判定した場合には、メモリ3に記憶された積算領域101L・101Rについてのインテグラルイメージデータの中から読み出し領域110の総和の算出に用いられるものを読み出す。
読み出し工程S1500が終了したら読み出し領域総和算出工程S1600に移行する。
読み出し領域総和算出工程S1600は読み出し工程S1500において読み出されたインテグラルイメージデータに基づいて読み出し領域110の総和を算出する工程である。
読み出し領域総和算出工程S1600が終了したら画像識別工程S1700に移行する。
画像識別工程S1700は読み出し領域総和算出工程S1600において算出された読み出し領域110の総和およびデータベース13から取得した特徴データに基づいて画像識別を行う工程である。
なお、画像101が動画であって、画像101についてリアルタイムで画像識別を行う場合、画像取得工程S1100→インテグラルイメージデータ生成工程S1200→記憶工程S1300→画像取得工程S1100→・・・というサイクルを繰り返してメモリ3にインテグラルイメージデータを逐次記憶する作業と、読み出し領域指定工程S1400→読み出し工程S1500→読み出し領域総和算出工程S1600→画像識別工程S1700→読み出し領域指定工程S1400→・・・というサイクルを繰り返して画像識別を逐次行う作業と、を並行して行うこととなる。
以下では図13乃至図16を用いてインテグラルイメージデータの生成の前工程となる画像の分割方法の別実施例について説明する。
図1乃至図9に示す画像識別装置1では、画像101を略同じ面積かつ形状(矩形)で左右に並んだ二つの積算領域101L・101Rに分割する構成としたが、本発明に係る画像識別装置はこれに限定されない。
図13に示す如く、画像201を境界線201aで上下の積算領域201T・201Bに分割し、積算領域201Tにおける左上角の画素202Tを起点とし、右下角の画素203Tを終点とするインテグラルイメージデータを生成するとともに、積算領域201Bにおける左下角の画素202Bを起点とし、右上角の画素203Bを終点とするインテグラルイメージデータを生成する構成としても同様の効果(記憶媒体へのアクセス回数の削減および記憶媒体の記憶容量の削減)を奏する。
図14に示す如く、画像301を境界線301a・301b・301cで左右に並んだ四つの積算領域301L・301CL・301CR・301Rに分割し、それぞれの積算領域における左上角の画素(画素302L・302CL・302CR・302R)を起点とし、右下角の画素(画素303L・303CL・303CR・303R)を終点とするインテグラルイメージデータを生成する構成としても同様の効果(記憶媒体へのアクセス回数の削減および記憶媒体の記憶容量の削減)を奏する。
図15に示す如く、画像401を境界線401aで異なる面積(含まれる画素の数が異なる)二つの積算領域401R・401Lに分割し、積算領域401Lにおける右上角の画素402Lを起点とし、左下角の画素103Lを終点とするインテグラルイメージデータを生成するとともに、積算領域401Rにおける左上角の画素402Lを起点とし、右下角の画素403Rを終点とするインテグラルイメージデータを生成する構成としても同様の効果(記憶媒体へのアクセス回数の削減および記憶媒体の記憶容量の削減)を奏する。
図16に示す如く、画像501を直交する二本の境界線501a・501bで上下左右に四分割して積算領域501LT・501RT・501LB・501RBとし、画像501の左上部分を成す積算領域501LTにおける右下角の画素、すなわち境界線501a・501bの両方に接する画素502LTを起点とし、左上角の画素503LTを終点とするインテグラルイメージデータを生成し、画像501の右上部分を成す積算領域501RTにおける左下角の画素、すなわち境界線501a・501bの両方に接する画素502RTを起点とし、右上角の画素503RTを終点とするインテグラルイメージデータを生成し、画像501の左下部分を成す積算領域501LBにおける右上角の画素、すなわち境界線501a・501bの両方に接する画素502LBを起点とし、左下角の画素503LBを終点とするインテグラルイメージデータを生成し、画像501の右下部分を成す積算領域501RBにおける左上角の画素、すなわち境界線501a・501bの両方に接する画素502RBを起点とし、右下角の画素503RBを終点とするインテグラルイメージデータを生成する構成としても同様の効果(記憶媒体へのアクセス回数の削減および記憶媒体の記憶容量の削減)を奏する。
図1乃至図9に示す画像識別装置1では記憶媒体たるメモリ3を画像識別装置1の内部に設ける構成としたが、図17に示す如く、記憶媒体たるHDD15を画像識別装置1の外部に設け、HDD15とCPU2とをインターフェース14を介して接続する構成としても良い。
さらに、画像識別装置1ではインテグラルイメージデータを記憶するメモリ3と特徴データを記憶するデータベース13とを別体としたが、本発明はこれに限定されず、インテグラルイメージデータおよび特徴データを同一の記憶媒体に記憶する構成としても良い。
以下では、図18乃至図21を用いて本発明に係る画像識別方法の第二実施例について説明する。
図18に示す如く、画像101の左辺と読み出し領域110の左辺が重複している場合には、画像101を二つの積算領域101L・101Rに分割してそれぞれインテグラルイメージデータを生成した場合の読み出し領域110の総和の算出時におけるメモリ3へのアクセス回数は4回(読み出し領域110の総和の算出に必要なインテグラルイメージデータの数は四つ)である。
これに対して、仮に画像101を分割せず、画像101の左上角を成す画素を起点とし、右下角を終点としてインテグラルイメージデータを生成した場合の読み出し領域110の総和の算出時におけるメモリ3へのアクセス回数は2回(読み出し領域110の総和の算出に必要なインテグラルイメージデータの数は二つ)である。
すなわち、読み出し領域の大きさや位置、画像を複数の積算領域に分割する際の境界線の位置等によっては、画像を複数の積算領域に分割することで却って読み出し領域の総和の算出時における記憶媒体へのアクセス回数が増大する事態が生じる場合がある。
図19乃至図21に示す本発明に係る画像識別方法の第二実施例は、このような問題を解消するものである。
図19に示す如く、本発明に係る画像識別方法の第二実施例は、画像取得工程S2100、インテグラルイメージデータ生成工程S2200、記憶工程S2300、読み出し領域指定工程S2400、読み出し工程S2500、読み出し領域総和算出工程S2600、画像識別工程S2700等を備える。
なお、画像取得工程S2100、記憶工程S2300、読み出し領域指定工程S2400、読み出し領域総和算出工程S2600、画像識別工程S2700については、図10に示す本発明に係る画像識別方法の第一実施例における画像取得工程S1100、記憶工程S1300、読み出し領域指定工程S1400、読み出し領域総和算出工程S1600、画像識別工程S1700と略同じであるため、説明を省略する。
図20に示す如く、インテグラルイメージデータ生成工程S2200は分割前インテグラルイメージデータ生成工程S2205、画像分割工程S2210、第一インテグラルイメージデータ生成工程S2220、第二インテグラルイメージデータ生成工程S2230を備える。
分割前インテグラルイメージデータ生成工程S2205は画像101を一つの積算領域と見なして、画像101の左上角の画素を起点とし、画像101の右下角の画素を終点とするインテグラルイメージデータを生成する工程である。
分割前インテグラルイメージデータ生成工程S2205が終了したら、画像分割工程S2210に移行する。
なお、画像分割工程S2210、第一インテグラルイメージデータ生成工程S2220、第二インテグラルイメージデータ生成工程S2230は図10に示す本発明に係る画像識別方法の第一実施例における画像分割工程S1210、第一インテグラルイメージデータ生成工程S1220、第二インテグラルイメージデータ生成工程S1230と略同じであるため、説明を省略する。
このように、図19乃至図21に示す本発明に係る画像識別方法の第二実施例では、インテグラルイメージデータ生成工程S2200において画像101を分割しない場合のインテグラルイメージデータおよび画像101を二つの積算領域101L・101Rに分割した場合のインテグラルイメージデータの両方を生成する。これらのインテグラルイメージデータは、記憶工程S2300においてメモリ3に記憶される。
読み出し工程S2500はメモリ3に記憶された画像101を一つの積算領域と見なしたもの、積算領域101L・101Rについてのインテグラルイメージデータのうち、読み出し領域110の総和の算出に用いられるものをメモリ3から読み出す工程である。
図21に示す如く、読み出し工程S2500は第一読み出し領域判定工程S2511、第二読み出し領域判定工程S2512、算出用データ読み出し工程S2520を備える。
第一読み出し領域判定工程S2511は、画像101を一つの積算領域と見なしたものについてのインテグラルイメージデータを用いて読み出し領域110の総和を算出する場合および積算領域101L・101Rについてのインテグラルイメージデータを用いて読み出し領域110の総和を算出する場合のうち、当該算出に必要なインテグラルイメージデータの数(メモリ3へのアクセス回数)が少なくなるのがいずれの場合か、または当該算出に必要なインテグラルイメージデータの数が同数かを判定する工程である。
より詳細には、第一読み出し領域判定工程S2511において、読み出し領域110の左辺を成す画素が画像101の左辺を成す画素と重複している場合には、画像101を一つの積算領域と見なしたものについてのインテグラルイメージデータを用いて読み出し領域110の総和を算出した方が当該算出に必要なインテグラルイメージデータの数(メモリ3へのアクセス回数)が少なくなると判定し、算出用データ読み出し工程S2520に移行する。
また、第一読み出し領域判定工程S2511において、読み出し領域110の左辺を成す画素が画像101の左辺を成す画素と重複していない場合には、画像101を一つの積算領域と見なしたものについてのインテグラルイメージデータを用いて読み出し領域110の総和を算出した場合と積算領域101L・101Rについてのインテグラルイメージデータを用いて読み出し領域110の総和を算出した方が当該算出に必要なインテグラルイメージデータの数(メモリ3へのアクセス回数)が同数となると判定し、第二読み出し領域判定工程S2512に移行する。
第二読み出し領域判定工程S2512は、読み出し領域110が、(a)積算領域101L内に収まっている、(b)積算領域101R内に収まっている、(c)積算領域101L・積算領域101Rの両方に跨っている、のいずれの状態にあるかを判定する工程である。
第二読み出し領域判定工程S2512が終了したら算出用データ読み出し工程S2520に移行する。
算出用データ読み出し工程S2520は、第一読み出し領域判定工程S2511および第二読み出し領域判定工程S2512における判定結果に基づいて、メモリ3に記憶された画像101を一つの積算領域と見なしたものについてのインテグラルイメージデータおよび積算領域101L・101Rについてのインテグラルイメージデータのうち、読み出し領域110の総和の算出に用いられるものをメモリ3から読み出す工程である。
第一読み出し領域判定工程S2511から算出用データ読み出し工程S2520に移行したとき、メモリ3に記憶された画像101を一つの積算領域と見なしたものについてのインテグラルイメージデータの中から読み出し領域110の総和の算出に用いられるものを読み出す。
第二読み出し領域判定工程S2512から算出用データ読み出し工程S2520に移行したとき、読み出し領域110が(a)積算領域101L内に収まっている、と判定した場合には、メモリ3に記憶された積算領域101Lについてのインテグラルイメージデータの中から読み出し領域110の総和の算出に用いられるものを読み出す。
また、読み出し領域110が(b)積算領域101R内に収まっている、と判定した場合には、メモリ3に記憶された積算領域101Rについてのインテグラルイメージデータの中から読み出し領域110の総和の算出に用いられるものを読み出す。
また、読み出し領域110が(c)積算領域101L・積算領域101Rの両方に跨っている、と判定した場合には、メモリ3に記憶された積算領域101L・101Rについてのインテグラルイメージデータの中から読み出し領域110の総和の算出に用いられるものを読み出す。
読み出し工程S2500が終了したら読み出し領域総和算出工程S2600に移行する。
このように、図19乃至図21に示す本発明に係る画像識別方法の第二実施例では、読み出し領域110の総和を算出する際のメモリ3へのアクセス回数を極力少なくすることが可能である。
以下では図22乃至図25を用いて本発明に係る画像識別方法の第三実施例について説明する。
図22に示す如く、本発明に係る画像識別方法の第三実施例は、境界線決定工程3050、画像取得工程S3100、インテグラルイメージデータ生成工程S3200、記憶工程S3300、読み出し領域指定工程S3400、読み出し工程S3500、読み出し領域総和算出工程S3600、画像識別工程S3700等を備える。
なお、画像取得工程S3100、記憶工程S3300、読み出し領域指定工程S3400、読み出し領域総和算出工程S3600、画像識別工程S3700については、図10に示す本発明に係る画像識別方法の第一実施例における画像取得工程S1100、記憶工程S1300、読み出し領域指定工程S1400、読み出し領域総和算出工程S1600、画像識別工程S1700と略同じであるため、説明を省略する。
境界線決定工程3050は画像601を分割する境界線の本数およびその配置(長手方向、境界線の間隔等)を決定する工程である。
通常、画像識別の対象および目的は予め定まっていることから、画像601の大きさ(画素数)、画像601内における読み取り領域の大きさ(幅および高さ)や位置、あるいは読み取り領域の移動の有無および移動の態様(例えば画像601内の所定の範囲で左右に移動する、画像601内を上下左右に隈無く走査する)も予め定めることができる。
境界線決定工程3050においては、本実施例の画像識別方法による画像識別の対象および目的に基づいて、画像601を分割する境界線の本数およびその配置を決定する。
図25に示す如く、画像601が10×10画素の画像であり、2×4画素の大きさを有する読み出し領域610が画像601内を隈無く走査する場合、境界線決定工程3050において、境界線606a・606b・606c・606dの間隔を横軸方向で2画素分とし、境界線606a・606b・606c・606dの本数を4本(={(画像601の横軸方向の画素数)/(読み出し領域610の横軸方向の画素数)}−1)と決定する。
境界線決定工程3050が終了したら、画像取得工程S3100に移行する。
このように境界線606a・606b・606c・606dの本数および間隔を決定することにより、図25に示す如く画像601内を隈無く走査する読み出し領域610は、(a)読み出し領域610の左右の辺が画像601の左右の辺または境界線606a・606b・606c・606dのいずれかに接する状態、(b)読み出し領域610が境界線606a・606b・606c・606dのいずれかを跨いでいる状態、のいずれかの状態となる。
インテグラルイメージデータ生成工程S3200は境界線決定工程3050により決定された境界線606a・606b・606c・606dの本数および間隔に基づいて、画像601を五つの積算領域601L・601CL・601C・601CR・601Rに分割し、これらの積算領域のそれぞれについてインテグラルイメージデータを生成する工程である。
図23に示す如く、インテグラルイメージデータ生成工程S3200は画像分割工程S3210、左向きインテグラルイメージデータ生成工程S3220、右向きインテグラルイメージデータ生成工程S3230を備える。
画像分割工程S3210は境界線決定工程3050により決定された境界線606a・606b・606c・606dの本数および間隔に基づいて、画像601を五つの積算領域601L・601CL・601C・601CR・601Rに分割する工程である。
画像分割工程S3210が終了したら左向きインテグラルイメージデータ生成工程S3220に移行する。
左向きインテグラルイメージデータ生成工程S3220は積算領域601L・601CL・601C・601CRのそれぞれについて、図25に示す如く、右上角の画素である画素602L・602CL・602C・602CR・602Rを起点とし、左下角の画素である画素603L・603CL・603C・603CR・603Rを終点とするインテグラルイメージデータ(左向きのインテグラルイメージデータ)を生成する工程である。
左向きインテグラルイメージデータ生成工程S3220が終了したら右向きインテグラルイメージデータ生成工程S3230に移行する。
右向きインテグラルイメージデータ生成工程S3230は積算領域601CL・601C・601CR・601Rのそれぞれについて、図25に示す如く、左上角の画素である画素604CL・604C・604CR・604Rを起点とし、右下角の画素である画素605CL・605C・605CR・605Rを終点とするインテグラルイメージデータ(右向きのインテグラルイメージデータ)を生成する工程である。
右向きインテグラルイメージデータ生成工程S3230が終了したら記憶工程S3300に移行する。
記憶工程S3300においては、左向きインテグラルイメージデータ生成工程S3220において生成された左向きのインテグラルイメージデータ、および右向きインテグラルイメージデータ生成工程S3230において生成された右向きのインテグラルイメージデータがそれぞれメモリ3に記憶される。
読み出し工程S3500はメモリ3に記憶された積算領域601L・601CL・601C・601CR・601Rのそれぞれについての左向きのインテグラルイメージデータおよび右向きのインテグラルイメージデータのうち、読み出し領域610の総和の算出に用いられるものをメモリ3から読み出す工程である。
図24に示す如く、読み出し工程S3500は読み出し領域判定工程S3510、算出用データ読み出し工程S3520を備える。
読み出し領域判定工程S3510は読み出し領域指定工程S3400において指定された読み出し領域610が、(a)積算領域601L・601CL・601C・601CR・601Rのいずれかに収まっている、(b)境界線606a・606b・606c・606dのいずれかを跨いでいる、のいずれの状態にあるかを判定する工程である。
読み出し領域判定工程S3510が終了したら算出用データ読み出し工程S3520に移行する。
算出用データ読み出し工程S3520は、読み出し領域判定工程S3510における判定結果に基づいて、メモリ3に記憶された積算領域601L・601CL・601C・601CR・601Rのそれぞれについての左向きのインテグラルイメージデータおよび右向きのインテグラルイメージデータのうち、読み出し領域610の総和の算出に用いられるものをメモリ3から読み出す工程である。
算出用データ読み出し工程S3520において、読み出し領域610が(a)積算領域601L・601CL・601C・601CR・601Rのいずれかに収まっている、と判定した場合には、対応する積算領域についての右向きのインテグラルイメージデータまたは左向きインテグラルイメージデータの中から読み出し領域610の総和の算出に用いられるものを読み出す。
なお、(a)積算領域601L・601CL・601C・601CR・601Rのいずれかに収まっている場合には、右向きのインテグラルイメージデータ、左向きのインテグラルイメージデータのいずれを用いても総和の算出に必要なインテグラルイメージデータの数は同じ(二つまたは一つ)であるため、対応する積算領域についての左向きのインテグラルイメージデータまたは右向きのインテグラルイメージデータのいずれから読み出し領域610の総和の算出に用いられるものを読み出す構成としても良い。
算出用データ読み出し工程S3520において、読み出し領域610が(b)境界線606a・606b・606c・606dのいずれかを跨いでいる、と判定した場合には、読み出し領域610が跨いでいる境界線の右側に接している積算領域の右向きのインテグラルイメージデータおよび読み出し領域610が跨いでいる境界線の左側に接している積算領域の左向きのインテグラルイメージデータの中から読み出し領域610の総和の算出に用いられるものを読み出す。
読み出し工程S3500が終了したら読み出し領域総和算出工程S3600に移行する。
図22乃至図25に示す本発明に係る画像識別方法の第三実施例における読み出し領域610の総和の算出時にインテグラルイメージデータを読み出す回数について説明する。
図25に示す如く、2×8画素の大きさを有する読み出し領域610が10×10画素の画像からなる画像601内を隈無く走査する場合、指定される読み出し領域610は63通り(=(10−2+1)×(10−4+1)=9×7)である。
この63通りのうち、読み出し領域610の総和の算出時にインテグラルイメージデータを読み出す回数が1回(メモリ3へのアクセス回数が1回)となる場合は5通りである。
また、読み出し領域610の総和の算出時にインテグラルイメージデータを読み出す回数が2回(メモリ3へのアクセス回数が2回)となる場合は34通りである。
さらに、読み出し領域610の総和の算出時にインテグラルイメージデータを読み出す回数が4回(メモリ3へのアクセス回数が4回)となる場合は24通りである。
従って、図22乃至図25に示す本発明に係る画像識別方法の第三実施例における読み出し領域610の総和の算出時にインテグラルイメージデータを読み出す回数(メモリ3へのアクセス回数)の総和は176回(=1回×5通り+2回×34通り+4回×24通り)である。
これに対して、仮に読み出し領域610を一つの積算領域として左上角の画素を起点とし、右下角の画素を終点とするインテグラルイメージデータを生成し、これを用いて読み出し領域610の総和の算出を行った場合、インテグラルイメージデータを読み出す回数が1回、2回、4回となる場合はそれぞれ1通り、14通り、48通りであり、読み出し領域610の総和の算出時にインテグラルイメージデータを読み出す回数(メモリ3へのアクセス回数)の総和は221回(=1回×1通り+2回×14通り+4回×48通り)である。
また、仮に読み出し領域610を境界線を挟んで左右均等に二つの積算領域に分割し、左側の積算領域の右上角の画素および右側の積算領域の左上角の画素をそれぞれ起点とし、左側の積算領域の左下角の画素および右側の積算領域の右下角の画素をそれぞれ終点とするインテグラルイメージデータを生成し、これを用いて読み出し領域610の総和の算出を行った場合、インテグラルイメージデータを読み出す回数が1回、2回、4回となる場合はそれぞれ2通り、25通り、36通りであり、読み出し領域610の総和の算出時にインテグラルイメージデータを読み出す回数(メモリ3へのアクセス回数)の総和は196回(=1回×2通り+2回×25通り+4回×36通り)である。
なお、読み出し領域610の左右の幅(画素数)に合わせて画像601を五つの積算領域に分割することにより、メモリ3に記憶されるインテグラルイメージデータの桁数(ビット数が大きく減少するため、左向きのインテグラルイメージデータおよび右向きのインテグラルイメージデータの両方を生成しても全体としてはメモリ3の記憶容量を削減可能である。
本発明に係る画像識別装置の実施の一形態を示す図。 積算領域の一例を示す図。 画像を構成する画素の座標を示す図。 画像を構成する画素の画素データを示す図。 画像を構成する画素のインテグラルイメージデータを示す図。 画像および積算領域と読み出し領域との位置関係を示す図。 読み出し領域および読み出し領域の総和を算出するためのインテグラルイメージデータの位置関係を示す図。 読み出し領域が境界線を跨ぐ場合における画像および積算領域と読み出し領域との位置関係を示す図。 画像中を移動する読み出し領域の一例を示す図。 本発明に係る画像識別方法の第一実施例を示すフロー図。 本発明に係る画像識別方法の第一実施例におけるインテグラルイメージデータ生成工程の詳細を示すフロー図。 本発明に係る画像識別方法の第一実施例における読み出し工程の詳細を示すフロー図。 積算領域の別実施例を示す図。 同じく積算領域の別実施例を示す図。 同じく積算領域の別実施例を示す図。 同じく積算領域の別実施例を示す図。 本発明に係る画像識別装置の別実施例を示す図。 画像、積算領域の境界線および読み出し領域の位置関係を示す図。 本発明に係る画像識別方法の第二実施例を示すフロー図。 本発明に係る画像識別方法の第二実施例におけるインテグラルイメージデータ生成工程の詳細を示すフロー図。 本発明に係る画像識別方法の第二実施例における読み出し工程の詳細を示すフロー図。 本発明に係る画像識別方法の第三実施例を示すフロー図。 本発明に係る画像識別方法の第三実施例におけるインテグラルイメージデータ生成工程の詳細を示すフロー図。 本発明に係る画像識別方法の第三実施例における読み出し工程の詳細を示すフロー図。 本発明に係る画像識別方法の第三実施例に対応する積算領域を示す図。
3 メモリ(記憶手段)
21 インテグラルイメージデータ生成部(インテグラルイメージデータ生成手段)
22 読み出し領域指定部(読み出し領域指定手段)
23 読み出し領域総和算出部(読み出し領域総和算出手段)
101 画像
101L 積算領域
101R 積算領域
110 読み出し領域

Claims (8)

  1. それぞれ画素データを有する複数の画素からなる画像を複数の積算領域に分割し、当該複数の積算領域毎にいずれかの角に位置する画素を起点とするインテグラルイメージデータを生成するインテグラルイメージデータ生成手段と、
    前記インテグラルイメージデータを記憶する記憶媒体からなる記憶手段と、
    前記画像の一部または全部を読み出し領域として指定する読み出し領域指定手段と、
    前記インテグラルイメージデータのうち、前記読み出し領域の総和の算出に用いられるものを前記記憶手段から読み出し、当該読み出されたインテグラルイメージデータに基づいて前記読み出し領域の総和を算出する読み出し領域総和算出手段と、
    を備えることを特徴とする画像識別装置。
  2. 前記読み出し領域指定手段は、
    前記積算領域におけるインテグラルイメージデータの生成の起点となる画素に連なって前記積算領域の辺を成す画素の一部または全部が前記読み出し領域の辺を成す画素として含まれるように、前記読み出し領域を指定することを特徴とする請求項1に記載の画像識別装置。
  3. 前記読み出し領域指定手段は、
    前記積算領域におけるインテグラルイメージデータの生成の起点となる画素が前記読み出し領域のいずれかの角を成す画素となるように、前記読み出し領域を指定することを特徴とする請求項2に記載の画像識別装置。
  4. 前記インテグラルイメージデータ生成手段は、
    前記積算領域の角となる画素のうち、隣り合う別の積算領域との境界線に接する画素を起点として前記インテグラルイメージデータを生成することを特徴とする請求項1から請求項3までのいずれか一項に記載の画像識別装置。
  5. 画像識別装置がそれぞれ画素データを有する複数の画素からなる画像を複数の積算領域に分割し、前記画像識別装置が当該複数の積算領域毎にいずれかの角に位置する画素を起点とするインテグラルイメージデータを生成するインテグラルイメージデータ生成工程と、
    前記画像識別装置が前記インテグラルイメージデータを記憶媒体に記憶する記憶工程と、
    前記画像識別装置が前記画像の一部または全部を読み出し領域として指定する読み出し領域指定工程と、
    前記画像識別装置が前記インテグラルイメージデータのうち、前記読み出し領域の総和の算出に用いられるものを前記記憶媒体から読み出す読み出し工程と、
    前記画像識別装置が前記読み出し工程において読み出されたインテグラルイメージデータに基づいて前記読み出し領域の総和を算出する読み出し領域総和算出工程と、
    を備えることを特徴とする画像識別方法。
  6. 前記読み出し領域指定工程において、
    前記画像識別装置は前記積算領域におけるインテグラルイメージデータの生成の起点となる画素に連なって前記積算領域の辺を成す画素の一部または全部が前記読み出し領域の辺を成す画素として含まれるように、前記読み出し領域を指定することを特徴とする請求項5に記載の画像識別方法。
  7. 前記読み出し領域指定工程において、
    前記画像識別装置は前記積算領域におけるインテグラルイメージデータの生成の起点となる画素が前記読み出し領域のいずれかの角を成す画素となるように、前記読み出し領域を指定することを特徴とする請求項6に記載の画像識別方法。
  8. 前記インテグラルイメージデータ生成工程において、
    前記画像識別装置は前記積算領域の角となる画素のうち、隣り合う別の積算領域との境界線に接する画素を起点として前記インテグラルイメージデータを生成することを特徴とする請求項5から請求項7までのいずれか一項に記載の画像識別方法。
JP2006285527A 2006-10-19 2006-10-19 画像識別装置および画像識別方法 Expired - Fee Related JP4582079B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006285527A JP4582079B2 (ja) 2006-10-19 2006-10-19 画像識別装置および画像識別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006285527A JP4582079B2 (ja) 2006-10-19 2006-10-19 画像識別装置および画像識別方法

Publications (2)

Publication Number Publication Date
JP2008102792A JP2008102792A (ja) 2008-05-01
JP4582079B2 true JP4582079B2 (ja) 2010-11-17

Family

ID=39437069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006285527A Expired - Fee Related JP4582079B2 (ja) 2006-10-19 2006-10-19 画像識別装置および画像識別方法

Country Status (1)

Country Link
JP (1) JP4582079B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292751B2 (en) 2012-09-14 2016-03-22 Honda Motor Co., Ltd. Object identifier

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5058681B2 (ja) * 2007-05-31 2012-10-24 キヤノン株式会社 情報処理方法及び装置、プログラム、記憶媒体
KR101522985B1 (ko) 2008-10-31 2015-05-27 삼성전자주식회사 영상처리 장치 및 방법
JP5349931B2 (ja) * 2008-12-04 2013-11-20 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP5340088B2 (ja) * 2009-09-07 2013-11-13 キヤノン株式会社 情報処理方法及び装置
JP5388835B2 (ja) * 2009-12-24 2014-01-15 キヤノン株式会社 情報処理装置及び情報処理方法
JP5370294B2 (ja) * 2010-07-06 2013-12-18 株式会社デンソー 画像処理装置
JP5759126B2 (ja) 2010-08-25 2015-08-05 キヤノン株式会社 パターン識別装置及びその制御方法、プログラム
JP5674535B2 (ja) * 2011-04-06 2015-02-25 日本電信電話株式会社 画像処理装置、方法、及びプログラム
JP5777458B2 (ja) 2011-09-12 2015-09-09 キヤノン株式会社 パターン識別装置、パターン識別方法及びプログラム
JP5963566B2 (ja) 2012-06-21 2016-08-03 キヤノン株式会社 パターン識別装置
JP5935646B2 (ja) * 2012-10-12 2016-06-15 富士通株式会社 画像処理装置および画像処理方法
JP6116271B2 (ja) * 2013-02-08 2017-04-19 キヤノン株式会社 特徴量算出装置、方法及びプログラム
JP2016009387A (ja) * 2014-06-25 2016-01-18 本田技研工業株式会社 画像処理装置
JP6490441B2 (ja) * 2015-02-12 2019-03-27 株式会社東芝 画像評価装置、画像評価方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327242A (ja) * 2004-05-14 2005-11-24 Omron Corp 特定被写体検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005327242A (ja) * 2004-05-14 2005-11-24 Omron Corp 特定被写体検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292751B2 (en) 2012-09-14 2016-03-22 Honda Motor Co., Ltd. Object identifier

Also Published As

Publication number Publication date
JP2008102792A (ja) 2008-05-01

Similar Documents

Publication Publication Date Title
JP4582079B2 (ja) 画像識別装置および画像識別方法
US10742957B2 (en) Three-dimensional imaging system
JP6986683B2 (ja) 視差値算出装置、視差値算出方法及びプログラム
CN107924572A (zh) 使用阵列相机执行高速视频捕获和深度估计的系统和方法
EP2175232A1 (en) Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
CN101102388A (zh) 图像传感器以及采用其的图像感测方法
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
JP2004015106A5 (ja)
CN102572279A (zh) 针对数字图像稳定优化的旋转内插像素的光栅输出
US20160241797A1 (en) Devices, systems, and methods for single-shot high-resolution multispectral image acquisition
JP4692849B2 (ja) 立体画像記録装置および立体画像記録方法
CN102063711A (zh) 用于生成全景图像的装置和方法以及计算机可读介质
EP2887313A1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
US8509608B2 (en) Photographing apparatus and method of displaying graphic for user to estimate the real size of object
CN107360354A (zh) 拍照方法、装置、移动终端和计算机可读存储介质
CN103685877A (zh) 打印对象数据处理装置及打印对象数据处理方法
JP2018533273A (ja) ライトフィールドベース画像を符号化および復号する方法および装置、および対応するコンピュータプログラム製品
JP3709879B2 (ja) ステレオ画像処理装置
JPWO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR101630281B1 (ko) 영상 처리 장치
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6628987B2 (ja) 画像処理装置、画像処理方法及び撮像装置
CN103491296A (zh) 一种高速摄像的实现方法
JP2009258005A (ja) 三次元測定装置及び三次元測定方法
TW201525533A (zh) 彩色濾光器陣列及固態影像感測器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100816

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees