JP5538435B2 - 画像特徴抽出方法及びシステム - Google Patents

画像特徴抽出方法及びシステム Download PDF

Info

Publication number
JP5538435B2
JP5538435B2 JP2011550127A JP2011550127A JP5538435B2 JP 5538435 B2 JP5538435 B2 JP 5538435B2 JP 2011550127 A JP2011550127 A JP 2011550127A JP 2011550127 A JP2011550127 A JP 2011550127A JP 5538435 B2 JP5538435 B2 JP 5538435B2
Authority
JP
Japan
Prior art keywords
image
sum
values
sub
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011550127A
Other languages
English (en)
Other versions
JP2012518223A (ja
JP2012518223A5 (ja
Inventor
チョウ・チュンイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2012518223A publication Critical patent/JP2012518223A/ja
Publication of JP2012518223A5 publication Critical patent/JP2012518223A5/ja
Application granted granted Critical
Publication of JP5538435B2 publication Critical patent/JP5538435B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

[関連出願への相互参照]
本願は、参照により全体が本明細書に組み込まれる、2009年2月13日に「METHOD AND SYSTEM FOR IMAGE FEATURE EXTRACTION(画像特徴抽出方法及びシステム)」の名称で出願された中国特許出願200910007218.9に基づく優先権を主張する。
本願は、画像処理技術に関し、特に、画像特徴抽出方法及びシステムに関する。
画像処理において、画像から抽出される特徴は、主に、色、テクスチャ及び形状の3種類に分類できる。本出願は、形状に基づく画像特徴の抽出に主眼を置いたものある。
さまざまな分野で、画像特徴抽出は広く利用されている。たとえば、画像検索の分野において、サーチエンジンは、画像データベース内の画像とユーザーにより提供された画像とを比較し、ユーザーにより提供された画像に最も類似する画像を画像データベースから返送する画像クエリ―サービスを提供する。このような画像検索システムでは、画像の特徴の比較が行なわれるため、これらの画像に関して前もって特徴抽出処理を実行する必要がある。
形状に基づく画像特徴抽出及びデジタル画像処理では、通常、ハフ変換(Hough transformation)が用いられる。ハフ変換は、画像平面内の1つの点をパラメータ平面内の1本の線に変換し、統計的特性に応じて画像特徴を抽出する。ハフ変換の要旨は以下の通りである。画像空間において、1本の直線は式y=k×x+bで表わされる。ここで、kは傾きパラメータであり、bは切片パラメータである。点(x0,y0)を通る各直線は、式y0=k×x0+bを満たすパラメータを有する。式b=y−k×xを用いて、所定の光度条件を満たす対象画像平面(x,y)内の1つの点に対応する(k,b)パラメータ平面内の1本の直線が得られる。直線上の各点を値1で示すと、複数の直線が交わる点は、その点を通る直線の数を表す値で示される。この方法に従って、(k,b)パラメータ平面内の直線を表わす対象画像平面(x,y)における直線群が得られる。(k,b)パラメータ平面内でこれらの直線が交わる点が最も高い値を有する。(k,b)パラメータ平面内におけるこの点は、対象画像平面(x,y)内の直線を表わす。したがって、上述の方法に従って、パラメータ平面内で最も高い値を有する点を算出して見つけることにより、画像平面内の直線を検出することができる。同様に、複数の直線も検出可能であり、また、円や円弧にも同様のアプローチを適用できる。
画像特徴抽出における従来のハフ変換アプローチを図1に例示する。図1の画像は、10×10画素の大きさである。画像の左下角を縦軸の原点とすると、画像内の1本の直線は、式y=5で表わされる。画像の背景の光度が低く、直線上の点の光度が高いと仮定する。ハフ変換を用いて、以下の手順に従い、直線を検出することができる。
ステップ1:図1の画像における各点をその座標に従い検出する。
ステップ2:対象画像内の点(x0,y0)が所定の閾値よりも高い光度を有すると検出された場合に、(図2に示すような)パラメータ平面内で直線b=y0−k×x0を特定し、この特定された直線上の各点に値1(すなわち、α値)を割り当てる。
ステップ3:パラメータ平面内で特定された複数の直線の交点に関して、交点を通る直線の数をその交点のα値として規定する。あるいは、交点を通る直線のα値の合計をその交点のα値として規定してもよい。
結果として、図1の対象画像内の直線y=5に関して、図2のパラメータ平面において最も高いα値を有し、パラメータがk=0及びb=5である点を特定することができる。すなわち、パラメータ平面内の点(0,5)は、対象画像における直線y=5を表わす。また、座標値0及び5は、それぞれ、傾きパラメータと切片パラメータである。したがって、対象平面内の直線y=5は、パラメータ平面内の点(0,5)により検出される。
ハフ変換を用いた画像特徴抽出では、浮動小数点数が算出される。たとえば、直線の傾きパラメータの算出に、浮動小数点計算が用いられる。円や円弧の場合には、もっと複雑な浮動小数点計算が必要になる。当業者に周知のように、浮動小数点計算は、CPU等のハードウェアに大きな負荷となる。結果として、ハードウェアの性能が影響を受けるため、より効果的な画像特徴抽出技術が必要とされている。
本発明の種々の実施例を、添付の図面と共に、以下に詳細に説明する。
従来のハフ変換(Hough transformation)画像特徴抽出法を用いた対象画像の例を示す図。
ハフ変換画像特徴抽出法を用いたパラメータ平面の例を示す図。
画像特徴抽出システムの一実施例を示すブロック図。
画像特徴抽出処理の一実施例を示すフローチャート。
オブジェクトの左右境界を検出する処理の一実施例を示すフローチャート。
オブジェクトの上下境界を検出する処理の一実施例を示すフローチャート。
切り取り画像を塗りつぶす処理によって得られる最小正方形の一実施例を示すブロック図。
光度導関数算出に用いられるサブ画像ブロックの例を示すブロック図。
画像特徴抽出システムの一実施例を示すブロック図。
画像特徴抽出システムの別の実施例を示すブロック図。
画像特徴抽出システムの別の実施例を示すブロック図。
画像特徴抽出システムの別の実施例を示すブロック図。
本発明は、処理、装置、システム、組成、コンピュータ読み取り可能な記憶媒体上に具現化されるコンピュータプログラム製品、及び/又は、プロセッサに接続されるメモリ上に記憶される及び/又はメモリによって提供される命令を実行するように構成されるプロセッサ等のプロセッサ等、さまざまな形態で実施可能である。本明細書において、このような実施形態又はその他本発明が採用し得る任意の実施形態を「技術(technique)」とも称する。一般に、記載されている処理工程の順序は、本発明の範囲内で変更が可能である。特に明記しない限り、タスクを実行するように構成されるプロセッサやメモリ等の構成要素は、所定の時にタスクを実行するように一時的に構成される一般的な構成要素でもよいし、あるいは、タスクの実行用に製造された専用の構成要素でもよい。本明細書において、「プロセッサ」という用語は、コンピュータプログラム命令等のデータを処理するように構成される1つ以上のデバイス、回路、及び/又は処理コアを意味する。
以下、本発明の原理を図示する添付の図面を参照して、本発明の実施例を詳細に説明する。本発明をこれらの実施例に基づいて説明するが、本発明は何らこれらの実施例に限定されるものではない。本発明の要旨は、特許請求の範囲によってのみ限定されるものであり、本発明は、種々の変形や変更及び等価の形態を包含する。本発明の理解を深める目的で、以下、具体的な詳細を説明するが、これらの詳細は例示に過ぎず、これらの具体的な詳細の一部または全部を省略しても、特許請求の範囲に従って本発明を実施可能である。本発明が不必要に分かりにくくならないように、本発明に関係する技術分野で周知の技術的事項に関しては、その詳細な説明を省略する。
図3Aは、画像特徴抽出システムの一実施例を示すブロック図である。図示した例では、画像特徴抽出システム380は、画像特徴抽出サーバ382を備え、画像特徴抽出サーバ382は、1つ以上のメモリに接続される1つ以上のプロセッサを有する1つ以上のデバイスを備えるものでもよい。画像特徴抽出サーバ382は、さらに、ユーザー入力、たとえば、インターネットや他の通信ネットワークであるネットワーク388を介してクライアントデバイス389等から送信されたユーザー入力、を受けるように構成される1つ以上のインターフェースを備える。通信インターフェースの例としては、これらに限定されるものではないが、ポート、ケーブル、有線、無線ネットワークインターフェースカード等の外部接続、及び、通信バス等の内部接続が挙げられる。クライアントデバイスは、コンピュータやネットワーク能力を有する携帯機器等の計算装置でもよい。画像特徴抽出サーバ382は、画像を格納する画像データベース384にアクセスする。
以下に詳細に説明するように、画像のユーザー入力を受けると、画像特徴抽出サーバ382は、画像を処理して、画像の具体的な特徴を抽出する。ある実施例では、サーチエンジン386は、画像特徴抽出サーバ382により抽出された画像の特徴に従って、画像データベース384のコンテンツを検索し、検索結果である画像を返送する。
図3Bは、画像特徴抽出処理の一実施例を示すフローチャートである。この処理は、たとえば、システム380で実行される。
ステップ310では、対象オブジェクトを含む画像が原画像から切り取られる。
一般的に、原画像には、対象オブジェクト以外にも背景が含まれる。多くの場合、背景は原画像の周縁部に位置し、オブジェクトは原画像の中心部に位置する。さらに、オブジェクト端部(エッジ部)の画素のグレースケール値と背景の画素のグレースケール値とは大きく異なる。したがって、オブジェクト端部のグレースケール値と背景のグレースケール値との差に基づいて、対象画像を含む画像を原画像から切り取ることができる。
オブジェクトの切り取りを容易にするために、複数の処理ステップで、原画像に含まれるオブジェクトの境界を検出するようにしてもよい。図3Cは、オブジェクトの左右境界を検出する処理の一実施例を示すフローチャートである。
ステップ311aでは、原画像のすべての画素に関して、各列のグレースケール値の合計が算出される。たとえば、10×10画素の画像において、各画素はグレースケール値を有する。各列に含まれる10個の画素すべてのグレースケール値の合計を算出して、この列のグレースケール値と規定する。列グレースケール値をアレイ状に格納するようにしてもよい。
ステップ312aでは、原画像において隣接する左右2列のグレースケール値間の左列から右列への差を算出して、差が閾値よりも大きい場合に、右列のx座標(xa)が記録される。たとえば、ステップ311aにおいてアレイ状に格納されたすべての列のグレースケール値が左から右に走査され、アレイ内の隣接値間の差が順次算出される。走査の結果、第2列と第3列との間のグレースケール値の差が、所定の閾値である30よりも大きな50である場合、第3列のx座標x3が記録される。これは、アレイ内の第3の要素のインデックスに対応する。このようにして、原画像におけるオブジェクトの位置を示す左側の境界が検出される。
あるいは、別の実施例において、走査の結果、閾値よりも差が大きければ、左列のx座標が記録されるようにしてもよい。たとえば、第2列と第3列との間のグレースケール値の差が、所定の閾値である30よりも大きな50である場合、第2列のx座標x2が記録されてもよい。これは、アレイ内の第2の要素のインデックスに対応する。いずれの実施例でも性能に差はない。
ステップ312aと同様に、ステップ313aでは、原画像において隣接する左右2列のグレースケール値間の右列から左列への差が算出され、差が閾値よりも大きい場合に、左列のx座標xbが記録される。このようにして、原画像におけるオブジェクトの位置を示す右側の境界が検出される。
ステップ312a及び313aにおいて用いられる閾値は経験に基づいて決められる値であってもよい。たとえば、オブジェクトの境界が背景と大きく異なり、グレースケール値の差が所定の値よりも大きい場合、当該所定の値が閾値として用いられてもよい。
図3Dは、オブジェクトの上下境界を検出する処理の一実施例を示すフローチャートである。
ステップ311bでは、原画像のすべての画素に関して、各行のグレースケール値の合計を算出される。ステップ312bでは、原画像において隣接する上下2行のグレースケール値間の上の行から下の行への差が算出され、差が閾値よりも大きい場合に、下の行のy座標(ya)が記録される。ステップ313bでは、原画像において隣接する上下2行のグレースケール値間の下の行から上の行への差が算出され、差が閾値よりも大きい場合に、上の行のy座標ybが記録される。
このように、一方の座標をya、他方の座標をybとして、原画像におけるオブジェクトの位置を示す上下の境界が検出される。
図3C及び図3Dに示す処理工程の結果、(xa,xb,ya,yb)の座標範囲の方形画像が、原画像から切り取りオブジェクト画像として切り取られる。
上述の実施例では、原画像から方形画像を切り取る処理例を説明した。これは単純で容易な例である。他の実施例では、より複雑な処理工程でオブジェクトを切り取るようにしてもよい。たとえば、2本の対角線方向のグレースケール値の差が算出されてもよい。これにより、2本の対角線方向のオブジェクトの境界が検出され得、結果として、原画像におけるオブジェクトを含む8角形の切り取り画像が検出され得る。方向をさらに追加することにより、同様に、オブジェクトを含む16角形、32角形又は64角形の切り取り画像が得られる。
原画像を水平方向に複数のサブ領域に分割するようにしてもよい。上述した方法と同様にして、各サブ領域のオブジェクトの左右の境界を検出することができる。また、原画像を鉛直方向に複数のサブ領域に分割するようにしてもよい。同様にして、各サブ領域のオブジェクトの上下の境界を検出することができる。このようにして、オブジェクトを含む多角形の切り取り画像が得られる。
図3Bに戻る。ステップ320では、方形の切り取り画像を内包し、かつ、最も周囲の長さが短い正方形が求められる。この正方形を、以下、「最小正方形」と呼ぶ。切り取り画像の境界の外側を含め最小正方形の内側の領域を単一色で塗りつぶして背景とする。単一色としては、RGB色のいずれの色であってもよい。処理が簡単で、切り取り画像に干渉することなく、次段の光度導関数算出が容易になるため、色(0,0,0)が単一色として用いられることが多い。
図4Aは、切り取り画像を塗りつぶす処理によって得られる最小正方形の一実施例を示すブロック図である。402が原画像から切り取られた切り取り画像を示し、404が最小正方形を示す。
切り取り画像を単一色で塗りつぶして最小正方形を得る処理は、オブジェクトを含む切り取り画像の所定サイズを有するサブ画像ブロックへの分割を容易にする目的で行なわれる。
図3Bに戻る。ステップ330では、最小正方形画像は、第1の所定サイズを有する正方形画像にサイズ変更され、サイズ変更後の画像は第2の所定サイズを有する非重複サブ画像ブロックに分割される。
たとえば、最小正方形画像は、64×64画素の画像又は128×128画素の画像にサイズ変更される。最小正方形は、切り取りオブジェクトの長さと幅の比を変えないように、第1の所定サイズの正方形にサイズ変更される。次に、サイズ変更後の正方形画像は、16×16画素、8×8画素又は32×32画素等の第2の所定サイズを有する非重複サブ画像ブロックに分割される。たとえば、第1の所定サイズが64×64画素であり、第2の所定サイズが16×16画素である。この場合、オブジェクトを含む画像は4×4のサブ画像ブロックに分割される。
この処理は、オブジェクトを含む正方形画像を正規化して、次段の画像処理工程を標準化及び単純化する目的で行なわれる。第1の所定サイズ及び第2の所定サイズはいずれも予め設定される。設定したサイズが妥当であれば、実質的な差は生じない。
サイズ変更後の画像を重複サブ画像ブロックに分割することも考えられる。ただし、このような分割は実行可能ではあるが、計算が複雑になり、画像の固有ベクトルの最終的な出力の次元数が増大する可能性がある。
図3Bに戻る。ステップ340では、サブ画像ブロックに関して、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数が算出される。これにより、サブ画像ブロックの固有ベクトルが得られる。
サブ画像ブロックの固有ベクトルは、サブ画像ブロックの特徴を表わし、上述した4つの方向の導関数の極値の数及びサブ画像ブロックの4つの境界上に存在する極値の総数により規定される。固有ベクトルを5要素ベクトル、すなわち、M(a,b,c,d,e)で示される5つのベクトル要素を持つベクトルとしてもよい。この例では、5要素ベクトルはM(0,0,0,0,0)に初期化される。
初期化後に、光度導関数が算出されてもよい。光度導関数は、「光度導関数」=画素間の「光度差/距離」で表わされる。光度値は、ヒトの目の視覚感度を表わす光度曲線を用いて、周知の方法で算出可能である。たとえば、式L=116/3×(0.212649×R/255+0.715169×G/255+0.072182×B/255)(ここで、R、G及びBは各色値を示す)を用いて光度を計算してもよい。通常、L=1は光度100%を、L=0は光度0%の暗黒を示し、0から1の範囲の浮動小数点値は1と255との間の整数に対応する。したがって、光度導関数は、画素間の光度変化を表わす。画像特徴抽出では、オブジェクトの端部すなわち境界の光度が画像の他の部分の光度と大きく異なることを前提として、画像に含まれるオブジェクトの端部すなわち境界が検出される。したがって、画像に含まれるオブジェクトの形状を数値で表わすことができる。
画像の特徴は光度導関数の極値で表わされ得る。具体的に説明すると、所定の方向に隣接する2つの画素すべてに関して、光度導関数の極値を計算する。この処理では、ある画素の光度導関数の正負記号が隣接画素と異なる場合、その画素が光度導関数の極値となる。物理的に言えば、極値が存在する点が、通常、オブジェクトと画像の他の部分との間の境界を形成する。あるいは、他の部分の形状特徴と異なるオブジェクトの一部の形状特徴を形成する。したがって、このような極値を用いて、オブジェクトの形状特徴を表わすことができる。
たとえば、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数が算出される。図4Bは、光度導関数算出に用いられるサブ画像ブロックの例を示すブロック図である。
最初に、水平方向の光度導関数が算出される。図4Bを参照すると、隣接画素(1,2)、(2,3)、(3,4)等の光度導関数が算出される。光度導関数は、単純に、隣接画素の光度値間の差であってもよい。光度導関数の極値が1つだけサブ画像ブロック内部に存在し位置する場合には、bが1つインクリメントされる。極値が複数存在する場合には、b値は極値の数に等しくなる。極値がサブ画像ブロックの境界上に位置する場合には、aが1つインクリメントされる。ここで、画素の光度導関数は、隣接する2つの列における画素の光度導関数を示す。
第2に、鉛直方向の光度導関数が算出される。図4Bを参照すると、隣接画素(1,7)、(7,13)、(13,19)等の光度導関数が算出される。光度導関数の極値が1つだけサブ画像ブロック内部に存在し、位置する場合には、cが1つインクリメントされる。極値が複数存在する場合には、c値は極値の数に等しくなる。極値がサブ画像ブロックの境界上に位置する場合には、aが1つインクリメントされる。ここで、画素の光度導関数は、隣接する2つの列における画素の光度導関数を示す。
第3に、+45°の方向の光度導関数が算出される。図4Bを参照すると、隣接画素(2,7)、(3,8)、(4,9)等の光度導関数が算出される。光度導関数の極値が1つだけサブ画像ブロック内部に存在し、位置する場合には、dが1つインクリメントされる。極値が複数存在する場合には、d値は極値の数に等しくなる。極値がサブ画像ブロックの境界上に位置する場合には、aが1つインクリメントされる。ここで、画素の光度導関数は、+45°の方向の画素の光度導関数を示す。
最後に、−45°の方向の光度導関数が算出される。図4Bを参照すると、隣接画素(1,8)、(2,9)、(3,10)等の光度導関数が算出される。光度導関数の極値が1つだけサブ画像ブロック内部に存在し、位置する場合には、値1がeに加算される。極値が複数存在する場合には、e値は極値の数に等しくなる。極値がサブ画像ブロックの境界上に位置する場合には、値1がaに加算される。ここで、画素の光度導関数は、−45°の方向の画素の光度導関数を示す。
上述の計算によって得られたサブ画像ブロックに対応する5要素ベクトルにおいて、aは、サイズ変更後の画像におけるオブジェクトの境界がサブ画像ブロックの境界上に位置する回数を示す。bは、水平方向に画像特徴を有するサブ画像ブロックにおけるオブジェクトの端部の数を示す。cは、鉛直方向に画像特徴を有するサブ画像ブロックにおけるオブジェクトの端部の数を示す。dは、+45°の方向に画像特徴を有するサブ画像ブロックにおけるオブジェクトの端部の数を示す。eは、−45°の方向に画像特徴を有するサブ画像ブロックにおけるオブジェクトの端部の数を示す。
サブ画像ブロックの形状特徴を示す5要素ベクトルにおけるa、b、c、d及びe値を別の方法で算出するようにしてもよい。
図3Bのステップ340で、各サブ画像ブロックの5要素ベクトルを取得する。このベクトルが、各サブ画像ブロックの形状特徴を示す。図3Bのステップ350では、すべてのサブ画像ブロックの固有5要素ベクトルから原画像の特性ベクトルが作成される。
たとえば、ステップ320の後、64×64画素サイズの画像は、16×16画素サイズを有する4×4個の非重複ブロックに分割される。5要素ベクトルにより各サブ画素ブロックの形状特徴が表わされる。したがって、4×4個のサブ画像ブロックに関して、16個の5要素ベクトルが準備され、原画像の形状特徴を表わす80個の要素を持つ画像固有ベクトルが形成される。
さらに、処理方法が、正規化工程を備えるようにしてもよい。たとえば、原画像から切り取られた切り取り画像の長さと幅とが比較される。長さが幅よりも大きい場合には、画像は時計回りに90°回転させられる。この回転は、すべての画像を同じ方向に配列することを目的とする。たとえば、画像内でペン形状は鉛直方向または水平方向に配置され得るが、異なる画像のペン形状をすべて同じ方向に配列すれば各画像のペン形状の比較が容易になる。
他の実施例として、画像を反時計回りに回転させるようにしてもよい。
別の実施例においては、切り取り画像又は最小正方形画像の上半分のグレースケール値の合計と、切り取り画像又は最小正方形画像の下半分のグレースケール値の合計とが比較される。上半分のグレースケール値の合計が下半分のグレースケール値の合計よりも大きい場合には、切り取り画像又は最小正方形画像が反転される。
上述した回転処理の場合と同様に、反転処理も画像に含まれるオブジェクトの方向を正規化する目的で行なわれる。たとえば、ある画像に逆さまのリンゴが表示されているが、リンゴを含むほとんどの画像では、リンゴは真っすぐ立った状態で表示されているとする。この場合、ある画像を他の画像と比較するためには、逆さまのリンゴを示す画像を反転させる必要がある。上部が大きくて底部が小さなオブジェクトの場合、画像の上半分のグレースケール値の合計は画像の下半分のグレースケール値の合計よりも大きくなる。反対に、上部が小さくて底部が大きなオブジェクトの場合、画像の下半分のグレースケール値の合計は画像の上半分のグレースケール値の合計よりも大きくなる。この実施例では、計算に整数のみが関与して、浮動小数点計算は行なわれないため、同一のハードウェア構成を用いても、処理速度を大幅に改善することができる。
現実には、毎日100万枚の画像製品を更新するサーチエンジンの場合、平均して、1秒間に12枚の画像を処理する必要がある。すなわち、オーバーヘッドを考慮しない場合に、各画像の処理を100ミリ秒以内に完了する必要がある。製品の更新に毎日4時間のスケジュールが当てられていると仮定し、また、ディスクとネットワークアクセスのオーバーヘッドを考慮すると、1秒間に50枚の画像が処理される必要がある。すなわち、各画像の処理は20ミリ秒以内に完了されなければならない。従来のハフ変換を適用する場合、標準的なクアドコアサーバを用いると、200×200画素の画像に含まれる直線を特定するだけで、約20ミリ秒が必要となる。したがって、円形は言うまでもなく、直線のハフ変換を行なうだけでも、時間が足りない。
これに対して、画像をブロックに分割する手法を用いる本発明の種々の実施形態では、浮動小数点計算を行なわないため、処理速度が改善され得る。また、既存のマルチコアプロセッサは、分割された画像の並列処理に適している。200×200画素の画像を仮定した場合、本発明の種々の実施形態において、10ミリ秒以内にすべての処理が完了され得る。
複数の画像を処理し、対応する固有ベクトル、画像、及び、画像に対応する製品に関する情報等、その他関連情報をデータベースに格納するシステムが用いられても良い。所定の画像がデータベースに格納された画像のいずれかと同一又は類似であるか否かを判断する要求を受け取ると、対象となる画像の固有ベクトルがデータベース内で検索される。一致する画像が見つかった場合には、一致する固有ベクトルを有するデータベース内の画像(又は画像の識別子)が返送される。
図5は、画像特徴抽出システムの一実施例を示すブロック図である。図示するように、システムは、以下の構成要素を備える。
原画像からオブジェクトを含む画像を切り取るように構成される切り取り部51。
塗りつぶし後の画像が最小正方形になるように、切り取り画像の境界を単一色で塗りつぶして背景とするように構成される塗りつぶし部52。
サイズ変更部531と分割部532とを備える正規化部53。サイズ変更部531は、最小正方形画像を第1の所定サイズを有する正方形画像にサイズ変更するように構成され、分割部532は、サイズ変更後の画像を第2の所定サイズを有する非重複サブ画像ブロックに分割するように構成される。水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数を算出し、4つの方向における光度導関数の極値の数とサブ画像ブロックの4つの境界上における極値の総数とによりサブ画像ブロックの固有ベクトルを規定するように構成される光度導関数算出・計数部54。すべてのサブ画像ブロックの固有ベクトルから原画像の固有ベクトルを作成するように構成される作成部55。
画像特徴抽出システムの一実施例において、正規化部53は、さらに、図6に示すように、切り取り画像の長さと幅とを比較して、長さが幅よりも大きい場合に画像を90°回転するように構成される回転部533を備えてもよい。
画像特徴抽出システムの別の実施例において、正規化部53は、さらに、図7に示すように、切り取り画像の上半分のグレースケール値の合計と切り取り画像の下半分のグレースケール値の合計とを比較して、上半分のグレースケール値の合計が下半分のグレースケール値の合計よりも大きい場合に、塗りつぶし後の切り取り画像を反転するように構成される反転部534を備えてもよい。
図8に示す別の実施例において、正規化部53は、回転部533と反転部534の両方を同時に備えてもよい。
実施例で説明したように、切り取り部51は、原画像からオブジェクトを含む画像を切り取る。より具体的には、オブジェクトの端部と背景との間のグレースケール値の有意の差に基づき、原画像からオブジェクトを含む画像を切り取るようにしてもよい。切り取り処理は、さらに以下の処理を備えても良い。
原画像のすべての画素に関して、各列のグレースケール値の合計を算出すること。原画像において隣接する左右2列のグレースケール値間の左列から右列への差を算出して、差が閾値よりも大きい場合に、右列のx座標xaを記録すること。原画像において隣接する左右2列のグレースケール値間の右列から左列への差を算出して、差が閾値よりも大きい場合に、左列のx座標xbを記録すること。
原画像のすべての画素に関して、各行のグレースケール値の合計を算出すること。原画像において隣接する上下2行のグレースケール値間の上の行から下の行への差を算出して、差が閾値よりも大きい場合に、隣接する2つの行のうち下の行のy座標yaを記録すること。原画像において隣接する上下2行のグレースケール値間の下の行から上の行への差を算出して、差が閾値よりも大きい場合に、隣接する2つの行のうち上の行のy座標ybを記録すること。
原画像から切り取られるオブジェクトを含む画像として(xa,xb,ya,yb)の座標範囲の画像を規定すること。
上述の実施例からわかるように、装置又はシステムが、1つ以上のメモリと、ユーザー入力を受け取るように構成されるインターフェースと、インターフェースに接続される1つ以上のプロセッサと、を備えるようにしてもよい。1つ以上のプロセッサは、原画像からオブジェクトを含む画像を切り取り、最小正方形が得られるように切り取り画像の境界を単一色で塗りつぶして背景とし、最小正方形画像を所定サイズを有する正方形画像にサイズ変更し、サイズ変更後の画像を第2の所定サイズを有する非重複サブ画像ブロックに分割し、水平方向、鉛直方向、+45°、−45°の方向の2つの隣接画素の光度導関数を算出し、4つの方向の導関数の極値の数と各サブ画像ブロックの4つの境界上における極値の総数とにより各サブ画像ブロックの固有ベクトルを規定し、すべてのサブ画像ブロックの固有ベクトルから原画像の固有ベクトルを作成するように構成される。このようにして、画像の形状特徴を、上述の装置/システム構成を用いて抽出することができる。本実施例の処理は計算に整数しか関与せず、浮動小数点計算が必要ではないため、従来技術と比較して、同じハードウェア構成を用いた場合の画像処理速度を大幅に改善することができる。
本発明の好適な実施例を説明したが、基本的な理解に基づき、当業者には自明のように様々な変更や変形が可能である。したがって、好適な実施例及びその変形例や変更例は、すべて、特許請求の範囲に包含されるものである。
画像特徴抽出システムの構成要素を、様々な機能部として説明してきた。上述の機能部は、所定の機能又はその組み合わせを実行するように設計されたプログラム可能論理回路及び/又は特定用途向け集積回路等、ハードウェアとしての1つ以上の汎用プロセッサ上で実行されるソフトウェア・コンポーネントとし、実現することができる。(パーソナルコンピュータ、サーバ、ネットワーク装置等の)コンピュータ装置に本発明の各実施例で説明した処理方法を実行させるような数多くの命令を含み、(光ディスク、フラッシュメモリ装置、可搬ハードディスク等の)不揮発性記憶媒体に記憶可能なソフトウェア製品の形態で、各機能部を実施するようにしてもよい。各機能部を一つの装置上で実現するようにしてもよいし、複数の装置上に分散するようにしてもよい。機能部の各機能を統合するようにしてもよいし、さらに、複数のサブユニットに分けるようにしてもよい。
実施例の説明から、当業者であれば、本発明をソフトウェア及び少なくともハードウェア・プラットフォームで実現可能であることが理解されるであろう。したがって、本発明を、コンピュータが利用可能なプログラムコードを含み、1つ以上のコンピュータが利用可能な記憶媒体(限定されるものではないが、たとえば、磁気ディスク記憶装置、CD−ROM及び光学記憶装置)上で実現されるコンピュータプログラム製品の形態とすることもできる。
本発明の画像特徴抽出方法は、パーソナルコンピュータ、サーバ、携帯電話、その他の携帯機器、タブレット、マルチサーバシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電気機器、ネットワークPC、小型コンピュータ、スーパーコンピュータ及び上述のシステムや装置のいずれかを用いる分散コンピューティング環境等、様々な汎用コンピュータシステム又は構成や専用コンピュータシステム又は構成に適用可能である。
本発明の実施例を、プログラムモジュール等、コンピュータにより実行されるコンピュータ実施可能な命令に照らして説明することもできる。プログラムモジュールは、通常、所定の機能を実行する、又は、所定の抽象データ型を実現するルーチン、プログラム、オブジェクト、コンポーネント又はデータ構造を含む。さらに、本発明を、通信ネットワークを介して接続される遠隔処理装置を用いて画像特徴抽出機能を実行する分散コンピューティング環境で実現することも可能である。分散コンピューティング環境において、ローカル記憶装置を含むローカル及び遠隔コンピュータ記憶媒体にプログラムモジュールが配置されるものでもよい。
以上、本発明の理解を助ける目的で、本発明のいくつかの実施例を詳細に説明したが、本発明は何らこれらの実施例に限定されるものではない。本発明は、多くの他の形態で実現可能であり、上述の実施例は例示に過ぎず、何ら発明を限定するものではない。
適用例1:画像特徴抽出を実行する方法であって、オブジェクトを含む切り取り画像を原画像から抽出し、前記切り取り画像の境界を単一色で塗りつぶして背景として、最小正方形画像を生成し、前記最小正方形画像のサイズを変更して、第1の所定サイズを有するサイズ変更後の正方形画像を生成し、前記サイズ変更後の正方形画像を、第2の所定サイズを有するサブ画像ブロックに分割し、各前記サブ画像ブロックに関して、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数を算出し、各前記サブ画像ブロックに関して、5要素の固有ベクトルを取得し、すべての前記サブ画像ブロックの前記5要素の固有ベクトルを用いて、前記原画像の画像固有ベクトルを形成することとを備える方法。
適用例2:適用例1に記載の方法はさらに、前記原画像の前記画像固有ベクトルを、複数の保存画像に対応する複数の保存固有ベクトルと比較して、一致する保存画像を特定すること、を備える方法。
適用例3:適用例1に記載の方法であって、前記切り取り画像の抽出は、前記オブジェクトの境界と前記原画像の背景との間のグレースケール値の差に基づいて行なわれる、方法。
適用例4:適用例3に記載の方法であって、前記切り取り画像の抽出はさらに、前記原画像の各列における複数の画素のグレースケール値の合計を、前記各列のグレースケール値として算出し、前記合計を前記各列のグレースケール値として記録し、前記原画像において隣接する左右2列のグレースケール値間の左列から右列への差を算出し、差が閾値よりも大きい場合に、前記右列のx座標x a を記録し、前記原画像において隣接する左右2列のグレースケール値間の右列から左列への差を算出し、差が閾値よりも大きい場合に、前記左列のx座標x b を記録し、前記原画像の各行における複数の画素のグレースケール値の合計を、前記各行のグレースケール値として算出し、前記合計を前記各行のグレースケール値として記録し、前記原画像において隣接する上下2行のグレースケール値間の上の行から下の行への差を算出し、差が閾値よりも大きい場合に、前記隣接する2つの行のうち下の行のy座標y a を記録し、前記原画像において隣接する上下2行のグレースケール値間の下の行から上の行への差を算出し、差が閾値よりも大きい場合に、前記隣接する2つの行のうち上の行のy座標y b を記録し、前記原画像から前記オブジェクトを含む(x a ,x b ,y a ,y b )の座標範囲の切り取り方形画像を取得すること、を備える、方法。
適用例5:適用例1に記載の方法であって、前記切り取り画像の境界の塗りつぶしはさらに、RGB値(0,0,0)を有する色で前記切り取り画像を塗りつぶして前記背景とすることを備える、方法。
適用例6:適用例1に記載の方法であって、前記サイズ変更後の画像の分割は、さらに、前記サイズ変更後の画像を、第2の所定サイズを有する非重複サブ画像ブロックに分割することを備える、方法。
適用例7:適用例1に記載の方法はさらに、前記切り取り画像の長さと幅とを比較し、前記長さが前記幅よりも大きい場合に、前記切り取り画像を時計回りに90°回転させること、を備える方法。
適用例8:適用例1に記載の方法はさらに、前記切り取り画像の上半分のグレースケール値の合計と前記切り取り画像の下半分のグレースケール値の合計とを比較し、前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像を反転させること、を備える方法。
適用例9:適用例1に記載の方法はさらに、前記最小正方形画像の上半分のグレースケール値の合計と前記最小正方形画像の下半分のグレースケール値の合計とを比較し、前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像又は前記最小正方形画像を反転させること、を備える方法。
適用例10:画像特徴抽出システムであって、1つ以上のプロセッサであって、オブジェクトを含む切り取り画像を原画像から抽出する処理と、前記切り取り画像の境界を単一色で塗りつぶして背景として、最小正方形画像を生成する処理と、前記最小正方形画像のサイズを変更して、第1の所定サイズを有するサイズ変更後の正方形画像を生成する処理と、前記サイズ変更後の正方形画像を、第2の所定サイズを有するサブ画像ブロックに分割する処理と、各前記サブ画像ブロックに関して、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数を算出する処理と、各前記サブ画像ブロックに関して、5要素の固有ベクトルを取得する処理と、すべての前記サブ画像ブロックの前記5要素の固有ベクトルを用いて、前記原画像の画像固有ベクトルを形成する処理と、を実行するように構成される1つ以上のプロセッサと、前記1つ以上のプロセッサに接続される1つ以上のメモリであって、前記プロセッサに命令を与えるように構成される1つ以上のメモリと、を備えるシステム。
適用例11:適用例10記載のシステムであって、前記1つ以上のプロセッサは、さらに、前記原画像の前記画像固有ベクトルを、複数の保存画像に対応する複数の保存固有ベクトルと比較して、一致する保存画像を特定する処理を実行するように構成されている、システム。
適用例12:適用例10記載のシステムであって、前記切り取り画像の抽出処理は、前記オブジェクトの境界と前記原画像の背景との間のグレースケール値の差に基づいて行なわれる、システム。
適用例13:適用例12記載のシステムであって、前記切り取り画像の抽出処理はさらに、前記原画像の各列における複数の画素のグレースケール値の合計を、前記各列のグレースケール値として算出する処理と、前記合計を前記各列のグレースケール値として記録する処理と、前記原画像において隣接する左右2列のグレースケール値間の左列から右列への差を算出する処理と、差が閾値よりも大きい場合に、前記右列のx座標x a を記録する処理と、前記原画像において隣接する左右2列のグレースケール値間の右列から左列への差を算出する処理と、差が閾値よりも大きい場合に、前記左列のx座標x b を記録する処理と、前記原画像の各行における複数の画素のグレースケール値の合計を、前記各行のグレースケール値として算出する処理と、前記合計を前記各行のグレースケール値として記録する処理と、前記原画像において隣接する上下2行のグレースケール値間の上の行から下の行への差を算出する処理と、差が閾値よりも大きい場合に、前記隣接する2つの行のうち下の行のy座標y a を記録する処理と、前記原画像において隣接する上下2行のグレースケール値間の下の行から上の行への差を算出し、差が閾値よりも大きい場合に、前記隣接する2つの行のうち上の行のy座標y b を記録する処理と、前記原画像から前記オブジェクトを含む(x a ,x b ,y a ,y b )の座標範囲の切り取り方形画像を取得する処理と、を備える、システム。
適用例14:適用例10に記載のシステムであって、前記切り取り画像の境界の塗りつぶし処理はさらに、RGB値(0,0,0)を有する色で前記切り取り画像を塗りつぶして前記背景とすることを備える、システム。
適用例15:適用例10に記載のシステムであって、前記サイズ変更後の画像を分割する処理はさらに、前記サイズ変更後の画像を、第2の所定サイズを有する非重複サブ画像ブロックに分割することを備える、システム。
適用例16:適用例10記載のシステムであって、前記1つ以上のプロセッサはさらに、前記切り取り画像の長さと幅とを比較する処理と、前記長さが前記幅よりも大きい場合に、前記切り取り画像を時計回りに90°回転させる処理と、を実行するように構成される、システム。
適用例17:適用例10記載のシステムであって、前記1つ以上のプロセッサはさらに、前記切り取り画像の上半分のグレースケール値の合計と前記切り取り画像の下半分のグレースケール値の合計とを比較する処理と、前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像を反転させる処理と、を実行するように構成される、システム。
適用例18:適用例10記載のシステムであって、前記1つ以上のプロセッサはさらに、前記最小正方形画像の上半分のグレースケール値の合計と前記最小正方形画像の下半分のグレースケール値の合計とを比較する処理と、前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像又は前記最小正方形画像を反転させる処理と、を実行するように構成される、システム。
適用例19:画像特徴抽出を実行するためのコンピュータプログラム製品であって、コンピュータ読み取り可能な記憶媒体に具現化され、オブジェクトを含む切り取り画像を原画像から抽出するコンピュータ命令と、前記切り取り画像の境界を単一色で塗りつぶして背景として、最小正方形画像を生成するコンピュータ命令と、前記最小正方形画像のサイズを変更して、第1の所定サイズを有するサイズ変更後の正方形画像を生成するコンピュータ命令と、前記サイズ変更後の正方形画像を、第2の所定サイズを有するサブ画像ブロックに分割するコンピュータ命令と、各前記サブ画像ブロックに関して、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数を算出するコンピュータ命令と、各前記サブ画像ブロックに関して、5要素の固有ベクトルを取得するコンピュータ命令と、すべての前記サブ画像ブロックの前記5要素の固有ベクトルを用いて、前記原画像の画像固有ベクトルを形成するコンピュータ命令と、を備えるコンピュータプログラム製品。


Claims (19)

  1. 画像特徴抽出を実行する方法であって、
    オブジェクトを含む切り取り画像を原画像から抽出し、
    前記切り取り画像の境界を単一色で塗りつぶして背景として、最小正方形画像を生成し、
    前記最小正方形画像のサイズを変更して、第1の所定サイズを有するサイズ変更後の正方形画像を生成し、
    前記サイズ変更後の正方形画像を、第2の所定サイズを有するサブ画像ブロックに分割し、
    各前記サブ画像ブロックに関して、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数を算出し、
    各前記サブ画像ブロックに関して、5要素の固有ベクトルを取得し、
    すべての前記サブ画像ブロックの前記5要素の固有ベクトルを用いて、前記原画像の画像固有ベクトルを形成すること
    とを備え
    前記5要素ベクトルは、前記水平方向の光度導関数の極値の数、前記鉛直方向の光度導関数の極値の数、前記+45°の方向の光度導関数の極値の数、前記−45°の方向の光度導関数の極値の数、および前記サブ画像ブロックの4つ境界上に存在する極値の総数により規定される、
    方法。
  2. 請求項1に記載の方法はさらに、前記原画像の前記画像固有ベクトルを、複数の保存画像に対応する複数の保存固有ベクトルと比較して、一致する保存画像を特定すること、を備える方法。
  3. 請求項1に記載の方法であって、
    前記切り取り画像の抽出は、前記オブジェクトの境界と前記原画像の背景との間のグレースケール値の差に基づいて行なわれる、方法。
  4. 請求項3に記載の方法であって、
    前記切り取り画像の抽出はさらに、
    前記原画像の各列における複数の画素のグレースケール値の合計を、前記各列のグレースケール値として算出し、
    前記合計を前記各列のグレースケール値として記録し、
    前記原画像において隣接する左右2列のグレースケール値間の左列から右列への差を算出し、
    差が閾値よりも大きい場合に、前記右列のx座標xaを記録し、
    前記原画像において隣接する左右2列のグレースケール値間の右列から左列への差を算出し、
    差が閾値よりも大きい場合に、前記左列のx座標xbを記録し、
    前記原画像の各行における複数の画素のグレースケール値の合計を、前記各行のグレースケール値として算出し、
    前記合計を前記各行のグレースケール値として記録し、
    前記原画像において隣接する上下2行のグレースケール値間の上の行から下の行への差を算出し、
    差が閾値よりも大きい場合に、前記隣接する2つの行のうち下の行のy座標yaを記録し、
    前記原画像において隣接する上下2行のグレースケール値間の下の行から上の行への差を算出し、差が閾値よりも大きい場合に、前記隣接する2つの行のうち上の行のy座標ybを記録し、
    前記原画像から前記オブジェクトを含む(xa,xb,ya,yb)の座標範囲の切り取り方形画像を取得すること、を備える、方法。
  5. 請求項1に記載の方法であって、
    前記切り取り画像の境界の塗りつぶしはさらに、
    RGB値(0,0,0)を有する色で前記切り取り画像を塗りつぶして前記背景とすることを備える、方法。
  6. 請求項1に記載の方法であって、
    前記サイズ変更後の画像の分割は、さらに、
    前記サイズ変更後の画像を、第2の所定サイズを有する非重複サブ画像ブロックに分割することを備える、方法。
  7. 請求項1に記載の方法はさらに、前記切り取り画像の長さと幅とを比較し、
    前記長さが前記幅よりも大きい場合に、前記切り取り画像を時計回りに90°回転させること、を備える方法。
  8. 請求項1に記載の方法はさらに、前記切り取り画像の上半分のグレースケール値の合計と前記切り取り画像の下半分のグレースケール値の合計とを比較し、
    前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像を反転させること、を備える方法。
  9. 請求項1に記載の方法はさらに、前記最小正方形画像の上半分のグレースケール値の合計と前記最小正方形画像の下半分のグレースケール値の合計とを比較し、
    前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像又は前記最小正方形画像を反転させること、を備える方法。
  10. 画像特徴抽出システムであって、
    1つ以上のプロセッサであって、
    オブジェクトを含む切り取り画像を原画像から抽出する処理と、
    前記切り取り画像の境界を単一色で塗りつぶして背景として、最小正方形画像を生成する処理と、
    前記最小正方形画像のサイズを変更して、第1の所定サイズを有するサイズ変更後の正方形画像を生成する処理と、
    前記サイズ変更後の正方形画像を、第2の所定サイズを有するサブ画像ブロックに分割する処理と、
    各前記サブ画像ブロックに関して、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数を算出する処理と、
    各前記サブ画像ブロックに関して、5要素の固有ベクトルを取得する処理と、
    すべての前記サブ画像ブロックの前記5要素の固有ベクトルを用いて、前記原画像の画像固有ベクトルを形成する処理と、を実行するように構成される1つ以上のプロセッサと、
    前記1つ以上のプロセッサに接続される1つ以上のメモリであって、前記プロセッサに命令を与えるように構成される1つ以上のメモリと、を備え
    前記5要素ベクトルは、前記水平方向の光度導関数の極値の数、前記鉛直方向の光度導関数の極値の数、前記+45°の方向の光度導関数の極値の数、前記−45°の方向の光度導関数の極値の数、および前記サブ画像ブロックの4つ境界上に存在する極値の総数により規定される、システム。
  11. 請求項10記載のシステムであって、
    前記1つ以上のプロセッサは、さらに、前記原画像の前記画像固有ベクトルを、複数の保存画像に対応する複数の保存固有ベクトルと比較して、一致する保存画像を特定する処理を実行するように構成されている、システム。
  12. 請求項10記載のシステムであって、
    前記切り取り画像の抽出処理は、前記オブジェクトの境界と前記原画像の背景との間のグレースケール値の差に基づいて行なわれる、システム。
  13. 請求項12記載のシステムであって、
    前記切り取り画像の抽出処理はさらに、
    前記原画像の各列における複数の画素のグレースケール値の合計を、前記各列のグレースケール値として算出する処理と、
    前記合計を前記各列のグレースケール値として記録する処理と、
    前記原画像において隣接する左右2列のグレースケール値間の左列から右列への差を算出する処理と、
    差が閾値よりも大きい場合に、前記右列のx座標xaを記録する処理と、
    前記原画像において隣接する左右2列のグレースケール値間の右列から左列への差を算出する処理と、
    差が閾値よりも大きい場合に、前記左列のx座標xbを記録する処理と、
    前記原画像の各行における複数の画素のグレースケール値の合計を、前記各行のグレースケール値として算出する処理と、
    前記合計を前記各行のグレースケール値として記録する処理と、
    前記原画像において隣接する上下2行のグレースケール値間の上の行から下の行への差を算出する処理と、
    差が閾値よりも大きい場合に、前記隣接する2つの行のうち下の行のy座標yaを記録する処理と、
    前記原画像において隣接する上下2行のグレースケール値間の下の行から上の行への差を算出し、差が閾値よりも大きい場合に、前記隣接する2つの行のうち上の行のy座標ybを記録する処理と、
    前記原画像から前記オブジェクトを含む(xa,xb,ya,yb)の座標範囲の切り取り方形画像を取得する処理と、を備える、システム。
  14. 請求項10に記載のシステムであって、
    前記切り取り画像の境界の塗りつぶし処理はさらに、
    RGB値(0,0,0)を有する色で前記切り取り画像を塗りつぶして前記背景とすることを備える、システム。
  15. 請求項10に記載のシステムであって、
    前記サイズ変更後の画像を分割する処理はさらに、
    前記サイズ変更後の画像を、第2の所定サイズを有する非重複サブ画像ブロックに分割することを備える、システム。
  16. 請求項10記載のシステムであって、
    前記1つ以上のプロセッサはさらに、
    前記切り取り画像の長さと幅とを比較する処理と、
    前記長さが前記幅よりも大きい場合に、前記切り取り画像を時計回りに90°回転させる処理と、を実行するように構成される、システム。
  17. 請求項10記載のシステムであって、
    前記1つ以上のプロセッサはさらに、
    前記切り取り画像の上半分のグレースケール値の合計と前記切り取り画像の下半分のグレースケール値の合計とを比較する処理と、
    前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像を反転させる処理と、を実行するように構成される、システム。
  18. 請求項10記載のシステムであって、
    前記1つ以上のプロセッサはさらに、
    前記最小正方形画像の上半分のグレースケール値の合計と前記最小正方形画像の下半分のグレースケール値の合計とを比較する処理と、
    前記上半分のグレースケール値の合計が前記下半分のグレースケール値の合計よりも大きければ、前記切り取り画像又は前記最小正方形画像を反転させる処理と、を実行するように構成される、システム。
  19. 画像特徴抽出を実行するためのコンピュータプログラムであって、
    オブジェクトを含む切り取り画像を原画像から抽出するための機能と、
    前記切り取り画像の境界を単一色で塗りつぶして背景として、最小正方形画像を生成するための機能と、
    前記最小正方形画像のサイズを変更して、第1の所定サイズを有するサイズ変更後の正方形画像を生成するための機能と、
    前記サイズ変更後の正方形画像を、第2の所定サイズを有するサブ画像ブロックに分割するための機能と、
    各前記サブ画像ブロックに関して、水平方向、鉛直方向、+45°、−45°の方向の隣接画素の光度導関数を算出するための機能と、
    各前記サブ画像ブロックに関して、5要素の固有ベクトルを取得するための機能と、
    すべての前記サブ画像ブロックの前記5要素の固有ベクトルを用いて、前記原画像の画像固有ベクトルを形成するための機能と、
    をコンピュータによって実現させ
    前記5要素ベクトルは、前記水平方向の光度導関数の極値の数、前記鉛直方向の光度導関数の極値の数、前記+45°の方向の光度導関数の極値の数、前記−45°の方向の光度導関数の極値の数、および前記サブ画像ブロックの4つ境界上に存在する極値の総数により規定される、コンピュータプログラム。
JP2011550127A 2009-02-13 2010-02-10 画像特徴抽出方法及びシステム Expired - Fee Related JP5538435B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2009100072189A CN101477692B (zh) 2009-02-13 2009-02-13 图像特征提取方法及装置
CN200910007218.9 2009-02-13
US12/658,471 2010-02-09
US12/658,471 US8515178B2 (en) 2009-02-13 2010-02-09 Method and system for image feature extraction
PCT/US2010/000383 WO2010093447A1 (en) 2009-02-13 2010-02-10 Method and system for image feature extraction

Publications (3)

Publication Number Publication Date
JP2012518223A JP2012518223A (ja) 2012-08-09
JP2012518223A5 JP2012518223A5 (ja) 2013-03-14
JP5538435B2 true JP5538435B2 (ja) 2014-07-02

Family

ID=40838400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011550127A Expired - Fee Related JP5538435B2 (ja) 2009-02-13 2010-02-10 画像特徴抽出方法及びシステム

Country Status (6)

Country Link
US (2) US8515178B2 (ja)
EP (1) EP2396750B1 (ja)
JP (1) JP5538435B2 (ja)
CN (1) CN101477692B (ja)
HK (1) HK1132826A1 (ja)
WO (1) WO2010093447A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011079412A1 (zh) * 2009-12-29 2011-07-07 中国科学院自动化研究所 快速多算子的图像缩放方法
KR101767269B1 (ko) * 2011-04-25 2017-08-10 한국전자통신연구원 영상 검색 장치 및 방법
US9501838B1 (en) 2015-08-24 2016-11-22 The Boeing Company Systems and methods for determining boundaries of features in digital images
CN106485186B (zh) * 2015-08-26 2020-02-18 阿里巴巴集团控股有限公司 图像特征提取方法、装置、终端设备及系统
CN105447876B (zh) * 2015-12-10 2017-02-15 北京中科紫鑫科技有限责任公司 一种dna测序的图像的磁珠提取方法及装置
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
CN107944618B (zh) * 2017-11-20 2020-03-20 阿里巴巴集团控股有限公司 共享车辆的布点规划方法、装置以及电子设备
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
EP3864573A1 (en) 2018-10-11 2021-08-18 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN109816675A (zh) 2018-12-28 2019-05-28 歌尔股份有限公司 物体的检测方法、检测装置及存储介质
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN110853120B (zh) * 2019-10-09 2023-05-19 上海交通大学 基于分割绘图法的网络布局方法、系统及介质
CN110751689A (zh) * 2019-10-24 2020-02-04 南京农业大学 一种基于图像处理的梨果实横纵径测量方法
CN110579174A (zh) * 2019-10-24 2019-12-17 南京农业大学 一种基于机器视觉的梨果柄长度的测量方法
CN111476799A (zh) * 2020-03-23 2020-07-31 福建星网物联信息系统有限公司 一种图像分析方法及存储介质
CN111651674B (zh) * 2020-06-03 2023-08-25 北京妙医佳健康科技集团有限公司 双向搜索方法、装置及电子设备
CN112017174B (zh) * 2020-09-03 2024-05-31 湖南省华芯医疗器械有限公司 图像处理方法、装置、电子设备及存储介质
US20240087285A1 (en) * 2021-03-10 2024-03-14 Detectsystem Lab A/S Quantitative Image Analysis
CN112686340B (zh) * 2021-03-12 2021-07-13 成都点泽智能科技有限公司 一种基于深度神经网络的密集小目标检测方法
CN113554615B (zh) * 2021-07-21 2023-08-22 网易(杭州)网络有限公司 一种图像精细化处理方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0334880A (ja) * 1989-06-30 1991-02-14 Intaadetsuku:Kk 印刷文字の検査方法及びその装置
JPH05210736A (ja) * 1992-01-31 1993-08-20 Olympus Optical Co Ltd 画像輪郭抽出方法
US20030009670A1 (en) * 2001-04-02 2003-01-09 Digimarc Corporation Background watermark processing
US5973692A (en) * 1997-03-10 1999-10-26 Knowlton; Kenneth Charles System for the capture and indexing of graphical representations of files, information sources and the like
JP4153108B2 (ja) * 1998-10-29 2008-09-17 富士フイルム株式会社 画像処理方法、画像処理装置及び記録媒体
JP2001319232A (ja) * 2000-05-11 2001-11-16 Fuji Xerox Co Ltd 類似画像検索装置および類似画像検索方法
JP3692500B2 (ja) 2000-09-12 2005-09-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理方法、画像処理システムおよび記録媒体
JP3586734B2 (ja) * 2001-10-01 2004-11-10 学校法人高知工科大学 液晶流動形成機構、液晶流動形成方法および液晶流動を用いた物体移動機構
JP2003122758A (ja) * 2001-10-11 2003-04-25 Canon Inc 画像検索方法及び装置
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
US7532753B2 (en) * 2003-09-29 2009-05-12 Lipsky Scott E Method and system for specifying color of a fill area
US20060067592A1 (en) * 2004-05-27 2006-03-30 Walmsley Simon R Configurable image processor
JP2006293949A (ja) 2005-03-17 2006-10-26 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
CN101371273A (zh) * 2005-12-30 2009-02-18 意大利电信股份公司 视频序列的分割
US7907791B2 (en) * 2006-11-27 2011-03-15 Tessera International, Inc. Processing of mosaic images
JP4912206B2 (ja) * 2007-04-18 2012-04-11 富士通株式会社 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
KR101023207B1 (ko) * 2007-09-05 2011-03-18 한국전자통신연구원 영상 객체 추출 장치 및 그 방법
KR100992362B1 (ko) * 2008-12-11 2010-11-04 삼성전기주식회사 컬러 보간 장치

Also Published As

Publication number Publication date
CN101477692A (zh) 2009-07-08
US20100208988A1 (en) 2010-08-19
EP2396750B1 (en) 2020-06-17
US9865063B2 (en) 2018-01-09
US20130301914A1 (en) 2013-11-14
JP2012518223A (ja) 2012-08-09
HK1132826A1 (en) 2010-03-05
WO2010093447A1 (en) 2010-08-19
EP2396750A4 (en) 2018-01-10
CN101477692B (zh) 2012-08-22
US8515178B2 (en) 2013-08-20
EP2396750A1 (en) 2011-12-21

Similar Documents

Publication Publication Date Title
JP5538435B2 (ja) 画像特徴抽出方法及びシステム
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
US11625896B2 (en) Face modeling method and apparatus, electronic device and computer-readable medium
US10803554B2 (en) Image processing method and device
US11315281B2 (en) Pupil positioning method and apparatus, VR/AR apparatus and computer readable medium
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
WO2015027953A1 (en) Method, apparatus and terminal device for dynamic image processing
US10726580B2 (en) Method and device for calibration
CN112581629A (zh) 增强现实显示方法、装置、电子设备及存储介质
JP2012203458A (ja) 画像処理装置及びプログラム
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP3803803A1 (en) Lighting estimation
EP3175614A1 (en) Virtual changes to a real object
WO2015132817A1 (ja) エッジ検出装置、エッジ検出方法およびプログラム
JP2013114655A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2010108135A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN111583381A (zh) 游戏资源图的渲染方法、装置及电子设备
Climer et al. Local lines: A linear time line detector
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
US20240212239A1 (en) Logo Labeling Method and Device, Update Method and System of Logo Detection Model, and Storage Medium
TWI480809B (zh) Image feature extraction method and device
CN110764764A (zh) 网页端图像固定拉伸方法、装置、计算机设备及存储介质
WO2019082283A1 (ja) 画像解析装置
CN117939100B (zh) 一种折幕视频处理方法以及相关装置
CN112583976B (zh) 图形码显示方法、设备及可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130123

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131018

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20131021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140408

R150 Certificate of patent or registration of utility model

Ref document number: 5538435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140428

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees