JP6487565B2

JP6487565B2 - 勾配場の特異点の記述子を用いた郵便物の画像のペア作成

Info

Publication number: JP6487565B2
Application number: JP2017543776A
Authority: JP
Inventors: デスプレ，オリビエ
Original assignee: ソリスティック
Priority date: 2015-06-16
Filing date: 2016-06-15
Publication date: 2019-03-20
Anticipated expiration: 2036-06-15
Also published as: FR3037691B1; WO2016203149A1; US20180089507A1; JP2018513448A; EP3311333B1; FR3037691A1; US10223587B2; EP3311333A1

Description

本発明の技術分野は、特に郵便物の仕分けのために、物品をそれらにしるしを付けずに識別することである。

特に、本発明は、物品を処理する方法に関しており、物品の第１のデジタル画像が形成され、第１の画像署名がこの第１の画像から導かれ、その署名は、前記物品に対する地球規模で一意的な識別子であり、前記物品の新たな現在のデジタル画像が再び形成され、現在の署名が現在の画像から導かれ、第１の署名のうちの１つとの類似性により現在の署名とペアになるために、データプロセッサユニットにおけるメモリに記憶された物品画像の第１の署名と比較される。

物品は、特に郵便物によって構成されるのであるが、これらの郵便物は、区分機において自動的に仕分けされたものであり、区分機は、郵便物の宛先住所を含むデジタル画像において認識された前記宛先住所を認識する／読み取るための自動システムと、自動的に認識された宛先住所に対応する仕分け出口に郵便物を方向付ける仕分けコンベアとを有する。

画像署名を用いることにより、しるしを付けずに郵便物を識別する方法は、欧州特許第１５１９７９６号から既に知られている。

その方法では、区分機を通過する郵便物のデジタル画像が形成され、その画像から画像署名が抽出されるのであるが、その署名は２つの成分によって定義され、一方の成分は、画像のグレイレベルの大局的および局所的な分布を特徴付ける「グラフィクス」成分と称され、もう一方の成分は、画像に存在するシンボル情報を、特に光学的文字認識（ＯＣＲ）によって自動的に認識される宛先住所を構成する文字を、特徴付ける「テキスト」成分と称されるものである。

複数のパスを含む仕分けプロセスにおいて郵便物を識別する上述の知られている方法を用いると、郵便物の上にバーコード識別子を適用する必要がない。

第１の仕分けパスの間に郵便物にラベル付けする必要はなく、仕分けにおけるそれ以後のパスの間にバーコードを再度読み取ることも必要ない。

その結果として、郵便物の仕分けの実行コストを削減することができる。

しかし、同一の送り主からの郵便物やグラフィカルに類似する郵便物を識別する際には、グラフィクス成分の区別は困難であるから、その場合には、画像署名は、画像における宛先住所ブロックの適切な検出と、宛先住所を構成する文字の適切な認識とに依存することになる。

欧州特許第１５１９７９６号明細書

本発明の目的は、同一の送り主から来る郵便物の同形な画像のペアを作成するというコンテキストによりよく適合するため、よりよく区別する画像署名を提案することである。

この目的のため、本発明は、郵便物を処理する方法であって、２ピクセル／ミリメートル（ピクセル／ｍｍ）から１０ピクセル／ｍｍの解像度で、物品の第１のデジタル画像が形成され、この第１の画像から、前記物品に対する一意的な識別子である第１の画像署名が導かれ、前記物品に対する現在のデジタル画像が再び形成され、現在の署名と第１の署名のうちの１つとを類似性に基づきペアにするために、現在の署名が、現在の画像から導かれて、データプロセッサユニットにおけるメモリに記憶された物品画像の第１の署名と比較される方法を提供するのであるが、この方法は、以下のステップによって、各署名がデジタル画像から導かれることを特徴とする。

・たとえば５×５ピクセルの、重複を伴うまたは伴わない、局所マトリクスを用いた局所平面回帰により、前記画像の輝度勾配場のデジタルマップを抽出するステップであって、勾配場マップにおける郵便物の表面変形（たとえば、封筒のしわ）を平滑化し、テキスト文字（宛先住所のテキスト文字を含む）および高コントラストのグラフィクスなどの画像に含まれるシンボル情報を強化するための、抽出するステップ。

・ベクトル場の最大の振幅を有する（正または負の）勾配場のトポロジカルな特異点であり、画像におけるシンボル要素の凹部または宛先住所ブロックの文字数字などの画像におけるシンボル要素の端部に現れる勾配場の局所円形発散極値に対応する、最もロバストな対象点を、前記デジタルマップにおいて識別するステップ。

・デジタル記述子により、メモリにおける対象点を表すステップであって、デジタル記述子のそれぞれは、特定の対象点に対して、
ａ）前記画像における対象点の空間的位置と、
ｂ）前記特定の対象点を中心とする画像のピクセル分析ウィンドウにおける、勾配場の円形発散の平均値と勾配場の平均振幅とを含む様々な物理的大きさの組合せから計算される符号付き特異点指数と、
ｃ）前記特定の対象点を中心とする円形局所近傍ディスクのリング上で計算された特異点指数の累積と、
を表す、ステップ。

つまり、本発明が依拠するアイデアは、画像における輝度勾配場のトポロジと関係する対象点の記述子を署名属性として用いることにより、画像署名の属性を、画像においてＯＣＲによって認識されたテキスト情報と独立にする、ということである。これらの画像署名属性は、グラフィカルには同形である郵便物の画像のコンテキストの内部でも、引き続き区別できることになるのである。

２ピクセル／ｍｍから１０ピクセル／ｍｍの画像解像度は、宛先住所ブロックのテキスト文字を個別化するように、うまく適合しているのであって、本発明の方法では、局所平面回帰が、５×５ピクセルを占める画像部分において実行され得る。

この局所平面回帰は、また、テキスト文字（宛先住所のそれらを含む）および高コントラストのグラフィクスなど画像に含まれるシンボル情報に有利になるように、勾配場画像の内部における郵便物の表面変形（たとえば、封筒のしわ）を平滑化することを可能にする。

これを基礎として、本発明のアイデアは、シンボル勾配場のトポロジカルな特異点において最もロバストな対象点を、よって、勾配場において高い局所円形収束または高い局所円形発散を有する対象点を求めてサーチするということである。

テキストシンボル要素の輝度レベルは一般に封筒の背景の輝度レベルよりも低い（薄い色を背景とする濃い色の文字）から、勾配場における局所円形発散の領域は、宛先住所ブロックの文字数字などのシンボル要素の端部に現れ、他方で、勾配場における局所円形収束の領域は、そのようなシンボル要素の凹部に現れる。

対象点のデジタル記述子のサイズ、すなわち、考慮の対象でありその範囲で特異点指数が累積される対象点の周囲の連続的なリングの個数は、区別されるべき領域の空間的サイズに基づいて、たとえば、郵便物の宛先住所の場合には１５ミリメートル（ｍｍ）の程度で、先験的に決定され得る。デジタル画像を処理するときには、郵便物の第１のデジタル画像の撮影と同じ郵便物の第２のデジタル画像の撮影との間における画像の解像度の変動につながる被写界深度の変動を軽減させるために、対象点のデジタル記述子に対して縮小および／または拡張を実行することが可能である。

本発明の方法は、以下の特徴を提示し得る：
・前記現在の署名と前記第１の署名とを比較するため、前記第１の署名が、現在の署名の対象点の記述子の個数と非常に異なる対象点の記述子の個数によって定義されるものを一致サーチ空間から除去するために、最初にフィルタリングされ得るのであり、同一の物品に関して撮影された（その物品の同じ部分を、同じ照明条件で撮影する）２つの画像の間に相対的同一性が存在すると仮定され得るときには、このフィルタリングが、ペア作成の最適化を可能にすることが観察されるはずである。比較は、一致測定によって、すなわち、比較されている２つの署名における対象点の記述子の間の類似性距離を測定することによって、実行される。

・前記現在の署名と前記第１の署名とを比較するため、現在の署名と一致性がある第１の署名の部分集合を予め選択するために現在の署名における対象点の記述子の小さな部分を用いて、第１の一致サーチ段階が実行され、次に、一致性のある第１の署名の前記部分集合にわたり、現在の署名における対象点の記述子の全部を用いて、第２の一致サーチ段階が実行される。この第２の一致サーチ段階では、対象点の全部ではなくて、第１の一致サーチ段階の間に用いられた集合よりも大きな部分集合が用いられる。第１のサーチ段階は、同じ構造上のファミリに属する、すなわち、デジタル画像において存在する同じグラフィクス構造および／またはテキスト構造を共通に有する郵便物をフィルタリングするように、機能する。同じ構造上のファミリに属する郵便物の画像における対象点の一致を求めるサーチという第２の段階の間に生じる一致は、処理されている郵便物のコンテキストに適合する態様で、これらの対象点の区別の程度を数量化するように機能する。

・郵便物を仕分けする第１のパスの間に、第１の署名が自動郵便物区分機のメモリに記憶され、同一の区分機または別の自動区分機を通過する郵便物を仕分けする第２のパスの間に、署名比較が実行される。

本発明の方法の実装は、以下で説明され、図面に示されている。

郵便物を仕分けする第１のパスの間に画像署名を抽出する方法の高度に図式的な表現図である。郵便物を仕分けする第２のパスの間に本発明により２つの画像署名のペアを作成する方法を示す図である。画像署名から属性を抽出する方法をより詳細に示す図である。画像署名の属性のペアを作成する方法をより詳細に示す図である。本発明で用いられる局所平面回帰の原理を示す図である。本発明の方法を実行するための郵便物区分機を示す図である。宛先住所ブロックを有する郵便物のデジタル画像を示す図である。

図１および２は、よって、郵便物を（図６に示されている）郵便物区分機１における２つの仕分けパスで郵便物を仕分けするためのプロセスにおける本発明の方法の実装を示しており、この方法は、たとえば、アンスタッカー２が、仕分けコンベア３に、区分機の入口におけるエッジにスタックとして配置されている郵便物４を与えるステップを備える。

宛先住所を自動的に認識するためのシステム５（図６に示されている）が、アンスタッカー２の下流側に配置されている。

認識システムは、デジタル画像の中の住所を認識するためにＯＣＲを実行する（図１のステップ１１）ことができるデータプロセッサユニット９を備えると共に、たとえば区分機のエッジ上の一連の物品のうちの１つの１つの面を示す複数のグレイレベルを用いて、図７の参照番号８で示された宛先住所を含む図７の参照番号７で示されたデジタル画像を形成するための、図１のステップ１０に適したカメラ６を、備える。

データプロセッサユニット９は、また、デジタル画像から、画像署名を抽出する（図１のステップ１２）のに適しており、この画像署名（図１および２では、参照符号Ｓｉｇ．で示されている）は、物品に対する一意的な識別子として機能し、認識された宛先住所と関連して、データベース（図１および２では、参照番号１００で示されている）に格納されることにより、仕分けコンベア３を制御するための、仕分けデータ（参照符号Ｄａｔａで示されている）を構成する。

この認識された宛先住所に基づき、物品は、区分機の入口に荷積みされたすべての物品４に対して、仕分けコンベアの対応する仕分け出口Ｓ１、Ｓ２、．．．、ＳＭなどに送られる（図１のステップ１３）。

図２では、物品が、第２の仕分けパスのために、区分機の中に荷積みされる。

カメラ６は、物品の現在のデジタル画像を形成し（図２のステップ２０）、現在の画像署名Ｓｉｇ．が現在の画像から抽出され（図２のステップ２１）、データベース１００に格納されている第１の物品署名と比較される（図２のステップ２２）のであるが、これは、類似性を検出し、その検出に基づいて、この物品のための仕分けデータＤａｔａを回復し、仕分けコンベアの対応する仕分け出口にそれを送る（図２のステップ２３）ためである。

図３は、図１および２のステップ１２および２１においてそれぞれ実行される、本発明に従って画像署名を抽出するプロセスの高度に図式的な図解である。

このプロセスでは、第１の処理ステップ３０で、局所平面回帰が、輝度勾配場のデジタルマップを取得するために、たとえば重複するまたは重複しない５×５ピクセルのマトリクスである局所マトリクスを用いて、物品のデジタル画像に適用される。

図５は、デジタル画像Ｉにおいて勾配場を計算するための５×５ピクセルの局所マトリクスを示しており、マトリクスには、参照符号Ｍが与えられている。このマトリクスＭは、物品のデジタル画像において、ピクセルＩ（ｉ，ｊ）を中心に有する。

この５×５ピクセルの分析ウィンドウは、２ピクセル／ｍｍから１０ピクセル／ｍｍの範囲にある解像度で郵便物に対して的確に適応している、ということが観察されるはずであるが、その理由は、プラスチック容器におけるしわ、反射および濃淡など、画像に現れる物品の表面変形を組み込むこと、および、印刷されたテキスト文字など、画像におけるシンボル情報の領域を強化することが、それによって可能になるからである。

その後に、ステップ３１では、ステップ３０の結果として得られる勾配場マップで、高い局所円形収束または高い局所円形発散を有する勾配場のトポロジカルな特異点に対応する対象点を求めて、サーチが行われる。

特に、ステップ３１では、対象点は、ベクトル場における（正または負の）最大の振幅を有する特異点であって、これらの特異点は、勾配場における局所円形収束極値または局所円形発散極値に対応する。

本発明では、ステップ３１からの出口で保持された対象点は、調整可能な閾値よりも大きな符号付きの特異点指数を与える対象点である（ここで、特異点指数とは、５×５ピクセルの分析ウィンドウにおける勾配場の平均振幅と勾配場の平均円形発散または収束値とを組み合わせた結果である）。この閾値は、特に、画像の背景において検出される干渉する対象点によって影響されないことを可能にする。

この方法では、局所平面近似係数が、そのノルムと共に、局所勾配のベクトル場の水平成分と垂直成分とを提供する、ということを理解することができる。

局所円形収束または発散極値は、局所勾配場の高い円形収束または発散に対応する局所特異点指数の極値として見られ得る。符号付きの特異点指数は、局所真円度指数（ｃｉｒｃｕｌａｒｉｔｙｉｎｄｅｘ）（０から１の範囲）と、分析ウィンドウの局所的に内側の勾配場の収束または発散に応じて正または負であり得る局所収束値との代数的な積として見られ得る。

より詳しくは、勾配のベクトル場は、そのベクトル場が高い発散／収束、高い真円度および高い振幅を局所的に与えるのにつれてますます特異になる特異点を、有する。これらの収束／発散、真円度、および高い振幅というインジケータは、それぞれが、複数のグレイレベルのデジタル画像と、３×３ピクセルおよび５×５ピクセルのマスクとの畳み込みを実行することによって、導かれ得る。収束／発散のインジケータは、２つの直交軸に沿ったシンボル勾配場の振幅の変動を決定するのに用いられる従来の発散マスクに対応し得る。真円度のインジケータは、そのマスクの中心点の回りの勾配場の回転を観測するのに用いられるマスクに対応し得る。例示であるが、マスクは、指紋特徴付けの分野で用いられるものに基づき得る。

この後では、ステップ３２において、ユニット９が、ステップ３１で抽出されたシンボル勾配場における各対象点に対して、デジタル記述子を形成するが、このデジタル記述子は、物品とその符号付きの特異点バルブとその円形局所近傍におけるコンフィギュレーションとのデジタル画像における対象点の空間的位置における位置を表すデータを含む。

対象点に対し、本発明による円形の局所的近傍の形状は、記述されている対象点を中心とする近傍ディスクのリング上の符号付きの特異点値の累積を測定することで構成される。

この記述子は、以下では、勾配特異点の記述子（ＤＯＧＳ）と称されるのであるが、たとえば３０ピクセルであり１５ｍｍの記述半径に対応する特異点の空間記述半径を表す固定された大きさの信号である。

ステップ３２の終わりでは、物品のデジタル画像Ｉが、デジタル署名によって、対象点に対する１組のＤＯＧＳという形式で、一意的な態様で識別されるが、そのそれぞれが、対象点の空間的位置と、その符号付きの特異点値と、円形の近傍において特異点を記述する信号とをエンコードする。

図３のステップ３０から３２は、第２の仕分けパスのために提示された物品の現在の画像から現在の署名を形成するステップ２１において実行される、ということが理解されるべきである。

図４を参照すると、類似性により２つのデジタル署名のＤＯＧＳのペアを作成するための本発明の方法のステップ２２が、より詳細に示されている。

図４では、ステップ４０において、比較されている物品の画像の完全性または非完全性に応じて、第１の署名のうちの１つと現在の署名とのペアを作成するためのサーチ空間を縮小するために、図１のステップ１２において格納される署名をフィルタリングすることが可能である。

特に、前記第１の署名は、現在の署名に対する対象点のＤＯＧＳの個数と非常に異なる対象点のＤＯＧＳの個数を有するものを除去するために、フィルタリングされる。

図４は、第１の署名ＳｉｇＰ_１からＳｉｇＰ_ｎを含むサーチ空間Ｅを示す。

その後で、ステップ４１では、現在の署名ＳｉｇＣの対象点のＤＯＧＳとサーチ空間の各第１の署名ＳｉｇＰ_ｉの対象点のＤＯＧＳとの間での最大の類似性の一致を求めて、サーチがなされる。

図４に示されているように、最大の一致のサーチは、サーチ空間Ｅのすべてにわたって実行される。

ステップ４１の終わりでは、ステップ４２において、現在の署名と一致する第１の署名ＳｉｇＰ_ｊが、見つけられている。

この第１の署名に基づき、図２に示されているデータベース１００から、仕分けデータＤａｔａが回復されることが可能である。

しかし、ＤＯＧＳのペア作成は、サーチ空間Ｅの全体にわたり、２つの別個の段階において実行され得る：

・一致を求めるサーチの第１の段階では、探索されている署名ＳｉｇＣのファミリと同じ構造上のファミリに属する、すなわち画像が共通のシンボル構造を含む、署名の部分集合を予め選択するために、署名ＳｉｇＣのＤＯＧＳの少数だけがペア作成のためにサーチされる。

・一致を求めるサーチの第２段階では、先行する段階の間に予め選択された第１の署名の部分集合の内部で、ＤＯＧＳのすべてをペアにするためにサーチがなされる。

第１の段階では、ＤＯＧＳの小さな部分だけを用いて、ＤＯＧＳのペアが作成される。これらのＤＯＧＳは、たとえば、閾値と比較して画像における最大の絶対値特異点を有するもの、または、実際に画像における特定の領域（送り主の住所ブロックなど）に対応するものであり得る。それぞれが候補である署名ＳｉｇＣに対し、（たとえば同じグラフィクスまたはテキスト構造を共有するなど、画像の構造上のファミリを表す）少数のＤＯＧＳが、一致を求めてサーチを行う第２の段階が現在の署名のＤＯＧＳの全部を利用しながら後で実行される「一致性のある」第１の署名の部分集合を予め選択するために、サーチ空間Ｅの各署名ＳｉｇＰ_ｊの対応するＤＯＧＳと比較される。

本発明の方法は、デジタル画像が形成されている間に移動している郵便物に、または、デジタル画像が形成されている間は静止している郵便物に、適用され得る。状況に応じて、同一の郵便物について撮影されている２つの画像の間には、その場面の照明の変化に起因して、または、カメラの被写界深度の変動に起因して、輝度の変動が存在することがあり得る。

場面の照明の変動が、比較されている画像において検出される対象点の個数を変更することがあり得るが、それがＤＯＧＳのペアを作成するプロセスを混乱させることはない、ということが観察されるはずである。

逆に、カメラの被写界深度が、ＤＯＧＳの一致を混乱させる可能性がある画像における解像度の変動を生じさせることは、あり得る。この変動性に影響されないために、そして、本発明の方法の範囲を超えることなく、比較されるＤＯＧＳを拡張または縮小することによって自動的に画像署名をスケーリングすることが、一致を求めるサーチのプロセスにおいて、条件付きで可能である。

本発明の方法は、たとえば回転運動もしくは並進運動、または、その上にそれら両方あわせての運動など、撮影されている２つの画像の間での郵便物の相対的運動に対して、耐性を有する。この変動性は、与えられた物品の画像を取得する２つのパスの間で、対象点の位置の変化を生じさせ、それが、対象点を一致させることをより複雑にすることがあり得る。本発明の範囲を超えることなくこの変動性によって影響されない１つの方法は、第１の署名を予め選択するときに、大局的でリジッドな変換の近似を実行することで構成される。この近似は、第１の一致フェーズの間に一致される様々なＤＯＧＳの間の距離を最小化することによって計算され得るが、この場合、距離は最小二乗法の意味で最小化される。よって、近似された変換のパラメータが、比較される署名ＳｉｇＰ_ｉと関連するデジタル画像の空間で探索される署名ＳｉｇＣの各対象点の空間座標を射影するために、第２の一致段階において用いられ得る。

さらに、ＤＯＧＳが、各画像の宛先住所ブロックにおけるシンボルの認識とは独立な特異点によって、グラフィカルに非常に類似している郵便物のデジタル画像を個別化することを可能にする、ということが理解され得る。

当然であるが、本発明の方法は、小包および／もしくはカバンまたは類似のものを仕分けするなど、コンベアの上を運ばれている様々な種類の物品を処理することに適用され得る。それは、様々な画像取得システムを用いて動作させるのに適している。

Claims

郵便物を処理する方法であって、２ピクセル／ｍｍから１０ピクセル／ｍｍの解像度で、物品の第１のデジタル画像が形成され（１０）、この第１の画像から、前記物品に対する一意的な識別子である第１の画像署名（ＳｉｇＰ_ｉ）が導かれ（１２）、前記物品に対する現在のデジタル画像が再び形成され（２０）現在の画像署名と第１の画像署名のうちの１つとを類似性に基づきペアにするために、現在の画像署名（ＳｉｇＣ）が、現在の画像から導かれて（２１）、データプロセッサユニットにおけるメモリに記憶された物品画像の第１の画像署名と比較される（４２）方法において、
局所マトリクスを用いた局所平面回帰により、前記画像の輝度勾配場のデジタルマップを、勾配場マップにおける郵便物の表面変形（たとえば、封筒のしわ）を平滑化し、テキスト文字（宛先住所のテキスト文字を含む）および高コントラストのグラフィクスなどの画像に含まれるシンボル情報を強化するように、抽出する（３０）ステップと、
ベクトル場の最大の振幅を有する（正または負の）勾配場のトポロジカルな特異点であり、画像におけるシンボル要素の凹部または宛先住所ブロックの文字数字などの画像におけるシンボル要素の端部に現れる勾配場の局所円形発散極値に対応する、最もロバストな対象点を、前記デジタルマップにおいて識別する（３１）ステップと、
デジタル記述子（ＤＯＧＳ）により、メモリにおける対象点を表すステップであって、ＤＯＧＳのそれぞれは、特定の対象点に対して、
ａ）前記画像における対象点の空間的位置と、
ｂ）前記特定の対象点を中心とする画像のピクセル分析ウィンドウにおける、勾配場の円形発散の平均値と勾配場の平均振幅とを含む物理的大きさの組合せから計算される符号付き特異点指数と、
ｃ）前記特定の対象点を中心とする円形局所近傍ディスクのリング上で計算された特異点指数の累積と、
を表す、ステップによって、各画像署名がデジタル画像から導かれることを特徴とする、方法。
前記現在の画像署名と前記第１の画像署名とを比較するため、前記第１の画像署名が、現在の画像署名の対象点の記述子の個数と所定数以上異なる対象点の記述子の個数によって定義されるものを一致サーチ空間から除去するために、最初にフィルタリングされる（４０）ことを特徴とする、請求項１に記載の方法。
前記現在の画像署名と前記第１の画像署名とを比較するため、現在の画像署名と一致性がある第１の画像署名の部分集合を予め選択するために現在の画像署名における対象点の記述子の一部を用いて、第１の一致サーチ段階が実行され、次に、一致性のある第１の画像署名の前記部分集合にわたり、現在の画像署名における対象点の記述子の全部を用いて、第２の一致サーチ段階が実行されることを特徴とする、請求項１に記載の方法。
郵便物を仕分けする第１のパスの間に、第１の画像署名が自動郵便物区分機のメモリに記憶され、同一の区分機または別の自動区分機を通過する郵便物を仕分けする第２のパスの間に、画像署名比較が実行されることを特徴とする、請求項１から３のいずれか一項に記載の方法。