JPH10509089A - 画像処理の改良 - Google Patents

Abstract

(57)【要約】 行および列に配置された画素を含む小包の画像をディジタル形式で生成し記憶する手段と、画素の色に基づいて、荷札画素、背景画素またはそのいずれでもないものとして各画素を分類するための分類論理機構と、画素の元の分類および隣接画素の分類に基づいて、荷札または背景として各画素を再分類するためのセグメント化論理機構と、すべての画素が荷札画素として分類される領域の境界を識別するための識別論理機構とを含む、小包の画像上で荷札の位置を突き止めるための画像処理装置を開示する。

Description

【発明の詳細な説明】 画像処理の改良 ［発明が属する技術分野］ 本発明は、コンピュータ化された郵便物仕分けに関し、具体的には、小包のデ ィジタル化された画像上で荷札を識別し、突き止めるための画像処理の方法およ び装置に関する。 ［従来の技術］ 小包の量がますます増加しているので、小包仕分けの自動化は、全世界の郵便 局および運輸業全般にとって非常に重要になりつつある。 一般に、小包仕分けを自動化するためには、小包のディジタル画像を取り込み 、宛先住所などの経路指定情報を画像から抽出する必要がある。この経路指定情 報は、その後、適当な装置によって使用して、小包を適宜仕分けしたり、仕分け 処理で後程使用するために小包に印刷されるバーコードなどの生成に使用するこ とができる。 しかし、荷札は、小包のどこにでも貼ることができ、したがって、小包のディ ジタル画像のどこにでも現れる可能性がある。一般には、光学式文字読取装置（ ＯＣＲ）技術を使用して、荷札のかなり高解像度の画像から経路指定情報を抽出 する。この技術を有効に活用し、小包の画像全体を処理しな いようにするためには、小包の画像の上で荷札の位置を突き止める必要がある。 これが達成されたならば、画像の荷札に対応する部分だけを処理すればよい。 ［発明が解決しようとする課題］ 本発明の目的は、小包の画像内で宛先荷札の位置を突き止めるための画像処理 装置を提供することである。 このような荷札検出を実行するためには、２種類の問題を解決しなければなら ない。第１に、要求速度の達成は非常に困難である。現在使用可能な技術を用い て画像処理をリアルタイムで実行しなければならない。第２に、画像データは理 想的なものではない。荷札がノイズによって汚れている可能性があり、荷札が多 少透明で、背景の小包が透けてみえる可能性があり、文字が荷札と小包自体の両 方に現れる可能性がある。さらに、荷札は、小包のどこにあるかわからない。 ［課題を解決するための手段］ 上記の問題を解決するために、本発明は、行および列に配置された画素を含む 小包の画像をディジタル形式で生成し記憶するための手段と、画素の色に基づい て、荷札画素、背景画素またはそのいずれでもないものとして各画素を分類する ための分類論理機構と、画素の元の分類および隣接画素の分類に基づいて、荷札 または背景のいずれかとして各画素を再分類するためのセグメント化論理機構と 、すべての画素が荷 札画素として分類される領域の境界を識別するための識別論理機構とを含む、画 像処理装置を提供できるようにする。 本発明は、ほとんどすべての小包が白地に黒文字の荷札を有し、荷札より白い 小包は存在しないという観察に基づいている。したがって、色情報を使用して荷 札を背景から分離することができる。 画素は、まず、荷札、背景またはそのいずれでもないものとして分類される。 通常、背景でも荷札画素でもないものとして分類される画素は、荷札上の文字ま たは小包の本体に対応するか、ノイズに起因するものである。その後、セグメン ト化技法を使用して、画素の前後関係に基づいて画素を荷札または背景のいずれ かの画素として再分類する。このセグメント化技法は、たとえば、文字に対応す る画素は画像内で水平または垂直に長い連なりを形成しないという事実など、既 知の文字の特徴を使用することができる。さらに、セグメント化論理機構は、荷 札画素が比較的長い連なりになると期待できるという事実と、荷札内での背景画 素の出現が非常にまれであるという事実を利用できる。 １実施例では、分類論理機構が、白画素を荷札画素として分類し、黒画素を荷 札画素でも背景画素でもないものとして分類し、それ以外の画素のすべてを背景 画素として分類するように配置構成される。しかし、これ以外の可能性がある。 たとえば、特定のあらかじめ定義された色の荷札を使用する方式を考案すること もできるはずである。この場合、この装 置は、小包の画像からその特定の色の荷札を識別し、位置を突き止めるように適 合されるはずである。さらに、複数の色の画素のすべてを荷札画素として分類す る可能性も残されている。 また、本発明は、小包の画像を取り込むためのカメラと、カメラを横切って小 包を移送する手段と、上で説明した画像処理装置と、すべての画素が荷札画素と して分類される領域の位置を使用して小包荷札の画像を生成する手段と、荷札の 画像から経路指定情報を抽出する手段とを含む、小包の仕分けで後程使用するた めに小包から経路指定情報を抽出するための装置も提供する。 もう１つの態様では、本発明は、 （ａ）行および列に配置された画素を含む、小包の画像をディジタル形式で生成 し、記憶するステップと、 （ｂ）画素の色に基づいて、各画素を荷札画素、背景画素、またはそのいずれで もないものとして分類するステップと、 （ｃ）画素の元の分類および隣接画素の分類に基づいて、荷札または背景のいず れかとして各画素を再分類するステップと、 （ｄ）すべての画素が荷札画素として分類される領域の境界を識別するステップ と を含む、小包の画像上で荷札の位置を突き止めるための画像処理方法を提供する 。 また、上記ステップを含む小包仕分けの方法も提供する。 ［図面の簡単な説明］ 第１図は、出荷荷札翻訳システムの全体図である。 第２図は、画像処理装置を示す概略図である。 第３Ａ図は、低解像度小包画像を示す図である。 第３Ｂ図は、低解像度小包画像を示す図である。 第３Ｃ図は、低解像度小包画像を示す図である。 ［発明の実施の形態］ 本発明は、画像取込み、画像処理および光学式文字認識（ＯＣＲ）技法を使用 する、小包上の荷札から出荷情報を抽出する出荷荷札翻訳システムで実施される 。 このシステムを第１図に示す。このシステムには、下記の主要構成要素が含ま れる。 （ａ）低解像度画像取込みステーション１６０および高解像度画像取込みステー ション１７０を有するコンベヤ・システム１００。 （ｂ）ユーザ・インターフェース、システム全体の制御および画像処理機能を提 供する適切なプログラムの制御の下で動作する、コンピュータ１１０。 （ｃ）ＯＣＲサブシステム１２０。 （ｄ）コンピュータ１１０がコンベヤおよび画像取込みカメラの機能を制御でき るようにする、プログラム式論理制御機構１８０。 コンベヤの機械的機能および画像取込み機能には、通常の構成要素を使用する 。荷札を処理するために修正が必要ではあるが、基本的なＯＣＲ構成要素は、ハ ードウェア、ソフトウェア共に、やはり通常のものである。コンピュータ１１０ は、たとえば、IBM RISC SYSTEM/6000系列のコンピュータのいずれかとすること ができる（IBM と RISC SYSTEM/6000 はInternational Business Machines Corp orationの商標である）。 データの流れと第１図に示された主要構成要素を、パッケージの処理の説明を 介して以下の節で解説する。 出荷荷札翻訳システムのコンベヤ・システム１００は、２つの別々のコンベヤ ・モジュールすなわち、誘導コンベヤ１３０と処理コンベヤ１４０からなる。 誘導コンベヤ１３０は、パッケージをシステムに装荷する。パッケージは、ベ ルトを下る際に位置合わせエッジ１５０に沿ってコンベヤの片側に「片寄せ」ら れる。これによって、パッケージがシステムを通過する際のパッケージの位置が 一定になる。コンベヤの片側へのパッケージの「片寄せ」は、水平面内に角度付 きベルト・コンベヤを設けるか、傾斜ベルト・コンベヤを設けることによって達 成でき、後者の楊合、パッケージは、重力によってコンベヤの片側に送られる。 角度付き水平ベルトを、第１図に示す。 処理コンベヤ１４０は、低解像度画像取込みステーション１６０および高解像 度画像取込みステーション１７０を通っ てパッケージを運ぶ、連続走行式ベルト・コンベヤである。 コンベヤの速度制御は、プログラム式論理制御機構（ＰＬＣ）１８０によって もたらされる。ＰＬＣ１８０は、コンピュータ１１０に接続され、その制御の下 で動作する。この制御システム設計によって、コンピュータ１１０上で実行中の 制御プログラムが提供するオプションを介してコンベヤ速度を選択する手段がも たらされる。 保守、試験など、システム動作の異なるモードでは、コンベヤ速度を設定可能 である必要があることが理解されよう。ＰＬＣ１８０は、システムを通過するパ ッケージを追跡するために一連の光学センサを監視し、パッケージ「詰まり」の 検出も提供する。第１図に示された間隔光学センサ１９０は、パッケージ間の間 隔に関するフィードバックを提供し、コンベヤ・モジュール間のゲートとして働 く。 操作員は、コンベヤ・システム１００に、荷札面を上にして小包を１つづつ置 く。操作員が、荷札が一定の向きになるように小包を回転する必要はない。 パッケージ間の間隔に対する制御を設けて、高さが異なるパッケージのために 高解像度カメラが焦点を調節する時間を与え、システムの画像処理能力に合わせ てパッケージ供給速度を調節できるようにする。 この聞隔を設けるために、誘導コンベヤ１３０の停止／起動部分を、パッケー ジ装荷点で使用する。パッケージは、コンピュータ１１０内の適切なソフトウェ アの制御の下でこの コンベヤから一定速度の処理コンベヤ１４０に解放され、このソフトウェアは、 ＰＬＣ１８０を介してコンベヤ・センサを監視する。 不合格品の処理など、遅延が必要な場合には、この間隔機構を使用して、パッ ケージの供給を一時的に停止することができる。操作員にパッケージを離して置 くようにさせることによって、スループットを犠牲にしてこの機構を除去するこ とも可能である。 パッケージは、ステージを通過するが、このステージでは、コンベヤ・ベルト から固定された高さに取り付けられた標準テレビ・カメラ２００が、パッケージ の頂面のカラー画像を取り込む。 照明は、パッケージの移動によるぼけを除去するために、ストロボ・ライト２ １０を介して供給される。カメラのレンズは、必要なパッケージ・サイズの範囲 を扱うのに十分な被写界深度を有し、したがって、焦点制御は不要である。 テレビ・カメラは、コンピュータ１１０内の既知の形式のビデオ取込みボード に接続され、その画像は、コンピュータ内の記憶装置にディジタル形式で記憶さ れる。コンピュータ１１０内の適切なソフトウェアが、ディジタル形式の低解像 度画像を分析して、下記の機能を実行する。 （ａ）パッケージ寸法とベルト上の向きの判定。 （ｂ）荷札検出。 （ｃ）後程荷札を貼り付けるためのパッケージ上の空き区域 の突き止め。 テレビ画像自体からパッケージ高さを判定するために、多数の技法を使用する ことができる。たとえば、ベルト経路に沿ったパッケージの長さを、単純な光セ ンサによって測定でき、テレビ画像内の画素単位でパッケージの長さと比較する ことができる。パッケージは、その頂面がカメラに近ければ、テレビ画像では長 く見える。その代わりに、ベルトを横から見る光電セル・アレイまたは、テレビ ・カメラを含むフレームの上に吊るして取り付けられた音響センサなどの別個の センサを介してパッケージ高さを判定することもできる。 パッケージ境界は、パッケージからベルトへの色シフトを検出することによっ て、テレビ画像内で簡単に判定できる。その後、頂面の寸法と向きを判定できる 。パッケージ高さ情報を、頂面視寸法と共に使用して、その小包を囲むことので きる最小の境界ボックスを計算する。 小包経路指定に必要な情報は、小包の荷札に含まれる。この情報へのアクセス を簡単にするために、コンピュータ１１０は、小包の低解像度画像から荷札の位 置を抽出するようにプログラムされる。 荷札は、小包の背景と比較した色の差の分析を介して、小包の低解像度画像内 で位置を突き止められる。この実施例では、位置と向きの情報を使用して、下流 で高解像度画像を取り込む区域を定義する。 この実施例では、このシステムによって毎秒１個または毎 時３６００個の小包を処理することができる。この処理には、画像取込み、荷札 検出、回転検出、偏り補正および、荷札画像からの経路指定情報のＯＣＲまたは 手動抽出が含まれる。これらすべての動作を完了するためには、画像取込みと荷 札検出に２００ｍｓ以上を費やしてはならない。 現在使用可能な技術を用い、適度なコストでこのようなリアル・タイム荷札検 出を実行するために、２種類の問題を解決した。第１に、要求速度の達成は非常 に困難である。というのは、処理のため画像取込みボードからホストへ画像デー タを転送するのに２００ｍｓ以上かかるからである。第２に、画像データは理想 的なものではない。荷札の白色がノイズによって汚れている可能性があり、荷札 が多少透明で、背景の小包が白色を損なう可能性があり、荷札の文字の黒色は、 荷札にしかないとは限らない。さらに、荷札は、小包のどこにあるかわからない 。 低解像度小包画像の処理は、下記のように進行する。 テレビ・カメラ２００が、６４０×４８０画素の画像を生成する。この画像の １０本ごとに１本の走査線が、ビデオ取込みカードからコンピュータ・メモリに 転送され、合計約５０ｍｓを要する。これは、非常に副標本化された画像をもた らすが、適度な時間が得られる。 検出問題を解決するために、画像内のすべての画素について、それが荷札に含 まれる確度を見積もる関数を見つけた。その後、画像の２つの主軸のそれぞれに １次元セグメント化 アルゴリズムを使用して、荷札と小包の残りの間の区別を明瞭にする。 この技法は、下で詳細に説明する。 副標本化された小包画像の処理を、第２図に示す。まず、分類４００を実行す る。画像内の画素は、３つの種類すなわち、荷札、背景およびそれ以外に分類さ れる。各画素は、まず、隣接画素を無視してこれらの種類のうちの１つとして分 類される。 （ａ）荷札型画素 これらは白画素である。このような画素は、小包のどこにで も現れ得るが、荷札区域の長い連なり（垂直と水平の両方）に集中していると仮 定する。 （ｂ）それ以外型画素 これらは黒画素である。このような画素は、荷札区域と 背景区域の両方に現れ得るが、荷札内では、水平、垂直またはその両方に長い連 なりを形成しないと仮定する。 （ｃ）背景型画素 残りのすべての画素。このような画素が荷札内に現れること は、非常にまれであると仮定する。 分類４００は、下記の２段階からなる。 （ａ）色空間変換 元のＲＧＢ画像を、ＹＵＶ画像に変換する。ここで、Ｙは輝度成分であり、Ｕ およびＶは、クロミナンス成分である。 変換式は次のとおりである。 Y = 0.299 * R + 0.587 * G +0.114 * B U = B - Y V = R - Y （ｂ）色分類 ＹＵＶ空間では、グレイ・レベルが、クロミナンス成分（Ｕ，Ｖ）の低い値に よって指定される。これらの色の中で、白色は、高い値の輝度成分Ｙによって定 義され、黒色は、低い値の輝度成分Ｙによって定義される。 画素ごとに、まずクロミナンス成分を検査する。これらのうちの少なくとも１ つが高い場合、その画素の色はグレイではなく、その画素は背景として分類され る。両方の成分が低い値を有する場合、輝度値を検査する。輝度が高い場合、そ の画素の色は白であり、荷札として分類される。値が低い場合、その画素の色は 黒であり、それ以外型画素として分類される。中間の範囲の値の輝度を有する画 素も、背景として分類される。 その後、セグメント化処理４１０を、まず各行に、次に各列に適用する。この 処理では、行または列を、領域尺度に対する制約の対象となる荷札領域、背景領 域またはその他領域にセグメント化する。セグメント化の結果として、画素は上 記のカテゴリに再分類されるが、この場合は、周囲の関係が考慮に入れられる。 第３Ａ図、第３Ｂ図および第３Ｃ図では、０が荷札（白画素）を表し、１が背景 画素を表し、２がその他型画素を表す。 第３Ａ図に、セグメント化の前の画素の分類を示す。 第３Ｂ図に、行セグメント化の後の分類を示す。第３Ｃ図 に、列セグメント化の後の分類を示す。この実施例では、どの型の画素の連なり であっても少なくとも３画素の長さでなければならないことをセグメント化の制 約と仮定した。 ２．セグメント化 本発明の好ましい実施例に使用されるセグメント化論理機構 を、以下で説明する。 このアルゴリズムは、記号の配列Ａ（）を処理する。３つの記号を使用して、 問題の２つの特性（記号’１’および’２’。この場合、それぞれ背景画素と白 画素）と、両者の不在（記号’＊’。この場合、黒画素）を表す。 Ａ（）は、分類処理によって作成されるが、１００％正確ではない。セグメン ト化処理では、画素の１００％正確な分類において、記号が分離して現れること はなく、連なりとして現れるという前提に頼る。 セグメント化論理機構は、Ａ（）を走査し、Ａ（）によって反映される連なり の型に関して３つの仮説を維持する。これらの仮説のそれぞれがスコアを有し、 ある仮説のスコアが実験的に決定された閾値を超える時には、その仮説を受け入 れ、出力を形成する。 具体的に言うと、仮説のそれぞれは、下記の変数を有する。 Type（型） ０、１、または＊。 Score（スコア） セグメント化の結果とＡ（）内のデータの間の一致の量を表 す。 Run_score（連なりのスコア） 最後にセグメント化された連なりと、Ａ（）内 の対応する要素との間の一致の量を表す。 Increment（増分） Ａ（）内の次の要素が仮説の型と一致する場合のスコアの 増分。 Start（開始） 仮説の型の連なりが開始したと仮定される、Ａ（）内の指標。 Prev_len（前の長さ） この型の最後の連なりの長さ。 Ａ（）は、ａ（０）、…、ａ（ｎ−１）であるものとする。 この処理は、下記のように進行する。 １． 初期設定 ２． Ａ（）のすべての要素に対するステップ３ないしステップ７のループ ３． スコアの作成と前の長さの維持 ４． 開始点の更新 ５． 仮説の受入れ ６． 正規化 ７． スコア追跡 ８． ループの終り 上記アルゴリズムの項「a(i) がｘと一致する」には、a(i)==＊の場合と、a(i )！= current_stateで、ｘ！= a(i)についてincrement(a(i))〈prev_len(x)の場 合とが含まれる。 この実施例のように１０本ごとに１本の走査線をとること以外にも多くの方法 で画像を副標本化することができることが理解される。また、観察された荷札型 画素に従って標本化密度を変更する、すなわち、荷札型画素の近傍では標本化密 度を上げ、それ以外の場所では密度を下げることも可能である。 荷札検出分析の副産物が、小包頂面の無特徴区域の識別である。無特徴区域の うちの１つが、荷札貼付け用の空き区域として報告される。 パッケージは、次に、標準的な２０４８要素のライン・スキャナ２２０を使用 する、荷札区域の高解像度（２００ｄｐｉグレイスケール）画像を取り込むステ ージを通過する。単一のライン・スキャナの視界は、約２５４ｍｍ（２０４８／ ２００ｄｐｉ）であるから、パッケージ全体の幅をカバーする２つの代替案が可 能である。 （ａ）それぞれがベルト幅の１／３をカバーし、わずかに重なりあう視野を有し 、それぞれ独自のレンズを有する３つのライン・スキャン・カメラ。この配置で は、「候補」荷札の数が、スキャナ構成によって制限されない。しかし、この構 成では、２つのスキャナにまたがって分割された荷札画像に対して「継ぎ合わせ 」ソフトウェア動作を行う必要がある。 （）候補荷札を含む２５４ｍｍの区域を見るようにピボット回転可能な複数の ライン・スキャン・カメラ。２つのカメラがあれば、荷札の位置にかかわらずに ２つの候補荷札を取り込めることが保証される。同一の２５４ｍｍ幅の中の追加 の候補荷札もカバーすることができる。カメラをピボット回転すると、ソフトウ ェアで補償しなければならない雨像のひずみが生じるが、これは予測可能である 。 どちらの手法でも、カメラのレンズにモーター駆動焦点調節を設けて、異なる パッケージ高さを補償する。 ライン・カメラ用の照明は、ベルトを横切る連続したライトのストリップ２３ ０として提供される。 各荷札の２００ｄｐｉ、４ビット・グレイ・スケール画像は、低解像度画像か ら得られた荷札の位置の知識に基づいて、適切なスキャナからＯＣＲサブシステ ム１２０に渡される。 この高解像度荷札画像は、既知の形でＯＣＲサブシステム１２０によって処理 されて、荷札に印刷されたテキストから経路指定情報が抽出される。 最後に、この経路指定情報を、コンベヤ・システムのさらに下流にある機構を 用いて荷札を貼り付けるアプリケーションに転送することができる。 ［産業上の応用可能性］ 本発明は、小包のディジタル化された画像上で荷札を識別し、位置を突き止め るための画像処理装置を含む、コンピュータ化された小包仕分け装置の分野に適 用できる。

Claims (1)

1. 【特許請求の範囲】 １．行および列に配置された画素を含む小包の画像をディジタル形式で生成し記 憶する手段と、 画素の色に基づいて、荷札画素、背景画素またはそのいずれでもないものとし て各画素を分類するための分類論理機構と、 画素の元の分類および隣接画素の分類に基づいて、荷札または背景のいずれか として各画素を再分類するためのセグメント化論理機構と、 すべての画素が荷札画素として分類される領域の境界を識別するための識別論 理機構と を含む、小包の画像上で荷札の位置を突き止めるための画像処理装置。 ２．セグメント化論理機構が、同一の分類を有するべき画素の直線配列内の画素 の連なりを識別し、連なり内のすべての画素が、その画素の分類に基づいて荷札 画素または背景画素のいずれとして分類されるかを判定し、荷札画素または背景 画素として分類されなかった連なりの画素をそれ相応に再分類するように配置構 成されることを特徴とする、請求項１に記載の画像処理装置。 ３．セグメント化論理機構が、画像を行ごとに処理した後に列ごとに処理するか 、その逆であることを特徴とする、請求項２に記載の画像処理装置。 ４．分類論理機構が、白画素を荷札画素として分類し、黒画素を荷札画素でも背 景画素でもないものとして分類し、他のすべての画素を背景画素として分類する ことを特徴とする、請求項１に記載の画像処理装置。 ５．画像を取り込むためのカメラを含む、請求項１に記載の画像処理装置。 ６．カメラによって生成された画像を副標本化する手段を含む、請求項５に記載 の画像処理装置。 ７．小包の画像を取り込むためのカメラと、カメラを横切って小包を移送する手 段と、（カメラからの信号を受け取り、行および列に配置された画素を含む小包 の画像をディジタル形式で生成し、記憶する手段と、画素の色に基づいて、荷札 画素、背景画素またはそのいずれでもないものとして各画素を分類するための分 類論理機構と、画素の元の分類とその隣接画素の分類とに基づいて荷札または背 景のいずれかとして各画素を再分類するためのセグメント化論理機構と、すべて の画素が荷札画素として分類される領域の境界を識別するための識別論理機構と を含む）画像処理装置と、すべての画素が荷札画素として分類される領域の位置 を使用して小包荷札の画像を生成する手段と、荷札の画像から経路指定情報を抽 出する手段とを含む、小包の仕分けで後程使用するために小包から経路指定情報 を抽出するための装置。 ８．（ａ）行および列に配置された画素を含む、小包の画像をディジタル形式で 生成し、記憶するステップと、 （ｂ）画素の色に基づいて、各画素を荷札画素、背景画素、またはそのいずれで もないものとして分類するステップと、 （ｃ）画素の元の分類および隣接画素の分類に基づいて、荷札または背景のいず れかとして各画素を再分類するステップと、 （ｄ）すべての画素が荷札画素として分類される領域の境界を識別するステップ と を含む、小包の画像上で荷札の位置を突き止めるための画像処理方法。 ９．カメラを横切って小包を移送するステップと、行および列に配置された画素 を含む小包の画像をディジタル形式で生成し、記憶するステップと、画素の色に 基づいて、荷札画素、背景画素またはそのいずれでもないものとして各画素を分 類するステップと、画素の元の分類とその隣接画素の分類とに基づいて荷札また は背景のいずれかとして各画素を再分類するステップと、すべての画素が荷札画 素として分類される領域の境界を識別するステップと、すべての画素が荷札画素 として分類される領域の位置を使用して小包荷札の画像を生成するステップと、 荷札の画像から経路指定情報を抽出するステップと、経路指定情報を使用して小 包を仕分けするステップとを含む、小包仕分けの方法。