WO2004093433A1

WO2004093433A1 - コード認識方法及び装置

Info

Publication number: WO2004093433A1
Application number: PCT/JP2003/004783
Authority: WO
Inventors: Hiroyuki Takakura; Hirotaka Chiba; Nobuyasu Yamaguchi; Tsugio Noda
Original assignee: Fujitsu Limited
Priority date: 2003-04-15
Filing date: 2003-04-15
Publication date: 2004-10-28
Also published as: JP4327101B2; EP1615420A4; JPWO2004093433A1; AU2003227506A1; DE60328923D1; US7764835B2; EP1615420B1; US20050194445A1; EP1615420A1

Abstract

画像の各セルの階調値から当該セルの色が白か黒かを決定する場合、当該セルの階調値が白あるいは黒に十分偏っている場合には、閾値との比較で決定するが、当該セルの階調値がグレーゾーンにあるときは、当該セルの周囲にあるセルのようすから当該セルの色を決定する。すなわち、当該セルの階調値がグレーで、周囲のセルが全て黒である場合には、当該セルは白であると判断し、周囲のセルが全て白である場合には、当該セルは黒であると判断する。

Description

明細書コード認識方法及び装置技術分野

本発明は、スキャナや C C Dカメラ等の光学読み取り装置から入力した 2次元コード画像を、読み取り認識処理する 2次元コード認識方法と認識装置に関する。背景技術

従来の 2次元コード読み取り装置では、光学読み取り装置から入力した 2次元コード画像を 2値化処理し、 2値化した画像を用いて認識処理を行う（特許文献 1の図 1 4や、特許文献 2の図 1参照）。 .

光学機器より読み取った画像データを 2値データに変換した後、認識処理を行うには、ある一定値以上の光学解像度がなければ、データの歪みによる影響から認、識精度が低下すると言った問題がある。例えば、 4方もしくは 8方を種類の異なるセルに囲まれた孤立セル（2次元コードにおいて、黒い点や白い点を構成している 1つの升目のことをセルという）は、光学解像度が低い場合やピントのずれ等が発生した場合に、階調値が隣接セルに引っ張られるため、異なる値に変換される。このような問題点は、小型カメラを内蔵した携帯端末装置にて、内蔵小型カメラを使用して 2次元コードを読み取る場合、光学装置が小さいことから、取り込める光量も少ない故、顕著な課題となる。

また、 2値化処理を行わずに認識処理を進めたとしても、セルの値を決定する際に、単純 2値化の手法を用いたのでは、上記の問題を解決することはできない。更に、認識対象の 2次元コードに対して、カメラ付きの認識装置を移動させながら、画像を撮影し、認識を行う場合、一般に画像 1枚の撮影時間に比較し、認識処理に要する時間が長く、その結果、単位時間当たり表示できる画像の枚数が低下することで、ユーザインターフェースの機能が低下していた。また、このような場合、画像の撮影は静止画像の撮影制御方法を用い、特に、暗い場所ではセンサ感度を擬似的に向上させるため、カメラの 1フレームの画像データ読み出し時間を超えて、複数フレームに渡って画像を多重露光（ロングシャッター）することで、階調を確保した画像の撮影を行っていた。一方、複数フレームに渡って多重露光することで、動きに対してはボケた画像が撮影され、その結果、認、識性能が低下するという問題があった。

【特許文献 1】

特願平 6— 0 4 2 5 8 7号明細書（特開平 7— 2 5 4 0 3 7号公報）【特許文献 2】

特願平 8— 3 4 1 3 5 4号明細書（特開平 1 0— 1 8 7 8 6 8号公報）

4方向もしくは 8方向を種類の異なるセル（白のセルと黒のセルなど、階調値の異なるセル）に囲まれた孤立セルは、光学解像度が低い場合やピントのずれ等が発生した場合に、階調値が隣接セルに引っ張られるため、単純 2値化の手法を用いただけでは、セルの値を正確に変換できない問題が生じていた。発明の開示

本発明の課題は、光学解像度が低い場合やピントのずれ等が発生したとしても、セルの値を正確に変換し、認識精度を落とすことなく、 2次元コードの読み取りが可能な 2次元コード読み取り方法を提供することである。

更に、本発明の課題は、単位時間当たりの認識処理速度を向上することで、表示できる画像の枚数が向上し、ユーザインターフェースの機能を向上し、また、暗い場所でも認識に適した画像データを撮影することで、認識性能が向上した認識装置を提供することである。

そして、これらの課題は、データをセル化して 2次元に配置した 2次元コードの認識において、 2次元マトリックス上のセルの座標値を検出する座標値検出過程と、検出した座標上の階調値を求める階調値検出過程と、画像の色成分の頻度を求めてヒストグラムを作成するヒストグラム作成過程と、ヒストグラムから閾値を求める閾値検出過程と、閾値からある一定の距離を求め、閾値から一定の距離までを指定領域とする領域範囲決定過程と、階調値が領域範囲の内に有るセルを選択する領域内セル選択過程と、階調値が領域範囲の外に有るセルを選択する領域外セル選択過程と、前記領域外セル選択過程において選択したセルを、階調値と閾値とを比較した結果から、セルの種類（白または黒）を決定するセル値決定過程と、前記領域内セル選択過程において選択したセルを、注目セルに隣接するセルの階調値を検出する隣接セル階調値検出過程と、隣接するセルがすべて同じ種類で有れば、注目セルを隣接セルと異なる種類に決定する第 1のセル値決定過程と、隣接するセルが全て同じ種類でなければ、注目セルを閾値と比較してセルの種類を決定する第 2のセル値決定過程とを有することを特徴とした 2次元コード認識方法により達成される。図面の簡単な説明

図 1は、本発明における 2次元コード認識方法の処理ブロックを示す図である。 ' 図 2は、セルの判別のための閾値の決定方法を説明する図である。

図 3は、 4近傍もしくは 8近傍隣接セルとの比較によるセルの種類の決定方法を説明する図（その 1 ) である。

図 4は、 4近傍もしくは 8近傍隣接セルとの比較によるセルの種類の決定方法を説明する図（その 2 ) である。

図 5は、 4近傍隣接セル及び 8近傍隣接セルを説明する図である。

図 6は、本発明の実施形態に従ったセルの種類の決定方法を説明する図である。

図 7は、 Q Rコードの認識処理フローである。

図 8は、本発明の実施形態に従った 2次元コード認識方法のフローを示す図である。

図 9は、図 8のステップ S 2 0 3の詳細なフローを示す図である。

図 1 0は、図 9のステップ S 3 0 4の詳細なフローを示す図である。

図 1 1は、図 9のステップ S 3 0 7の詳細なフローを示す図である。

図 1 2は、図 9のステップ S 3 0 8の詳細フローを示す図である。

.図 1 3は、本発明の実施形態に従った前処理について説明する図である。図 1 4は、本発明の実施形態に従った前処理の別の形態の説明図である。図 1 5は、前処理の流れを示すフローチャートである。

図 1 6は、本発明の実施形態に従った画像撮影時の露光時間制御方法を説明する図である。

図 1 7は、本発明の実施形態に従った 2次元コードと背景色の分離方法を説明する図（その 1 ) である。

図 1 8は、本発明の実施形態に従った 2次元コードと背景色の分離方法を説明する図（その 2 ) である。発明を実施するための最良の形態

図 1は、本発明における 2次元コ一ド認識方法の処理ブロックを示す図である。

同図において、 1 0 1において画像の読み取りを行い、光電変換部である 1 0 2において、光電変換を行う。 1 0 3の AZD変換部においては、アナログ信号をデジタル信号に変換する。 2次元コード認識処理部である 1 0 4では、 2次元コードの認識処理を行い、データ文字出力部 1 0 5において、 2次元コ一ドの認識結果から得られたデータ文字を出力する。

なお、本実施形態では、特には、携帯電話や P D A等の携帯端末を対象装置とする。この種の装置では、写真撮影のためのカメラを内蔵したものが普及しているが、昨今、このカメラを利用して 2次元バーコードを読み取り、認識したテキストデータを装置内に取り込み、テキスト入力を簡易化させる技術が提唱されている。

光学機器より読み取った 2次元のコード画像において、 1つのセルは複数個の画素によって構成される。そのため、個々のセルが、どの種類（白もしくは黒）に属するかを決定する必要がある。まず、コード画像のセルの座標値を求め、セルの階調成分を求める。座標値はセルの中心とする。次に、セルの階調成分の閾値処理等により、どの種類に属するかを決定する。

次に、セルがどの種類に属するかを判別するための閾値を決定する。

図 2は、セルの判別のための閾値の決定方法を説明する図である。

光の照射量が少ない場合や、センサ感度のレンジが低い場合等（階調値のレンジ幅が狭い場合）、固定閾値（例えば、全部の階調を 2 5 5個の階調値で表すとした場合、閾値を中問の 1 2 8に設定する）による変換方式では、セルの値を正確に変換することができない。例えば、光の照射量の少ない場合には、階調値のレンジは全体的に低いレベルに下がり、 "かすれ"や "つぶれ"が発生する。 2次元コードは白黒 2値で表現されたものが多く、そのため入力画像のヒストグラムは明領域と喑領域に 2つの山が出来る（図 2参照）。その山の間の中央の位置を閾値とすることで、 "かすれ"や "つぶれ"のない最適な変換処理を行うことが可能となる。図 3及ぴ図 4は、 4近傍もしくは 8近傍隣接セルとの比較によるセルの種類の決定方法を説明する図である。

4方向もしくは 8方向の種類の異なるセルに囲まれた孤立セルは、光学解像度が低い場合やピントのずれ等が発生した場合に、隣接セルの影響により階調値が引っ張られ、閾値を用いた 2値化の手法だけでは、セルの値を正確に変換できない。例えば、周辺を黒セルで囲まれた白セルは、周辺の黒セルの影響により階調値が引き下げられ、閾値の値によっては、黒セルと誤判別する場合がある。そこで図 3に示すように、注目セルと隣接するセルの階調値との比較を取り、階調値の差がある一定以上であれば隣接セルと異なる値に変換する。隣接セルが白黒両方の値を持つときには（孤立点ではない）、隣接セルの影響は少ない。隣接セルがすべて同一の値のときのみ、孤立点とみなして変換処理を行う。

8点近傍の隣接セルの影響は、水平垂直方向の影響が大きく、斜め方向の影響は小さレ、。しかし、図 4に示すように、左側の隣接セルのみ白で、その他はすべて黒の場合には、注目セルの階調値は黒方向に引き下げられる。そこで 8 点近傍を用いる場合には、隣接セルすべてが同じ値ではなくても、例えば、 8 つの近傍隣接セルの内、 7つが同じ種類である場合には、孤立点と同様の処理を行う。

すなわち、図 3左においては、中心セルの周囲の 4つの隣接セルの階調値がそれぞれ 3 1、 4 0、 3 1、 2 8であるので、閾値を 1 2 8とした場合、これらは黒であると判断される。このとき、中心セルの階調値が閾値以下であっても、隣接セルが全て黒であり、中心セルと隣接セルの階調値の差がある一定以上である場合には、中心セルは白とする。図 3右においては、 4近傍隣接セルの階調値がそれぞれ、 2 3 1、 2 4 0、 2 4 0、 2 2 8であり、閾値を 1 2 8 とすると、全て白と判断される。ここで、中心セルの階調値が 1 4 3で閾値より大きいとしたとき、周りのセルが全て白であり、周りのセルとの階調値の差が一定値以上であれば、中心セルは黒であると判断する。

図 4左においては、 8近傍隣接セルが全て黒である場合、中心セルの階調値が閾値以下であっても、隣接セルが全て黒で（閾値以下で）、かつ、中心セルと隣接セルとの階調値の差がある一定値である場合には、中心セルは白と判断する。図 4右においては、 8近傍隣接セルの内、 7つが黒で、 1つが白となっている。この場合にも、中心セルと閾値以下の隣接セルの階調値を比較し、差が一定値以上であれば、中心セルは白とする。逆に白に中心セルが囲まれた場合にも、同様にして、中心セルを黒とする。

以上、周囲を異なる種類のセルに囲まれた場合であっても、正確に変換処理を行うことが可能である。

図 5に示すように、 4近傍の隣接セルは、中心セルの水平垂直方向に隣接する 4つのセルを表す。また、 8近傍の隣接セルは、 4近傍に更に斜め 4方向を加えた隣接セルを表す。

前述したように、 8近傍の斜め方向のセルは 4近傍のセルと比較し、中心セルからの距離が遠いため、中心セルの階調値に与える影響は小さレ、。

図 6に示すように、階調値のヒストグラムにおいて、閾値を中心として、一定範囲を設定し、セルの階調値がこの一定範囲内に入っているか否かを判断することによって、セルの種類の決定の仕方を変える。

図 6に示すように、領域範囲の中になるセルは、前述したように、隣接セルの値と比較してセルの値を決定する。一定の領域外にあるセルは、閾値との比較により白と黒に分別する。閾値からある一定範囲のグレイゾーンを設定することで、隣接セルの影響を受けていると思われるセルと、影響を受けていないと思われるセルとに分別することができる。

図 6では、閾値を中心として、ある一定範囲の領域を設定しているが、これにより、孤立セル、もしくは隣接セルの多くが注目セルと異なる値である場合、注目セルの階調値は異なる方向に引っ張られるため、閾値周辺の値となる。閾値からある一定範囲の領域を設定することで、隣接セルの影響を受けるセルと、影響を受けないセルとに分別することができる。

そして、領域範囲の外にあるセルは、閾値と比較してセルの値を決定する。隣接セルの影響を受けるセルと受けないセルに分別して処理を行うことで、誤りのない正確なセルの値を求めることが可能である。

以上をまとめる。

2次元マトリックス上にパターンとして配置されたセルの値を求めるため、まず画像メモリ空間上のセルの座標値を検出する。次に、検出した座標上のセルの階調値を求める。次に、セルの階調成分のヒストグラムを作成し、閾値を決定する。閾値を中心としてある一定幅の領域を設け、隣接セルの影響を受けるセルと、影響を受けないセルとに分別する。そして、領域内のセルは、隣接セルと比較してセルの値を決定する。領域外のセルは、閾値と比較してセルの値を決定する。

以上の処理を行うことで、光学解像度が低い場合やピントのずれ等が発生した場合であっても、セルの値を正確に変換処理し、認識精度を落とすことなく 2次元コードの読み取りが可能となる。

更に、本発明の実施形態では、以下のような手段を施す。

認識対象のコードに対し、カメラ付きの認識装置を移動させながら、画像を撮影し認識を行う場合、一般に画像 1枚の撮影時間に比較し、認識処理に要する時間が長く、その結果、単位時間当たりに表示できる画像の枚数が低下し、ユーザインターフェースの機能が低下していたという問題点に対し、以下のようにする。

対象画像にコードが含まれるか認識の可能性を評価する前処理手段を設け、前処理手段の判定結果で対象がコードと判定できた場合のみ、実際の認識処理を実施する。この結果、単位時間当たりの認識試行回数を増加させ、単位時間当たりの認識処理速度が見かけ上向上し、更に、表示できる画像の枚数が向上することでユーザインターフェースの機能を向上する。

また、従来では、 1次元コードと 2次元コードを対象とする認、識の場合には、対象のコードをユーザが判断し、ユーザが認識処理自体を切り替えて実施していた。前記前処理手段で 1次元と 2次元コード領域の画像特徴を判定し、判定結果により 1次元と 2次元コードの認識処理を実行することで、認識処理の自動切り替えを行う。

2次元コードは白黒ドットが 5 0 %前後の比率で、かつ、 2次元に分布している特徴がある。そこで、画像の小領域（X、 Y) に対し、画素階調値分散、画素黒画素率、白黒エッジ数（縦横）の 1つ以上の特徴から 2次元コード領域である評価を行う前処理が可能となる。

1次元コードはある長さを持つ縦線が複数の本数組合わさつて構成される特徴がある。そこで、画像の小領域（X、 Y) に対し、画素階調値分散、白黒ェッジ数（横）、ライン相関の 1つ以上の特徴から 1次元コード領域である評価を行う前処理が可能となる。

認識対象のコードに対し、カメラ付きの認識装置を移動させながら、画像を撮影し、認識を行う場合、画像の撮影は静止画像の撮影制御方法を用い、特に、暗い場所ではセンサ感度を擬似的に向上させるため、センサの 1フレームの画像データの読み出し時間を超えて、複数フレームの画像を多重露光（一般に口ングシャツタと呼ぶ）することで階調性を確保した画像の撮影を行っていた。 —方、複数フレームを多重露光することで、動きに対してはぶれた画像が撮影され、その結果、コードの認識性能が低下していた。この問題に対しては、以下の通りとする。

カメラの撮影時間をカメラのデータ読み出し時間以内に限定することで、喑い場所でも認識に適した画像データを撮影することで、認識性能が向上した認識装置を提供する。

2次元コードは白と黒のセルと、 2次元コードの境界を示す Nセル分の白セルをもって構成されていた。 2次元コードの領域を抽出するためには、黒セルに続く Nセル分の白セルを検出し、検出した境界を連結した矩形部分を 2次元コード領域として抽出することが出来るように構成されていた。

一方、 2次元コードはユーザには意味のない白黒のセルの集合のため、デザイン上の観点から境界領域の周りを色で囲むなどの印刷を行って使用されていた。単純固定閾値やヒストグラムにより双方の山のピークを求め、決定した閾値でセルの白黒セルを決定すると、色の付いた境界領域の外側の部分も黒セルとなり、境界の判定時に 2次元コードの領域を抽出できない場合があった。この問題に対しては、以下の通りとする。

入力画像のヒストグラムで喑領域、明領域、背景の中間領域と 3つの山が出来る。その山の喑側のレベル範囲領域を決定する黒セルレベル決定過程により閾値を決定する。決定した閾値でセル値を求め、黒セルと非黒セルの連続長を用いて、コード境界を検出することで、 2次元コードの抽出を正しく行うことが出来る。

以下、より具体的に説明する。

ここでは、 2次元コードの例として Q Rコードを例にとって説明する。他の 2次元コードに関しても、同様の処理を行うことが出来る。 Q Rコード認識の詳細は、 J I S規格 " J I S X 0 5 1 0 : 2次元コードシンボル一 Q Rコ一ドー基本仕様解説" を参照する。

図 7は、 Q Rコードの認識処理フローである。

ステップ S 1 0 1において、黒/白セルの認識を行う。本発明の処理の多くは、このステップ S 1 0 1の詳細に関わる。ステップ S 1 0 2においては、 Q Rコードに含まれている形式情報の復号を行う。形式情報は、 Q Rコードの決められた位置に符号化されて記述されている Q Rコードの型番号及びマスクの種類である。これをステップ S 1 0 2では、復号する。ステップ S 1 0 3では、読み取った形式情報から型番を決定し、ステップ S 1 0 4においては、マスク処理の解除を行う。マスク処理とは、 2次元コードである Q Rコードを生成する場合、情報を単に符号化しただけでは、 2次元コードとした場合、 2次元面に配置される黒セルと白セルの配分が白側あるいは黒側に偏ってしまう。このとき、予め定めれた幾つかのマスクの内の 1つを 2次元コードに重畳してやり、黒セルと白セルの分布が均一になるようにするものである。

ステップ S 1 0 5においては、マスク処理を解除して得られた 2次元コードからデータ及び誤り訂正コード語の復元を行う。ステップ S 1 0 6においては、誤り訂正コード語を使用することによって、復元されたデ一タに誤りがあるか否かを判断する。ステップ S 1 0 6において、誤りがあると判断された場合には、ステップ S 1 0 7において、誤り訂正を行い、誤りがないと判断された場合にはそのまま捨て S 1 0 8に進む。ステップ S 1 0 8においては、データコ —ド語の復号を行い、ステップ S 1 0 9において、復号されたデータコード語を出力して、処理を終了する。

ステップ S 2 0 1において、光学機器より入力された画像から、 2次元のマトリックス上にパターンとして配置されたセルの値を求めるため、まず画像メモリ空間上のセルの座標値を検出する。セルの座標値の計算方法に関しては、

" J I S X 0 5 1 0 : 2次元コードシンボル一 Q Rコード一基本仕様角？説" に記載の手法を用いることとする。

ステップ S 2 0 2において、検出した座標上のセルの階調値を求める。

ステップ S 2 0 3において、セルの値を決定する。

ステップ S 3 0 1において、セルの階調成分の頻度を求め、ヒストグラムを作成する。コード領域に含まれる画素の階調成分からヒストグラムを作成しても良い。

ステップ S 3 0 2において、閾値を決定する。ヒストグラムの左側（喑）から走査していき、頻度がある一定値以上となる階調成分を検出し、階調成分の低い領域のピーク位置を求める。同様に右側（明）から走査していき、頻度がある一定値以上となる階調成分を検出し、階調成分の高い領域のピーク位置を求める。そして、 2つのピーク位置の中間を求め、閾値とする（図 2参照）。ステップ S 3 0 3において、領域範囲を設定する。

例えば、図 2のヒストグラムにおいて X軸に着目し、階調値の低い領域にできたピークと閾値との間を m分割し、閾値から n Zm離れた位置を求める範囲とする。同様にして、階調値の高い領域においても、閾値から n Zm離れた位置を求める範囲とする。なお、 nは mを超えない値とする。

ステップ S 3 0 4において、領域範囲内にあるセルと、領域範囲外にあるセノレとに分別する。

次に、ステップ S 3 0 5〜 S 3 0 9において、 2次元コードに格納されたセルの変換処理を行う。以下にパラメータの設定を行う。

a ) data[i] ：セルの階調値

b ) i：セノレ番号 c ) n ：セルの総個数

d ) flag[i]：領域内か領域外かの判別 1 ：領域外 0 ：領域内

d ) のパラメータは、ステップ S 3 0 4において求める。

ステップ S 3 0 5において、セル全てに対して変換処理を行ったか判別する。ステップ S 3 0 6において、 flag[i]の値により、 2つの処理に分別する。 flag[i] が 1であれば、ステップ S 3 0 7のセルの決定方法 1に進む。 flag[i]が 0であれば、ステップ S 3 0 8のセルの決定方法 2に進む。

ステップ S 3 0 7に進んだセルは、ヒストグラム上の領域範囲外に有るセルで、閾値と比較してセルの値を決定する。ステップ S 3 0 8に進んだセルは、ヒストグラム上の領域範囲内にあるセルで、隣接セルと比較してセルの値を決定する。

ステップ S 3 0 9において、セル番号を 1つ進め、ステップ S 3 0 5に進む。全てのセルに対して変換処理を行えば、処理を終了する。

同図のフローでは、個々のセルが、領域範囲内にある力領域範囲外にあるかを判別する。全てのセルに対して判別を行い、 flag[i]の値を設定する。以下にパラメータの設定を行う。他のパラメータに関しては a )〜 d ) と同様である。 e ) thresh 1 :領域範囲階調値が低い領域の閾値

f ) thresh2：領域範囲階調値が高い領域の閾値

ステップ S 4 0 1において、セル番号を初期化する。

ステップ S 4 0 2において、セルすべてに対して flag[i]を求めたかを判別する。ステップ S 4 0 3において、セルの階調値を比較し、領域範囲の内にあるか外にあるかを判別する。

ステップ S 4 0 4において、領域範囲の中に有れば flag[i]に 0を代入する。ステップ S 4 0 5において、領域範囲の外に有れば flag[i]に 1を代入する。ステップ S 4 0 6において、セル番号を 1つ進め、次に進む。

全てのセルに対して flag[i]の値を求めれば、処理を終了する。

図 1 1の処理を行うセルは、領域範囲外にあるセルであり、閾値と比較してセルの値を決定する。

ステップ S 5 0 1において、階調値と閾値の値を比較する。

ステップ S 5 0 2において、階調値が閾値よりも小さければ、セルの値を黒（0 ) とする。

ステップ S 5 0 3において、階調値が閾値よりも大きければ、セルの値を白（2 5 5 ) とする。

セルの値は黒を 0、白を 2 5 5としたが、その他の値を用いてもかまわない。図 1 2は、図 9のステップ S 3 0 8の詳細フローを示す図である。

この処理を行うセルは、領域範囲內にあるセルであり、隣接セルと比較してセルの値を決定する。

なお、各パラメータは以下の通りである。

j ：隣接セル番号

k ：隣接セルの個数

4近傍では k = 4

8近傍では k = 8

count— b ：隣接セルの黒の個数

count— w ：隣接セルの白の個数

ndata[i]：隣接セルの階調値

rev_thresh：隣接セルがこの個数以上あれば、隣接セルと異なる値に中心セルの種類を決定する。

ステップ S 6 0 1において、パラメータの初期化を行う。ステップ S 6 0 2において、隣接セル全ての値を求めたか判別を行う。

ステップ S 6 0 3において、隣接セルの階調値（ndataij]) が閾値を超えているかを判別する。

閾値以下であれば、 S 6 0 4において黒のカウントを 1つ進める。

閾値以上であれば、 S 6 0 5において白のカウントを 1つ進める。

ステップ S 6 0 6で隣接セルの参照個所を 1つ進め、全ての隣接セルを決定すれば次の処理に進む。

ステップ S 6 0 7において、隣接セルが閾値以上個数黒であるかを判別する。ステップ S 6 0 8において、閾値以上個数黒であれば、注目セルを白の値に決定し、処理を終了する。

ステップ S 6 0 9において、隣接セルが閾値以上個数白であれば注目セルを黒の値に決定し、処理を終了する。ステップ S 6 1 1において、どちらにも属さなければ、注目セルを閾値と比較して、セルの値を決定する。閾値以下であれば黒とし、閾値以上であれば白とする。

図 1 3は、本発明の実施形態に従った前処理について説明する図である。認識対象の 2次元コードに対し、カメラ付きの認識装置を移動させながら、画像を撮影し、認識を行う場合、一般に、画像 1枚の撮影時間に比較して認識処理に要する時間が長く、その結果、単位時間当たりに表示できる画像の枚数が低下することでユーザィンターフェースの機能が低下していた。

対象画像に 2次元コードが含まれるか否かを評価する前処理手段を設け、前処理手段の判定結果で対象が 2次元コードと判定できた場合にのみ、実際の認識処理を実施することで、単位時間当たりの認識試行回数を増加させ単位時間当たりの認識処理速度が見かけ上向上し、表示できる画像の枚数も向上し、ュ一ザインターフェースの機能を向上できる。

図 1 3においては、コード認識を開始すると、認識用画像をステップ S 7 0 0において取得する。ステップ S 7 0 1では、プレビュー画像を作成し、プレビューをユーザに提示する。取得された画像は、ステップ S 7 0 2において、前処理され、ステップ S 7 0 3において、画像にコードが含まれているか否かを判断する。コードが含まれていないと判断された場合には、再び、認識用画像の取得を行う。ステップ S 7 0 3でコードが含まれていると判断された場合には、ステップ S 7 0 4において、 2次元コード認識処理を行う。ステップ S 7 0 5では、デコードに成功したか否かを判断する。失敗した場合には、再び、認識用画像の取得を行う。デコードに成功した場合には、ステップ S 7 0 6において、デコード結果を出力して、コード認識を終了する。

撮影した画像に対して、前処理として以下の処理を行い、それらの条件を満足した場合のみ、対象の画像に 2次元コードが存在するものと判断し、認識処理を実施する。

前処理：撮影画像の小領域（X X Y画素）に対し、

•画素の階調値分散（コントラスト）〉 _α

- β 1 <画素の黒画素率 < β 2

- 白黒エッジ数（縦横方向） > _Ί

の条件を満足する場合に 2次元コード領域と判定する。なお、ひ、 1 , /3 2、 Τは、予め実験的に求めておく。

図 1 4は、本発明の実施形態に従った前処理の別の形態の説明図である。なお、同図において、図 1 3と同じステップには同じ符号を付し、説明を省略する。

更に、従来では、 1次元コードと 2次元コードを対象とする場合には、対象のコードをユーザが判断し、ユーザが認識処理を切り替えて実施していた。対象画像に 1次元と 2次元コードが含まれるか否かを評価する前処理手段を設け、前処理手段の判定結果で対象が 1次元、 2次元コードと判定できた場合にのみ、実際の認識処理を実施することで、単位時間当たりの認識試行回数を増加させ、単位時間当たりの認識処¾速度が見かけ上向上し、表示できる画像の枚数も^] 上し、ユーザインターフェースの機能を向上できるとともに、 1次元と 2次元コードに対して自動の認識処理が実現できる。

撮影した画像に対し、前処理として以下の処理を行い、それらの条件を満足した場合のみ、対象の画像にコードが存在するものと判断し、認識処理を実施する。

前処理：

撮影画像の小領域（X X Y画素）に対し、

2次元コード

■画素の階調値分散（コントラスト） > ひ

· /3 1 <画素の黒画素率 < β 2

• 白黒エッジ数（縦横共） > _Ί

1次元コード

-画素の階調値分散（コントラスト） > _α

■ 白黒エッジ数（横）〉 Θ

· ライン相関 =相関ピーク位置がライン間で同一

の場合に 2次元、 1次元コード領域と判定

図 1 3の場合と同様に、 α、 β 1、 β 2 , γ、 0等は、実験的に最適な値を IX ALし飞 \

図 1 5は、前処理の流れを示すフローチャートである。

まず、ステップ S 8 0 0において、画素値の階調値分散が範囲外か否かを判断し、範囲外の場合には、ステップ S 8 0 7でコード無し結果出力を行い前処理を終了する。ステップ S 8 0 1では、横エッジ数を計算し、範囲外の時には、ステップ S 8 0 7へ、範囲内の時には、ステップ S 8 0 2において縦エッジ数を検出する。ステップ S 8 0 2において、縦エッジ数が範囲外の場合には、ステツプ S 8 0 4に進む。縦エッジ数が範囲内の時は、ステップ S 8 0 3において、黒画素率を検出し、範囲外の時は、ステップ S 8 0 7に進み、範囲内の時は、ステップ S 8 0 4に進む。ステップ S 8 0 4では、ライン間相関を取り、ステップ S 8 0 5において、コードがあるか否かを判断する。ステップ S 8 0 5で、コード無しと判断された場合には、ステップ S 8 0 7に進む。ステップ S 8 0 5で、コード有りと判断された場合には、ステップ S 8 0 6において、 1次元コードか 2次元コードかの判定結果を出力し、処理を終了する。

従来の場合、認識対象の 2次元コードに対し、カメラ付きの認識装置を移動させながら、画像を撮影し、認識を行う場合、画像の撮影は静止画像の撮影制御方法を用い、特に、暗い場所では、センサ感度を擬似的に向上させるため、センサの 1枚の画像データの読み出し時間を超えて、複数フレームの画像を多重露光（ロングシャッター）することで、階調を確保した画像の撮影を行っていた。一方、複数フレームを多重露光することで、動きによってボケた画像が撮影され、その結果、認識性能が低下していた（図 1 6参照：従来の露光時間制御)。

本発明の実施形態においては、カメラの露光時間をカメラの 1フレームの駆動時間以内に限定することで（図 1 6参照：本発明の露光時間制御）、暗い場所でも認識に適した動きに追従出来るボケのない画像データを撮影することで、認識性能が向上した認識装置を提供する。図 1 7及び図 1 8は、本発明の実施形態に従った 2次元コードと背景色の分離方法を説明する図である。

2次元コードは白と黒のセルと、 2次元コードの境界を示す Nセル分の白セルをもって構成されていた。 2次元コードの領域を抽出するためには、黒セルに続く Nセル分の白セルを検出し、検出した境界を連結した矩形部分を 2次元コード領域として抽出する事が出来るように構成されていた。

一方、 2次元コードはユーザには意味のない白黒のセルの集合のため、デザイン上の観点から境界領域の周りを色で囲むなどの印刷を行って使用されていた。単純固定閾値やヒストグラムにより階調値の双峰形状の山のピークを求め、決定した閾値でセルの白黒セルを決定すると、色のついた境界領域の外側の部分も黒セルとなり、境界の判定時に 2次元コードの領域を抽出できなレ、場合があった。

図 1 7に示すように、入力画像のヒストグラムで喑領域、明領域、背景の中間領域と 3つの山が出来る。そこで、その山の喑側のレベル範囲領域を決定する、前述したような黒セルレベルの決定方法（図 2において、閾値を黒セルレベルに設定する）により閾値を決定する。決定した閾値でセル値をもとめ、黒セルと非黒セルの連続長を用いてコード境界を検出することで、 2次元コードの抽出を正しく行うことが出来る。

図 1 8では、 2次元コードの境界部分の階調値と認識されたセルの関係を示している。従来例では境界と判定されない場合でも、本発明により、境界の判定が正しく行うことが出来る。検出された境界を連結して、矩形領域を切り出すことで、 2次元領域の抽出を正しく行うことが出来る。産業上の利用可能性

本発明により、光学解像度が低い場合やピントのずれ等が発生した場合においても、セルの値を正確に変換することが可能であり、認識精度を落とすことなく、 2次元コードの読み取りが可能となる。

本発明の認識方法を用いることで、認識精度の高い 2次元コード読み取り装置を提供することが可能である。

更に、単位時間当たりの認識処理速度を前処理の判定により向上することで、表示できる画像の枚数が向上し、ユーザィンターフェースの機能を向上する。また、暗い場所でも認識に適した画像データを撮影することで、認識性能が向上した認識装置を提供することが可能である。

Claims

請求の範囲

1 . データをセル化して 2次元に配置した 2次元コードの認識において、注目セル上の座標を検出する座標検出過程と、

検出した座標の階調値を求める階調値検出過程と、

検出した階調値から注目セルの値を決定するセル値決定過程と、

を有することを特徴とする 2次元コード認識方法。

2 . データをセル化して 2次元に配置した 2次元コードの認識において、注目セルの階調値を求める階調値検出過程と、

画像の階調値の頻度を求めてヒストグラムを作成するヒストグラム作成過程と、

ヒストグラムの中で、ある一定値以上かつ最も明側に有る階調値を求める第 1の階調値検出過程と、

ヒストグラムの中で、ある一定値以上かつ最も暗側にある階調値を求める第 2の階調値検出過程と、

前記第 1及び第 2の階調値検出過程で求めた階調値の中央を所定の閾値とする閾値検出過程と、

注目セルの階調値と前記閾値とを比較し、注目セルの種類を決定すること、を特徴とする 2次元コード認、識方法。

3 . 注目セルと隣接セルの階調値とを比較する階調値比較過程と、

階調値比較過程結果に基づいて注目セルの値を決定するセル値決定過程と、を有することを特徴とする 2次元コード認識方法。

4 . 注目セルと隣接セルの階調値とを比較する階調値比較過程と、

隣接セルと閾値とを比較する隣接セル閾値比較過程と、

階調値比較過程かつノまたは隣接セル閾値比較過程により、隣接セルの種類を決定する隣接セル決定過程と、

隣接するセルがすべて同じ種類、または、ある一定個数以上同じ種類であれば、注目セルを隣接セルと異なる種類に決定すること、

を特徴とする 2次元コード認識方法。

5 . 前記隣接セルは、

X方向かつ y方向に 4つのセルを選択すること、

を特徴とする請求項 3または 4に記載の 2次元コード認識方法。

6 . 前記隣接セルは、

X方向かつ y方向に 8つのセルを選択すること、

7 . セル値決定過程は、

前記一定の領域範囲に対して階調値が範囲内にあるセルのみに作用させることを特徴とする請求項 3または 4に記載の 2次元コード認識方法。

8 . セル値決定過程は、

前記ヒストグラム作成過程及び前記閾値検出過程において検出した閾値に対し、

閾値を含み、かつ、明側と喑側の所定の閾値まで一定の領域範囲にあるセルのみに作用させることを特徴とする請求項 3または 4に記載の 2次元コード認識方法。

9 . セル値決定過程は、

前記一定の領域範囲に対して階調値が範囲外にあるセルを選択し、選択したセルを閾値と比較してセル値を決定すること、

を特徴とする 2次元コード認識方法。

1 0 . データをセル化して 2次元に配置した 2次元コードの認識において、セルの座標値を検出する座標値検出過程と、

検出した座標上の階調値を求める階調値検出過程と、

ヒストグラムから閾値を求める閾値検出過程と、

閾値からある一定の距離を求め、閾値から一定の距離までを指定領域とする領域範囲決定過程と、

階調値が領域範囲の内に有るセルを選択する領域内セル選択過程と、階調値が領域範囲の外にあるセルを選択する領域外セル選択過程と、前記領域外セル選択過程において選択したセルを、階調値と閾値とを比較した結果から、セルの種類を決定するセル値決定過程と、

前記領域内セル選択過程において選択したセルを、注目セルに隣接するセルの階調値を検出する隣接セル階調値検出過程と、

隣接するセルが全て同じ種類で有れば、注目セルを隣接セルと異なる種類に決定する第 1のセル値決定過程と、

隣接するセルがすべて同じ種類でなければ、注目セルを閾値と比較して競るの種類を決定する第 2のセノレ値決定過程と、を有することを特徴とする 2次元コード認識方法。

1 1 . カメラから画像を入力し、コードの認識を行う認識装置において、コードらしさを判定する複数手段を有する前処理手段を設け、

前記前処理手段の判定結果が否である場合に入力画像の更新処理を即時実行すること、

を特徴とするコード認識装置。

1 2 . 前記前処理手段は、

1次元と 2次元コ一ド領域の画像特徴を判定し、判定結果により 1次元と 2 次元コードの認識処理を実行すること、

を特徴とするコード認識装置。

1 3 . 前記前処理手段は、

画像の小領域に対し、画素階調値分散、画素黒画素率、白黒エッジ数の 1つ以上の結果に基づいて 2次元コードであるか否かを判定すること、

を特徴とする 2次元コード認識装置。

1 4 . 前記前処理手段は、

画像の小領域に対し、画素階調値分散、白黒エッジ数、ライン相関の 1っ以上の結果に基づいて 1次元コードであるか否かを判定すること、

を特徴とするコード認識装置。

1 5 . カメラから画像を入力し、コード認識を行う認識装置において、該カメラの露出時間が該カメラの 1フレームの周期を超えないこと、を特徴とするコード認識装置。

1 6 . 画像の階調値の頻度を求めてヒストグラムを作成するヒストグラム作成過程と、

前記ヒストグラム作成過程の結果を用いて喑側のレベル範囲領域を決定する黒セルレベル決定過程とを有し、

前記黒セルレベル決定過程で求めた黒セルと非黒セルの連続長を用いてコ一ド境界を検出すること、

を特徴とする 2次元コード認、識方法。