JP6313725B2 - 画像処理装置及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明の実施形態は、画像処理装置及びコンピュータ可読記憶媒体に関する。

倉庫や店舗の管理者は、棚に載せられた多くの物品を管理している。このような管理は、物品を撮影し、画像に写る物品に貼られたラベルに記載されている文字列を識別する装置によって行われている。画像における文字列部分は２値画像領域である。画像の２値画像領域は、装置が文字列を識別できる程度に鮮明でなければならない。そのため、２値画像領域の鮮明度を定量的に判定可能な技術が望まれている。

特許第４４１２２１４号公報

本発明の実施形態が解決しようとする課題は、２値画像領域の鮮明度を定量的に判定可能な画像処理装置及びコンピュータ可読記憶媒体を提供することにある。

実施形態によれば、画像処理装置は、演算部と、比較判定部と、出力部を備える。前記演算部は、画像を構成する画素の階調情報に基づいて標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する。前記比較判定部は、前記比と基準値とを比較する。前記出力部は、前記比較判定部による比較結果を出力する。

第１の実施形態に係る一例となる画像処理装置のブロック図。 第１の実施形態に係る一例となる画像処理装置の移動方向を説明する図。 第１の実施形態に係る鮮明度判定に用いられる一例となる指標を説明するための図。 第１の実施形態に係る画像処理装置により算出されるＳＥＲの値を示す図。 第１の実施形態に係る画像処理装置による一例となる処理のフローチャート。 第１の実施形態に係る画像処理装置による他の例となる処理のフローチャート。 比較例となる画像を示す図。 第２の実施形態に係る画像処理装置よる鮮明度判定の手法を説明する図。 第２の実施形態に係る画像処理装置による一例となる処理のフローチャート。 第２の実施形態に係る画像処理装置による他の例となる処理のフローチャート。 第３の実施形態に係る一例となる画像処理装置のブロック図。

以下、いくつかの実施の形態について、図面を参照して説明する。
（第１の実施形態）
第１の実施形態について説明する。図１は、第１の実施形態に係る一例となる画像処理装置１０のブロック図である。
画像処理装置１０は、倉庫や店舗の棚２０に載せられた複数の物品の在庫管理等に用いられる。画像処理装置１０は、移動体１１と、制御部１２と、撮影部１３と、処理部１４と、記憶部１５と、表示部１６と、音声出力部１７を備える。なお、画像処理装置１０は、これら全ての要素を必ず備えている必要はない。例えば、画像処理装置１０は、少なくとも処理部１４及び記憶部１５を備える装置であってもよい。

移動体１１は、画像処理装置１０を何れの方向にも移動可能な台車である。移動体１１は、直線状に並べられた棚２０の延在方向と平行な方向に走行することもできるし、棚２０の延在方向と直交する方向に走行することもできる。

制御部１２は、処理部１４からの信号に基づいて移動体１１の動作を制御する。制御部１２は、移動体１１の走行方向や、走行の開始及び停止を制御する。移動体１１の動作は、処理部１４で判断されても、制御部１２で判断されてもよい。

撮影部１３は、レンズ１３１を備え、画像を撮影するカメラである。撮影部１３は、動画像を撮影するカメラであっても、静止画像を撮影するカメラであってもよい。撮影部１３は、撮影した画像のデータを処理部１４へ送る。

処理部１４は、画像処理装置１０の中枢部分に相当する。処理部１４は、オペレーティングシステムやアプリケーションプログラムに従って、画像処理装置１０の各要素を制御する。処理部１４は、演算部１４１と、比較判定部１４２を備える。処理部１４は、演算部１４１及び比較判定部１４２により、撮影部１３が撮影した１画像中に含まれる２値画像領域の鮮明度を定量的に判定する。２値画像領域は、例えば、画像における文字や記号などが写る領域である。２値画像領域の鮮明度とは、２値画像領域の認識のし易さ、または、２値画像領域における焦点ぼけの度合いに対応する。この１画像中に含まれる２値画像領域の鮮明度の定量的な判定（以下、鮮明度判定という）の手法については、後述する。

処理部１４は、移動体１１の動作の指示を制御部１２へ送る。なお、処理部１４は、処理部１４による鮮明度判定の結果自体を制御部１２へ送ってもよい。この場合、制御部１２は、鮮明度判定に基づいて移動体１１の動作を決定する。

処理部１４は、表示部１６での表示に関する信号を表示部１６へ送る。処理部１４は、音声出力部１７での音声出力に関する信号を音声出力部１７へ送る。

記憶部１５は、上記オペレーティングシステムやアプリケーションプログラムを記憶するメモリを含む。さらに、記憶部１５は、処理部１４による処理に必要なワークエリアとなるメモリを含む。さらに、記憶部１５は、処理部１４による処理に必要なデータを記憶するメモリを含む。記憶部１５は、複数の基準値１５１を記憶している。複数の基準値１５１は、鮮明度判定のための閾値である。

表示部１６は、処理部１４からの信号に基づいて映像を表示するディスプレイである。音声出力部１７は、処理部１４からの信号に基づいて音声を出力するスピーカである。表示部１６及び音声出力部１７は、出力部である。

図２は、第１の実施形態に係る画像処理装置１０の走行方向を説明する図である。図２の左図と図２の右図とは、互いに直交した方向から見た図である。図２の左図を参照すると、画像処理装置１０は、移動体１１の走行によって棚２０の延在方向と平行に移動する。したがって、撮影部１３は、棚２０の延在方向と平行に移動しながら、棚２０に載せられた複数の物品に貼られているそれぞれのラベルを順次撮影することができる。

図２の右図を参照すると、画像処理装置１０は、棚２０の延在方向と平行な方向への移動を停止し、移動体１１の走行によって棚２０の延在方向と直交する方向へ移動する。画像処理装置１０が棚２０の延在方向と直交する方向へ移動するのは、撮影部１３と撮影対象（棚２０、より具体的には、棚２０に載っている物品）との距離を適切に保つためである。なお、撮影部１３と撮影対象との距離は、移動体１１と棚２０との距離と言い換えられる。したがって、画像処理装置１０は、撮影部１３が順次撮影する各画像に含まれる２値画像領域の鮮明度を保つことができる。

次に、鮮明度判定に用いられる指標について説明する。図３は、第１の実施形態に係る鮮明度判定に用いられる一例となる指標を説明するための図である。図３は、異なる３つの２値画像に関するデータを示す。３つの画像は、それぞれの画像全体が２値画像領域である。図３において「１」で示すデータは、焦点が合っている第１の画像に対応している。第１の画像は、鮮明な画像である。図３において「２」で示すデータは、第１の画像よりも焦点が少しぼけた第２の画像に対応している。第２の画像は、第１の画像よりも不鮮明な画像である。図３において「３」で示すデータは、第２の画像よりもさらに焦点がぼけた第３の画像に対応している。第３の画像は、第２の画像よりもさらに不鮮明な画像である。

図３の左図は、第１の画像、第２の画像及び第３の画像それぞれの任意の１ラインのデータを入力関数として表したグラフである。横軸は１画像の任意の１ラインに含まれる各画素の座標を示し、縦軸は階調（画素値）を示す。処理部１４は、鮮明度判定の対象となる１画像のデータから入力関数を生成する。なお、任意の１ラインは、１画像全体の横軸に対応していても、縦軸に対応していてもよい。

図３の中央図は、第１の画像、第２の画像及び第３の画像それぞれのヒストグラムを表したグラフである。横軸は階調を示し、縦軸は画素数を示す。ヒストグラムは、鮮明度判定の対象となる１画像の任意の１ラインに含まれる画素の分布であり、画像を構成する画素の階調情報である。処理部１４は、入力関数からヒストグラムを生成する。ヒストグラムの２つのピークは、２値画像が鮮明になるほど鋭くなる。さらに、ヒストグラムの２つのピークの位置は、２値画像が鮮明になるほど離れる。

図３の右図は、第１の画像、第２の画像及び第３の画像それぞれにおける標準偏差σとエントロピーＳとの比（σ／Ｓ）（以下、ＳＥＲという）を表したグラフである。処理部１４は、以下に示す計算式を用いてヒストグラムに基づいて標準偏差σ及びエントロピーＳを計算する。その後、処理部１４は、標準偏差σ及びエントロピーＳに基づいてＳＥＲを計算する。

標準偏差σの計算式は、以下とおりである。
ここで、
エントロピーＳの計算式は、以下のとおりである。
ここで、n_iはヒストグラムにおける階調iの画素数、nはヒストグラムにおける全画素数である。

標準偏差σは、ヒストグラムにおける少なくとも２つのピークの分離度を表す指標である。エントロピーＳは、ヒストグラムにおけるピークの鋭さを表す指標である。ＳＥＲは、２値画像領域の鮮明度を定量的に表す指標である。標準偏差σは、ヒストグラムの２つのピークが離れるほど大きくなる。エントロピーＳは、ヒストグラムの２つのピークが鋭くなるほど小さくなる。標準偏差σが大きく、エントロピーＳが小さければ、ＳＥＲの値は大きい。

図３の右図を参照すると、ＳＥＲは、第３の画像、第２の画像、第１の画像の順で大きい。この順序は、焦点ぼけの度合いが軽減される画像の順序と一致している。ＳＥＲが大きければ、２値画像領域は鮮明であるといえる。したがって、ＳＥＲは、２値画像領域の鮮明度を定量的に表す指標として有効である。

なお、ＳＥＲは、ヒストグラムにおける少なくとも２つのピークの分離度を表す指標（一例が標準偏差σ）と、ヒストグラムにおけるピークの鋭さを表す指標（一例がエントロピーＳ）との比であればよい。そのため、処理部１４は、標準偏差σやエントロピーＳ以外の指標を用いてＳＥＲを計算してもよい。例えば、標準偏差σの大きさは、画像全体の明るさによって変わる。そのため、処理部１４は、標準偏差σの代わりに標準偏差σを平均値ｍで割った変動係数を用いてＳＥＲを計算することが好ましい。処理部１４は、標準偏差σの代わりに標準偏差σの２乗である分散を用いてＳＥＲを計算してもよい。処理部１４は、エントロピーＳを計算する際に各階調の画素数niを全画素数nで割っているが、各階調の画素数niを全画素数nで割らなくてもよい。

なお、ＳＥＲは、１画像の任意の１ラインに基づいて算出される値に限られるものではない。例えば、ＳＥＲは、１画像の任意の複数ラインまたは全ラインから算出される複数のＳＥＲの平均値であってもよい。

次に、異なる画像におけるＳＥＲの違いについて説明する。図４は、第１の実施形態に係る処理部１４によって計算されるＳＥＲを示す図である。図４は、同一の文字列ＡＢＣＤが写る異なる３つの画像、それぞれのヒストグラム及びそれぞれのＳＥＲを示す。

図４の左図は、焦点が合っている第４の画像を示す。第４の画像は、鮮明な２値画像である。第４の画像は、全体が２値画像領域である。図４の中央図は、第４の画像よりも焦点がぼけた第５の画像を示す。第５の画像は、第４の画像よりも不鮮明な２値画像である。第５の画像は、全体が２値画像領域である。図４の右図は、第４の画像よりも焦点がぼけているが、第５の画像よりも焦点が合っている第６の画像を示す。第６の画像は、第４の画像よりも不鮮明であるが、第５の画像よりも鮮明な画像である。ただし、第６の画像は、全体にわたって第４の画像よりもコントラストの小さい画像である。

処理部１４は、図３を用いて上述したように、第４の画像、第５の画像及び第６の画像それぞれの標準偏差σ、エントロピーＳ及びＳＥＲを計算することができる。

図４の左図に示すように、第４の画像の標準偏差σは８２、エントロピーＳは０．６、ＳＥＲは６８である。図４の中央図に示すように、第５の画像の標準偏差σは７１、エントロピーＳは１．１、ＳＥＲは３１である。図４の右図に示すように、第６の画像の標準偏差σは３１、エントロピーＳは０．５、ＳＥＲは２９である。

第４の画像のＳＥＲは、第５の画像のＳＥＲの２倍以上である。これは、２つの画像のエントロピーＳの差が効いているからである。一方、第６の画像のＳＥＲは、第４の画像のＳＥＲの約１／２である。これは、２つの画像の標準偏差σの差が効いているからである。

処理部１４は、ＳＥＲと基準値とを比較することで、画像に含まれる２値画像領域が鮮明か否かを判定することができる。ＳＥＲが基準値よりも大きければ、処理部１４は、２値画像領域は鮮明であると判断する。一方、ＳＥＲが基準値よりも大きくなければ、処理部１４は、２値画像領域は鮮明ではない、または、画像自体のコントラストが小さいと判断する。このように、ＳＥＲは、２値画像領域の鮮明度の状態を評価できる指標であるだけではなく、画像自体のコントラストの状態も同時に評価できる指標である。したがって、ＳＥＲは、２値画像領域の鮮明度を定量的に表す指標として有効である。

次に、画像処理装置１０による処理の一例を説明する。図５は、第１の実施形態に係る画像処理装置１０による一例となる処理のフローチャートである。

移動体１１は、制御部１２による制御に基づいて走行を開始する（Ａｃｔ１００１）。移動体１１は、棚２０の延在方向と平行な方向に沿って走行する。撮影部１３は、棚２０に置かれている物品（撮影対象）を移動しながら撮影する（Ａｃｔ１００２）。処理部１４は、撮影部１３が撮影した画像を取り込む（Ａｃｔ１００３）。Ａｃｔ１００３において撮影部１３から処理部１４へ取り込まれた画像は、鮮明度判定の対象となる画像である。処理部１４は、鮮明度判定の対象となる画像のエントロピーに基づいて標準偏差σ及びエントロピーＳを計算し、標準偏差σ及びエントロピーＳに基づいてＳＥＲを計算する（Ａｃｔ１００４）。Ａｃｔ１００４は、例えば処理部１４内の演算部１４１によって行われる。

処理部１４は、ＳＥＲと第１の閾値とを比較する（Ａｃｔ１００５）。Ａｃｔ１００５は、例えば処理部１４内の比較判定部１４２によって行われる。第１の閾値は、記憶部１５に記憶されている第１の基準値に対応する。第１の基準値は、画像に含まれる２値画像領域が鮮明か否かを判断するための基準である。第１の基準値は、任意な値を予め設定できる。例えば、第１の基準値は、予め撮影された鮮明な２値画像領域を含む画像のＳＥＲに対応していてもよい。なお、ＳＥＲが第１の閾値よりも大きくない場合とは、２値画像領域が鮮明ではないこと、または、画像自体に２値画像領域が含まれていないことを意味する。一方、ＳＥＲが第１の閾値より大きい場合とは、２値画像領域が鮮明であることを意味する。

ＳＥＲが第１の閾値よりも大きくない場合（Ａｃｔ１００５、Ｎｏ）、制御部１２は、処理部１４からの信号に基づいて移動体１１の走行を停止するように制御する（Ａｃｔ１００６）。制御部１２は、処理部１４からの停止命令に基づいて移動体１１の走行を停止するように制御する。なお、制御部１２は、処理部１４から送られるＳＥＲと第１の閾値との比較結果に基づいて、移動体１１の走行の停止を判断してもよい。

なお、Ａｃｔ１００５においてＳＥＲは第１の閾値よりも大きくないと処理部１４が判断した場合、処理部１４は、ＳＥＲと第１の閾値との比較結果を表示部１６及び音声出力部１７の少なくとも１つに送ってよい。表示部１６及び音声出力部１７は、処理部１４による比較結果を出力する。表示部１６は、処理部１４による比較結果を表示することができる。音声出力部１７は、処理部１４による比較結果を音声で出力することができる。一例として、比較結果はＳＥＲ及び第１の閾値である。他の例として、比較結果は、２値画像領域が鮮明ではないこと、または撮影部１３の焦点が合っていないことなどの警告である。表示部１６または音声出力部１７による出力により、管理者は、撮影部１３が撮影する画像に含まれる２値画像領域の状態を認識することができる。

次に、制御部１２は、比較結果に基づいて撮影部１３と現在の画像に写る撮影対象との距離を修正するように制御する（Ａｃｔ１００７）。Ａｃｔ１００７では、制御部１２は、撮影部１５の焦点が合うように移動体１１の位置を制御する。例えば、制御部１２は、移動体１１と棚２０との距離を縮める方向または離す方向に移動体１１を所定距離走行させるように制御する。撮影対象は、棚２０、より具体的には棚２０に載せられた物品である。移動体１１の走行距離は任意に設定可能である。Ａｃｔ１００２に戻って、撮影部１３は再び同一の撮影対象を撮影する。つまり、同一の撮影対象が写る画像のＳＥＲが第１の閾値よりも大きくなるまで、画像処理装置１０は、Ａｃｔ１００２〜Ａｃｔ１００７により、同一の撮影対象が写る複数の画像を処理する。

ＳＥＲが第１の閾値よりも大きい場合（Ａｃｔ１００５、Ｙｅｓ）、処理部１４は、鮮明度判定の対象となっている現在の画像を記憶部１５に保存する（Ａｃｔ１００８）。Ａｃｔ１００１に戻って、移動体１１は走行を開始する。画像処理装置１０は、次の撮影対象が写る画像に含まれる２値画像領域の鮮明度判定を行う。

図５に示す処理によれば、画像処理装置１０は、ＳＥＲを用いることで画像に含まれる２値画像領域の鮮明度を定量的に判断することができる。そのため、画像処理装置１０は、移動体１１と棚２０との距離を適切に保ちながら、異なる撮影対象が写る鮮明な各画像を順次保存することができる。

次に、画像処理装置１０による処理の他の例を説明する。図６は、第１の実施形態に係る画像処理装置１０による他の例となる処理のフローチャートである。

図６のＡｃｔ２００１〜Ａｃｔ２００４及びＡｃｔ２００６〜Ａｃｔ２００８は、Ａｃｔ１００１〜Ａｃｔ１００４及びＡｃｔ１００６〜Ａｃｔ１００８それぞれと同様であるので、これらの説明を省略する。

Ａｃｔ２００５では、処理部１４は、鮮明度判定の対象となる現在の画像のＳＥＲが極大か否かを判断する。Ａｃｔ２００５は、例えば、処理部１４内の比較判定部１４２で行われる。ここでは、鮮明度判定の対象となる画像は撮影対象Ｘが写る画像であると仮定して、Ａｃｔ２００５における処理部１４による処理を説明する。

Ａｃｔ２００５において、処理部１４は、撮影対象Ｘが写る１枚目の画像のＳＥＲが極大か否かを判断する。ただし、この時点では、１枚目の画像のＳＥＲと比較する対象となる第２の閾値は記憶部１５に記憶されていない。そのため、処理部１４は、１枚目の画像のＳＥＲを第２の基準値として記憶部１５に保存する。つまり、第２の基準値は、現在の画像と同一の撮影対象Ｘが写る過去の画像のＳＥＲに対応する。第２の閾値は、記憶部１５に記憶されている第２の基準値に対応する。

その後、Ａｃｔ２００６、Ａｃｔ２００７及びＡｃｔ２００２〜Ａｃｔ２００４を経たＡｃｔ２００５において、処理部１４は、撮影対象Ｘが写る２枚目の画像のＳＥＲが極大か否かを判断する。２枚目の画像は、鮮明度判定の対象となる現在の画像である。処理部１４は、２枚目の画像のＳＥＲと第２の閾値とを比較する。２枚目の画像のＳＥＲが第２の閾値よりも大きくない場合、処理部１４は、第２の閾値に対応するＳＥＲが極大であると判断する。つまり、処理部１４は、ＳＥＲが極大となる撮影対象Ｘが写る画像を見つけたと判断する。Ａｃｔ２００８において、処理部１４は、第２の閾値に対応するＳＥＲの計算の基となった画像を記憶部１５に保存する。つまり、この画像の２値画像領域は鮮明であるといえる。

２枚目の画像のＳＥＲが第２の閾値よりも大きい場合、処理部１４は、第２の閾値に対応するＳＥＲが極大ではないと判断する。つまり、処理部１４は、ＳＥＲが極大となる撮影対象Ｘが写る画像はまだ見つかっていないと判断する。処理部１４は、２枚目の画像のＳＥＲに基づいて第２の基準値を更新して記憶部１５に保存する。

その後、再度Ａｃｔ２００６、Ａｃｔ２００７及びＡｃｔ２００２〜Ａｃｔ２００４を経たＡｃｔ２００５において、処理部１４は、撮影対象Ｘが写る３枚目の画像のＳＥＲが極大か否かを判断する。つまり、画像処理装置１０は、Ａｃｔ２００５において第２の閾値よりも大きくないＳＥＲが見つかるまで、同一の撮影対象Ｘが写る異なる画像を処理し続ける。以上のように、Ａｃｔ２００５において、処理部１４は、同一の撮影対象が写る複数の画像の中で極大のＳＥＲの計算の基となる画像を判断している。

なお、Ａｃｔ１００５において鮮明度判定の対象となる現在の画像のＳＥＲが極大ではないと処理部１４が判断した場合、図６を用いて説明したように、表示部１６及び音声出力部１７は、処理部１４による比較結果を出力してもよい。一例として、比較結果はＳＥＲ及び第２の閾値である。他の例として、比較結果は、２値画像領域の鮮明度が極大ではないこと、または撮影部１３の焦点が合っていないことなどの警告である。

図６に示す処理によれば、画像処理装置１０は、図５に示す処理により得られる画像よりも２値画像領域の鮮明度が高い画像を得ることができる。

（第２の実施形態）
第２の実施形態について説明する。ここでは、第１の実施形態と相違する部分について説明し、第１の実施形態と同様である部分については説明を省略する。

図７は、比較例となる画像を示す図である。図７は、同一の文字列ＡＢＣＤが写る異なる２つの画像、それぞれのヒストグラム及びそれぞれのＳＥＲを示す。図７の左図は、焦点が合っている第７の画像を示す。第７の画像は、鮮明な画像である。図７の右図は、第７の画像よりも焦点がぼけた第８の画像を示す。第７の画像及び第８の画像は、２値画像領域の周りを自然画像領域が囲む画像である。図７の左図に示すように、第７の画像のＳＥＲは１２である。図７の右図に示すように、第８の画像のＳＥＲは８である。焦点が合っている第７の画像のＳＥＲと焦点がぼけている第８の画像のＳＥＲとの間には十分な差がない。そのため、画像処理装置１０は、鮮明度判定の対象となる１画像から１つのＳＥＲを算出するだけでは、この画像に含まれる２値画像領域の鮮明度を判断することが難しい可能性がある。そこで、第２の実施形態に係る画像処理装置１０は、以下で説明するように鮮明度判定の対象となる１画像を複数のブロックに分割し、各ブロックのＳＥＲを算出する。

図８は、第２の実施形態に係る処理部１４による鮮明度判定の手法を説明する図である。図８の上段の図は、図７と同一の文字列ＡＢＣＤの文字列が写された異なる２つの画像を示す。

図８の左上の図は、焦点が合っている第９の画像を示す。第９の画像は、鮮明な画像である。図８の右上の図は、第９の画像よりも焦点が合っていない第１０の画像を示す。第１０の画像は、第９の画像よりも不鮮明な画像である。第９の画像及び第１０の画像は、２値画像領域の周りを自然画像領域が囲む画像である。

第２の実施形態では、処理部１４は、鮮明度判定の対象となる１画像を複数のブロックに分割し、各ブロックのＳＥＲを算出する。図８の上段の図を参照すると、処理部１４は、第９の画像及び第１０の画像を６４ブロックに分割している。処理部１４は、ブロック毎の任意の１ラインのデータに基づいて第１の実施形態で説明したように各ブロックのＳＥＲを計算する。なお、任意の１ラインは、各ブロックの横軸または縦軸に対応していてもよい。また、各ブロックのＳＥＲは、各ブロックの任意の複数ラインまたは全ラインから算出される複数のＳＥＲの平均値であってもよい。なお、画像の分割数は、任意に設定可能である。

図８の左中段の図は、第９の画像の各ブロックに対応する位置にヒストグラムを並べた図である。図８の左下の図は、第９の画像の各ブロックに対応する位置にＳＥＲの値を並べた図である。第９の画像では、２値画像領域に対応するブロックのＳＥＲは４０以上の値である。

図８の右中段の図は、第１０の画像の各ブロックに対応する位置にヒストグラムを並べた図である。図８の右下の図は、第１０の画像の各ブロックに対応する位置にＳＥＲの値を並べた図である。第１０の画像では、２値画像領域に対応するブロックのＳＥＲは２０以下の値である。２値画像領域に対応するブロックにおいて、図７に示す例とは異なり、焦点が合っている画像のＳＥＲと焦点が合っていない画像のＳＥＲとの差は大きい。そのため、画像処理装置１０は、鮮明度判定の対象となる１画像から算出した１つのＳＥＲに基づいて２値画像領域の鮮明度を判断することが困難であっても、この画像の各ブロックから算出した各ＳＥＲに基づいて２値画像領域の鮮明度を十分に判断することができる。

処理部１４は、各ブロックのＳＥＲと基準値とを比較することで、画像に含まれる２値画像領域が鮮明か否かを判定する。ブロックのＳＥＲが基準値よりも大きければ、処理部１４は、このブロックに含まれる２値画像領域は鮮明であると判断する。一方、ブロックのＳＥＲが基準値よりも大きくなければ、処理部１４は、このブロックに含まれる２値画像領域は鮮明ではないと判断する。ＳＥＲは、自然画像領域と２値画像領域が混在する画像においても、２値画像領域の鮮明度を定量的に表す指標として有効である。

次に、画像処理装置１０による処理の一例を説明する。図９は、第２の実施形態に係る画像処理装置１０による一例となる処理のフローチャートである。

移動体１１は、制御部１２による制御に基づいて走行を開始する（Ａｃｔ３００１）。移動体１１は、棚２０の延在方向と平行な方向に沿って走行する。撮影部１３は、棚２０に置かれている物体（撮影対象）を移動しながら撮影する（Ａｃｔ３００２）。処理部１４は、撮影部１３が撮影した画像を取り込む（Ａｃｔ３００３）。Ａｃｔ３００３において撮影部１３から処理部１４へ取り込まれた画像は、鮮明度判定の対象となる画像である。

処理部１４は、この画像を複数のブロックに分割する（Ａｃｔ３００４）。処理部１４は、複数のブロックにおける各ブロックのエントロピーに基づいて各ブロックの標準偏差σ及びエントロピーＳを計算し、標準偏差σ及びエントロピーＳに基づいて各ブロックのＳＥＲを計算する（Ａｃｔ３００５）。Ａｃｔ３００５は、例えば処理部１４内の演算部１４１で行われる。

処理部１４は、各ＳＥＲの値に基づいてＯＫブロック数を取得する（Ａｃｔ３００６）。ＯＫブロックは、鮮明な２値画像領域を含むブロックに対応する。Ａｃｔ３００６において、処理部１４は、一例として以下のようにＯＫブロックの数を取得する。処理部１４は、各ブロックのＳＥＲと第３の閾値とを比較する。第３の閾値は、記憶部１５に記憶されている第３の基準値に対応する。第３の基準値は、各ブロックに含まれる２値画像領域が鮮明か否かを判断するための基準である。第３の基準値は、任意に予め設定できる。例えば、第３の基準値は、予め撮影された鮮明な２値画像領域を含む画像のＳＥＲの値に対応していてもよい。なお、ブロックのＳＥＲが第３の閾値よりも大きくない場合とは、このブロックに含まれる２値画像領域が鮮明ではないこと、または、このブロック自体に２値画像領域が含まれていないことを意味する。一方、ブロックのＳＥＲが第３の閾値より大きい場合とは、このブロックに含まれる２値画像領域が鮮明であることを意味する。

任意のブロックのＳＥＲが第３の閾値よりも大きい場合、処理部１４は、このブロックをＯＫブロックと判断する。一方、任意のブロックのＳＥＲが第３の閾値よりも大きくない場合、処理部１４は、このブロックはＯＫブロックではないと判断する。処理部１４は、鮮明度判定の対象となる画像を構成する全ブロックのＳＥＲと第３の閾値とを比較する。処理部１４は、鮮明度判定の対象となる画像を構成する全ブロック中のＯＫブロックの数を取得する。ここでは、鮮明度判定の対象となる画像におけるＯＫブロック数を、この画像を構成する全ブロック数で割った値を第１の割合というものとする。

処理部１４は、第１の割合と第４の閾値とを比較する（Ａｃｔ３００７）。第４の基準値は、画像に含まれる２値画像領域が鮮明か否かを判断するための基準である。第４の基準値は、任意に予め設定できる。一例として、第４の基準値は、予め撮影された鮮明な２値画像領域を含む画像におけるＯＫブロック数を、この画像を構成する全ブロック数で割った値であってもよい。

なお、第１の割合が第１の閾値よりも大きくない場合とは、画像に含まれる２値画像領域が鮮明ではないこと、または、画像自体に２値画像領域が含まれていないことを意味する。一方、第１の割合が第１の閾値より大きい場合とは、画像に含まれる２値画像領域が鮮明であることを意味する。

第１の割合が第４の閾値よりも大きくない場合（Ａｃｔ３００７、Ｎｏ）、制御部１２は、処理部１４からの信号に基づいて移動体１１の走行を停止するように制御する（Ａｃｔ３００８）。Ａｃｔ３００８において、画像処理装置１０は、上述したＡｃｔ１００６と同様に処理してもよい。なお、Ａｃｔ３００７において第１の割合が第４の閾値よりも大きくないと処理部１４が判断した場合、図５を用いて説明したように、表示部１６及び音声出力部１７は、比較結果を出力してもよい。一例として、比較結果は第１の割合及び第４の閾値である。他の例として、比較結果は、２値画像領域が鮮明でないこと、または撮影部１３の焦点が合っていないことなどの警告である。

次に、制御部１２は、撮影部１５の焦点が合うように移動体１１の位置を修正するように制御する（Ａｃｔ３００９）。Ａｃｔ３００９において、画像処理装置１０は、上述したＡｃｔ１００７と同様に処理してもよい。Ａｃｔ３００２に戻って、撮影部１３は再び同一の撮影対象を撮影する。つまり、同一の撮影対象が写る画像における第１の割合が第４の閾値よりも大きくなるまで、画像処理装置１０は、Ａｃｔ３００２〜Ａｃｔ３００９により、同一の撮影対象が写る複数の画像を処理する。

第１の割合が第４の閾値よりも大きい場合（Ａｃｔ３００７、Ｙｅｓ）、処理部１４は、鮮明度判定の対象となっている現在の画像を記憶部１５に保存する（Ａｃｔ３０１０）。Ａｃｔ３００１に戻って、移動体１１は走行を開始する。画像処理装置１０は、次の撮影対象が写った画像に含まれる２値画像領域の鮮明度判定を行う。

次に、画像処理装置１０による処理の他の例を説明する。図１０は、第２の実施形態に係る画像処理装置１０による他の例となる処理のフローチャートである。

図１０のＡｃｔ４００１〜Ａｃｔ４００６及びＡｃｔ４００８〜Ａｃｔ４０１０は、図９のＡｃｔ３００１〜Ａｃｔ３００６及びＡｃｔ３００８〜Ａｃｔ３０１０と同様であるので、これらの説明を省略する。

Ａｃｔ４００７では、処理部１４は、鮮明度判定の対象となる現在の画像の第１の割合が極大か否かを判断する。Ａｃｔ４００７は、処理部１４内の比較判定部１４２で行われる。ここでは、鮮明度判定の対象となる画像は撮影対象Ｙが写る画像であると仮定して、Ａｃｔ４００７における処理部１４による処理を説明する。

Ａｃｔ４００７において、処理部１４は、撮影対象Ｙが写る１枚目の画像の第１の割合が極大か否かを判断する。ただし、この時点では、１枚目の画像の第１の割合と比較する対象となる第５の閾値は記憶部１５に記憶されていない。そのため、処理部１４は、１枚目の画像の第１の割合を第５の基準値として記憶部１５に保存する。つまり、第５の基準値は、現在の画像と同一の撮影対象Ｙが写る過去の画像の第１の割合に対応する。第５の閾値は、記憶部１５に記憶されている第５の基準値に対応する。

その後、Ａｃｔ４００８、Ａｃｔ４００９及びＡｃｔ４００２〜Ａｃｔ４００６を経たＡｃｔ４００７において、処理部１４は、撮影対象Ｙが写る２枚目の画像の第１の割合が極大か否かを判断する。２枚目の画像は、鮮明度判定の対象となる現在の画像である。処理部１４は、２枚目の画像の第１の割合と第５の閾値とを比較する。２枚目の画像の第１の割合が第５の閾値よりも大きくない場合、処理部１４は、第５の閾値に対応する第１の割合が極大であると判断する。つまり、処理部１４は、第１の割合が極大となる撮影対象Ｙが写る画像を見つけたと判断する。Ａｃｔ４０１０において、処理部１４は、第５の閾値に対応する第１の割合の計算の基となった画像を記憶部１５に保存する。つまり、この画像の２値画像領域は鮮明であるといえる。

２枚目の画像の第１の割合が第５の閾値よりも大きい場合、処理部１４は、第５の閾値に対応する第１の割合が極大ではないと判断する。つまり、処理部１４は、第１の割合が極大となる撮影対象Ｙが写る画像はまだ見つかっていないと判断する。処理部１４は、２枚目の画像の第１の割合に基づいて第５の基準値を更新して記憶部１５に保存する。

その後、再度Ａｃｔ４００８、Ａｃｔ４００９及びＡｃｔ４００２〜Ａｃｔ４００６を経たＡｃｔ４００７において、処理部１４は、撮影対象Ｙが写る３枚目の画像の第１の割合が極大か否かを判断する。つまり、画像処理装置１０は、Ａｃｔ４００７において第５の閾値よりも大きくない第１の割合が見つかるまで、同一の撮影対象Ｙが写る異なる画像を処理し続ける。以上のように、Ａｃｔ４００７において、処理部１４は、同一の撮影対象が写る複数の画像の中で極大の第１の割合の計算の基となる画像を判断している。

なお、Ａｃｔ４００７において鮮明度判定の対象となる現在の画像の第１の割合が極大ではないと処理部１４が判断した場合、図５を用いて説明したように、表示部１６及び音声出力部１７は、比較結果を出力してもよい。一例として、比較結果は第１の割合及び第５の閾値である。他の例として、比較結果は、２値画像領域の鮮明度が極大ではないこと、または撮影部１３の焦点が合っていないことなどの警告である。

第２の実施形態に係る画像処理装置１０は、第１の実施形態に係る画像処理装置１０よりも、自然画像領域と２値画像領域が混在する画像における２値画像領域の鮮明度を正確に判定することができる。

（第３の実施形態）
第３の実施形態について説明する。図１１は、第３の実施形態に係る一例となる画像処理装置１０のブロック図である。なお、第１の実施形態と同様の構成には同一の参照符号を付し、その説明を省略する。

第３の実施形態に係る撮影部１３は、オートフォーカス機能及びフォーカス判定機能を備えたカメラである。撮影部１３は、処理部１４からの信号に基づいて、フォーカスを修正する。

次に、第３の実施形態に係る画像処理装置１０による処理の例を説明する図５、６、９及び１０を再度用いて説明する。図５のＡｃｔ１００７、図６のＡｃｔ２００７、図９のＡｃｔ３００９及び図１０のＡｃｔ４００９において、第３の実施形態に係る画像処理１０は、第１の実施形態及び第２の実施形態と異なる処理を行う。

図５のＡｃｔ１００７、図６のＡｃｔ２００７、図９のＡｃｔ３００９及び図１０のＡｃｔ４００９において、撮影部１３は、比較結果に基づいて、撮影対象に対する撮影部１３の焦点が合うようにフォーカスを修正する。フォーカスの修正量は任意に設定可能である。なお、撮影部１３は、処理部１４から送られる比較結果に基づいてフォーカスを修正しても、処理部１４から送られるフォーカス修正量の情報に基づいてフォーカスを修正するようにしてもよい。

図５のＡｃｔ１００７、図６のＡｃｔ２００７、図９のＡｃｔ３００９及び図１０のＡｃｔ４００９の後、撮影部１３は、フォーカスを修正した状態で再び同じ対象を撮影する。

第３の実施形態によれば、第１の実施形態及び第２の実施形態と同様の効果を得ることができる。

動作を実行する主体は例えば、ハードウェア、ハードウェアとソフトウェアとの複合体、ソフトウェア、及び実行中のソフトウェアなどといった、コンピュータに係る主体である。動作を実行する主体は例えば、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、スレッド、プログラムおよびコンピュータであるがこれらに限るものではない。例えば、画像処理装置やそこで実行されるアプリケーションが動作を実行する主体であってもよい。プロセスやスレッドに、動作を実行する主体を複数演じさせてもよい。動作を実行する主体が１つの画像処理装置内にあってもよいし、複数の画像処理装置へ分配されたかたちであってもよい。

装置内部に以上説明した機能が予め記録されていてもよいし、同様の機能をネットワークから装置にダウンロードしてもよいし、同様の機能を記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ディスクＲＯＭやメモリカード等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…画像処理装置、１１…移動体、１２…制御部、１３…撮影部、１４…処理部、１５…記憶部、１６…表示部、１７…音声出力部、２０…棚、１３１…レンズ、１４１…演算部、１４２…比較判定部、１５１…基準値。

Claims (7)

1. 画像を構成する画素の階調情報に基づいて標準偏差及びエントロピーを計算し、前記標準偏差と前記エントロピーとの比を計算する演算部と、
   前記比と基準値とを比較する比較判定部と、
   前記比較判定部による比較結果を出力する出力部と、
   を備える画像処理装置。
2. 前記画像を撮影する撮影部を備える、請求項１記載の画像処理装置。
3. 当該画像処理装置を移動する移動体を備える、請求項２記載の画像処理装置。
4. 前記移動体の動作を制御する制御部を備え、
   前記制御部は、前記比較結果に基づいて前記撮影部と前記画像に写る対象との距離を修正するように前記移動体を制御する、請求項３記載の画像処理装置。
5. 前記演算部は、前記画像を複数のブロックに分割し、各ブロックの前記標準偏差及び前記エントロピーを計算する、請求項１記載の画像処理装置。
6. 前記比の値に基づいて前記基準値を更新して記憶する記憶部を備える、請求項１記載の画像処理装置。
7. 画像を構成する画素の階調情報に基づいて標準偏差及びエントロピーを計算することと、
   前記標準偏差と前記エントロピーとの比を計算することと、
   前記比と基準値とを比較することと、
   前記比と基準値との比較結果を出力すること、
   をコンピュータに実行させるプログラムを記憶したコンピュータ可読記憶媒体。