JP6748857B2 - 載置検出システム - Google Patents

Description

本開示は、撮像された画像に二値化処理を施して、載置された対象物の形状を検出する載置検出システムに関する。

特許文献１は、原稿を置くための原稿台と、原稿台を覆うための原稿台カバーを備えているフラットベッド方式の画像読み取り制御装置を開示する。この画像読み取り制御装置は、読み取った画像データを二値化して原稿の存在している領域を含む矩形の領域を抽出する手段と、矩形の領域の傾きを検出する傾き検出手段と、検出した傾きに応じて、矩形の傾きを補正する傾き補正手段と、検出した傾きに応じて、矩形の各辺における切り幅を設定する切り幅設定手段と、設定された各辺の切り幅に基づいて、矩形の領域の周囲部分を切り取って原稿画像とする切り出し手段とを備える。これにより、原稿部分の切り出し精度を高めることができる。

特開２００４−２７４１９８号公報

本開示は、載置領域を覆うためのカバー等で対象物を押さえるような使用者の操作負担を軽減しつつ、載置領域に置かれた対象物の形状を検出することに有効な載置検出システムを提供する。

本開示における載置検出システムは、載置台と、載置台を介して、載置台の載置領域に置かれた対象物を撮像して入力画像を生成する撮像装置と、入力画像を受け取る制御装置と、を有する。制御装置は、入力画像において第１の閾値に基づいて第１の二値化処理を行うことにより、第１の二値化画像を生成し、第１の二値化画像に基づいて、対象物の置き方が所定の置き方であるか否かを判定する。制御装置は、対象物の置き方が所定の置き方であると判定したとき、入力画像の第１の領域内において第１の閾値以下の画像レベルを有する画素に挟まれた画素であって、第１の閾値よりも大きい画像レベルを有する対象画素の閾値を第１の閾値よりも高い第２の閾値に変更し、対象画素において第２の閾値に基づいて第２の二値化処理を行うことにより、第２の二値化画像を生成し、第２の二値化画像に基づいて、対象物の形状を検出する。

本開示における載置検出システムは、載置領域を覆うためのカバー等で対象物を押さえるような使用者の操作負担を軽減しつつ、載置領域に置かれた対象物の形状を検出することができる。

図１Ａは、本開示の載置検出システムの一例を示す外観図である。 図１Ｂは、本開示のイメージセンサとコントローラを示すブロック図である。 図２は、載置検出システムの動作フローチャートである。 図３は、横置きされたパスポートの二値化画像の一例を示す説明図である。 図４は、横置きされたパスポートの検出方法の一例を示す説明図である。 図５は、パスポートの綴じ部が浮いている状態の説明図である。 図６は、パスポートの綴じ部が浮いている状態のイメージセンサ画像の一例を示す説明図である。 図７は、パスポートの綴じ部が浮いている状態の二値化画像の一例を示す説明図である。 図８は、綴じ部の浮きに対応した処理を含む載置検出システムの動作フローチャートである。 図９は、横置きを検出する領域の一例を示す説明図である。 図１０は、閾値を変化させる領域の一例を示す説明図である。 図１１は、閾値変化により、閾値が高く設定される領域の一例を示す説明図である。 図１２は、綴じ部の浮きに対応した処理後の二値化画像の一例を示す説明図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態）
図１Ａは、本開示の載置検出システムの一例を示す外観図である。図１Ｂは、本開示のイメージセンサとコントローラを示すブロック図である。

載置検出システムはイメージセンサ１、載置台３、コントローラ２０を有する。ここで、イメージセンサ１は、載置台３を介して、載置台３の載置領域４（図３参照）に置かれた見開き状態のパスポート２（対象物の一例）を撮像して入力画像を生成する撮像装置の一例である。また、コントローラ２０は、入力画像を受け取る制御装置の一例である。ここで、載置領域４の長辺の長さは、見開き状態のパスポート２の長辺の長さよりも大きい。また、載置領域４の短辺の長さは、見開き状態のパスポート２の短辺の長さよりも大きい。

載置台３は例えば透明なガラス板である。載置台３の上にパスポート２が載置される。イメージセンサ１は、載置台３の下方から載置台３のガラス面すなわち載置領域４を撮像する。イメージセンサ１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等である。

イメージセンサ１が生成した入力画像は、コントローラ２０に送られる。コントローラ２０は、入力画像を用いて、目的の対象物が載置台３に載置されたか否かを判断する。なお、コントローラ２０は、ＣＰＵ、メモリ（ＲＯＭ、ＲＡＭ）等により構成される。以下に説明するコントローラ２０の機能は、例えば、コントローラ２０のＣＰＵが、コントローラ２０のメモリに格納されたプログラムを実行することにより実現される。

図２は、載置検出システムの動作フローチャートである。

まず、コントローラ２０は、イメージセンサ１からの入力画像を、二値化し、二値化された画像（二値化画像）を生成する（Ｓ１１）。

次に、コントローラ２０は二値化画像を用いて、パスポート２の形状を検出する（Ｓ１２）。

Ｓ１２の検出結果により、コントローラ２０はパスポート２が所定の置き方で置かれているかを判定する（Ｓ１３）。判定の結果が「Ｙｅｓ」であれば、目標とする置き方で置かれているとして、載置検出処理を終了する。判定の結果が「Ｎｏ」であれば、動作フローチャートの先頭に戻り、載置検出を繰り返す（Ｓ１４）。

図３は、横置きされたパスポート２の二値化画像の一例の説明図であり、図２のＳ１１の二値化処理後の画像例である。

二値化処理では、所定の閾値以下の画像レベルを有する画素を黒画素として表現し、所定の閾値よりも大きい画像レベルを有する画素を白画素として表現する。二値化画像において、載置台３に置かれたパスポート２の画像レベルは低いため、パスポート領域５は黒画素で表現される。また、パスポート２で覆われていない背景領域６の画像レベルは高いため、背景領域６は白画素で表現される。入力画像の各画素の画像レベルは、例えば０〜２５５のレベル範囲を有する。所定の閾値を４０とすると、二値化処理において４０以下の画像レベルを有する画素は黒画素であり、４０よりも大きい画像レベルを有する画素は白画素となる。ここで、画像レベルとは、入力画像の各画素の明るさを示す値である。

図４は、横置きされたパスポート２の検出方法の一例の説明図である。図４を参照して、図２のＳ１２およびＳ１３の動作を説明する。

載置領域４の内部において、コントローラ２０は、パスポート２の横置き状態を検出するためのパスポート検出枠７を移動させながらパスポート２の形状を検出する。具体的には、パスポート検出枠７の枠内において、二値化画像の黒画素により埋められる割合が高い場所をコントローラ２０は検出する。そして、コントローラ２０は、検出された位置の黒画素の埋まり割合が所定の割合以上であるか否かを判定する。これにより、コントローラ２０は、パスポート２の置き方を判定する。ここで、所定の割合は、例えば９０％である。このときには、パスポート検出枠７内を埋める黒画素割合が９０％以上であれば、コントローラ２０は、パスポートが載置領域４に横置きされていると判定する。

［１−１．外光による課題］
図５は、パスポートの綴じ部が浮いている状態の説明図である。

図５において、載置領域４に置かれたパスポート２の綴じ部が浮いている。そのため、図５は、浮いた部分から外光が入り込んでいることを表している。ここで、外光とは、例えば、太陽光や室内に配置された照明などである。

図６は、パスポートの綴じ部が浮いている状態でイメージセンサ１が生成した入力画像である。

載置領域４に置かれたパスポート２の入力画像では、パスポート領域５の画像レベルは低く表現されている。パスポート領域５の上側中央部分から外光が入り込んでおり、パスポート領域５の上側中央周辺の画像レベルが上がっている。

図７は、パスポートの綴じ部が浮いている状態の二値化画像である。

所定の閾値以下の画像レベルを有する画素を黒画素として表現し、それ以外の画素を白画素として表現している。パスポート領域５の上側中央部分からの外光の入り込みによって、画像レベルが上がってしまった領域が白画素となっている。そのため、黒画素で表現されているパスポート領域５が削られた状態となっている。この二値化画像に対して、図４で説明した形状検出および置き方判定を行うと、パスポート２が置かれているのに置かれていないと判定される。

［１−２．動作］
図８は、綴じ部の浮きに対応した処理を含む載置検出システムの動作フローチャートである。

まず、コントローラ２０は、イメージセンサ１が生成した入力画像を受け取る。コントローラ２０は、入力画像において第１の閾値に基づいて第１の二値化処理を行うことにより、第１の二値化画像を生成する（Ｓ３１）。本実施の形態では、図７に示す画像が、第１の二値化画像の例である。後述するように、第１の閾値は、例えば、４０である。

次に、コントローラ２０は、二値化によって得られた二値化画像に基づいて、垂直方向中央部の所定の幅における画像レベルの低い（例えば、閾値より低い）領域の状態を検出する（Ｓ３２）。

図９を参照して、ステップＳ３２の詳細を説明する。図９は、横置きを検出する領域の一例の説明図である。二値化画像において、載置領域４に置かれたパスポート２は、綴じ部の浮き部分からの外光入射により、パスポート領域５のように黒画素で表現されている。横置き検出領域８（第２の領域の一例）は、二値化画像の中央部に、所定の高さと幅で設定される。例えば、横置き検出領域８の高さは載置領域４の高さの８０％である。横置き検出領域８は、載置領域４の垂直中央部に位置している。横置き検出領域８の幅は載置領域４の幅と同等である。なお、横置き検出領域８の大きさを載置領域４の大きさと同等としてもよい。コントローラ２０は、横置き検出領域８の状態を検出する。

次に、コントローラ２０は、検出された横置き検出領域８の状態に基づいて、パスポート２の置き方が横置きであるか否かを判定する（Ｓ３３）。ここで、横置きは、所定の置き方の一例である。

図９を参照して、ステップＳ３３の詳細を説明する。コントローラ２０は、二値化画像の横置き検出領域８内にパスポート２の長辺（パスポート２の幅）に相当する長さＬを有する複数の黒画素の線が連続して配置されているときに、パスポート２の置き方が横置きであると判定する。本実施の形態においては、長さＬを有する黒画素の線が１０以上連続して短辺方向Ｄに沿って配置されているときに、コントローラ２０は、パスポート２の置き方が横置きであると判定する。

なお、コントローラ２０は、二値化画像の横置き判定領域９（第３の領域の一例）の画素の数に対する横置き判定領域９の黒画素の数の割合が所定の割合以上のときに、パスポート２の置き方が横置きであると判定してもよい。ここで、黒画素とは、第１の閾値以下の画像レベルを有する画素を意味する。また、所定の割合は、例えば９０％である。横置き判定領域９の幅は、例えば、見開き状態のパスポート２の幅の９０％である。横置き判定領域９の高さは、例えば、見開き状態のパスポート２の高さの３０％である。

また、コントローラ２０は、パスポート２の長辺と載置領域４の長辺とが略平行になるようにパスポート２が載置台３に置かれているときに、パスポート２の置き方が横置きであると判定してもよい。

そして、パスポート２が横置きされている可能性が高いと判定された場合は、ステップＳ３５へ移行する。一方、パスポート２が横置きされている可能性が低いと判定された場合は、載置検出処理を終了する（Ｓ３４）。

コントローラ２０は、水平方向中央部の所定の幅において、閾値を変更して閾値テーブルを作成する（Ｓ３５）。

図１０を参照して、ステップＳ３５の詳細を説明する。図１０は、閾値を変化させる領域の一例の説明図である。載置領域４に置かれたパスポート２は、パスポート領域５のように黒画素で表現されている。閾値変化領域１０（第１の領域の一例）は、二値化画像の水平中央部の上下に所定の幅に設定される。すなわち、閾値変化領域１０は、載置領域４の長辺方向中央部のうち、載置領域４の短辺方向中央部を除いた部分に設定される。これは、パスポート２が浮いた状態において、外光が上下方向から入射することを想定しているためである。

コントローラ２０は、入力画像の閾値変化領域１０内において、閾値変化領域１０内において黒画素（第１の閾値以下の画像レベルを有する画素）に挟まれた画素であって、白画素（第１の閾値よりも大きい画像レベルを有する画素）である対象画素ｐを特定する。コントローラ２０は、対象画素ｐの閾値を第１の閾値よりも高い第２の閾値に変更する。コントローラ２０は、黒画素に挟まれた対象画素ｐ以外の白画素の閾値についても、第２の閾値に変更する。このようにして、コントローラ２０は、対象画素ｐと、対象画素ｐの第２の閾値とが対応する閾値テーブルを作成する。ここで、本実施の形態において、入力画像の各画素の画像レベルが０〜２５５までの範囲を有する場合、第１の閾値は例えば４０であり、第２の閾値は例えば１５０である。

閾値変化領域１０の高さは、例えば、載置領域４の高さの４０％である。閾値変化領域１０の幅は、載置領域４の幅の６０％である。閾値変化領域１０の水平位置は載置領域４の水平中央である。なお、閾値変化領域１０の高さおよび幅は、載置される対象物の大きさや、想定される外光の影響状態に従って決定してもよい。閾値変化領域１０は、二つの領域ではなく、一つのみの領域であってもよい。この場合、閾値変化領域１０の高さは、載置領域４と同等の高さであってもよい。

次に、コントローラ２０は、作成された閾値テーブルを用いて、入力画像を二値化する（Ｓ３６）。すなわち、コントローラ２０は、対象画素ｐにおいて第２の閾値に基づいて第２の二値化処理を行うことにより、第２の二値化画像を生成する。このとき、コントローラ２０は、閾値テーブルを用いて、第２の二値化画像を生成する。

図１１、図１２を参照して、ステップＳ３６をさらに説明する。図１１は、閾値変化により、閾値が高く設定される領域の説明図である。図１２は、綴じ部の浮きに対応した処理後の二値化画像であり、図８のＳ３６の二値化処理後の画像例である。図１２に示す画像は、第２の二値化画像の一例である。

ステップＳ３５で説明した閾値テーブルにおいて、閾値が高く設定される領域は、斜線で示した部分（図１１参照）になる。ここで、パスポート２が載置領域４に対して斜めに置かれた場合（不図示）、パスポート２が存在しない領域は黒画素に挟まれない。そのため、パスポート２が存在しない領域の閾値が高くなるように変更されることはない。

図７に示すようなパスポート領域５が削られた画像と比較して、図１２に示す画像が改善されていることがわかる。これは、パスポート２の綴じ部が浮いて、外光入射により画像レベルが上がった画素に対して、高い閾値で二値化したためである。これにより、外光の影響を抑制して、載置領域４にパスポート２が置かれたことを検出することができる。

コントローラ２０は、二値化された画像において、パスポート２の形状検出を行う（Ｓ１２）。すなわち、コントローラ２０は、第２の二値化画像に基づいて、パスポート２の形状を検出する。

コントローラ２０は、形状検出で得られた結果により、パスポート２が所定の置き方で置かれているかを判定する（Ｓ１３）。

判定の結果が「Ｙｅｓ」であれば、所定の置き方で置かれているとして、載置検出処理を終了する。判定の結果が「Ｎｏ」であれば、動作フローチャートの先頭に戻り、載置検出を繰り返す（Ｓ１４）。

［１−３．効果等］
以上のように、本実施の形態において、パスポート２の綴じ部が浮いた状態でパスポート２が載置領域４に置かれても、載置されたパスポート２を検出することが可能になる。これにより、パスポート２を覆いの下に差し込んだり、パスポート２を押さえたり、パスポート２を蓋で押さえたりする必要がなくなる。そのため、覆いの無い載置領域４に対象物を置くだけで、対象物の形状を検出することができる。そのため、ユーザーが使い易いシステムを提供できる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、外光などの影響がある状況において、対象物の形状を検出する載置検出システムに適用可能である。例えば、本開示は、パスポートの置き方が適正であるかどうかを判定するようなパスポートリーダに適用可能である。

１ イメージセンサ
２ パスポート
３ 載置台
４ 載置領域
５ パスポート領域
６ 背景領域
７ パスポート検出枠
８ 横置き検出領域
９ 横置き判定領域
１０ 閾値変化領域
２０ コントローラ

Claims (12)

1. 載置台と、
   前記載置台を介して、前記載置台の載置領域に置かれた対象物を撮像して入力画像を生成する撮像装置と、
   前記入力画像を受け取る制御装置と、を有し、
   前記制御装置は、
   前記入力画像において第１の閾値に基づいて第１の二値化処理を行うことにより、第１の二値化画像を生成し、
   前記第１の二値化画像に基づいて、前記対象物の置き方が所定の置き方であるか否かを判定し、
   前記対象物の置き方が前記所定の置き方であると判定したとき、前記載置領域の長辺方向中央部に設定された第１の領域内において前記第１の閾値以下の画像レベルを有する画素に挟まれた画素であって、前記第１の閾値よりも大きい画像レベルを有する対象画素の閾値を前記第１の閾値よりも高い第２の閾値に変更し、
   前記対象画素および周辺画素において前記第２の閾値に基づいて第２の二値化処理を行うことにより、第２の二値化画像を生成し、
   前記第２の二値化画像に基づいて、前記対象物の形状を検出し、
   前記周辺画素は、前記対象画素以外の画素であって、前記第１の領域内において前記第１の閾値以下の画像レベルを有する画素に挟まれ、前記第１の閾値よりも大きい画像レベルを有する画素である
   載置検出システム。
2. 前記制御装置は、前記第１の二値化画像の中央部に所定の高さと幅で設定された第２の領域内に前記対象物の幅に相当する長さを有する複数の黒画素の線が連続して配置されているときに、前記対象物の置き方が前記所定の置き方であると判定する
   請求項１に記載の載置検出システム。
3. 前記制御装置は、前記第１の二値化画像において、前記対象物の幅の所定割合の幅、および前記対象物の高さの所定割合の高さ、で設定された第３の領域の画素の数に対する前記第３の領域内の前記第１の閾値以下の画像レベルを有する画素の数の割合が所定の割合以上のときに、前記対象物の置き方が前記所定の置き方であると判定する
   請求項１に記載の載置検出システム。
4. 前記制御装置は、前記対象画素と、前記第２の閾値と、が対応する閾値テーブルを作成し、前記閾値テーブルを用いて前記第２の二値化画像を生成する
   請求項１から３のいずれか１項に記載の載置検出システム。
5. 前記載置台は透明な板である
   請求項１から４のいずれか１項に記載の載置検出システム。
6. 前記載置領域は、長方形状である
   請求項１に記載の載置検出システム。
7. 前記対象物は、長方形状である
   請求項６に記載の載置検出システム。
8. 前記対象物は、見開き状態のパスポートである
   請求項７に記載の載置検出システム。
9. 前記載置領域の長辺の長さは、前記対象物の長辺の長さよりも大きく、
   前記載置領域の短辺の長さは、前記対象物の短辺の長さよりも大きい
   請求項７または８に記載の載置検出システム。
10. 前記制御装置は、前記第１の二値化画像の第２の領域内に前記対象物の長辺に相当する長さを有する複数の黒画素の線が連続して配置されているときに、前記対象物の置き方が前記所定の置き方であると判定する
    請求項９に記載の載置検出システム。
11. 前記制御装置は、前記対象物の長辺と前記載置領域の長辺とが略平行になるように前記対象物が前記載置台に置かれているときに、前記対象物の置き方が前記所定の置き方であると判定する
    請求項９に記載の載置検出システム。
12. 前記第１の領域は、前記載置領域の長辺方向中央部のうち、前記載置領域の短辺方向中央部を除いた部分に設定される
    請求項１〜１１のいずれか１項に記載の載置検出システム。