JP6624106B2 - 画像読取装置、画像形成システム、画像読取方法及び画像読取プログラム - Google Patents

Description

本発明は、カメラで原稿を撮像して静止画像を取得する技術に関し、特にブック原稿の静止画像を取得する技術に関する。

原稿の画像は、オーバーヘッドスキャナーを使用して読み取ることが一般的である。オーバーヘッドスキャナーには、エリアセンサでページめくりを検出し、ラインスキャナーを走査させることによって高解像で画像を取得することができるものもある。ラインスキャナーの走査タイミングについては、たとえば特許文献１は、エリアセンサで複数の画像を連続して取得し、取得された複数の画像から、画像差分抽出により動作パターンを算出し、動作パターンに基づいて、ページめくり動作を検出し、ページめくり動作が検出された場合に、ラインスキャナー（リニアセンサ）による読み取り開始を判定する技術を提案している。一方、撮像機能を有するスマートフォンの普及によって、スマートフォンを使用して原稿の画像を読み取ることも望まれるようになってきた。

特開２０１４−１６８１６８号公報

しかし、エリアセンサによるページめくり動作の検出は、オーバーヘッドスキャナーの撮像部が固定されていることを前提としているので、スマートフォンを使用して原稿の画像を読み取る際には、スマートフォンの揺動に起因する画像変化が誤検出の要因となることも考えられる。

本発明は、このような状況に鑑みてなされたものであり、撮像部の揺動に対してロバスト性の高いページめくり検出を実現する技術を提供することを目的とする。

本発明の画像読取装置は、ブック原稿の原稿面に表された原稿画像を撮像し、予め設定された時間間隔で複数のフレーム画像データを生成する撮像部と、前記複数のフレーム画像データを解析して、前記複数のフレーム画像データの少なくとも一部について前記ブック原稿が静止状態で撮像された画像を表しているか否かを判定し、前記判定に基づいて前記静止状態で撮像された画像を表しているフレーム画像データを抽出する画像解析部とを備える。

本発明の画像形成システムは、前記画像読取装置と印刷媒体に画像を形成する画像形成装置とを備える。

本発明の画像読取方法は、ブック原稿の原稿面に表された原稿画像を撮像し、予め設定された時間間隔で複数のフレーム画像データを生成する撮像工程と、前記複数のフレーム画像データを解析して、前記複数のフレーム画像データの少なくとも一部について前記ブック原稿が静止状態で撮像された画像を表しているか否かを判定し、前記判定に基づいて前記静止状態で撮像された画像を表しているフレーム画像データを抽出する画像解析工程とを備える。

本発明の画像読取プログラムは、画像読取装置を制御する。前記画像読取プログラムは、ブック原稿の原稿面に表された原稿画像を撮像し、予め設定された時間間隔で複数のフレーム画像データを生成する撮像部、及び前記複数のフレーム画像データを解析して、前記複数のフレーム画像データの少なくとも一部について前記ブック原稿が静止状態で撮像された画像を表しているか否かを判定し、前記判定に基づいて前記静止状態で撮像された画像を表しているフレーム画像データを抽出する画像解析部として前記画像読取装置を機能させる。

本発明によれば、撮像部の揺動に対してロバスト性の高いページめくり検出を実現することができる。

本発明の一実施形態に係る画像読取システム１０の機能構成を示すブロックダイアグラムである。 一実施形態に係る静止画像取得処理の内容を示すフローチャートである。 一実施形態に係るスマートフォン２００による撮像開始の様子を示す説明図である。 一実施形態に係る被写体静止判定処理の内容を示す説明図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像読取システム１０の機能構成を示すブロックダイアグラムである。画像読取システム１０は、画像形成装置１００と、スマートフォン２００とを備えている。画像形成装置１００は、制御部１１０と、画像形成部１２０と、操作表示部１３０と、記憶部１４０と、通信インターフェース部１５０（通信Ｉ／Ｆ部とも呼ばれる。）と、自動原稿送り装置（ＡＤＦ）１６０とを備えている。画像形成部１２０は、印刷媒体上に画像を形成する。

スマートフォン２００は、制御部２１０と、操作表示部２３０と、記憶部２４０と、通信インターフェース部２５０（通信Ｉ／Ｆ部とも呼ばれる。）と、撮像部２６０とを備えている。制御部２１０は、画像解析部２１１と動画像データ生成部２１２とを有している。画像解析部２１１及び動画像データ生成部２１２の機能については後述する。

スマートフォン２００は、通信インターフェース部２５０と通信インターフェース部１５０とを使用して近距離無線通信で画像形成装置１００と接続される。近距離無線通信は、本実施形態では、ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ１を使用している。ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ１は、出力１００ｍＷの通信であり、画像形成装置１００とスマートフォン２００との距離が１００ｍ以内程度での通信が可能な近距離無線通信である。

画像形成装置１００の操作表示部１３０及びスマートフォン２００の操作表示部２３０は、タッチパネルとして機能し、様々なメニューを入力画面として表示し、ユーザーの操作入力を受け付ける。

制御部１１０，２１０及び画像形成部１２０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０，２１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備えている。制御部１１０，２１０は、それぞれ画像形成装置１００及びスマートフォン２００の全体を制御する。

記憶部１４０，２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、それぞれ制御部１１０，２１０が実行する処理の制御プログラムやデータを記憶する。

記憶部１４０には、スマートフォン２００にインストールするための原稿画像取得アプリケーションプログラム１４１（単にアプリケーションとも呼ばれる。）が記憶されている。記憶部２４０は、フレーム画像データを一時的に格納するためのフレームメモリ２４１と、静止画像格納領域２４２とを有している。

この例では、スマートフォン２００は、画像形成装置１００の記憶部１４０から原稿画像取得アプリケーションプログラム１４１をダウンロードして、記憶部２４０にインストール済みであるものとする。

図２は、一実施形態に係る静止画像取得処理の内容を示すフローチャートである。ステップＳ１０では、ユーザーは、操作表示部２３０を操作してスマートフォン２００の作動モードをブック原稿撮像モードに設定する。ブック原稿撮像モードは、原稿画像取得アプリケーションプログラム１４１によってサポートされている撮像モードである。この撮像モードは、スマートフォン２００によるブック原稿の画像の取得用に構成された作動モードである。

図３は、一実施形態に係るスマートフォン２００による撮像開始の様子を示す説明図である。操作表示部２３０には、原稿Ｄの原稿面を表す画像と、保存アイコン２３１と、撮像停止アイコン２３２とが表示されている。撮像停止アイコン２３２は、撮像を一時停止するためのアイコンである。保存アイコン２３１は、原稿Ｄを撮像して取得された複数の静止画像データを保存するためのアイコンである。

被写体としての原稿Ｄは、デスクその他の任意の場所に置くことができる。原稿Ｄは、見開き状態で配置されている本としての原稿（上述のようにブック原稿とも呼ばれる。）である。ブック原稿としての原稿Ｄは、一般にページをめくりつつ原稿面の原稿画像が取得されることになる。

ステップＳ２０では、ユーザーは、スマートフォン２００の撮像部２６０を使用して原稿Ｄの全体の撮像を開始する。ステップＳ３０では、スマートフォン２００は、動画像データの生成を前提としてフレーム画像の取得を開始し、複数のフレーム画像データを生成する。スマートフォン２００は、複数のフレーム画像データをフレームメモリ２４１に格納する。フレーム画像データは、全て離散コサイン変換（単にＤＣＴ変換とも呼ばれる。）によってＪＰＥＧ等に変換されることなく、非圧縮のＲＡＷ画像データとしてフレームメモリ２４１に格納される。

フレームレートは、スマートフォン２００では、一般には、６０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）や３０ｆｐｓが利用可能である。しかしながら、本実施形態では、原稿Ｄの撮像では、たとえばフレームレートを５ｆｐｓから１０ｆｐｓの低レートとする一方、解像度を静止画像取得用の最大解像度とする。

ステップＳ４０では、ユーザーは、ページめくり動作を開始する。スマートフォン２００では、撮像部２６０で、ブック原稿としての原稿Ｄの静止状態と、ページがめくられている動作状態を含むページめくり動作中の原稿Ｄとを撮像し、上述のフレームレートで複数のフレーム画像データを生成する。

図４は、一実施形態に係る被写体静止判定処理の内容を示す説明図である。図４には、上側にデータフローダイアグラムが示され、下側にＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が示されている。データフローダイアグラムは、撮像部２６０による撮像処理で生成されたフレーム画像データの流れを示している。フレーム画像データは、ＲＡＷ画像データ（ＲＧＢ画像データ）として構成されている。

ＲＡＷ画像データは、動画像データ生成部２１２による動画像データ生成処理の対象となる。動画像データ生成処理には、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）やＨ．２６４に規定される処理が含まれる。動画像データ生成処理では、ＲＡＷ画像データは、圧縮効率を高めるために輝度データと色差データを含むＹＵＶ画像データに変換される。ＹＵＶ画像データは、次に離散コサイン変換（ＤＣＴ）変換の対象となる。ＤＣＴ変換は、たとえば８×８画素あるいは１６×１６の画素ブロック毎に実行され、変換係数を出力する。変換係数は、量子化処理の対象となる。

これにより、動画像データ生成部２１２は、人間の視覚感度を想定し、視覚感度が高い輝度データに対して視覚感度が低い色差データを粗く量子化することができるＹＵＶ色空間で処理し、視覚感度が高い低周波成分に対して視覚感度が低い高周波成分を粗く量子化することを可能とするＤＣＴ変換でデータ量を低減させることができる。

これにより、動画像データ生成部２１２は、Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ）を生成することができる。Ｉフレームとは、フレーム間予測を用いずに符号化されるフレームである。Ｉフレームとは、イントラフレームやキーフレームとも呼ばれる。Ｉフレームは、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）やＢフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）とともにＧＯＰを構成する。

Ｐフレームは、前方向予測のみを用いて符号化されるフレームである。Ｂフレームは、前方向予測、後方向予測、両方向予測のうちいずれかを選択して符号化されるフレームである。

動画像データは、時系列順に配列されている複数のフレーム画像データから生成される。複数のフレーム画像データは、時系列の前後のフレーム間で近似していることが多い。フレーム間予測とは、このような動画像データの性質を利用して、時系列的に前のフレーム画像から現在のフレーム画像を予測する技術である。

具体的には、画素ブロック毎の移動を推定し、移動後のフレーム間での画素ブロックの差分をＤＣＴ変換・量子化してＧＯＰ単位での圧縮率を高める技術である。Ｐフレームは、動きベクトルを使用してＩフレームから生成することができる。動きベクトルは、各画素ブロックの移動ベクトルである。これにより、Ｐフレームは、動きベクトルと、移動先における画素ブロック内の差分のＤＣＴ係数を量子化したデータとに圧縮することができる。

このように、フレーム間予測では、動画像データ生成部２１２は、データ圧縮を目的として動きベクトルを生成する。画像解析部２１１は、動画像データ生成部２１２から動きベクトルを取得し、この動きベクトルを解析してフレーム間の変化が撮像部２６０の揺動（いわゆるパン）に相当するか否かを判定することができる。なお、フレーム間予測の処理後においては、動画像データは廃棄してもよい。なお、この例では。動画像データ生成部２１２は、実質的に画像解析部２１１の一部として機能している。

ステップＳ５０では、スマートフォン２００の画像解析部２１１は、被写体静止判定処理を実行する（図２及び図４参照）。被写体静止判定処理は、被写体としての原稿Ｄがページのめくり動作中ではなく、静止した状態であることを判定する処理である。具体的には、画像解析部２１１は、フレーム間予測の結果に基づき、画素ブロック内のフレーム間差分のＤＣＴ係数を量子化したデータが殆どゼロで、殆ど全ての画素ブロックの移動ベクトルが一致しているとの判断に基づいて揺動を判定することができる。移動ベクトルの一致は、たとえば予め設定されている範囲内であるか否かを定める各閾値によって判断してもよい。

ステップＳ６０では、スマートフォン２００の画像解析部２１１は、被写体が静止状態であると判定した場合には、処理をステップＳ７０に進め、被写体が静止状態でないと判定した場合には、処理をステップＳ８０に進める。

ステップＳ７０では、画像解析部２１１は、フレーム画像データ保存処理を実行する。フレーム画像データ保存処理は、フレームメモリ２４１に格納されているフレーム画像データを静止画像格納領域２４２に保存した後に、フレームメモリ２４１に格納されているフレーム画像データを廃棄する処理である。

ステップＳ８０では、画像解析部２１１は、フレーム画像データ廃棄処理を実行する。フレーム画像データ廃棄処理は、フレームメモリ２４１に格納されているフレーム画像データを静止画像格納領域２４２に保存することなく、フレームメモリ２４１に格納されているフレーム画像データを廃棄する処理である。

ステップＳ９０では、画像解析部２１１は、静止画像データ選別処理を実行する。静止画像データ選別処理では、画像解析部２１１は、静止画像格納領域２４２に保存されている複数のフレーム画像データの中から同一ページを撮像したデータをグループ化し、各グループの中でピントの甘いフレーム画像データを廃棄する。

画像解析部２１１は、このような処理（ステップＳ５０乃至ステップＳ９０）を動画像データの最終フレーム画像まで繰り返して実行する（ステップＳ１００）。

ピントの甘いフレーム画像データは、たとえば複数の画素ブロックに分割した後に、ＤＣＴ変換を実行して高周波成分が顕著に少ない画像として特定することができる。これにより、画像解析部２１１は、同一ページの画像を表す複数のフレーム画像データのうち比較的に高周波成分のデータを多く含む画素ブロックの多いフレーム画像データを抽出することができる。ブック原稿は、一般に多くのテキスト画像を含み、テキストの輪郭が高周波成分を含むからである。

スマートフォン２００は、さらに、近距離無線通信を介して画像形成装置１００に抽出された複数のフレーム画像データを送信する。画像形成装置１００は、複数のフレーム画像データからブック原稿としての原稿Ｄの三次元形状を推定し、その推定結果に基づいて歪み補正処理を実行する。なお、スマートフォン２００は、歪み補正処理をスマートフォン２００で実行するように構成してもよい。

このように、本実施形態によれば、ページをめくる動作中のフレーム画像データを自動的に廃棄し、被写体としての原稿Ｄが静止状態となっていときのフレーム画像データを抽出することができる。さらに、原稿Ｄの静止状態は、スマートフォン２００の揺動の影響を排除して判定することができる。これにより、撮像部の揺動に対してロバスト性の高いページめくり検出を実現する。

本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、ＹＵＶ画像データはＤＣＴ変換の対象となっているが、必ずしもＤＣＴ変換に限られず、たとえば離散フーリエ変換（ＤＦＴ）を使用してもよく、各画素ブロックの画素値を周波数領域のデータに変換し、視覚感度が低い高周波成分を粗く量子化できるものであればよい。

変形例２：上記実施形態では、動画像データから静止画像データを取り出すのではなく、動画像データにおいて行われる処理で生成されるフレーム間予測の結果やＤＣＴ変換データを利用して、非圧縮のＲＡＷ画像データとしての（すなわち非圧縮状態の）複数のフレーム画像データから原稿Ｄが静止状態となっていときのフレーム画像データを抽出している。しかしながら、このような方法に限られず、動画像データからフレーム画像データを復元してもよい。

ただし、動画像データから復元されたＲＧＢ画像データでは、ＤＣＴ変換及びその量子化で失われた高周波成分やＹＵＶの色差情報が完全には復元されておらず、たとえばテキスト等の輪郭がぼやけた画像となる。よって、上記実施形態は、非圧縮のＲＡＷ画像データとして撮像時のフレーム画像データが完全な形で利用可能であるという優位性を有している。特に、ブック原稿は、自然画像と異なり、高周波成分でエッジを表現するテキスト表示の再現が重要なので、上記実施形態は、特に顕著な効果を奏することができる。なお、本明細書では、非圧縮の語は、広い意味を有し、完全に復元可能な可逆圧縮を含むようにしてもよい。

変形例３：上記実施形態では、動画像の生成を想定して複数のフレーム画像データが生成されているが、必ずしも動画像の生成を想定する必要はない。具体的には、たとえばスマートフォン２００の連写機能を使用して複数のフレーム画像データを生成するようにしてもよい。この場合には、動画像の生成のための機能を利用して、原稿Ｄの静止状態を判定しても良いし、制御部２１０に動画像の生成と同様の機能を実装してもよい。このように、本発明で利用可能な撮像部は、予め設定された時間間隔で複数のフレーム画像データを生成するものであればよい。

変形例４：上記実施形態では、本発明は、スマートフォン２００（画像読取装置とも呼ばれる。）の一機能として具現化されているが、必ずしもスマートフォン２００単独で処理する必要はなく、処理の一部を画像形成装置１００で実行して画像読取システムとして具現化してもよい。

変形例５：上記実施形態では、スマートフォンが使用されているが、本発明は、撮像が可能であればノートＰＣやタブレットといった携帯端末に適用可能である。

１０ 画像読取システム
１００ 画像形成装置
１１０ 制御部
１２０ 画像形成部
１３０ 操作表示部
１４０，２４０ 記憶部
１５０，２５０ 通信インターフェース部
１６０ 自動原稿送り装置（ＡＤＦ）
２００ スマートフォン
２１０ 制御部
２３０ 操作表示部
２６０ 撮像部

Claims (8)

1. 携帯端末としての画像読取装置であって、
   静止状態と、ページがめくられている動作状態とを含むページめくり動作中のブック原稿の原稿面に表された原稿画像を撮像し、予め設定された時間間隔で複数のフレーム画像データを生成する撮像部と、
   前記複数のフレーム画像データを解析して、前記複数のフレーム画像データの少なくとも一部のフレーム画像データについて前記ブック原稿が前記ページのめくり動作中ではなく、前記静止状態で撮像された画像を表しているか否かを判定し、前記判定に基づいて前記静止状態で撮像された画像を表しているフレーム画像データを抽出する画像解析部と、
   を備え、
   前記画像解析部は、前記複数のフレーム画像データのそれぞれを複数の画素から構成されている複数の画素ブロックに分割し、前記分割された複数の画素ブロック内のフレーム間差分のＤＣＴ係数を量子化したデータが殆どゼロで、かつ、殆ど全ての前記複数の画素ブロックの移動ベクトルが一致しているとの判断に基づいて前記静止状態で撮像された画像を表しているとの前記判定を行い、予め設定されている範囲内であるか否かを定めるための閾値によって前記移動ベクトルの一致を判断する画像読取装置。
2. 請求項１記載の画像読取装置であって、さらに、
   前記複数のフレーム画像データを非圧縮状態で一時的に格納するフレームメモリを備え、
   前記画像解析部は、前記フレームメモリに格納されている前記複数のフレーム画像データから前記静止状態で撮像された画像を表している前記非圧縮状態のフレーム画像データを抽出する画像読取装置。
3. 請求項１又は２に記載の画像読取装置であって、
   前記撮像部は、連写機能を使用して前記複数のフレーム画像データを生成する画像読取装置。
4. 請求項１又は２に記載の画像読取装置であって、
   前記画像解析部は、前記複数のフレーム画像データからフレーム間予測を行って動画像データを生成し、前記フレーム間予測の結果に基づき、前記画素ブロック内のフレーム間差分のＤＣＴ係数を量子化したデータが殆どゼロで、殆ど全ての画素ブロックの移動ベクトルが一致しているとの判断に基づいて前記判定を行う画像読取装置。
5. 請求項４に記載の画像読取装置であって、
   前記撮像部は、５ｆｐｓ乃至１０ｆｐｓのフレームレートで前記複数のフレーム画像データを生成し、解像度を静止画像取得用の最大解像度とする画像読取装置。
6. 画像形成システムであって、
   請求項１乃至５のいずれか１項に記載の画像読取装置と、
   印刷媒体に画像を形成する画像形成装置と、
   を備える画像形成システム。
7. 携帯端末としての画像読取装置を用いる画像読取方法であって、
   静止状態と、ページがめくられている動作状態とを含むページめくり動作中のブック原稿の原稿面に表された原稿画像を撮像し、予め設定された時間間隔で複数のフレーム画像データを生成する撮像工程と、
   前記複数のフレーム画像データを解析して、前記複数のフレーム画像データの少なくとも一部のフレーム画像データについて前記ブック原稿が前記ページのめくり動作中ではなく、前記静止状態で撮像された画像を表しているか否かを判定し、前記判定に基づいて前記静止状態で撮像された画像を表しているフレーム画像データを抽出する画像解析工程と、
   を備え、
   前記画像解析工程は、前記複数のフレーム画像データのそれぞれを複数の画素から構成されている複数の画素ブロックに分割し、前記分割された複数の画素ブロック内のフレーム間差分のＤＣＴ係数を量子化したデータが殆どゼロで、かつ、殆ど全ての前記複数の画素ブロックの移動ベクトルが一致しているとの判断に基づいて前記静止状態で撮像された画像を表しているとの前記判定を行い、予め設定されている範囲内であるか否かを定めるための閾値によって前記移動ベクトルの一致を判断する画像読取方法。
8. 携帯端末としての画像読取装置を制御するための画像読取プログラムであって、
   静止状態と、ページがめくられている動作状態とを含むページめくり動作中のブック原稿の原稿面に表された原稿画像を撮像し、予め設定された時間間隔で複数のフレーム画像データを生成する撮像部、及び
   前記複数のフレーム画像データを解析して、前記複数のフレーム画像データの少なくとも一部のフレーム画像データについて前記ブック原稿が前記ページのめくり動作中ではなく、前記静止状態で撮像された画像を表しているか否かを判定し、前記判定に基づいて前記静止状態で撮像された画像を表しているフレーム画像データを抽出する画像解析部として前記画像読取装置を機能させ、
   前記画像解析部は、前記複数のフレーム画像データのそれぞれを複数の画素から構成されている複数の画素ブロックに分割し、前記分割された複数の画素ブロック内のフレーム間差分のＤＣＴ係数を量子化したデータが殆どゼロで、かつ、殆ど全ての前記複数の画素ブロックの移動ベクトルが一致しているとの判断に基づいて前記静止状態で撮像された画像を表しているとの前記判定を行い、予め設定されている範囲内であるか否かを定めるための閾値によって前記移動ベクトルの一致を判断する画像読取プログラム。