JP5770021B2 - 書籍読み取りシステム及び書籍読み取り方法 - Google Patents
書籍読み取りシステム及び書籍読み取り方法 Download PDFInfo
- Publication number
- JP5770021B2 JP5770021B2 JP2011127180A JP2011127180A JP5770021B2 JP 5770021 B2 JP5770021 B2 JP 5770021B2 JP 2011127180 A JP2011127180 A JP 2011127180A JP 2011127180 A JP2011127180 A JP 2011127180A JP 5770021 B2 JP5770021 B2 JP 5770021B2
- Authority
- JP
- Japan
- Prior art keywords
- page
- book
- image
- speed camera
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
ページ状態測定部と、制御部と、書籍画像取得部とを備えており、
前記ページ状態測定部は、書籍のページ状態を測定する構成となっており、
かつ、前記ページ状態測定部は、前記書籍画像取得部の動作可能周期よりも高速な周期で動作しうる構成とされており、
前記制御部は、前記ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうか判定する構成とされており、
かつ、前記制御部は、前記ページ状態が書籍画像の取得に適すると判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送る構成となっており、
前記書籍画像取得部は、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得する構成となっている
ことを特徴とする書籍読み取りシステム。
前記ページ状態測定部は、前記書籍の画像を取得することにより、前記書籍のページ状態を測定する構成となっている
項目1に記載の書籍読み取りシステム。
前記書籍画像取得部は、前記書籍の見開き状態における左右のページの画像をそれぞれ取得する構成となっている
項目1又は2に記載の書籍読み取りシステム。
以下のステップを備えることを特徴とする書籍読み取り方法:
(1)書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定するステップ;
(2)ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを、制御部により判定するステップ;
(3)前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送るステップ;
(4)前記書籍画像取得部が、前記制御部からの前記指示を受けた後、前記書籍のページについての画像を取得するステップ。
コンピュータに以下のステップを実行させることができるコンピュータプログラム:
(1)書籍画像取得部の動作可能周期よりも高速な周期で動作しうるページ状態測定部により、書籍のページ状態を測定させるステップ;
(2)ページ状態測定部によって測定された前記ページ状態が、書籍画像の取得に適するものかどうかを判定するステップ;
(3)前記ページ状態が書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、書籍画像取得のための指示を送ることにより、前記書籍のページについての画像を前記書籍画像取得部に取得させるステップ。
本実施形態の書籍読み取りシステムは、ページ状態測定部1と、制御部2と、書籍画像取得部3とを備えている(図1参照)。
次に、前記実施形態のシステムを用いた書籍読み取り方法の概略を、図2を参照しながら説明する。
まず、ページ状態測定部1のレーザ光源12を、書籍のページ面に対して照射する。レーザ光源12により照射されるパターンの例は後述する。この照射は、システムの動作中において、高解像度カメラ31の動作時を除いて、常時行われることが好ましい。ついで、高速カメラ11を用いて、少なくとも各ページを撮影できる程度の既定の周期でページ面を撮影する。撮影された画像(ページ状態に相当)は、制御部2に順次送られて、メモリ22に格納される。
ついで、制御部2は、ページ状態測定部1によって前記のように測定されたページ状態が、書籍画像の取得に適するものかどうかを判定する。判定の具体例は後述する。また、この判定は、所定のプログラムに基づいて、CPU21により実行される。
ページ状態が書籍画像の取得に適すると制御部2が判定した場合には、制御部2のCPU21は、インタフェース23を介して、書籍画像取得部3に対して、書籍画像取得のための指示を送る。
ついで、書籍画像取得部3は、制御部2からの前記指示を受けた後、書籍のページについての画像を取得する。具体的には、書籍画像取得部3の拡散光源32が発光すると同時に、高解像度カメラ31によって書籍の対応ページの画像を取得する。カメラ31が一つである場合には、書籍の見開きページを一つの画像として取得することが通常である。ただし、後述するように、複数のカメラ31を用いる場合には、左ページと右ページとをそれぞれ別の画像として取得することができる。あるいは、ページ中の必要な箇所のみを撮影することも可能である。
前記のようにして取得された画像のデータは、本実施形態では、メモリ22に保存される。
以下においては、さらに具体的な例を用いて、本実施形態のシステム及び方法を詳しく説明する。この実施例の説明では、まず、1節でシステムの構成を述べる。次に、紙面の三次元変形を推定する手法を2節で述べる。推定された変形を用いて、適応的撮像のタイミングを定量的に評価する手法を3節で述べる。4節では動作実験の結果を示す。5節でまとめを述べる。その後、実施例の変形例を説明する。
本実施例のシステム構成を図3に示す。前記実施形態と共通する構成要素に同じ符号を付すことにより、説明を簡略化する。
・パターン画像の三次元点群変換、
・三次元点群の連続曲面(柱面)推定、及び
・紙面変形の評価
である。
2.1 パターンの識別と三次元点群の計算
まず、高速カメラ11によって撮像された画像I(i, j) を用いて、三次元点群を算出する手法を述べる。以下では画像の原点を画像の左上隅に取り、i 方向を下向きに取りj 方向を右向きに取る。紙面に投影されたレーザ光パターンに含まれる平行直線群を、ラインと呼ぶ。パターンのライン方向は、書籍中央の綴じ部と直交する方向に設置されているものとする。また、画像上の点のうち、ライン上の点を輝点と呼び、その画像座標をベクトルuk(k = 1, . . . , Np)で表す。
(1) 輝点の取得画像をi方向に走査し、ライン上の輝点ベクトルukを検出する(図5(a))。
(2) 輝点群の分類走査後、画像上の同じ分割領域に属するもの同士で、輝点群を分類する(図5(b))。分類された各点群の集合をクラスタと呼ぶ。
(3) パターンの識別 近傍のクラスタを結合し、i方向に上に位置するクラスタから順番にライン識別番号を割り振る(図5(c))。これにより、クラスタに分類された輝点群を取得できる(図5(d))。
ページめくり中には、図6の左図のように、めくり中のページが、その次のページに重なって観測される場合が起こる。このような重なり状態で、遮蔽された紙面を電子化しないように処理するために、本実施例の手法では、書籍中央の綴じ部を境界としてページを左右に分割した上で、それぞれの領域で重なりを検出する。そのために、分割された各左右領域において重なりが生じている場合であっても、ページ単位で分割できる手法を提案する。
本節では、取得された三次元点群から連続曲面を制御部2で推定する手法を述べる。この連続曲面は、3節で述べる紙面の評価のために必要となる。3節で提案する手法では、高解像度カメラ31から見た紙面の変形をもとに、形状の評価が行われる。前記の手法で取得された三次元点群は、高速カメラ11の座標系で記述されているので、まず、低速高解像度カメラ31の座標系に座標変換する必要がある。座標変換された点群ベクトルVチルダに対して、曲面の推定を行う。
とすると、以下の最小化問題を解くことで柱面が推定できる。これは(a0, . . . , aN, b)について線形な方程式を解くことに帰着されるので高速に解くことができる。
3.1 概要
以下においては、ページ状態測定部1で取得されたページ状態が、高解像度カメラ31による撮像に適するかどうかを制御部2が判断するための評価関数について述べる。ここで、評価関数は最適な状態ほど大きな値をとるものとする。評価関数の値が最大となる時刻において、高解像度カメラ31により撮像することによって、ロバストでかつ高精細なページ画像を得ることができる。
局所解像度を、曲面上の単位面積を高解像度カメラ上に投影した場合の画素数と定義する。これによって、補正画像上の対応する領域の画像の精細さを仮想的に計算できる。本節では、この局所解像度を具体的に定式化する。
前節で定義した局所解像度を用いて評価関数を設定する。局所解像度の平均が高い場合、平面展開画像の全体的な精細さも高いと考えられるので、評価関数は局所解像度が高い場合に大きな値をとるものとする。
最適撮像時刻は左右ページで異なると考えられるため、本手法では、評価関数も左右ページで個別に計算する。予想される評価関数の概形は右ページでは図10(a)、図10(b)、左ページでは図11(a)、図11(b)の様になる。
[右ページ]
Sr = 0:右ページの紙面切り替えが起こってから左ページのページ切り替えが起こるまでの状態。
Sr = 1:Sr = 0 の状態を抜けてから右ページの評価関数値が極大になるまでの状態。
Sr = 2:右ページの評価関数値が極大になってから右ページのページ切り替えが起こるまでの状態。
[左ページ]
Sl = 0:右ページの紙面切り替えが起こってから左ページのページ切り替えが起こるまでの状態。
Sl = 1: Sl = 0 を抜けてから左ページの評価関数値が極大になるか右ページの紙面切り替えが起こるまでの状態。
Sl = 2:左ページの評価関数値が極大になってから右ページのページ切り替えが起こるまでの状態。
4.1 構築した書籍電子化システム
以上の実施例の内容に対応して、実際に書籍電子化システムを構築した。
ページを連続的にめくった場合の評価関数の時系列データを図15と図16に示す。
実験の結果、適応的に撮像された紙面画像と三次元計測の両者がメモリ22に蓄積された。この計測された三次元点群を用いて、既知の手法(非特許文献7参照)によって可展面を推定した結果例を図17に示す。同図において、白丸は計測点、図中横方向に延びる実線は、推定された可展面の準線、これに交差する複数の実線は、母線群である。さらに、この推定をもとに補正した三つの画像の例を図18に示す。同図においては、上から、撮像された画像、補正画像、補正画像の拡大がそれぞれ示されている。
前記した実施形態では、1台の高解像度カメラ31を用いて、見開き状態のページ全体を撮影した(図19参照)。これに対して、2台の高解像度カメラ31を用いて、見開き状態の右ページと左ページとをそれぞれ撮影することも可能である(図20参照)。
前記した実施形態では、予想される局所解像度を用いて、高解像度カメラ31による撮影タイミングを判定していた。しかし、この方法は一例に過ぎず、他の方法も可能である。すなわち、「この状態になった場合に撮像しなさい」という理想状態をシステムで保持しておき、めくり動作中の紙面の形状との相関係数を求める。予め定めておいた相関係数(設定値)以上になった場合に撮像を実施することができる。この方法のバリエーションは数多くあり得る。変形例2では、そのバリエーションの1つとして、ページ状態測定部1の高速カメラ11で観測されるページの面積を観測情報として利用する(図21参照)。
ΔS=0、又は
ΔS≦ΔSS。
この例では、高速カメラ11で観測されるページの枠線形状を利用する。システムが保持した理想の枠線形状との相関を計算して撮像タイミングを制御部2が認識することができる(図22)。他の構成は変形例2及び前記実施形態と同様なので説明を省略する。
この例では、高速カメラ11が、レーザ光源12から紙面に照射されたパターン光を撮像する場合を想定している。この場合、予め理想状態のパターン画像をシステムが保持し、その画像との相関を計算することにより、制御部2が撮像タイミングを認識できる。(図23)。他の構成は変形例2及び前記実施形態と同様なので説明を省略する。
この例では、書籍の全てのページに既知のパターンが印字されている。撮像タイミングとなる場合に高速カメラ11によって観測されるべきパターンの見え方を予めシステムが保持する。そして、高速カメラ11で得た画像とシステム側で保持している画像との相関を計算することにより、制御部2が撮像タイミングを認識する。他の構成は変形例2及び前記実施形態と同様なので説明を省略する。
この例では、高速カメラ11で得た画像に基づいて、ページが最前面であるかどうかを検出し、最前面になった瞬間を制御部2が撮像タイミングと認識する。他の構成は変形例2及び前記実施形態と同様なので説明を省略する。
この例では、ページ状態測定部1として、高速カメラに代えて、三次元スキャナや距離センサを用いる。そして、撮像するための理想形状を予めシステムが保持し、その形状とページ状態測定部で得た形状データとの類似度が高くなったときに、制御部2の指示によって、高解像度カメラ31で撮像する。形状データとは、ページの代表点1点のみまでのセンサからの距離や、三次元スキャナで得られたページ全体曲面などである。他の構成は変形例2及び前記実施形態と同様なので説明を省略する。
11 高速カメラ
12 レーザ光源
2 制御部
21 CPU
22 メモリ
23 インタフェース
3 書籍画像取得部
31 カメラ
31 高解像度カメラ
32 拡散光源
Claims (5)
- ページ状態測定部と、制御部と、書籍画像取得部とを備えており、
前記ページ状態測定部は、高速カメラを備えており、
かつ、前記ページ状態測定部の前記高速カメラは、前記書籍画像取得部の動作可能周期よりも高速な周期で動作しうる構成とされており、
さらに、前記高速カメラは、書籍のページのめくり途中でのページ画像を取得する構成となっており、
前記制御部は、前記高速カメラにより取得された前記ページ画像に基づいて、めくり途中でのページ状態が、書籍画像の取得に適するものかどうかを、既定条件を用いて判定することにより、撮影タイミングを決定する構成とされており、
かつ、前記制御部は、前記ページ状態が前記書籍画像の取得に適すると判定した場合には、前記書籍画像取得部に対して、前記撮影タイミングにおける書籍画像取得のための指示を送る構成となっており、
前記書籍画像取得部は、前記制御部からの前記指示を受けた後、前記撮影タイミングにおける前記書籍のページについての画像を取得する構成となっている
ことを特徴とする書籍読み取りシステム。 - 前記制御部は、前記既定条件として、前記ページ状態についての評価関数、閾値、理想値との相関、又はページ位置を用いる構成となっている
請求項1に記載の書籍読み取りシステム。 - 前記書籍画像取得部は、前記書籍の見開き状態における左右のページの画像をそれぞれ取得する構成となっている
請求項1又は2に記載の書籍読み取りシステム。 - 以下のステップを備えることを特徴とする書籍読み取り方法:
(1)書籍画像取得部の動作可能周期よりも高速な周期で動作しうる高速カメラを用いたページ状態測定部により、書籍のページ状態を測定するステップ;ここで、前記高速カメラは、書籍のページのめくり途中でのページ画像を取得する構成となっており、
(2)前記高速カメラにより取得された前記ページ画像に基づいて、めくり途中でのページ状態が、書籍画像の取得に適するものかどうかを、既定条件を用いて判定する制御部により撮影タイミングを決定するステップ;
(3)前記ページ状態が前記書籍画像の取得に適すると前記制御部が判定した場合には、前記書籍画像取得部に対して、前記撮影タイミングにおける書籍画像取得のための指示を送るステップ;
(4)前記書籍画像取得部が、前記制御部からの前記指示を受けた後、前記撮影タイミングにおける前記書籍のページについての画像を取得するステップ。 - コンピュータに以下のステップを実行させることができるコンピュータプログラム:
(1)書籍画像取得部の動作可能周期よりも高速な周期で動作しうる高速カメラを用いたページ状態測定部により、書籍のページ状態を測定させるステップ;ここで、前記高速カメラは、書籍のページのめくり途中でのページ画像を取得する構成となっており、
(2)前記高速カメラにより取得された前記ページ画像に基づいて、めくり途中でのページ状態が、書籍画像の取得に適するものかどうかを既定条件を用いて判定することにより、撮影タイミングを決定するステップ;
(3)前記ページ状態が前記書籍画像の取得に適すると判定された場合には、前記書籍画像取得部に対して、前記撮影タイミングにおける書籍画像取得のための指示を送ることにより、前記撮影タイミングにおける前記書籍のページについての画像を前記書籍画像取得部に取得させるステップ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011127180A JP5770021B2 (ja) | 2011-06-07 | 2011-06-07 | 書籍読み取りシステム及び書籍読み取り方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011127180A JP5770021B2 (ja) | 2011-06-07 | 2011-06-07 | 書籍読み取りシステム及び書籍読み取り方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012253721A JP2012253721A (ja) | 2012-12-20 |
JP5770021B2 true JP5770021B2 (ja) | 2015-08-26 |
Family
ID=47526077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011127180A Active JP5770021B2 (ja) | 2011-06-07 | 2011-06-07 | 書籍読み取りシステム及び書籍読み取り方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5770021B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6332001B2 (ja) * | 2014-12-08 | 2018-05-30 | 株式会社島津製作所 | 高速度撮影システム |
JP6521481B2 (ja) * | 2015-03-19 | 2019-05-29 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
CN113748667A (zh) * | 2019-04-01 | 2021-12-03 | 思杰系统有限公司 | 自动图像捕获 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200445A (ja) * | 1996-01-12 | 1997-07-31 | Minolta Co Ltd | 画像読取り装置 |
US5835241A (en) * | 1996-05-30 | 1998-11-10 | Xerox Corporation | Method for determining the profile of a bound document with structured light |
JPH11232422A (ja) * | 1998-02-13 | 1999-08-27 | Nec Eng Ltd | 紙葉類めくり装置及びそれを用いた光学読取装置 |
JP3954436B2 (ja) * | 2001-12-11 | 2007-08-08 | 株式会社リコー | 画像入力装置 |
WO2004025410A2 (en) * | 2002-09-10 | 2004-03-25 | Kirtas Technologies, Inc. | Automated page turning apparatus to assist in viewing pages of a document |
JP2006114993A (ja) * | 2004-10-12 | 2006-04-27 | Ricoh Co Ltd | 画像読み取り装置 |
JP2011254366A (ja) * | 2010-06-03 | 2011-12-15 | Pfu Ltd | オーバーヘッドスキャナ装置、画像取得方法、および、プログラム |
-
2011
- 2011-06-07 JP JP2011127180A patent/JP5770021B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012253721A (ja) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5041458B2 (ja) | 三次元物体を検出する装置 | |
CN108111818B (zh) | 基于多摄像机协同的运动目标主动感知方法和装置 | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
JP5567922B2 (ja) | 画像処理装置及びその制御方法 | |
US9460337B2 (en) | Information processor and information processing method | |
JP4697480B2 (ja) | 車線認識装置、車線認識方法および車線認識プログラム | |
JP3822468B2 (ja) | 画像処理装置及びその方法 | |
US9621793B2 (en) | Information processing apparatus, method therefor, and measurement apparatus | |
JP4952625B2 (ja) | 透視変換歪み発生文書画像補正装置および方法 | |
CN107316047B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
JP3867512B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
EP3468163B1 (en) | Intelligent internet high-definition scanner with laser correction | |
TWI332453B (en) | The asynchronous photography automobile-detecting apparatus and method thereof | |
WO2014064870A1 (ja) | 画像処理装置および画像処理方法 | |
JP5673017B2 (ja) | 振動測定システム、振動測定装置および振動測定方法 | |
JP6435661B2 (ja) | 物体識別システム、情報処理装置、情報処理方法及びプログラム | |
TWI509466B (zh) | 物件辨識方法與裝置 | |
JP5770021B2 (ja) | 書籍読み取りシステム及び書籍読み取り方法 | |
JP3709879B2 (ja) | ステレオ画像処理装置 | |
Lu et al. | Document flattening through grid modeling and regularization | |
JP2014142832A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP2010199713A (ja) | オブジェクト検出装置及びオブジェクト検出方法 | |
Noguchi et al. | Real-time 3D page tracking and book status recognition for high-speed book digitization based on adaptive capturing | |
JP5212724B2 (ja) | 高さ測定装置 | |
JP4664805B2 (ja) | 顔端検出装置、顔端検出方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150624 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5770021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |