JP5752907B2 - 撮影機器 - Google Patents

Description

本発明は、書物の撮影に好適な撮影機器に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器は、画像処理を駆使して、様々な苦手撮影シーンを克服している。このような撮影機器における解像度の向上は著しく、書籍等の文字等を撮影した場合でも、撮影画像は十分な視認性を有する。また、撮影機器の表示部の解像度も向上しており、携帯性に優れている特徴もあって、撮影機器によって例えば旅行案内等の書籍の所定の頁を撮影し、書籍の代わりに撮影機器を持ち運ぶという利用方法も考えられる。

書籍等の撮影を行う装置としては特許文献１の装置がある。特許文献１の装置は、書籍などの原稿を上向き見開き状態で上方より撮影する画像読み取り装置である。撮影頁の浮き上がりを防ぐために、特許文献１の装置は制止部材を備え、作業者の手指の疲労を軽減すると共に、画像マスキングの不具合を防ぎ、作業者の手間を掛けずに、歪みのない美しい画像を再現している。

特開平９−２２４１３２号公報

しかしながら、特許文献１の装置においては、書籍などの原稿を上向き見開き状態にし紙を真っ直ぐに延ばした状態で上方より撮影するために、書籍をセットする特別な機器を使用する必要があり、手軽に撮影することはできないという問題があった。

本発明は、書物等を手に持って頁をめくるだけで、書物の内容を撮影して記録することができる撮影機器を提供することを目的とする。

本発明の一態様に係る撮影機器は、書物を連続撮像可能な撮像部と、上記撮像部によって連続して得られる画像のうち、該書物を開き、見開いた上下又は左右の頁の一方の頁の前小口端辺である頁端部を検出し、該検出結果に応じて上記書物の内容を認識可能にする画像を決定する決定部と、上記決定部が決定した画像を本記録する記録部と、を具備する。

本発明によれば、書籍等を手に持って頁をめくるだけで、書籍の内容を撮影して記録することができるという効果を有する。

本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。 図１中の制御部１を説明するための説明図。 図１中の制御部１を説明するための説明図。 撮像画像の歪みを説明するための説明図。 図５は図４中の書物１５をカメラ１０側から見た平面図。 第１の実施の形態の動作を説明するためのフローチャート。 第１の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するための説明図。 第２の実施の形態を説明するためのフローチャート。 第２の実施の形態を説明するためのフローチャート。 本発明の第３の実施の形態を示すブロック図。 第３の実施の形態を説明するための説明図。 第３の実施の形態を説明するための説明図。 第３の実施の形態を説明するための説明図。 第３の実施の形態を説明するための説明図。 第３の実施の形態の動作を説明するためのフローチャート。 図１４及び図２０のステップＳ６４における取込画像補正処理の一例を示すフローチャート。 図１４及び図２０のステップＳ７１における最終頁判断処理の一例を示すフローチャート。 図１３のステップＳ５０における頁取込漏れ検出処理の一例を示すフローチャート。 頁番号表示位置推定領域を示す説明図。 ステップＳ１１７，Ｓ１１８の頁番号の検索処理を説明するための説明図。 ステップＳ１１７，Ｓ１１８の頁番号の検索処理を説明するための説明図。 頁取込漏れ検出処理を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。

本実施の形態は、撮影範囲内においてユーザが書物を手に持ち重力を利用して頁をぱらぱらとめくりながら撮影を行うことで、各頁を撮像するものである。なお、本実施の形態においては、書物として、複数毎の紙が一方の端を綴じられた状態になっている通常の本を扱うものとする。

図１において、撮影機器であるカメラ１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、後述する制御部１によって、絞り、ピント、ズーム等が制御可能に構成されており、様々なサイズの書物に対応した撮像が可能である。

撮像部２は、制御部１によって駆動制御されて、被写体である書物の静止画像又は動画像を撮像し、画像信号を出力する。制御部１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像部２からの画像信号を取り込む。

制御部１は、入力された画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。制御部１は、画像信号の記録に際して、符号化処理を施して圧縮した画像情報を出力することもできるようになっている。制御部１は、信号処理した画像データを記録部４に与えて記録させると共に、表示部８に与えて表示させることができるようになっている。

本実施の形態においては、記録部４には仮記録部４ａが設けられている。制御部１は、書物の各頁の撮像画像の視認性を向上させるために、撮像した画像のうち視認性に優れた画像のみを採用する。そこで、制御部１は、撮像画像を仮記録部４ａに与えて仮記録させると共に、仮記録部４ａに仮記録された画像のうち、視認性に優れた画像のみを記録部４に本記録するようになっている。

なお、制御部１は、図示しない作業メモリを用いて各種処理を実行しており、仮記録部４ａに仮記録することなく作業メモリ上で撮像画像のチェックを行うことで本記録する画像を決定するようにしてもよい。

カメラ１０には、時計部５及び操作部６も設けられている。時計部５は制御部１が用いる時間情報を発生する。操作部６は、カメラ１０に設けられた図示しないレリーズスイッチや撮影モード設定等の各種スイッチに対するユーザ操作に基づく操作信号を発生して、制御部１に出力するようになっている。制御部１は、操作信号に基づいて、各部を制御する。

カメラ１０には、姿勢判定部７も設けられている。姿勢判定部７は、加速度センサ等によって構成することができ、カメラ１０本体の姿勢及び重力方向を検出する。姿勢判定部７は、カメラ１０本体が重力方向に対してどのような角度に配置されているかを検出して検出結果を制御部１に与えるようになっている。

本実施の形態においては、制御部１は、水平ライン追尾部１ａ、画像補正部１ｂ及び並べ替え部１ｃを有している。

図２及び図３は制御部１を説明するための説明図である。

本実施の形態においては、図２に示す利用シーンを想定している。即ち、ユーザ１１は本実施の形態におけるカメラ１０と書物１５とを相互に対向する位置に配置する。図２の例では、ユーザ１１は、右手１２で書物１５を把持し、左手１３で台１６上のカメラ１０を操作するようになっている。ユーザ１１は、書物１５を開き、見開いた上下（又は左右）の頁の一方の頁の前小口側端辺（以下、頁端辺という）を上方に、他方の頁の頁端辺が下方になるように書物を右手１２で持ち、例えば、一方の頁の頁端辺を押さえている親指１４をずらすことで、一方の頁が上方側から下方側に重力によってめくられるようにする。即ち、各頁は順次重力に従ってめくられる。

水平ライン追尾部１ａは、撮像画像中の水平ラインを検出して追尾し、順次撮像される画像上において水平ラインが画像上を移動する様子を検出する。即ち、図２の例では、水平ライン追尾部１ａは、書物の各頁の頁端辺を検出して追尾することができる。

図３はこの様子を示すものであり、図３（ａ）は書物１５の頁がめくられる途中の状態を示している。頁を親指で押さえている状態では、頁の頁端辺Ｌ１は略書物１５の上端に位置する。親指をずらすと、頁が重力によってめくられて頁端辺Ｌ１は次第に下降し、図３（ａ）の状態から図３（ｂ）の状態を経て、最終的には図３（ｃ）に示すように、頁端辺Ｌ１が略書物１５の下端に位置する状態となる。

いま、図３の破線にて囲った領域がカメラ１０による撮像範囲であるものとすると、図３（ａ）の状態では書物１５の第ｎ頁が撮像可能である。図３（ｂ）の状態では、頁がめくられて第ｎ頁の一部と第ｎ＋２頁の一部とが撮像可能な状態である。

水平ライン追尾部１ａは、このような頁端辺Ｌ１の位置の変化を検出することで、頁端辺Ｌ１がめくられて図３（ｃ）に示すように書物１５の最下端の位置まで移動したことを検出することができる。制御部１は水平ライン追尾部１ａの検出結果によって、頁が完全にめくられたことを検出すると、この状態における撮像画像を記録部４に本記録する。図３（ｃ）の状態においては、カメラ１０は第ｎ＋２頁を撮像可能である。

なお、図３のようにカメラ１０による撮像範囲が１頁分である場合には、図３の撮像方法では、奇数頁のみ又は偶数頁のみが撮像されることになるので、書物１５を１８０度回転させて偶数頁又は奇数頁を撮像する必要がある。

並べ替え部１ｃは、記録部４に記録された撮像画像を並べ替えて表示させることができる。図３の例では、奇数頁のみ又は偶数頁のみが先に撮像され、後で偶数頁又は奇数頁のみが撮像されることになる。従って、撮像順に表示を行うと、表示される頁は頁順とならない。並べ替え部１ｃは、撮像された画像を並べ替えて頁順に撮像画像を表示させることができる。

画像補正部１ｂは、撮像画像に対する歪み補正や回転補正等の各種画像補正を行う。図３の撮像方法では、頁端辺は頁内の画像の向きに拘わらず水平となる。画像補正部１ｂは、撮像画像が頁内の画像の向きと一致するように、或いはユーザが指定する画像の向きに一致するように、画像を回転させることができるようになっている。

また、図３の撮像方法では、書物１５は重力に対して手のみによって支持されており、撮像範囲内の各頁は、必ずしも平坦になるとは限らない。カメラの撮像範囲に対して頁に傾斜した部分が存在する場合には、撮像画像に歪みが生じる。図４及び図５はこのような状態を示している。なお、図５は図４中の書物１５をカメラ１０側から見た平面図である。図４及び図５においては書物１５の頁Ｐ１，Ｐ２を見開いた状態において、撮像範囲Ｈ１内の頁Ｐ１はカメラ１０の光軸に対して傾斜して配置されている。図４及び図５の例では、頁Ｐ１の頁端辺側がカメラ１０側に近接するように頁Ｐ１が傾斜している。この場合には、撮像画像は台形歪みを生じる。画像補正部１ｂは、撮像画像を画像補正してこのような歪みを除去することができるようになっている。

次に、このように構成された実施の形態の動作について図６及び図７のフローチャートを参照して説明する。図６は撮影時の動作フローを示し、図７は再生時の動作フローを示している。

電源が投入されると、制御部１は、図６のステップＳ１において、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、制御部１は、再生モードに移行する。撮影モードが指示されると、制御部１は、ステップＳ２において、書物取込モードが指示されているか否かを判定する。書物取込モードが指示されていない場合には、制御部１は処理をステップＳ３に移行して、撮像部２からの画像信号に基づいて、表示部８に撮像画像（スルー画）を表示させる。

制御部１は、次のステップＳ４において、ユーザによる撮影操作が行われたか否かを判定する。撮影操作以外の各種操作が行われると、制御部１はステップＳ８においてユーザ操作に基づく各種処理を行う（ステップＳ９）。

ユーザが撮影を行うために図示しないレリーズボタン等を操作すると、制御部１は処理をステップＳ５に移行して、撮影を行う。即ち、制御部１は撮像部２からの撮像画像に対して所定の信号処理及び符号化処理等を施す。更に、制御部１は時計データと共に、撮像画像をファイル化して、記録部４に記録する。

ここで、ユーザが書物取込モードを指示するものとする。そうすると、制御部１は処理をステップＳ２からステップＳ１１に移行して、表示部８にスルー画を表示させる。ユーザはスルー画を見ながら、撮影範囲を書物の頁に一致させる位置合わせを行う。次に、制御部１は姿勢判定部７の判定結果から重力方向を検出する（ステップＳ１２）。制御部１は、例えば重力方向の検出結果に基づいて画面上に水平ラインを示す表示を表示させる。ユーザはこの水平ラインの表示が水平となるようにカメラ１０を配置すると共に、水平ラインの表示と書物の頁端辺とが平行になるように書物を配置する。

次に、制御部１は、例えばユーザ操作に基づいて、或いはカメラ１０と書物との配置が適正となったことを検出すると、連続撮影を開始する（ステップＳ１３）。制御部１は撮像画像を順次取り込んで、記録部４の仮記録部４ａに記録する（ステップＳ１４）。制御部１の水平ライン追尾部１ａは、次のステップＳ１５において、仮記録部４ａに記録された画像に基づいて、水平ライン（頁端辺）が下降して安定したか否かを判定する。水平ラインが安定していない場合には、処理をステップＳ１４に戻して仮記録を繰り返す。

頁端辺が下降して書物の下端に到達したことが水平ライン追尾部１ａによって検出されると、制御部１は次のステップＳ１６において、水平ラインの安定後に撮影された画像の頁を判定する。例えば、制御部１は、頁端部の頁番号表示部分の画像認識によって頁判定を行うことができる。制御部１はこの頁判定によって撮像された書物の頁番号や画像の向き等を認識する。制御部１は、ステップＳ１６の頁判定結果が前回の頁判定結果と同一であったか否かを判定し（ステップＳ１７）、同一であった場合には、処理をステップＳ２１に移行する。

同一頁でない場合には、制御部１の画像補正部１ｂは、ステップＳ１８において、頁判定結果に従って、撮像画像の向きが一致するように、頁の上下を揃える回転処理を行う。なお、画像補正部１ｂは、撮像画像の台形歪み等の歪みを補正する画像補正処理を行ってもよい。

次に、制御部１は、水平ラインが安定した後の撮像画像に時計データを付与し（ステップＳ１９）、記録部４に本記録する（ステップＳ２０）。制御部１は次のステップＳ２１において、ユーザが撮影を希望する奇数又は偶数の全ての頁の撮像が終了したか否かを判定する。例えば、制御部１は、水平ラインとして検出可能な頁端辺の画像部分が５秒間変化しない場合には、ユーザが希望する頁の撮影が終了したものと判定する。ユーザが希望する頁の撮影が終了していない場合には処理をステップＳ１４に戻して仮記録を続け、撮影が終了した場合には、ステップＳ２２において連続撮影を終了する。

こうして、ユーザが指をずらしながら重力を利用して頁をめくることにより、順次各頁を自動的に撮像することが可能である。なお、ステップＳ１１〜Ｓ２２において、例えば、奇数頁のみが撮像されたものとすると、ユーザは書物を１８０°回転させて、ステップＳ１１〜Ｓ２２により偶数頁の取り込みを行うことにより、書物の必要な全ての頁を取り込むことができる。

次に、図７を参照して再生時の動作について説明する。

制御部１は、ステップＳ３１において、再生モードが指示されたか否かを判定する。再生モードが指示されると、制御部１は、ステップＳ３２において、撮像画像について例えばサムネイルによる一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップＳ３３からステップＳ３４に処理を移行して、選択画像の再生を行う。

即ち、制御部１は、記録部４から撮像画像を読み出して、表示部８のサイズに合わせて表示を行う。次のステップＳ３５においては、制御部１はユーザによる画面送り操作が行われたか否かを判定する。画面送り操作が行われた場合には、制御部１はステップＳ３６において、再生中の画像が書物取込モードの書物取込撮影による画像であるか否かを判定する。再生画像が通常撮影による画像である場合には、制御部１は、記録部４に記録された画像を撮影順に時系列に読み出して再生を行う（ステップＳ３８）。

一方、再生画像が書物取込撮影による画像である場合には、制御部１は、記録部４に記録された画像を頁順に読み出して再生を行う（ステップＳ３７）。例えば、制御部１は、画像の頁端部の頁番号表示部分の画像認識によって頁判定を行うことで、頁順に画像を再生することが可能である。また、記録時に撮像画像に頁番号の情報を付加して記録し、制御部１がこの頁番号を再生することで、頁順での表示が可能である。更に、書物取込モードにおける頁取込順の規則に従って再生することによっても、頁順での表示が可能である。

制御部１は、ステップＳ３９において再生終了と判定するまでステップＳ３５〜Ｓ３８の処理を繰り返す。

こうして、書物の各頁についての撮像画像を頁順に表示することが可能である。

このように本実施の形態においては、書物をぱらぱらとめくるだけで書物の各頁の撮像画像を記録することができる。この場合において書物をセットする部材は不要であり、手に持った書物を重力に従ってめくるだけで、各頁の撮像が可能であり、極めて簡単である。また、ユーザが頁のめくりを停止することで、頁の画像取込を停止させることができ、旅行案内等の書物の所定の頁のみを簡単に記録することができる。また、記録した書物の頁を頁順に再生することができ、書物の内容を撮像画像から容易に認識することができる。

（第２の実施の形態）
図８乃至図１４は本発明の第２の実施の形態に係り、図８乃至図１２は第２の実施の形態を説明するための説明図であり、図１３及び図１４は第２の実施の形態を説明するためのフローチャートである。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。

本実施の形態は見開いた２頁分の画像に基づいて撮影タイミングを決定すると共に、見開いた２頁分の画像を記録するようにした点が第１の実施の形態と異なる。

図８はカメラ１０と書物１５との配置を示している。本実施の形態においても、カメラ１０と書物１５とを相互に対向する位置に配置する。カメラ１０の撮像範囲２１に書物１５の見開いた頁が配置されるようにする。図９はこの状態においてカメラ１０の表示部８の表示画面３１上に表示される撮像画像の一例を示している。

表示画面３１上には、書物１５が見開いた状態で撮像されている。また、表示画面３１上には、制御部１によって、撮像枠３２が表示されている。撮像枠３２はカメラ１０の撮像範囲を示すものである。制御部１は、表示画面３１上に、「書籍を枠に合わせてください」というメッセージ表示３３を表示させることができるようになっている。

制御部１は、撮像画像に対する画像処理によって、書物１５の縁辺を検出することができるようになっている。例えば、制御部１はエッジ検出によって、書物１５の縁辺を検出可能である。制御部１は、書物１５の縁辺が撮像枠３２内において十分なサイズで検出されると、書物取込撮影が可能になったものと判断して、「頁をめくってください。」というメッセージ表示３４を表示画面３１上に表示するようになっている。図１０はこの状態における画面表示を示している。書物取込モードにおいては、ユーザが図１１に示すように各頁を重力を利用してめくることにより、各頁の撮影が行われる。

次に、このように構成された実施の形態の動作について説明する。

図１３のステップＳ４１において、制御部１は書物取込モードが指示されたか否かを判定する。通常の撮影モードの場合には、制御部１は処理をステップＳ４２に移行して表示部８にスルー画を表示させる。制御部１は、ステップＳ４３において、撮影操作が行われたことを検出すると、撮像画像を記録部４に与えて記録させる（ステップＳ４４）。制御部１は、撮影が終了するまでステップＳ４２〜Ｓ４４の処理を繰り返す。

書物取込モードが指示されるものとする。この場合には、制御部１は、処理をステップＳ４６に移行して表示部８にスルー画を表示させる。次に、制御部１は、姿勢判定部７の判定結果によって重力方向を検出する。次に、制御部１は、ステップＳ４８において、表示部８の表示画面３１上に画像枠３２を表示する（図９参照）。次に、制御部１は、ステップＳ４９において頁取込処理を行う。

図１４は図１３中の頁取込処理の一例を示している。図１４のステップＳ６１において、制御部１は撮像部２からの撮像画像に対する画像処理によって、書物の輪郭検出を行う。制御部１は次のステップＳ６２において、図９に示すように、書物１５が画像枠３２内において十分なサイズで撮像されているか否かを検出する。制御部１は、書物１５の画像が適正に配置されていない場合には、「書物を枠に合わせてください」というメッセージ表示３３を表示する。制御部１は、書物１５の画像が適正に配置さたことを検出すると、「頁をめくってください」というメッセージ表示３４を表示する（ステップＳ６３）。

ユーザは、書物１５の頁を重力を利用してめくる。図１２はこの場合における撮像画像の変化を示している。いま、ステップＳ６３のメッセージ表示３４が表示された状態において、書物１５を見開いた頁が図１２の上段最左端に示す頁Ｐ１，Ｐ２であるものとする。なお、図１２の破線は頁端辺を示しており、頁Ｐ２の頁端辺Ｌ１が上方に配置され、頁Ｐ１の頁端辺は下方に配置されているものとする。図１２の例では、頁Ｐ１はひらがな横書きの頁であり、頁Ｐ２は数字横書きの頁である。

制御部１は、現頁の画像、図１２の上段最左端に示す頁Ｐ１，Ｐ２を取込む。撮像部２からの撮像画像は制御部１に取り込まれ、所定の信号処理及び画像補正処理（ステップＳ６４）が施された後、記録部４に記録される（ステップＳ６５）。

更に、制御部１は、取り込んだ撮像画像の上方側頁の頁端辺Ｌ１の画像部分を頁めくり判断部に設定する（ステップＳ６６）。また、制御部１は、取り込んだ撮像画像の下方側頁端辺の画像部分を頁めくり完了部に設定する（ステップＳ６７）。制御部１は、撮像部２によって順次取り込まれる撮像画像から頁めくり判断部の位置を追尾する（ステップＳ６８）。

図１２に示すように、頁Ｐ２が重力に従って下方にめくられると、頁Ｐ２の裏側の頁Ｐ４の一部が撮像される。なお、図１２は頁めくり判断部の移動の様子を図面を簡略化して示すものであり、実際には各頁の画像は頁のめくられ方に応じて変形して撮像される。頁Ｐ２の頁めくり判断部が書物１５ののどを超えると、撮像画像の上方側には書物１５の頁Ｐ４の略全体が表示され、下方側には頁Ｐ２の裏面の頁Ｐ３の一部が撮像され始める。頁Ｐ２の頁端辺Ｌ１が下方に移動するに従って、頁Ｐ３の撮像範囲が広がり、最終的には、撮像画像の上方側には書物１５の頁Ｐ４の略全体が表示され、下方側には頁Ｐ３の略全体が撮像される。こうして、頁めくりが完了する。

制御部１は、ステップＳ６９において、頁めくり判断部が頁めくり完了部に到達したか否かを判定する。制御部１は、頁めくり判断部が頁めくり完了部に到達することにより、１回の頁めくりが完了したものと判定して、処理をステップＳ７０に移行する。

制御部１は、ステップＳ７０において、頁めくり完了時点における撮像画像の上方側頁の頁端辺Ｌ２の画像部分を新たな頁めくり判断部に設定する。制御部１は、ステップＳ７１において最終頁に到達したか否かを判断し、到達していない場合にはステップＳ７２から処理をステップＳ６４に戻して、ステップＳ６４〜Ｓ７１の処理を繰り返す。こうして、最終頁に到達するまで、見開かれた２頁分の撮像画像が取り込まれて順次記録される。最終頁に到達すると、制御部１は表示部８に取込処理が終了したことを示すメッセージ表示を表示する。

このように本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。

（第３の実施の形態）
図１５は本発明の第３の実施の形態を示すブロック図である。図１５において図１と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は本記録する画像の決定方法が第１及び第２の実施の形態と異なる。

本実施の形態におけるカメラ４１は、水平ライン追尾部１ａに代えて文字認識処理部１ｄを備えた制御部１を採用する点が第１及び第２の実施の形態と異なる。

本実施の形態においても、図８に示すように、カメラ１０と書物１５とを相互に対向する位置に配置する。カメラ１０の撮像範囲２１に書物１５の見開いた頁が配置されるようにする。図１６はこの状態においてカメラ１０により撮像された書物１５の見開いた頁のうちの一方の頁の撮像画像の一例を示す説明図である。図１６（ａ）乃至（ｊ）は夫々撮像画像を撮影順に時系列に示している。また、図１６は文字が表記された書物を撮像した例であり、図１６（ａ）乃至（ｊ）の各画像の左側の辺が頁端辺Ｌ１を示している。本実施の形態においても、図１１と同様に、頁端辺Ｌ１を上方に配置した状態で、各頁を重力に従ってめくりながら、撮影を行う。なお、図１６中では図面の簡略化のために、文字の一部を＊によって示している。

制御部１は、書物取込モードになると、撮像部２を制御して順次撮像を行い、撮像画像を記録部４の仮記録部４ａに記録する。撮像部２の撮像を頁をめくる速度に比べて十分に高速に行うことにより、各頁に対して１枚以上の撮像画像が得られる。

文字認識処理部１ｄは、仮記録部４ａに記録された撮像画像について文字認識を行い、認識文字の一致度から各頁毎に撮像画像を分ける。更に、文字認識処理部１ｄは、各頁の撮像画像のうち認識された文字数によって本記録する撮像画像を決定する。例えば、文字認識処理部１ｄは、認識文字数が最も多い撮像画像を採用して本記録する。

次に、このように構成された実施の形態の動作について図１６乃至図２０を参照して説明する。図１６乃至図１９は第３の実施の形態を説明するための説明図であり、図２０は第３の実施の形態の動作を説明するためのフローチャートである。図２０において図１４と同一の手順については同一符号を付して説明を省略する。

図２０のステップＳ６４において、制御部１は撮像部２からの撮像画像に対する補正処理を行った後、撮像画像を仮記録部４ａに与えて記録させる。本実施の形態においては、制御部１はこの段階では頁めくりを判定することなく、高速に書物の撮像を行う。ステップＳ７１，Ｓ７２においてユーザが希望する最終頁まで撮像が行われたか否かを判定しながら、所望の最終頁まで撮像を繰り返す。

こうして、書物の見開いた各頁は夫々複数回撮像され、仮記録部４ａには、各頁について夫々複数の撮像画像が記録される。制御部１の文字認識処理部１ｄは、ステップＳ８２において、仮記録部４ａに記録されている撮像画像を順次読み出して文字認識を行う。

いま、仮記録部４ａに図１６（ａ）乃至（ｊ）に示す撮像画像が記録されているものとする。文字認識処理部１ｄは、図１６の各画像について文字認識処理を行う。頁端辺が重力に従って移動することによって、撮像されて認識可能な文字が変化する。文字認識処理部１ｄは、認識された文字の一致する度合いによって、同一頁を撮像して得られた撮像画像であることを判定する（ステップＳ８３）。例えば、文字認識処理部１ｄは、頁端辺側から所定列の認識文字の一致度合いで、同一頁についての撮像画像であるか否かを判定する。

図１７は図１６（ａ）乃至（ｊ）の画像を画像１乃至１０として、頁端辺側から所定列（図１７では１列）の認識文字列を各画像毎に示したものである。図１７の例では、画像１〜３、画像４，５、画像６〜８、画像９，１０が夫々同一認識文字を有しており、文字認識処理部１ｄは、これらの画像の組を夫々同一頁についての撮像画像であるものと判定する。

次に、文字認識処理部１ｄは、各頁の撮像画像について各撮像画像中の認識文字数を検出して（ステップＳ８４）、各頁の撮像画像から本記録する画像を決定する。頁端辺が鉛直方向の最も上端又は下端に位置する場合において、撮像画像中に文字認識可能な文字が多くなるものと考えられる。従って、各頁の全域を撮像した撮像画像を選択するためには、文字認識処理部１ｄによる認識文字数が多い画像を選択すればよい。

図１８は図１６及び図１７に対応しており、図１８（ａ）乃至（ｃ）は同一頁の撮像画像と判定された画像１〜３について認識文字数を示すものである。図１８に示すように、画像１，２，３の認識文字数は、夫々７０，８０，９０である。なお、撮像部２は、見開きの２つの頁を撮像しており、文字認識処理部１ｄは、見開きの２つの頁の認識文字数が例えば最も多い撮像画像を採用する画像と判定して、記録部４に本記録する（ステップＳ８５）。

図１９は図１６乃至図１８に対応しており、図１９（ａ）乃至（ｄ）は、各頁毎に選択された撮像画像を示している。即ち、図１６の例では、制御部１は、画像３，５，７，１０を本記録する画像として選択する。

なお、上記説明では、ステップＳ８３において、見開いて撮影された２頁のうちの一方の頁の撮像画像部分を用いて同一頁の判定を行う例を説明したが、両方の頁の撮像画像部分を用いて同一頁の判定を行ってもよい。

なお、上記説明では、ステップＳ８４において、見開いて撮影された２頁の撮像画像中の認識文字数を用いて本記録する画像を選択する例を説明したが、一方の頁の撮像画像部分に含まれる認識文字数を用いて本記録する画像を選択するようにしてもよい。

このように本実施の形態においても、第１及び第２の実施の形態と同様の効果を得ることができる。また、本実施の形態を、第１の実施の形態と同様に、見開いた一方の頁のみを撮像する例に適用してもよいことは明らかである。

図２１は図１４及び図２０のステップＳ６４における取込画像補正処理の一例を示すフローチャートである。

制御部１の画像補正部１ｂは、図２１のステップＳ９１において、撮像している書物の輪郭を再度検出する。画像補正部１ｂは、撮像して得た書物の輪郭と所定の矩形とを比較し（ステップＳ９２）、書物の輪郭が矩形となっていない部分を輪郭歪曲部として検出する（ステップＳ９３）。

例えば、図４及び図５の例では、画像補正部１ｂは、撮像画像の全体が台形に歪んでいることを検出する。画像補正部１ｂは、輪郭歪曲部と所定の矩形との比較によって、輪郭歪曲部がどの程度歪曲しているかを示す歪曲強度を求め（ステップＳ９５）、求めた歪曲強度に従って輪郭歪曲部を補正する（ステップＳ９６）。こうして、撮像画像の歪みを除去することができる。

図２２は図１４及び図２０のステップＳ７１における最終頁判断処理の一例を示すフローチャートである。

制御部１は、撮像部２からの撮像画像について、図２２のステップＳ１０１において、状態の遷移が無いことを検出する。例えば、制御部１は、水平ライン追尾部１による水平ラインの追尾処理によって、撮像画像間で水平ライン（頁端辺）が移動しないことを検出する。或いは、制御部１は、撮像部２から順次取り込まれる撮像画像同士の比較によって、撮像画像に状態の遷移がないことを検出してもよい。制御部１は、ステップＳ１０２において、所定時間連続して撮像画像の状態遷移が無いことを検出すると、最終頁に到達したものと判断して処理を終了する。

制御部１は、ステップＳ１０３において、撮像部２からの撮像画像から書物の輪郭と画像枠（図９参照）とのずれ量を検出する。制御部１は、このずれ量が大きい場合には、最終頁に到達したものと判断して（ステップＳ１０４）処理を終了する。

更に、制御部１は、ステップＳ１０５において、取込終了操作が行われたか否かを検出する。取込終了操作が行われた場合には、制御部１は、最終頁に到達したものと判断して（ステップＳ１０６）処理を終了する。

図２３は図１３のステップＳ５０における頁取込漏れ検出処理の一例を示すフローチャートである。また、図２４乃至図２７は頁取込漏れ検出処理を説明するための説明図である。

図２３のステップＳ１１１においては、制御部１は、頁番号位置検出画像を設定する。例えば、制御部１は、書物取込モードにおいて本記録した撮像画像のうちの先頭の画像を頁番具位置検出画像として設定する。制御部１は、例えば撮像画像についての文字認識処理によって、撮像画像中の画像の向きを検出する（ステップＳ１１２）。次に、制御部１は、画像中の頁番号表示位置推定領域から頁番号を検出する（ステップＳ１１３）。

図２４は頁番号表示位置推定領域を示す説明図である。図２４は本記録された撮像画像を示しており、制御部１は、図２４中の円又は楕円にて囲った撮像画像中の４辺周辺を頁番号表示位置推定領域に設定し、この領域内から頁番号を検出する。

制御部１は、ステップＳ１１４において、頁番号が検出されたか否かを判定する。検出されない場合には、制御部１は、ステップＳ１１５において、記録順で次に本記録された画像を新たに頁番号位置検出画像に設定する。制御部１は、ステップＳ１１６において、頁番号位置検出画像の設定回数が閾値に到達したか否かを判定し、到達した場合には頁番号が記入されていない書物について書物取込撮影を実施したものと判断して処理を終了する。到達していない場合には、処理をステップＳ１１２に戻す。

制御部１は、ステップＳ１１４において、頁番号が検出されたものと判定すると、次のステップＳ１１７において、頁番号位置検出画像から頁番号を検索する。次いで、制御部１は、記録順で次に本記録された画像について頁番号の検索を行う（ステップＳ１１８）。

図２５及び図２６はステップＳ１１７，Ｓ１１８の頁番号の検索処理を説明するための説明図であり、本記録された画像を記録順に時系列に示すものである。図２５の例は、書物の地側の辺中央近傍に頁番号表示５２がある場合の例である。この場合には、ステップＳ１１８においても、制御部１は、頁番号表示５２において頁番号の検索を行う。

また、図２６の例は、書物の地側の辺の小口近傍に頁番号表示５４，５５がある場合の例である。この場合には、制御部１は、画像が切換る毎に、頁番号表示５４の位置と頁番号表示５５の位置とで重点的に頁番号を検索する位置を切換える。

このように頁番号表示の領域を予測することによって、制御部１は、頁番号の検索処理の演算量を低減することができる。制御部１は、ステップＳ１１９において全画像について頁番号の検索を行ったものと判定するまで、各画像について頁番号の検索を行う。

次に、制御部１は、ステップＳ１２０において、頁の抜けを検出する。例えば、制御部１は、検索した頁番号をデータ化し、昇順で終了頁までの抜けの有無を検出する。図２５，図２６の例では、３，４頁に抜けが生じている。頁抜けがある場合には、制御部１は、頁抜けがあることを示すメッセージ表示を表示させる。図２７はこの場合の表示を説明するための説明図である。図２７の例では、制御部１は、カメラ１０の表示画面３１上に、「頁３〜４・・・が未取り込みです 再度取り込み処理を 行ってください」というメッセージ表示６１を表示させている。

このように図２３のフローを採用することによって、本記録した画像に頁抜けが生じていることを自動的に検出して、ユーザに告知することが可能である。

なお、上記各実施の形態においては、水平ラインの検出或いは文字認識によって、本記録する画像の決定を行ったが、例えば他の手法により本記録する画像を決定してもよい。例えば、頁をめくる途中においては、画像のコントラストが低下していることが考えられる。そこで、画像のコントラストを検出して、本記録する画像を決定してもよい。

また、上記各実施の形態において文字認識を実施した場合には、文字認識結果を利用して撮影した書物を電子化するようにしてもよい。

１…制御部、１ａ…水平ライン追尾部、１ｂ…画像補正部、１ｃ…並べ替え部、２…撮像部、４…記録部、４ａ…仮記録部、７…姿勢判定部、８…表示部、１０…カメラ。

Claims (5)

1. 書物を連続撮像可能な撮像部と、
   上記撮像部によって連続して得られる画像のうち、該書物を開き、見開いた上下又は左右の頁の一方の頁の前小口端辺である頁端部を検出し、該検出結果に応じて上記書物の内容を認識可能にする画像を決定する決定部と、
   上記決定部が決定した画像を本記録する記録部と
   を具備したことを特徴とする撮影機器。
2. 上記決定部は、上記頁端部の移動速度と停止時間との少なくとも一方に基づいて上記画像の決定を行うことを特徴とする請求項１に記載の撮影機器。
3. 上記書物に頁番号が付されている場合において、
   上記決定部は、さらに上記撮像部によって連続して得られる画像中の文字を認識し、文字認識結果のうち頁番号を示す文字に基づいて上記書物の内容を認識可能にする画像を決定することを特徴とする請求項１に記載の撮影機器。
4. 上記記録部は、上記連続して得られる画像を仮記録すると共に、上記決定部によって決定されたことを特徴とする請求項１乃至３のいずれか１つに記載の撮影機器。
5. 上記撮像部は、上記書物を見開いた一方の頁のみを撮像し、
   上記記録部は、上記本記録する画像を上記書物の頁順に並べ替えて記録することを特徴とする請求項１乃至４のいずれか１項に記載の撮影機器。

Images