JP6098784B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、撮影画像を処理する画像処理装置及びプログラムに関する。

一般に、紙媒体（例えば、ノートブックや書籍）に記載されている情報（文字、図形など）を画像として読み取って記録保存する画像処理装置としては、その紙媒体をスキャナで走査することによってそのイメージデータとして読み取ったり、紙媒体をデジタルカメラで撮影することによって撮影画像として読み取ったりするようにしている。
このように紙媒体をデジタルカメラによって読み取る技術としては、従来、例えば、第１の筐体と第２の筐体とがヒンジ部を介して回動可能（開閉可能）に取り付けられているノートパソコンにおいて、第１の筐体と第２の筐体とを開いた状態で、第１の筐体の近傍に置かれた資料（紙媒体）が、第２の筐体側に配設されているデジタルカメラによって撮影されと、その撮影画像に対して台形歪補正を施すようにした技術が提案されている（特許文献１参照）。

特開２０１０−１３０１８１号公報

しかしながら、上述した特許文献１の技術にあっては、パソコン筐体の輪郭の映り具合（傾き具合）に応じて撮影画像に対して台形歪補正を行う補正パラメータ（傾き角）を求めるようにしているが、輪郭の映り具合から補正パラメータを正確に求めることは困難であるという問題があった。

本発明の課題は、被写体が所定の状態となったときに撮影される撮影画像の状態をより精度良く判定できるようにすることである。

上述した課題を解決するために本発明の画像処理装置は、複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置であって、前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、を備え、前記検出手段は、複数の指標が所定の規則性を持って配置された被写体の撮影画像が前記撮像部により撮影された場合に、予め用意されているパターンマッチング用の比較基準画像を使用して、当該撮影画像内の複数の指標を認識することによりその個々の位置をそれぞれ検出し、前記第１の判定手段は、前記検出手段により検出された各検出点の中から前記所定の規則性を持った並びに近似した配置関係にある各検出点に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する、ことを特徴とする。

また、本発明の他の態様による画像処理装置は、複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置であって、前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、を備え、前記第１の判定手段は、前記検出手段により検出された指標が前記撮影画像内の所定の位置に収まった際に、前記第２の筐体に対する前記第１の筐体の角度が前記所定の角度範囲内に収まった状態であると判定する、ことを特徴とする。

また、本発明の他の態様による画像処理装置は、複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置であって、前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、を備え、前記第１の筐体と前記第２の筐体とが見開き状に開閉されている状態において、前記撮像部のフォーカス位置を前記第１の筐体の見開き平面の中央部よりも遠端部側に設定する、ことを特徴とする。

本発明によれば、被写体が所定の状態となったときに撮影される撮影画像の状態をその被写体に配置されている複数の指標からより精度良く判定することができ、その画像の状態に応じた画像処理をより正確に行うことが可能となる。

開閉式の画像処理装置を開いた状態を示した概観斜視図。 画像処理装置を開いて被写体を撮影する際の様子を説明するための図。 第１の筐体（被写体）２ａの表面に印刷形成された複数のマークＭを説明するための図。 タブレット端末装置１の基本的な構成要素を示したブロック図。 書画カメラＣの動作開始に応じて実行開始される画像処理装置の動作（本実施形態の特徴的な動作）を説明するためのフローチャート。 上マーク列検出処理（簡易検出処理、図５のステップＡ３）を詳述するためのフローチャート。 上マーク・左右マーク列検出処理（射影変換のための検出処理、図５のステップＡ７）を詳述するためのフローチャート。 図７の動作に続くフローチャート。 図６のステップＢ１（テンプレートマッチング）で使用されるテンプレートＴを説明するための図。 図６のステップＢ６を説明するための図。 図５のステップＡ４を説明するための図。 図７のステップＣ１０及びステップＣ１１を説明するための図。

以下、図１〜図１２を参照して本発明の実施形態を説明する。
図１は、開閉式（見開き形式）の画像処理装置を開いた状態を示した概観斜視図である。図２は、この画像処理装置を見開いた状態において、その一側面から見た概略外観図で、画像処理装置を開いて被写体を撮影する際の様子を説明するための図ある。
画像処理装置は、撮像機能（デジタルカメラ）を備えたタブレット端末装置１と、このタブレット端末装置１が取り付けられているバインダ２を有する構成で、その筺体全体は、開閉可能（見開き可能）なバインダ構造となっている。タブレット端末装置１は、開閉可能なバインダ２に一体的に取り付けられているが、この場合、バンドなどの固定具（図示省略）を使用してバインダ２に着脱自在に取り付けるようにしてもよい。

タブレット端末装置１は、その全体が薄型の直方体で、例えば、Ａ５サイズの携帯型情報端末装置であり、タッチ入力機能、無線通信機能などの基本機能のほか、このタブレット端末装置１に接近配置されている紙媒体（例えば、ノート、リポート用紙、書籍など）３を被写体として撮影することによりその紙媒体３に記載されている情報（文字、図表、画像など）を光学的に読み取る画像読取機能が備えられている。なお、本実施形態において、紙媒体３とは、撮影すべき情報が記載されている媒体を示すものであり、素材が紙であることを特定するものではなく、例えば、情報を電子的に表示可能な電子ペーパーも含まれることを意味している。

バインダ２は、第１の筐体２ａと第２の筐体２ｂとをヒンジ部（連結部）２ｃを介して見開き状に開閉可能とする構成で、図示の例では、右側に第１の筐体２ａが配置され、左側に第２の筐体２ｂが配置されている場合を例示しているが、第１の筐体２ａと第２の筐体２ｂとは、図示の場合とは逆の関係であってもよい。第１の筐体２ａ及び第２の筐体２ｂは、厚い平板状長方形（同形同大）の板部材（例えば、厚紙）に合成樹脂シートを貼り合せた構成で、ヒンジ部２ｃを回転軸として開閉可能に連結されている。

第１の筐体２ａと第２の筐体２ｂとは、図示のように１８０°見開いた状態から第１の筐体２ａと第２の筐体２ｂとが重なり合う状態（完全に閉じた状態）まで開閉可能なもので、ユーザにあってはバインダ２を１８０°見開いた状態においてタブレット端末装置１を使用したり、紙媒体３に文字や図表などを書き入れたりするようにしている。また、タブレット端末装置１及び紙媒体３を使用しないときには、第１の筐体２ａと第２の筐体２ｂとを留め部２ｄで固定してバインダ２の開きを防ぐようにしている。また、第１の筐体２ａ上には紙媒体３が配置され、第２の筐体２ｂ上にはタブレット端末装置１が配置されている。また、タブレット端末装置１の表面側においてヒンジ部２ｃの反対側端部の中央部分には、第１の筐体２ａを被写体としてその全体を撮影することによりその紙媒体３に記載されている情報（文字、図表、画像など）を光学的に読み取る書画カメラＣが備えられている。

書画カメラＣは、その光軸がタブレット端末装置１の表面（平面）に対して所定の角度（例えば、仰角２７°）となるように取り付けられ、また、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲となったときに、対面する第１の筐体（被写体）２ａの全体が撮影範囲内に含まれるようにその画角が設定されている。更に、書画カメラＣのフォーカス位置は、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲となったときに、第１の筐体２ａの平面中央部（被写体中央部）よりも遠端部側に設定されている。なお、書画カメラＣの取り付け角度（仰角２７°）、画角及びフォーカス位置は、第１の筐体（被写体）２ａの全体が撮影範囲に含まれ、その遠端部側から近端部側までの被写体の解像度（例えば、文字認識を行う場合などで必要な被写体部分の画素密度やコントラスト）が所定以上となるように設定されたものであるが、その値は、仰角２７°に限らず、書画カメラＣの撮影画素数、被写界深度、その他の条件に応じて適宜変更可能であることは勿論である。

タブレット端末装置１は、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲となったとき、第１の筐体（被写体）２ａの全体を撮影した撮影画像を保存対象の画像として書画カメラＣから取得するようにしている。例えば、図２に示すように、第２の筐体２ｂを机面などに載置した状態（タブレット端末装置１を水平に載置した状態）において、第１の筐体２ａが斜めに立ち上がっているときの角度（第１の筐体２ａの立ち上げ角度）が所定の角度範囲となったとき、つまり、紙媒体１２を撮影するのに適した最適角度を、例えば、７０°とすると、その最適角度を中心としてその前後の所定角度（例えば、±５°）の角度範囲（６５°〜７５°）になったときに、第１の筐体２ａの全体を撮影した撮影画像を保存対象の画像として書画カメラＣから取得するようにしている。

また、上記とは逆に、第１の筐体２ａを机面などに載置した状態で第２の筐体２ｂを斜めに立ち上げるように設置して利用することも可能である。ここで、第２の筐体２ｂに対する第１の筐体２ａの角度範囲（６５°〜７５°）は、上記いずれの利用形態であっても、（紙媒体１２を撮影するための操作画面や、書画カメラＣの撮影画像がライブビュー表示される）タブレット端末装置１の画面（後述するが、タブレット端末装置１の表面側のタッチ表示部）を見ながらユーザが紙媒体１２を撮影するための操作を行うのに適した角度範囲である。そして、書画カメラＣの取り付け角度（仰角２７°）は、第２の筐体２ｂに対する第１の筐体２ａの角度範囲（６５°〜７５°）に合わせて設定されたものである。なお、バインダ２が開いている状態から閉じる際に、第１の筐体２ａの立ち上げ角度が所定の角度範囲（６５°〜７５°）になると、ヒンジ部２ｃ内の係止機構（図示省略）の働きによって引っかかり感と共にクリック音が発生するようになっているが、この引っかかりに抗して更に第１の筐体２ａを動かすことによって完全に閉じることか可能となっている。

第１の筐体２ａ上の紙媒体３は、一枚のシート状の用紙であってもよいし、書籍のように冊子の状態（製本状態）であってもよいが、第１の筐体２ａ上に着脱自在に装着されたもので、交換可能となっている。なお、所定サイズの用紙であれば、第１の筐体２ａとの位置関係が所定状態となるような位置決め機構を備えているが、位置関係を所定状態とすることができれば、紙媒体３の装着の仕方は、第１の筐体２ａの表面に紙媒体３の四隅を留めるなど、任意である。また、第１の筐体２ａの表面上には紙媒体３を囲むようにその外側に複数のマーク（指標）Ｍが配置されている。すなわち、複数のマークＭが所定の規則性を持った並びで紙媒体３を囲むようにその周辺部に配置（印刷形成）されている。複数のマークＭは、後述するが、第１の筐体（被写体）２ａの状態を判定したり、撮影画像の状態を判定したりする際に用いられる状態判定用の指標である。

図３は、第１の筐体２ａの表面に印刷形成された複数のマークＭを説明するための図である。
第１の筐体２ａの表面上（見開き平面上）においてヒンジ部２ｃの反対側端部には、その端辺に沿って直線的に複数のマークＭが印刷形成されている。なお、図示の例では、この複数のマークＭが第１の筐体２ａの上部領域に配置されているため、便宜上、上マーク列（第１の指標）Ｍ−１と総称する。また、第１の筐体２ａの見開き平面上においてその両側端部には、その端辺に沿って直線的に配列された複数のマークＭが印刷形成されている。なお、図示の例では、この複数のマークＭが第１の筐体２ａの左部領域及び右部領域に配置されているため、便宜上、左マーク列（第２の指標）Ｍ−２及び右マーク列（第２の指標）Ｍ−３と総称する。

各マークＭは、二色（白黒）の正方形を交互に配置した市松模様を例示したもので、二色（白黒）の正方形を２×２のマトリックス状に配置した構成となっている。また、上マーク列Ｍ１−１は、同一同大の１０個のマークＭを等間隔に直線配列した構成となっており、左マーク列Ｍ−２、右マーク列Ｍ−３は、同一同大の８個のマークＭを等間隔に直線配列した構成となっている。このように第１の筐体２ａの表面上（見開き平面上）には、例えば、Ａ５サイズの紙媒体３の周辺部（３辺）を囲むように、上マーク列Ｍ１−１、左マーク列Ｍ−２、右マーク列Ｍ−３がそれぞれ配置されている。なお、各列のマーク数は、上述の例に限らず、紙媒体３のサイズやマークＭの大きさなどに応じて任意であるが、第１の筐体２ａに反射光が当たったり、第１の筐体２ａの全体が捻じれたりするなどの要因で、一部のマークＭが映らなくなることを防ぐために適し、かつデザイン的にも優れたマーク数となっている。

タブレット端末装置１は、その書画カメラＣによって第１の筐体２ａを被写体として撮影した撮影画像を取得しながらその撮影画像を解析することにより撮影画像内のマークＭを認識してその位置を検出し、そのマークＭの位置に基づいて、第１の筐体（被写体）２ａの状態を判定するようにしている。すなわち、撮影画像内の上マーク列（第１の指標）Ｍ−１を認識してそのマークＭの位置を検出すると共に、この上マーク列Ｍ−１の各マーク位置に基づいて、第１の筐体２ａ（被写体）と書画カメラＣとの角度が所定の角度範囲となる状態第１の筐体（被写体）２ａの状態として判定するようにしている。この実施形態では、第１の筐体２ａの立ち上げ角度が所定の角度範囲（例えば、６５°〜７５°）となる状態を被写体の状態として判定するようにしている。

なお、第１の筐体（被写体）２ａの状態を示す角度を、第１の筐体２ａの立ち上げ角度としているが、これに限らず、その立ち上げ角度に相当する角度として、書画カメラＣの光軸が第１の筐体（被写体）２ａの表面（見開き平面）に交差する角度であってもよく、第１の筐体２ａと第１の筐体２ａとの見開き角度であってもよいが、本実施形態においては、第１の筐体２ａの立ち上げ角度をその状態を示す角度としている。

そして、タブレット端末装置１は、上述のように第１の筐体２ａの立ち上げ角度が所定の角度範囲となる状態を判定すると、更に、撮影画像内における複数のマークＭの位置関係に基づいて、撮影画像の状態を判定するようにしている。すなわち、撮影画像内の上マーク列（第１の指標）Ｍ−１、左マーク列（第２の指標）Ｍ−２、右マーク列（第２の指標）Ｍ−３を検出すると共に、検出した上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３の位置関係に基づいて撮影画像の歪状態、つまり、撮影角度や捩れに応じて変化する幾何学的な画像歪の状態を判定するようにしている。これによって判定した画像の歪状態に基づいて撮影画像に対して射影変換処理（捩れが無ければ台形歪補正処理でも可）を行い、その変換後の画像を記録保存の対象として指定するようにしている。ここで、上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３を検出した検出結果の中に多少の誤検出が含まれていたとしても、正しい結果だけを残すことによって正しい幾何変換パラメータを推測して、射影変換処理（台形歪補正処理）を行うようにしている。

図４は、タブレット端末装置１の基本的な構成要素を示したブロック図である。
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのタブレット端末装置１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図５〜図８に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、このタブレット端末装置１が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ１３ｂなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部１４は、押しボタン式のキーとして、図示省略したが、電源をオン／オフさせる電源キー、書画カメラＣを動作させて書画モード（動作モード）に切り替えるモードキーなどを備えている。タッチ表示部１５は、表示パネル１５ａにタッチパネル１５ｂを積層配設した構成で、表示パネル１５ａは、縦横比（例えば、横４：縦３）の異なる画面を有した高精細液晶ディスプレイであり、タッチパネル１５ｂは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗膜方式を採用しているが、その他の方式であってもよい。

書画カメラＣは、画像読取機能を構成するもので、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なデジタルカメラ部で、撮影レンズ、撮像素子、各種のセンサ、アナログ処理部、デジタル処理部を有している。書画カメラＣは、オートフォーカス機能などを備え、そのフォーカス位置は、図２に示すように、第１の筐体２ａが立ち上がっている状態において、第１の筐体２ａの表面（見開き平面）の中央部よりも、やや遠端部側に設定するようにしているが、これは次の理由による。すなわち、近端側については遠端側よりも文字などが大きく写るので多少ボケていても相対的に文字を認識しやすいが、遠端側についてはボケてしまうと文字を認識しづらくなるため、近端側と遠端側の文字の認識しやすさを合わせる関係で見開き平面の中央部（被写体中央部）より遠端側にフォーカス位置を設定するようにしている。無線ＬＡＮ（Local Area Network）通信部１６は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介してインターネットに接続可能となっている。

次に、本実施形態における画像処理装置（タブレット端末装置１）の動作概念を図５〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５〜図８は、画像処理装置（タブレット端末装置１）の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５〜図８のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図５は、モードキー操作により書画モードに切り替えられた際に実行開始される画像処理装置（タブレット端末装置１）の動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、タブレット端末装置１の制御部１１は、書画モードに切り替えられている状態においてモードキーが操作されて書画モードが解除されたか（書画モードの終了か）を調べる（ステップＡ１）。いま、書画モードであれば（ステップＡ１でＮＯ）、この書画カメラＣから画像（スルー画像あるいはライブビュー画像）を取得（ステップＡ２）した後、その取得画像を解析することにより上マーク列Ｍ−１を検出する上マーク列検出処理を行う（ステップＡ３）。なお、上マーク列検出処理は、後述する射影変換のための検出に比べて簡易な検出であるために簡易検出処理と呼称する場合がある。

図６は、上マーク列検出処理（簡易検出処理、図５のステップＡ３を詳述するためのフローチャートである。
先ず、制御部１１は、書画カメラＣから取得した撮影画像（入力画像）を解析することによりその中からテンプレート（予め用意されているマークＭの比較基準画像）に近似した画像部分が含まれているかを探し出す処理（テンプレートマッチング：パターンマッチング）を行うことによって撮影画像内の上マーク列Ｍ−１に対応する個々のマークＭを検出する（ステップＢ１）。その際、テンプレートに対して許容範囲内の変化（近似）であれば、マークＭとして検出（認識）するようにしている。

図９は、本実施形態のテンプレートマッチングの特徴を説明するための図である。
マークＭの個々は、複数の図形を交互にマトリックス状に配置した模様、つまり、二色（白黒）の正方形を２×２のマトリックス状に交互に配置した市松模様の指標であるが、このマークＭのテンプレート（比較基準画像）Ｔは、この実際のマークＭの全体形状とは異なり、実際のマークＭの中心部分に近似した部分画像であり、実際のマークＭの全体に対して模様的に自己相似となっている。

すなわち、テンプレートＴは、実際のマークＭの中心部分に相当する部分画像である。ここで、第１の筐体２ａの立ち上げ角度として、紙媒体３を撮影するのに適した角度範囲を、最大角度７５°から最小角度６５°の範囲とすると、この最大角度７５°で撮影された画像内のマークＭの形状は、正方形の実際のマークＭと比べると、図９（１）に示すように、左右両辺が斜めで上辺が短く、底辺が長く、全体形状がやや台形となり、更にはその上下方向がつぶれた（縮んだ）状態となる。また、最適角度７０°、最小角度６５°で撮影された画像内のマークＭの形状は、図９（２）、（３）に示すように、その角度が小さくなるにしたがって、更に台形の度合いが大きくなって上下方向へのつぶれ具合が大きくなる。この場合、実際のマークＭの全体形状が正方形であるのに対して、テンプレートＴの全体形状は、実際のマークＭの大きさよりも小さく、その縦方向がつぶれた形状の長方形となっている。

このように第１の筐体２ａの立ち上げ角度に応じて撮影画像内のマークＭの形状は、幾何学的な歪によって大きく変化するようになるが、その中心部分の模様に関しては、その立ち上げ角度が変化したとしても、それらは近似した模様となっているので、最大角度７５°、最適角度７０°、最小角度６５°で撮影された画像の中心部分、つまり、図９（１）〜（３）に示した破線の矩形（横長の長方形）を本実施形態のテンプレートＴとして使用するようにしている。この画像中心部分の横長の長方形は、最小角度６５°で撮影された画像内のマークＭよりも若干小さ目で、二色（白黒）の長方形を２×２のマトリックス状に交互に配置した市松模様となっている。すなわち、テンプレートＴのサイズは、最小角度６５°で撮影された画像内のマークＭよりもその横幅及び縦幅が小さくなっている。

なお、最大角度７５°、最適角度７０°、最小角度６５°で撮影された画像の中心部分から横長の長方形を切り出し、それらを平準化した模様（幾何学的歪を含んでいる模様）を本実施形態のテンプレートＴとして使用するようにしてもよい。この場合、最大角度７５°〜最小角度６５°の角度範囲であれば、現在の立ち上げ角度が何度であるかに関わらず、例えば、最適角度７０°、最小角度６５°毎のように、撮影角度毎に別々のテンプレートを使用せず、同じテンプレートＴを共通に使用してテンプレートマッチングを行うようにしている。

このようなテンプレートマッチングによって各マークＭが検出されるが、その検出結果には誤検出（不検出、過剰検出）も含まれることが多い。このような場合、各検出点（マーク候補点）の中から正しい点（マークＭ）を選び出すようにしているが、その際、上マーク列Ｍ−１を構成する各マークＭは、直線上に配列されていること及び等間隔で配列されていることを利用し、ＲＡＮＳＡＣ（Random Sample Consensus）法のアルゴリズムによって各検出点（マーク候補点）の中から直線を検出すると共に、その直線上の等間隔点を検出することにより上マーク列Ｍ−１を検出（認識）するようにしている。

すなわち、上述のテンプレートマッチングにより検出した各検出点（マーク候補点）からランダムに２点を選択して（ステップＢ２）、その２点を通る直線を算出し（ステップＢ３）、その直線上に並んでいる検出点の数を計数する（ステップＢ４）。そして、このような処理を指定回数（処理速度と処理精度との兼ね合いで決められた回数）行ったかを調べ（ステップＢ５）、指定回数行うまで上述のステップＢ２に戻り、２点を通る直線を求めて、この直線上に並んでいる検出点の数を計数する処理を繰り返す（ステップＢ２〜Ｂ４）。ここで、指定回数分の処理が終わると（ステップＢ５でＹＥＳ）、ランダムに求めた各直線の中から最も多く検出点が並んでいる直線を選択して（ステップＢ６）、そのカウント値（検出点数）を取得し（ステップＢ７）、その検出点数は、所定の閾値以上であるか、例えば、上マーク列Ｍ−１のマーク数の２／３以上であるかを調べる（ステップＢ８）。

いま、検出点数が閾値未満であれば（ステップＢ８でＮＯ）、上マーク列Ｍ−１を検出することができなかったものとして検出ＮＧ終了となり、図５のフローから抜けるが、検出点数が閾値以上であれば（ステップＢ８でＹＥＳ）、上マーク列Ｍ−１を正常に検出することができた可能性が高い場合であるから次のステップＢ９に移る。この場合、マークＭが配置されている第１の筐体（被写体）２ａは、例えば、厚紙などの板部材に合成樹脂シートを貼り合せた構成であり、その一部が僅かにでも撓んだり、捻じれたりするなどして、書画カメラＣに対して第１の筐体（被写体）２ａが正対していないこともある。

このような状態でも対応可能とするために、検出点の数だけで上マーク列Ｍ−１を検出するのではなく、各検出点が並んでいる状態をも考慮して上マーク列Ｍ−１を検出するようにしているが、その際、上述のようにして検出した各検出点の中から等間隔に並んでいる検出点を選択する処理を行う。この場合、どの位置を基準として、その基準位置からどの位の間隔に並んでいる検出点を選択するかは不明であるため、その選択処理に先だって、上マーク列Ｍ−１に相応しい基準位置と間隔を探す探索処理を行うようにしている（ステップＢ９〜Ｂ１４）。

すなわち、基準位置及び間隔の初期値として任意の値を設定（ステップＢ９）した後、その基準位置から等間隔に点を打ち（ステップＢ１０）、その打った点と検出点とが一致する点の数をカウントする（ステップＢ１１）。そして、このような処理を指定回（例えば、３回）行ったかを調べ（ステップＢ１２）、指定回数行われなければ（ステップＢ１２でＮＯ）、基準位置及び間隔の設定値を変更（ステップＢ１３）した後、上述のステップＢ１０に戻り、以下、変更後の基準位置から等間隔に点を打ち、その打った点と検出点とが一致する点の数をカウントする処理を繰り返す（ステップＢ１０〜Ｂ１３）。

図１０は、基準位置及び間隔の設定値を変更しながら打った点と検出点との一致数をカウントした場合を例示した図である。
図中、「黒丸」は、直線上の各検出点を示し、「白丸」は、直線上の基準位置から等間隔に打った点を示し、更に、図示の例では、直線的に８個の検出点（黒丸）が並んでいる状態を示し、各検出点の列は、その一部が等間隔に並んでいない場合、つまり、誤検出（不検出）が発生している場合を例示している。図中、一行目の白丸列（打った点列）は、撮影画像の中心位置を基準位置ｂ０とし、この基準位置ｂ０から間隔ｄ０毎に点を打った状態を示している。

なお、上マーク列Ｍ−１が存在している可能性のある箇所は、撮影画像の中心部であると想定して、その中心部を基準位置ｂ０としたが、基準位置ｂ０は、それに限らず、例えば、検出点の列の中心点、検出点の列の右端あるいは左端であってもよい。また、間隔ｄ０は、紙媒体３の撮影に適した第１の筐体（被写体）２ａの状態として、第１の筐体２ａの立ち上げ角度が所定角度（最適角度７０°）でのマークＭの間隔である。二行目の白丸列（打った点列）は、一行目に対して基準位置ｂ０を変更せず、間隔ｄ０を間隔ｄ１に変更した場合であり、基準位置ｂ０から間隔ｄ１毎に点を打った状態を示している。三行目の白丸列（打った点列）は、一行目に対して間隔ｄ０を変更せず、基準位置ｂ０を基準位置ｂ１に変更した場合であり、基準位置ｂ１から間隔ｄ０毎に点を打った状態を示している。

このような、基準位置と間隔との組み合わせを所定範囲内で変更しながら指定回数分の処理が終わると（ステップＢ１２でＹＥＳ）、打った点と検出点とが一致する点の数が最も多いときの基準位置及び間隔を選択する（ステップＢ１４）。図１０の例では、一行目の間隔ｄ０、基準位置ｂ０で点を打った点列では８点が一致し、二行目の間隔ｄ１、基準位置ｂ０で点を打った点列では２点が一致し、三行目の間隔ｄ０、基準位置ｂ１で点を打った点列では０点が一致しているため、その中で一致する点の数が最も多いときの間隔ｄ０、基準位置ｂ０を選択する。

そして、選択した間隔ｄ０、基準位置ｂ０のときの一致する検出点数を取得し（ステップＢ１５）、その検出点数は閾値以上であるか、例えば、上マーク列Ｍ−１のマーク数の２／３以上であるかを調べ（ステップＢ１６）、閾値以上であれば（ステップＢ１６でＹＥＳ）、上マーク列Ｍ−１を正常に検出することができたものとして検出ＯＫ終了となり、図６のフローから抜けるが、検出点数が閾値未満であれば（ステップＢ１６でＮＯ）、上マーク列Ｍ−１を検出することができなかったものとして検出ＮＧ終了となり、図６のフローから抜ける。なお、上記の検出処理では、ステップＢ２からステップＢ６までの直線の検出処理と、ステップＢ９からステップＢ１４までの間隔と基準位置の検出処理とを別々に行うことで、一度に変化させるパラメータの数を制限してＲＡＮＳＡＣのアルゴリズムにおける処理効率を向上させるようにしたが、直線、間隔、基準位置の３つのパラメータを同時に変化させて検出処理を行うようにしてもよい。上記の処理により、誤検出（不検出、過剰検出）を含んで検出される複数のマークＭの中から、上マーク列に対応するマークＭだけが選択される。

このようにして上マーク列検出処理（簡易検出：図５のステップＡ３）が終わると、上マーク列Ｍ−１が撮影画像内において所定の検出エリア内に位置しているかに応じて、所定の状態（第１の筐体２ａの立ち上げ角度が６５°〜７５°の角度範囲内となった状態）であるかを判別する（ステップＡ４）。
図１１は、第１の筐体２ａの立ち上げ角度に応じて撮影画像内の上マーク列Ｍ−１の映り具合が変化している様子を説明するための図で、その一部拡大図を含む。

第１の筐体２ａの立ち上げ角度が大きくなるに応じて撮影画像内の上マーク列Ｍ−１の位置が変化し、図中、撮影画像内において上方向へ移動するようになる。制御部１１は、上マーク列Ｍ−１の位置変化を認識することによってその位置から所定の状態（立ち上げ角度が６５°〜７５°の範囲内となった状態）であるか否かを判別する。この場合、撮影画像内の固定的に決められている位置にマーク検出エリアＤを設け、このマーク検出エリアＤ内に上マーク列Ｍ−１が収まったか否かに基づいて所定の状態（所定の角度範囲）になったか否かを判別するようにしている。

いま、マーク検出エリアＤ内に上マーク列Ｍ−１が収まっていないときには、つまり、第１の筐体２ａの立ち上げ角度の範囲が６５°〜７５°から外れているときには（ステップＡ４でＮＯ）、上述のステップＡ１に戻るが、マーク検出エリアＤ内に上マーク列Ｍ−１が収まり、第１の筐体２ａの立ち上げ角度の範囲が６５°〜７５°になったときには（ステップＡ４でＹＥＳ）、第１の筐体２ａが静止したかを調べる（ステップＡ５）。この場合、マーク検出エリアＤ内の上マーク列Ｍ−１の収まり状態から第１の筐体２ａが静止したかを調べ、静止するまで待機状態となる。いま、第１の筐体２ａの静止を検出したときには（ステップＡ５でＹＥＳ）、書画カメラＣに対して撮影指示を与え、それに応答して書画カメラＣによって撮影された画像を取得する（ステップＡ６）。この場合、書画カメラＣのフォーカス位置は、第１の筐体２ａの見開き平面の中央部よりも遠端部側に設定されている。その後、上マーク・左右マーク列検出処理（射影変換のための検出処理）に移る（ステップＡ７）。

図７は、上マーク・左右マーク列検出処理（射影変換のための検出処理：図５のステップＡ７）を詳述するためのフローチャートである。なお、上述した上マーク列検出処理（ステップＡ３）は、第１の筐体２ａの立ち上げ角度が所定角度範囲となるタイミングを判定するために上マーク列Ｍ−１を検出するようにしたが、この上マーク・左右マーク列検出処理（ステップＡ７）は、射影変換処理（台形歪補正処理）用として撮影画像の歪状態を判定するために上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３を検出する処理（射影変換のための検出処理）である。

先ず、制御部１１は、上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３のいずれかを処理対象として指定する（ステップＣ１）。最初は、上マーク列Ｍ−１を処理対象として指定する。そして、テンプレートマッチングにより上マーク列Ｍ−１を構成する各マークＭをそれぞれ検出（ステップＣ２）した後、この各検出点（マーク候補点）からランダムに２点を選択すると共に（ステップＣ３）、その２点を通る直線を算出し（ステップＣ４）、その直線上に並んでいる検出点の数を計数する（ステップＣ５）。そして、このような処理を指定回数分行うと（ステップＣ６でＹＥＳ）、最も多く検出点が並んでいる直線を選択し（ステップＣ７）、そのカウント値（検出点数）を取得する（ステップＣ８）。

このようにして一つの処理対象に対する処理が終わると、全ての処理対象を指定し終わったかを調べるが（ステップＣ９）、いま、最初に上マーク列Ｍ−１を指定した場合であるから、上述のステップＣ１に戻り、次の処理対象として左マーク列Ｍ−２を指定した後、上述と同様の処理を左マーク列Ｍ−２に対して行う（ステップＣ２〜Ｃ８）。これによって左マーク列Ｍ−２に対する処理が終わると、次に、右マーク列Ｍ−３を処理対象として指定した後（ステップＣ１）、上述と同様の処理を右マーク列Ｍ−３に対して行う（ステップＣ２〜Ｃ８）。

これによって撮影画像内において、上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３をそれぞれ検出した場合、つまり、全ての処理対象を指定し終わった場合には（ステップＣ９でＹＥＳ）、検出した上マーク列Ｍ−１の直線と左マーク列Ｍ−２の直線とが交差する交点と、上マーク列Ｍ−１の直線と右マーク列Ｍ−３の直線とが交差する交点をそれぞれ求める（ステップＣ１０）。そして、この二つの交点を直線で結び、そのいずれかの交点を基準位置として、その直線上に基準位置（交点）から所定間隔（初期値）毎に点を打つ（ステップＣ１１）。図１２は、上マーク列Ｍ−１の直線と左マーク列Ｍ−２の直線とが交差する交点（黒丸）を示すと共に、上マーク列Ｍ−１の直線と右マーク列Ｍ−３の直線とが交差する交点（黒丸）を示し、更に、いずれかの交点（黒丸）から所定間隔（初期値）毎に打った各点（白丸）を示した図であり、二つの交点（黒丸）間に８個の点を打った場合を示している。

そして、各検出点が打った点の何番目に当たるかを決めることによって、各検出点の中から誤検出（不検出、過剰検出）を全て除外する（ステップＣ１２）。すなわち、各検出点の中から複数のマークＭの並びに近似した配置関係にある各検出点の個々をそれぞれ特定すると共に、その他の検出点を全て除外する。これによって特定した各検出点と射影変換（台形歪補正）後の座標とを対応させることにより射影変換（台形歪補正）処理のパラメータ（幾何学変換パラメータ）とする（ステップＣ１３）。

上記のように、上マーク列Ｍ−１に対応する複数のマークＭの決定においては、上マーク列Ｍ−１の直線に対する左マーク列Ｍ−２及び右マーク列Ｍ−３の各々の直線との交点を基準位置として一意に決定することができ、この２つの基準位置に挟まれるマークＭの個数も予めわかっているので、間隔についても一意に決定することが可能となるため、間隔と基準位置の探索処理は不要となる。なお、上マーク列Ｍ−１に対応する複数のマークＭの決定において、上記交点の位置情報を用いずに間隔と基準位置の探索処理を行うようにしてもよい。
このようにして上マーク列Ｍ−１に対する処理が終わると、図８のフローに移り、左マーク列Ｍ−２、右マーク列Ｍ−３に対する処理（射影変換のための検出処理）を行う。

先ず、左マーク列Ｍ−２、右マーク列Ｍ−３のいずれかを処理対象として指定する（ステップＣ１４）。いま、左マーク列Ｍ−２を指定した場合には、この左マーク列Ｍ−２に相応しい基準位置と間隔を探す探索処理（ステップＣ１５〜Ｃ２０）を行う。この探索処理は、上述した図５のステップＢ９〜Ｂ１４と基本的には同様であり、基準位置及び間隔の初期値を設定（ステップＣ１５）した後、その基準位置から等間隔に点を打ち（ステップＣ１６）、その打った点と検出点とが一致する点の数をカウントする（ステップＣ１７）。そして、基準位置及び間隔の設定値を変更しながら（ステップＣ１９）、上述の処理を指定回数分繰り返す（ステップＣ１６〜Ｃ１９）。この場合、処理対象として指定された側の交点を基準位置として設定することで、間隔のみを変更するようにしてもよい。

次に、打った点と検出点とが一致する点の数が最も多いときの基準位置及び間隔を選択し（ステップＣ２０）、選択した間隔、基準位置のときの一致する検出点数を取得する（ステップＣ２１）。そして、次に、各検出点が打った点の何番目に当たるかを決めることによって、各検出点の中から誤検出（不検出、過剰検出）を全て除外（ステップＣ２２）した後、この何番目に当たる点かによって、各検出点と射影変換（台形歪補正）後の座標とを対応させることにより射影変換（台形歪補正）処理の幾何変換パラメータとする（ステップＣ２３）。このようにして左マーク列Ｍ−２に対する処理が終わると、全処理対象を指定し終わったかを調べるが（ステップＣ２４）、いま、右マーク列Ｍ−３に対しては未処理であるので（ステップＣ２４でＮＯ）、上述のステップＣ１４に戻り、右マーク列Ｍ−３を処理対象として指定した後、上述のステップＣ１５〜Ｃ２３を繰り返す。その後、図８のフローの終了となる。

このようにして上マーク・左右マーク列検出処理（射影変換のための検出処理：図５のステップＡ７）が終わると、上述の射影変換（台形歪補正）処理用のパラメータに基づいて射影変換（台形歪補正）処理を行い（図５のステップＡ８）、その変換後（補正後）の撮影画像を圧縮処理して、ＳＤカードなどに記録保存させる処理に移る（ステップＡ９）。そして、第１の筐体２ａが動かされてその立ち上げ角度が変化することにより、上マーク列Ｍ−１がマーク検出エリアＤから外れたかを調べ（ステップＡ１０）、マーク検出エリアＤ内のままであれば（ステップＡ１０でＮＯ）、外れるまで待機状態となる。ここで、上マーク列Ｍ−１がマーク検出エリアＤから外れると（ステップＡ１０でＹＥＳ）、上述のステップＡ１に戻り、書画モードが解除されたかを調べ、モード解除により書画モードが終了したときには（ステップＡ１でＹＥＳ）、図５のフローから抜ける。

以上のように、本実施形態において画像処理装置（タブレット端末装置１）は、複数の指標（マークＭ）が配置された被写体（第１の筐体２ａ）が書画カメラＣによって撮影された場合に、その撮影画像内のマークＭを認識してその位置を検出し、そのマークＭの位置に基づいて被写体の状態を判定すると共に、被写体が所定の状態となったときに検出された複数のマークＭの位置関係に基づいて、撮影画像の状態を判定するようにしたので、被写体に配置された複数のマークＭを検出するだけで被写体の状態の判定と撮影画像の状態の判定を精度良く行うことができ、その画像の状態に応じた画像処理をより正確に行うことが可能となる。

画像処理装置は、撮影画像内のマークＭに基づいて被写体の状態を判定する場合に、被写体と書画カメラＣとの角度が所定の範囲内に収まった状態を、被写体の状態として判定し、撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、撮影画像の状態として判定するようにしたので、例えば、角度センサなどを搭載しなくても撮影画像内のマークＭを検出するだけで撮影タイミングを精度良く判定することができるほか、書画カメラＣと被写体との角度が所定の角度範囲となったときに撮影された撮影画像の歪状態を精度良く判定することができ、その画像の状態に応じた画像処理（射影変換処理）をより正確に行うことが可能となる。

画像処理装置は、予め用意されているパターンマッチング用のテンプレート（比較基準画像）Ｔを使用して、撮影画像内の複数のマークＭを認識することによりその個々の位置をそれぞれ検出した各検出点の中から複数のマークＭの並び（マーク列）に近似した配置関係にある各検出点に基づいて、被写体の状態を判定するようにしたので、例えば、パターンマッチング時に誤検出（不検出、過剰検出）が発生したり、マーク列の一部が反射光や画角などによって撮影されなかったり、撮影状態が悪くなったりしても撮影画像内のマーク列の全体を正常に認識することができ、これによって被写体の状態を精度良く判定することが可能となる。

画像処理装置は、予め用意されているパターンマッチング用のテンプレート（比較基準画像）Ｔを使用して、撮影画像内の複数のマークＭを認識することによりその個々の位置をそれぞれ検出した各検出点の中から複数のマークＭの並び（マーク列）に近似した配置関係にある各検出点に基づいて、撮影画像の状態を判定するようにしたので、マーク列の一部が反射光や画角などによって撮影されなかったり、撮影状態が悪くなったりしてもマーク列の全体を認識することができ、これによって撮影画像の状態を精度良く判定することが可能となる。

画像処理装置は、判定した撮影画像の状態に基づいて当該撮影画像を処理するようにしたので、精度の良い判定結果（画像の状態）に応じて画像処理をより正確に行うことが可能となる。

マークＭの個々は、二色（白黒）の図形（矩形）を交互に配置したコントラストや形状が明瞭な模様の指標であるので、誤検出が少なくなり、判定の精度の更なる向上を期待することが可能となる。また、マークＭの個々のパターン形状（模様）は、その中心の細部のパターン形状と全体のパターン形状が等しい自己相似の形状となっているため、撮影距離の変化による影響の少ないパターンマッチングが可能である。また、マークＭのパターンを形成する二色（白黒）の模様の境界線の向きを、第１の筐体２ａと第２の筐体２ｂとの見開き方向に対応する向きに配置しているので、第１の筐体２ａと第２の筐体２ｂとの見開き動作によって生じる撮影方向の変化による影響の少ないパターンマッチングが可能である。

また、上記のとおり、撮影距離や撮影方向の変化による影響の少ないパターンマッチングが可能であるため、個々のマークＭを検出するためのテンプレートを、異なる撮影距離や撮影方向に対応させて複数用意したり、１つのテンプレートの大きさや形状を変化させたりしながら複数回のパターンマッチングを行う必要が無くなり、パターンマッチング処理の効率を向上させることが可能となる。

画像処理装置は、第１の筐体（被写体）２ａ上の複数のマークＭ（上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３）の中で所定の位置に配置されている上マーク列Ｍ−１を第１の指標とし、その第１の指標の位置に基づいて、被写体の状態を判定し、第１の指標を除く他の位置にある左マーク列Ｍ−２、右マーク列Ｍ−３を第２の指標とし、その第２の指標を含めた上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３の位置関係に基づいて、撮影画像の状態を判定するようにしたので、上マーク列Ｍ−１のみによる比較的簡素な検出によって被写体の状態を判定し、上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３による比較的複雑な検出によって撮影画像の状態を判定することができ、マークＭを二段階に使い分けながらの判定が可能となる。つまり、被写体の状態の変化を検出する場合など、複数回の検出処理を繰り返し実行する必要のある状況では、簡素な検出によって検出の速度を高め、被写体の状態が決まっているために１回の検出処理だけを実行すればよいが、検出の精度が必要な状況では、複雑な検出によって検出の精度を高めるように、状況に合わせて検出の速度と精度を最適化することが可能になる。

上マーク列Ｍ−１（第１の指標）を、第１の筐体２ａの見開き平面上においてヒンジ部２ｃ（連結部）の反対側の端部に配置し、左マーク列Ｍ−２、右マーク列Ｍ−３（第２の指標）を、第１の筐体２ａの見開き平面上においてその両側端部にそれぞれ配置するようにしたので、第１の指標、第２の指標の配置位置は、被写体の状態や画像の状態を判定するのに適したものとなると共に、その配置位置に応じて上マーク列Ｍ−１（第１の指標）と左マーク列Ｍ−２、右マーク列Ｍ−３（第２の指標）との区別が可能となる。

画像処理装置は、複数のマークＭが配置されている第１の筐体２ａと、第１の筐体２ａに装着されている被写体（紙媒体３）を撮影する書画カメラＣを備えた第２の筐体２ｂと、第１の筐体２ａと第２の筐体２ｂとを見開き状に開閉可能に連結する連結部（ヒンジ部２ｃ）を備えるようにしたので、例えば、第２の筐体２ｂが水平に載置されている状態において第１の筐体２ａの立ち上げ角度が所定の角度範囲になったときに、第１の筐体２ａ上の紙媒体３を撮影する撮影タイミングであると判定することができると共に、第１の筐体２ａと第２の筐体２ｂとの開閉を検出するのに開閉センサなどを使用しなくても、マークＭの検出のみでその開閉を正確に判定することが可能となる。

画像処理装置は、検出したマークＭが撮影画像内の所定の位置（マーク検出エリアＤ内）に収まった際に、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲（６５°〜７５°）内に収まった状態とし、この状態を被写体の状態として判定するようにしたので、ユーザにあっては第１の筐体２ａの角度を変えるだけで被写体を最適な状態で撮影することが可能となる。

画像処理装置は、上マーク列Ｍ−１、マーク列Ｍ−２、右マーク列Ｍ−３のように矩形として認識可能な並び方で複数のマークＭが配置されている状態において、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲が収まっている状態であるときの複数のマークＭの並び方から認識した矩形枠の歪みに基づいて撮影画像の歪状態を判定するようにしたので、撮影画像の歪状態を精度良く判定することができ、その画像の状態に応じた画像処理（射影変換処理）をより正確に行うことが可能となる。

第１の筐体２ａの見開き平面上の被写体を撮影する書画カメラＣを備えた第２の筐体２ｂが開閉されている状態において、書画カメラＣのフォーカス位置を第１の筐体２ａの見開き平面の中央部よりも遠端部側に設定するようにしたから、被写体全体が見やすくなる。すなわち、近端側については遠端側よりも文字などが大きく写るので多少ボケていても相対的に文字を認識しやすいが、遠端側についてはボケてしまうと文字を認識しづらくなるため、フォーカス位置を遠端部側に設定することにより近端側と遠端側の文字などの認識しやすさを合わせることが可能となる。

なお、上述した実施形態においては、第１の筐体２ａ上に紙媒体３を装着するようにしたが、第１の筐体２ａに紙媒体３を一体的に装着したものであってもよい。この場合、第１の筐体２ａを第２の筐体２ｂから取り外し可能（着脱可能）な構成とすればよい。

上述した実施形態においては、第１の筐体２ａの端部にマークＭを印刷するようにしたが、マークＭを第１の筐体２ａに貼り付けるようにしてもよく、また、紙媒体３の端部にマークＭを印刷するようにしてもよい。

上述した実施形態において各マークＭは、二色（白黒）の四角形を交互に配置した市松模様を２×２のマトリックス状に配置したが、マークの色、模様などは任意である。各マーク列Ｍ１−１、Ｍ１−２、Ｍ１−３は、複数のマークＭを等間隔に直線配列したが、その所定の規則性を持ったものであれば、その間隔及び配列も任意である。

上記実施形態では、筐体側に配置される側のマークＭのパターン形状を正方形とし、パターンマッチング用のテンプレート（比較基準画像）Ｔの方を、斜めから撮影した場合を考慮して長方形に変形したが、その逆に、パターンマッチング用のテンプレート（比較基準画像）Ｔを正方形とし、筐体側に配置される側のマークＭのパターン形状の方を、所定の角度で斜めから撮影した場合に正方形となるように予め歪ませたパターン形状としてもよい。また、この場合において更に、筐体側に配置される複数のマークＭの大きさを、所定の距離と角度で撮影された場合に全てのマークＭの大きさが均一となるように、予め調整して配置するようにしてもよい（撮影時にカメラ部から遠くに配置されているマークＭほど大きくなるように調整する）。

また、上記実施形態では、マークＭの市松模様の向きを全てのマークＭで共通するように配置したが、マークＭの市松模様の向きを所定部分で変化させるようにしてもよい。例えば上部に並んだ複数のマークＭの中央部でマークＭの向きを左右逆転するように配置しておけば、マークＭの向きが逆転する位置を複数のマークＭの並びの中央部分であると認識することが可能となる。

上述した実施形態の画像処理装置は、書画カメラＣと被写体との角度が所定の角度範囲であるか、つまり、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲内に収まったかを判定するようにしたが、書画カメラＣと被写体との距離が所定の範囲内に収まったかを判定するようにしてもよい。これによって被写体との距離（遠近法）に応じて例えば、正円が楕円となり、正方形が台形となる幾何学的な歪を精度良く補正することが可能となる。

上述した実施形態の画像処理装置においては、第１の筺体と第２の筺体の内部には特に電子部品を組み込まず、タブレット端末装置や紙媒体を収納する機能と、タブレット端末装置と紙媒体とを所定の状態に維持する機能だけを提供するものとしたが、第２の筺体の内部にタブレット端末装置の機能を組み込んだり、第１の筺体の内部にキーボードの機能を組み込んだりするようにしてもよい。
上述した実施形態の画像処理装置は、その筺体全体を開閉可能なバインダ形式としたが、バインダ形式に限らず、例えば、スライド形式などであってもよい。また、上述した実施形態においては、画像処理として射影変換（台形歪補正）を行うようにしたが、台形歪補正に限らないことは勿論である。

上述した実施形態においては、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲が収まった際に、書画カメラＣが第１の筐体（被写体）２ａを撮影するようにしたが、例えば、連続撮影（高速撮影）が可能な書画カメラＣを使用し、所定の角度範囲が収まった際に、例えば、フレームレートが秒１５コマ（１５ｆｐｓ）で連続撮影し、その中から最適な画像を選択するようにしてもよい。この場合の選択は、ユーザ操作による選択のほか、画像解析などによる自動選択であってもよい。

また、画像処理装置は、第２の筐体２ｂを机面などに載置した状態において、第１の筐体２ａを斜めに立ち上げて撮影するようにしたが、これとは逆に、第１の筐体２ａを机面などに載置した状態において、第２の筐体２ｂを斜めに立ち上げて撮影するようにしてもよい。また、画像処理装置は、タブレット端末装置１とバインダ２とを一体化したものであってもよい。また、画像処理装置としてタブレット端末装置１を使用する場合を示したが、タブレット端末装置１に限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤーなどであってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
複数の指標が配置された被写体を撮影した撮影画像を取得する取得手段と、
前記取得手段により取得された撮影画像内の前記指標を認識してその位置を検出する検出手段と、
前記検出手段により検出された指標の位置に基づいて、前記被写体の状態を判定する第１の判定手段と、
前記第１の判定手段により判定された前記被写体の状態が所定状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、
を備えたことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記第１の判定手段は、前記被写体に対する撮像距離又は撮影角度が所定の範囲内に収まった状態を、前記被写体の状態として判定し、
前記第２の判定手段は、前記撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、前記撮影画像の状態として判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の画像処理装置において、
前記第１の判定手段は、前記取得手段により逐次取得される各々の撮影画像を対象として前記検出手段により逐次検出される指標の位置の変化に基づいて、前記被写体の状態が前記所定状態に変化したタイミングを判定し、
前記第２の判定手段は、前記第１の判定手段により判定されたタイミングで前記取得手段により取得された撮影画像を対象として前記検出手段により検出された指標の位置に基づいて、前記撮影画像の状態を判定する
ようにしたことを特徴とする画像処理装置。
（請求項４） 請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の画像処理装置において、
前記検出手段は、複数の指標が所定の規則性を持って配置された被写体の撮影画像が前記取得手段により取得された場合に、予め用意されているパターンマッチング用の比較基準画像を使用して、当該撮影画像内の複数の指標を認識することによりその個々の位置をそれぞれ検出し、
前記第１の判定手段は、前記検出手段により検出された各検出点の中から前記所定の規則性を持った並びに近似した配置関係にある各検出点に基づいて、前記被写体の状態を判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載の画像処理装置において、
前記検出手段は、予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得手段により取得された撮影画像内の複数の指標を認識することによりその個々の位置をそれぞれ検出し、
前記第２の判定手段は、前記検出手段により検出された各検出点の中から前記所定の規則性を持った並びに近似した配置関係にある各検出点に基づいて、前記撮影画像の状態を判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の画像処理装置において、
前記第２の判定手段によって判定された前記撮影画像の状態に基づいて当該撮影画像の処理を指示する処理制御手段を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項６のいずれかに記載の画像処理装置において、
前記指標の個々は、複数の図形を交互にマトリックス状に配置した模様の指標である、
ことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の画像処理装置において、
前記第１の判定手段は、前記被写体に配置されている複数の指標の中で所定の位置に配置されている指標を第１の指標とし、その第１の指標の位置に基づいて、前記被写体の状態を判定し、
前記第２の判定手段は、前記被写体に配置されている複数の指標の中で前記第１の指標を除く他の位置にある指標を第２の指標とし、その第２の指標を含めた複数の指標が前記検出手段により検出された場合にその複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項９）
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
当該画像処理装置は、前記複数の指標が配置されている第１の筐体と、前記第１の筐体に装着されている被写体を撮影する撮像部を備えた第２の筐体と、前記第１の筐体と前記第２の筐体とを見開き状に開閉可能に連結する連結部とを備え、
前記第１の指標を、前記第１の筐体の見開き平面上において前記連結部の反対側の端部に配置し、
前記第２の指標を、前記第１の筐体の見開き平面上においてその両側端部にそれぞれ配置する、
ようにしたことを特徴とする画像処理装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれかに記載の画像処理装置において、
当該画像処理装置は、前記複数の指標が配置されている第１の筐体と、前記第１の筐体に装着されている被写体を撮影する撮像部を備えた第２の筐体と、前記第１の筐体と前記第２の筐体とを見開き状に開閉可能に連結する連結部とを備える、
ようにしたことを特徴とする画像処理装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、
前記第１の判定手段は、前記検出手段により検出された指標が前記撮影画像内の所定の位置に収まった際に、前記第２の筐体に対する前記第１の筐体の角度が前記所定の角度範囲内に収まったものとし、この収まった状態を前記被写体の状態として判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１０に記載の画像処理装置において、
前記第１の判定手段は、前記検出手段により検出された指標が前記撮影画像内の所定の位置に収まった際に、前記第２の筐体に対する前記第１の筐体の角度が前記所定の角度範囲内に収まったものとし、この収まった状態を前記被写体の状態として判定し、
前記第２の判定手段は、矩形として認識可能な並び方で前記複数の指標が配置されている状態において、前記第１の判定手段により前記所定の角度範囲内に収まっている状態であると判定されたときに前記検出手段により検出された複数の指標の並び方から認識された矩形枠の歪みに基づいて前記撮影画像の歪状態を判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１０〜請求項１２のいずれかに記載の画像処理装置において、
前記複数の指標が配置されている第１の筐体と、前記第１の筐体の見開き平面上の被写体を撮影する撮像部を備えた第２の筐体とが見開き状に開閉されている状態において、前記撮像部のフォーカス位置を前記第１の筐体の見開き平面の中央部よりも遠端部側に設定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１４）
請求項１４に記載の発明は、
複数の指標が配置された被写体を撮影した撮影画像を取得するステップと、
前記取得された撮影画像内の前記指標を認識してその位置を検出するステップと、
前記検出された指標の位置に基づいて、前記被写体の状態を判定するステップと、
前記判定された前記被写体の状態が所定状態であるときに前記検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定するステップと、
を含むことを特徴とする画像処理方法である。
（請求項１４）
請求項１４に記載の発明は、
コンピュータに対して、
複数の指標が配置された被写体を撮影した撮影画像を取得する機能と、
前記取得された撮影画像内の前記指標を認識してその位置を検出する機能と、
前記検出された指標の位置に基づいて、前記被写体の状態を判定する機能と、
前記判定された前記被写体の状態が所定状態であるときに前記検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する機能と、
を実現させるためのプログラムである。

１ タブレット端末装置
２ バインダ
２ａ 第１の筐体
２ｂ 第２の筐体
２ｃ ヒンジ部
３ 紙媒体
１１ 制御部
１３ 記憶部
１４操作部
１５ タッチ表示部
Ｃ 書画カメラ
Ｍ マーク
Ｍ−１ 上マーク列
Ｍ−２ 左マーク列
Ｍ−３ 右マーク列

Claims (16)

1. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置であって、
   前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、
   前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、
   前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、
   を備え、
   前記検出手段は、複数の指標が所定の規則性を持って配置された被写体の撮影画像が前記撮像部により撮影された場合に、予め用意されているパターンマッチング用の比較基準画像を使用して、当該撮影画像内の複数の指標を認識することによりその個々の位置をそれぞれ検出し、
   前記第１の判定手段は、前記検出手段により検出された各検出点の中から前記所定の規則性を持った並びに近似した配置関係にある各検出点に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する、
   ことを特徴とする画像処理装置。
2. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置であって、
   前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、
   前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、
   前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、
   を備え、
   前記第１の判定手段は、前記検出手段により検出された指標が前記撮影画像内の所定の位置に収まった際に、前記第２の筐体に対する前記第１の筐体の角度が前記所定の角度範囲内に収まった状態であると判定する、
   ことを特徴とする画像処理装置。
3. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置であって、
   前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、
   前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、
   前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、
   を備え、
   前記第１の筐体と前記第２の筐体とが見開き状に開閉されている状態において、前記撮像部のフォーカス位置を前記第１の筐体の見開き平面の中央部よりも遠端部側に設定する、
   ことを特徴とする画像処理装置。
4. 前記第２の判定手段は、前記撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、前記撮影画像の状態として判定する、
   ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記第１の判定手段は、前記撮像部により逐次撮影される各々の撮影画像を対象として前記検出手段により逐次検出される指標の位置の変化に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態が前記所定の角度範囲内の状態に変化したタイミングを判定する、
   ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 前記検出手段は、予め用意されているパターンマッチング用の比較基準画像を使用して、前記撮像部により取得された撮影画像内の複数の指標を認識することによりその個々の位置をそれぞれ検出し、
   前記第２の判定手段は、前記検出手段により検出された各検出点の中から所定の規則性を持った並びに近似した配置関係にある各検出点に基づいて、前記撮影画像の状態を判定する、
   ようにしたことを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 前記第２の判定手段によって判定された前記撮影画像の状態に基づいて当該撮影画像の処理を指示する処理制御手段を更に備える、
   ようにしたことを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
8. 前記指標の個々は、複数の図形を交互にマトリックス状に配置した模様の指標である、
   ことを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。
9. 前記第１の判定手段は、前記被写体に配置されている複数の指標の中で所定の位置に配置されている指標を第１の指標とし、その第１の指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定し、
   前記第２の判定手段は、前記被写体に配置されている複数の指標の中で前記第１の指標を除く他の位置にある指標を第２の指標とし、その第２の指標を含めた複数の指標が前記検出手段により検出された場合にその複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する、
   ようにしたことを特徴とする請求項１〜請求項８のいずれかに記載の画像処理装置。
10. 前記第１の指標を、前記第１の筐体の見開き平面上において前記ヒンジの反対側の端部に配置し、
    前記第２の指標を、前記第１の筐体の見開き平面上においてその両側端部にそれぞれ配置する、
    ようにしたことを特徴とする請求項９に記載の画像処理装置。
11. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置による画像処理方法であって、
    前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出ステップと、
    前記検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定ステップと、
    前記判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定ステップと、
    を含み、
    前記検出ステップは、複数の指標が所定の規則性を持って配置された被写体の撮影画像が前記撮像部により撮影された場合に、予め用意されているパターンマッチング用の比較基準画像を使用して、当該撮影画像内の複数の指標を認識することによりその個々の位置をそれぞれ検出し、
    前記第１の判定ステップは、前記検出ステップにより検出された各検出点の中から前記所定の規則性を持った並びに近似した配置関係にある各検出点に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する、
    ことを特徴とする画像処理方法。
12. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置による画像処理方法であって、
    前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出ステップと、
    前記検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定ステップと、
    前記判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定ステップと、
    を含み、
    前記第１の判定ステップは、前記検出ステップにより検出された指標が前記撮影画像内の所定の位置に収まった際に、前記第２の筐体に対する前記第１の筐体の角度が前記所定の角度範囲内に収まった状態であると判定する、
    ことを特徴とする画像処理方法。
13. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置による画像処理方法であって、
    前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出ステップと、
    前記検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定ステップと、
    前記判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定ステップと、
    を含み、
    前記第１の筐体と前記第２の筐体とが見開き状に開閉されている状態において、前記撮像部のフォーカス位置を前記第１の筐体の見開き平面の中央部よりも遠端部側に設定する、
    ことを特徴とする画像処理方法。
14. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置のコンピュータを、
    前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、
    前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、
    前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、
    して機能させ、
    前記検出手段は、複数の指標が所定の規則性を持って配置された被写体の撮影画像が前記撮像部により取得された場合に、予め用意されているパターンマッチング用の比較基準画像を使用して、当該撮影画像内の複数の指標を認識することによりその個々の位置をそれぞれ検出し、
    前記第１の判定手段は、前記検出手段により検出された各検出点の中から前記所定の規則性を持った並びに近似した配置関係にある各検出点に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する、
    ことを特徴とするプログラム。
15. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置のコンピュータを、
    前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、
    前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、
    前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、
    して機能させ、
    前記第１の判定手段は、前記検出手段により検出された指標が前記撮影画像内の所定の位置に収まった際に、前記第２の筐体に対する前記第１の筐体の角度が前記所定の角度範囲内に収まった状態であると判定する、
    ことを特徴とするプログラム。
16. 複数の指標が配置された被写体を含む第１の筐体と、撮影して撮影画像を取得する撮像部を含む第２の筐体とが、ヒンジ部を介して見開き状に開閉可能な構造を有する画像処理装置のコンピュータを、
    前記撮像部により撮影された撮影画像内の前記指標を認識してその位置を検出する検出手段と、
    前記検出手段により検出された指標の位置に基づいて、前記第２の筐体に対する前記第１の筐体の角度の状態を判定する第１の判定手段と、
    前記第１の判定手段により判定された前記角度の状態が所定の角度範囲内の状態であるときに前記検出手段により検出された複数の指標の位置関係に基づいて、前記撮影画像の状態を判定する第２の判定手段と、
    して機能させ、
    前記第１の筐体と前記第２の筐体とが見開き状に開閉されている状態において、前記撮像部のフォーカス位置を前記第１の筐体の見開き平面の中央部よりも遠端部側に設定する、
    ことを特徴とするプログラム。

Images