JP6157146B2 - 読み取り装置及びその制御方法 - Google Patents

Description

本発明は、読み取り台上に上向きに置かれた対象物を読み取る読み取り装置に関する。

現在普及している多くの読み取り装置では、原稿台上に下向きに置かれた原稿をスキャナで読み取るが、近年では原稿台上に上向きに原稿を置き、原稿台上部に取りつけられた撮像手段を用いて、原稿を読み取る読み取り装置が提案されている。

特許文献１は、測距センサ等の測距手段を用いて、原稿との距離の変化に基づいて、ブック原稿のページめくり方向を判定する。

特開平９−３０７７１２号公報

特許文献１は、ブック原稿をページめくり検出やめくり方向に基づいた読み取り順序の検出を可能にしている。しかしながら、特許文献１に記載されている方法では、ブック原稿でない両面原稿、例えばシート状の両面原稿に関する処理は記載されておらず、読み取った画像の両面の対応付けを行うことはできなかった。そのため、両面の対応付けを行おうとした場合、読み取った後に、ユーザが対応つけの指示を行わなければならなかった。本発明では、このような事情を鑑みてなされたものであり、ユーザが対象物に対して行った動作に基づいて、読み取った画像の両面の対応付けを行うことを目的とする。

上記課題を解決するために、本発明に係る読み取り装置は、読み取り台に置かれた対象物の上に向く面を読み取って第１データを取得する第１読み取り手段と、ユーザの手の動きを検出する検出手段と、前記第１読み取り手段によって読み取られた前記対象物がユーザによって裏返されたかを、固定された前記読み取り台に対する前記手の動きと前記対象物に関して検出される情報とによって判定する判定手段と、前記判定手段で、前記対象物が裏返されたと判定された場合、前記対象物のうち裏返されたことによって上に向いた面を読み取って第２データを取得する第２読み取り手段と、前記第１読み取り手段によって取得された前記第１データと、前記第２読み取り手段によって取得された前記第２データとを対応付ける対応付け手段を有することを特徴とする。

本発明によれば、ユーザが対象物に対して行った動作に基づいて、読み取った画像の両面の対応付けを行うことができる。

本発明に係る読み取り装置１０１のブロック図と外観図 本発明に係る読み取り装置１０１のハードウェア構成図 第１の実施形態における読み取り装置１０１におけるフローチャート ステップＳ５０２の詳細フローチャート（方法１） ステップＳ５０２の詳細フローチャートの他の例（方法２） ステップＳ５０２の詳細フローチャートの他の例（方法３） 両手で対象物を入れ替えた場合を説明するための図。 変形例１におけるステップＳ５０２の詳細フローチャート（方法１） 変形例１におけるステップＳ５０２の詳細フローチャートの他の例（方法２） 変形例１におけるステップＳ５０２の詳細フローチャートの他の例（方法３） 変形例２におけるステップＳ５０２の詳細フローチャート（方法１） 変形例２におけるステップＳ５０２の詳細フローチャートの他の例（方法２） 変形例２におけるステップＳ５０２の詳細フローチャートの他の例（方法３） 第２の実施形態における読み取り装置１０１におけるフローチャート

以下、図面を参照しながら本発明の好適な実施例について説明していく。

（第１の実施形態）
図２は、読み取り装置１０１のハードウェア構成を示す構成図である。図２において、２０１はＣＰＵ、２０２はＲＡＭ、２０３はＲＯＭ、２０４はカメラ、２０５はシステムバス、２０６はＨＤＤ、２０７はプリンタである。システムバス２０５は、装置内の各要素を接続し、各要素間における信号の送受信を行う。ＨＤＤ２０６は、外付けの記憶装置である。

図１（ａ）は、読み取り装置１０１の機能ブロック図である。

撮像部１０４は、カメラやビデオカメラ等の撮像手段である。図１（ｂ）は、読み取り装置１０１の外観図である。撮像部１０４は、読み取り台上部に取り付けられ、読み取り台の上向きに置かれた対象物およびユーザの手を撮像する。撮像部１０４の撮像可能な範囲を読み取りエリアとするが、ここでは、読み取り台のサイズと、読み取りエリアのサイズが等しいものとする。

撮像制御部１０７は、撮像部１０４を制御する手段であり、ＣＰＵ２０１等から構成され、ＲＯＭ２０３に記憶されたプログラムやデータをＲＡＭ２０２に読み出して実行する。撮像制御部１０７は、対象物を読み取るタイミングや、検出エリアの制御などを行う。

保持部１０２は、ＲＡＭ２０２に相当し、読み取りデータを保持する。読み取りデータは、読み取り対象物を撮像部１０４で読み取ったデータである。他には、対象物に関する情報や検出した手に関する情報なども保持する。

対象物検出部１０３は、ＣＰＵ２０１等から構成され、ＲＯＭ２０３に記憶されたプログラムやデータをＲＡＭ２０２に読み出して、対象物の検出、複数の対象物の自動切り出し、対象物の読み取り台上における座標の取得を行う。

手検出部１０５は、ＣＰＵ２０１等から構成され、ＲＯＭ２０３に記憶されたプログラムやデータをＲＡＭ２０２に読み出して、ユーザの手の有無や動き、位置等を検出する。

判定部１０６は、ＣＰＵ２０１等から構成され、ＲＯＭ２０３に記憶されたプログラムやデータをＲＡＭ２０２に読み出して、手検出部１０５で検出したユーザの手の情報に基づいてユーザが対象物を裏返したか取り除いたかを判定する。判定部１０６は、さらに、複数の対象物の大きさや内容を比較、ユーザの手と対象物について移動方向の比較なども行う。

対応付け部１１０は、ＣＰＵ２０１等から構成され、ＲＯＭ２０３に記憶されたプログラムやデータをＲＡＭ２０２に読み出して、保持部１０２に保持された読み取りデータを表原稿と裏原稿とに対応付ける。

記憶装置１０８は、ＨＤＤ２０６に相当し、保持部１０２に保持されたデータを、保存データとして保持する。保存データは、読み取りデータと、各種設定情報（両面対応画像、綴じ位置など）である。印刷装置１０９は、プリンタ２０７に相当し、保持部１０２に保持されたデータの印刷を行う。

尚、撮像部１０４は、読み取り装置１０１の装置内にある例を示すが、外部装置であってもよい。また、記憶装置１０８、印刷装置１０９は、外部装置である例を示すが、読み取り装置１０１の装置内にあってもよい。さらに、ここでは、対象物検出部１０３と手検出部１０５を別々の手段で説明するが、検出部として１つの手段で実行しても構わない。

図３は、第１の実施形態における読み取り装置１０１におけるフローチャートである。

ステップＳ５０６において、撮像部１０４が、読み取り台上を、撮像する。撮像されたデータは、一旦、保持部１０２で保持される。

ステップＳ５０７において、判定部１０６が、対象物が読み取り台に置かれたかを判定する。判定方法は、ステップＳ５０６で撮像されたデータを用いて、読み取り台の上で対象物が静止したかを判定する。対象物が読み取り台に置かれていないと判定された場合は（ステップＳ５０７にてＮＯ）、ステップＳ５０６に戻る。対象物が読み取り台に置かれたと判定された場合は（ステップＳ５０７にてＹＥＳ）、ステップＳ５０１に進む。

ステップＳ５０１において、撮像部１０４が、対象物を読み取り、読み取りデータを保持部１０２に保持する（第１の読み取り工程）。ここで、ステップＳ５０６で撮像したデータから、対象物のデータを切り出してもよいし、新たに、撮像部１０４が、読み取り台上を、撮像して、対象物のデータを取得してもよい。

ステップＳ５０２において、判定部１０６は、ステップＳ５０１で読み取った対象物が、裏返されたか取り除かれたかを判定する。裏返されたと判定された場合はステップＳ５０３に進み、取り除かれたと判定された場合はステップＳ５０５に進む。

ステップＳ５０３において、撮像部１０４が、裏返された対象物を読み取り、読み取りデータを保持部１０２に保持する（第２の読み取り工程）。

ステップＳ５０４において、対応付け部１１０が、読み取りデータを表原稿（ステップＳ５０１で読み取った読み取りデータ）と裏原稿（ステップＳ５０３で読み取った読み取りデータ）に対応付ける。ここでは、対応付けた読み取りデータを、保存データとし、記憶装置１０８に記憶する。

ステップＳ５０５において、対応付け部１１０が、読み取りデータを表原稿（ステップＳ５０１で読み取った読み取りデータ）として、保存データとし、記憶装置１０８に記憶する。

図４は、ステップＳ５０２の詳細フローチャート（方法１）である。

ステップＳ７０９において、対象物検出部１０３が、ステップＳ５０１で読み取った対象物のサイズと対象物の内容を、保持部１０２に保持する。尚、ステップＳ５０１で対象物を読み取った時刻を０とし、対象物のサイズをＳ［０］、対象物の内容をＣ［０］と定義する。対象物が長方形の場合、対象物検出部１０３が読み取りデータから対象物の縦の長さと横の長さを取得してＳ［０］とする。対象物が長方形でない形の場合は、読み取りデータから対象物の最小外接矩形の縦の長さと横の長さを取得してＳ［０］とする。対象物の内容Ｃ［０］は読み取りデータそのものであり、画像である。

ステップＳ７１０において、判定部１０６が、所定時間の経過に従って、時刻Ｔ＝Ｔ＋１とする。

ステップＳ７０１において、撮像部１０４が、読み取り台上を、撮像する。

ステップＳ７０２において、手検出部１０５が、ステップＳ７０１で撮像したデータを用いて、ユーザの手が読み取りエリア内にあるかどうかを判定する。手の検出には既存の技術を用い、例えば肌色を判定して検出する方法や形状を識別して手であることを検出する方法等が挙げられる。手が読み取りエリア内にあると判定すると（ステップＳ７０２にてＹＥＳ）ステップＳ７０３に進む。読み取りエリア内にない場合は（ステップＳ７０２にてＮＯ）ステップＳ７０７に進む。

ステップＳ７０３において、撮像部１０４は、読み取り台上の対象物を読み取る。このとき読み取った対象物のサイズをＳ［Ｔ］、対象物の内容をＣ［Ｔ］とする。対象物が長方形の場合、対象物検出部１０３が読み取りデータから対象物の縦の長さと横の長さを取得してＳ［Ｔ］とする。対象物が長方形でない形の場合は、読み取りデータから対象物の最小外接矩形の縦の長さと横の長さを取得してＳ［Ｔ］とする。対象物の内容Ｃ［Ｔ］は読み取りデータそのものであり、画像である。

ステップＳ７０４において、判定部１０６は、ステップＳ７０３で読み取った対象物のサイズＳ［Ｔ］が、ステップＳ５０１で読み取った対象物のサイズＳ［０］と同じかどうかを判定する。ここでは、それぞれの対象物における縦および横の長さの比較を行う。縦の長さおよび横の長さが同じ場合は（ステップＳ７０４にてＹＥＳ）ステップＳ７０５に進む。同じでない場合は（ステップＳ７０４にてＮＯ）ステップＳ７１０に戻る。

ステップＳ７０５において、判定部１０６は、ステップＳ７０３で読み取った対象物の内容Ｃ［Ｔ］が、ステップＳ５０１で読み取った対象物の内容Ｃ［０］と、同じかどうかを判定する。内容が同じかどうかは既存の技術を用いて判定する。例えば、画像比較やＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行って文字で比較することにより内容が同じかどうかを判定できる。内容が同じであると判定された場合は（ステップＳ７０５にてＹＥＳ）ステップＳ７１０に戻る。内容が同じでないと判定された場合は（ステップＳ７０５にてＮＯ）ステップＳ７０６に進む。

ステップＳ７０６において、判定部１０６は、対象物が裏返されたと判定して終了する。

ステップＳ７０７において、対象物検出部１０３は、読み取り台上に、対象物がなくなったかを判定する。具体的には、予め定められた所定時間内に、対象物がなくなったとき、対象物がなくなったと判定する。対象物がなくなった場合は（ステップＳ７０７にてＹＥＳ）ステップＳ７０８に進む。対象物がある場合は（ステップＳ７０７にてＮＯ）終了する。

ステップＳ７０８において、判定部１０６は、対象物が取り除かれたと判定して終了する。

尚、図４を用いて、対象物が裏返されたか、取り除かれたかを判定する方法を、方法１と呼ぶ。方法１は、手が読み取りエリア内に入っていても、裏返しを判定することが可能である。

図５は、ステップＳ５０２の詳細フローチャートの他の例（方法２）である。図４と符号が同じステップは、図４のステップと同じとし、ここでの説明は省略する。

図４は、手が読み取りエリア内にある場合でも、裏返されたかの判定を行ったのに対し、図５は、手が読み取りエリア内にないと判定されてから、裏返されたかの判定を行っている。尚、図５を用いて、対象物が裏返されたか、取り除かれたかを判定する方法を、方法２と呼ぶ。方法２は、手が読み取りエリア内にないと判定された場合にのみ、対象物のサイズや内容の比較を行うので、対象物のサイズや内容の比較処理の負荷を軽減することが可能である。

図６は、ステップＳ５０２の詳細フローチャートの他の例（方法３）である。図４と符号が同じステップは、図４のステップと同じとし、ここでの説明は省略する。

ステップＳ６０１において、対象物検出部１０３は、ステップＳ５０１で読み取った対象物のサイズＳ［０］、対象物の位置Ｐｔ［０］を取得し、手検出部１０５は、ステップＳ５０１で読み取った際のユーザの手の位置Ｐｈ［０］を取得する。

ステップＳ６０２において、手検出部１０５は、読み取りエリア内で検出した手の位置取得し、手の位置を、Ｐｈ［Ｔ］とする。また、対象物検出部１０３はこのときに読み取りエリア内で検出した対象物の位置をＰｔ［Ｔ］とする。対象物の位置Ｐｔ［Ｔ］は、対象物が長方形の場合、例えば左上の角の座標とする。左上の角の座標が読み取れない場合はその他の角の座標でもよい。

ステップＳ６０３において、手検出部１０５は、手の動いた方向Ｖｈ［Ｔ］を算出して保持部１０２に保持する。手の動いた方向Ｖｈ［Ｔ］は、Ｐｈ［Ｔ−１］とＰｈ［Ｔ］から求められる。また、対象物検出部１０３は、対象物の動いた方向Ｖｔ［Ｔ］を算出して保持部１０２に保持する。原稿の動いた方向Ｖｔ［Ｔ］は、Ｐｔ［Ｔ−１］とＰｔ［Ｔ］から求められる。ここで、Ｐｈ［０］＝０、Ｐｔ［０］＝０とする。

ステップＳ６０４において、判定部１０６は、Ｓ６０３にて保持部１０２に保持されている、全てのＴにおいて、手の動いた方向と対象物の動いた方向を比較することにより、手の動きの方向と対象物の動きの方向が大きく異なるときがあるかを判定する。これは、対象物と裏返すときは、手の動きの方向と対象物の動きの方向が大きく異なるときがあることを利用している。手の動きの方向と対象物の動きの方向が大きく異なるときがあると判定された場合は（ステップＳ６０４にてＹＥＳ）、ステップＳ６０５に進む。手の動きの方向と対象物の動きの方向が大きく異なるときがないと判定された場合は（ステップＳ６０４にてＮＯ）、処理を終了する。

これにより、手の動きの方向と対象物の動きの方向を用いて、対象物が裏返されたか取り除かれたかを判定することができる。尚、図６を用いて、対象物が裏返されたか、取り除かれたかを判定する方法を、方法３と呼ぶ。方法３は、対象物の内容を判定に使わずに、裏返しを判定することが可能である。

以上、説明したように、対象物がユーザによって裏返されたか取り除かれたかを判定して、読み取った対象物を対応付けて保存することが可能になる。

（第１の実施形態の変形例１）
図７は、両手で対象物を入れ替えた場合を説明するための図である。図７（ａ）は、表原稿１を読み取った後、右手４で、表原稿２を読み取り台上から取り始めた時点の図である。尚、原稿読み取りエリア１は、撮像部１０４が撮像及び読み取り可能な範囲である。図７（ｂ）は、右手４で、表原稿２を読み取り台上から取りながら、左手５で、表原稿３を読み取り台上に置いている時点の図である。図７（ｃ）は、右手４で、表原稿２を読み取り台上から取りさり、左手５で、表原稿３を読み取り台上に置いている時点の図である。このように、両手で、２つの原稿の入れ替えを行なっている際、図７（ｂ）で示したように、読み取りエリアに、両手が認識される場合が考えられる。両手で、２つの原稿の入れ替えを行なうことを考慮し、読み取りエリアに、両手が認識される場合が考えられる例を、変形例１として、説明する。

図８は、変形例１におけるステップＳ５０２の詳細フローチャート（方法１）である。図４と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。

ステップＳ８０１において、手検出部１０５が、読み取りエリア内で検出した手の数を検出し、検出した手の数を、Ｈ［Ｔ］とする。手の検出には既存の技術を用い、例えば肌色を判定して検出する方法や形状を識別して手であることを検出する方法等が挙げられる。ここでは上記技術を利用して検出された手の数を用いる。

ステップＳ８０２において、判定部１０６が、Ｈ［Ｔ］が、２であるかを判定する。つまり、ここでは、検出される手が、両手になったかを判定している。Ｈ［Ｔ］＝２でないと判定された場合は（ステップＳ８０２にてＮＯ）ステップＳ７０４に進む。Ｈ［Ｔ］＝２であると判定された場合は（ステップＳ８０２にてＹＥＳ）ステップＳ８０３に進む。

ステップＳ８０３において、対象物検出部１０３が、読み取り台上の対象物の数を検出し、検出した対象物の数を、Ｍ［Ｔ］とする。対象物の数は、撮像部１０４が撮像したデータから、対象物のデータを切り出して、求める。

ステップＳ８０４において、判定部１０６が、Ｍ［Ｔ］が、２であるかを判定する。つまり、ここでは、対象物の数が、２つに増えたことを判定している。Ｍ［Ｔ］＝２でないと判定された場合は（ステップＳ８０４にてＮＯ）ステップＳ７０４に進む。Ｍ［Ｔ］＝２であると判定された場合は（ステップＳ８０４にてＹＥＳ）ステップＳ８０５に進む。

ステップＳ８０５において、判定部１０６が、所定時間の経過に従って、Ｔ＝Ｔ＋１とする。

ステップＳ８０６において、撮像部１０４が、読み取り台上を、撮像する。

ステップＳ８０７において、手検出部１０５が、読み取りエリア内で検出した手の数を検出し、検出した手の数を、Ｈ［Ｔ］とする。

ステップＳ８０８において、判定部１０６が、Ｈ［Ｔ］が、１であるかを判定する。つまり、ここでは、検出される手が、片手になったかを判定している。Ｈ［Ｔ］＝１でないと判定された場合は（ステップＳ８０８にてＮＯ）ステップＳ８０５に進む。Ｈ［Ｔ］＝１であると判定された場合は（ステップＳ８０８にてＹＥＳ）ステップＳ８０９に進む。

ステップＳ８０９において、対象物検出部１０３が、読み取り台上の対象物の数を検出し、検出した対象物の数を、Ｍ［Ｔ］とする。

ステップＳ８１０において、判定部１０６が、Ｍ［Ｔ］が、１であるかを判定する。つまり、ここでは、対象物の数が、１つに減ったことを判定している。Ｍ［Ｔ］＝１でないと判定された場合は（ステップＳ８１０にてＮＯ）、処理を終了する。Ｍ［Ｔ］＝１であると判定された場合は（ステップＳ８０８にてＹＥＳ）ステップＳ７０８に進む。

図９は、変形例１におけるステップＳ５０２の詳細フローチャートの他の例（方法２）である。図５と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。また同様に、図８と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。

ステップＳ９０１において、手検出部１０５が、読み取りエリア内で検出した手の数を検出し、検出した手の数を、Ｈ［Ｔ］とする。手の検出には既存の技術を用い、例えば肌色を判定して検出する方法や形状を識別して手であることを検出する方法等が挙げられる。ここでは上記技術を利用して検出された手の数を用いる。

ステップＳ９０２において、判定部１０６が、Ｈ［Ｔ］が、２であるかを判定する。つまり、ここでは、検出される手が、両手になったかを判定している。Ｈ［Ｔ］＝２でないと判定された場合は（ステップＳ９０２にてＮＯ）ステップＳ７０２に進む。Ｈ［Ｔ］＝２であると判定された場合は（ステップＳ９０２にてＹＥＳ）ステップＳ８０３に進む。

図８は、手が読み取りエリア内にある場合でも、裏返されたかの判定を行ったのに対し、図９は、手が読み取りエリア内にないと判定されてから、裏返されたかの判定を行っている。そのため、対象物のサイズや内容の比較処理の負荷を軽減することが可能である。

図１０は、変形例１におけるステップＳ５０２の詳細フローチャートの他の例（方法３）である。図６と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。また同様に、図８と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。

図８は、対象物が裏返されたかを判定する際に、対象物の内容を用いていたが、図１０は、対象物の内容を使わずに、手の動きの方向と対象物の動きの方向を用いて、対象物が裏返されたかを判定している。そのため、対象物の内容を使わずに、裏返されたかを判定することが可能である。

以上、説明したように、第１の実施形態の変形例１は、ユーザが両手それぞれに対象物を持って対象物を入れ替えても、裏返されたと誤って判定することを防ぐことができる。

（第１の実施形態の変形例２）
図７は、両手で、対象物を入れ替えた場合を説明するための図である。

図７（ｄ）は、表原稿１を読み取った後、右手４で、表原稿２を読み取り台上から取り始めた時点の図である。図７（ｅ）は、右手４で、表原稿２を読み取り台上から取りながら、左手５で、表原稿３を読み取り台上に置いている時点の図である。図７（ｆ）は、右手４で、表原稿２を読み取り台上から取りさり、左手５で、表原稿３を読み取り台上に置いている時点の図である。このように、両手で、２つの原稿の入れ替えを行なっているが、図７（ｅ）で示したように、読み取りエリアには、両手が認識されずに、一瞬で認識される手が入れ替わる場合が考えられる。両手で２つの原稿の入れ替えを行なうことを考慮し、読み取りエリアに一瞬で認識される手が入れ替わる場合が考えられる例を、変形例２として、説明する。

図１１は、変形例２におけるステップＳ５０２の詳細フローチャート（方法１）である。図４と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。

ステップＳ１１０１において、対象物検出部１０３が、ステップＳ５０１で読み取った対象物のサイズＳ［０］と対象物の内容Ｃ［０］を取得し、保持部１０２に保持し、手検出部１０５が、手の位置Ｐｈ［０］を取得し、保持部１０２に保持する。

ステップＳ１１０２において、手検出部１０５は、このときに読み取りエリア内で検出した手の位置をＰｈ［Ｔ］とする。手の検出には既存の技術を用い、例えば肌色を判定して検出する方法や形状を識別して手であることを検出する方法等が挙げられる。ここでは上記技術を利用して検出された手の位置情報を用いる。

ステップＳ１１０３において、判定部１０６は、Ｐｈ［Ｔ−１］とＰｈ［Ｔ］との距離が閾値Ｄｔｈより大きいかどうかを判定する。Ｐｈ［Ｔ−１］の座標を（Ｘ１，Ｙ１）、Ｐｈ［Ｔ］の座標を（Ｘ２，Ｙ２）とすると、Ｐｈ［Ｔ−１］とＰｈ［Ｔ］との距離Ｄは次式で求められる。

Ｄｔｈはあらかじめ決めた値でもよいし、Ｔが０から現在の値になるまで各Ｐｈ［Ｔ−１］とＰｈ［Ｔ］との距離を保存しておいてその平均値を用いてもよい。距離ＤがＤｔｈより大きい場合は（ステップＳ１１０３にてＹＥＳ）、ステップＳ１１０４に進む。大きくない場合は（ステップＳ１１０３にてＮＯ）、ステップＳ７０４に進む。

ステップＳ１１０４において、対象物検出部１０７は、読み取り台の上に対象物がなくなったかを判定する。

図１２は、変形例２におけるステップＳ５０２の詳細フローチャートの他の例（方法２）である。図５と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。また同様に、図１１と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。

ステップＳ１２０１において、手検出部１０５は、このときに読み取りエリア内で検出した手の位置をＰｈ［Ｔ］とする。手の検出に用いる技術は、ステップＳ１１０２と同様である。

ステップＳ１２０２において、判定部１０６は、Ｐｈ［Ｔ−１］とＰｈ［Ｔ］との距離が閾値Ｄｔｈより大きいかどうかを判定する。計算式や判定方法は、ステップＳ１１０３と同様である。距離ＤがＤｔｈより大きい場合は（ステップＳ１２０２にてＹＥＳ）、ステップＳ１２０３に進む。大きくない場合は（ステップＳ１２０２にてＮＯ）、ステップＳ７１０に進む。

ステップＳ１２０３において、対象物検出部１０３が、読み取り台上に、対象物がなくなったかを判定する。

図１１は、手が読み取りエリア内にある場合でも、裏返されたかの判定を行ったのに対し、図１２は、手が読み取りエリア内にないと判定されてから、裏返されたかの判定を行っている。そのため、対象物のサイズや内容の比較処理の負荷を軽減することが可能である。

図１３は、変形例２におけるステップＳ５０２の詳細フローチャートの他の例（方法３）である。図６と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。また同様に、図１２と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。図１３は、図６で説明したように、対象物の内容を使わずに、手の動きの方向と対象物の動きの方向を用いて、対象物が裏返されたかを判定している。

以上、説明したように、第１の実施形態の変形例２は、ユーザが両手それぞれに対象物を持って対象物を入れ替えても、裏返されたと誤って判定することを防ぐことができる。

尚、実施形態１における、読み取りの対象となる対象物は紙のような原稿でもよいし、厚みのある物体物や、立体的な形をもつ物体にも適用可能である。

また、ステップ５０４、ステップ５０５では、記憶装置１０８に保存する例を示したが、保存するのではなく、印刷装置１０９で印刷処理を行ってもよい。その場合は、ステップＳ５０４において、保持部１０２が、読み取りデータを表原稿（ステップＳ５０１で読み取りした画像）と裏原稿（ステップＳ５０３で読み取りした画像）に対応付けて、印刷装置１０９で印刷する。

ステップＳ５０５において、保持部１０２が、読み取りデータを表原稿（ステップＳ５０１で読み取りした画像）として、印刷装置１０９で印刷する。つまり、ステップ５０４は、両面印刷、ステップ５０５は、片面印刷となる。

図１１は、対象物が裏返されたかを判定する際に、対象物の内容を用いていたが、図１３は、対象物の内容を使わずに、手の動きの方向と対象物の動きの方向を用いて、対象物が裏返されたかを判定している。

また、対象物の内容や、手や対象物の動きを用いる代わりに、対象物の大きさの変化を用いて、対象物が裏返されたかを判定してもよい。具体的には、対象物が裏返されているときに、対象物の輪郭の面積が減少するので、対象物の輪郭の面積が減少したかを判定するとよい。

以上、説明したように、本実施形態によれば、対象物がユーザによって裏返されたか取り除かれたかを判定することによって、読み取りデータの対応付けを行うので、対応付けのためのユーザの明示的な入力を削減できる。

（第２の実施形態）
第１の実施形態では、ユーザの手を検出することにより対象物が裏返されたか取り除かれたかを判定し、両面の設定を対応付ける例を説明した。本実施例では、ユーザの手を検出して裏返しを検知し、さらに、対象物の移動方向を検知することにより見開き原稿の綴じ位置の設定を行う例について示す。第２の実施形態における読み取り装置１０１の機能ブロック図は、図１（ａ）と同じである。

図１４は、第２の実施形態における、読み取り装置１０１におけるフローチャートである。第１の実施形態で説明した、図３と同じ処理を行うものに関しては同じ符号を記し、説明は省略する。

ステップＳ１４０１において、対象物検出部１０３が、ステップＳ５０１で読み取った対象物の角の座標Ｇ［０］を取得し、保持部１０２に記憶する。対象物の角の座標の読み取りについては前述の通りであり、長方形でない形をした対象物の場合は、対象物の最小外接矩形の角の座標を用いる。

ステップＳ１４０２において、対象物検出部１０３が、対象物の角の座標Ｇ［Ｔ］を取得し、保持部１０２に記憶する。

ステップＳ１４０３において、判定部１０６は、ステップＳ５０２で裏返された対象物の位置が移動したかどうかを判定する。対象物の位置が移動したかどうかは、Ｇ［Ｔ］とＧ［０］を用いて判定する。

対象物座標Ｇ［０］を、左上（Ｘｐ１１，Ｙｐ１１），右上（Ｘｐ１２，Ｙｐ１２），左下（Ｘｐ１３，Ｙｐ１３），右下（Ｘｐ１４，Ｙｐ１４）とする。

対象物座標Ｇ［Ｔ］を、左上（Ｘｐ２１，Ｙｐ２１），右上（Ｘｐ２２，Ｙｐ２２），左下（Ｘｐ２３，Ｙｐ２３），右下（Ｘｐ２４，Ｙｐ２４）とする。このとき下記条件１〜３のうちいずれかが成り立つときに対象物の位置が移動したと判定し、いずれも成り立たないときは、対象物の位置は移動していないと判定する。

条件１： Ｘｐ２１＜Ｘｐ１２ かつ Ｘｐ１４＜Ｘｐ２３
条件２： Ｘｐ２２＜Ｘｐ１１ かつ Ｘｐ２４＜Ｘｐ１３
条件３： Ｙｐ１１＜Ｙｐ２３ かつ Ｙｐ１２＜Ｙｐ２４
ステップＳ１４０３において移動したと判定された場合は（ステップＳ１４０３にてＹＥＳ）、ステップＳ１４０４に進む。移動していないと判定された場合は（ステップＳ１４０３にてＮＯ）、ステップＳ５０３に進む。

ステップＳ１４０４において、対象物検出部１０３が、対象物が移動した方向を保持部１０２に保持する。対象物が移動した方向は、条件１が成り立った場合は左から右、条件２が成り立った場合は右から左、条件３が成り立った場合は下から上とする。

ステップＳ１４０５において、対象物検出部１０３が、対象物の数を取得し、対象物の数が２つかどうかを判定する。対象物の数が２つであると判定された場合は（ステップＳ１４０４にてＹＥＳ）、ステップＳ１４０６に進む。対象物の数が２つでないと判定された場合は（ステップＳ１４０４にてＮＯ）、ステップＳ５０３に進む。

ステップＳ１４０６において、保持部１０２が、綴じ設定であるという情報を保持する。

ステップＳ１４０７において、撮像部１０４は、裏返されていない方の対象物を読み取り、裏返された対象物の次ページとして保持部１０２に保持する。

ステップＳ１４０８において、判定部１０６が、保持部１０２に、綴じ設定であるという情報が保持されているかを判定する。綴じ設定であると判定された場合は（ステップＳ１４０８にてＹＥＳ）、ステップＳ１４０９に進む。綴じ設定でないと判定された場合は（ステップＳ１４０８にてＮＯ）、ステップＳ５０４に進む。

ステップＳ１４０９において、対応付け部１１０が、綴じ位置と読み取りデータの表面と裏面とを対応付けて、記憶装置１０８に記憶する。綴じ位置は、ステップＳ１４０４で保持した移動方向から決定する。対象物の移動方向が左から右のときは、綴じ位置を右とし、対象物の移動方向が右から左のときは、綴じ位置を左とし、対象物の移動方向が下から上のときは、綴じ位置を上とする。

尚、図１４におけるステップＳ５０２のフローは、図４、図５、図６、図８、図９、図１０、図１１、図１２、図１３のいずれのフローを用いてよい。

以上、説明したように、ユーザによる対象物の裏返しおよび移動を検知することにより、見開き原稿の設定および綴じ位置の設定を行うことができる。

尚、第２の実施形態における、読み取りの対象となる対象物は紙のような原稿でもよいし、厚みのある物体物や、立体的な形をもつ物体にも適用可能である。

また、ステップ５０４、ステップ５０５、ステップ１４０７では、記憶装置１０８に保存する例を示したが、保存するのではなく、印刷装置１０９で印刷処理を行ってもよい。その場合は、ステップＳ５０４において、保持部１０２が、読み取りデータを表原稿と裏原稿に対応付けて、印刷装置１０９で両面印刷する。ステップＳ５０５において、保持部１０２が、読み取りデータを表原稿として、印刷装置１０９で片面印刷する。さらに、ステップＳ１４０７は、読み取りデータを表原稿と裏原稿に対応付けて、印刷装置１０９で両面印刷し、さらに、綴じ位置で、ステープルで綴じるか、パンチ穴で開ける。

以上、説明したように、本実施形態によれば、ユーザによる対象物の裏返し及び移動を検知することにより、見開き原稿の設定および綴じ位置の設定を行うため、ユーザの明示的な入力を削減できる。

＜その他の変形例＞
以上本発明にかかる実施形態を説明したが、先に説明したように、読み取り装置は、通常のパーソナルコンピュータ等の汎用情報処理装置であって、それ上で動作するコンピュータプログラムで実現できるものである。よって、本発明はコンピュータプログラムをその範疇とすることは明らかである。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納されており、それをコンピュータの対応するドライブにセットしてシステムにコピーやインストール処理することで実行可能となる。よって、本発明は当然にそのようなコンピュータ可読記憶媒体をもその範疇とすることも明らかである。

Claims (19)

1. 読み取り台に置かれた対象物の上に向く面を読み取って第１データを取得する第１読み取り手段と、
   ユーザの手の動きを検出する検出手段と、
   前記第１読み取り手段によって読み取られた前記対象物がユーザによって裏返されたかを、固定された前記読み取り台に対する前記手の動きと前記対象物に関して検出される情報とによって判定する判定手段と、
   前記判定手段で、前記対象物が裏返されたと判定された場合、前記対象物のうち裏返されたことによって上に向いた面を読み取って第２データを取得する第２読み取り手段と、
   前記第１読み取り手段によって取得された前記第１データと、前記第２読み取り手段によって取得された前記第２データとを対応付ける対応付け手段とを有することを特徴とする読み取り装置。
2. 前記対応付け手段は、前記第１データと前記第２データとを、同一の対象物から読み取られた両面データとして対応付けることを特徴とする請求項１に記載の読み取り装置。
3. 前記判定手段は、さらに、前記対象物に関して検出される情報を用いて、前記第１読み取り手段によって読み取られた前記対象物が取り除かれたかを判定し、
   前記判定手段で、前記対象物が取り除かれたと判定された場合、前記第１読み取り手段によって取得された前記第１データを保持する保持手段と有することを特徴とする請求項１又は請求項２に記載の読み取り装置。
4. 前記読み取られた対象物に関して検出される情報は、撮像部が前記対象物を撮像した画像に基づいて検出される前記対象物のサイズと、前記対象物の内容であることを特徴とする請求項１乃至３の何れか１項に記載の読み取り装置。
5. 前記検出手段は、さらに、前記第１読み取り手段による読み取りが可能なエリア内の、ユーザの手の数、及び前記対象物の数を検出し、
   前記判定手段は、前記検出手段によって検出された前記手の数及び前記対象物の数を用いて、前記第１読み取り手段によって読み取られた前記対象物が取り除かれたかを判定することを特徴とする請求項３に記載の読み取り装置。
6. 前記検出手段は、さらに、ユーザの手の位置を検出し、
   前記判定手段は、前記検出手段によって検出された手の位置を用いて、第１読み取り手段によって読み取られた前記対象物が取り除かれたかを判定することを特徴とする請求項３に記載の読み取り装置。
7. 前記検出手段は、さらに、前記対象物の移動方向を検出し、
   前記対応付け手段は、さらに、前記検出手段によって検出された前記対象物の移動方向を用いて、前記対象物を構成する見開き原稿の綴じ位置を決定し、決定した綴じ位置を、前記第１データと前記第２データに対応付けることを特徴とする請求項１乃至６の何れか１項に記載の読み取り装置。
8. 前記対応付け手段は、
   印刷装置に対し、対応付けた前記第１データと前記第２データを両面印刷によって出力させ、前記第２データとの対応付けがなされない前記第１データを片面印刷によって出力させることを特徴とする請求項１乃至７の何れか１項に記載の読み取り装置。
9. 前記対象物は、シート状の原稿であることを特徴とする請求項１乃至８の何れか１項に記載の読み取り装置。
10. 読み取り装置の制御方法であって、
    前記読み取り装置の読み取り手段が、読み取り台に置かれた対象物の上に向く面を読み取って第１データを取得する第１の読み取り工程、
    ユーザの手の動きを検出する検出工程、
    前記読み取り装置の判定手段が、前記読み取り手段によって読み取られた前記対象物がユーザによって裏返されたかを、固定された前記読み取り台に対する前記手の動きと前記対象物に関して検出される情報とによって判定する判定工程と、
    前記読み取り手段が、前記判定工程で、前記対象物が裏返されたと判定された場合、前記対象物のうち裏返されたことによって上に向いた面を読み取って第２データを取得する第２の読み取り工程と、
    前記読み取り装置の対応付け手段が、前記第１の読み取り工程で取得された前記第１データと、前記第２の読み取り工程で取得された前記第２データとを対応付ける対応付け工程とを有することを特徴とする読み取り装置の制御方法。
11. コンピュータに読み込ませ実行させることによって、前記コンピュータを、請求項１乃至９の何れか１項に記載の読み取り装置が有する各手段として機能させるコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
13. 読み取り装置であって、
    撮像部を用いて読み取り台に置かれた対象物の上を向く面を表すデータを取得する取得手段と、
    前記読み取り台に置かれた対象物の上を向く面が、固定された前記読み取り台に対してユーザの手によって変更されたことに基づいて、前記取得手段によって取得された、前記変更の前に上を向いていた前記対象物の面を表す第１データと、前記変更の後に上を向いた前記対象物の面を表す第２データとを対応付ける対応付け手段とを有することを特徴とする読み取り装置。
14. 前記対応付け手段は、前記第１データと前記第２データとを、同一の対象物を読み取ることで取得されたデータとして対応付けることを特徴とする請求項１３に記載の読み取り装置。
15. さらに、前記対象物に関して検出される情報に基づいて、前記読み取り台に置かれた対象物の上を向く面が変更されたかを判定する判定手段を有し、
    前記判定手段によって前記読み取り台に置かれた対象物の上を向く面が変更されたと判定された場合、前記取得手段は前記第２データを取得し、前記対応付け手段は前記第１データと前記第２データとを対応付けることを特徴とする請求項１３又は１４に記載の読み取り装置。
16. 前記判定手段は、さらに、前記対象物に関して検出される情報に基づいて、前記撮像部を用いた読み取りの対象となる範囲から前記対象物が取り除かれたかを判定し、
    前記読み取り装置は、前記判定手段によって前記読み取り台に置かれた対象物の上を向く面が変更されたと判定された場合、前記対応付け手段によって対応付けられた前記第１データと第２データとを前記対象物から読み取られた保存データとして保持手段に保持させ、前記判定手段で、前記対象物が前記範囲から取り除かれたと判定された場合、前記第１データを前記保存データとして保持手段に保持させることを特徴とする請求項１５に記載の読み取り装置。
17. 読み取り装置の制御方法であって、
    取得手段により、撮像部を用いて読み取り台に置かれた対象物の上を向く面を表す第１データを取得する第１取得工程と、
    判定手段により、前記対象物に関して検出される情報に基づいて、前記読み取り台に置かれた対象物の上を向く面が、固定された前記読み取り台に対してユーザの手によって変更されたことを判定する判定工程と、
    前記取得手段により、前記対象物のうち前記変更によって上を向いた面を表す第２データを取得する第２取得工程と、
    対応付け手段により、前記第１データと前記第２データとを対応付ける対応付け工程とを有することを特徴とする読み取り装置の制御方法。
18. コンピュータに読み込ませ実行させることによって、前記コンピュータを、請求項１３乃至１６の何れか１項に記載の読み取り装置が有する各手段として機能させるコンピュータプログラム。
19. 請求項１８に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images