JP6267520B2 - 画像処理装置およびその制御方法、画像処理システム - Google Patents

Description

本発明は、原稿の周辺に操作ボタン等の投影コンテンツを投影する技術に関するものである。

カメラやスキャナ等の撮影部により、原稿台上の原稿を上方（あるいは斜め上方）から撮影して画像データを取得する画像読み取り装置が提案されている。また、プロジェクタ等の投影部によって、原稿台上の撮影対象領域に、ユーザに有用な情報を投影すると共に、当該領域内に仮想的な操作ボタンを投影する装置が提案されている。例えば、特許文献１には、投影により表示された操作ボタンに対し、ユーザが指やペンの先端部を近接させることにより撮影を指示可能とした構成が開示されている。

ただし、撮影対象領域に情報や操作ボタン等の投影コンテンツを投影する場合、当該投影コンテンツと原稿とがオーバラップする可能性がある。その場合、原稿及び投影コンテンツの双方の可読性が著しく低下する恐れがある。そこで、例えば、特許文献２には、撮影部によって文字や画像のない余白領域を検出し、当該余白領域にコンテンツの投影を行う技術が開示されている。

一方で、たとえ原稿の枠外や原稿内の余白領域に対してコンテンツの投影を行う場合においても、撮影した画像内に投影コンテンツが写り込んでしまう可能性がある。すなわち、操作ボタン等の投影コンテンツを投影したままの状態で撮影を行うと、本来の原稿には含まれない投影コンテンツが撮影画像内に含まれることになる。そこで、例えば、特許文献３には、撮影を実行している間は投影コンテンツの表示を行わない、すなわち投影自体を停止するか、もしくは、全体が白色の画像の投影を行うよう制御する技術が開示されている。

特開平７−１６８９４９号公報 特開２００５−２３６８７８号公報 特開２００６−１８４３３３号公報

しかしながら、例えば、上述の特許文献３のような技術を用いると、常時原稿台の上の状態を監視する必要があるため、恒常的あるいは頻繁に投影コンテンツの非表示を実施する必要が生じ、可読性やデザイン性が損なわれる。また、原稿台の上に状態の変化がある場合にのみ投影コンテンツの非表示を行うようにする構成であっても、原稿の載置・除去に加えて、ユーザの手の動きや、原稿の移動、投影コンテンツの変化の度に非表示を実施することになる。すなわち、ユーザが意図しないタイミングで不意に投影コンテンツの表示が消えることになる。その場合、ユーザにとっては、操作ボタンのような投影コンテンツの可読性や操作性が著しく低下し、また、投影コンテンツのデザイン性も劣化することになる。

本発明は上述の問題点に鑑みなされたものであり、操作性の高いユーザインタフェースを原稿の周辺に好適に投影可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、被写体及びその周辺領域を撮影する撮影装置と、前記被写体又はその周辺領域に画像を投影する投影装置とが接続された画像処理装置であって、前記投影装置によって投影された画像の投影位置を取得する取得手段と、前記撮影装置によって撮影された画像と前記取得手段で取得された前記投影位置とに基づいて、前記被写体の特性を判定する判定手段と、前記判定手段により判定された前記特性に基づいて前記投影装置が投影する画像を制御する制御手段と、を有し、前記投影装置が投影する画像は、ユーザへ情報を提供するための情報提供画像及びユーザからの操作を受け付けるための操作インタフェース画像の少なくとも一方を含み、前記判定手段は、前記撮影装置によって撮影された画像から前記投影装置により前記投影位置に投影された画像の影響を除去することにより、前記被写体の特性を判定する。

本発明によれば、操作性の高いユーザインタフェースを原稿の周辺に好適に投影可能とする技術を提供することができる。

第１実施形態に係る画像処理装置の機能構成を示すブロック図である。 第１実施形態に係る画像処理装置の動作フローチャートである。 投影によって表示される情報及び操作ボタンを例示的に示す図である（第１実施形態）。 カラー・モノクロ属性判定の詳細フローチャートである（第１実施形態）。 第２実施形態に係る画像処理装置の動作フローチャートである。 原稿種別判定の詳細フローチャートである。 投影によって表示される情報及び操作ボタンを例示的に示す図である（第２実施形態）。 第３実施形態に係る画像処理装置の動作フローチャートである。 投影によって表示される情報及び操作ボタンを例示的に示す図である（第３実施形態）。 原稿サイズ検知の詳細フローチャートである。 原稿サイズ検知の処理により得られる縦幅・横幅を説明する図である。 カラー・モノクロ属性判定の詳細フローチャートである（第４実施形態）。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、画像読み取り装置を含む画像処理システムを例に挙げて以下に説明する。特に、原稿台上に載置された被写体である紙原稿を上方（または、斜め上方）から画像読み取りを行うと共に、原稿台および紙原稿にユーザインタフェースを投影する電子写真方式の複合機に含まれる画像読み取り装置について説明する。

もちろん、複合機に限らず、画像読み取りを含む機能を有する装置であれば適用可能である。例えば、コピー機能やＦＡＸ機能、また、画像読み取りと読み取り画像データの電子化のみを行う単機能のドキュメントリーダにも適用可能である。また、画像読み取りの対象は紙原稿に限らず、紙以外の原稿や立体物であっても適用可能である。

以下の説明では、ユーザの載置する原稿に応じて投影コンテンツを切り替える構成について説明する。例えば、第１実施形態では、無彩色のみで構成されるモノクロ原稿が載置されれば、モノクロコピーのスタートの操作ボタンだけを表示する。一方、有彩色を含むカラー原稿が載置されれば、カラーコピーのスタートとモノクロコピーのスタートの両方の操作ボタンを表示する。

＜装置構成＞
図１は、第１実施形態に係る画像処理装置である画像読み取り装置１００の機能構成を示すブロック図である。画像読み取り装置１００は、撮影部１０１、投影部１０２、判定部１０３、主制御部１１１、記憶部１１２を含む。なお、撮影部１０１や投影部１０２は、画像読み取り装置１００の外部装置であっても良く、互いに接続可能であれば足りる。

撮影部１０１は、原稿の画像を撮影し電子画像データとして入力する機能部である。投影部１０２は、投影コンテンツを投影する機能部である。判定部１０３は、原稿の特性を判定する機能部であり、第１実施形態では、カラー原稿であるかモノクロ原稿であるかの判定を行う。主制御部１１１は、画像読み取り装置１００全体の制御を行う。記憶部１１２は、投影コンテンツや画像データとそれに付随する情報を記憶する。

なお、ユーザへの情報表示は、主制御部１１１が投影部１１２を制御してユーザへの情報表示を投影するよう制御することによって実現される。また、ユーザからの命令受信は、主制御部１１１が撮影部１０１を制御してユーザの操作（手や指、あるいはペンの動き）を撮影し、所定の命令を認識することにより実現される。

＜装置の動作＞
図２に、第１実施形態に係る画像処理装置の動作フローチャートである。なお、以下の説明では特に断りの無い限り、用語「予備撮影」及び「本撮影」はそれぞれ以下のように定義される撮影を意味する。

予備撮影：ユーザの操作に依存せずに実行され、各種判定（ここでは、原稿のカラー・モノクロ属性の判定）のための参照データとして用いられる原稿の画像を取得するための撮影
本撮影：ユーザの操作によって決定されるタイミングで実行され、画像処理を加えた上でコピー出力に用いられることになる原稿の画像を取得するための撮影

例えば、本撮影により取得される画像は予備撮影により取得される画像より、高解像度かつ高品位である。また、予備撮影は本撮影とは異なり断続的もしくは連続的に実行される。なお、例えば、予備撮影を動画撮影として実行し、動画像における各フレーム画像を用いるよう構成しても良い。

図２において、ステップＳ２０１〜ステップＳ２０４が、予備撮影に関連する予備撮影動作２５０であり、ステップＳ２０５〜ステップＳ２０９が、本撮影に関連する本撮影動作２５１である。上述のように、予備撮影動作２５０は、本撮影動作を行わない操作の待機中に恒常的に動作を繰り返し、本撮影動作２５１はユーザのコピーを指示する操作がある時にのみ実行する。

ステップＳ２０１では、撮影部１０１は、ユーザの操作によらず画像読み取りの対象となる原稿の予備撮影を実行する。撮影の対象となるのは、原稿台上に載置された原稿とその周辺領域である。なお、投影部１０２による投影が原稿又はその周辺領域に対して行われている場合、その投影コンテンツも予備撮影画像内に含まれている可能性がある。取得した予備撮影画像は記憶部１１２に保存される。また、この予備撮影画像より古い予備撮影画像が既に記憶部１１２に保存されている場合には古い方を削除するよう構成しても良い。

ステップＳ２０２では、判定部１０３は、記憶部１１２に保存された予備撮影画像を参照して、原稿がカラーのオブジェクトを含むカラー原稿であるか、それともモノクロのオブジェクトだけで構成されたモノクロ原稿であるかを判定する。判定の結果は記憶部１１２に保存される。

図４は、カラー・モノクロ属性判定（Ｓ２０２）の詳細フローチャートである。

ステップＳ４０１では、主制御部１１１は、記憶部１１２に保存されている投影コンテンツの、予備撮影画像の座標系における投影座標（投影位置）を取得する。すなわち、投影コンテンツの座標系において、何もない白色以外のオブジェクトが表示される座標を取得し、予備撮影画像の座標系に変換する。変換した座標群は投影コンテンツが予備撮影画像内のどの位置に写り込んでいるかという情報としてリスト化され、記憶部１１２に保存される。

ステップＳ４０２〜ステップＳ４０４は予備撮影画像の全ての画素に関して行うループ処理である。予備撮影画像内の全ての画素に対して処理が完了したらループを抜けてステップＳ４０５に遷移する。

ステップＳ４０２では、判定部１０３は、注目画素について、投影コンテンツが含まれる画素かどうかを判断する。すなわち、記憶部１１２からステップＳ４０１において取得した投影コンテンツの座標のリストを読み出し、当該注目画素の座標と一致するかどうかを判定する。一致すれば次のループに遷移し、一致がなければステップＳ４０３に遷移する。当該処理は、投影された投影コンテンツの画像の影響を除去する処理である。これは、座標が一致する場合（つまり投影コンテンツの投影領域内である場合）、当該注目画素は、原稿のカラー・モノクロ属性の判定に適さないからである。

つまり、投影コンテンツが余白に投影されている場合は、当該注目画素は原稿の属性とは関係の無い投影コンテンツによる色情報を持っていることになるからである。また、投影コンテンツが原稿上に投影されている場合は、当該注目画素は原稿の属性と当該投影コンテンツとの双方に関係する色情報を持っていることになり、誤判定の原因となるからである。そのため、予備撮影画像の画像領域から、投影コンテンツの投影画像領域を除去するのである。

ステップＳ４０３では、判定部１０３は、注目画素がカラーの画素であるか、モノクロの画素であるかの判断を行う。カラー判定を行う技術としては、様々なものがあるが、例えば、画素値をＬａｂ色空間に変換した上で、色相を表すａ，ｂが所定値未満のものである場合モノクロ画素、ａ，ｂが所定値以上である場合カラー画素であると判断するといった方法がある。カラー画素であると判断すればステップＳ４０４に遷移し、モノクロ画素であると判断すれば次のループに遷移する。

ステップＳ４０４では、判定部１０３は、予備撮影画像内でカラー判定された画素数をカウントする。すなわち、当該注目画素はカラー判定されているので、記憶部１１２に保存しているカウント値にインクリメント（１加算）する。

ステップＳ４０５では、判定部１０３は、カウント値の閾値判定を行う。すなわち予備撮影画像内のカラー画素のカウント値が所定の閾値以上であれば、ステップＳ４０６に、所定の閾値未満であればステップＳ４０７に遷移する。

ステップＳ４０６及びＳ４０７では、判定部１０３は、記憶部１１２にカラー・モノクロ属性の判定結果を保存する。すなわち、ステップＳ４０６では、記憶部１１２に原稿がカラー属性であると保存し、ステップＳ４０７では、記憶部１１２に原稿がモノクロ属性であると保存する。

ステップＳ４０８では、主制御部１１１は、記憶部１１２に保存されているカウント値をクリアする。

ステップＳ２０３では、投影部１０２は、Ｓ２０２でのカラー・モノクロ属性の判定結果に対応する投影コンテンツ（操作ボタン等）を原稿又はその周辺に投影する。また、主制御部１１１は、投影部１０２が投影する投影コンテンツを記憶部１１２に保存する。

図３は、投影によって表示される情報及び操作ボタンを例示的に示す図である。具体的には、原稿がカラー属性を持つ場合及び原稿がモノクロ属性を持つ場合それぞれにおいて、情報（情報提供画像）と操作ボタン（操作インタフェース画像）が表示される様子を例示的に示している。

すなわち、投影部１０２は、記憶部１１２に保存されているカラー・モノクロ属性の判定結果を参照する。そして、原稿３０１がカラー属性を持つ原稿であれば、図３（ａ）に示すように、原稿３０１がカラー属性を持つ原稿である旨の情報を情報表示３０２として投影し表示する。また、カラーコピーをスタートさせる操作ボタン３０３とモノクロコピーをスタートさせる操作ボタン３０４との両方を併せて投影し表示させる。一方、原稿３１１がモノクロ属性を持つ原稿であれば、図３（ｂ）に示すように、原稿３１１がモノクロ属性を持つ原稿である旨の情報を情報表示３１２として投影し表示する。また、モノクロコピーをスタートさせる操作ボタン３１３を併せて投影し表示する。

ステップＳ２０４では、主制御部１１１は、ユーザからコピーを実行する指示があるかどうかを判断する。例えば、主制御部１１１は、特許文献１などで説明される技術を用いて、記憶部１１２に保存されている予備撮影画像に基づき判断を行う。もちろん、具体的な判断方法は任意であり、例えば、何らかの図示しない別の操作部を介した操作や、別のセンサや別の撮影部による撮影画像に基づいた判断であっても構わない。指示がない場合は、ステップＳ２０１に遷移し、予備撮影動作を繰り返す。指示があった場合は、本撮影動作に遷移する。すなわち、ユーザがカラースタートボタンを操作した場合は、ステップＳ２０５に遷移し、ユーザがモノクロスタートボタンを操作した場合は、ステップＳ２０７に遷移する。

ステップＳ２０５では、投影部１０２は、投影自体を停止するか、もしくは、全体が白色の画像の投影を行うよう制御し、撮影部１０１は、原稿を本撮影する。本撮影画像は記憶部１１２に保存される。その後、ステップＳ２０６では、主制御部１１１は、カラーコピー用の画像処理を行い、図示しない出力部が原稿を複写したカラーコピーを印刷・排紙する。完了すると、ステップＳ２０９に遷移する。

ステップＳ２０７では、撮影部１０１は、原稿を本撮影する。本撮影画像は記憶部１１２に保存された後、ステップＳ２０８では、主制御部１１１がモノクロコピー用の画像処理を行い、図示しない出力部が原稿を複写したモノクロコピーを印刷・排紙する。完了すると、ステップＳ２０９に遷移する。

ステップＳ２０９では、主制御部１１１がユーザから処理を終了する指示があるかどうかを判断する。終了する指示がない場合は、ステップＳ２０１に遷移し、予備撮影動作を繰り返す。終了する指示があった場合は、全ての処理を終了する。

以上説明したとおり第１実施形態によれば、予備撮影動作２５０のフローにおいて、予備撮影画像内に投影コンテンツの画像が含まれる場合、当該投影コンテンツの画像の領域を除外してカラー・モノクロ属性の判定を行う。これにより、原稿のカラー・モノクロ属性の判定を精度良く行うことが可能となり、当該判定結果に基づき適応的なユーザインタフェースの投影をより好適に行うことが可能となる。すなわち、当該判定結果に基づいて、ユーザに対し、原稿の特性の提示や操作ボタンの提供を適応的に行うことが可能となり、操作性の高いユーザインタフェースを提供することが可能となる。

例えば、原稿の特性の提示や操作ボタンの提供を適応的に行うことにより、ユーザは、選択可能な操作、及び当該操作の実行に伴うコスト等を直観的に認識することができる。また、例えば、ユーザが原稿を取り替えたり、追加で載置したりした場合においても、投影による表示を途切らせる必要なく、即応的にユーザインタフェースに反映させることが可能となる。

（第２実施形態）
第２実施形態では、予備撮影動作において、原稿種別（文字原稿、写真原稿、混在原稿）を判定する形態について説明する。すなわち、原稿のカラー・モノクロ属性の判定の替わりに原稿種別の判定を行う点が第１実施形態と異なる。なお、装置構成は第１実施形態（図１）と同様であるため説明は省略する。

＜装置の動作＞
図５に、第２実施形態に係る画像処理装置の動作フローチャートである。第１実施形態（図２）とは、ステップＳ５０２において原稿種別判定を行う点、ステップＳ５０３において投影コンテンツの投影内容が異なる点、本撮影動作５５１において原稿種別判定の結果に応じて自動的に処理を選択し実行する点、で異なる。

ステップＳ５０２の動作の詳細については図６を参照して後述する。なお、以下の説明では原稿種別として、以下のように定義される「文字原稿」、「写真原稿」及び「混在原稿」の３つの属性に分類するものとして説明する。ただし、この分類に限定されるものでは無く、例えば更に他の原稿種別を規定し適用してもよい。

文字原稿：内容が文字のみで構成された原稿
写真原稿：内容が写真・画像のみで構成された原稿
混在原稿：文字及び写真・画像が混在する原稿

図６は、原稿種別判定の詳細フローチャートである。なお、第１実施形態のカラー・モノクロ属性の判定のフロー（図４）と類似しているため、以下では異なる箇所を中心に説明する。

ステップＳ６０１では、ステップＳ４０１と同様の処理を行う。ステップＳ６０２では、判定部１０３は、注目画素について、投影コンテンツが含まれる画素かどうかを判断する。すなわち、記憶部１１２からステップＳ６０１において取得した投影コンテンツの座標のリストを読み出し、当該注目画素の座標と一致するかどうかを判定する。投影コンテンツの座標内であると判定した場合は、次の画素を注目画素としてループする一方、投影コンテンツの座標外であると判定した場合はステップＳ６０３に遷移する。当該処理は、投影された投影コンテンツの画像の影響を除去する処理である。

ステップＳ６０３では、判定部１０３は、画素毎に属性判定を行う。また、このとき注目画素が白画素かどうか（すなわち、文字や写真などのオブジェクトでない画素かどうか）も判定する。すなわち、一般的に知られている像域分離技術により、注目画素が、文字の一部であるのか（文字判定）、写真の一部であるのか（写真判定）、それともいずれにも属さないのかを判断する。例えば、文字判定ではエッジ抽出処理を用いて判定し、写真判定では網点パターンとのパターンマッチングを行なって判定する。なお、画素の属性判定は上述した方法に限るものではなく、その他の判定方法を用いるようにしても構わない。

写真であると判定した場合は、ステップＳ６０４に進み、判定部１０３は、写真判定された画素のカウント値をインクリメントする。一方、文字であると判定した場合は、Ｓ６０５に進み、判定部１０３は、文字判定された画素のカウント値をインクリメントする。なお、文字、写真のいずれにも属さないと判定された場合はカウントせずに次の画素を注目画素としてループする。

ステップＳ６０６では、判定部１０３は、文字判定のカウント値、写真判定のカウント値を用いて総合的に原稿全体がどの原稿種別であるかを判断する。例えば、文字判定のカウント値が第１の閾値以上、かつ、写真判定のカウント値が第２の閾値未満であれば文字原稿と判定する。文字判定のカウント値が第１の閾値未満、かつ、写真判定のカウント値が第２の閾値以上であれば写真原稿と判定する。それ以外であれば混在原稿であると判定する。原稿種別の判定結果は記憶部１１２に保存する。

ステップＳ５０３では、投影部１０２は、Ｓ５０２での原稿種別の判定結果に対応する投影コンテンツを原稿又はその周辺に投影する。また、主制御部１１１は、投影部１０２が投影する投影コンテンツを記憶部１１２に保存する。

図７は、投影によって表示される情報及び操作ボタン（投影コンテンツ）を例示的に示す図である。図７は、原稿が混在原稿であると判定された場合の情報と操作ボタンが投影される様子を例示的に示している。

すなわち、投影部１０２は、記憶部１１２に保存されている原稿種別の判定結果を参照する。そして、原稿７０１に関連付けられた原稿種別を、原稿種別情報７０２として投影する。また、原稿種別に適した処理モードに自動で設定してある旨の処理モード情報７０３も投影する。処理モード情報７０３は、原稿種別の判定結果に応じて自動で設定されることを想定するが、当該表示画面を介してユーザが任意のモードに設定変更することも可能である。

本撮影動作５５１における、ステップＳ５０５〜ステップＳ５１２では、原稿種別に応じた処理モードそれぞれに従った画像処理を行う。例えば、文字原稿用処理であれば、シャープな画質になるような処理をかけ、写真原稿用処理であれば、滑らかな画質になるような処理をかける。また、混在原稿用処理であればその中間的な画像処理を実施するかあるいは、領域ごとに異なる画像処理を実行する。

以上説明したとおり第２実施形態によれば、予備撮影動作５５０のフローにおいて、予備撮影画像内に投影コンテンツの画像が含まれる場合、当該投影コンテンツの画像の領域を除外して原稿種別の判定を行う。これにより、原稿種別の判定を精度良く行うことが可能となり、当該判定結果に基づき適応的な情報提供を行うことが可能となる。すなわち、当該判定結果に基づいて、ユーザに対し、原稿種別の提示や適用される画像処理の情報の提供を行うことが可能となる。

（第３実施形態）
第３実施形態では、予備撮影動作において、原稿台上の原稿の有無とサイズの検知（以下、原稿サイズ検知）を実行する形態について説明する。すなわち、原稿の内容（カラー・モノクロ属性や原稿種別）の判定の替わりに原稿サイズ検知を行う点が上述の実施形態と異なる。なお、装置構成は第１実施形態（図１）と同様であるため説明は省略する。

＜装置の動作＞
図８に、第３実施形態に係る画像処理装置の動作フローチャートである。ステップＳ８０１〜ステップＳ８０５が、予備撮影に関連する予備撮影動作８５０であり、ステップＳ８０６〜ステップＳ８０８が、本撮影に関連する本撮影動作８５１である。すなわち、予備撮影動作は、本撮影動作を行わない操作の待機中に恒常的に動作を繰り返し、本撮影動作はユーザのコピーを指示する操作がある時にのみ実行する。

ステップＳ８０１では、撮影部１０１は、ユーザの操作によらず画像読み取りの対象となる原稿台の予備撮影を実行する。なお、投影部１０２による投影が原稿に対して行われている場合、その投影コンテンツも予備撮影画像内に含まれている可能性がある。取得した予備撮影画像は記憶部１１２に保存される。また、この予備撮影画像より古い予備撮影画像が既に記憶部１１２に保存されている場合には古い方を削除するよう構成しても良い。

ステップＳ８０２では、判定部１０３は、記憶部１１２に保存された予備撮影画像を参照して、原稿サイズ検知の処理を実行する。具体的には、原稿が原稿台上に存在するか否か、存在する場合は当該原稿のサイズがどのサイズであるかの判定を行う。処理結果は記憶部１１２に保存される。

図１０は、原稿サイズ検知（Ｓ８０２）の詳細フローチャートである。

ステップＳ１００１では、主制御部１１１は、記憶部１１２に保存されている投影コンテンツの、予備撮影画像の座標系における投影座標を取得する。すなわち、投影コンテンツの座標系において、何もない白色以外のオブジェクトが表示される座標を取得し、予備撮影画像の座標系に変換する。変換した座標群は投影コンテンツが予備撮影画像内のどの位置に写り込んでいるかという情報としてリスト化され、記憶部１１２に保存される。

ステップＳ１００２では、主制御部１１１は、予備撮影画像から、原稿もしくは投影コンテンツの少なくともいずれかが含まれる座標を取得する。すなわち、この取得される座標は予備撮影画像の中で、原稿台が写っていない領域全てに相当する。これらの座標は予備撮影画像の座標系であるため、そのままリスト化して、記憶部１１２に保存する。

ステップＳ１００３では、判定部１０３は、原稿の縦幅と横幅を検出する。すなわち、ステップＳ１００２で得られた座標リストから、ステップＳ１００１で得られた投影コンテンツの座標リストを取り除き、残った座標リストのうち最大の座標差を縦軸・横軸について計算するというものである。

図１１は、原稿サイズ検知の処理により得られる縦幅・横幅を説明する図である。図１１では、操作ボタンを表す投影コンテンツと、原稿の角の外側にカギ括弧状の投影コンテンツとが、投影されているものとする。ステップＳ１００１で得られる座標リストから最大の座標差を得ると、投影コンテンツを含めた縦幅・横幅の最大値（点線で示す）が検知され、縦幅１１０１及び横幅１１０２が得られてしまう。一方、図１０で説明した処理では、投影コンテンツを除去した後に縦幅１１０３及び横幅１１０４が得られることになり、正確な原稿の縦幅・横幅が得られる。なお、残った座標リストが存在しないか、リスト上の座標の数が一定の閾値未満である場合には、原稿台上に原稿が載置されていないものと判定する。

ステップＳ１００４では、判定部１０３は、記憶部１１２に原稿サイズ検知の結果を保存する。すなわち、原稿の有無、及び、原稿のサイズを記憶部１１２に保存する。

ステップＳ８０３では、投影部１０２は、記憶部１１２に保存されている原稿サイズ検知結果を参照して、該原稿サイズに対応する投影コンテンツを原稿台に投影する。

図９は、投影によって表示される情報及び操作ボタンを例示的に示す図である。具体的には、原稿が載置されていない場合及び原稿が載置されている場合それぞれにおいて、情報と操作ボタンが表示される様子を例示的に示す図である。図９（ａ）に示すように、原稿が載置されていない状態であれば、原稿が無いことを示す情報９０１を表示し、コピーをスタートさせるボタン９０２も非表示にするかグレーアウト（選択不能を示す表示）する。一方、図９（ｂ）に示すように、原稿９０３が載置されている場合は原稿サイズについての情報９０４やそれに連動した情報９０５を表示すると共に、コピーをスタートさせる操作ボタン９０６を表示する。投影部１０２が投影する投影コンテンツについては、投影と同時に記憶部１１２に保存する。

ステップＳ８０４では、主制御部１１１は、原稿の有無に関する情報を記憶部１１２から呼び出して判断する。原稿が載置されていない状態の場合は、ステップＳ８０１に遷移し、予備撮影動作を繰り返す。原稿が載置されている場合は、ステップＳ８０５に遷移する。

ステップＳ８０５では、主制御部１１１は、ユーザからコピーを実行する指示があるかどうかを判断する。指示がない場合は、ステップＳ８０１に遷移し、予備撮影動作を繰り返す。指示があった場合は、本撮影動作に遷移する。すなわち、ユーザが操作ボタン９０６を操作した場合は、ステップＳ８０６に遷移する。

ステップＳ８０６では、投影部１０２は、投影自体を停止するか、もしくは、全体が白色の画像の投影を行うよう制御し、撮影部１０１は、原稿を本撮影する。本撮影画像は記憶部１１２に保存される。その後、ステップＳ８０７では、主制御部１１１は、原稿サイズに応じた画像処理（拡大縮小処理など）を行い、図示しない出力部が原稿を複写したカラーコピーを印刷・排紙する。完了すると、ステップＳ８０８に遷移する。

ステップＳ８０８では、主制御部１１１は、ユーザから処理を終了する指示があるかどうかを判断する。指示がない場合は、ステップＳ８０１に遷移し、予備撮影動作を繰り返す。指示があった場合は、全ての処理を終了する。

以上説明したとおり第３実施形態によれば、予備撮影動作８５０のフローにおいて、予備撮影画像内に投影コンテンツの画像が含まれる場合、当該投影コンテンツの画像の領域を除外して原稿のサイズ検知を行う。これにより、原稿のサイズ検知を精度良く行うことが可能となり、当該判定結果に基づき適応的な情報提供を行うことが可能となる。すなわち、当該判定結果に基づいて、ユーザに対し、原稿のサイズの提示や適用される画像処理の情報の提供を行うことが可能となる。

（第４実施形態）
第４実施形態では、例えば、モノクロ印刷されている原稿にワンポイントでカラーのロゴが印刷されている場合にも対応可能な画像読み取り装置について説明する。第１実施形態に係る画像読み取り装置においては、このような原稿のロゴの領域に対してカラーの操作ボタンが投影されている場合に正しく判定できない。すなわち、このような原稿はカラー属性を持つと判断すべきであるにも関わらず、唯一のカラーのオブジェクトであるロゴの表示領域が、カラー・モノクロ属性の判定において除外されるため、モノクロ属性と判定されてしまう。なお、装置構成及び全体的な動作フローに関しては第１実施形態（図１、図２）と同様であるため説明は省略する。

図１２は、第４実施形態におけるカラー・モノクロ属性判定の詳細フローチャートである。

ステップＳ１２０１では、主制御部１１１は、記憶部１１２に保存されている投影コンテンツの座標を取得する。すなわち、投影コンテンツの座標系において、何もない白色以外のオブジェクトが表示される座標を取得し、予備撮影画像の座標系に変換する。変換した座標群は投影コンテンツが予備撮影画像内のどの位置に写り込んでいるかという情報としてリスト化され、記憶部１１２に保存される。このとき、座標に関連付けて、投影コンテンツの信号値（例えばＲＧＢ値）も記憶部１１２に併せて保存する。

ステップＳ１２０２〜ステップＳ１２０５は、予備撮影画像の全ての画素に関して行うループ処理である。全ての画素に対して処理が完了したらループを抜けてステップＳ１２０６に遷移する。

ステップＳ１２０２では、判定部１０３は、注目画素が投影コンテンツが含まれる画素かどうかを判断する。すなわち、記憶部１１２からステップＳ１２０１において取得した投影コンテンツの座標のリストを読み出し、当該注目画素の座標と一致するかどうかを判定する。一致すればステップＳ１２０３に遷移し、一致がなければステップＳ１２０４に遷移する。

ステップＳ１２０３では、判定部１０３は、注目画素の信号値から、投影部１０２による投影コンテンツによる寄与分の信号値を差し引く。この処理は、既存のホワイトバランスに関する処理が適用可能である。すなわち、光源の演色性から投影対象の本来の色を割り出し、当該注目画素の白色光下での信号値を算出する。算出した信号値は記憶部１１２に保存する。

ステップＳ１２０４では、判定部１０３は、当該画素がカラーの画素であるか、モノクロの画素であるかの判断を行う。カラー画素であると判断すればステップＳ１２０５に遷移し、モノクロ画素であると判断すれば次のループに遷移する。

ステップＳ１２０５では、判定部１０３は、予備撮影画像内でカラー判定された画素数をカウントする。すなわち、当該画素がカラー判定された場合、記憶部１１２に保存しているカウント値をインクリメントする。

ステップＳ１２０６では、判定部１０３は、カウント値の閾値判定を行う。すなわち予備撮影画像内のカラー画素のカウント値が所定の閾値以上であれば、ステップＳ１２０７に、所定の閾値未満であればステップＳ１２０８に遷移する。

ステップＳ１２０７及びＳ１２０８では、判定部１０３は、記憶部１１２にカラー・モノクロ属性の判定結果を保存する。すなわち、ステップＳ１２０７では、記憶部１１２に、原稿がカラー属性であることを示す情報を保存する。一方、ステップＳ１２０８では、記憶部１１２に、原稿がモノクロ属性であることを示す情報を保存する。

ステップＳ１２０９において、主制御部１１１は、記憶部１１２に保存されているカウント値をクリアする。

以上説明したとおり第４実施形態によれば、予備撮影動作２５０のフローにおいて、予備撮影画像内に投影コンテンツの画像が含まれる場合、当該投影コンテンツの画像の信号値を考慮してカラー・モノクロ属性の判定を行う。これにより、原稿のカラー・モノクロ属性の判定をより精度良く行うことが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 被写体及びその周辺領域を撮影する撮影装置と、前記被写体又はその周辺領域に画像を投影する投影装置とが接続された画像処理装置であって、
   前記投影装置によって投影された画像の投影位置を取得する取得手段と、
   前記撮影装置によって撮影された画像と前記取得手段で取得された前記投影位置とに基づいて、前記被写体の特性を判定する判定手段と、
   前記判定手段により判定された前記特性に基づいて前記投影装置が投影する画像を制御する制御手段と、
   を有し、
   前記投影装置が投影する画像は、ユーザへ情報を提供するための情報提供画像及びユーザからの操作を受け付けるための操作インタフェース画像の少なくとも一方を含み、
   前記判定手段は、前記撮影装置によって撮影された画像から前記投影装置により前記投影位置に投影された画像の影響を除去することにより、前記被写体の特性を判定する
   ことを特徴とする画像処理装置。
2. 前記判定手段は、前記撮影装置によって撮影された画像から前記投影位置の画像領域を除去した画像に基づいて、前記被写体の特性を判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記撮影装置によって撮影された画像に含まれる各画素の信号値から前記投影装置が投影した画像の寄与分の信号値を差し引いて得られる画像に基づいて前記被写体の特性を判定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記判定手段で判定される前記被写体の特性は、前記被写体が有彩色であるか無彩色であるかを示すカラー・モノクロ属性である
   ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記判定手段で判定される前記被写体の特性は、前記被写体が、文字のみで構成された文字原稿、写真・画像のみで構成された写真原稿、文字と写真・画像が混在する混在原稿の何れであるかを示す原稿種別である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記判定手段で判定される前記被写体の特性は、前記被写体のサイズである
   ことを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記情報提供画像は、前記被写体に関する情報を示す画像を含む
   ことを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 被写体及びその周辺領域を撮影する撮影装置と、前記被写体又はその周辺領域に画像を投影する投影装置とが接続された画像処理装置の制御方法であって、
   前記投影装置によって投影された画像の投影位置を取得する取得工程と、
   前記撮影装置によって撮影された画像と前記取得工程で取得された前記投影位置とに基づいて、前記被写体の特性を判定する判定工程と、
   前記判定工程により判定された前記特性に基づいて前記投影装置が投影する画像を制御する制御工程と、
   を含み、
   前記投影装置が投影する画像は、ユーザへ情報を提供するための情報提供画像及びユーザからの操作を受け付けるための操作インタフェース画像の少なくとも一方を含み、
   前記判定工程では、前記撮影装置によって撮影された画像から前記投影位置に投影された画像の影響を除去して、前記被写体の特性を判定する
   ことを特徴とする画像処理装置の制御方法。
9. 被写体及びその周辺領域を撮影する撮影手段と、
   前記被写体又はその周辺領域に画像を投影する投影手段と、
   前記投影手段によって投影された画像の投影位置を取得する取得手段と、
   前記撮影手段によって撮影された画像と前記取得手段で取得された前記投影位置とに基づいて、前記被写体の特性を判定する判定手段と、
   前記判定手段により判定された前記特性に基づいて前記投影手段が投影する画像を制御する制御手段と、
   を有し、
   前記投影手段が投影する画像は、ユーザへ情報を提供するための情報提供画像及びユーザからの操作を受け付けるための操作インタフェース画像の少なくとも一方を含み、
   前記判定手段は、前記撮影手段によって撮影された画像から前記投影位置に投影された画像の影響を除去することにより、前記被写体の特性を判定する
   ことを特徴とする画像処理システム。
10. コンピュータを、請求項１乃至７の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images