JP4963322B2 - 画像入力装置およびその制御方法 - Google Patents

Description

本発明は、画像入力装置およびその制御方法に関し、特に、表示機能と一体化された画像入力装置およびその制御方法に関する。

小型情報端末などの表示及び操作部として、液晶とタッチパネルを組み合わせた装置が広く利用されている。ユーザは液晶に表示されたボタンをペンや指でタッチすることで端末の操作を行なうことができる。タッチパネルは感圧式、もしくは、静電容量式のものなどが考案されているが、液晶面の上に配置する必要があるため、画質の低下の問題があった。また、部品点数が増えることで、部材や組み立てのコストがかかる問題もあった。

特許文献１（特開２００４−３１８８１９号公報）によると、ガラス基板上に液晶を駆動する回路とともに光センサを形成する技術が考案されている。この技術により、画像を表示するだけでなく、一般的なスキャナのように画像の入力を行なうことができる。また、入力した画像を処理することでタッチパネルとしても利用できる。別に感圧式、もしくは、静電容量式のタッチパネル部材を用いることなく、通常の液晶表示装置と同様のプロセスで製造できるため、コストを抑えることも可能であるとしている。
特開２００４−３１８８１９号公報

しかしながら、特許文献１の技術を用いた、画像表示と画像入力の両方の機能をもった装置において、ユーザにとって操作性がよく、かつ、高精度に原稿画像を入力することは困難であった。

本発明は、上記のような問題を解決するためになされたものであって、その目的は、画像表示と画像入力の両方の機能をもった画像入力装置において、ユーザにとって操作性がよく、かつ、原稿画像を精度良く取り込むことのできる画像入力装置およびその制御方法を提供することである。

この発明のある局面に従う画像入力装置は、画像の表示および撮像を行なうための表示撮像部を備える。表示撮像部は、透明な平板と、平板上に画像を表示するための表示部と、平板に載せられた原稿が平板に接する接触面の、表示部が画像を表示する範囲を撮像するための撮像部とを含む。画像入力装置は、ユーザより画像入力の指示があった場合に、平板に原稿を載せるようメッセージを表示部に表示するための表示制御部と、表示部にメッセージが表示された状態で、平板への原稿の接触を検知するための接触検知部とをさらに備える。表示制御部は、接触検知部により原稿の接触が検知された場合に、メッセージを均一な特定色の画像に切り替えて表示部に表示し、撮像部は、表示制御部により特定色の画像が表示部に表示されている場合に、接触面の画像を撮像する。

好ましくは、表示制御部により特定色の画像が表示部に表示されている場合に、撮像部に接触面の画像の撮像指示を出力するための撮像指示部と、撮像指示に応じて撮像部により撮像された画像を入力するための画像入力部とをさらに備える。

好ましくは、接触検知部により原稿の接触が検知された場合に、原稿の静止を検知するための静止検知部をさらに備える。撮像指示部は、特定色の画像が表示部に表示されている場合であって、かつ、静止検知部により原稿の静止が検知された場合に、接触面の画像の撮像を指示する。

好ましくは、接触検知部により原稿の接触が検知された場合に、原稿の静止を検知するための静止検知部をさらに備える。表示制御部は、静止検知部により原稿の静止が検知された場合に、メッセージを特定色の画像に切替える。

好ましくは、特定色は、白色である。
あるいは、特定色は、第１、第２および第３の色を含み、表示制御部は、接触検知部により原稿の接触が検知された場合に、表示部に表示する画像を、第１、第２、第３の色の画像に切替えることが好ましい。

好ましくは、第１、第２、第３それぞれの色の画像に切替えられる毎に、接触面の画像の撮像指示を出力するための撮像指示部と、撮像指示に応じて撮像部により撮像された第１、第２および第３それぞれの色成分の画像を入力するための画像入力部と、画像入力部により入力された第１、第２および第３それぞれの色成分の画像を合成するための合成部とをさらに備える。

好ましくは、第１、第２および第３の色は、それぞれ、赤、緑、青のいずれかである。
好ましくは、接触検知部は、一定周期で撮像部に接触面の画像の撮像を指示し、撮像された画像のエッジ特徴に基づいて、原稿の接触を検知する。

好ましくは、接触検知部は、表示部に対する外部からの圧力を検知するための圧力センサからの出力に基づいて、原稿の接触を検知する。

好ましくは、平板に接触した原稿の静止を検知するための静止検知部と、静止検知部により原稿の静止が検知された場合に、撮像部に接触面の画像の撮像指示を出力するための撮像指示部と、撮像指示に応じて撮像部により撮像された画像を入力するための画像入力部とをさらに備える。

好ましくは、静止検知部は、一定周期で撮像部に接触面の画像の撮像を指示し、撮像された画像のエッジ特徴および時間差分に基づいて、原稿の静止を検知する。

この発明の他の局面に従う画像入力装置は、画像の表示および撮像を行なうための表示撮像部を備える。表示撮像部は、透明な平板と、平板上に画像を表示するための表示部と平板に載せられた原稿が平板に接する接触面の、表示部が画像を表示する範囲を撮像するための撮像部とを含む。画像入力装置は、平板への原稿の接触を検知するための接触検知部と、接触検知部により原稿の接触が検知された場合に、均一な特定色の画像を表示する制御を行なう表示制御部とをさらに備える。撮像部は、表示制御部により特定色の画像が表示部に表示されている場合に、接触面の画像を撮像し、撮像部により撮像された接触面の画像を入力するための画像入力部と、画像入力部により画像が入力された場合に、原稿の平板への接触の解除を検知するための解除検知部とをさらに備える。表示制御部は、画像入力部により画像が入力された場合に、表示部に、ユーザからの指示を受け付けるためのボタン領域を表示し、ボタン領域への物体の接触／非接触を判定する判定部をさらに備える。解除検知部による検知処理が行なわれている間は、判定部による判定は無効化される。

好ましくは、解除検知部は、一定周期で撮像部に接触面の画像の撮像を指示し、撮像された画像のエッジ特徴に基づいて、原稿の接触の解除を検知する。

好ましくは、解除検知部は、表示部に対する外部からの圧力を検知するための圧力センサからの出力に基づいて、原稿の接触の解除を検知する。

この発明の他の局面に従うと、画像の表示および撮像を行なうための表示撮像手段を有する画像入力装置の制御方法が提供される。表示撮像手段は、透明な平板と、平板上に画像を表示するための表示手段と、平板に載せられた原稿が平板に接する接触面の、表示手段が画像を表示する範囲を撮像するための撮像手段とを含む。画像入力装置の制御方法は、ユーザより画像入力の指示があった場合に、平板に原稿を載せるようメッセージを表示手段に表示するステップと、表示部にメッセージが表示された状態で、平板への原稿の接触を検知するステップと、原稿の接触が検知された場合に、メッセージを均一な特定色の画像に切り替えて表示手段に表示するステップと、特定色の画像が表示手段に表示されている場合に、撮像手段により接触面の画像を撮像するステップとを備える。
この発明のさらに他の局面に従うと、画像の表示および撮像を行なうための表示撮像手段を有する画像入力装置の制御方法が提供される。表示撮像手段は、透明な平板と、平板上に画像を表示するための表示手段と、平板に載せられた原稿が平板に接する接触面の、表示手段が画像を表示する範囲を撮像するための撮像手段とを含む。画像入力装置の制御方法は、平板への原稿の接触を検知するステップと、原稿の接触が検知された場合に、均一な特定色の画像を表示手段に表示するステップと、特定色の画像が表示手段に表示されている場合に、撮像手段により接触面の画像を撮像するステップと、撮像するステップにより撮像された接触面の画像を入力するステップと、画像が入力された場合に、原稿の平板への接触の解除を検知するステップと、画像が入力された場合に、ユーザからの指示を受け付けるためのボタン領域を表示するステップと、ボタン領域への物体の接触／非接触を判定するステップとを備える。原稿の平板への接触の解除を検知するまでは、判定するステップによる判定は無効化される。

本発明によると、画像表示と画像入力の両方の機能をもった画像入力装置においても、原稿画像を精度良く取り込むことが可能となる。また、ユーザが操作に戸惑うという不都合を解消することができる。

本発明の各実施の形態に係る画像入力装置のハードウェアブロック図である。 本発明の各実施の形態に係る画像入力装置の外観図である。 本発明の各実施の形態に係る表示撮像装置の概略構成を示すブロック図である。 図３に示した画素アレイ部の１画素分のうち、センサが設けられるサブピクセルの詳細回路図である。 本発明の各実施の形態に係る表示撮像装置を説明するためのＬＣＤの模式図である。 本発明の第１の実施の形態に係る画像入力装置の機能ブロック図である。 本発明の第１の実施の形態に係る画像入力装置における画像入力の処理手順を示すフローチャートである。 （ａ）〜（ｄ）は、本発明の各実施の形態における画面遷移例を示す図である。 本発明の各実施の形態における接触検知処理を示すフローチャートである。 本発明の各実施の形態における静止検知処理を示すフローチャートである。 本発明の各実施の形態における接触解除検知処理を示すフローチャートである。 （ａ），（ｂ）は、それぞれ、原稿の接触・静止の検知に用いられる評価値Ｓおよび時間差分Ｄの変化の例を示す図である。 本発明の第２の実施の形態に係る画像入力装置の機能ブロック図である。 本発明の第２の実施の形態に係る画像入力装置における画像入力の処理手順を示すフローチャートである。 （ａ），（ｂ）は、一般的な画像入力装置の問題点について説明するための図である。 本発明の各実施の形態の変形例における表示撮像装置のハードウェア構成の一例を示す図である。 本発明の各実施の形態の変形例における光センサ内蔵液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。 本発明の各実施の形態の変形例における光センサ内蔵液晶パネルとバックライトとの断面図である。

符号の説明

１ 画像入力装置、２ 表示部、３ 撮像部、４ ＲＡＭ、５ ＲＯＭ、６，６Ａ 制御部、７ フラッシュメモリ、８ タイマ、２０ 表示撮像装置、３０ 光センサ、３１ 画素ＴＦＴ、３２ 表示制御ＴＦＴ、３３ 画像取込センサ、３４ スタテッィク型記憶素子、３５ 初期化用ＴＦＴ、３６ データ保持用ＴＦＴ、６１ 接触検知部、６２ 静止検知部、６３，６３Ａ 表示制御部、６４ 撮像指示部、６５ 画像入力部、６６ 解除検知部、６８ 画像合成部、６３１，６３１Ａ 画面切替部、２０１ 画素アレイ部、２０２ 信号線駆動回路、２０３ 走査線駆動回路、２０４ 信号処理出力回路、２０５ 同期信号発生回路、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 液晶パネル、１４１ 画素回路、１４１ｂ，１４１ｇ，１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３ｂ カラーフィルタ、１５３ｇ カラーフィルタ、１５３ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御装置、１８２ タイマ、１８３ 信号処理装置、１７８ 内部ＩＦ。

この発明の実施の形態について図面を参照して説明する。以下の説明では同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

（第１の実施の形態）
図１は、本実施の形態に係る画像入力装置１のハードウェアブロック図である。画像入力装置１は、たとえば、ＰＤＡ（Personal Digital Assistant）や携帯電話等の小型情報端末が想定される。

図１を参照して、画像入力装置１は、画像を表示するための表示部２、画像を撮像するための撮像部３、ＲＯＭ（Read Only Memory）４、ＲＡＭ(Random Access Memory)５、制御部６、不揮発性のメモリたとえばフラッシュメモリ７および、計時動作を行なうタイマ８を備える。

制御部６はＣＰＵ（Central Processing Unit）および、ＣＰＵ上で実行されるプログラムによって実現され、画像入力装置１全体の機能を制御する。ＲＯＭ４、ＲＡＭ５にはプログラムや作業データなどが記憶される。表示部２は、メニュー、ユーザへのメッセージおよび画像など表示を行なう。表示部２は、上面に透明な平板を含んでおり、撮像部３は、その平板に載せられた原稿画像の撮像を行なう。撮像部３は、また、表示部２に表示されたメニューやボタンに対するユーザのタッチ操作を検出する。なお、本実施の形態では、ユーザのタッチ操作を検出するために、撮像部３を用いることとして説明するが、別途、感圧式、もしくは静電容量式の接触検知機能も備えたタッチパネルを用いてもよい。

本実施の形態の画像入力装置１がＰＤＡや携帯電話である場合、画像入力装置１は、インターネットと接続するための通信Ｉ／Ｆ（図示せず），音声出力部（図示せず），音声入力部（図示せず）など、ＰＤＡや携帯電話として機能するためのハードウェアがさらに備えられるものとする。

図２は、本実施の形態に係る画像入力装置１の外観図である。
画像入力装置１の表面には、ＬＣＤ（Liquid Crystal Display）で実現される表示撮像装置２０が配置され、表示撮像装置２０は、表示部２および撮像部３の機能を実現する。

以下では、表示撮像装置２０のハードウェア構成についてさらに説明する。特に限定されないが、表示撮像装置２０のハードウェア構成は、上述した特許文献１に開示された構成を採用することが可能であり、以下では、その概略を説明する。

すなわち、図１に示した画像入力装置１における表示撮像装置２０は、各画素に、画像取込を行なうセンサを配置している。ＬＣＤ基板に対しては、共通電極をＩＴＯ（Indium Tin Oxide）等の透明電極材料により形成した対向基板を所定の間隔で配置する。ＬＣＤ基板と対向基板との間に液晶材料を注入し封止して、さらに両基板の外側に偏光板を貼り付けて用いる。

図３は、表示撮像装置２０の概略構成を示すブロック図である。
表示撮像装置２０は、信号線及び走査線が配置される画素アレイ部２０１と、信号線を駆動する信号線駆動回路２０２と、走査線を駆動する走査線駆動回路２０３と、センサからの撮像データをシリアル出力する信号処理出力回路２０４と、同期信号発生回路２０５とを備える。制御部６は、撮像データの処理も行なう。

画素アレイ部２０１は、ＬＣＤ基板上に、スイッチング素子として低温ポリシリコンＴＦＴ（Thin Film Transistor）を用いて形成される。また、信号線駆動回路２０２、走査線駆動回路２０３、信号処理出力回路２０４の少なくとも一部も、低温ポリシリコンＴＦＴでＬＣＤ基板上に形成される。このＬＣＤ基板上に受光用センサも形成される。このＬＣＤ基板は、表示撮像装置２０の上面側、下面側のいずれとすることも可能であるが、センサの受光感度の観点からは、上面側が望ましい。

画素アレイ部２０１においては、たとえば、各画素のサブピクセルには、対応する色のカラーフィルタが設けられる。ＬＣＤ基板の背面からのバックライトを供給する光源（図示せず）として、たとえば、白色ＬＥＤ（Light Emitting Diode）が設けられる。

サブピクセルの補助容量Ｃｓに書き込まれる電圧に基づいて、液晶の透過率を変化させて、階調表示を行なわせることができる。

信号線駆動回路２０２の内部には、ディジタルアナログコンバータＤＡＣ（図示せず）が設けられ、外部回路より所定周期で入力されるデジタル画素データを液晶の駆動に適したアナログ画素電圧に変換して、信号線Ｌｓｉｇを駆動する。

走査線駆動回路２０３は、走査線Ｌｇを、順次、選択し、選択された走査線に対応する行の画素に対しては、信号線駆動回路２０２から信号が供給される。

信号処理出力回路２０４は、同期信号発生回路２０５からのクロックに同期して、選択した画素から逐次現れる撮像データを増幅して外部に送出する。

図４は、画素アレイ部２０１の１画素分のうち、センサが設けられるサブピクセルの詳細回路図である。

図４に示すように、１画素は、画素ＴＦＴ３１と、補助容量Ｃｓに電荷を蓄積するか否かを制御する表示制御ＴＦＴ３２と、それぞれが所定範囲の入射光を撮像する画像取込センサ３３と、センサ３３の撮像結果を格納するキャパシタＣ１（以下ではセンサ容量とも呼ぶ）と、キャパシタＣ１の蓄積電荷に応じた２値データを格納するスタテッィク型記憶素子３４と、キャパシタＣ１に初期電荷を蓄積するための初期化用ＴＦＴ３５とを有する。スタテッィク型記憶素子３４は従属接続された２個のインバータから成り、通常のＳＲＡＭ（Static Random Access Memory）の記憶素子と同様の構成を有する。スタテッィク型記憶素子３４は、キャパシタＣ１の電位を２値化したり、ＴＦＴ３５とＴＦＴ３６が同時にオンした場合にはループ状に接続されて２値化したデータを保持することができる。

キャパシタＣ１の初期化を行なう場合は、画素ＴＦＴ３１と初期化用ＴＦＴ３５をオンする。表示素子の輝度を設定するためのアナログ画素電圧（アナログ画素データ）を補助容量Ｃｓに書き込む場合は、画素ＴＦＴ３１と表示制御ＴＦＴ３２をオンする。スタテッィク型記憶素子３４のデータ保持（リフレッシュ）を行なう場合は、初期化用ＴＦＴ３５とスタテッィク型記憶素子３４内のデータ保持用ＴＦＴ３６をともにオンする。スタテッィク型記憶素子３４に格納された撮像データを信号線に供給する場合は、画素ＴＦＴ３１とデータ保持用ＴＦＴ３６をともにオンする。

したがって、表示撮像装置２０は、通常の表示動作を行なうこともできるし、スキャナと同様の画像取込みを行なうこともできる。

通常の表示動作を行なう場合は、ＴＦＴ３５，３６はオフ状態に設定され、スタテッィク型記憶素子３４には有効なデータは格納されない。この場合、信号線には、信号線駆動回路２０２からの信号線電圧が供給され、この信号線電圧に応じた表示が行なわれる。

一方、画像取込みを行なう場合は、ＬＣＤの上面側に画像取込み対象物（例えば、原稿などの紙面）を配置し、バックライトからの光をＬＣＤのガラス基板を介して紙面に照射する。紙面で反射された光はＬＣＤ基板上のセンサ３３で受光され、画像取込みが行なわれる。

なお、センサが設けられないサブピクセルについては、図４の構成からセンサ３３とスタテッィク型記憶素子３４に関係する回路部分を除いた、液晶ＬＣおよび補助容量Ｃｓとスイッチングトランジスタ（画素ＴＦＴ３１と表示制御ＴＦＴ３２）とが設けられる。

図５は、表示撮像装置２０を説明するためのＬＣＤの模式図である。
表示撮像装置２０の各画素はカラー画像を表示するためのＲ（赤）、Ｇ（緑）、Ｂ（青）の色フィルタを有する３つのサブピクセルで構成され、格子状に配置されている。また、各画素には光センサ３０が配置され、全体で撮像部３を実現する。図５では、光センサ３０をＢ（青）のサブピクセル上に配置しているが、他の色のサブピクセル上に配置してもよい。また、色による感度依存をなくすため、光センサ３０の上部の色フィルタには窓を開けてもよい。あるいは、色フィルタに窓を開けず、さらに、光センサをＲ（赤）、Ｇ（緑）、Ｂ（青）すべてのサブピクセル上に配置することで、一度の撮像でカラー画像を撮像できるようにしてあってもよい。

ところで、画像入力装置１のような画像表示と画像入力の両機能を備えた装置においては、なんらかの画像を表示したまま原稿の画像を入力すると、表示している画像が入力画像に写り込んでしまう場合がある。このため、表示領域は白色などで塗り潰しておく必要がある。しかしながら、表示領域はユーザが小型情報端末を操作するためのインターフェイスでもあるため、表示領域全面を塗り潰すとユーザにとってはどのように操作すればよいか分からなくなってしまう。

また、画像の取り込み指示を行なうボタンを表示領域に表示する場合、表示領域は原稿で覆われてしまうため、ボタンを表示する領域を除いた狭い領域で画像を入力することになる。たとえば図１５（ａ）に示したように、表示撮像装置２０´にボタンＢＴ１を表示する場合、ボタンＢＴ１の分、装置に対して画像の取り込み面積が小さくなり、画面全体を有効に利用できない問題がある。なお、図１５では、本実施形態の画像入力装置１の表示撮像装置２０と区別するために表示撮像装置２０´と記す。

あるいは、図１５（ｂ）に示したように、別途ハード的なボタンＢＴ２を設けることも考えられるが、このような場合、ボタンＢＴ２を用意するコストだけでなく、小型情報端末自体が大きくなるという問題が生じる。

以上のように、画像表示と画像入力の両方の機能を持った装置において原稿画像を入力する場合、画面全体を有効利用できない、もしくは、別途画像入力を指示するボタンを設けなければいけないという問題があった。また、原稿を画像取り込み面すなわち、表示部２（表示撮像装置２０）の平板（以下単に「表示部２」という）に置く前に画面を白などで消去しておく必要があるため、ユーザに対するメッセージが表示できず、ユーザは操作するのに分かりにくいという問題もあった。さらに、入力した画像情報を処理してタッチパネルを実現する場合、画像取り込み面に原稿が置かれたままでは原稿の画像情報を指などと誤認識してしまい、誤動作してしまう問題もあった。

本実施の形態の画像入力装置１によると、上記のような問題点を解決することができる。そのことについて、以下、詳細に説明する。

図６は、本実施の形態に係る画像入力装置１の機能ブロック図である。
図６を参照して、制御部６は、接触検知部６１、静止検知部６２、表示制御部６３、撮像指示部６４、画像入力部６５および解除検知部６６を含む。なお、各ブロックの動作は、ＲＯＭ５中に格納されたソフトウェアを実行することで実現されてもよいし、これらのうち少なくとも１つについては、ハードウェアにより実現されてもよい。

接触検知部６１は、表示部２への原稿の接触を検知する。静止検知部６２は、接触検知部６１により原稿の接触が検知された場合に、原稿が静止したか否かを検知（判断）する。

表示制御部６３は、少なくとも接触検知部６１により原稿の接触が検知された場合に、均一な特定色、たとえば白色の画像を表示する制御を行なう。表示制御部６３は、後述するように、ユーザより画像入力（画像取り込み）の指示があった場合に、表示部２に原稿を載せるようメッセージを表示する。その後（メッセージは表示したままで）、少なくとも接触検知部６１により原稿の接触が検知された場合に、表示制御部６３の画面切替部６３１は、当該メッセージを白色の画像に切替える。また、表示制御部６３は、表示部２の所定の領域に、ユーザからの指示を受け付けるためのボタンを表示する。

撮像指示部６４は、白色の画像が表示されている場合に、撮像部３に原稿画像の撮像指示を出力する。画像入力部６５は、撮像部３により撮像された原稿画像を入力する。入力された原稿画像は、ＲＡＭ５に記憶される。

解除検知部６６は、画像入力部６５により画像が入力された場合に、接触検知部６１による検知結果に基づき、原稿の表示部２への接触が解除されたか否かを検知（判断）する。

制御部６は、上記ブロックの機能の他、表示部２に表示されたボタンへの物体（たとえばユーザの指など）の接触／非接触を判定する機能を有する。画像入力処理において、解除検知部６６により原稿の接触が解除されたと判断された場合に、接触／非接触の判定を有効化する。つまり、画像が入力された後、解除検知部６６により原稿の接触が解除されたと判断されてはじめて、入力された画像に関するユーザからの指示を受け付ける。言い換えると、解除検知部６６による検知処理が行なわれている間は、接触／非接触の判定は無効化される。

本実施の形態においては、たとえば名刺の画像を入力するケースについて説明する。この場合、入力された名刺の画像は、さらに、制御部６において名前やメールアドレスなどの認識が行なわれてもよい。そのような認識の結果、フラッシュメモリ７内のアドレス帳に自動的に名刺の情報が登録されたり、メール送信や電話などが自動的に行なわれてもよい。

なお、撮像される原稿画像は、名刺などの文字情報を含んだ画像に限定されるものではない。たとえば、２次元コード（ＱＲコード（登録商標））であってもよい。その場合、画像入力装置１は、撮像したＱＲコードを読み取って、通信Ｉ／Ｆ（図示せず）を介してＷｅｂアクセスすることもできる。そのため、通常、カメラを起動してフォーカスを合わせ、シャッターを切るという操作が必要であるのに対し、画像入力装置１によると、表示部２を雑誌のＱＲコードの部分に覆い被せるだけで、ＱＲコードを認識し、Ｗｅｂアクセスすることが可能になる。

このようなＱＲコードには誤り検出符合が含まれる。したがって、ＱＲコードを読み取る場合、表示部２に白画面が表示された時点でＱＲコード認識を繰り返し行なえばよいので静止検知部６２による処理は不要になる（繰り返し認識し、誤りが検出されなくなれば復号結果を出力すればよいため）。

図７は、本実施の形態に係る画像入力装置１における画像入力の処理手順を示すフローチャートである。図７のフローチャートに示す処理は、予めプログラムとしてＲＯＭ４に格納されており、制御部６がこのプログラムを読み出して実行することにより、画像入力処理の機能が実現される。

図７を参照して、ユーザから画像入力を要求されると、表示制御部６３は、原稿の設置を促すメッセージを表示部２に表示する（ステップＳ（以下、Ｓと略す）２）。この時点において、表示部２には、ユーザからの指示を受け付けるボタンは表示されない。

次に、接触検知部６１は、原稿の接触を検知するための接触検知処理を行なう（Ｓ４）。接触検知処理については、後に図９のサブルーチンを用いて詳細に説明する。

接触検知部６１は、接触検知処理が終わると、原稿の接触を検知したか否かを判断する（Ｓ６）。原稿の接触が検知された場合（Ｓ６にてＹＥＳ）、表示部２に表示しているメッセージを白色画像に切替える（Ｓ８）。このようにして、表示部２に表示されていた画像（メッセージ）が白一色で消去される。Ｓ６において、原稿の接触が検知されなかった場合（Ｓ６にてＮＯ）、この画像入力処理は終了される。

Ｓ８において、画面が切替えられると、次に、静止検知部６２は、静止検知処理を行なう（Ｓ１０）。静止検知処理については、後に図１０のサブルーチンを用いて詳細に説明する。

静止検知部６２は、静止検知処理が終わると、原稿の静止が検知されたか否かを判断する（Ｓ１２）。原稿の静止が検知されたと判断した場合（Ｓ１２にてＹＥＳ）、撮像指示部６４は、撮像部３に対し、撮像指示を出力する。これにより、撮像部３によって、表示部２（の平板）に載せられた原稿の表示部２に接する面（の画像）が撮像される。このようにして、画像入力部６５は、撮像された画像を入力し、ＲＡＭ５に書き込む（Ｓ１４）。なお、本実施の形態では、原稿の静止が検知されるとあらためて画像を撮像することとしたが、あらためて撮像することなくＳ１０の静止検知処理に用いた最終画像すなわち、原稿が静止した状態で撮像された画像を入力画像としてもよい。

Ｓ１２において、原稿の静止が検知されなかった場合（Ｓ１２にてＮＯ）、この画像入力処理は終了される。

画像が入力されると、表示制御部６３は、表示部２に確認画面を表示する（Ｓ１６）。この確認画面では、ユーザが入力画像を確認できるように、Ｓ１４で入力された画像が表示される。なお、確認画面は、制御部６において入力画像の文字認識が行なわれた結果、表示されるものであってもよい。このとき、表示部２に載せられている原稿による誤動作を防止するために、表示部２に表示する操作ボタンは無効化したままにする。あるいは、この段階では、操作ボタンを表示しないことにしてもよい。いずれにしても、操作ボタンが表示される領域への物体の接触／非接触の判定処理は機能させないようにする。表示部２の画面が白色画像から確認画面に切替えられた直後は、原稿が表示部２に載せられたままであるが、このようにすることで、原稿の接触によってユーザからの指示と誤判定することを防止することができる。

次に、解除検知部６６は、接触解除検知処理を実行する（Ｓ１８）。接触解除検知処理については、後に図１１のサブルーチンを用いて詳細に説明する。

接触解除検知処理が終わると、解除検知部６６は、表示部２上から原稿がなくなった（表示部２への原稿の接触が解除された）か否かを判断する（Ｓ２０）。原稿がなくなったと判断された場合（Ｓ２０でＹＥＳ）、制御部６は、表示部２に表示した操作ボタンを有効化する（Ｓ２２）。なお、Ｓ１６ではまだ原稿は表示部２の上に設置されており、ユーザは確認画面を視認することができないため、Ｓ１６の処理とＳ１８，２０の処理を入れ替えてもよい。

Ｓ２０において、原稿の非接触が検知されなかった場合（Ｓ２０にてＮＯ）、この画像入力処理は終了される。

最後に、確認画面上に表示された操作ボタン（たとえば、「ＯＫ」ボタンと「ＲＥＴＲＹ」ボタン）に対するユーザからの指示を検出する。ユーザからの指示が「ＯＫ」であった場合（Ｓ２４でＹＥＳ）、この画像入力処理は終了される。このとき、入力された画像は、さらに、上述したような文字認識などの処理が行なわれてもよいし、フラッシュメモリ７に画像のまま記憶されてもよい。

一方、ユーザからの指示が「ＲＥＴＲＹ」であった場合（Ｓ２４でＮＯ）、Ｓ２に戻り、上述の一連の処理が再度行なわれる。

ここで、上述のような本実施の形態の画像入力処理において、表示部２に表示される画面の遷移例を図８を用いて説明する。図８（ａ）〜（ｄ）は、本実施の形態における画面遷移例を示す図である。図８（ａ）はＳ２、図８（ｂ）はＳ８、図８（ｃ）はＳ１６、図８（ｄ）はＳ２２に対応する。

図８（ａ）では、ユーザが操作方法に迷うことがないように、表示部２の画面全体にメッセージが表示される。その後、原稿の接触が検知されると、図８（ｂ）に示されるように、表示部２の画面は白色で塗り潰される。図８（ｂ）の画面のとき、原稿が表示部２を覆っているため、実際にはユーザはこの画面を視認することはできない。

原稿の静止が検知され、原稿（名刺）の撮像が行なわれると、図８（ｃ）に示されるように、確認画面が表示される。このとき、表示部２の所定の領域Ｅ１に、撮像された画像が所定の縮尺率に縮小されて表示される。また、表示部２の他の所定の領域Ｅ２に、ユーザからの指示を受け付けるための２つのボタンが表示される。なお、この段階においても原稿が表示部２を覆っているため、実際にはユーザは画面を視認することはできない。そのため、上記したような原稿のボタンへの接触による誤判定を防止するために、表示されている２つのボタンは無効にされている。つまり、図７のＳ１８およびＳ２０において原稿の接触が解除されたかを検知している間は、ボタンは無効化される。

その後、原稿が取り除かれたと判断されると、図８（ｄ）に示されるように、図８（ｃ）にも示した２つのボタンは有効とされる。

このように、図８（ａ）でユーザが原稿を表示部２に置いてから、原稿の接触・静止状態を検出することで、自動的に高画質の画像を入力することができる。したがって、別途、画像取り込みのためのハードウェアボタンを設けたり、表示部２の画面上に取り込みボタンを表示する必要がない。そのため、本実施の形態によれば、操作方法についてユーザを迷わせたり煩わせることなく、簡単に高画質の画像の入力が行なわれる。また、画像入力装置１を小型化することもできる。

また、図８（ｄ）に示したように、原稿が表示部２から取り除かれたことが検知されてから、入力した画像についての指示が受け付けられる。それまでに（図８（ｃ）の段階で）ボタンが表示されている領域Ｅ２に物体（たとえば原稿）の接触があったとしても、制御部６は、その判定を行なわないため、誤動作が防止される。

次に、本実施の形態における接触検知処理、静止検知処理および接触解除処理について詳細に説明する。本実施の形態では、撮像部３で撮像される画像をもとにそれぞれの処理を行なう。しかしながら、このような処理に限定されるものではなく、たとえば、感圧式のタッチパネルを別途設け、タッチパネルで検出される圧力の大きさで原稿の接触や静止を検知してもよい。つまり、画像入力装置１は、表示部２に対する外部からの圧力を検知するための圧力センサ（図示せず）をさらに備えて、接触検知部６１、静止検知部６２および解除検知部６６は、圧力センサからの出力に基づいて、検知処理を行なってもよい。

図９は、本実施の形態における接触検知処理を示すフローチャートである。
図９を参照して、接触検知部６１は、撮像部３に対し、撮像指示を出力する（Ｓ４１）。撮像された画像は、ＲＡＭ５に確保した一時領域に出力される（Ｓ４２）。その後、接触検知部６１は、一時領域に出力された画像からエッジ情報を抽出する（Ｓ４３）。

具体的には、座標（ｘ，ｙ）における画素（輝度）値をｐ（ｘ，ｙ）、エッジ情報をｇ（ｘ，ｙ）とすると、数式１のように求めることができる。

ただし、ｆｘ、ｆｙはＳｏｂｅｌのオペレータであり、数式２のような係数をもつ。

本実施の形態ではエッジ情報を求めるのにＳｏｂｅｌのオペレータを用いたが、別のオペレータを用いてもよい。

次に、接触検知部６１は、数式３のように、各画素のエッジ情報をもとに評価値Ｓを算出する（Ｓ４４）。

数式３ではｇ（ｘ，ｙ）の総和を評価値Ｓとしている。しかしながら、ｇ（ｘ，ｙ）を所定の閾値で２値化したのち、総和をとったものを評価値Ｓとしてもよい。このようにすることで、ノイズの影響を軽減することもできる。

評価値Ｓが求まれば、評価値Ｓが所定の閾値Ｔ１以上か否かで原稿接触の有無が判定される（Ｓ４５）。評価値Ｓが閾値Ｔ１以上であれば（Ｓ４５でＹＥＳ）、接触検知部６１は、原稿接触の有無を示すためのフラグ（「接触フラグ」という）を１にセットする（Ｓ４７）。つまり、原稿の接触が検知されたと判定される。Ｓ４７の処理が終わると、メインルーチンに戻る。

評価値Ｓが閾値Ｔ１未満であれば（Ｓ４５でＮＯ）、接触検知部６１は、所定時間が経過したか否かを判断する（Ｓ４６）。所定時間が経過したと判断されるまで（Ｓ４６でＮＯ）、上記処理が繰り返される。本実施の形態では、一定の周期（たとえば３０Ｈｚ）で撮像指示（Ｓ４１）が行なわれるものとする。

Ｓ４６にて、所定時間が経過したと判断された場合（Ｓ４６でＹＥＳ）、接触検知部６１は、接触フラグを０にセットする（Ｓ４８）。つまり、原稿の接触が検知されなかったと判定される。Ｓ４８の処理が終わると、メインルーチンに戻る。

本実施の形態では上述のようにして原稿の接触の有無が検知されるため、図７のＳ６の処理は、具体的には接触フラグが０か１かを判断することにより行なわれる。つまり、接触フラグが１であれば、Ｓ８に進み、接触フラグが０であれば終了することになる。

なお、図７のＳ２で表示するメッセージ（図８（ａ））は、明度の変化が大きい画像にしておくことが好ましい。そのようにすることで、原稿を設置した際にメッセージが写り込むため、接触検出が行ないやすくなる効果がある。たとえば、メッセージが青地に白文字で表示された場合、白紙部分の多い名刺の接触を検出することは困難である。その解決策として、白文字に黒シャドウを付けてわざと撮像画像に写り込ませることで、白紙部分の多い名刺でも接触検出が行ないやすくなる。具体的には、前者の評価値Ｓが６程度であったとしても、後者のようにすることで評価値Ｓは１４０程度まで上がる。

また、本実施の形態では、メッセージを表示したままで接触検出を行なうため、Ｓ２のメッセージは、文字・記号等の静止画であることが前提とされる。したがって、原稿の静止が検知されてから、画面を均一な特定色に切替えてもよい。つまり、図７において、Ｓ１２とＳ１４との間にＳ８の処理が行なわれてもよい。

図１０は、本実施の形態における静止検知処理を示すフローチャートである。なお、図１０のＳ１０１〜Ｓ１０４の処理は、それぞれ、図９のＳ４１〜Ｓ４４の処理と同様である。したがって、ここではそれらの説明を繰り返さない。

図１０を参照して、Ｓ１０５において、静止検知部６２は、画像の時間差分Ｄを算出する。本実施の形態では、時間差分Ｄを用いて原稿の静止状態が判定される。時間差分Ｄは、数式４により求められる。

ただし、ｇ’は前フレームのエッジ情報である。なお、数式３同様、エッジ情報を所定の閾値で２値化したのち、時間差分Ｄを求めてもよい。または、エッジ情報ではなく、輝度値を用いての時間差分を求めてもよい。

次に、静止検知部６２は、評価値Ｓが、閾値Ｔ１以上か否かを判断する（Ｓ１０６）。評価値Ｓが、閾値Ｔ１以上であれば（Ｓ１０６でＹＥＳ）、さらに、時間差分Ｄが所定の閾値Ｔ２以下であるか否かを判断する（Ｓ１０７）。時間差分Ｄが閾値Ｔ２以下であれば（Ｓ１０７でＹＥＳ）、Ｓ１０８に進む。一方、評価値Ｓが閾値Ｔ１未満または時間差分Ｄが閾値Ｔ２を上回っていれば（Ｓ１０６でＮＯ，Ｓ１０７でＮＯ）、Ｓ１１３に進む。

Ｓ１０８において、静止検知部６２は、静止時間Ｔｃがカウントされているか否かを示すためのフラグ（以下「カウントフラグ」）が１にセットされているか否かを判断する。カウントフラグが１でなければ（Ｓ１０８でＮＯ）、カウントフラグが１にセットされ（Ｓ１０９）、Ｓ１１０に進む。カウントフラグが１であれば（Ｓ１０８でＹＥＳ）、Ｓ１０９の処理をスキップしてＳ１１０に進む。

Ｓ１１０において、静止検知部６２は、原稿の静止が検知されてからの時間Ｔｃをカウントする。次に、時間Ｔｃが、所定時間Ｔ３以上か否かが判断される（Ｓ１１１）。時間Ｔｃが所定時間Ｔ３以上であれば（Ｓ１１１でＹＥＳ）、静止検知部６２は、原稿の静止の有無を示すためのフラグ（「静止フラグ」という）を１にセットする（Ｓ１１６）。つまり、原稿が静止していると判定される。Ｓ１１６の処理が終わると、処理はメインルーチンに戻される。

Ｓ１１３において、静止検知部６２は、カウントフラグ、および、タイマのカウント値である時間Ｔｃを０にセットする。その後、この静止検知処理が開始されてから所定時間が経過したか否かを判断する（Ｓ１１４）。所定時間が経過したと判断されるまで（Ｓ１１４でＮＯ）、Ｓ１０１に戻り、静止検知処理が継続される。この静止検知処理においても、一定の周期（たとえば３０Ｈｚ）で撮像指示が行なわれてよい。

Ｓ１１４にて、所定時間が経過したと判断された場合（Ｓ１１４でＹＥＳ）、静止検知部６２は、静止フラグを０にセットする（Ｓ１１５）。つまり、原稿の静止が検知されなかったと判定される。Ｓ１１５の処理が終わると、メインルーチンに戻る。

本実施の形態では上述のようにして原稿の静止の有無が検知されるため、図７のＳ１２の処理は、具体的には静止フラグが０か１かを判断することにより行なわれる。つまり、静止フラグが１であれば、Ｓ１４に進み、静止フラグが０であれば終了することになる。

図１１は、本実施の形態における接触解除検知処理を示すフローチャートである。図１１のＳ１８１〜Ｓ１８５の処理は、それぞれ、図９のＳ４１〜Ｓ４５の処理と同様である。したがって、ここではそれらの説明を繰り返さない。

Ｓ１８５において、評価値Ｓが閾値Ｔ１以上であれば（Ｓ１８５でＹＥＳ）、解除検知部６６は、所定時間が経過したか否かを判断する（Ｓ１８６）。所定時間が経過したと判断されるまで（Ｓ１８６でＮＯ）、上記処理が繰り返される。

評価値Ｓが閾値Ｔ１未満であれば（Ｓ１８５でＮＯ）、解除検知部６６は、接触フラグを０にセットする（Ｓ１８７）。つまり、原稿の接触が解除されたと判定される。Ｓ１８７の処理が終わると、メインルーチンに戻る。

Ｓ１８６にて、所定時間が経過したと判断された場合（Ｓ１８６でＹＥＳ）、解除検知部６６は、接触フラグを１にセットする（Ｓ１８８）。つまり、原稿が接触されたままである（原稿が取り除かれなかった）と判定される。Ｓ１８８の処理が終わると、メインルーチンに戻る。

本実施の形態では上述のようにして原稿が表示部２から取り除かれたか否かが検知されるため、図７のＳ２０の処理は、具体的には接触フラグが０か１かを判断することにより行なわれる。つまり、接触フラグが０であれば、Ｓ２２に進み、接触フラグが１であれば終了することになる。

なお、上記した各処理における所定のタイムアウト時間は、同じ値であってもよいし、それぞれ別の値であってもよい。

図１２（ａ），（ｂ）は、それぞれ、原稿の接触・静止の検知に用いられる評価値Ｓおよび時間差分Ｄの変化の例を示す図である。

図１２（ａ）を参照して、評価値Ｓが閾値Ｔ１以上となったとき（ｔａ）、原稿の接触が検知される。その後、原稿の接触面積が増えるに従い評価値Ｓが増大し、完全に表示部２に設置されると（ｔｂ）、評価値Ｓは安定する。

図１２（ｂ）を参照して、原稿が表示部２に設置されても、ユーザが位置決めのために原稿を動かしている間は時間差分Ｄが大きいままだが、ユーザが原稿を静止させると時間差分Ｄは小さくなる。このため、時間差分Ｄが閾値Ｔ２以下になってから所定時間Ｔ３が経過した時点で（ｔｃ）、原稿の静止が検出される。所定時間Ｔ３は、５００ｍｓ〜１０００ｍｓ程度であることが好ましい。なお、閾値Ｔ１，Ｔ２については、撮像部３により撮像される画質に基づいて出荷時に定められてよい。

再び図１２（ａ）を参照して、原稿を取り除くとき（ｔｄ）、徐々に評価値Ｓは減少していく。評価値Ｓが、閾値Ｔ１を下回った時点で（ｔｅ）、原稿なしが検知される。

なお、ユーザが手で原稿を取り除く際に、均一に原稿を取り除くとは限らず、一部を持ち上げながら取り除くことが想定される。そのため、評価値Ｓが下がっても実際には周辺部分に原稿の画像がまだ写っているということがある。したがって、評価値Ｓが、閾値Ｔ１を下回ったことを検知してから一定時間（たとえば５００ｍｓ）経過した時点で原稿なしと判断されることとしてもよい。

以上のように、本実施の形態によれば、ユーザにメッセージを表示している状態で原稿の接触を待ち、接触を検知してから自動的に画面を均一な白色で塗り潰す。そのようにすることで、ユーザが操作に戸惑うことがなく、かつ、表示の写り込みがない画像を入力することができる。また、原稿が静止したことを自動的に検知してから画像を取り込むことで、ユーザが取り込み開始ボタンをおすことなく、ボケのない画像を入力することができる。さらに、原稿の接触が検知されている間はボタンを無効化しておくことで、表示部２への原稿の接触による誤動作を防止することができる。

なお、上述のように、本実施の形態では、原稿の接触が検知された場合に、表示されていたメッセージが均一な特定色の画像に切替えられた。しかしながら、このような手法に限定されるものではなく、たとえば、メッセージ表示後所定時間（たとえば３秒）経過した時点で、画面を均一な特定色に切替えてもよい。

なお、上記した数式１，３，４は、計算で使用するｂｉｔ数に合わせて、所定の係数を掛けた値とすることもできる。たとえば、数式１は、数式５のような式であってもよい。

また、このとき、このとき、g（ｘ,ｙ）は閾値４０程度で２値化して処理することができる。ここでの閾値は、撮像できる画像のボケ具合に依存して定められる。

さらに、数式３も、数式６に示すように、画像のサイズに影響せず、かつ、値が整数になるように、画素数で割って１０００を掛けて正規化してもよい。

上記の条件では、上述の閾値Ｔ１として７０程度を設定することができる。
また、数式４も、数式７に示すように、画素数で割り、１０００を掛けて正規化してもよい。

このとき、上述の閾値Ｔ２として５程度を設定することができる。
（第２の実施の形態）
次に、第２の実施の形態に係る画像入力装置について説明する。

第１の実施の形態においては、入力するための画像を撮像する際に表示部２に表示させる均一な特定色は、一色（たとえば白色）として説明した。したがって、原稿が静止したと判断された場合に、一度の撮像で画像を入力することができた。しかしながら、撮像部３が白黒（グレー）画像しか撮像できないデバイスである場合には、第１の実施の形態に示した制御方法ではカラー画像を入力することができない。実施の形態２では、そのような白黒画像しか撮像できないデバイスであってもカラー画像が入力できる画像入力装置について説明する。

なお、本実施の形態に係る画像入力装置も、第１の実施の形態に係る画像入力装置１と同様のハードウェア構成、外観を有し、これらの基本的な動作も同様である。したがって、ここでも図１〜３に示した画像入力装置１として説明する。

以下に、第１の実施の形態と異なる部分について説明する。
本実施の形態では、カラー画像を入力するために、均一な特定色は、均一な３つの色を含む。具体的には、特定色は、赤、緑、青の３色を含む。なお、３色は、これらの色に限定されず、たとえば、シアン、マゼンダ、黄色の３色であってもよい。

図１３は、本実施の形態に係る画像入力装置１の機能ブロック図である。図６に示した機能ブロック図と比較すると、制御部６の機能が異なるため、本実施の形態では制御部６Ａと記す。

制御部６Ａは、接触検知部６１、静止検知部６２、表示制御部６３Ａ、撮像指示部６４、画像入力部６５および解除検知部６６の他、画像合成部６８をさらに含む。なお、表示制御部６３およびそれに含まれる画面切替部６３１も、第１の実施の形態と区別するために、ここでは、表示制御部６３Ａ，画面切替部６３１Ａと記す。

上記ブロックの各動作については、以下のフローチャートに基づいて説明する。
図１４は、本実施の形態に係る画像入力装置１における画像入力の処理手順を示すフローチャートである。図１４のフローチャートに示す処理は、予めプログラムとしてＲＯＭ４に格納されており、制御部６がこのプログラムを読み出して実行することにより、画像入力処理の機能が実現される。なお、図７のフローチャートに示した処理と同じ処理については同じステップ番号を付してある。したがって、それらについてのここでの説明は繰り返さない。

図１４を参照して、第２の実施の形態では、図７に示した第１の実施の形態における画像入力処理のＳ８（画面を白に切替え）とＳ１４（画像を撮像・入力）の処理が異なる。これらの処理に代えて、Ｓ１２（原稿静止の有無判断）とＳ１６（確認画面表示）との間に、Ｓ２０１〜２０７の処理が実行される。

Ｓ２０１において、表示制御部６３Ａの画面切替部６３１Ａは、表示部２に表示しているメッセージを均一な赤色画像に切替える。このようにして、表示部２に表示されていた画像（メッセージ）が赤一色に塗り潰される。その後、撮像指示部６４は、撮像部３に対し、撮像指示を出力する。これにより、表示部２に載せられた原稿の表示部２に接する面の赤成分の画像が撮像される（Ｓ２０２）。撮像された画像は、画像入力部６５によってＲＡＭ５の所定領域に一時的に記録される。

次に、画面切替部６３１Ａは、表示部２に表示している赤色画像を均一な緑色画像に切替える（Ｓ２０３）。このようにして、表示部２に表示されていた画像（赤色画像）が緑一色に塗り潰される。その後、撮像指示部６４は、撮像部３に対し、撮像指示を出力する。これにより、表示部２に載せられた原稿の表示部２に接する面の緑成分の画像が撮像される（Ｓ２０４）。撮像された画像は、画像入力部６５によってＲＡＭ５の所定領域に一時的に記録される。

続いて、画面切替部６３１Ａは、表示部２に表示している緑色画像を均一な青色画像に切替える（Ｓ２０５）。このようにして、表示部２に表示されていた画像（緑色画像）が青一色に塗り潰される。その後、撮像指示部６４は、撮像部３に対し、撮像指示を出力する。これにより、表示部２に載せられた原稿の表示部２に接する面の青成分の画像が撮像される（Ｓ２０６）。撮像された画像は、画像入力部６５によってＲＡＭ５の所定領域に一時的に記録される。

その後、画像合成部６８は、撮像された（入力された）赤、緑および青成分の画像を合成する（Ｓ２０７）。このようにして、カラー画像が得られる。

以上のように、本実施の形態によれば、表示部２に表示する画像を赤、緑、青に切り替え、それぞれの画像を入力し、合成することで、３つのサブピクセルに光センサ３０を配置せずとも、１つのサブピクセルに光センサ３０を配置するだけでカラー画像を入力できるようになる。

なお、図１４のフローチャートでは、原稿の接触が検知された時点では画面を均一な特定色に切替えることなく引き続き原稿静止検知処理を行なうこととした。しかしながら、実施の形態１と同様に、原稿の接触が検知された時点で画面を赤一色に切替えて、その状態で原稿静止検知処理を行なってもよい。その場合、Ｓ６とＳ１０との間に、Ｓ２０１の処理が挿入される。

また、本実施の形態では、赤、緑、青の順に画面を切替えることとしたが、このような順序に限定されるものではない。

（変形例）
なお、表示撮像装置２０の構成は、図３，図４に示したような構成に限定されない。たとえば、論文「画像入力機能付き２．６インチＶＧＡ液晶パネル」（著者：加藤 浩巳，クリス ブラウン，Ｂｅｎ Ｈａｄｗｅｎ、シャープ技報第９６号 ２００７年１１月）に記載された構成であってもよい。または、以下のような構成であってもよい。

図１６は、表示撮像装置２０のハードウェア構成の一例を示す図である。
図１６を参照して、表示撮像装置２０は、より詳細には、たとえば、ドライバ１３０と、光センサ内蔵液晶パネル（以下、「液晶パネル」という）１４０と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。

ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。

液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。

内部ＩＦ（Interface）１７８は、表示撮像装置２０以外の各部との間で、データの遣り取りを仲介する。

バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。

画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して制御部６から送られてくる各種データに基づいて行われる。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して制御部６に送る。さらに、画像処理エンジン１８０は、たとえば、ドライバ制御装置１８１と、タイマ１８２と、信号処理装置１８３とを含む。

ドライバ制御装置１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。タイマ１８２は、時刻情報を生成し、信号処理装置１８３に対して時刻情報を送る。信号処理装置１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理装置１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理装置１８３は、当該デジタルデータに対して、制御部６から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理装置１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータを制御部６に送る。また、信号処理装置１８３は、スキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えていてもよい。

本例では、表示撮像装置２０は、システム液晶を用いて構成される。なお、システム液晶とは、液晶パネル１４０の周辺機器を液晶パネルのガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示撮像装置２０が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。

図１７は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。

図１７を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。

また、ドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。

走査信号線駆動回路１３１は、ドライバ制御装置１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に所定の電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。

データ信号線駆動回路１３２は、ドライバ制御装置１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。

なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、これに限定されるものではない。

画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図１６の縦方向にｍ個、横方向にｎ個配されている。

画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。

なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示撮像装置２０では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si
TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。

Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、画素回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。

ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は所定の輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。

光センサ駆動回路１３３は、ドライバ制御装置１８１から制御信号ＴＣ２を受ける。
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、所定のタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。

また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、所定のタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。

なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。

光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。

フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。

ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。

スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、所定の電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。

アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。増幅された電圧は、信号処理装置１８３に送られる。

なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。

図１８は、液晶パネル１４０とバックライト１７９との断面図である。図１８を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。

アクティブマトリクス基板１５１Ａは、透明な平板である偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図１８には示していないが、アクティブマトリクス基板１５１Ａは、図１７に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。

また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。

対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。

また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。

カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。

液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり、あるいは当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、本例では、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

Claims (17)

1. 画像の表示および撮像を行なうための表示撮像部を備え、
   前記表示撮像部は、
   透明な平板と、
   前記平板上に画像を表示するための表示部と、
   前記平板に載せられた原稿が前記平板に接する接触面の、前記表示部が画像を表示する範囲を撮像するための撮像部とを含み、
   ユーザより画像入力の指示があった場合に、前記平板に前記原稿を載せるようメッセージを前記表示部に表示するための表示制御部と、
   前記表示部に前記メッセージが表示された状態で、前記平板への前記原稿の接触を検知するための接触検知部とをさらに備え、
   前記表示制御部は、前記接触検知部により前記原稿の接触が検知された場合に、前記メッセージを均一な特定色の画像を切り替えて前記表示部に表示し、
   前記撮像部は、前記表示制御部により前記特定色の画像が前記表示部に表示されている場合に、前記接触面の画像を撮像する、画像入力装置。
2. 前記表示制御部により前記特定色の画像が前記表示部に表示されている場合に、前記撮像部に前記接触面の画像の撮像指示を出力するための撮像指示部と、
   前記撮像指示に応じて前記撮像部により撮像された画像を入力するための画像入力部とをさらに備える、請求項１に記載の画像入力装置。
3. 前記接触検知部により前記原稿の接触が検知された場合に、前記原稿の静止を検知するための静止検知部をさらに備え、
   前記撮像指示部は、前記特定色の画像が前記表示部に表示されている場合であって、かつ、前記静止検知部により前記原稿の静止が検知された場合に、前記接触面の画像の撮像を指示する、請求項２に記載の画像入力装置。
4. 前記接触検知部により前記原稿の接触が検知された場合に、前記原稿の静止を検知するための静止検知部をさらに備え、
   前記表示制御部は、前記静止検知部により前記原稿の静止が検知された場合に、前記メッセージを前記特定色の画像に切替える、請求項１に記載の画像入力装置。
5. 前記特定色は、白色である、請求項１に記載の画像入力装置。
6. 前記特定色は、第１、第２および第３の色を含み、
   前記表示制御部は、前記接触検知部により前記原稿の接触が検知された場合に、前記表示部に表示する画像を、前記第１、第２、第３の色の画像に切替える、請求項１に記載の画像入力装置。
7. 前記第１、第２、第３それぞれの色の画像に切替えられる毎に、前記接触面の画像の撮像指示を出力するための撮像指示部と、
   前記撮像指示に応じて前記撮像部により撮像された前記第１、第２および第３それぞれの色成分の画像を入力するための画像入力部と、
   前記画像入力部により入力された前記第１、第２および第３それぞれの色成分の画像を合成するための合成部とをさらに備える、請求項６に記載の画像入力装置。
8. 前記第１、第２および第３の色は、それぞれ、赤、緑、青のいずれかである、請求項６に記載の画像入力装置。
9. 前記接触検知部は、一定周期で前記撮像部に前記接触面の画像の撮像を指示し、撮像された画像のエッジ特徴に基づいて、前記原稿の接触を検知する、請求項１に記載の画像入力装置。
10. 前記接触検知部は、前記表示部に対する外部からの圧力を検知するための圧力センサからの出力に基づいて、前記原稿の接触を検知する、請求項１に記載の画像入力装置。
11. 前記平板に接触した前記原稿の静止を検知するための静止検知部と、
    前記静止検知部により前記原稿の静止が検知された場合に、前記撮像部に前記接触面の画像の撮像指示を出力するための撮像指示部と、
    前記撮像指示に応じて前記撮像部により撮像された画像を入力するための画像入力部とをさらに備える、請求項１に記載の画像入力装置。
12. 前記静止検知部は、一定周期で前記撮像部に前記接触面の画像の撮像を指示し、撮像された画像のエッジ特徴および時間差分に基づいて、前記原稿の静止を検知する、請求項１１に記載の画像入力装置。
13. 画像の表示および撮像を行なうための表示撮像部を備え、
    前記表示撮像部は、
    透明な平板と、
    前記平板上に画像を表示するための表示部と
    前記平板に載せられた原稿が前記平板に接する接触面の、前記表示部が画像を表示する範囲を撮像するための撮像部とを含み、
    前記平板への前記原稿の接触を検知するための接触検知部と、
    前記接触検知部により前記原稿の接触が検知された場合に、均一な特定色の画像を表示する制御を行なう表示制御部とをさらに備え、
    前記撮像部は、前記表示制御部により前記特定色の画像が前記表示部に表示されている場合に、前記接触面の画像を撮像し、
    前記撮像部により撮像された前記接触面の画像を入力するための画像入力部と、
    前記画像入力部により画像が入力された場合に、前記原稿の前記平板への接触の解除を検知するための解除検知部とをさらに備え、
    前記表示制御部は、前記画像入力部により画像が入力された場合に、前記表示部に、ユーザからの指示を受け付けるためのボタン領域を表示し、
    前記ボタン領域への物体の接触／非接触を判定する判定部をさらに備え、
    前記解除検知部による検知処理が行なわれている間は、前記判定部による判定は無効化される、画像入力装置。
14. 前記解除検知部は、一定周期で前記撮像部に前記接触面の画像の撮像を指示し、撮像された画像のエッジ特徴に基づいて、前記原稿の接触の解除を検知する、請求項１３に記載の画像入力装置。
15. 前記解除検知部は、前記表示部に対する外部からの圧力を検知するための圧力センサからの出力に基づいて、前記原稿の接触の解除を検知する、請求項１３に記載の画像入力装置。
16. 画像の表示および撮像を行なうための表示撮像手段を有する画像入力装置の制御方法であって、
    前記表示撮像手段は、
    透明な平板と、
    前記平板上に画像を表示するための表示手段と、
    前記平板に載せられた原稿が前記平板に接する接触面の、前記表示手段が画像を表示する範囲を撮像するための撮像手段とを含み、
    ユーザより画像入力の指示があった場合に、前記平板に前記原稿を載せるようメッセージを前記表示手段に表示するステップと、
    前記表示手段に前記メッセージが表示された状態で、前記平板への前記原稿の接触を検知するステップと、
    前記原稿の接触が検知された場合に、前記メッセージを均一な特定色の画像を切り替えて前記表示手段に表示するステップと、
    前記特定色の画像が前記表示手段に表示されている場合に、前記撮像手段により前記接触面の画像を撮像するステップとを備える、画像入力装置の制御方法。
17. 画像の表示および撮像を行なうための表示撮像手段を有する画像入力装置の制御方法であって、
    前記表示撮像手段は、
    透明な平板と、
    前記平板上に画像を表示するための表示手段と、
    前記平板に載せられた原稿が前記平板に接する接触面の、前記表示手段が画像を表示する範囲を撮像するための撮像手段とを含み、
    前記平板への前記原稿の接触を検知するステップと、
    前記原稿の接触が検知された場合に、前記均一な特定色の画像を前記表示手段に表示するステップと、
    前記特定色の画像が前記表示手段に表示されている場合に、前記撮像手段により前記接触面の画像を撮像するステップと、
    前記撮像するステップにより撮像された前記接触面の画像を入力するステップと、
    前記画像が入力された場合に、前記原稿の前記平板への接触の解除を検知するステップと、
    前記画像が入力された場合に、ユーザからの指示を受け付けるためのボタン領域を表示するステップと、
    前記ボタン領域への物体の接触／非接触を判定するステップとを備え、
    前記原稿の前記平板への接触の解除を検知するまでは、前記判定するステップによる判定は無効化される、画像入力装置の制御方法。

Images