JP4033198B2 - 画像処理装置、画像投影装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像投影装置、画像処理方法及びプログラムに関し、特に画像の撮影から投影までに要する時間を短縮することができる画像処理装置、画像投影装置、画像処理方法及びプログラムに関する。

原稿台に載置された原稿をデジタルカメラで撮影し、撮影により得られたデジタル画像データに所定の画像処理等を施した後、アナログ変換して出力することにより、スクリーン上に原稿の拡大画像を投影する撮影画像投影装置が知られている（例えば、特許文献１参照）。
特開２００２−３５４３３１号公報（第２−３頁、図１）。

しかしながら、従来の撮影画像投影装置は、静止画像と動画像とを同一の解像度で撮影していた。このため、解像度を低くすればスクリーン上に投影される画像、特に静止画像の画質が落ちてしまい、逆に解像度を高くすれば、画像、特に動画像を撮影するために要するＣＰＵ等の処理負担が増大してしまうといった問題があった。

かかる問題を解決するため、発明者は、動画像を低解像度で撮影し、静止画像を高解像度で撮影する撮影画像投影装置を考案した。これにより、静止画像の画質を落とすことなく、撮影に要するＣＰＵ等の処理負担が低減された。

しかしながら、考案した撮影画像投影装置は、高解像度撮影の開始後に、アフィンパラメータ等の画像補正用パラメータを抽出して、撮影対象である静止画像に対して所定の補正処理を施していたため、静止画像を撮影してから投影するまでの時間が長くなってしまうといった問題があった。

本発明は、上記問題を解決するためになされたものであり、画像の撮影から投影までに要する時間を短縮することができる画像処理装置、画像投影装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る画像処理装置は、カメラにより所定の解像度で撮影された画像に動きがあるか否かを判別する動き判別手段と、前記動き判別手段により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記カメラに設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該カメラに設定する解像度設定手段と、前記カメラにより第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出手段と、前記カメラにより第２の解像度で撮影された画像を前記補正用パラメータ抽出手段により抽出されたパラメータを用いて補正する画像補正手段と、を備える。

また、上記画像処理装置において、前記補正用パラメータ抽出手段は、前記カメラにより第１の解像度で撮影された画像から、該画像の輪郭を形成する多角形を検出する多角形検出手段と、前記多角形検出手段によって検出された多角形の頂点の座標からアフィンパラメータを取得するアフィンパラメータ取得手段と、を含み、前記画像補正手段は、前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて前記カメラにより第２の解像度で撮影された画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正する傾き補正手段を含む。

さらに、上記画像処理装置において、前記アフィンパラメータ取得手段により取得されたアフィンパラメータの各要素を所定倍することにより、該アフィンパラメータのスケールを前記第１の解像度で撮影された画像のスケールから前記第２の解像度で撮影された画像のスケールに変更するスケール変更手段をさらに備えてもよい。

また、上記画像処理装置において、前記補正用パラメータ抽出手段は、前記カメラにより第１の解像度で撮影された画像に含まれる画素の数を輝度毎に計数して該画像の輝度の分布を示す輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、前記カメラにより第１の解像度で撮影された画像に含まれる画素の数を色差毎に計数し、該画像の色差の分布を示す色差ヒストグラムを生成する色差ヒストグラム生成手段と、前記輝度ヒストグラム生成手段により生成された輝度ヒストグラムから輝度の最大値、最小値及びピーク値とを求めると共に前記色差ヒストグラム生成手段により生成された色差ヒストグラムから色差のピーク値及び平均値を求め、該輝度の最大値、最小値及びピーク値と該色差のピーク値及び平均値とからなる画像効果補正用パラメータを取得する画像効果補正用パラメータ取得手段と、を含み、前記画像補正手段は、前記画像効果補正用パラメータ取得手段により取得された画像効果補正用パラメータを用いて前記カメラにより第２の解像度で撮影された画像に含まれる各画素の輝度及び色差を調整することにより、該画像の輝度及び色差を補正する輝度色差補正手段を含んでもよい。

さらに、上記画像処理装置において、前記動き判別手段により画像に動きがあると判別された場合、前記補正用パラメータ抽出手段に前記画像から前記パラメータを抽出することを要求する補正用パラメータ抽出要求手段をさらに備えてもよい。

また、上記画像処理装置において、前記補正用パラメータ抽出手段は、前記画像補正手段に前記画像から前記パラメータを抽出したことを通知する補正用パラメータ抽出通知手段を含んでもよい。

さらに、上記画像処理装置において、前記補正用パラメータ抽出手段は、前記動き判別手段による動きの判別処理と前記解像度設定手段による解像度の設定処理と前記画像補正手段による画像の補正処理とが実行されるタスクとは別のタスクにて、前記パラメータの抽出処理を実行してもよい。

また、上記画像処理装置において、前記動き判別手段は、前記カメラにより撮影された画像の変化量を算出する画像変化量算出手段を含み、前記画像変化量算出手段により算出された画像の変化量が所定の閾値以上である場合、該画像に動きがあると判別し、該画像の変化量が所定の閾値未満である場合、該画像に動きがないと判別してもよい。

さらに、上記画像処理装置において、前記画像変化量算出手段は、前回撮影された画像と今回撮影された画像との各画素値の差分の絶対値の総和を前記画像の変化量として算出してもよい。

上記目的を達成するため、本発明の第２の観点に係る画像投影装置は、所定の解像度で画像を撮影する撮影手段と、前記撮影手段により撮影された画像に動きがあるか否かを判別する動き判別手段と、前記動き判別手段により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記撮影手段に設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該撮影手段に設定する解像度設定手段と、前記撮影手段により第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出手段と、前記撮影手段により第２の解像度で撮影された画像を前記補正用パラメータ抽出手段により抽出されたパラメータを用いて補正する画像補正手段と、前記画像補正手段により補正された画像をスクリーン上に投影する投影手段と、を備える。

上記目的を達成するため、本発明の第３の観点に係る画像処理方法は、カメラにより所定の解像度で撮影された画像に動きがあるか否かを判別する動き判別工程と、前記動き判別工程により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記カメラに設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該カメラに設定する解像度設定工程と、前記カメラにより第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出工程と、前記カメラにより第２の解像度で撮影された画像を前記補正用パラメータ抽出工程により抽出されたパラメータを用いて補正する画像補正工程と、を備える。

上記目的を達成するため、本発明の第４の観点に係るプログラムは、コンピュータに、カメラにより所定の解像度で撮影された画像に動きがあるか否かを判別する動き判別手順と、前記動き判別手順により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記カメラに設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該カメラに設定する解像度設定手順と、前記カメラにより第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出手順と、前記カメラにより第２の解像度で撮影された画像を前記補正用パラメータ抽出手順により抽出されたパラメータを用いて補正する画像補正手順と、を実行させる。

本発明により、画像の撮影から投影までに要する時間を短縮することができる画像処理装置、画像投影装置、画像処理方法及びプログラムを提供することができる。

本発明の実施形態に係る撮影画像投影装置を以下図面を参照して説明する。
［実施形態１］

図１は、本発明の実施形態１に係る撮影画像投影装置の構成を示す図である。撮影画像投影装置は、図１に示すように、書画カメラ１と、プロジェクタ２と、から構成されている。書画カメラ１は、投影対象の原稿４を撮影するためのカメラシステムである。書画カメラ１は、カメラ部１１と、支柱１２と、台座１３と、操作台１４と、を備える。カメラ部１１は、原稿４を撮影するためのものであり、デジタルカメラによって構成されている。支柱１２は、カメラ部１１を取り付けるためのものである。台座１３は、この支柱１２を支えるためのものである。

図２は、図１に示された書画カメラ１の構成を示すブロック図である。書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、から構成されている。この画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に設けられてもよい。また、画像データ生成部２１とデータ処理部２２とは、それぞれカメラ部１１と操作台１４とに設けられてもよい。

画像データ生成部２１は、原稿４を撮影して原稿４の画像データを取り込む。画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成されている。光学レンズ装置１０１は、原稿４を撮影するために、光を集光するレンズ等によって構成されている。イメージセンサ１０２は、光学レンズ装置１０１が光を集光することにより結像した画像を、デジタル化した画像データとして取り込む。イメージセンサ１０２は、ＣＣＤ（Charge
Coupled Device）等によって構成されている。

データ処理部２２は、画像データ生成部２１から取り込んだ原稿４の画像データを取得して画像処理を行い、画像処理を施した画像データをプロジェクタ２に出力する。データ処理部２２は、メモリ２０１と、表示装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ（Central
Processing Unit）２０６と、から構成されている。

メモリ２０１は、イメージセンサ１０２からの画像、表示装置２０２に送り出すための画像データ等を一時記憶する。表示装置２０２は、プロジェクタ２に送り出す画像を表示する。

画像処理装置２０３は、メモリ２０１に一時記憶された画像データに対して、画像の歪み補正や画像効果などの画像処理を行う。画像処理装置２０３は、例えば図３（ａ）に示すようにカメラ部１１の撮影面に対して斜めの状態、あるいは回転した状態で撮影した原稿４の画像から、歪み補正（台形補正）を行うことによって、図３（ｂ）に示すような正面から撮影した原稿４の画像を生成する。画像処理装置２０３は、歪み補正を行うため、歪んだ原稿４の画像から四角形を切り取り、切り取った四角形に原稿４の画像を射影変換して逆変換する。

さらに具体的には、画像処理装置２０３は、ＣＰＵ２０６に制御されて、（１）原稿４の画像からのアフィンパラメータ抽出処理、（２）抽出したアフィンパラメータによる画像変換処理、（３）輝度あるいは色差等に関する画像効果補正用パラメータ抽出処理及び画像効果処理及び（４）画像変換調整処理を行う。なお、これらの処理内容については、後述する。

操作部２０４は、書画投影の機能を制御するためのスイッチ、キーを備える。操作部２０４は、ユーザが、これらのキー、スイッチを操作したときの操作情報をＣＰＵ２０６に出力する。

図４は、図２に示す操作部２０４のキー構成を示す図である。操作部２０４は、図４に示すように、画像調整キーとして、上拡大キー２１１と、下拡大キー２１２と、左拡大キー２１３と、右拡大キー２１４と、右回転キー２１５と、左回転キー２１６と、拡大キー２１７と、縮小キー２１８と、撮影／解除キー２１９と、を備える。

上拡大キー２１１と下拡大キー２１２と左拡大キー２１３と右拡大キー２１４とは、射影変換を行うときに操作する射影変換キーである。

上拡大キー２１１は、画像の中心を通る横線を軸にして、横線よりも上の画面上部と横線よりも下の画面下部とを比較し、画面上部を、見ている側に回転させるときに操作するキーである。下拡大キー２１２は、画面下部を、見ている側に回転させるときに操作するキーである。

左拡大キー２１３と右拡大キー２１４とは、画像の中心を通る縦線を軸にして、画像を回転させることによって画像左右のひずみを調整するキーである。左拡大キー２１３は、左の画像が小さいときに操作するキーである。右拡大キー２１４は、右が小さいときに操作するキーである。

右回転キー２１５と左回転キー２１６とは、それぞれ画像の回転を調整するための回転補正キーである。右回転キー２１５は、画像の右回転を行なうときに操作するキーである。左回転キー２１６は、画像の左回転を行なうときに操作するキーである。

拡大キー２１７と縮小キー２１８とは、それぞれ画像の拡大や縮小などの画像変換を行うときに操作するキーである。

なお、１回の押下で拡大又は縮小する率を示すＲａｔｉｏに２が設定されていると、ユーザが拡大キー２１７を一度押すことにより、画像処理装置２０３は、画像を２倍に拡大する。さらに、もう一度拡大キー２１７を押すことにより、画像処理装置２０３は、画像をさらに２倍に拡大し、結果として元の画像は４倍画像に拡大される。拡大した画像を、１／２に戻す場合、縮小キー２１８を押す。操作部２０４とＣＰＵ２０６とは応答し、画像処理装置２０３は、拡大した画像を縮小する。

また、上拡大キー２１１と下拡大キー２１２と左拡大キー２１３と右拡大キー２１４とは、拡大キー２１７が操作されたときのカーソルキーとしても機能する。即ち、上拡大キー２１１は、拡大キー２１７が操作されたときに、表示装置２０２に表示されている原稿４の画像を上に移動させるための上移動キーとなる。下拡大キー２１２は、拡大キー２１７が操作されたときに、原稿４の画像を下に移動させるための下移動キーとなる。左拡大キー２１３は、拡大キー２１７が操作されたときに、原稿４の画像を左に移動させるための左移動キーとなる。右拡大キー２１４は、拡大キー２１７が操作されたときに、原稿４の画像を右に移動させるための右移動キーとなる。

さらに、拡大キー２１７と縮小キー２１８とは、同時に押下されることによって、用紙設定モードに入るためのキーとして機能する。この用紙設定モードにおいて、右回転キー２１５と左回転キー２１６とは、それぞれ所望の用紙サイズを選択するためのカーソルキーとなる。なお、この用紙設定モードについての説明は、後述する。

撮影／解除キー２１９は、原稿４を撮影するときに操作するキーである。また、後述する用紙設定モードにおいて、選択した用紙サイズを決定するための決定キーとなる。

図２に示すプログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ（Read Only Memory）等によって構成される。ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御する。なお、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。

また、ＣＰＵ２０６は、後述するフローチャートに従って、撮影対象物である原稿４の画像に動きがあるか否かを判定し、判定結果に従って、撮影モードを切り替える。

撮影モードは、動画モードと静止画モードとの２つとする。動画モードは、ユーザが台座１３に投影したい原稿４等を載置しようとする場合に設定されるモードであって、カメラ部１１で映し出している画像をそのままプロジェクタ２に投影するモードである。

動画モードでは、ＣＰＵ２０６は、例えば、画像解像度がＶＧＡ（Video Graphics Array：６００×４８０ドット）程度の画像を３０fps（フレーム/秒）の速さで動画投影を行なうように、各部を制御するものとする。このように、動画モードは、解像度は低いものの、リアルタイム性を重視したモードである。

静止画モードは、ユーザが原稿４を置いた後に設定されるモードである。静止画モードでは、カメラ部１１により高解像度の画像が撮影され、高解像度の静止画像が投影される。カメラ部１１が撮影解像度３００万画素のカメラである場合、切り出した投影画像はＸＧＡ（Extended
Graphics Array：１０２４×７６８ドット）の静止画像になる。

ＣＰＵ２０６は、撮影モードの切り替えを行うため、原稿４の画像に動きがあるか否かを判定する。ＣＰＵ２０６は、このような判定を行うため、前回撮影した画像との画像変化量ＭＤを求める。画像変化量ＭＤは撮影している画像が前回の画像と比較してどれぐらい変化したかを表す量である。この量を計算する方法はいくつか考えられる。一例として、ＣＰＵ２０６は、前回撮影した画像のデータから、各画素の差分の絶対値の総和を画像変化量ＭＤとして求める。

即ち、前回の画素データをＰn-1(x,y）、今回の画素データをＰn(x,y）（１≦ｘ≦６４０，１≦ｙ≦４８０）とすると、画像変化量ＭＤは、次の数１によって表される。

但し、全画素の総和を求めるには、計算量が多いので、画像変化量ＭＤを求める方法としては、いくつかの画素を抜き出して実現する方法もある。

また、この画像変化量ＭＤと比較して動きの有無を判定するための閾値として、閾値Thresh1と閾値Thresh2とが予め設定される。閾値Thresh1は、動きがないか否かを判定するための閾値である。ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh1未満であれば、動きがないと判定する。

閾値Thresh2は、静止画モードにおいて、例えば、影が動いた場合、ペン等を置いた場合のように、動きはあっても、その動きが動画モードに切り替える必要のない程度の僅かな動きであるか否かを判定するための閾値である。

ＣＰＵ２０６は、画像変化量ＭＤが閾値Thresh2未満であれば、動画モードに切り替える必要のない程度の僅かな動きであると判定する。なお、閾値Thresh2は、閾値Thresh1よりも高く設定される（Thresh1＜Thresh2）。メモリ２０１は、この閾値Thresh1と閾値Thresh2とを予め記憶する。

また、ＣＰＵ２０６は、動画モードから静止画モードに切り替える場合、画像に動きがないと判定し、所定の時間が経過してから、撮影モードを静止画モードに切り替える。このため、ＣＰＵ２０６は、画像に動きがないと判定してから、静止時間Ptimeを計測する。メモリ２０１は、この静止時間Ptimeと比較するために予め設定された所定時間HoldTimeを記憶する。

図１に示すプロジェクタ２は、スクリーン３に投影光を照射して原稿４の画像を結像させる。書画カメラ１とプロジェクタ２とは、ＲＧＢ等のケーブル１５を介して接続される。書画カメラ１は、カメラ部１１が撮影した原稿４の画像データを、ケーブル１５を介してプロジェクタ２に出力する。

次に、実施形態１に係る撮影画像投影装置の動作を説明する。ユーザが撮影画像投影装置の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出して基本投影処理を実行する。

この基本投影処理の内容を図５，図６及び図７に示すフローチャートに従って説明する。まず、ＣＰＵ２０６は、書画カメラ１のカメラ部１１の焦点、露出、ホワイトバランスなどのカメラ設定パラメータの初期化を行う（ステップＳ１）。

ＣＰＵ２０６は、撮影モードを動画モードに初期化すると共に静止時間Ptimeを初期化する（ステップＳ２）。ＣＰＵ２０６は、撮影モードを動画モードに初期化するため、メモリ２０１上の指定した領域に動画モード（Motion）をセットする。また、ＣＰＵ２０６は、静止時間Ptimeを初期化するため、静止時間Ptimeのリセットを行う。さらに、ＣＰＵ２０６は、カメラ部１１のイメージセンサ１０２から読み出された画像データを、ＶＧＡによる画像データになるように設定する。

これにより、カメラ部１１が捉えているシーンが、光学レンズ装置１０１を経由してイメージセンサ１０２に集光される。イメージセンサ１０２は集光された画像から動画撮影用の解像度の低いデジタル画像を作成する。そして、イメージセンサ１０２は、作成したデジタル画像を定期的に、例えば、秒３０枚で、メモリ２０１に送り出す。

次に、ＣＰＵ２０６は、イメージセンサ１０２から低解像度の画像データをメモリ２０１に転送するように、イメージセンサ１０２とメモリ２０１とを制御する（ステップＳ３）。なお、ここでは、イメージセンサ１０２の画像データがメモリ２０１に転送されるだけで、表示装置２０２は、画像を表示しない。表示装置２０２が画像を表示しないのは、表示装置２０２の表示を行なう画像データがメモリ２０１上の異なるアドレスで示される領域に記憶されているからである。

次に、ＣＰＵ２０６は、前回撮影した画像との画像変化量ＭＤを、数１に従って求める（ステップＳ４）。ＣＰＵ２０６は、撮影モードが動画モードか静止画モードかを判定する（ステップＳ５）。初期状態では撮影モードに動画モードが設定されている。ＣＰＵ２０６は、このため、初期状態では、動画モードと判定し、撮影した動画を投影するために、メモリ２０１内にある動画の画像データをメモリ２０１の所定領域にコピーする（ステップＳ６）。これにより、表示装置２０２は、撮影された画像データをメモリ２０１から読み出し、ＲＧＢ信号をプロジェクタ２に出力する。プロジェクタ２は、この信号に基づいて、画像を投影する。

ＣＰＵ２０６は、予め設定された前述の閾値Thresh1とステップＳ４にて求めた画像変化量ＭＤとを比較し、比較結果に基づいて画像に動きがあるか否かを判定する（ステップＳ７）。

このとき、ユーザが、まだ、用紙を置くなどの動作を続けている場合、画像変化量ＭＤは閾値Thresh1以上になる。この場合、ＣＰＵ２０６は、画像に動きがあると判定し（ステップＳ７；Ｙｅｓ）、静止時間Ptimeをリセットして（ステップＳ２１）、ステップＳ３に戻る。これにより、ユーザが動作を行なっている間、撮影画像投影装置は、動画モードの状態を維持し続け、低解像度の動画像がスクリーン３に投影される。

その後、ユーザが用紙のセットを終えて画像に動きがなくなると、画像変化量ＭＤは閾値未満になる。この場合、ＣＰＵ２０６は、画像に動きがないと判定する（ステップＳ７；Ｎｏ）。続いて、ＣＰＵ２０６は、静止時間Ptimeが０であるか否かを判別する（ステップＳ８）。静止時間Ptimeが０であると判別した場合には（ステップＳ８；Ｙｅｓ）、ＣＰＵ２０６は、事前画像処理要求をセットする（ステップＳ９）。事前画像処理要求信号がセットされると、基本投影処理が実行されているタスクとは別のタスクにて事前画像処理が開始される。一方、静止時間Ptimeが０でないと判別した場合には（ステップＳ８；Ｎｏ）、ステップＳ９の処理はスキップされ、事前画像処理は開始されない。

次に、ＣＰＵ２０６は、静止時間Ptimeを１加算し（ステップＳ１０）、静止時間Ptimeが所定時間HoldTimeに達したか否かを判定する（ステップＳ１１）。静止時間Ptimeが所定時間HoldTimeに達していないと判定した場合（ステップＳ１１；Ｎｏ）には、ステップＳ３に戻る。即ち、ＣＰＵ２０６は、画像に動きがなくなったとき、事前画像処理要求信号を一度だけセットする。

一方、静止時間Ptimeが所定時間HoldTimeに達したと判定した場合（ステップＳ１１；Ｙｅｓ）、ＣＰＵ２０６は、ユーザが画像を静止させたと判定し、撮影モードを静止画モードに設定する（図６のステップＳ１２）。

ＣＰＵ２０６は、高解像度の静止画像を撮影するようにイメージセンサ１０２を制御する（ステップＳ１３）。そして、ＣＰＵ２０６は、イメージセンサ１０２が取得した画像データをメモリ２０１に書き込む。その後、ＣＰＵ２０６は、カメラ部１１の解像度を再び低解像度の読み込み状態に戻す（ステップＳ１４）。この間、ＣＰＵ２０６は、別のタスクにて事前画像処理を実行しており、この事前画像処理が終了するまで基本投影処理の実行をループして待つ（ステップＳ１５；Ｎｏ）。

ここで、別のタスクにて実行されている事前画像処理の内容を、図８に示すフローチャートを参照して説明する。ＣＰＵ２０６は、基本投影処理にて事前画像処理要求信号がセットされるまで事前画像処理の実行をループして待つ（ステップＳ３１；Ｎｏ）。事前画像処理要求信号がセットされると（ステップＳ３１；Ｙｅｓ）、ＣＰＵ２０６は、画像に動きがないと判定し、このセットされた事前画像処理要求信号をクリアすると共に、事前画像処理が終了したことを示す事前画像処理完了信号をクリアする（ステップＳ３２）。

次に、ＣＰＵ２０６は、射影パラメータ抽出処理を実行する（ステップＳ３３）。この射影パラメータ抽出処理において、ＣＰＵ２０６は、画像処理装置２０３を制御して、低解像度画像に対して、斜め補正を行うための射影パラメータを抽出する。この射影パラメータは、原稿４の画像の形状と実際の原稿４の形状との関係を示すものである。

続いて、ＣＰＵ２０６は、基本投影処理にて事前画像処理要求信号がセットされているか否かを再度チェックする（ステップＳ３４）。事前画像処理要求信号がセットされている場合には（ステップＳ３４；Ｙｅｓ）、ＣＰＵ２０６は、処理をステップＳ３１に戻す。これにより、ＣＰＵ２０６は、画像が再度動き始めた場合、後続する処理を放棄して速やかに次の事前画像処理に移行することができる。

一方、ＣＰＵ２０６は、事前画像処理要求信号がセットされていない場合（ステップＳ３４；Ｎｏ）、画像変換処理を実行する（ステップＳ３５）。この画像変換処理において、ＣＰＵ２０６は、ステップＳ３３にて抽出された射影パラメータに従って、撮影対象の切抜きと正面画像への射影変換とを行う。

そして、ＣＰＵ２０６は、事前画像処理要求信号がセットされているか否かを再度チェックする（ステップＳ３６）。事前画像処理要求信号がセットされていない場合（ステップＳ３６；Ｙｅｓ）、ＣＰＵ２０６は、画像効果補正用パラメータ抽出処理を実行する。この画像効果補正用パラメータ抽出処理において、ＣＰＵ２０６は、コントラスト補正などの鮮明で識別しやすい画像へ変換するための画像効果補正用パラメータを、ステップＳ３５にて作成された補正画像から抽出する（ステップＳ３７）。

続いて、ＣＰＵ２０６は、事前画像処理要求信号がセットされているか否かを再度チェックする（ステップＳ３８）。事前画像処理要求信号がセットされていない場合（ステップＳ３８；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３３にて抽出された画像効果補正用パラメータのスケールを、低解像度画像のスケールから高解像度画像のスケールに変更する（ステップＳ３９）。この後、ＣＰＵ２０６は、事前画像処理完了信号をセットして（ステップＳ４０）、事前画像処理を終了する。

このようにして、ＣＰＵ２０６は、高解像度画像の撮影が開始されるまでの間に、低解像度画像を用いて、射影パラメータと画像効果補正用パラメータとを抽出することができる。

そして、事前画像処理にて事前画像処理完了信号がセットされると、図６のフローチャートに示す基本投影処理において、ＣＰＵ２０６は、事前画像処理が終了したものと判別し（ステップＳ１５；Ｎｏ）、画像変換処理を実行する（ステップＳ１６）。この画像変換処理において、ＣＰＵ２０６は、ステップＳ３３にて抽出された射影パラメータに従って、四角形の撮影対象の切抜きと正面画像への射影変換とを行う。

また、ＣＰＵ２０６は、ステップＳ３７にて抽出された画像効果補正用パラメータを用いて、画像効果処理を実行する（ステップＳ１７）。

このようにして、ＣＰＵ２０６は、低解像度画像に対して画像変換処理及び画像効果処理を施すために抽出した射影パラメータ及び画像効果補正用パラメータを用いて、高解像度画像に対する画像変換処理及び画像効果処理を実行することができる。

続いて、ＣＰＵ２０６は、画像効果処理を行った画像データの投影を行うために、動画画像のときと同じように、メモリ２０１内の所定領域に補正画像データの書き込みを行う。そして、ＣＰＵ２０６は、表示装置２０２から画像データをＲＧＢ信号でプロジェクタ２に出力させる（ステップＳ１８）。その後、ＣＰＵ２０６は、図５のステップＳ３に戻る。

一度静止画モードになると、ＣＰＵ２０６は、再び低解像度の画像を読み込み（ステップＳ３）、画像変化量ＭＤを求める（ステップＳ４）。

ここで、撮影モードが静止画モードと判定した場合（ステップＳ５；Ｎｏ）、ＣＰＵ２０６は、求めた画像変化量ＭＤともう一つの所定閾値Thresh2（Thresh1＜Thresh2）との比較を行い、画像に動きがあるか否かを判定する（図７のステップＳ１９）。

そして、画像変化量ＭＤが閾値Thresh2以上であれば、ＣＰＵ２０６は、画像に動きがあると判定し（ステップＳ１９；Ｙｅｓ）、撮影モードを動画モードに設定する（ステップＳ２０）。そして、ＣＰＵ２０６は、静止時間Ptimeをリセットし（ステップＳ２１）、その後、図５のステップＳ３に戻る。

一方、画像変化量が閾値Thresh2未満であれば、ＣＰＵ２０６は、画像に動きがないと判定する（図７のステップＳ１９；Ｎｏ）。この場合、ＣＰＵ２０６は、画像効果の調整を行う指示情報として、操作部２０４から出力された操作情報に基づいて画像調整キーが操作されたか否かを判定する（ステップＳ２２）。

画像調整キーが操作されていないと判定した場合（ステップＳ２２；Ｎｏ）、ＣＰＵ２０６は、図５のステップＳ３に戻る。

一方、画像調整キーが操作されたと判定した場合（図７のステップＳ２２；Ｙｅｓ）、ＣＰＵ２０６は、画像変換調整処理を実行する（ステップＳ２３）。この画像変換調整処理において、ＣＰＵ２０６は、画像の拡大や回転などの画像変換の調整を行う。

ＣＰＵ２０６は、画像変換が射影変換、回転等なのか、画像の拡大縮小、移動なのかを判定する。画像変換が射影変換、回転等であるとＣＰＵ２０６が判定した場合、ＣＰＵ２０６は、画像変換装置２０３を制御して、再度、画像効果補正用パラメータを抽出し、画像効果処理を実行する（図６のステップＳ１７）。他方、画像変換が画像の拡大縮小、移動であるとＣＰＵ２０６が判定した場合、ＣＰＵ２０６は、画像から前回、ステップＳ３７にて抽出された画像効果補正用パラメータを用いて、画像効果処理を実行する（ステップＳ１７）。そして、ＣＰＵ２０６は、表示装置２０２から画像データをＲＧＢ信号でプロジェクタ２に出力させる（ステップＳ１８）。

このようにして、ＣＰＵ２０６は、動画モードと静止画モードとの切り替えを行いながら投影制御を行う。これにより、ユーザが操作を行なっている間は、フレーム周波数優先の画像の投影が行われ、画像が静止すれば、撮影対象の原稿４の切り抜き及び画像効果処理を行って高解像度画像の投影が行われる。

次に、画像処理装置２０３にて実行される画像処理について説明する。まず、画像処理装置２０３での画像処理に用いられるアフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。アフィン変換は、変換前の座標（u,v）の点と変換後の座標（x,y）とを、移動、拡大縮小、回転などの変換を表す次の数２によって関係付ける。射影変換もこのアフィン変換により行われることができる。

最終的な座標（x,y）は、次の数３によって算出される。

数３は、射影変換するための式である。座標（x,y）は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼす。このz'に含まれるパラメータはａ13，ａ23，ａ33である。また、ａ33を１とし、他のパラメータをパラメータａ33で正規化してもよい。

図９（ａ）は、図３（ａ）に示す四角形の原稿４の各頂点の座標を示した図であり、図９（ｂ）は、図３（ｂ）に示す四角形の原稿４の各頂点の座標を示した図である。図１０は、カメラ部１１で撮影された四角形と実際の原稿４の画像との関係について説明するための図である。

図１０において、Ｕ−Ｖ−Ｗ座標系は、カメラ部１１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、原稿４の用紙をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と原稿４との距離を示す。

図１０に示す投影スクリーンは、原稿４の画像の射影を行うためのものである（スクリーン３に対応）。投影スクリーン上の座標系を（x,y）とすると、この投影スクリーン上に投影される画像がカメラ部１１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸の正の方向に原点から距離ｆだけ離れてＷ軸に垂直に位置するものとする。原稿４の用紙上の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンとの交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数４によって表される。

数４より、図１０に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数５に示す関係が求められる。

このとき、射影係数α、βは次の数６によって表される。

次に、射影変換について説明する。
原稿４上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数７によって表される。

この数７に、数５の関係式を代入すると、座標ｘとｙとは、次の数８によって表される。

この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数９によって表される。

この数９にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

ＣＰＵ２０６は、このようなアフィン変換を行うため、まず、撮影した原稿４の画像から射影パラメータを抽出する（図８のステップＳ３３）。図１１は、ステップＳ３３にて実行される射影パラメータ抽出処理の詳細を示すフローチャートである。

この射影パラメータ抽出処理において、ＣＰＵ２０６は、画像処理装置を制御し、画像処理の演算数を減らすため、入力画像から縮小輝度画像を生成する（ステップＳ１０１）。次に、ＣＰＵ２０６は、生成した縮小輝度画像から原稿４のエッジ画像を生成し（ステップＳ１０２）、生成したエッヂ画像をラドン変換する（ステップＳ１０３）。

そして、ＣＰＵ２０６は、ラドン変換して得られたデータからピーク値を検出することにより、原稿４のエッジ画像から、このエッヂ画像に含まれる直線パラメータを抽出する（ステップＳ１０４）。続いて、ＣＰＵ２０６は、抽出した直線パラメータから、原稿４の輪郭を形成する候補となる四角形を生成する（ステップＳ１０５）。

ＣＰＵ２０６は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（ステップＳ１０６）。ＣＰＵ２０６は、優先順位に従って四角形を選択し、選択した四角形が抽出できた場合、この抽出した四角形を原稿４の画像の形状として取得する。一方抽出できなかった場合、ＣＰＵ２０６は、最大面積を有する四角形の画像を原稿４の画像の形状として取得する。

そして、ＣＰＵ２０６は、アフィンパラメータ抽出処理を実行する（ステップＳ１０７）。このアフィンパラメータ抽出処理において、ＣＰＵ２０６は、ステップＳ１０６にて取得した四角形の頂点からアフィンパラメータを算出する。

次に、この射影パラメータ抽出処理をさらに具体的に説明する。ＣＰＵ２０６が画像処理装置２０３を用いて生成した縮小輝度画像の一例を図１２（ａ）に示す。画像処理装置２０３は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１２（ｂ）に示すようなエッジ画像を生成する（ステップＳ１０２）。このＲｏｂｅｒｔｓフィルタは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１，Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。

図１３（ａ）は、フィルタΔ１の係数を示し、図１３（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ(x,y）に適用すると、変換後の画素値ｇ(x,y）は、次の数１０によって表される。

図１２（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２０３は、このエッジ画像から、ラドン変換を行って直線パラメータを検出する（ステップＳ１０３及びＳ１０４）。

ラドン変換は、ｎ次元のデータを、（ｎ−１）次元の投影データに対応させる積分変換である。具体的には、図１４の（ａ），（ｂ）に示すように、画像データをｆ(x,y）として、ｘ−ｙ座標系から角度θだけ回転したｒ−θ座標系を考える。θ方向の画像投影データｐ(r,θ）は、次の数１１によって定義される。

この数１１による変換は、ラドン変換と呼ばれる。図１４（ａ）に示すような画像データｆ(x,y）は、ラドン変換により、図１４（ｂ）に示すような画像投影データｐ(r,θ）に変換される。

このようなラドン変換によれば、図１５の（ａ）に示すようなｘ−ｙ座標系の直線Ｌは、極座標系では、ρ＝ｘcosα＋ｙsinαであらわされる。この直線Ｌは、ｐ(ρ,α）の点に全て投影されるので、ｐ(r,θ）のピークを検出することで、直線の検出が可能になる。ＣＰＵ２０６は、この原理を用いて、エッジ画像から、ラドン変換によりデータｐ(r,θ）を生成する。

次に、ＣＰＵ２０６は、生成したデータｐ(r,θ）から、そのピーク点を抽出する。図１６は、このピーク点抽出処理の詳細を示すフローチャートである。

このピーク点抽出処理において、ＣＰＵ２０６は、まず、図１６に示すように、ｐ(r,θ）での最大値ｐmaxを探す（ステップＳ２０１）。そして、ＣＰＵ２０６は、探し出した最大値pmaxを用いて、閾値ｐth＝ｐmax×ｋ（ｋは０以上１までの定数値）を求める（ステップＳ２０２）。

次に、ＣＰＵ２０６は、ｐthを閾値にしてｐ(r,θ）から２値画像Ｂ(r,θ）を生成する（ステップＳ２０３）。続いて、ＣＰＵ２０６は、Ｂ(r,θ）の画像にラベリングを行う。ラベリングとは、ｐ(r,θ）中の閾値ｐth以上の画素に対応する画素の塊をラベル領域として抽出し、各ラベル領域にラベルを割り当てる処理である。このとき得られたラベル数をＮlとする（ステップＳ２０４）。

ＣＰＵ２０６は、各ラベル領域内でｐ(r,θ）の最大値のところのr,θを調べる。そして、ＣＰＵ２０６は、この値を、それぞれｒi,θi（ｉ＝１〜Ｎl）として取得する（ステップＳ２０５）。これが直線のパラメータとなる。

次に、ＣＰＵ２０６は、検出した直線パラメータを用いて四角形候補を生成するため（ステップＳ１０５）、著しく歪んでいる四角形を候補から外す。書画カメラ１は、台座１３から大きく離れた原稿４を撮影することはないため、著しく歪んでいる四角形は、原稿４の輪郭を表すものではないと推測されるからである。

即ち、図１７（ａ）に示すように、カメラ部１１で撮影した場合の表示装置２０２のＬＣＤの表示領域に、４つの直線ａ１〜ａ４が表示され、４つの直線ａ１１〜ａ１４の交点ｐ１〜ｐ４が表示されている場合、直線ａ１〜ａ４は、四角形を形成する直線の候補になる。

一方、表示領域に表示されている直線が４つ未満の場合、あるいは、図１７（ｂ）、図１７（ｃ）に示すように、表示領域に４つの直線が表示されていても、交点が４つ未満の場合、この直線の組は、四角形を形成する直線の組の候補にはならない。

図１７（ａ）に示すように、直線ａ１〜ａ４の表示領域の下辺に対する角度を、それぞれ、θ１１，θ１２，θ２１，θ２２とすると、直線ａ１の角度θ１１に最も近い角度は、直線ａ３の角度θ１２になるため、直線ａ１と直線ａ３とは、互いに向かい合う直線と判別される。

また、図１７（ｄ）に示すように、互いに向かい合う直線ａ５とａ６の角度差が大きいと、台座１３から離れた位置で、書画カメラ１によって原稿４が撮影されることはないため、直線ａ５〜ａ８の組は、四角形を形成する直線の組の候補にはならない。なお、原稿４を台座１３に載置して直線の角度を計測すれば、原稿４の辺に基づく直線か否かを判別できる。互いに向かい合う直線の角度差をｄθ１、ｄθ２として、角度差ｄθ１、ｄθ２には、四角形の候補とするか否かを判定するための基準となる角度差として、予め閾値ｄθ１th、ｄθ２thが設けられる。この閾値ｄθ１th、ｄθ２thは、メモリ２０１に記憶される。

このような観点に基づいて、ＣＰＵ２０６は、複数の直線から四角形の候補を取得する。図１８は、この四角形検出処理の詳細を示すフローチャートである。

この四角形検出処理において、ＣＰＵ２０６は、図１８に示すように、まず、四角形の候補数Ｎrを０に初期化する（ステップＳ２１１）。次に、ＣＰＵ２０６は、表示領域に表示されている直線の数Ｎ１を取得し（ステップＳ２１２）、取得した直線の数Ｎ１が４つ以上か否かを判定する（ステップＳ２１３）。

取得した直線の数Ｎ１が４つ未満であると判定した場合（ステップＳ２１３；Ｎｏ）、ＣＰＵ２０６は、この処理を終了させる。この場合、四角形の候補数Ｎrは０となる。

一方、取得した直線の数Ｎ１が４つ以上であると判定した場合（ステップＳ２１３；Ｙｅｓ）、ＣＰＵ２０６は、四角形を形成する直線の組があるか否かを判定する（ステップＳ２１４）。

直線の組があったとしても、組になった直線による４つの交点がなければ、画像処理装置２０３は、四角形を形成する直線の組がないと判定し（ステップＳ２１４；Ｎｏ）、この処理を終了させる。

一方、四角形を形成する直線の組があると判定した場合（ステップＳ２１４；Ｙｅｓ）、ＣＰＵ２０６は、対応する直線の組の角度差ｄθ１，ｄθ２を取得し（ステップＳ２１５）、取得した角度差ｄθ１が、予め設定された閾値ｄθ１th未満であるか否かを判定する（ステップＳ２１６）。

角度差ｄθ１が閾値ｄθ１th以上であると判定した場合（ステップＳ２１６；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２１４に戻り、四角形を形成する直線の組の次の候補についての処理を繰り返す。

一方、角度差ｄθ１が閾値ｄθ１th未満であると判定した場合（ステップＳ２１６；Ｙｅｓ）、ＣＰＵ２０６は、角度差ｄθ２が閾値ｄθ２th未満であるか否かを判定する（ステップＳ２１７）。

角度差ｄθ２が閾値ｄθ２th以上であると判定した場合（ステップＳ２１７；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２１４に戻り、四角形を形成する直線の組の次の候補についての処理を繰り返す。

一方、角度差ｄθ２が閾値ｄθ２th未満であると判定した場合（ステップＳ２１７；Ｙｅｓ）、ＣＰＵ２０６は、得られた４つの交点をもつ四角形を候補として、四角形の候補数Ｎrを１つだけインクリメントして（ステップＳ２１８）、この四角形の候補数Ｎrをメモリ２０１に記憶する。

そして、ＣＰＵ２０６は、四角形を形成する直線の組をメモリ２０１に記憶する（ステップＳ２１９）。

ＣＰＵ２０６は、このようなステップＳ２１４〜Ｓ２１９の処理を順次、実行し、次の四角形を形成する直線の組の候補がないと判定すると（ステップＳ２１４；Ｎｏ）、この四角形検出処理を終了させる。

次に、ＣＰＵ２０６は、四角形の候補の中から、原稿４の辺を表すものとして、最もふさわしい四角形を選択する。この方法はいくつか考えられる。本実施形態では、撮影された四角形のうち、最外郭の四角形を選ぶものとする。最外郭の四角形とは、図９（ａ）に示すように候補となる四角形をｘ，ｙ軸の平行線で囲んで長方形を形成し、そのうち、面積が最も大きいものをいう。

長方形Ｒiの４つの頂点の座標を、それぞれ、（x0,y0），（x1,y1），（x2,y2），（x3,y3）とすると、四角形の面積は、次の数１２によって表される。

図１９は、四角形選択処理の詳細を示すフローチャートである。この四角形選択処理において、ＣＰＵ２０６は、図１９に示すように、まず、候補数Ｎｒの四角形のうちから、いずれかの四角形を選択し（ステップＳ２２１）、選択した四角形の面積Ｓiを、数１２に従って求める（ステップＳ２２２）。

続いて、ＣＰＵ２０６は、候補数Ｎｒをデクリメントすると共に（ステップＳ２２３）、候補数Ｎｒが０になったか否かを判定する（ステップＳ２２４）。

候補数Ｎｒが０にはなっていないと判定した場合（ステップＳ２２４；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２２１に戻る。

このような処理を繰り返し行うことによって、候補数Ｎｒが０になったと判定した場合（ステップＳ２２４；Ｙｅｓ）、ＣＰＵ２０６は、求めた面積Ｓｉの大きい順に、候補となる四角形のデータを並べ替える（ステップＳ２２５）。

そして、ＣＰＵ２０６は、一番目の四角形を最優先の四角形の輪郭とする。このように複数の四角形の候補があっても常に最大外郭の四角形が優先的に選択される。これは、書画の場合、原稿４の中に四角形の図形が含まれることがあっても、原稿４の外側に四角形の図形がみつかることはない。また四角いテーブルなどが撮影される場合、ユーザはズーム調整や撮影位置の調整を容易に行えるので、ユーザの撮影対象の輪郭の抽出が期待される。

次に、選択された四角形から、射影パラメータ（アフィンパラメータ）を求める方法について説明する。数９に示す行列の要素であるアフィンパラメータは、選択された四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）を用いて数６，数８に従って、求められる。

この際、ｍ，ｎのスケールは０≦ｍ≦１，０≦ｎ≦１の範囲であるので、座標単位の修正を行う。画像の中心を変えずに、Ｕ軸側、Ｖ軸側の画像サイズを、それぞれｕsc,ｖscでスケーリングするものとする。このとき画像の中心をｕc，ｖcとすると、画像のスケール変換は次の数１３によって表される。

この数１３をｕ，ｖスケールに書き直すと、変換後の四角形の座標（x',y',z'）は次の数１４によって表される。

ここで、Ａfは、アフィン変換行列である。アフィン変換行列Ａfは、次の数１５によって表される。

なお、アフィン変換行列Ａfの各要素がアフィンパラメータである。数１４，数１５から、ｕ軸とｖ軸との関係を示す四角形の縦横比ｋは、次の数１６によって表される。

なお、書画カメラ１の場合、通常、カメラ部１１の焦点距離は、レンズと原稿４を載置する台座１３の上との距離になるように設計される。このため、カメラ部１１の焦点距離を、カメラ部１１と原稿４との距離としてもよい。いずれにしても、書画カメラ１の場合、焦点距離又はカメラ部１１と原稿４との距離は、既知の値である。

但し、光学レンズ装置１０１のレンズがズームレンズの場合、ズーム位置によって焦点距離が変わる。この場合、そのズーム位置に応じた焦点距離ｆを予めテーブル等に記憶しておくことにより、縦横比ｋ＝Ｂ／Ａ（絶対値）を計算することができる。

スクリーン３に出力可能な最大画像（画面）サイズが（ｕmax,ｖmax）で与えられている場合、ｕc，ｖcは、次の数１７によって表される。

また、ｖmax/ｕmax＞ｋのとき、ｖmax/ｕmax≦ｋのときは、それぞれ、次の数１８，数１９に従って画像のスケーリングを行うと、所望の縦横比ｋの画像が得られる。

このような考え方に基づいて、ＣＰＵ２０６は、四角形の頂点からアフィンパラメータを算出する。図２０は、このアフィンパラメータ取得処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数６に従って、射影係数α、βを算出する（ステップＳ２３１）。次に、ＣＰＵ２０６は、原稿４の縦横比ｋを算出する（ステップＳ２３２）。

次に、ＣＰＵ２０６は、数１７に従って、画像の中心点（ｕc,ｖc）を指定し（ステップＳ２３３）、最大画像サイズｖmax/ｕmaxと数１６で表される縦横比ｋとを比較する（ステップＳ２３４）。

ｖmax/ｕmax＞ｋの場合（ステップＳ２３４；Ｙｅｓ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が原稿４の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｕ軸側の最大画像サイズと原稿４の画像サイズとが一致するように、数１８に従ってｕsc，ｖscを求め、Ｖ軸側の原稿４の画像のスケールを決定する（ステップＳ２３５）。

ｖmax/ｕmax≦ｋの場合（ステップＳ２３４；Ｎｏ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｕ軸側（横）の最大画像サイズｕmaxの方が原稿４の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｖ軸側の最大画像サイズと原稿４の画像サイズとが一致するように、数１９に従って、ｕsc，ｖscを求め、Ｕ軸側の原稿４の画像のスケールを決定する（ステップＳ２３６）。

続いて、ＣＰＵ２０６は、算出したｕsc，ｖsc，ｕc，ｖcと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１５に従って、アフィン変換行列Ａfを求める（ステップＳ２３７）。ＣＰＵ２０６は、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして取得する（ステップＳ２３８）。

次に、ステップＳ３９にて実行される射影パラメータのスケールを修正する方法を説明する。低解像度画像と高解像度画像との画像サイズの比をｇとする。例えば、低解像度画像が６４０×４８０ドットで高解像度画像が１２８０×９６０ドットである場合、この画像サイズの比ｇは「２」となる。

そして、低解像度画像から抽出された四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）は、ステップＳ３９の射影パラメータのスケール修正処理において、（x0*g,y0*g），（x1*g,y1*g），（x2*g,y2*g），（x3*g,y3*g）に変更される。このようにして、ＣＰＵ２０６は、射影パラメータのスケールを低解像度画像のスケールから高解像度画像のスケールに変更する。

ＣＰＵ２０６は、この変更された四角形の４点の頂点座標（x0*g,y0*g），（x1*g,y1*g），（x2*g,y2*g），（x3*g,y3*g）から得られる射影パラメータを用いて、高解像度画像に対してステップＳ３５の画像変換処理を実行する。

次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２１に示すように、元の画像の点ｐ(x,y）が、変換行列Ａpによる変換後の画像の点Ｐ(u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めたほうが好ましい。

なお、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ(u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数２０に従って算出される。

変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めるため、ＣＰＵ２０６は、画像変換処理を実行する。図２２は、この画像変換処理の詳細を説明するためのフローチャートである。

ＣＰＵ２０６は、変換画像の画素位置ｕを０に初期化すると共に（ステップＳ１１１）、変換画像の画素位置ｖを０に初期化する（ステップＳ１１２）。

次に、ＣＰＵ２０６は、数１５で得られたアフィンパラメータＡを用いて、変換画像の画素位置（u,v）を代入し、数３に従って、元の画像の画素位置（x,y）を求める（ステップＳ１１３）。続いて、ＣＰＵ２０６は、求めた画素位置（x,y）から、数２０に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ１１４）。

そして、ＣＰＵ２０６は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ１１５）。

続いて、ＣＰＵ２０６は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定し（ステップＳ１１６）、座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ１１６；Ｎｏ）、ステップＳ１１３に戻る。

その後、ＣＰＵ２０６は、ステップＳ１１３〜Ｓ１１５の処理を繰り返し、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ１１６；Ｙｅｓ）、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ１１７）。

続いて、ＣＰＵ２０６は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定し（ステップＳ１１８）、座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ１１８；Ｎｏ）、ステップＳ１１２に戻る。

その後、ＣＰＵ２０６は、ステップＳ１１２〜Ｓ１１７の処理を繰り返し、座標ｕが最大値ｕmaxに達したと判定した場合（ステップＳ１１８；Ｙｅｓ）、この画像変換処理を終了させる。

次に、このように得られた画像から、画像効果補正用パラメータを抽出する処理と、このパラメータを用いて行う画像効果処理と、について説明する。画像効果処理は、より鮮明な画像を得るための処理である。

画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。

画像効果補正用パラメータを抽出するには、さらに、全体の画像から輪郭を除く実原稿部の画像を切り出し、輝度、色差のヒストグラムを生成する必要がある。まず、画像効果補正用パラメータの抽出に必要な処理について説明する。

図２３に示すように、原稿４の画像には、写真、図形、文字等の実体的な画像だけでなく、台座１３や、原稿４の紙面の影等のように、原稿４の内容に無関係の画像も写っている場合がある。この全体画像に内枠と外枠とを設定する。原稿４の実体的な画像がある内枠内を実原稿部とする。また、台座１３や、原稿４の紙面の影等が写っている内枠と外枠との間を周辺部とする。周辺部に写っている原稿４の輪郭は、概して黒であることが多い。画像データに、このような周辺部のデータがあった方が好ましい場合もある。

しかし、原稿４の周辺部の画像も含めてヒストグラムを生成すると、ヒストグラムの引き伸ばしなどが有効に機能しない場合がある。

このため、画像効果補正用パラメータを取り出すときにのみ、実原稿部の画像を切り出して輝度、色差のヒストグラムを生成し、このヒストグラムから取り出した画像効果補正用パラメータを用いて画像全域に対して画像効果処理を行なうものとする。この方が、より効果的なパラメータを取得することができる。

具体的には、周辺部を含めた画像データがＭ行Ｎ列であって、Ｘ、Ｙ方向とも外枠と内枠との間のドット数がＫドットであるとすると、Ｘ軸側では、実原稿部の画素データであるＫからＭ−Ｋ行までの画素データを取得し、Ｙ軸側では、実原稿部の画素データであるＫからＮ−Ｋ列までの画素データを取得する。実原稿部の画素データは、（M-2*K)行、（N-2*K)列のデータになる。

ＣＰＵ２０６は、画像処理装置２０３を制御して、このように切り出した実原稿部の画像について、輝度ヒストグラム、色差ヒストグラムを生成する。

輝度ヒストグラムは、実原稿部に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に実原稿部の画素の数を計数することにより生成される。図２４（ａ）に輝度ヒストグラムの一例を示す。図２４（ａ）において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像効果を補正するには、画像効果補正用パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。

最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象である原稿４の背景色の輝度値を示すものと考えられる。

また、色差ヒストグラムは、実原稿部に存在する色差（Ｕ，Ｖ）の分布を示すものであり、色差毎に実原稿部の画素の数を計数することにより生成される。図２４（ｂ）に、色差ヒストグラムの一例を示す。図２４（ｂ）において、横軸は、色差を示し、縦軸は、画素数を示す。色差ヒストグラムの場合も、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値も原稿４の背景色の色差を示すものと考えられる。画像効果を補正するには、画像効果補正用パラメータとして色差ヒストグラムのピーク値と平均値（Ｕmean,Ｖmean）とを求める必要がある。なお、平均値は、平均計数値を有する色差の値である。

なお、画像効果を補正して視認性に優れた画像を得るには、原稿４の背景色によって補正効果が異なってくるため、画像効果の補正方法を原稿４の背景色によって変える必要がある。このため、原稿４の背景色の判別が必要になってくる。原稿４の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。

ここで、原稿４の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。具体的に、原稿４の背景色は、以下の判別式に従って判別される。

白判定条件は、次の数２１によって表され、数２１に示す条件を満足したときに、原稿４の背景色は白（Ｗ）と判定される。

黒判定条件は、次の数２２によって表され、数２２に示す条件を満足したときに、原稿４の背景色は黒（Ｂ）と判定される。

また、数２１，数２２に示す条件を満足しなかった場合、原稿４の背景色はカラー（Ｃ）と判定される。なお、カラー閾値は、例えば、５０に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。

このような考え方に基づいて、ＣＰＵ２０６は、画像効果補正用パラメータ抽出処理を実行する。図２５は、この画像効果補正用パラメータ抽出処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、実原稿部の中で、各輝度（Ｙ）値を有する画素の数を計数して、図２４（ａ）に示すような輝度ヒストグラムを生成し（ステップＳ１２１）、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ１２２）。

次に、ＣＰＵ２０６は、図２４（ｂ）に示すような色差（Ｕ，Ｖ）のヒストグラムを作成する（ステップＳ１２３）。続いて、ＣＰＵ２０６は、画像効果補正用パラメータとして、色差（Ｕ，Ｖ）のピーク値（Ｕpeak,Ｖpeak）を求めると共に（ステップＳ１２４）、色差の平均値（Ｕmean,Ｖmean）を求める（ステップＳ１２５）。

そして、ＣＰＵ２０６は、画像ヒストグラムのこれらのピーク値（Ｙpeak,Ｕpeak,Ｖpeak）から、数２１，数２２に示す判定条件式に従って原稿４の背景色を判別する（ステップＳ１２６）。次に、ＣＰＵ２０６は、画像効果補正用パラメータと原稿４の背景色のデータとをメモリ２０１に記憶する（ステップＳ１２７）。

次に、ＣＰＵ２０６は、このように抽出した画像効果補正用パラメータを用いて画像効果処理を行う。前述のように、画像効果処理を効果的に行うには、背景色によって処理内容を替える必要がある。

ホワイトボード、ノート等のように、背景色が白である場合、ＣＰＵ２０６は、図２６（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、ＣＰＵ２０６は、図２６（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、ＣＰＵ２０６は、図２６（ｃ）に示すような変換を行う。なお、図２６（ａ）、図２６（ｂ）、図２６（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。

背景色が白である場合、図２６（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度が変わる。所定輝度値を、例えば、２３０として、ＣＰＵ２０６は、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、ＣＰＵ２０６は、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２６（ａ）に示すように、２つの線分によって表される。

背景色が黒である場合、ＣＰＵ２０６は、図２６（ｂ）に示すように、ピーク値をある一定の輝度値（例えば、２０）になるように輝度変換を行なう。この場合も、図２６（ｂ）に示すように、輝度変換線は２つの線分によって表される。

背景色が白または黒以外の色である場合、ＣＰＵ２０６は、図２６（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。

なお、ＣＰＵ２０６は、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリ２０１に記憶してもよい。ＣＰＵ２０６は、作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像効果処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。

また、撮影された画像によっては、デジタルカメラのホワイトバランスの調整が適正に行われず、例えば、全体が黄色等に色が変わってしまう場合がある。この色の変化は、輝度ヒストグラムの画像効果処理を行うだけでは、修正することができない。

この場合、好ましい画像を得るためには、カラー調整を行う。図２７は、カラー調整を行うための輝度変換グラフの一例を示す図である。図２７において、横軸は、色差の入力値を示し、縦軸は、色差の出力値を示す。カラー調整は、図２４（ｂ）に示す色差（Ｕ，Ｖ）のそれぞれの平均値（Ｕmean,Ｖmean）がグレーになるように、図２７に示す輝度変換グラフに従って輝度変換が行なわれる。

色差ＵとＶの値がともに０である場合、色は無彩色となるため、ピーク値（Ｕpeak，Ｖpeak）が０になるようにカラー調整を行う。即ち、カラーの変換線は２つの線分によって表される。入力値Ｕに対する出力値Ｕ’は次の数２３で与えられる。

色差Ｖについても同様である。

次に、画像効果処理として、前述の輝度引き延ばしだけでは、十分に背景が白色化しない場合、背景の白色化を行い、画像内の背景と思われる部分の色を白（Ｙ：255，Ｕ：０，Ｖ：０）または、それに近い色にする。

図２８（ａ）は、ある画素の輝度値を基準（０）にして、この画素の輝度値に対する輝度値の引き上げ率を示す図である。横軸は、輝度値を示し、縦軸は輝度値の引き上げ率を示す。また、図２８（ｂ）は、色差と色差の変化率を示す図である。横軸は、色差を示し、縦軸は、色差の変化率を示す。

図中、Ｃ0は、輝度と色差とを１００％引き上げる０からの範囲を示し、Ｃ1は、輝度値に従って引き上げ率を可変する範囲を示す。図２８（ａ），図２８（ｂ）に示すように、輝度（Ｙ）値が一定値以上（Ｙw）で、色差（Ｕ，Ｖ）が一定範囲内（Ｃ0）の画素の色を白色化範囲として、輝度値を引き上げ、色差を０にする。このような背景の白色化を行えば、輝度引き延ばしだけでは、十分に背景が白色化しない場合に、画像効果処理が非常に有効なものとなる。

このような考え方に基づいて、ＣＰＵ２０６は、画像効果処理を実行する。図２９は、この画像効果処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、保存した画像効果補正用パラメータをメモリ２０１から読み出す（ステップＳ１３１）。

次に、ＣＰＵ２０６は、輝度ヒストグラムの調整を行う（ステップＳ１３２）。具体的には、ＣＰＵ２０６は、背景が白か否かを判定し、背景が白と判定した場合、背景をより白くして、視認性が良くなるように、図２６（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う。一方、背景が白ではないと判定した場合、ＣＰＵ２０６は、背景が黒か否かを判定し、背景が黒であると判定した場合、図２６（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する。一方、背景が黒ではないと判定した場合、ＣＰＵ２０６は、図２６（ｃ）に示すような輝度変換を行って、原稿４の背景色に応じたヒストグラム調整を行う。

続いて、ＣＰＵ２０６は、このように調整した画像に対して、図２７に示すような変換を行ってカラー調整を行い、（ステップＳ１３３）、続いて、背景の白色化処理を実行する（ステップＳ１３４）。

図３０は、ＣＰＵ２０６が行う背景の白色化処理の詳細を示すフローチャートである。なお、図中のｉmax,ｊmaxは入力画像のｘ，ｙ軸のサイズである。

この背景白色化処理において、ＣＰＵ２０６は、まず、カウント値ｊを０に初期化すると共に（ステップＳ２４１）、カウント値ｉを０に初期化する（ステップＳ２４２）。次に、ＣＰＵ２０６は、入力画像の画素（i,j）の輝度（Ｙ）が一定値以上（Ｙw）であるか否かを判定する（ステップＳ２４３）。

輝度（Ｙ）が一定値以上（Ｙw）であると判定した場合（ステップＳ２４３；Ｙｅｓ）、ＣＰＵ２０６は、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であるか否かを判定する（ステップＳ２４４）。

色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であると判定した場合（ステップＳ２４４；Ｙｅｓ）、ＣＰＵ２０６は、輝度値（Ｙ）を２５５に設定し、色差（Ｕ，Ｖ）を０にして、画素（i,j）の値を書き換え（ステップＳ２４５）、ステップＳ２４８に進む。

一方、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満ではないと判定した場合（ステップＳ２４４；Ｎｏ）、ＣＰＵ２０６は、入力画像の画素（i,j）の色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であるか否かを判定する（ステップＳ２４６）。

色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であると判定した場合（ステップＳ２４６；Ｙｅｓ）、ＣＰＵ２０６は、輝度値Ｙ＝Ｙ＋ａ＊（255−Ｙ）として、画素（i,j）の値を書き換え（ステップＳ２４７）、ステップＳ２４８に進む。

色差Ｕ、Ｖの絶対値が所定値Ｃ１未満ではないと判定した場合（ステップＳ２４６；Ｎｏ）、ＣＰＵ２０６は、輝度値を変更せずに、ステップＳ２４８に進む。

そして、ＣＰＵ２０６は、カウント値ｉをインクリメントする（ステップＳ２４８）。続いて、ＣＰＵ２０６は、カウント値ｉを最大値ｉmaxと比較して、カウント値ｉが最大値ｉmaxに達したか否かを判定する（ステップＳ２４９）。

カウント値ｉが最大値ｉmaxに達していないと判定した場合（ステップＳ２４９；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２４３に戻る。

その後、ステップＳ２４３〜Ｓ２４８の処理を繰り返し実行し、カウント値ｉが最大値ｉmaxに達したと判定した場合（ステップＳ２４９；Ｙｅｓ）、ＣＰＵ２０６は、カウント値ｊをインクリメントする（ステップＳ２５０）。

続いて、ＣＰＵ２０６は、カウント値ｊを最大値ｊmaxと比較して、カウント値ｊが最大値ｊmaxに達したか否かを判定する（ステップＳ２５１）。

カウント値ｊが最大値ｊmaxに達していないと判定した場合（ステップＳ２５１；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２４２に戻る。

その後、ステップＳ２４２〜Ｓ２５０の処理を繰り返し実行し、カウント値ｊが最大値ｊmaxに達したと判定した場合（ステップＳ２５１；Ｙｅｓ）、ＣＰＵ２０６は、この背景の白色化処理を終了させる。

次に、一度画像変換を行った画像に対して行われる画像変換調整処理について説明する。抽出された四角形の頂点の座標に若干の誤差等が含まれているような場合、図３１（ａ）、図３１（ｂ）に示すように、得られたアフィンパラメータで射影した結果が好ましくない場合がある。このため、本実施形態の撮影画像投影装置は、ユーザによって射影変換の調整を行えるように構成されている。

ユーザが操作部２０４の各キーを操作すると、操作部２０４は、ユーザの操作に応答して、この操作情報を指示情報としてＣＰＵ２０６に送る。ＣＰＵ２０６は、この操作情報を判別し、判別結果に従って画像処理装置２０３を制御する。

図３２に示すように、補正画像の補間画素Ｑ(u',v'）を求めるには、通常、次のような手順を踏む。すなわち、初めに、補間画素Ｑ(u',v'）に対して逆変換Ａiを行って、補間画素Ｑ(u',v'）に対応する補正画像Ｐ(u,v）を求める。次に、補正画像Ｐ(u,v）に対して逆変換Ａｆを行って、元の画像のｐ(x,y）を求める。射影変換と拡大変換等、画像変換を２段変換する場合は、ＣＰＵ２０６は、２つの変換を合成した変換行列を求めておいて、元の画像に対して変換を一度で行う。この方が、変換を２回行うより画像を高速に求めることができ、かつ、前述した２回の逆変換を行って画像を作成する方法より、画像劣化は少なくなる。

変換前の画像を、所定の座標（Ｘｃ，Ｙｃ）を中心に角度θだけ回転して得られた変換後の画像から、変換前の画像を取得する場合の回転逆変換行列Ａrは、次の数２４によって表される。所定の座標（Ｘｃ，Ｙｃ）は、例えば、画像の中心の座標が設定されてもよいし、画像の特定の頂点の座標が設定されてもよい。

変換前の画像を、所定の座標（Ｘｃ，Ｙｃ）を中心にしてＳc倍拡大して得られた変換後の画像から、変換前の画像を取得する場合の拡大行列Ａscは、次の数２５によって表される。所定の座標（Ｘｃ，Ｙｃ）は、例えば、画像の中心の座標が設定されてもよいし、画像の特定の頂点の座標が設定されてもよい。

尚、一度、画像を拡大すると、アフィンパラメータの調整や計算で丸め誤差の処理等が行われる場合がある。このため、画像を拡大する場合、その前に元の等倍のアフィンパラメータに復帰させるようにしておく必要がある。

変換前の画像をＸ，Ｙ方向に、それぞれ、Ｔx，Ｔyだけ移動させることによって得られた変換後の画像から、変換前の画像を取得する場合の移動行列Ａsは、次の数２６によって表される。

補正前の画像をＸ，Ｙ方向に、それぞれ、α，βだけ傾斜することによって得られた変換後の画像から、変換前の画像を取得する場合の射影効果行列Ａpは、次の数２７によって表される。

そして、２段の逆変換を実行する場合、その逆変換行列Ａは、次の数２８によって表される。

このような考え方に基づいて実行される画像変換調整処理を説明する。図３３，図３４及び図３５は、この画像変換調整処理の詳細を説明するためのフローチャートである。

ＣＰＵ２０６は、拡大率Zoomが１であるか否かを判定する（ステップＳ１４１）。尚、拡大率Zoomは、予め１に初期化されているため、ＣＰＵ２０６は、最初、拡大率Zoomが１であると判定する。拡大率Zoomが１であると判定すると（ステップＳ１４１；Ｙｅｓ）、ＣＰＵ２０６は、射影変換キーとして、上拡大キー２１１、下拡大キー２１２、左拡大キー２１３、右拡大キー２１４のいずれかが押下されたか否かを判定する（ステップＳ１４２）。

射影変換キーが押下されたと判定した場合（ステップＳ１４２；Ｙｅｓ）、ＣＰＵ２０６は、操作された射影変換キーの種別を判別する。

押下された射影変換キーが右拡大キー２１４であると判別した場合、ＣＰＵ２０６は、数２７に示す射影効果行列Ａpに、α＝0.1、β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（図３４のステップＳ１４３）。

押下された射影変換キーが左拡大キー２１３であると判別した場合、ＣＰＵ２０６は、数２７に示す射影効果行列Ａpに、α＝-0.1，β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１４４）。

押下された射影変換キーが上拡大キー２１１であると判別した場合、ＣＰＵ２０６は、数２７に示す射影効果行列Ａpに、α＝０，β＝0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１４５）。

押下された射影変換キーが下拡大キー２１２であると判別した場合、ＣＰＵ２０６は、数２７に示す射影効果行列Ａpに、α＝０，β＝-0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１４６）。

射影変換キーは押下されていないと判定した場合（ステップＳ１４２；Ｎｏ）、ＣＰＵ２０６は、回転キーが押下されたか否かを判定する（図３３のステップＳ１４７）。回転キーが押下されたと判定した場合（ステップＳ１４７；Ｙｅｓ）、ＣＰＵ２０６は、押下された回転キーの種別を判別する。

押下された回転キーが右回転キー２１５であると判別した場合、ＣＰＵ２０６は、数２４に示す回転逆変換行列Ａrに、θ＝−１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップＳ１４８）。

押下された回転キーが左回転キー２１６であると判別した場合、ＣＰＵ２０６は、数２４に示す回転逆変換行列Ａrに、θ＝１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップＳ１４９）。

回転補正キーは押下されていないと判定した場合（ステップＳ１４７；Ｎｏ）、ＣＰＵ２０６は、拡大処理が行われる前に、元の等倍のアフィンパラメータに復帰させることができるように、現在のアフィンパラメータを行列Ａfに退避させる（ステップＳ１５０）。

一方、拡大率Zoomが１ではないと判定した場合（ステップＳ１４１；Ｎｏ）、ＣＰＵ２０６は、カーソルキーが押下されたか否かを判定する（ステップＳ１５１）。

カーソルキーが押下されたと判定した場合（ステップＳ１５１；Ｙｅｓ）、ＣＰＵ２０６は、押下されたカーソルキーの種別を判別する。

カーソルキーが右移動キー（拡大キー２１７と右拡大キー２１４）であると判別した場合、ＣＰＵ２０６は、数２６に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝64，Ｔy＝０を代入して、逆変換行列Ａi＝Ａsを取得する（図３４のステップＳ１５２）。

カーソルキーが左移動キー（拡大キー２１７と左拡大キー２１３）であると判別した場合、ＣＰＵ２０６は、数２６に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝-64，Ｔy＝０を代入して、逆変換行列Ａi＝Ａsを取得する（ステップＳ１５３）。

カーソルキーが上移動キー（拡大キー２１７と上拡大キー２１１）であると判別した場合、ＣＰＵ２０６は、数２６に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝０，Ｔy＝64を代入して、逆変換行列Ａi＝Ａsを取得する（ステップＳ１５４）。

カーソルキーが下移動キー（拡大キー２１７と下拡大キー２１２）であると判別した場合、ＣＰＵ２０６は、数２６に示す移動行列Ａsに、Ｘ軸，Ｙ軸のそれぞれの移動量Ｔx＝０，Ｔy＝-64を代入して、逆変換行列Ａi＝Ａsを取得する（ステップＳ１５５）。

一方、カーソルキーは押下されていないと判定した場合（ステップＳ１５１；Ｎｏ）、あるいは、回転補正キーは押下されていないと判定して現在のアフィンパラメータを行列Ａfに退避させた場合（ステップＳ１５０）、ＣＰＵ２０６は、拡大キー２１７又は縮小キー２１８が押下されたか否かを判定する（ステップＳ１５６）。

拡大キー２１７又は縮小キー２１８は押下されていないと判定した場合（ステップＳ１５６；Ｎｏ）、ＣＰＵ２０６は、この画像変換の調整処理を終了させる。一方、拡大キー２１７又は縮小キー２１８が押下されたと判定した場合（ステップＳ１５６；Ｙｅｓ）、ＣＰＵ２０６は、押下されたキーの種別を判別する。

押下されたキーが拡大キー２１７であると判別した場合、ＣＰＵ２０６は、拡大率Zoom＝Zoom＊Ratio（Ratioは、例えば、２倍）として、新たな拡大率Zoomを取得し（図３５のステップＳ１５７）、数２５に示す拡大行列ＡscのScに、Sc＝Ratioを代入して、逆変換行列Ａi＝Ａｐを取得する（ステップＳ１５８）。

押下されたキーが縮小キー２１８であると判別した場合、ＣＰＵ２０６は、拡大率Zoom＝Zoom／Ratioとして、新たな拡大率Zoomを取得する（ステップＳ１５９）。縮小キー２１８の場合、ＣＰＵ２０６は、拡大率Zoomが１を越えているか否かを判定する（ステップＳ１６０）。

拡大率Zoomが１を越えている（Zoom＞１）と判定した場合（ステップＳ１６０；Ｙｅｓ）、ＣＰＵ２０６は、数２５に示す拡大行列ＡscのScに、Sc＝１／Ratioを代入して、逆変換行列Ａi＝Ａｐを取得する（ステップＳ１６１）。

次に、逆変換行列Ａiを設定した場合（ステップＳ１４３〜Ｓ１４６，Ｓ１４８，Ｓ１４９，Ｓ１５２〜Ｓ１５５，Ｓ１５８及びＳ１６１）、ＣＰＵ２０６は、数２８に従って、逆変換行列Ａを求め（ステップＳ１６２）、ステップＳ１６５に進む。

一方、拡大率Zoomが１を越えていない（Zoom≦１）と判定した場合（ステップＳ１６０；Ｎｏ）、ＣＰＵ２０６は、拡大率Zoom＝１とする（ステップＳ１６３）。ＣＰＵ２０６は、Ａ＝Ａf（ステップＳ１５０で保存しておいた拡大前のアフィンパラメータ）として、元の逆変換行列Ａに戻す（ステップＳ１６４）。

そして、ＣＰＵ２０６は、求めた逆変換行列Ａを画像処理装置２０３に供給して画像変換を行うように画像処理装置２０３を制御し、供給された逆変換行列Ａに基づいて、アフィン変換による画像変換を行い（ステップＳ１６５）、この画像変換調整処理を終了させる。

以上説明したように、実施形態１によれば、撮影画像投影装置は、画像に動きがなくなると、高解像度静止画像の撮影を開始する前に、高解像度静止画像の撮影が行われているタスクとは別のタスクにて低解像度で撮影した動画像から射影パラメータと画像効果補正用パラメータとを取得する。

続いて、撮影画像投影装置は、取得した射影パラメータのスケールを低解像度画像のスケールから高解像度画像のスケールへと変更する。そして、撮影画像投影装置は、撮影前に取得した射影パラメータと画像効果補正用パラメータとを用いて、撮影した高解像度の静止画像に対して画像変換処理と画像効果処理とを施す。

このように、予め別のタスクにて低解像度の動画像から取得した射影パラメータと画像効果補正用パラメータとを用いて、高解像度の静止画像に対する画像変換処理と画像効果処理とを実行することによって、撮影画像投影装置は、画像の撮影から投影までに要する時間を短縮することができる。

また、動画像を低解像度で撮影し、静止画像を高解像度で撮影することにより、撮影画像投影装置は、スクリーン３上に投影される静止画像の画質を落とすことなく、撮影に要するＣＰＵ等の処理負担を低減することができる。
［実施形態２］

図３６は、本発明の実施形態２に係る撮影画像投影装置の構成を示す図である。なお、本実施形態において、実施形態１と同一の構成物については、同一の符号を付し、必要に応じてその説明を省略する。

撮影画像投影装置は、図３６に示すように、書画カメラ１と、プロジェクタ２と、コンピュータ５と、を備えている。書画カメラ１とコンピュータ５とは、ＵＳＢ（Universal
Serial Bus）等の通信ケーブル３１を介して接続されている。また、コンピュータ５とプロジェクタ２とは、ＲＧＢケーブル等のビデオ映像ケーブル３２を介して接続されている。

図３７は、図３６に示す書画カメラ１及びコンピュータ５の構成を示すブロック図である。書画カメラ１は、図３７に示すように、画像データ生成部２１と、データ処理部２２と、から構成されている。また、データ処理部２２は、メモリ２０１と、表示装置２０２と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ（Central
Processing Unit）２０６と、画像圧縮装置２０７と、インタフェース装置２０８と、から構成されている。

画像圧縮装置２０７は、コンピュータ５に送信するデータの量を低減するため、ＪＰＥＧ（Joint Photographic Expert Group）規格等の技術を用いて、画像データを圧縮する。インタフェース装置２０８は、圧縮した画像データをコンピュータ５に送信し、またコンピュータ５からの撮影コマンドを受信する。

また、ＣＰＵ２０６は、光学レンズ装置１０１の焦点、露出、ホワイトバランス等のカメラ設定パラメータを動画モードに初期化する機能を有する。これにより、カメラ部１１が捉えているシーンは、光学レンズ装置１０１を経由してイメージセンサ１０２に集光される。イメージセンサ１０２は、集光された画像から動画撮影用の解像度の低いデジタルの画像データを作成し、メモリ２０１に、例えば、１秒あたり３０枚程度で送り出す。

コンピュータ５は、書画カメラ１に撮影コマンドを送って書画カメラ１を制御し、画像データを受信して画像処理を行った画像データをプロジェクタ２に送信する。コンピュータ５は、インタフェース装置２３１と、表示装置２３２と、画像処理装置２３３と、操作部２３４と、ＨＤＤ（Hard
Disk Drive）２３５と、ＣＰＵ２３６と、ＲＯＭ（Read Only Memory）２３７と、ＲＡＭ（Random Access Memory）２３８と、から構成されている。

インタフェース装置２３１は、圧縮された画像データを受信するとともに、撮影コマンド等を送信する。表示装置２３２は、表示装置２０２と同様に、プロジェクタ２に送り出す画像を表示する。

画像処理装置２３３は、画像処理装置２０３と同様に、受信した画像データに対して、画像の歪み補正や画像効果などの画像処理を行う。また、画像処理装置２３３は、圧縮された画像に対して圧縮デコードを行って非圧縮データを生成する。

画像処理装置２３３は、ハードウェアで構成されてもよいし、ソフトウェアで構成されたものであってもよい。ソフトウェアであれば、バージョンアップによって機能を更新することができるので、画像処理装置２３３は、ソフトウェアで構成されることが好ましい。

なお、コンピュータ５が書画カメラ１の画像処理装置２０３の機能を備えることにより、カメラ部１１には、画像処理用のハードウェアを実装する必要がなくなるため、カメラ部１１には、市販の標準的なデジタルカメラを用いてもよい。

操作部２３４は、ユーザがデータ、コマンドを入力するためのスイッチ、キーを備えている。ＨＤＤ２３５は、予めインストールされた書画処理用のソフトウェア等のデータを記憶する。

ＣＰＵ２３６は、コンピュータ５の各部を制御するとともに、高解像度静止画の撮影を指示する撮影コマンド等を書画カメラ１に送信して書画カメラ１を制御する。ＲＯＭ２３７は、ＣＰＵ２３６が実行する基本的なプログラムコード等を記憶する。ＲＡＭ２３８は、ＣＰＵ２３６が実行するのに必要なデータを記憶する。

次に実施形態２に係る書画カメラ１の基本動作（書画カメラ基本動作）を図３８に示すフローチャートに従って説明する。書画カメラ１のＣＰＵ２０６は、インタフェース装置２０８、画像圧縮装置２０７やメモリ２０１内の作業メモリの初期化を行う（ステップＳ３０１）。次に、ＣＰＵ２０６は、光学レンズ装置１０１の焦点、露出、ホワイトバランス等、カメラ設定パラメータを動画モードに初期化する（ステップＳ３０２）。

続いて、ＣＰＵ２０６は、インタフェース装置２０８をチェックして、コンピュータ５からの撮影コマンドを受信したか否かを判定する（ステップＳ３０３）。撮影コマンドを受信していないと判定した場合（ステップＳ３０３；Ｎｏ）、ＣＰＵ２０６は、操作部２０４からの操作情報に基づいて操作部２０４の画像調整キーが押下されたか否かを判定する（ステップＳ３０４）。

画像調整キーが押下されたと判定した場合（ステップＳ３０４；Ｙｅｓ）、ＣＰＵ２０６は、押下された画像調整キーの種別情報を、インタフェース装置２０８を介してコンピュータ５に送信し（ステップＳ３０５）、イメージセンサ１０２から低解像度画像を読み込む（ステップＳ３０６）。一方、画像調整キーが押下されていないと判定した場合（ステップＳ３０４；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３０５をスキップする。

続いて、ＣＰＵ２０６は、画像圧縮装置２０７を制御し、読み込んだ画像データを圧縮する（ステップＳ３０７）。ＣＰＵ２０６は、圧縮した低解像度画像のデータをインタフェース装置２０８を介して、例えば、３０フレーム程度の速度でコンピュータ５に送信し（ステップＳ３０８）、その後、ステップＳ３０２に戻る。

このようにして、書画カメラ１は、撮影コマンドを受信しない限り、低解像度画像を定期的にコンピュータ５に送信する。

一方、撮影コマンドを受信したと判定した場合（ステップＳ３０３；Ｙｅｓ）、ＣＰＵ２０６は、イメージセンサ１０２、光学レンズ装置１０１の撮影モードを高解像度の静止画モードに設定して（ステップＳ３０９）、高解像度静止画の撮影を行うようにカメラ部１１を制御する（ステップＳ３１０）。

ＣＰＵ２０６は、カメラ部１１によって撮影された画像データを画像圧縮装置２０７に送り、画像圧縮装置２０７にて受け取った画像データを圧縮する（ステップＳ３１１）。

ＣＰＵ２０６は、画像圧縮装置２０７にて圧縮した高解像度静止画像のデータを、インタフェース装置２０８を介してコンピュータ５に送信する（ステップＳ３１２）。そして、ＣＰＵ２０６は、再び、低解像度の動画モードに設定し（ステップＳ３１３）、その後、ステップＳ３０２に戻る。

コンピュータ５は、ＨＤＤ２３５にインストールされた書画処理用のソフトウェアを起動させ、図３９，図４０及び図４１に示すフローチャートに示すＰＣ書画基本処理を実行する。ＣＰＵ２３６は、図３９に示すように、まず、通信等の初期化を行う（ステップＳ３２１）。次に、ＣＰＵ２３６は、データを受信したか否かを判定すると共に受信したデータの内容を判別する（ステップＳ３２２）。

受信したデータが低解像度動画像であると判別した場合、ＣＰＵ２３６は、圧縮されている画像に対して圧縮デコードを行うことにより、圧縮データを非圧縮データに変換する（ステップＳ３２３）。そして、ＣＰＵ２３６は、数１に従って画像変化量ＭＤを算出する（ステップＳ３２４）。

続いて、ＣＰＵ２３６は、撮影モードが動画モードか静止画モードであるかを判定する（ステップＳ３２５）。初期状態では、撮影モードが動画モードに設定されているので、ＣＰＵ２３６は、撮影モードは動画モードと判定する（ステップＳ３２５；Ｙｅｓ）。この場合、ＣＰＵ２３６は、受信した低解像度画像の描画を行い（ステップＳ３２６）、描画された低解像度画像のデータをプロジェクタ２に出力することによって、この画像をスクリーン３に投影する。

ＣＰＵ２３６は、前回撮影した画像との画像変化量ＭＤを、数１に従って求める。そして、ＣＰＵ２３６は、求めた画像変化量ＭＤと予め設定された閾値Thresh1とを比較し、比較結果に基づいて画像に動きがあるか否かを判定する（ステップＳ３２７）。

画像に動きがある（ＭＤ≧Thresh1）と判定した場合（ステップＳ３２７；Ｙｅｓ）、ＣＰＵ２３６は、静止時間Ptimeをクリアして（図４０のステップＳ３３６）、ステップＳ３２２に戻る。

一方、画像に動きがない（Thresh1＞ＭＤ）と判定した場合（ステップＳ３２７；Ｎｏ）、ＣＰＵ２３６は、静止時間Ptimeが０であるか否かを判別する（ステップＳ３２８）。静止時間Ptimeが０であると判別した場合には（ステップＳ３２８；Ｙｅｓ）、ＣＰＵ２３６は、事前画像処理要求をセットする（ステップＳ３２９）。事前画像処理要求信号がセットされると、ＰＣ書画基本処理が実行されているタスクとは別のタスクにて図８のフローチャートに示す事前画像処理が開始される。一方、静止時間Ptimeが０でないと判別した場合には（ステップＳ３２８；Ｎｏ）、ＣＰＵ２３６は、ステップＳ３２９の処理をスキップし、事前画像処理は開始しない。

続いて、ＣＰＵ２３６は、静止時間Ptimeに１を加算する（ステップＳ３３０）。そして、ＣＰＵ２３６は、静止時間Ptimeが予め設定された所定時間HoldTimeに達したか否かを判定する（ステップＳ３３１）。所定時間HoldTimeに達していない（Ｐtime＜HoldTime）と判定した場合（ステップＳ３３１；Ｎｏ）、ＣＰＵ２３６は、ステップＳ３２２に戻って動画モードを持続し、次のデータを受信するまで待機する。

一方、所定時間HoldTimeに達した（Ｐtime≧HoldTime）と判定した場合（ステップＳ３３１；Ｙｅｓ）、ＣＰＵ２３６は、撮影モードを静止画モードに設定し（ステップＳ３３２）、高解像度静止画像の撮影を指示する撮影コマンドを送信する（ステップＳ３３３）。その後、ＣＰＵ２３６は、ステップＳ３２２に戻り、書画カメラ１から静止画データを受信するまで待機する。

そして、撮影画像が静止画モードになると（ステップＳ３２５；Ｎｏ）、ＣＰＵ２３６は、画像変化量ＭＤと閾値Thresh2とを比較して画像に動きがあるか否かを判定する（図４０のステップＳ３３４）。

画像変化量ＭＤが閾値Thresh2以上である場合（ステップＳ３３４；Ｙｅｓ）、ＣＰＵ２３６は、撮影モードを動画モードに設定し（ステップＳ３３５）、静止時間Ptimeをリセットする（ステップＳ３３６）。その後、ＣＰＵ２３６は、図３９のステップＳ３２２に戻り、次のデータを受信するまで待機する。

一方、画像変化量ＭＤが閾値Thresh2未満である場合（ステップＳ３３４；Ｎｏ）、ＣＰＵ２３６は、図３９のステップＳ３２２に戻って静止画モードのまま、次のデータを受信するまで待機する。

受信したデータが高解像度画像であると判別した場合、ＣＰＵ２３６は、高解像静止画像のデコードを行う（図４１のステップＳ３３７）。次に、ＣＰＵ２３６は、図８のフローチャートに示す事前画像処理が終了したか否かを判定し（ステップＳ３３８）、終了していないと判定した場合（ステップＳ３３８；Ｎｏ）、この事前画像処理が終了するまでＰＣ書画基本処理の実行をループして待つ。

そして、事前画像処理が終了したものと判定した場合（ステップＳ３３８；Ｙｅｓ）、ＣＰＵ２３６は、画像変換処理を実行する（ステップＳ３３９）。この画像変換処理において、ＣＰＵ２３６は、ステップＳ３３にて抽出された射影パラメータに従って、四角形の撮影対象の切抜きと正面画像への射影変換とを行う。

また、ＣＰＵ２３６は、ステップＳ３７にて抽出された画像効果補正用パラメータを用いて、画像効果処理を実行する（ステップＳ３４０）。

そして、ＣＰＵ２３６は、画像を描画してプロジェクタ２に出力する（ステップＳ３４１）。その後、ＣＰＵ２３６は、図３９のステップＳ３２２に戻って次のデータを受信するまで待機する。

受信したデータがキーの操作情報に関するものと判別すれば、ＣＰＵ２３６は、撮影モードが静止画モードであるか否かを判定する（図４１のステップＳ３４２）。静止画モードでないと判定した場合（ステップＳ３４２；Ｎｏ）、ＣＰＵ２３６は、図３９のステップＳ３２２に戻り、次のデータを受信するまで待機する。

一方、静止画モードであると判定した場合（図４１のステップＳ３４２；Ｙｅｓ）、ＣＰＵ２３６は、画像変換調整処理を実行し（ステップＳ３４３）、その後、ステップＳ３３９の画像変換処理を実行する。そして、ＣＰＵ２３６は、画像変換の内容に従ってステップＳ３４０の画像効果処理を実行し、画像処理装置２３３にて画像を描画した後、プロジェクタ２に出力する。その後、ＣＰＵ２３６は、図３９のステップＳ３２２に戻り、次のデータを受信するまで待機する。

以上説明したように、実施形態２によれば、コンピュータ５が画像処理を実行するため、画像処理用のハードウェアをカメラ部１１に実装する必要がなくなり、市販の標準的なデジタルカメラを用いて撮影画像投影装置を構成することができる。この結果、撮影画像投影装置を安価に構成することができる。

なお、本発明は、上記実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記実施形態の変形態様について、説明する。

上記実施形態において、原稿４の形状は、四角形であった。しかしながら、本発明は、これに限定されず、原稿の形状は、任意であり、例えば五角形であってもよい。この場合、撮影画像投影装置は、原稿４の輪郭から五角形を取得し、五角形の各頂点座標から射影パラメータを抽出すればよい。

また、上記実施形態において、画像処理装置は、撮影画像投影装置に適用されていたが、本発明は、これに限定されるものではなく、デジタルカメラ等、他の撮影装置に適用してもよい。

さらに、上記実施形態において、ＣＰＵ２３６等が実行するプログラムは、予めＲＯＭ等に記憶されていた。しかしながら、本発明は、これに限定されず、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact
Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、プログラムを記憶する記憶媒体は、上述のものに限定されず、例えば、Ｂｌｕｅ−Ｒａｙ−Ｄｉｓｃ（Ｒ）やＡＯＤ（Advanced Optical Disc）などの青色レーザを用いた次世代光ディスク記憶媒体、赤色レーザを用いるＨＤ−ＤＶＤ９、青紫色レーザを用いるＢｌｕｅ−Ｌａｓｅｒ−ＤＶＤ等、今後開発される種々の大容量記憶媒体を用いて本発明を実施することが可能であることはいうまでもない。

また、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態１に係る撮影画像投影装置の構成を示す図である。 図１に示す書画カメラの構成を示すブロック図である。 図２に示す画像処理装置の機能を説明するための図である。 図２に示す操作部に備えられている各キーの機能を説明するための図である。 基本投影処理を示すフローチャートである。 基本投影処理を示すフローチャートである。 基本投影処理を示すフローチャートである。 事前画像処理を示すフローチャートである。 図２に示す画像処理装置の切り抜き処理を説明するための図である。 射影パラメータの抽出とアフィン変換の基本的な考え方の説明図である。 図８に示す射影パラメータ抽出処理の詳細を示すフローチャートである。 縮小輝度画像とエッジ画像とを説明するための図である。 Ｒｏｂｅｒｔｓフィルタの機能を説明するための図である。 ラドン変換の原理を説明するための図である。 Ｘ、Ｙ座標系の直線をラドン変換して極座標系のデータを取得する動作を説明するための図である。 ピーク点抽出処理を示すフローチャートである。 ピーク点を検出して抽出した直線から、四角形を検出する動作を説明するための図である。 四角形検出処理を示すフローチャートである。 四角形選択処理を示すフローチャートである。 図１１に示すアフィンパラメータ抽出処理の詳細を示すフォローチャートである。 射影変換後の画像から元の画像を得るための逆変換を説明するための図である。 図６に示す画像変換処理の詳細を示すフローチャートである。 図２に示す画像処理装置が切り出した画像例を示す図である。 図２４（ａ）は、輝度ヒストグラムを示す図であり、図２４（ｂ）は、色差ヒストグラムを示す図である。 図８に示す画像効果補正用パラメータ抽出処理の詳細を示すフローチャートである。 図２６（ａ）は、背景色が白の場合の画像効果処理を示す図であり、図２６（ｂ）は、背景が黒の場合の画像効果処理を示す図であり、図２６（ｃ）は、背景が白又は黒以外の場合の画像効果処理を示す図である。 カラー調整を行うための輝度変換グラフの一例を示す図である。 背景の白色化を説明するための図である。 図６に示す画像効果処理の詳細を示すフローチャートである。 図２９に示す背景白色化処理の詳細を示すフローチャートである。 射影変換によって画像の歪みを補正することができなかった例を示す図である。 元の画像、射影変換画像、拡大した射影変換画像との対応関係を説明するための図である。 図７に示す画像変換調整処理の詳細を示すフローチャートである。 図７に示す画像変換調整処理の詳細を示すフローチャートである。 図７に示す画像変換調整処理の詳細を示すフローチャートである。 本発明の実施形態２に係る撮影画像投影装置の構成を示す図である。 図３６に示す書画カメラの構成を示すブロック図である。 書画カメラ基本処理を示すフローチャートである。 ＰＣ書画基本処理を示すフローチャートである。 ＰＣ書画基本処理を示すフローチャートである。 ＰＣ書画基本処理を示すフローチャートである。

符号の説明

１…書画カメラ、２…プロジェクタ、３…スクリーン、４…原稿、１１…カメラ部、２０１…メモリ、２０２，２３２…表示装置、２０３，２３３…画像処理装置、２０４，２３４…操作部、２０６，２３６…ＣＰＵ

Claims (12)

1. カメラにより所定の解像度で撮影された画像に動きがあるか否かを判別する動き判別手段と、
   前記動き判別手段により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記カメラに設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該カメラに設定する解像度設定手段と、
   前記カメラにより第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出手段と、
   前記補正用パラメータ抽出手段により抽出されたパラメータを用いて前記カメラにより第２の解像度で撮影された画像を補正する画像補正手段と、
   を備える画像処理装置。
2. 前記補正用パラメータ抽出手段は、
   前記カメラにより第１の解像度で撮影された画像から、該画像の輪郭を形成する多角形を検出する多角形検出手段と、
   前記多角形検出手段によって検出された多角形の頂点の座標からアフィンパラメータを取得するアフィンパラメータ取得手段と、
   を含み、
   前記画像補正手段は、前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて前記カメラにより第２の解像度で撮影された画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正する傾き補正手段を含む、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記アフィンパラメータ取得手段により取得されたアフィンパラメータの各要素を所定倍することにより、該アフィンパラメータのスケールを前記第１の解像度で撮影された画像のスケールから前記第２の解像度で撮影された画像のスケールに変更するスケール変更手段をさらに備える、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正用パラメータ抽出手段は、
   前記カメラにより第１の解像度で撮影された画像に含まれる画素の数を輝度毎に計数して該画像の輝度の分布を示す輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、
   前記カメラにより第１の解像度で撮影された画像に含まれる画素の数を色差毎に計数し、該画像の色差の分布を示す色差ヒストグラムを生成する色差ヒストグラム生成手段と、
   前記輝度ヒストグラム生成手段により生成された輝度ヒストグラムから輝度の最大値、最小値及びピーク値とを求めると共に前記色差ヒストグラム生成手段により生成された色差ヒストグラムから色差のピーク値及び平均値を求め、該輝度の最大値、最小値及びピーク値と該色差のピーク値及び平均値とからなる画像効果補正用パラメータを取得する画像効果補正用パラメータ取得手段と、
   を含み、
   前記画像補正手段は、前記画像効果補正用パラメータ取得手段により取得された画像効果補正用パラメータを用いて前記カメラにより第２の解像度で撮影された画像に含まれる各画素の輝度及び色差を調整することにより、該画像の輝度及び色差を補正する輝度色差補正手段を含む、
   ことを特徴とする請求項１，２又は３に記載の画像処理装置。
5. 前記動き判別手段により画像に動きがあると判別された場合、前記補正用パラメータ抽出手段に前記画像から前記パラメータを抽出することを要求する補正用パラメータ抽出要求手段をさらに備える、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記補正用パラメータ抽出手段は、前記画像補正手段に前記画像から前記パラメータを抽出したことを通知する補正用パラメータ抽出通知手段を含む、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記補正用パラメータ抽出手段は、前記動き判別手段による動きの判別処理と前記解像度設定手段による解像度の設定処理と前記画像補正手段による画像の補正処理とが実行されるタスクとは別のタスクにて、前記パラメータの抽出処理を実行する、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記動き判別手段は、前記カメラにより撮影された画像の変化量を算出する画像変化量算出手段を含み、
   前記画像変化量算出手段により算出された画像の変化量が所定の閾値以上である場合、該画像に動きがあると判別し、該画像の変化量が所定の閾値未満である場合、該画像に動きがないと判別する、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像変化量算出手段は、前回撮影された画像と今回撮影された画像との各画素値の差分の絶対値の総和を前記画像の変化量として算出する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 所定の解像度で画像を撮影する撮影手段と、
    前記撮影手段により撮影された画像に動きがあるか否かを判別する動き判別手段と、
    前記動き判別手段により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記撮影手段に設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該撮影手段に設定する解像度設定手段と、
    前記撮影手段により第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出手段と、
    前記補正用パラメータ抽出手段により抽出されたパラメータを用いて前記撮影手段により第２の解像度で撮影された画像を補正する画像補正手段と、
    前記画像補正手段により補正された画像をスクリーン上に投影する投影手段と、
    を備える画像投影装置。
11. カメラにより所定の解像度で撮影された画像に動きがあるか否かを判別する動き判別工程と、
    前記動き判別工程により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記カメラに設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該カメラに設定する解像度設定工程と、
    前記カメラにより第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出工程と、
    前記補正用パラメータ抽出工程により抽出されたパラメータを用いて前記カメラにより第２の解像度で撮影された画像を補正する画像補正工程と、
    を備える画像処理方法。
12. コンピュータに、
    カメラにより所定の解像度で撮影された画像に動きがあるか否かを判別する動き判別手順と、
    前記動き判別手順により動きがあると判別された場合、前記所定の解像度として第１の解像度を前記カメラに設定し、動きがないと判別された場合、該第１の解像度よりも高い第２の解像度を該カメラに設定する解像度設定手順と、
    前記カメラにより第１の解像度で撮影された画像から該画像を補正するためのパラメータを抽出する補正用パラメータ抽出手順と、
    前記補正用パラメータ抽出手順により抽出されたパラメータを用いて前記カメラにより第２の解像度で撮影された画像を補正する画像補正手順と、
    を実行させるためのプログラム。