JP4929572B2 - 画像投影装置、画像投影方法、及び画像位置補正プログラム - Google Patents

Description

本発明は、原稿上の画像、例えば雑誌等の印刷物や手書き原稿を読み取ってスクリーンに拡大投影する画像投影装置（以下、プロジェクタ装置装置）及びその投影技術に関する。

不透明な原稿上の画像を読み取ってスクリーンに投影するプロジェクタ装置として、プレゼンテーション等の現場でセットした原稿の拡大画像を直接的にスクリーンに投影する仕組みのもの（例えば、特許文献１参照）や、読み取った画像データを記憶できるようにし、メモリに記憶した画像データを別のタイミングでより出してスクリーンに投影する仕組みのもの（例えば、特許文献２参照）がある。
特開平７−１０４７１３７号公報 特開２０００−２０６９７号公報

ここで、プロジェクタ装置一般の使い勝手上の課題として、セットティングの際と実際にプレゼンテータが使う場合の２つに大別できる。
このうち、プレゼンテータが使う場合の問題点として、上記特許文献１のプロジェクタ装置のようにプレゼンテーション等の現場でセットした原稿の拡大画像を直接的にスクリーンに投影する仕組（以下、ドキュメントプロジェクタ方式）のものでは、原稿台に原稿を載せる際に、原稿の向きを逆にしてしまったり原稿を傾けたまま乗せてしまい、スクリーンに投影したら原稿が逆向きだったり、文字や画像が傾いているといった課題がある。

また、上記特許文献２に記載のプロジェクタ装置のように読み取った原稿をメモリに保存しておき、プレゼンテーション等の現場で再生してスクリーンに投影する仕組み（以下、データプロジェクタ）のものの場合も原稿が逆向きであることに気付かずに読み取ったり、原稿が傾いていたような場合にはスクリーンに投影したら原稿が逆向きだったり、文字や画像が傾いているといったことが生じ得るといった課題がある。

本発明は、上述したような、プロジェクタ装置で原稿を投影する際に生じる不都合を解消するためになされたものであり、原稿が傾いていたり天地が逆のまま撮像されても自動的に正しい向きでスクリーンに投影されるプロジェクタ装置、画像投影方法、及び画像位置補正プログラムの提供を目的とする。

上記課題を解決するために、請求項１に記載の画像投影装置の発明では、原稿戴置面に戴置された原稿の画像を撮像して画像イメージを得る撮像手段と、前記原稿の姿勢を判定し、判定結果に基いて前記画像イメージを正立させる画像位置補正手段と、前記正立した画像イメージを投影する画像投影手段と、を備え、前記画像位置補正手段は、前記画像イメージから一文字分の文字イメージを切り出す文字切り出し手段と、前記文字イメージの特徴を抽出する抽出手段と、前記抽出した文字イメージの特徴と予め記憶されている複数の文字候補の特徴とを比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い文字を認識文字として決定する文字認識手段と、一文字分の前記認識文字の天地を含めた傾きを算出し、算出した当該傾きから前記原稿全体の傾きを算出する姿勢判定手段と、前記原稿の傾きに基づいて前記画像イメージを正立させる傾き補正手段と、を含むことを特徴とする。

また、請求項４に記載の画像投影方法の発明では、原稿戴置面に戴置された原稿の画像を撮像して画像イメージを得る工程と、前記原稿の姿勢を判定し、前記姿勢判定結果に基いて前記画像イメージを正立させる工程と、前記正立した画像イメージを投影する工程と、を備え、前記画像イメージを正立させる工程は、前記画像イメージから一文字分の文字イメージを切り出す工程と、前記文字イメージの特徴を抽出する工程と、前記抽出した文字イメージの特徴と予め記憶されている複数の文字候補の特徴とを比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い文字を認識文字として決定する工程と、一文字分の前記認識文字の天地を含めた傾きを算出し、算出した当該傾きから前記原稿全体の傾きを算出する工程と、前記原稿の傾きに基づいて前記画像イメージを正立させる工程と、を含むことを特徴とする。

また、請求項７に記載の画像位置補正プログラムの発明では、原稿戴置面に戴置された原稿の画像を撮像して画像イメージを得る撮像手段と、前記画像イメージを投影する画像投影手段と、を備えた画像投影装置において実行可能なプログラムであって、前記画像イメージから一文字分の文字イメージを切り出させるプログラムステップと、前記文字イメージの特徴を抽出させるプログラムステップと、前記抽出された文字イメージの特徴と予め記憶されている複数の文字候補の特徴とを比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い文字を認識文字として決定させるプログラムステップと、一文字分の前記認識文字の天地を含めた傾きを算出し、算出した当該傾きから前記原稿全体の傾きを算出させるプログラムステップと、前記原稿の傾きに基づいて前記画像イメージを正立させるプログラムステップと、をさらに含むことを特徴とする。

本発明により、原稿の天地が逆だったり傾いていても、画像位置補正手段で姿勢を補正できる。従って、原稿の天地が逆だったり傾いていても画像投影装置は正しい向きの画像をスクリーンに投影できる。

以下、本発明の実施例を図面を参照しながら説明する。
図１は、本発明の各実施形態（実施形態１〜実施形態３）におけるプロジェクタ装置の概観図であり、図２はこのプロジェクタ装置の使用説明図である。
図１においてプロジェクタ装置１の筐体２の上面には所定の大きさの板状透明素材（強化ガラス等）で作られた原稿戴置面３が設けられており、その原稿戴置面３の一辺側には原稿戴置面３の全体を覆って外部光を遮ることができ、且つ、原稿戴置面３に適宜戴置される物体（一般的には書籍や紙等の印刷物や図面であり、以下これらを総称して「原稿」という）に対して上から若干の質量をもって押圧することができる押さえ板４が取り付けられている。ここで、原稿戴置面３の大きさ（縦横の平面寸法）は、規格化された用紙サイズ相当である。

また、筐体２の任意面（図１では上面）には操作部５が設けられており、この操作部５にはタッチパネル付きの平面表示装置６や各種の操作ボタン（図示の例ではモードボタン７、スタートボタン８、及び終了ボタン９）が操作性や視認性などを考慮した適当なデザインで配置されている。
また、筐体２の一つの側面には投影レンズ１０が設けられており、このプロジェクタ装置１を使用する際は図２に示すようにスクリーン１１の方向に投影レンズ１０が向くようにユーザは筐体２の置き場所を適宜調節する。なお、筐体２の下面に取り付けられた足１２のすべて又はその一部は投影レンズ１０の軸線の仰角を所定範囲で調節できるように高さ調節式になっている。

図３は、プロジェクタ装置１の簡略的な内部ブロック図であり、プロジェクタ装置１は筐体２の内部に、原稿照明ランプ２０ａ、２０ｂ、撮像レンズ２１、色分離フィルタ２２、モータ２３、撮像素子２４、信号処理部２５、透過率補正アンプ２６、Ａ／Ｄ変換部２７、第１記憶部２８、第２記憶部２９、画像位置補正部３０、投影画像生成部３１、Ｄ／Ａ変換部３２、画像投影部３３、及び制御部３４等を実装している。

原稿照明ランプ２０ａ、２０ｂは原稿戴置面３に戴置された原稿３５を下から照明するためのものである。ここで、原稿３５はプロジェクタ装置１を用いてスクリーン１１（図２）に投影しようとする文字（文字列を含む）、図形、記号、写真、絵などの像又はそれらの混在像が描かれた（もしくは印刷された）もののことをいう。このようなものとしては、例えば、紙等の印刷物（手書き物を含む）や書籍等があるが、これに限定されず、金属等の固形物であってもよいし、あるいは、例えば、ガラスやＯＰＨシートのような透明素材であってもよい。

撮像レンズ２１は、原稿３５からの反射光Ｐａを集光し、色分離フィルタ２２を介して撮像素子２４の受光面に原稿３５の像を結ばせる。色分離フィルタ２２は光の三原色（赤：Ｒ、緑：Ｇ、青：Ｂ）のフィルタからなり、順次撮像素子の光軸上に位置するように設けられ、一つの撮像素子２４で光の三原色の像を順次取り出すことができる。

撮像素子２４は被写体の二次元画像を撮像するものであり、典型的には毎秒数十フレームの画像を撮像するＣＣＤ（Charge Coupled Diode）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像デバイスである。

信号処理部２５は、撮像素子２４からの信号を処理して毎秒数十フレームの画像信号として出力する。また、透過率補正アンプ２６は各色成分ごとの信号振幅差を補正するためのものである。
Ａ／Ｄ変換部２７は透過率補正アンプ２６の出力（アナログ画像信号）をデジタル画像信号（以下、画像データと記す）に変換する。この変換は第一記憶部２８や第二記憶部２９にデジタルの記憶デバイスを用いる場合に必要である。

第一記憶部２８はＡ／Ｄ変換部２７から出力された画像データを記憶するためのものであり、例えば、ＤＲＡＭ等のデジタル半導体記憶デバイスが用いられる。第一記憶部２８の記憶容量は、少なくとも、１フレーム分（つまり、原稿１枚分）の画像データを記憶するに足りるだけはあり、この第一記憶部２８の記憶内容は画像データの各フレーム毎に書き替えられる。

また、第二記憶部２９はＡ／Ｄ変換部２７から出力された画像データを記憶する点で第一記憶部２８と同様の働きをするが、フラッシュメモリ等の大容量のデジタル半導体記憶デバイスや磁気ディスク装置等を用い、予め読み取った複数の原稿の画像データを保存記憶するために用いられる。なお、後述（図４）するように画像位置補正部３０で位置補正した画像データを第二記憶部２９に記憶することもできる。

画像位置補正部３０は、第一記憶部２８又は第二記憶部２９に記憶されている画像データを１フレーム分ずつ調べ、読み取った原稿の天地が逆であったり傾いていたりした場合に画像の向きを正しく補正する。
画像位置補正部３０による位置補正方法については、後述する実施形態１〜実施形態３で説明するが、要約すれば下記（１）〜（３）の方法が考えられそれぞれ実施形態１〜実施形態３に対応する。

つまり、画像補正部３０は下記（１）〜（３）の方法にそれぞれ対応して構成されるのであり、換言すれば、本発明のプロジェクタ装置１は下記（１）〜（３）の方法にそれぞれ対応して構成される。また、画像補正部３０は下記（１）〜（３）の方法のいずれかを組み合わせて構成することもできる。つまり、本発明のプロジェクタ装置１は下記（１）〜（３）の方法のいずれかを組み合わせて構成することもできる。なお、画像位置補正部３０はプログラムで構成することもできる。
（１）取り込んだ原稿上の文字認識を行って所定数以上の文字が逆だったり傾いていた場合に画像を正しい位置に補正する（自動正立させる）方法、（２）原稿の所定の位置に印刷したマークやパンチ穴の位置から原稿の天地の正逆を検知して画像の位置を補正する方法、（３）原稿や原稿中の表や罫線の輪郭抽出を行い、天地の正逆や傾きを検知して画像の位置を補正する方法。

投影画像生成部３１は、最終的に、スクリーン１１（図２）に投影する画像（投影画像）を生成する。投影画像は第一記憶部２８に記憶されているデータか第二記憶部２９に記憶されているデータのいずれか一方から生成される。投影画像が第一記憶部２８から生成される場合は現在撮像している原稿の画像に画像位置補正部３０による処理を施したものとなり、投影画像が第二記憶部２９から生成される場合はあらかじめ撮像され、第二記憶部２９に記憶されている画像データに画像位置補正部３０による処理を施したものとなる。なお、後述（図４）するように画像位置補正部３０で位置補正若しくは加工した画像を第二記憶部２９に記憶するように構成した場合は、生成される投影画像は第二記憶部２９に記憶されている画像データそのものとなる。

Ｄ／Ａ変換部３２は、投影する画像データ（デジタル画像信号）をアナログ変換するためのものであり、画像投影部３３はアナログ変換された投影画像のＲ、Ｇ、Ｂ混合反射光Ｐｂを生成し、投影レンズ１０（図１、図２）を介してスクリーン１１に投射する。

制御部３４は、プロジェクタ装置１の全体動作を制御するものであり、例えば、特に限定しないがマイクロコンピュータによって構成されている。制御部３４は、操作部５からの操作入力等によって様々な制御動作を行う。制御部３４の制御の主要なものは第一に読み取った原稿の天地が逆であったり傾いていたりした場合に画像の向きを正しく補正する画像位置補正制御であり、第二に投影画像生成部３０における投影画像の生成制御である。

以下の実施形態の説明では、本発明を適用可能なプロジェクタ装置１として、図１に示したような第一の記憶部２８及び第二の記憶部２９を備えたドキュメントプロジェクタモード（今読み取った原稿の画像を投影するモード）とデータプロジェクタモード（読み取った画像データを予め第二記憶部２９に記憶しておき、別の機会に第二記憶部２９から読み出した画像を投影するモード）を有するプロジェクタ装置を例とするが、本発明は、図１の構成で第二の記憶部２９を省略した専用のドキュメントプロジェクタ装置にも適用でき、また、第一の記憶部２８を省略した専用のデータプロジェクタ装置にも適用できる。

図４は、図１のプロジェクタ装置１で、画像位置補正部３０の位置を第一記憶部２８と第二記憶部２９の間に位置させた場合を示すブロック図であり、この例では画像位置補正部３０の位置以外の構成は図３の内部ブロック図と同様である。
このように構成することにより、第一記憶部２８に取り込んだ画像の位置補正を画像位置補正部３０で行ってから第二記憶部２９に記憶することができる。

（実施形態１）
本実施形態では、図１又は図４のプロジェクタ装置１において、第一記憶部２８に取り込んだ画像から文字を切り出し、いくつかの文字について文字認識を行って所定数以上の文字が逆だったり傾いていた場合に画像の位置を正す。

図５は本実施形態における画像位置補正部３０の構成例を示すブロック図であり、図６は傾き補正の概念を示す説明図である。
図５で、画像位置補正部３０は、文字切り出し部３０１−１、文字認識部３０１−２、原稿姿勢判定部３０１−３、傾き補正部３０１−４を有しており、文字認識部３０１−２は認識処理部３０１−２１及び認識辞書３０１−２２からなる。

文字切り出し部３０１−１は第一記憶部２８に記憶されている原稿１枚分の画像データ（イメージデータ）から１文字分のイメージデータを切り出す。
文字認識部３０１−２において認識処理部３０１−２１は切り出された１文字分のイメージデータの正規化及び傾き補正を行った後、その文字イメージの特徴（例えば、外郭特徴）を抽出し、抽出した特徴と認識辞書３０１−２２に登録されている各文字候補の特徴との距離をそれぞれ算出し、距離が最小の候補文字を認識文字として決定する。また、認識処理部３０１−２１は１枚分の原稿のイメージデータのうちランクの高い文字（例えばランク１、２）の文字を所定数だけ認識すると認識処理を中止する。なお、文字認識の方法は上述した特徴抽出の方法に限定されず、これ以外の公知の方法を用いることもできる。 ここでランクが高い文字とは、左右線対称の字体（例えば、「中」）や画数の少ない字体（例えば、「一」）をいい、ランクが低い文字とは、左右非対称の字体（例えば、「付」）や画数の多い字体（例えば、「勢」）をいう。
認識辞書３０１−２２は、例えば、ＪＩＳ第一水準と各種の英数字のテンプレートを登録している。また、辞書３０１−２２内の各文字は傾き判断のし易さでランク付けされている。

原稿姿勢判定部３０１−３は、認識処理部３０１−２１で認識処理したランクの高い文字の切り出し文字イメージの傾き又は文字の正中線（図６（ａ））から原稿の傾き角度を算出して傾き補正部３０１−４に渡す。傾き角度は、例えば、文字イメージの傾き（又は文字の正中線）の総和平均を求めることによって算出することができる。
傾き補正部３０１−４は原稿姿勢判定部３０１−３から受け取った傾き角度を元に、原稿の画像イメージ（図６（ｂ））を座標変換して正位置に補正、つまり、正立させ、正立させた１フレーム分の画像データを投影画像生成部３１に出力する。

＜プロジェクタ装置の動作例＞
図７はドキュメントプロジェクタモードにおけるプロジェクタ装置の動作例を示すフローチャートであり、ステップＳ５〜Ｓ１１は制御部３４の制御による画像位置補正部３０の動作に相当し、プログラムで構成することもできる。

ユーザはプロジェクタ装置１を用いて、原稿戴置面３に戴置した原稿をスクリーン１１に投影しようとする場合には、モードボタン７を１回押してドキュメントプロジェクタモードを選択するので、制御部３４は操作部５からの信号を調べ、モードボタン７が１回押された場合にはステップＳ２に進む（ステップＳ１）。

ドキュメントプロジェクタモードで原稿をスクリーン１１に投影する場合には、ユーザは原稿戴置面３に原稿を戴置してスタートボタン８を押すので、制御部３４は操作部５からの信号を調べ、スタートボタンが押された場合にはステップＳ３に進み、終了ボタン９が押された場合にはドキュメントプロジェクタモードを終了する（ステップＳ２）。

スタートボタン８が押されると、制御部３４はプロジェクタ装置１を制御して原稿戴置面３上の原稿を撮像して原稿１枚分の画像データ、つまり、１フレーム分の画像データを生成して第一記憶部２８に記憶し（ステップＳ３）、撮像した画像イメージデータ（クラスタデータ）を展開する（ステップＳ４）。

次に、画像位置補正部３０の文字切り出し部３０１−１で原稿１枚分の画像イメージから１文字分のイメージを切り出し（ステップＳ５）、画像認識部３０１−２で切り出した画像イメージの正規化及び傾き補正を行った後（ステップＳ６）、認識辞書３０１−２２を用いて文字認識を行う（ステップＳ７）。

次に、画像姿勢判定部３０１−３で、画像認識部３０１−２で認識された文字が傾き判断のし易さのランクが高い文字の場合はカウンタに１を加えると共に、その文字の切り出し文字イメージの傾きの値を保持し、ランクの高い文字でない場合はステップＳ５に戻って次の文字イメージの切り出しを行う（ステップＳ８）、カウンタの値が所定数Ｋ（例えば、２０）以上になった場合はステップＳ１０に進み、そうでない場合はステップＳ５に戻って次の文字イメージの切り出しを行う（ステップＳ９）。

カウンタの値が所定数以上になった場合は、保持した傾きの値の総和をとってカウンタの値で除算して傾き補正値を得てその値を傾き補正部３０１−４に渡してからカウンタをゼロクリアする（ステップＳ１０）。

傾き補正部３０１−４では画像姿勢判定部３０１−３から受け取った傾き角度を元に、原稿の画像イメージを座標変換して正位置に補正、つまり、正立させ、正立させた１フレーム分の画像データを投影画像生成部３１に出力する（ステップＳ１１）。

投影画像生成部３１で傾き補正部３０１−４から受け取った画像データを元にスクリーン１１に投影する画像を生成し（ステップＳ１２）、Ｄ／Ａ変換部３２で画像データ（デジタル画像信号）をアナログ変換し、画像投影部３３でアナログ変換された投影画像のＲ、Ｇ、Ｂ混合反射光Ｐｂを生成し、投影レンズ１０を介してスクリーン１１に投射し、ステップＳ２に戻る（ステップＳ１３）。

上記図７に示したフローチャートにおける画像位置補正部３０の動作（ステップＳ５〜Ｓ１１）により、文字が主体の原稿の場合には原稿の天地が逆だったり傾いていても姿勢を補正した１フレーム分の画像データを投影画像生成部３１に出力できるので、投影画像補正部３１はその画像データから正しい位置の原稿イメージを再生できる。従って、原稿の天地が逆だったり傾いていてもプロジェクタ装置１は正しい向きの画像をスクリーン１１に投影できる。また、ランクの高い文字を所定数認識した時点で認識処理を中止して傾き補正を行うので、原稿１枚分の文字認識を行う場合に比べ処理速度が速い。また、所定数のランクの高い文字の傾きから原稿の傾きを算出するので、手書き文字等、文字自体にばらつきがある場合にも、傾き補正値の精度（確からしさ）を高めることができる。
更に、文字認識により原稿の傾きを判定するので、原稿の形状が矩形以外の形状、例えば、丸型や楕円形、台形、多角形であっても書かれた文字が正立するように原稿イメージの傾きを補正して投影できる。

（実施形態２）
本実施形態では、図１又は図４のプロジェクタ装置１において、第一記憶部２８に取り込んだ原稿画像の所定の位置を調べ、マークやパンチ穴の像から原稿の天地の正逆を判定して画像の位置を補正する。

図８は本実施形態における画像位置補正部３０の構成例を示すブロック図であり、画像位置補正部３０は、原稿姿勢判定部３０２−１及び傾き補正部３０２−２からなる。
原稿姿勢判定部３０２−１は、第一記憶部２８又は第二記憶部２９に記憶された原稿イメージの所定の位置にマーク或いはパンチ穴があるか否かを判定する。
傾き補正部３０２−２は原稿姿勢判定部３０２−１での判定結果が「天地が逆である」ことを意味する場合に、原稿イメージを回転させて画像の位置を補正し、位置補正した１フレーム分の画像データを投影画像生成部３１に出力する。

＜四隅のいずれかにマークを設けた例＞
図９はマーク位置の説明図であり、図１０はマークを設けた原稿用紙の実施例を示す図である。
プレゼンテータは、原稿９０の四隅９１〜９４のうちの所定の隅、例えば、図１０に示すように右上隅９１にマーク１０１を付け、四隅以外の部分に内容を書き、プロジェクタ装置１は投影する原稿のマークがあるところを右上と判断して投影する。なお、投影の際、マーク１０１は映さない。なお、図１０に示すようにマーク１０１を右上に予め印刷した原稿を用いてもよい。また、マークの位置は右隅に限定されず、プロジェクタ装置１の仕様で一意に定めたものであれば、右下でも、左下でも、左上でもよい、

図１１は、画像位置補正部の動作例を示すフローチャートであり、ドキュメントプロジェクタモードでのプロジェクタ装置の動作は図７に示したフローチャートのステップＳ１〜Ｓ１３のうち、ステップＳ５〜Ｓ１１を下記ステップＴ１、Ｔ２に置き換えたものとなる。つまり、図１１で、ステップＳ１〜Ｓ４、Ｓ１２、Ｓ１３は図７のフローチャートと同様である。
図１１において、図７のステップＳ４でメモリに展開された原稿イメージの四隅を原稿姿勢判定部３０２−１で調べ、マークの付いている位置が、右上なら回転角度０°、右下なら回転角度２７０°、左下なら回転角度１８０°、左上なら回転角度９０°として回転角度を決定する（ステップＴ１）、傾き補正部３０２−２では原稿姿勢判定部３０２−１で決定された回転角度を元に、原稿の画像イメージを座標変換して正位置に補正、つまり、正立させるとともにマークを消去し、正立した１フレーム分の画像データを投影画像生成部３１に出力する（ステップＴ２）。

上記図１１に示したフローチャートにおける画像位置補正部３０の動作（ステップＴ１、Ｔ２）により、原稿の天地が逆だったり傾いていても、原稿の内容に拘わらず、姿勢を補正した１フレーム分の画像データを投影画像生成部３１に出力できるので、投影画像補正部３１はその画像データの天地を正しく補正できる。従って、四隅のうち定められた位置にマークをした原稿を用いれば、原稿を戴置する際、原稿の天地が逆であってもプロジェクタ装置１は正立画像をスクリーン１１に投影できる。また、原稿のマークで天地を判断するようにしたので簡易なアルゴリズムで原稿の天地の補正を行うことができる。

＜原稿の上部又は左側部にパンチ穴を設けた例＞
図１２はパンチ穴を設けた原稿用紙の実施例を示す図である。プロジェクタ装置１は投影する原稿が縦長（図１２（ａ））の場合はパンチ穴があるところを上側と判断し、原稿が横長（図１２（ｂ））の場合はパンチ穴があるところを左側部と判断して投影する。なお、投影の際、パンチ穴は映さない。

上述したようなパンチ穴で原稿の天地又は左右を判断するには、図１１の画像位置補正部３０の動作を示すフローチャートのステップＴ１を、「図７のステップＳ４において原稿姿勢判定部３０２−１でメモリに展開された原稿イメージの上部、下部、左側部、及び右側部を調べ、パンチ穴が上部又は左側部にあるなら回転角度０°、下部又は右側部にあるなら回転角度１８０°として回転角度を決定する」ように構成すればよい。

図１１のフローチャートに示した画像位置補正部３０の動作（ステップＴ１、Ｔ２）のうち、ステップＴ１（つまり、原稿姿勢判定部３０２−１）の動作を上述したように構成することにより、原稿の天地が逆であっても、原稿の内容に係わらず、正立した１フレーム分の画像データを投影画像生成部３１に出力できる。従って、パンチ穴のある原稿を用いれば、原稿を戴置する際に天地が逆であってもプロジェクタ装置１は正立した画像をスクリーン１１に投影できる。また、書類のパンチ穴で原稿の天地や左右を判断するようにしたので簡易なアルゴリズムで原稿の位置補正（この例では、天地又は左右の補正）を行うことができるし、原稿にマークを付けたり印刷する必要がない。

（実施形態３）
本実施形態では、図１又は図４のプロジェクタ装置１において、第一記憶部２８に取り込んだ原稿画像の所定の位置を調べ、原稿や原稿中の表や罫線の輪郭抽出を行い、天地の正逆や傾きを検知して画像の位置を補正する。

図１３は本実施形態における画像位置補正部３０の構成例を示すブロック図であり、画像位置補正部３０は、輪郭抽出部３０３−１、原稿姿勢判定部３０３−２、及び傾き補正部３０３−３からなる。
輪郭抽出部３０３−１は第一記憶部２８又は第二記憶部２９に記憶された原稿イメージや罫線の輪郭（矩形）を抽出する。輪郭抽出は公知の方法によって行うことができる。 原稿姿勢判定部３０３−２は輪郭抽出部３０３−１で抽出した矩形の角度を算出して傾き補正部３０３−３に渡す。傾き角度は、例えば、矩形と投影する長方辺との角度の差として算出することができる。
傾き補正部３０３−３は原稿姿勢判定部３０３−２から受け取った傾き角度を元に、原稿の画像イメージ（図１４（ａ）、図１６（ａ））を座標変換して正位置に補正、つまり、正立させ、正立させた１フレーム分の画像データを投影画像生成部３１に出力する。なお、傾き補正部３０３−３は原稿イメージを正立させる際（つまり、正位置に補正する際）、原稿が投影範囲（原稿戴置面３のガラス面内）に収まっている場合は原稿イメージがセンター位置になるようにも位置補正する。

＜原稿の輪郭を抽出する例＞
図１４は原稿の輪郭を抽出して傾きを補正する実施例の説明図である。図１４（ａ）はプロジェクタ装置１の原稿戴置面３に戴置した原稿（写真）１４１を示す。図１４（ｂ）は輪郭抽出処理により抽出した写真１４１の輪郭（矩形）１４２の角度補正の説明図であり、符号１４３は仮想的に示した補正結果である。図１４（ｃ）は位置補正後の投影結果を示す図であり、この例では、写真の投影画像１４３がスクリーン１１のセンター位置に正しい向きで映されている。

図１５は、本実施形態における画像位置補正部３０の動作例を示すフローチャートである。ドキュメントプロジェクタモードでのプロジェクタ装置の動作は図７に示したフローチャートのステップＳ１〜Ｓ１３のうち、ステップＳ５〜Ｓ１１を下記ステップＵ１〜Ｕ５に置き換えたものとなる。つまり、図１５で、ステップＳ１〜Ｓ４、Ｓ１２、Ｓ１３は図７のフローチャートと同様である。

図１５において、輪郭抽出部３０３−１で図７のステップＳ４においてメモリに展開された原稿イメージの輪郭を抽出し（ステップＵ１）、原稿姿勢判定部３０３−２で原稿イメージの輪郭がなす矩形の辺の傾きを取得する（ステップＵ２）。傾き補正部３０３−３では原稿姿勢判定部３０３−３で取得した傾き角度を元に、原稿の画像イメージを座標変換して正位置に補正、つまり、正立させ（ステップＵ３）、原稿が投影範囲に収まっているか否かを調べ、収まっていない場合は正立させた１フレーム分の画像データを投影画像生成部３１に出力する（ステップＵ４）。また、原稿が投影範囲に収まっている場合は原稿イメージの中心座標をセンター位置に変更して座標変換し、センター位置補正後の１フレーム分の画像データを投影画像生成部３１に出力する（ステップＵ５）。

上記図１５に示したフローチャートにおける画像位置補正部３０の動作（ステップＵ１〜Ｕ５）により、原稿が傾いていても原稿の輪郭から傾きを検出し原稿イメージの姿勢を補正した１フレーム分の画像データを投影画像生成部３１に出力できるので、投影画像補正部３１はその画像データから正しい向きの原稿イメージを再生できる。従って、原稿を戴置する際、原稿を原稿戴置面３にラフに戴置しても原稿の内容とは無関係にプロジェクタ装置１は正しい向きの画像をスクリーン１１に投影できる。

＜原稿中の枠線等の輪郭を抽出する例＞
図１６は原稿中の枠線等を抽出して原稿の傾きを補正する実施例の説明図である。プロジェクタ装置１は原稿が表の場合、表枠を抽出してその傾きを調べて原稿イメージの傾きを補正して投影する。
図１６（ａ）は原稿が表１６１であり、原稿戴置面３より大きい場合を示す。図１４（ｂ）は輪郭抽出処理により抽出した表１４１の輪郭（枠線）１６２の角度補正の説明図であり、符号１６３は仮想的に示した補正結果である。図１６（ｃ）は位置補正後の投影結果を示す図であり、この例では、表の一部の投影画像１６３がスクリーン１１に正しい向きで映されている。

上述したような枠線原稿の天地又は左右を判断するには、図１５の画像位置補正部３０の動作を示すフローチャートのステップＵ１を、「輪郭抽出部３０３−１で図７のステップＳ４においてメモリに展開された原稿イメージ中の枠線の輪郭を抽出する」ように構成し、ステップＵ２を、「原稿姿勢判定部３０３−２で抽出した枠線の傾きを抽出する」ように構成すればよい。

図１５のフローチャートに示した画像位置補正部３０の動作（ステップＵ１〜Ｕ５）のうち、ステップＵ１、Ｕ２（つまり、輪郭抽出部３０３−１および原稿姿勢判定部３０３−２）の動作を上述したように構成することにより、原稿が傾いていても原稿中の表の枠線の輪郭から傾きを検出し原稿イメージの姿勢を補正した１フレーム分の画像データを投影画像生成部３１に出力できるので、投影画像補正部３１はその画像データから正しい位置の原稿イメージを再生できる。従って、表のある原稿を戴置する際、原稿を原稿戴置面３にラフに戴置してもプロジェクタ装置１は正しい向きの画像をスクリーン１１に投影できる。

（変形例）
上記実施形態１〜３の説明では画像位置補正部３０の機能をそれぞれ単独機能として説明したが、実施形態１〜３の画像位置補正部３０の機能を組み合わせた機能を備えたプロジェクタ装置を構成することもできる。
例えば、実施形態１の文字認識機による傾き判定機能と実施形態３の原稿の輪郭による天地判定機能を組み合わせることができる。つまり、画像位置補正部３０の内部構成を図１３の構成プラス図５の構成とし、図７のステップＳ４とＳ５の間に図１５のステップＵ１〜Ｕ５を付加することにより、天地を補正し、センター位置に位置付けた原稿イメージから文字を切り出して文字認識を行い、文字の傾きを判定して補正するよう構成することができる。
これにより、原稿の輪郭による天地補正と文字の傾きによる傾き補正を行うことができるので、例えば、原稿戴置面３に名刺をどの向きに載せても自動成立した上でセンター位置に投影されることとなる。

なお、上記各実施形態及び変形例の説明では画像データを第一記憶部２８から取り出す場合、つまり、ドキュメントプロジェクタモード原稿を１枚読み取るたびに原稿の姿勢を自動的にチェックして補正する場合について説明したが、予め第二記憶部２９に記憶した画像データを取り出す場合、つまり、データプロダクトモードで画像データを第二記憶部２９から取り出して原稿の姿勢を自動的にチェックして補正する場合にする場合にも同様である。

また、予め原稿を読み取る場合、読み取った原稿が傾いていることがよくあり、従来のプロジェクト装置ではそのまま傾いた画像が投影されるが、本発明のプロジェクト装置によれば、データプロダクトモードで画像位置補正をできるので、正しい向きの画像を投影（正立投影）できる。

また、上記各実施形態及び変形例の説明では、画像位置補正部３０で傾き補正した１フレーム分の画像データを投影画像生成部３１に出力する例について述べたが、図４に示したように、画像位置補正部３０の位置を第一記憶部２８と第二記憶部２９の間に位置させたプロジェクタ装置において、第一記憶部２８に取り込んだ画像データの位置補正を画像位置補正部３０で行ってから（つまり、傾き補正部３０１−４が傾き補正した１フレーム分の画像データを）第二記憶部２９に記憶することもできる。

また、上記各説明では図１に示したように上に原稿を載せ下から撮像する方式のプロジェクタ装置１を例としたが、上方から原稿を撮像する方式のプロジェクタ装置でもい。

以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。

プロジェクタ装置の概観図である。 プロジェクタ装置の使用説明図である。 プロジェクタ装置の簡略的な内部ブロック図である。 画像位置補正部の位置を第一記憶部と第二記憶部の間に位置させた場合のブロック図である。 実施形態１における画像位置補正部の構成例を示すブロック図である。 傾き補正の概念を示す説明図である。 プロジェクタ装置の動作例を示すフローチャートである。 実施形態２における画像位置補正部の構成例を示すブロック図である。 マーク位置の説明図である。 マークを設けた原稿用紙の実施例を示す図である。 画像位置補正部の動作例を示すフローチャートである。 パンチ穴を設けた原稿用紙の実施例を示す図である。 実施形態３における画像位置補正部の構成例を示すブロック図である。 原稿の輪郭を抽出して傾きを補正する実施例の説明図である。 画像位置補正部の動作例を示すフローチャートである。 原稿中の枠線等を抽出して原稿の傾きを補正する実施例の説明図である。

符号の説明

１ プロジェクタ装置（画像投影装置）
３ 原稿戴置面
２１ 撮像レンズ（撮像手段）
２４ 撮像素子（撮像手段）
２５ 信号処理部（撮像手段）
２６ 透過率補正アンプ（撮像手段）
３０ 画像位置補正部（画像位置補正手段）
３３ 画像投影部（投影手段）
３５ 原稿
３０１−１ 文字切り出し部（文字切り出し手段）
３０１−２ 文字認識部（文字認識手段）
３０１−３、３０２−１、３０３−２ 原稿姿勢判定部（姿勢判定手段）
３０１−４、３０２−２、３０３−３ 傾き補正部（傾き補正手段）
３０３−１ 輪郭抽出部

Claims (9)

1. 原稿戴置面に戴置された原稿の画像を撮像して画像イメージを得る撮像手段と、
   前記原稿の姿勢を判定し、判定結果に基いて前記画像イメージを正立させる画像位置補正手段と、
   前記正立した画像イメージを投影する画像投影手段と、を備え、
   前記画像位置補正手段は、
   前記画像イメージから一文字分の文字イメージを切り出す文字切り出し手段と、
   前記文字イメージの特徴を抽出する抽出手段と、
   前記抽出した文字イメージの特徴と予め記憶されている複数の文字候補の特徴とを比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い文字を認識文字として決定する文字認識手段と、
   一文字分の前記認識文字の天地を含めた傾きを算出し、算出した当該傾きから前記原稿全体の傾きを算出する姿勢判定手段と、
   前記原稿の傾きに基づいて前記画像イメージを正立させる傾き補正手段と、を含むことを特徴とする画像投影装置。
2. 前記文字切り出し手段は、少なくとも、前記画像イメージから一文字分の文字イメージを切り出し、且つ前記画像イメージから前記文字イメージとは異なる一文字分の文字イメージを切り出し、
   前記抽出手段は、複数の前記文字イメージの特徴を抽出し、
   前記文字認識手段は、複数の前記文字イメージの特徴のそれぞれを前記複数の文字候補の特徴と比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い複数の文字を複数の認識文字として決定し、
   前記姿勢判定手段は、前記複数の認識文字のそれぞれの天地を含めた傾きの総和平均から前記原稿全体の傾きを算出する、ことを特徴とする請求項１に記載の画像投影装置。
3. 前記文字候補は、左右線対称の字体であることを特徴とする請求項１又は請求項２に記載の画像投影装置。
4. 原稿戴置面に戴置された原稿の画像を撮像して画像イメージを得る工程と、
   前記原稿の姿勢を判定し、前記姿勢判定結果に基いて前記画像イメージを正立させる工程と、
   前記正立した画像イメージを投影する工程と、を備え、
   前記画像イメージを正立させる工程は、
   前記画像イメージから一文字分の文字イメージを切り出す工程と、
   前記文字イメージの特徴を抽出する工程と、
   前記抽出した文字イメージの特徴と予め記憶されている複数の文字候補の特徴とを比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い文字を認識文字として決定する工程と、
   一文字分の前記認識文字の天地を含めた傾きを算出し、算出した当該傾きから前記原稿全体の傾きを算出する工程と、
   前記原稿の傾きに基づいて前記画像イメージを正立させる工程と、を含む
   ことを特徴とする画像投影方法。
5. 前記文字イメージを切り出す工程は、少なくとも、前記画像イメージから一文字分の文字イメージを切り出し、且つ前記画像イメージから前記文字イメージとは異なる一文字分の文字イメージを切り出す工程を含み、
   前記特徴を抽出する工程は、複数の前記文字イメージの特徴を抽出する工程を含み、
   前記認識文字として決定する工程は、複数の前記文字イメージの特徴のそれぞれを前記複数の文字候補の特徴と比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い複数の文字を認識文字として決定する工程を含み、
   前記傾きを算出する工程は、前記複数の認識文字のそれぞれの天地を含めた傾きの総和平均から前記原稿全体の傾きを算出する工程を含むことを特徴とする請求項４に記載の画像投影方法。
6. 前記文字候補は、左右線対称の字体であることを特徴とする請求項４又は５に記載の画像投影方法。
7. 原稿戴置面に戴置された原稿の画像を撮像して画像イメージを得る撮像手段と、
   前記画像イメージを投影する画像投影手段と、を備えた画像投影装置において実行可能なプログラムであって、
   前記画像イメージから一文字分の文字イメージを切り出させるプログラムステップと、
   前記文字イメージの特徴を抽出させるプログラムステップと、
   前記抽出された文字イメージの特徴と予め記憶されている複数の文字候補の特徴とを比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い文字を認識文字として決定させるプログラムステップと、
   一文字分の前記認識文字の天地を含めた傾きを算出し、算出した当該傾きから前記原稿全体の傾きを算出させるプログラムステップと、前記原稿の傾きに基づいて前記画像イメージを正立させるプログラムステップと、をさらに含むことを特徴とする画像位置補正プログラム。
8. 前記文字イメージを切り出させるプログラムステップは、少なくとも、前記画像イメージから一文字分の文字イメージを切り出し、且つ前記画像イメージから前記文字イメージとは異なる一文字分の文字イメージを切り出すステップを含み、
   前記文字イメージの特徴を抽出させるプログラムステップは、複数の前記文字イメージの特徴を抽出させるステップを含み、
   前記文字イメージを認識文字として決定させるプログラムステップは、複数の前記文字イメージの特徴のそれぞれを前記複数の文字候補の特徴と比較し、前記画像イメージに含まれている複数の文字イメージのうち、傾き判断のし易さのランクが高い複数の文字を複数の認識文字として決定させるステップを含み、
   前記原稿の傾きを算出させるプログラムステップは、前記複数の認識文字のそれぞれの天地を含めた傾きの総和平均から前記原稿全体の傾きを算出させるステップを含むことを特徴とする請求項７に記載の画像位置補正プログラム。
9. 前記文字候補は、左右線対称の字体であることを特徴とする請求項７又は８に記載の画像位置補正プログラム。

Images