JP5605459B2 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本発明は、撮像機能を備えた画像処理装置、これに用いられる画像処理プログラム及び画像処理方法に関するものである。

従来、書画原稿（例えばカタログ、新聞、雑誌の切り抜き）を撮影し、その画像情報を外部機器へ出力したり、記録媒体に画像データとして記録したりする装置として書画カメラ装置が知られている。係る書画カメラ装置は、撮影対象となる書画原稿を載置するための原稿台を含む本体に、原稿台との相対位置が調整できるカメラ部が設けられ、カメラ部はＣＣＤやＭＯＳ型の撮像素子、撮像信号の処理等や画像処理を行うための電子回路が設けられたデジタルカメラで構成されている。したがって、カメラ部で撮像した書画原稿をパソコンを介してプロジェクタに出力することにより、書画原稿をスクリーンに投影してプレゼンテーションを行うこともできる。

このとき、カメラ部が原稿台に積載される原稿を取り込む方向は固定されているため、原稿を積載する向きを間違えると、正しい向きから上下が逆転したり、縦横が９０度回転した状態で原稿が投影されてしまう。また、原稿が原稿台上に適正角度で載置されておらず、斜めに角度がずれて載置されていると、カメラ部は角度がずれている原稿をそのまま撮像することから、スクリーン上に角度が斜めにずれた状態で原稿が投影されてしまう。このため、ユーザが原稿を適正な角度に修正するべく、原稿台に積載した原稿をカメラ部を介して取り込んだ後、パソコン、プロジェクタを介して投影される原稿画像を確認し、向きがずれていることを認識した場合は、その都度パソコン上のソフトウェアを使用して取り込んだ原稿画像データの回転処理をしなければならず、ユーザに煩雑な作業を強いることとなり使い勝手がよいとはいえなかった。一方で、原稿中に文字がある場合などは、カメラ部が撮像して出力した画像における原稿中の文字列を、前記パソコンにより認識して画像を回転処理する等の補正を行い、しかる後にプロジェクタで投影することにより、スクリーン上に文字列を適正な方向で投影する技術も提案されるに至っている（例えば下記特許文献１参照）。

特開２００４−３６３７３６号公報

しかしながら、上記従来技術においては文字認識を行い、その認識結果に基づき画像を回転する等の補正処理を行う。したがって、対象に文字が存在しない場合、例えば図形のみからなる原稿や原稿以外の物品である場合には、前記補正処理を行うことができない。また、対象に文字が存在していても、当該対象が原稿台上において大幅に適正角度からずれていて文字認識できない場合、例えば原稿を逆にして載置した結果、文字も逆になって文字認識できない場合には、前記補正処理を行うことができない。そのため、未だ上述の課題を十分に解決しているとはいえなかった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮像される対象の種別、あるいは対象の角度や撮像部との位置関係に左右されることなく、撮像した画像中における対象の向きが適正となるように画像を処理する画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る画像処理装置にあっては、被写体を撮像する撮像手段と、前記被写体に対するタッチ位置を指定位置として検出する検出手段と、この検出手段により検出された前記指定位置が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段とを備えることを特徴とする。
また、前記課題を解決するため請求項１１記載の発明に係る画像処理装置にあっては、被写体を撮像する撮像手段と、前記被写体上の領域を所定数に分割するとともに、当該所定数の領域のうち前記被写体に対し指定された指定位置が属する領域を検出する検出手段と、この検出手段により検出された前記領域が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段とを備えることを特徴とする。
また、前記課題を解決するため請求項１２記載の発明に係る画像処理装置にあっては、被写体を撮像する撮像手段と、前記被写体が矩形であるか、矩形以外の不定形であるかを判別する判別手段と、この判別手段により前記被写体が矩形以外の不定形であると判別された場合、前記被写体に対し指定された指定位置を検出する検出手段と、この検出手段により検出された前記指定位置が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段とを備えることを特徴とする。

本発明によれば、撮像される対象の種別、あるいは対象の角度や撮像部との位置関係に左右されることなく、撮像した画像中における対象の向きが適正となるように画像を補正処理することができる。したがって、この補正処理した画像を用いることにより、対象を適正な向きにした画像を投影することも可能となる。

本発明の一実施の形態に係るデジタルカメラを含む撮像投影システムを示すシステム構成図である。 デジタルカメラの電気的構成を示すブロック図である。 同システムにおけるプロジェクタとＰＣの電気的構成の概略を示すブロック図である。 台座の有効領域を示す説明図である。 本発明の第１の実施の形態における処理手順を示すフローチャートである。 本発明の第２の実施の形態における処理手順を示すフローチャートである。 第２の実施の形態の動作を示す遷移図である。 第２の実施の形態における他の動作を示す遷移図である。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の一実施の形態に係る書画カメラを含む撮像投影システムの構成図である。

この撮像投影システムは、書面原稿やカタログ等の投影対象物を撮影する書画カメラ１と、ＰＣ（パーソナルコンピュータ）２、及びプロジェクタ３とから構成されている。書画カメラ１とＰＣ２はＵＳＢケーブル４によって接続されており、ＰＣ２とプロジェクタ３とはＲＧＢケーブル５によって接続されている。なお、プロジェクタ３には、離れた場所からの操作を可能とする赤外線リモートコントロールユニット６が付属している。

前記書画カメラ１は、カメラスタンド１１と、これに着脱自在に装着されたデジタルカメラ５１とから構成されている。カメラスタンド１１は、任意の投影対象物が置かれる薄板状の台座１２と、台座１２に支持されたスタンド本体１３と、その上端部に設けられた支持アーム１４、及びその先端に設けられた取付部１５とから構成されている。そして、取付部１５に前記デジタルカメラ５１が装着されている。

前記デジタルカメラ５１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、それ単体での使用が可能であるとともに、カメラスタンド１１に装着されているときには、カメラスタンド１１を介して撮像により取得した画像データを前記ＰＣ２へ出力する。

図２は、デジタルカメラ５１の構成を示すブロック図である。レンズブロック６１には、ズームレンズ、フォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれており、上記光学系は駆動機構に設けられているモータ６２によって光軸方向に駆動される。モータ６２は、デジタルカメラ５１全体を制御するＣＰＵ７２にバス６３を介し接続されたモータドライバ６４から供給される駆動信号によって動作し、前記光学系を駆動する。なお、バス６３にはストロボ６５も接続されている。

また、前記レンズブロック６１が有する前記レンズの光軸上には、撮像手段であるＣＣＤ６６が配置されている。ＣＣＤ６６は、矩形状の撮像範囲を有し、ＣＰＵ７２の命令に従いタイミング発生器（ＴＧ：Timing Generator）６７が生成するタイミング信号に基づき垂直及び水平ドライバ６８によって駆動され、被写体の光学像に応じたアナログの撮像信号を信号処理回路６９に出力する。信号処理回路６９は、ＣＣＤ６６の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から構成され、デジタルに変換した撮像信号を画像処理部７０へ出力する。

画像処理部７０は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像処理部７０で変換されたＹＵＶデータは順次ＳＤＲＡＭ７１に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶モニタ（ＬＣＤ）５３へ送られてスルー画像として画面表示される。そしてＳＤＲＡＭ７１に一時記憶された1フレーム分の画像データは、シャッターキーが押された撮影時においては、ＣＰＵ７２により圧縮され、最終的には所定のフォーマットの画像ファイルとして外部メモリ７３に記録される。

外部メモリ７３は、図示しないカードインターフェイスを介して接続されたカメラ本体に着脱自在なメモリカードである。外部メモリ７３に記録された画像ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じてＣＰＵ７２に読み出されるとともに伸張され、ＹＵＶデータとしてＳＤＲＡＭ７１に展開された後、液晶モニタ５３に表示される。フラッシュメモリ７４には、ＣＰＵ７２に上記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム等の各種のプログラムが格納されている。

また、バス６３には、ＵＳＢインターフェース７５が接続されている。ＵＳＢインターフェース７５には、前述したカメラスタンド１１の取付部１５に設けられている図示しないＵＳＢ仕様の接続コネクタと接続された接続コネクタが設けられており、それによりデジタルカメラ５１は、ＵＳＢインターフェース７５から前記カメラスタンド１１を介して、ＰＣ２への画像データの出力、及びＰＣ２との間におけるデータ通信が可能となっている。また、デジタルカメラ５１は、電源スイッチ、モード選択キー、シャッターキーや等の操作キーやスイッチ類を含むキー入力部７６を有している。キー入力部７６における各操作キーの操作の有無はＣＰＵ７２によって定常的にスキャンされており、いずれかの操作キーが操作されると、ＣＰＵ７２によりキー操作に応じた処理が実行される。

図３は、前記ＰＣ２とプロジェクタ３の電気的構成の概略を示すブロック図である。ＰＣ２は汎用のノート型パソコンであり、ＣＰＵ８１と、ＲＡＭ８２、記憶装置８３、入力装置８４、ビデオアダプタ８５、ＶＲＡＭ８６、表示装置８７を備えている。

ビデオアダプタ８５は、表示用のビデオ信号（ＲＧＢ信号）を生成し、ＬＣＤ及びその駆動回路等からなる表示装置８７に出力し、ＶＲＡＭ８６は、ビデオアダプタ８５が生成した表示用の画像データを随時記憶する。また、ビデオアダプタ８５には、前記ＲＧＢケーブル５が接続されたＲＢＧ出力端子８８が設けられており、ビデオアダプタ８５は、ＣＰＵ８１の命令に応じて表示用の画像データをＲＧＢケーブル５を介してプロジェクタ３へ出力する。

また、ＣＰＵ８１には、ＵＳＢインターフェース８９が設けられており、このＵＳＢインターフェース８９に、前記書画カメラ１に接続されているＵＳＢケーブル４が接続されている。したがって、ＣＰＵ８１には、書画カメラ１（デジタルカメラ５１）から送られた画像データがＵＳＢインターフェース８９を介して入力される一方、必要に応じて書画カメラ１との間におけるデータ通信が可能となっている。入力装置８４は、ＰＣ２本体に設けられた複数のキーや、本体に接続されたマウス等であり、記憶装置８３は記憶容量の比較的大きなハードディスク等である。記憶装置８３には、デジタルカメラ５１及びプロジェクタ３とデータ通信を行うための通信プログラム等が格納されている。

プロジェクタ３は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、画像入力部９４、表示部９５、キー入力部９６、赤外信号受信部９７を備えている。画像入力部９４には、前記ＲＧＢケーブル５が接続されたＲＢＧ信号の入力端子９８が接続されており、ＰＣ２から入力した入力画像信号（ＲＧＢ信号）に基づき、画像を投影するための表示信号を生成し表示部９５へ送る。表示部９５は、クリプトンランプ等の光源、及び光源の光を入力表示信号に応じた投影光に変換するための液晶やマイクロミラーアレイ等の画像変換素子、その画像変換素子を、画像入力部９４から送られた表示信号に基づき駆動する駆動回路、本体の投影部３ａ（図１参照）に設けられている投影レンズ等の光学系を含み、ＰＣ２から送られた画像データに基づく表示画像をスクリーン７に投影する。

ＣＰＵ９１は、ＲＯＭ９２に格納されているプログラムに従いＲＡＭ９３を作業用メモリとして動作し、プロジェクタ３全体を制御する。キー入力部９６は、ユーザーがプロジェクタ３の操作を行うために用意された、複数の操作キーにより構成されており、赤外信号受信部９７は、前述した赤外線リモートコントロールユニット６から送られた赤外線を受光し、それにコード化されている操作信号をデコードしてＣＰＵ９１へ送る。

すなわち、この撮像投影システムは、デジタルカメラ５１に、ユーザーによる撮影操作に応じて投影対象の撮影、及び撮影した画像のＰＣ２への転送を行う所定のモードが設定されると、ＰＣ２がデータ通信処理を実行することにより、デジタルカメラ５１によって撮影された投影対象物の画像がＰＣ２を介してプロジェクタ３に送られ、投影されるように構成されている。

（第１の実施の形態）
本発明の第１の実施の形態は、台座１２に対するタッチ位置に応じて撮影された画像を回転処理するものである。このため、台座１２に対するユーザの無意識的なタッチを無効にして、意識的なタッチのみを有効にすべく、台座１２は図４（ａ）に示すように、タッチを有効とする右上の有効領域Ａ、右下の有効領域Ｂ、左上の有効領域Ｃ、左下の有効領域Ｄ、及びその他の領域である無効領域ＮＧとに、仮想的に区分されている。

以上の構成にかかる本実施の形態において、デジタルカメラ５１のＣＰＵ７２は、フラッシュメモリ７４に格納されているプログラムに基づき、図５のフローチャートに示すように処理を実行する。すなわち、先ず基準方向設定処理を実行する（ステップＳＡ１）。この基準方向設定処理は、ユーザが台座１２にてタッチした有効領域Ａ〜Ｄが右上、右下、左上、左下のいずれの方向となるように撮影画像を回転させるかを予め決定しておく処理である。この処理に際しては、下記選択肢（１）〜（４）を液晶モニタ５３に表示する。
（１）タッチポイントの属する領域を右上にする。
（２）同領域を右下にする。
（３）同領域を左上にする。
（４）同領域を左下にする。

そして、これら選択肢からキー操作によりいずれかが選択されたならば、当該選択肢をＳＤＲＡＭ７１に記憶する。なお、デフォルトで「（１）タッチポイントの属する領域を右上にする。」が設定されており、したがってユーザが選択操作をしなかった場合には、選択肢（１）が自動設定される。

引き続き、台座監視動作を開始する（ステップＳＡ２）。すなわち、垂直及び水平ドライバ６８は、タイミング発生器６７が発生するタイミング信号に基づき、例えば３０ｆｐｓのフレームレートでＣＣＤ６６を駆動する。ＣＰＵ７２は、このフレームレートで画像処理部７０を介してＳＤＲＡＭ７１に順次格納される画像を参照することにより、台座１２上を監視する。

そして、前記フレームレートで順次ＳＤＲＡＭ７１に格納される前後の画像を比較することにより、台座１２上に被写体が載置される動作を判断する（ステップＳＡ３）。つまり、画像中の台座１２上に変化が生じ始めたら、台座１２上への被写体の載置動作が行われていると判断する。

引き続き、台座１２に対するユーザのタッチポイントを把握するために、前述と同様にＳＤＲＡＭ７１に順次格納される画像の監視を行う。そして、周知の被写体認識技術を用いて、この画像中において、ユーザが画像載置動作の最後に指定した領域を識別する。すなわち、画像中のユーザの手指を識別し、この識別した手指が台座１２上からスライドアウトしたか否かを判断する（ステップＳＡ４）。
さらに、ユーザの手指が画像中からスライドアウトした場合、それから所定時間が経過したか否かを判断する（ステップＳＡ５）。そして、所定時間が経過したならば、画像中からスライドアウトしたユーザの手指が、そのスライドアウト直前に指定した台座１２上のポイントを、上述のタッチポイントとしてＳＤＲＡＭ７１に記憶する（ステップＳＡ６）。したがって、ユーザは前記所定時間が経過する前に再度台座１２にタッチすることにより、ＳＤＲＡＭ７１に記憶される有効なタッチポイントを修正することができる。

次に、この記憶したタッチポイントが前記有効領域Ａ〜Ｄ内であるか否かを判断する（ステップＳＡ７）。この判断がＮＯであって、ユーザが無効領域ＮＧにタッチした場合、当該タッチは意識的なタッチではなく、無意識的であってユーザに撮像した画像を回転処置させるという意図はなかったものと推定することができる。よって、この場合には後述するステップＳＡ８〜ＳＡ１２の処理を実行することなくエンドに進む。これにより、ユーザの無意識的な台座１２に対するタッチを無効にし、意識的なタッチのみを検出して処理を行うことができる。

また、ステップＳＡ７の判断がＹＥＳであって、記憶されたタッチポイントが有効領域Ａ〜Ｄのいずれかであった場合には、タッチポイントの属する有効領域Ａ〜Ｄと、前記ステップＳＡ１で予め決定された基準方向とに基づいて回転角度を決定する（ステップＳＡ８）。

すなわち、ユーザが図４（ａ）に示すタッチポイントＰに最後にタッチして、これがステップＳＡ６で記憶されたとすると、タッチポイントＰの属する領域は有効領域Ｄである。また、ステップＳＡ１で選択肢（１）が選択設定されていたとすると、予め決定された基準方向は「タッチポイントの属する領域を右上にする。」である。そして、図４（ａ）において、有効領域Ｄを右上にするためには、画像を台座１２の中心を回転中心として１８０°回転させなければならない。したがって、ステップＳＡ８においては、回転角度「１８０°」を算出する。

引き続き、シャッターキーが操作されたか否かを判断する（ステップＳＡ９）。シャッターキーが操作されたならば、その時点でＣＣＤ６６により撮像された1フレーム分の画像データを、画像処理部７０を介してＳＤＲＡＭ７１に取り込む（ステップＳＡ１０）。さらに、このＳＤＲＡＭ７１に取り込んだ画像データを、前記ステップＳＡ８で算出された回転角度で回転画像処理する（ステップＳＡ１１）。

つまり、本例においてはステップＳＡ１１で回転角度「１８０°」が算出されている。また、ステップＳＡ１０で取り込んだ画像中には台座１２が存在する。そこで、ステップＳＡ１１においては、画像中に存在する台座１２の中心を回転中心として、当該画像を１８０°回転させた画像データを生成する。

したがって、台座１２上にどのような角度で被写体が載置された場合であっても、ユーザが所望する部位が所望する方向、あるいは適正な方向となるように画像を補正処理することができる。しかも、前述した従来技術のように、文字の認識は必要ないことから、撮影される被写体の種別に左右されることなく、撮影した画像中における被写体の向きを補正処理することができる。

しかる後に、この回転処理済みの画像データを外部メモリ７３に記録するとともに、ＵＳＢインターフェース７５から出力する（ステップＳＡ１２）。すると、ＵＳＢインターフェース７５に接続されているＰＣ２は、前記データ通信用プログラムに従って動作し、回転処理済み画像データを受信し、プロジェクタ３に送信する。プロジェクタ３は、これを受信してＰＣ２から送られた画像データに基づく表示画像をスクリーン７に投影する。このスクリーン７に投影された表示画像にあっては、回転処理済みの画像データに基づくものである。

したがって、台座１２上にどのような角度で被写体が載置された場合であっても、ユーザが所望する部位が所望する方向、あるいは適正な方向である画像を投影表示することができる。しかも、前述した従来技術のように、文字の認識は必要ないことから、投影される被写体の種別に左右されることなく、投影される画像の方向を適正にすることができる。

また、タッチという極めて簡易な操作により、投影される画像の方向を適正にすることができることから、投影された画像の方向を修正する操作に時間を要することもない。したがって、この投影システムをプレゼンテーションで使用した場合であっても、投影された画像の方向を修正する操作に時間を要することに起因して、プレゼンテーションの流れを止めてしまう不都合を未然に防止することができる。

また、ＣＣＤ６６により撮像した画像に基づき、台座１２上におけるタッチ位置を検出するようにしたことから、タッチセンサ等を設けることなくタッチ位置の検出を行うことができる。無論、台座１２上にタッチセンサを敷設しこのタッチセンサによりタッチ位置を検出するようにしてもよい。何れにしても、ユーザが指定するタッチ位置に基づいて画像回転処理を行うことができればよく、タッチ位置の検出方法は特には限定されないものである。
また、本実施の形態は、図４（ａ）に示したように、台座１２上のタッチを有効とする有効領域を右上、右下、左上、左下の４隅に区分し、上述のステップＳＡ１で設定する基準方向（例えば、（１）タッチポイントの属する領域を右上にする）に基づいて撮像された画像の回転処理を行う構成とした。しかし、これに限らず、例えば台座１２上の有効領域を図４（ｂ）のように区分してもよく、この場合上述のステップＳＡ１ではタッチポイントの属する領域を上、下、左、右の何れにするかを設定する。そして、仮にタッチポイントの属する領域を上にすると設定したならば、ユーザは原稿を設置した後に上向きにしたい方向の台座上領域をタッチすれば、そのタッチポイントの属する領域が上向きになるよう回転処理を行うことができる。

なお、本実施の形態においては、撮影処理のみならず、データの回転画像処理等の他の処理もデジタルカメラ５１側で行うようにしたが、撮影処理のみをデジタルカメラ５１側で行い、撮影した画像をＰＣ２に送り、ＰＣ２側でデータの回転画像処理等の他の処理を実行するようにしてもよい。

（第２の実施の形態）
本発明の第２の実施の形態は、前述した第１の実施の形態とは異なり、台座１２に対して斜めに被写体（対象）が載置された場合であっても、ユーザの望む正規の方向に撮像した画像を回転処理することができる。つまり、前述した第１の実施の形態が台座１２上のタッチポイントを基準として撮像された画像を回転処理するものであったのに対し、本第２の実施の形態は台座１２上に載置された被写体（対象）に対するタッチ位置に応じて撮影された画像を回転処理するものである。デジタルカメラ５１のＣＰＵ７２は、フラッシュメモリ７４に格納されているプログラムに基づき、図６のフローチャートに示すように処理を実行する。

先ず、基準方向設定処理を実行する（ステップＳＢ１）。この基準方向設定処理は、ユーザが台座１２上に載置された被写体にタッチしたときに、当該被写体におけるタッチ位置が右上、右下、左上、左下のいずれの方向となるように撮影画像を回転させるかを予め決定しておく処理である。この処理に際しては、下記選択肢（１）〜（４）を液晶モニタ５３に表示する。
（１）タッチポイントの属する領域又はタッチポイントを右上にする。
（２）同領域又はタッチポイントを右下にする。
（３）同領域又はタッチポイントを左上にする。
（４）同領域又はタッチポイントを左下にする。

そして、これら選択肢からキー操作によりいずれかが選択されたならば、当該選択肢をＳＤＲＡＭ７１に記憶する。なお、デフォルトで「（１）タッチポイントの属する領域又はタッチポイントを右上にする。」が設定されており、したがってユーザが選択操作をしなかった場合には、選択肢（１）が自動設定される。

引き続き、台座監視動作を開始する（ステップＳＢ２）。すなわち、垂直及び水平ドライバ６８は、タイミング発生器６７が発生するタイミング信号に基づき、例えば３０ｆｐｓのフレームレートでＣＣＤ６６を駆動する。ＣＰＵ７２は、このフレームレートで画像処理部７０を介してＳＤＲＡＭ７１に順次格納される画像を参照することにより、台座１２上を監視する。

そして、前記フレームレートで順次ＳＤＲＡＭ７１に格納される前後の画像を比較することにより、台座１２上に被写体が載置される動作を判断する（ステップＳＢ３）。つまり、画像中の台座１２上に変化が生じ始めたら、台座１２上への被写体の載置動作が行われていると判断する。

引き続き、台座１２に載置された被写体に対するユーザのタッチポイントを把握するために、前述と同様にＳＤＲＡＭ７１に順次格納される画像の監視を行う。そして、周知の被写体認識技術を用いて、この画像中において、ユーザが画像載置動作の最後に指定した被写体上のポイントを識別する。すなわち、画像中におけるユーザの手指を識別し、この識別した手指が台座１２上からスライドアウトしたか否かを判断する（ステップＳＢ４）。
さらに、ユーザの手指が画像中からスライドアウトした場合、それから所定時間が経過したか否かを判断する（ステップＳＢ５）。そして、所定時間が経過したならば、画像中からスライドアウトしたユーザの手指が、そのスライドアウト直前に指定した被写体上のポイントを、上述の被写体上におけるユーザのタッチポイントとしてＳＤＲＡＭ７１に記憶する（ステップＳＢ６）。

続いて、ＳＤＲＡＭ７１に格納された画像に基づき、台座１２上に載置されている被写体の形状を取得する（ステップＳＢ７）。さらに、この取得した被写体の形状が、原稿のような矩形であるか、或いは矩形以外の不定形状であるかを、例えばＳＤＲＡＭ７１に格納された画像中の直線検出を行うことによって判断する（ステップＳＢ８）。

この判断の結果、被写体の形状が原稿のような矩形である場合には、当該被写体をその形状に基づいて、周辺と平行な線分により、所定領域に分割する（ステップＳＢ９）。つまり、図７（ａ）に示すように、前記ＳＤＲＡＭ７１に格納された1フレームＦからなる画像Ｉに、フレームＦと平行に位置する矩形状の被写体Ｓが存在する場合には、画像Ｉ内に存在する被写体Ｓを、その周辺Ｌ１、Ｌ２と平行な線分Ｌ３、Ｌ４によって例えば四等分することにより、右上領域Ａ、右下領域Ｂ、左上領域Ｃ、左下領域Ｄに分割する。

また、図８（ａ）に示すように、前記ＳＤＲＡＭ７１に格納された1フレームＦからなる画像Ｉに、フレームＦと非平行で角度がずれて配置された被写体Ｓが存在する場合には、画像Ｉ内に存在する被写体Ｓを、その周辺Ｌ１、Ｌ２と平行な線分Ｌ３、Ｌ４によって例えば四等分することにより、右上領域Ａ、右下領域Ｂ、左上領域Ｃ、左下領域Ｄに分割する。
そして、分割領域Ａ〜Ｄのうち上記ステップＳＢ６で記憶したタッチポイントの属する領域と、前記ステップＳＢ１で予め決定された基準方向とに基づいて、被写体がフレームと平行となるように、回転角度を算出する（ステップＳＢ１０）。

すなわち、ユーザが図７（ａ）に示すタッチポイントＰに最後にタッチして、これがステップＳＢ６で記憶されたとすると、タッチポイントＰの属する領域は分割領域Ｄである。そして、ステップＳＢ１で選択肢（１）が選択設定されていたとすると、予め決定された基準方向は「タッチポイントの属する領域又はタッチポイントを右上にする。」である。また、図７（ａ）に示すように、この例においては載置時において被写体ＳとフレームＦとは平行である。したがって、図７（ａ）において、被写体ＳがフレームＦと平行となるように、分割領域Ｄを右上にするためには、画像を台座１２の中心を回転中心として１８０°回転させなければならない。よって、ステップＳＢ１０においては、回転角度「１８０°」を算出する。

また、ユーザが図８（ａ）に示すタッチポイントＰに最後にタッチして、これがステップＳＢ６で記憶されたとすると、タッチポイントＰの属する領域は分割領域Ｄである。そして、ステップＳＢ１で選択肢（１）が選択設定されていたとすると、予め決定された基準方向は「タッチポイントの属する領域又はタッチポイントを右上にする。」である。しかし、図８（ａ）に示すように、この例においては載置時において被写体ＳとフレームＦとは非平行であり、被写体Ｓは角度がずれて載置されている。したがって、図８（ａ）において、被写体ＳがフレームＦと平行となるように、分割領域Ｄを右上にするためには、画像を台座１２の中心を回転中心として１６０°回転させればよい。よって、ステップＳＢ１０においては、回転角度「１６０°」を算出する。

引き続き、シャッターキーが操作されたか否かを判断し、シャッターキーが操作されたならば、その時点でＣＣＤ６６により撮像された1フレーム分の画像データを、画像処理部７０を介してＳＤＲＡＭ７１に取り込む（ステップＳＢ１２）。さらに、このＳＤＲＡＭ７１に取り込んだ画像データを、前記ステップＳＢ１０で算出された回転角度で回転画像処理する（ステップＳＢ１３）。

つまり、図７（ａ）に示した例においてはステップＳＢ１０で回転角度「１８０°」が算出されている。したがって、被写体Ｓの中心を回転中心として、当該画像を１８０°回転させた画像データを生成する。したがって、図７（ｂ）に示したように、原稿である被写体Ｓが逆に載置された場合であっても、手指によりタッチポイントＰにて被写体Ｓに触れれば、同図（ｃ）に示すように、撮影した画像中における被写体Ｓの向きを適正にすることができる。

また、図８（ａ）に示した例においてはステップＳＢ１０で回転角度「１６０°」が算出されている。したがって、被写体Ｓの中心を回転中心として、当該画像を１６０°回転させた画像データを生成する。したがって、図８（ｂ）に示したように、原稿である被写体Ｓの角度がずれて載置された場合であっても、手指によりタッチポイントＰにて被写体Ｓに触れれば、同図（ｃ）に示すように、撮影した画像中における被写体Ｓの向きを適正にすることができる。

しかる後に、この回転処理済みの画像データを外部メモリ７３に記録するとともに、ＵＳＢインターフェース７５から出力する（ステップＳＢ１４）。すると、ＵＳＢインターフェース７５に接続されているＰＣ２は、前記データ通信用プログラムに従って動作し、回転処理済み画像データを受信し、プロジェクタ３に送信する。プロジェクタ３は、これを受信してＰＣ２から送られた画像データに基づく表示画像をスクリーン７に投影する。このスクリーン７に投影された表示画像にあっては、回転処理済みの画像データに基づくものである。

したがって、台座１２上にどのような角度で被写体が載置された場合であっても、ユーザが所望する部位が所望する方向、あるいは適正な方向である画像を投影表示することができる。しかも、前述した従来技術のように文字の認識は必要ないことから、投影される被写体の種別に左右されることなく、投影される画像の方向を適正にすることができる。

他方、ステップＳＢ７での判断の結果、被写体が矩形以外の不定形であった場合には、上記ステップＳＢ６で記憶したタッチポイントと、前記ステップＳＢ１で予め決定された基準方向とに基づいて、回転角度を算出する（ステップＳＢ１１）。

つまり、被写体が不定形である場合であって、ステップＳＢ１で選択肢（１）の「タッチポイントの属する領域又はタッチポイントを右上にする。」が選択されている場合には、この選択肢（１）における「タッチポイントを右上にする。」に基づき、記憶したタッチポイントが右上となる被写体の回転角度を算出する。しかる後、前述したステップＳＢ１２以降の処理を実行する。

したがって、本実施の形態によれば、台座１２上に矩形以外の不定形の被写体、例えば各種物品等の立体物が載置された場合であっても、ユーザが所望する部位が所望する方向、あるいは適正な方向である画像を投影表示することができる。しかも、前述した従来技術のように文字の認識は必要ないことから、投影される被写体の種別に左右されることなく、投影される画像の方向を適正にすることができる。

なお、本実施の形態においても、前述したように、撮影処理のみをデジタルカメラ５１側で行い、撮影した画像をＰＣ２に送り、ＰＣ２側でデータの回転画像処理等の他の処理を実行するようにしてもよい。

また、実施の形態においては、撮影した画像を投影する場合について説明したが、これに限らず、撮影した画像をモニタに表示する場合、あるいはプリントアウトする場合に、同様の回転画像処理を行うようにしてもよい。

２ ＰＣ
３ プロジェクタ
１２ 台座
５１ デジタルカメラ
５３ 液晶モニタ
６６ ＣＣＤ
６７ タイミング発生器
６８ 水平ドライバ
７０ 画像処理部
７１ ＳＤＲＡＭ
７２ ＣＰＵ
７３ 外部メモリ
７４ フラッシュメモリ
Ｐ タッチポイント
Ｓ 被写体

Claims (18)

1. 被写体を撮像する撮像手段と、
   前記被写体に対するタッチ位置を指定位置として検出する検出手段と、
   この検出手段により検出された前記指定位置が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
   この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記画像処理手段により回転処理された画像を外部に出力する出力手段を備えることを特徴とする請求項１記載の画像処理装置。
3. 前記検出手段は、前記被写体上の領域を所定数に分割するとともに、当該所定数の領域のうち前記被写体に対し指定された指定位置が属する領域を検出し、
   前記算出手段は、前記領域が前記予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記被写体が矩形であるか、矩形以外の不定形であるかを判別する判別手段を備え、
   この判別手段により前記被写体が矩形であると判別された場合、
   前記検出手段は、前記指定位置が属する領域を検出し、
   前記算出手段は、前記領域が前記予め設定された所定方向となるように、前記回転角度を算出することを特徴とする請求項３記載の画像処理装置。
5. 前記被写体は、前記領域が前記予め設定された所定方向となり、かつ、前記矩形状の被写体が前記画像を構成するフレームと平行となるように、前記回転角度を算出することを特徴とする請求項４記載の画像処理装置。
6. 前記検出手段は、前記被写体に対し指定された指定位置を検出し、
   前記算出手段は、前記指定位置が前記予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出することを特徴とする請求項１又は２記載の画像処理装置。
7. 前記被写体が矩形であるか、矩形以外の不定形であるかを判別する判別手段を備え、
   この判別手段により前記被写体が矩形以外の不定形であると判別された場合、
   前記検出手段は、前記指定位置を検出し、
   前記算出手段は、前記指定位置が前記予め設定された所定方向となるように、前記回転角度を算出することを特徴とする請求項１または６記載の画像処理装置。
8. 前記検出手段は、前記撮像手段により撮像された画像に基づき、前記指定位置を検出することを特徴とする請求項１から７にいずれか記載の画像処理装置。
9. 前記算出手段は、前記検出手段により最後に検出された前記被写体に対する指定位置に基づき、前記回転角度を算出することを特徴とする請求項１から８にいずれか記載の画像処理装置。
10. 前記所定方向を予め設定可能な設定手段を設けたことを特徴とする請求項１から９にいずれか記載の画像処置装置。
11. 被写体を撮像する撮像手段と、
    前記被写体上の領域を所定数に分割するとともに、当該所定数の領域のうち前記被写体に対し指定された指定位置が属する領域を検出する検出手段と、
    この検出手段により検出された前記領域が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
    この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段と
    を備えることを特徴とする画像処理装置。
12. 被写体を撮像する撮像手段と、
    前記被写体が矩形であるか、矩形以外の不定形であるかを判別する判別手段と、
    この判別手段により前記被写体が矩形以外の不定形であると判別された場合、前記被写体に対し指定された指定位置を検出する検出手段と、
    この検出手段により検出された前記指定位置が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
    この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段と
    を備えることを特徴とする画像処理装置。
13. 被写体を撮像する撮像手段を備える画像処理装置が有するコンピュータを、
    前記被写体に対するタッチ位置を指定位置として検出する検出手段と、
    この検出手段により検出された前記指定位置が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
    この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段として機能させることを特徴とする画像処理プログラム。
14. 被写体を撮像する撮像手段を備える装置における画像処理方法であって、
    前記被写体に対するタッチ位置を指定位置として検出する検出ステップと、
    この検出ステップにより検出された前記指定位置が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出ステップと、
    この算出ステップにより算出された回転角度で前記画像を回転処理する画像処理ステップと
    を含むことを特徴とする画像処理方法。
15. 被写体を撮像する撮像手段を備える画像処理装置が有するコンピュータを、
    前記被写体上の領域を所定数に分割するとともに、当該所定数の領域のうち前記被写体に対し指定された指定位置が属する領域を検出する検出手段と、
    この検出手段により検出された前記領域が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
    この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段として機能させることを特徴とする画像処理プログラム。
16. 被写体を撮像する撮像手段を備える装置における画像処理方法であって、
    前記被写体上の領域を所定数に分割するとともに、当該所定数の領域のうち前記被写体に対し指定された指定位置が属する領域を検出する検出ステップと、
    この検出ステップにより検出された前記領域が、予め設定された所定方向となるように、前記撮像ステップにより撮像された画像の回転角度を算出する算出ステップと、
    この算出ステップにより算出された回転角度で前記画像を回転処理する画像処理ステップと
    を含むことを特徴とする画像処理方法。
17. 被写体を撮像する撮像手段を備える画像処理装置が有するコンピュータを、
    前記被写体が矩形であるか、矩形以外の不定形であるかを判別する判別手段と、
    この判別手段により前記被写体が矩形以外の不定形であると判別された場合、前記被写体に対し指定された指定位置を検出する検出手段と、
    この検出手段により検出された前記指定位置が、予め設定された所定方向となるように、前記撮像手段により撮像された画像の回転角度を算出する算出手段と、
    この算出手段により算出された回転角度で前記画像を回転処理する画像処理手段として機能させることを特徴とする画像処理プログラム。
18. 被写体を撮像する撮像手段を備える装置における画像処理方法であって、
    前記被写体が矩形であるか、矩形以外の不定形であるかを判別する判別ステップと、
    この判別ステップにより前記被写体が矩形以外の不定形であると判別された場合、前記被写体に対し指定された指定位置を検出する検出ステップと、
    この検出ステップにより検出された前記指定位置が、予め設定された所定方向となるように、前記撮像ステップにより撮像された画像の回転角度を算出する算出ステップと、
    この算出ステップにより算出された回転角度で前記画像を回転処理する画像処理ステップと
    を含むことを特徴とする画像処理方法。

Images