JP5471704B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像された画像に対して所定の画像処理を施す画像処理装置、画像処理方法及びプログラムに関する。

液晶ディスプレイなどの表示装置の表示画面に表示された表示画像を撮像した画像では、当該表示装置のマトリクス状に配置された複数のドットどうしの隙間領域が格子状の模様となって現れてしまう。
そこで、画像上の格子状の模様に対応する周期パターンを検出し、この周期パターンに基づいて各ドットに対応する領域を特定して、当該領域の画素値から新たな画像データの各画素の画素値を生成する画像処理装置が知られている（例えば、特許文献１参照）。

特開２００６−３５０４４０号公報

しかしながら、表示画面に表示された表示画像を撮像する際に、表示画面に対して撮像装置を真正面に正確に対向させていないと、撮像画像に現れる格子状の模様が歪んだ状態となってしまう。この場合、周期パターンの検出を正確に行うことができないばかりか、撮影画像を画像処理して新たな画像データの各画素の画素値を生成する場合に、所定のフィルタを適用して一律に行うことができなくなり、処理効率の悪化を招いてしまう。
また、仮に撮影画像内の周期パターンの画素数の最大値に対応した所定のフィルタを適用して一律に行うようにすると、新たな画像データの画質の劣化を招いてしまうといった問題もある。逆に、仮に撮影画像内の周期パターンの画素数の最小値に対応した所定のフィルタを適用して一律に行うようにすると、十分に表示画面の格子状の模様を消すことが出来ないといった問題もある。

そこで、本発明の課題は、表示画像を撮像した画像からドットどうしの隙間が修正された画像の生成を簡便に、且つ、適正に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
複数のドットがマトリクス状に配置されている表示画面に表示された表示画像を撮像した撮像画像を取得する取得手段と、この取得手段により取得された撮像画像の所定の画像領域に対する直角四辺形変換処理を行って、直角四角形でない画像から直角四辺形画像を生成する第１処理手段と、この第１処理手段により生成された前記直角四辺形画像に対して、前記表示画像の所定方向に隣接するドットどうしの隙間に対応する隙間領域の画像データを修正する隙間修正処理を行う第２処理手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記第１処理手段により生成された前記直角四辺形画像における前記隙間領域を構成する画素数を算出する算出手段と、この算出手段により算出された前記画素数に基づいて、前記隙間修正処理にて処理対象となる一の画素の処理範囲を特定する特定手段と、を更に備え、前記第２処理手段は、前記特定手段により特定された前記一の画素の処理範囲を基準として前記直角四辺形画像に対する前記隙間修正処理を行うことを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記特定手段は、前記算出手段により算出された前記画素数に基づいて、前記処理対象となる一の画素の処理範囲を規定する、前記隙間修正処理としてのフィルタ処理に用いられる所定のフィルタのサイズを特定し、前記第２処理手段は、前記特定手段により特定されたサイズの所定のフィルタを用いて前記直角四辺形画像に対する前記フィルタ処理を行って、当該直角四辺形画像における前記隙間領域の画像データを修正することを特徴としている。

請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記算出手段は、前記直角四辺形画像の何れか一の辺と平行な所定の一方向に沿って前記隙間領域を複数特定して、当該複数の隙間領域の各々を構成する画素数を算出し、前記特定手段は、前記算出手段により算出された複数の前記画素数の中での最大値を基準として、前記フィルタ処理に用いられる所定のフィルタのサイズを特定することを特徴としている。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記算出手段は、前記直角四辺形画像の何れか一の辺と平行な複数の方向に沿ってそれぞれ前記隙間領域を複数特定して、各方向における前記複数の隙間領域の各々を構成する画素数を算出し、前記特定手段は、前記算出手段により算出された各方向における複数の前記画素数の中での最大値に基づいて、前記互いに平行な複数の方向に係る複数の画素数を代表する代表値を特定し、特定された代表値を基準として、前記フィルタ処理に用いられる所定のフィルタのサイズを特定することを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記取得手段により取得された前記撮像画像に対して輪郭抽出処理を施して前記所定の画像領域を抽出する抽出手段を更に備え、前記第１処理手段は、前記抽出手段により抽出された前記所定の画像領域に対して前記直角四辺形変換処理を施すことを特徴としている。

請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記抽出手段は、前記所定の画像領域を複数抽出し、前記複数の所定の画像領域の中で、前記第１処理手段により前記直角四辺形変換処理が施される所定の画像領域を指定する指定手段を更に備えることを特徴としている。

請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理装置において、
前記取得手段により取得された前記撮像画像における、前記表示画像を撮像した撮像手段の光学的特性によって生じた歪みを補正する補正手段を更に備え、前記第１処理手段は、前記補正手段により歪みが補正された撮像画像の所定の画像領域に対して前記直角四辺形変換処理を施すことを特徴としている。

請求項９に記載の発明は、請求項１〜８の何れか一項に記載の画像処理装置において、
前記第２処理手段による前記隙間修正処理後の画像を記録手段に記録させる制御手段を更に備えることを特徴としている。

請求項１０に記載の発明の画像処理方法は、
複数のドットがマトリクス状に配置されている表示画面に表示された表示画像を撮像した撮像画像を取得する取得手段を備える画像処理装置を用いた画像処理方法であって、前記取得手段により取得された撮像画像の所定の画像領域に対する直角四辺形変換処理を行って、直角四角形でない画像から直角四辺形画像を生成する処理と、生成された前記直角四辺形画像に対して、前記表示画像の所定方向に隣接するドットどうしの隙間に対応する隙間領域の画像データを修正する隙間修正処理を行う処理と、を含むことを特徴としている。

請求項１１に記載の発明のプログラムは、
複数のドットがマトリクス状に配置されている表示画面に表示された表示画像を撮像した撮像画像を取得する取得手段を備える画像処理装置のコンピュータを、前記取得手段により取得された撮像画像の所定の画像領域に対する直角四辺形変換処理を行って、直角四角形でない画像から直角四辺形画像を生成する第１処理手段、この第１処理手段により生成された前記直角四辺形画像に対して、前記表示画像の所定方向に隣接するドットどうしの隙間に対応する隙間領域の画像データを修正する隙間修正処理を行う第２処理手段、として機能させることを特徴としている。

本発明によれば、表示画像を撮像した画像からドットどうしの隙間が修正された画像の生成を当該画像の画質を劣化させることなく簡便に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による隙間補間撮像処理に係る動作の一例を示すフローチャートである。 図２の隙間補間撮像処理における表示画像の隣接するドットどうしの隙間領域の画素数の算出の一例を説明するための図である。 図２の隙間補間撮像処理の一例を説明するための図である。 図２の隙間補間撮像処理の一例を説明するための図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、複数のドットがマトリクス状に配置されている表示画面２０１に表示された表示画像Ｓ（図４（ａ）参照）を撮像した撮像画像ｉ１（図４（ｂ）参照）を取得して、当該撮像画像ｉ１の所定の画像領域（四角領域Ａ１）に対する直角四辺形変換処理を行って直角四辺形画像ｉ２（図５（ａ）参照）を生成する。また、撮像装置１００は、生成された直角四辺形画像ｉ２に対して、表示画像Ｓの所定方向に隣接するドットどうしの隙間に対応する隙間領域Ｃ（図３参照）の画像データを修正する隙間修正処理を行う。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、符号化部６と、記録媒体制御部７と、表示制御部８と、表示部９と、操作入力部１０と、中央制御部１１とを備えている。

撮像部１は、撮像手段として、被写体を撮像して画像フレームを生成する。即ち、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、このレンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

また、撮像制御部２は、表示装置２００（図４（ａ）参照）に表示されている表示画像Ｓを撮像部１により撮像させる。
ここで、表示装置２００は、例えば、液晶表示ディスプレイや有機ＥＬ表示ディスプレイなどであり、その表示パネルの表面（表示画面２０１）にＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分に対応するドットがマトリクス状に複数配列されている。
そして、撮像部１が表示装置２００の表示画面２０１の所定位置に表示されている表示画像Ｓを撮像する際に、撮像制御部２は、レンズ部の各種レンズを通過した撮像画像ｉ１の光学像を所定のタイミングで電子撮像部により二次元の画像信号に変換させ、この電子撮像部の撮像領域から当該撮像画像ｉ１の画像フレームを読み出して画像データ生成部３に出力させる。
従って、当該撮像画像ｉ１の画像情報は、表示画像Ｓ自体の画像情報の他に、表示パネルの表面のマトリクス状に配置されたドット及びドットどうしの隙間領域Ｃの画像情報も含むこととなる。このため、撮像画像ｉ１を当該撮像装置１００の表示部９などに表示させると、表示画像Ｓ自体に重畳して表示画面２０１の複数のドットどうしの隙間領域Ｃが格子状の模様となって現れてしまう。このような格子状の模様は、特に、高分解能（高画素）の電子撮像部や明るい（Ｆ値の小さい）レンズ部を用いて表示画像Ｓを撮像した場合に顕著に現れる。

画像データ生成部３は、電子撮像部から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１１等によって処理されるデータ等を一時記憶する。

画像処理部５は、画像取得部５ａと、画像補正部５ｂと、輪郭抽出部５ｃと、四辺形変換処理部５ｄと、隙間画素数算出部５ｅと、フィルタサイズ特定部５ｆと、フィルタ処理部５ｇとを具備している。

画像取得部５ａは、メモリ４から撮像画像ｉ１の画像データを取得する。
即ち、画像取得部５ａは、撮像部１により撮像されて画像データ生成部３から出力された撮像画像ｉ１の画像データ（ＹＵＶデータ）を取得する。具体的には、画像取得部５ａは、撮像部１が表示装置２００の表示画面２０１の所定位置に表示されている表示画像Ｓを撮像することによって、画像データ生成部３により生成されて出力された撮像画像ｉ１の画像データを取得する。
ここで、画像取得部５ａは、複数のドットがマトリクス状に配置されている表示画面２０１に表示された表示画像Ｓを撮像した撮像画像ｉ１を取得する取得手段を構成している。

画像補正部５ｂは、撮像部１のレンズ部の光学的特性によって生じた撮像画像ｉ１の歪みを補正する歪曲収差補正を行う。
即ち、撮像画像ｉ１の光学像は、例えば、レンズ部のズームレンズの位置（ズーム値）によって生じる歪みの大きさが異なる。そこで、画像補正部５ｂは、レンズ部のズーム値と関連付けられている光学像の歪みに関連する光学特性情報に基づいて、画像取得部５ａにより取得された画像データに対して所定の強度の歪曲収差補正を行って、撮像部１のレンズ部の光学的特性によって生じた撮像画像ｉ１の歪みを補正する。
ここで、画像補正部５ｂは、画像取得部５ａにより取得された撮像画像ｉ１における、表示画像Ｓを撮像した撮像部１の光学的特性によって生じた歪みを補正する補正手段を構成している。

輪郭抽出部５ｃは、撮像画像ｉ１に対して輪郭抽出処理を施して所定の画像領域を抽出する。
即ち、輪郭抽出部５ｃは、例えば、画像補正部５ｂによる歪曲収差補正後のＹＵＶデータの輝度信号Ｙに対して直線検出処理（例えば、ハフ変換処理など）を施して直線を検出し、所定方向に延在する４本の直線によって形成される四角形を輪郭として特定する。そして、輪郭抽出部５ｃは、特定された四角形内の画像領域（四角領域Ａ１；図４（ｃ）参照）を所定の画像領域として抽出する。ここで、複数の四角形が特定された場合には、輪郭抽出部５ｃは、これら複数の四角形内の画像領域をそれぞれ抽出する。
これにより、表示装置２００の表示画面２０１に表示されている略矩形状（直角四辺形状）の画像、即ち、表示画像Ｓ自体や、表示画像Ｓに加えて当該表示画像Ｓのファイル名などが表示されたタイトルバーやＧＵＩ（Graphical User Interface）の各種ボタン等を含む領域（いわゆる、「ウインドウ」）の画像などが所定の画像領域（四角領域Ａ１）として抽出される。また、表示画像Ｓが表示装置２００の表示画面２０１全体に表示されている場合には、略矩形状の当該表示画面２０１の各辺を四角領域Ａ１の輪郭として特定しても良い。
ここで、輪郭抽出部５ｃは、画像取得部５ａにより取得された撮像画像ｉ１に対して輪郭抽出処理を施して四角領域（所定の画像領域）Ａ１を抽出する抽出手段を構成している。

なお、輪郭抽出処理として、直線検出処理を利用したものを例示したが、一例であってこれに限られるものではなく、四角領域（所定の画像領域）Ａ１を抽出可能なものであれば適宜任意に変更可能である。
また、直線検出処理として、ハフ変換処理を例示したが、一例であってこれに限られるものではなく、エッジ検出処理など適宜任意に変更可能である。なお、ハフ変換処理やエッジ検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

四辺形変換処理部５ｄは、輪郭抽出部５ｃにより抽出された四角領域Ａ１に対する直角四辺形変換処理を行って直角四辺形画像ｉ２（図５（ａ）参照）を生成する。
即ち、表示装置２００の表示画面２０１と撮像装置１００とが真正面に正確に対向していない状態で撮像されることによって、直角四辺形状をなさない（各内角が直角でない）歪んだ四角形内の画像領域が所定の画像領域として輪郭抽出部５ｃにより抽出される。そこで、四辺形変換処理部５ｄは、画像補正部５ｂによる歪曲収差補正により歪みが補正された輝度信号Ｙから輪郭抽出部５ｃにより抽出された四角領域（所定の画像領域）Ａ１に対して、直角四辺形変換処理（例えば、台形補正処理等）を行って直角四辺形画像ｉ２（例えば、矩形画像、正方形画像など）を生成する。ここで、輪郭抽出部５ｃにより複数の四角領域Ａ１が抽出されていた場合には、四辺形変換処理部５ｄは、これら複数の四角領域Ａ１の中で、ユーザによる操作入力部１０の所定操作に基づいて中央制御部１１により選択指定された四角領域Ａ１を処理対象として直角四辺形変換処理を施す。
また、この直角四変形変換処理後の直角四辺形画像の縦横比は、取得した表示画面２０１の表示ドット数から算出された縦横比に基づいて算出することができる。
このようにして生成された直角四辺形画像ｉ２は、縦方向及び横方向の各々に沿って延在する辺を有する画像となり、表示画像Ｓに対応する複数のドットのピッチを略均一にすることができる。また、表示画像Ｓに重畳して現れる格子状の模様（複数のドットどうしの隙間領域Ｃ）も縦方向及び横方向の各々に沿って延在した状態となる。

なお、直角四辺形変換処理として、台形補正処理を例示したが、一例であってこれに限られるものではなく、四角形を直角四辺形状に変換する斜影変換処理であれば適宜任意に変更可能である。なお、台形補正処理は、公知の技術であるので、ここでは詳細な説明を省略する
このように、四辺形変換処理部５ｄは、画像取得部５ａにより取得された撮像画像ｉ１の四角領域（所定の画像領域）Ａ１に対する直角四辺形変換処理を行って直角四辺形画像ｉ２を生成する第１処理手段を構成している。

隙間画素数算出部５ｅは、四辺形変換処理部５ｄにより生成された直角四辺形画像ｉ２における格子状の模様、つまり、隣接するドットどうしの隙間領域Ｃを構成する画素数を所定方向に沿って算出する。
即ち、隙間画素数算出部５ｅは、直角四辺形画像ｉ２の縦方向及び横方向の各々と略平行な方向に沿って隙間領域Ｃを複数特定した後、これら複数の隙間領域Ｃの各々を構成する画素数を算出する。具体的には、隙間画素数算出部５ｅは、先ず、直角四辺形画像ｉ２内で所定の閾値よりも明るい画素が所定の割合（例えば、過半数以上）を占める任意の処理対象領域Ａ２を特定する。この処理対象領域Ａ２は、例えば、直角四辺形画像ｉ２の各辺と略平行な辺を有している。
次に、隙間画素数算出部５ｅは、処理対象領域Ａ２内の輝度値の累積度数分布を算出し、例えば、所定の分布率以下となる画素が隙間領域Ｃであると想定して、当該所定の分布率に対応する輝度値を所定の閾値として設定する。そして、隙間画素数算出部５ｅは、処理対象領域Ａ２内で縦方向及び横方向のうちの何れか一方向（例えば、縦方向）と互いに平行な複数の方向の各々に沿って処理対象ラインを設定し、各処理対象ラインを走査して所定の閾値よりも輝度値の小さい画素からなる領域を隙間領域Ｃとして複数特定する。続けて、隙間画素数算出部５ｅは、互いに平行な複数の処理対象ラインの各々について、複数の隙間領域Ｃの各々を構成する画素数（図３参照）を算出していく。
例えば、図３に示すように、表示画像Ｓ自体（ドット）に対応する画素は輝度値が大きくなる一方で、隣接するドットどうしの隙間領域Ｃに対応する画素は輝度値が小さくなる。なお、図３に例示したものは一の処理対象ラインに沿った複数の画素の輝度値の一例であり、例えば、処理対象ラインが隙間領域Ｃ上となると、当該隙間領域Ｃに対応する画素のみ、即ち、輝度値の小さい画素のみによって占められることとなる。この場合には、後述するように、フィルタサイズ特定部５ｆによるフィルタサイズの特定処理からは除外される。

また、隙間画素数算出部５ｅは、処理対象領域Ａ２の縦方向及び横方向のうち、処理対象となっていない他方向（例えば、横方向）についても上記と同様にして、複数の隙間領域Ｃの各々を構成する画素数を算出する。
このように、隙間画素数算出部５ｅは、四辺形変換処理部５ｄにより生成された直角四辺形画像ｉ２における、表示画像Ｓの所定方向に隣接するドットどうしの隙間に対応する隙間領域Ｃを構成する画素数を算出する算出手段を構成している。

フィルタサイズ特定部５ｆは、直角四辺形画像ｉ２に対するフィルタ処理に用いられる所定のフィルタのサイズを特定する。
即ち、フィルタサイズ特定部５ｆは、フィルタ処理部５ｇにより直角四辺形画像ｉ２の隙間領域Ｃの画像データを補間する隙間補間処理として行われるフィルタ処理に用いられる所定の二次元フィルタ（例えば、メディアンフィルタ等）のサイズ（タップ数）を特定する。つまり、フィルタ処理に用いられる所定の二次元フィルタのサイズは、直角四辺形画像ｉ２における処理対象となる一の画素の演算処理範囲を規定するものである。そこで、フィルタサイズ特定部５ｆは、隙間画素数算出部５ｅにより算出された隙間領域Ｃを構成する画素数に基づいて、隙間補間処理としてのフィルタ処理に用いられる所定の二次元フィルタのサイズを一の画素の演算処理範囲として特定する。

具体的には、フィルタサイズ特定部５ｆは、先ず、直角四辺形画像ｉ２の処理対象領域Ａ２の縦方向及び横方向のうちの何れか一方向（例えば、縦方向）を処理対象方向として設定する。次に、フィルタサイズ特定部５ｆは、処理対象方向と互いに平行な複数の処理対象ラインの各々について、隙間領域Ｃを構成する複数の画素数の中での最大値（例えば、図３にあっては、最大値として「2」など）を算出する。そして、フィルタサイズ特定部５ｆは、算出された複数の画素数の最大値に基づいて、処理対象方向（互いに平行な複数の処理対象ラインの延在方向）に係る複数の画素数を代表する代表値を特定し、特定された代表値を基準としてフィルタ処理に用いられる二次元フィルタのサイズを特定する。
つまり、処理対象ラインが格子状をなす隙間領域Ｃを構成する所定方向に延在する直線上に設定されると、この直線に対応する輝度値の小さい画素によって大部分（例えば、過半数以上）が占められることとなるため、当該処理対象ラインでは隙間領域Ｃを構成する画素数の値が大きくなる。そこで、フィルタサイズ特定部５ｆは、例えば、処理対象方向と互いに平行な複数の処理対象ラインに係る複数の画素数の最大値の中で、最頻値や平均値を代表値として特定することにより、輝度値の小さい画素が大部分を占める処理対象ラインを除外する。そして、フィルタサイズ特定部５ｆは、例えば、処理対象方向について特定された代表値を「gap」として、フィルタ処理に用いられるメディアンフィルタのタップ数「tap」を下記式（１）に従って算出する。
tap＝ 2gap ＋1 …式（１）

例えば、図３には、一の処理対象ラインにおける隙間領域Ｃを構成する複数の画素数の中での最大値「gap」が「2」の場合について例示するが、この場合には、メディアンフィルタのタップ数「tap」として「5」が算出され、5×5画素がフィルタサイズとして特定される。
なお、上記式（１）は、メディアンフィルタのタップ数「tap」を算出するための演算式の一例であってこれに限られるものではなく、係数や定数などは適宜任意に変更可能である。また、演算式は、フィルタ処理に用いられるフィルタの種類によっても適宜任意に変更可能である。

また、フィルタサイズ特定部５ｆは、処理対象領域Ａ２の縦方向及び横方向のうち、処理対象となっていない他方向（例えば、横方向）についても上記と同様にして、フィルタ処理に用いられる二次元フィルタのサイズを特定する。
また、フィルタサイズ特定部５ｆは、処理対象領域Ａ２の縦方向及び横方向の各々を処理対象方向として特定されたフィルタサイズに基づいて、最終的なフィルタサイズを特定する。ここで、処理対象領域Ａ２の縦方向及び横方向のうち、処理対象となる方向によって異なるサイズが特定された場合には、そのまま縦方向及び横方向の異なるサイズとしても良く、それらの平均値や最大値を基準として最終的なフィルタサイズを特定するようにしても良い。
このように、フィルタサイズ特定部５ｆは、隙間画素数算出部５ｅにより算出された画素数に基づいて、直角四辺形画像ｉ２の隙間領域Ｃの画像データを修正する隙間補間処理（隙間修正処理）にて処理対象となる一の画素の処理範囲を特定する特定手段を構成している。

フィルタ処理部５ｇは、フィルタサイズ特定部５ｆにより特定されたサイズの所定の二次元フィルタ（例えば、メディアンフィルタ等）を用いて直角四辺形画像ｉ２に対するフィルタ処理を行う。
即ち、フィルタ処理部５ｇは、直角四辺形画像ｉ２の隙間領域Ｃの画像データを補間する隙間補間処理としてフィルタ処理を行う。このとき、フィルタ処理部５ｇは、フィルタサイズ特定部５ｆにより特定されたフィルタサイズ、つまり、当該直角四辺形画像ｉ２における処理対象となる一の画素の演算処理範囲を規定するフィルタサイズ（例えば、5×5画素等）を基準として、直角四辺形画像ｉ２に対するフィルタ処理を施す。具体的には、フィルタ処理部５ｇは、例えば、直角四辺形画像ｉ２の各画素に対して5×5画素のサイズのメディアンフィルタを用いてフィルタ処理を行うことによって、隣接するドットどうしの隙間領域Ｃを構成する画素の輝度値を、当該画素の近傍の表示画像Ｓ自体（ドット）に対応する画素の輝度値に置換する。これにより、フィルタ処理部５ｇは、表示画像Ｓに重畳して現れている格子状の模様（複数のドットどうしの隙間領域Ｃ）を補間（修正）した隙間補間処理済画像ｉ３（図５（ｂ）参照）の画像データを生成する。

なお、フィルタ処理として、例えば、メディアンフィルタを適用したものを例示したが、一例であってこれに限られるものではなく、隙間領域Ｃを構成する画素の輝度値をより大きく変更可能なフィルタ処理であれば適宜任意に変更可能である。例えば、二次元フィルタとして、ローパスフィルタや最大値フィルタなどを適用するようにしても良い。
また、隙間補間処理（フィルタ処理）によって、直角四辺形画像ｉ２の隙間領域Ｃの画像データを修正するようにしたが、当該隙間領域Ｃの修正方法はこれに限られるものではない。例えば、隙間領域Ｃの各画素の輝度値を近傍の画素に対して輝度差を小さくするように修正する方法など、隙間領域Ｃとその周囲の領域との画素値の差を小さくするような画像処理であれば如何なる方法を適用しても良い。
ここで、フィルタ処理部５ｇは、四辺形変換処理部５ｄにより生成された直角四辺形画像ｉ２に対して、表示画像Ｓの所定方向に隣接するドットどうしの隙間に対応する隙間領域Ｃの画像データを修正する隙間補間処理（隙間修正処理）を行う第２処理手段を構成している。

符号化部６は、画像処理部５による画像処理後の隙間補間処理済画像ｉ３の画像データ（ＹＵＶデータ）を所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化して記録用の画像データを生成する。

記録媒体制御部７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。即ち、記録媒体制御部７は、符号化部６により符号化された記録用の画像データを記録媒体Ｍに記録させる。
ここで、記録媒体制御部７は、フィルタ処理部５ｇによる隙間補間処理（フィルタ処理）後の画像ｉ３を記録媒体Ｍに記録させる制御手段を構成している。

なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示制御部８は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部９に表示させる制御を行う。
具体的には、表示制御部８は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。

表示部９は、例えば、液晶表示パネルであり、表示制御部８からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部９は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部９は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（いずれも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。

また、操作入力部１０は、ユーザによる所定操作に基づいて、輪郭抽出部５ｃにより抽出された複数の四角領域Ａ１の中で、四辺形変換処理部５ｄによる処理対象となる四角領域Ａ１の指定信号を出力する。即ち、操作入力部１０は、輪郭抽出部５ｃにより抽出されて表示部９に表示された複数の四角領域Ａ１の中で、ユーザによる所定操作に基づいて選択された何れか一の四角領域Ａ１の指定信号を中央制御部１１に出力する。中央制御部１１は、操作入力部１０から出力された指定信号が入力されると、当該指定指示信号に応じて四辺形変換処理部５ｄによる処理対象となる四角領域Ａ１を指定する。
ここで、中央制御部１１及び操作入力部１０は、複数の四角領域（所定の画像領域）Ａ１の中で、四辺形変換処理部５ｄにより直角四辺形変換処理が施される四角領域Ａ１を指定する指定手段を構成している。

なお、四辺形変換処理部５ｄによる処理対象となる四角領域Ａ１の指定を、ユーザによる操作入力部１０の所定操作に基づいて手動で行うようにしたが、当該四角領域Ａ１の指定方法はこれに限られるものではない。即ち、中央制御部１１は、例えば、画像解析や文字認識などによって四辺形変換処理部５ｄによる処理対象となる四角領域Ａ１を自動的に特定して指定するようにしても良い。

中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による隙間補間撮像処理について図２を参照して説明する。
図２は、隙間補間撮像処理に係る動作の一例を示すフローチャートである。
隙間補間撮像処理は、ユーザによる操作入力部１０の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から隙間補間撮像モードが選択指示された場合に実行される処理である。また、隙間補間撮像処理にあっては、表示装置２００（図４（ａ）参照）の表示画面２０１の所定位置に表示されている表示画像Ｓを被写体として撮像部１により撮像する。

先ず、表示制御部８は、撮像部１及び撮像制御部２による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部９の表示画面２０１に表示させる処理を行う（ステップＳ１）。このとき、撮像制御部２は、表示装置２００の表示画面２０１のフリッカー等を検出して、検出されたフリッカーに対応させて露出条件を設定するようにしても良い。
そして、中央制御部１１は、ライブビュー表示処理中に、ユーザによる操作入力部１０のシャッタボタンの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。

ここで、撮像指示が入力されていないと判定された場合には（ステップＳ２；ＮＯ）、ステップＳ２にて、撮像指示が入力されたと判定されるまで（ステップＳ２；ＹＥＳ）、中央制御部１１は処理をステップＳ２に移行させて、ライブビュー画像を表示させる処理を繰り返し行わせる。
そして、ステップＳ２にて、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部２は、例えば、表示装置２００の表示画面２０１のフリッカー等に対応させて露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整して、表示装置２００に表示されている表示画像Ｓの光学像を撮像部１の電子撮像部に撮像させる（ステップＳ３）。その後、画像データ生成部３は、電子撮像部から転送された撮像画像ｉ１（図４（ｂ）参照）のＹＵＶデータを生成する。
生成されたＹＵＶデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
また、このとき、表示制御部８は、メモリ４に一時的に記憶されている撮像画像ｉ１の表示用の画像データを読み出して表示部９に表示させても良い。

次に、画像処理部５の画像取得部５ａは、画像データ生成部３により生成された撮像画像ｉ１のＹＵＶデータをメモリ４から取得する（ステップＳ４）。
続けて、画像補正部５ｂは、取得されたＹＵＶデータに対してレンズ部のズーム値を基準とする所定の強度の歪曲収差補正を行って、撮像部１のレンズ部の光学的特性によって生じた撮像画像ｉ１の歪みを補正する（ステップＳ５）。

次に、輪郭抽出部５ｃは、画像補正部５ｂによる歪曲収差補正後のＹＵＶデータの輝度信号Ｙに対して直線検出処理（例えば、ハフ変換処理など）を施して直線を検出した後、所定方向に延在する４本の直線によって形成される四角形を特定して当該四角形内の画像領域（四角領域Ａ１）を抽出する（ステップＳ６；図４（ｃ）参照）。
ここで、輪郭抽出部５ｃによって複数の四角領域Ａ１が抽出された場合には、表示制御部８は、これら複数の四角領域Ａ１を直角四辺形変換処理（後述）の処理対象の候補として表示部９に表示させる。即ち、表示制御部８は、例えば、各四角領域Ａ１の外縁部に沿って枠線を表示させるとともに、これら複数の四角領域Ａ１を切り替え可能に表示させる。そして、中央制御部１１は、ユーザによる操作入力部１０の所定操作に基づいて選択指定された四角領域Ａ１を直角四辺形変換処理の処理対象とする。

次に、四辺形変換処理部５ｄは、輪郭抽出部５ｃにより輝度信号Ｙから抽出された四角領域Ａ１に対して直角四辺形変換処理（例えば、台形補正処理等）を行って直角四辺形画像ｉ２（例えば、矩形画像）を生成する（ステップＳ７；図５（ａ）参照）。
続けて、隙間画素数算出部５ｅは、四辺形変換処理部５ｄにより生成された直角四辺形画像ｉ２における隣接するドットどうしの隙間領域Ｃを特定して、当該隙間領域Ｃを構成する画素数を算出する（ステップＳ８）。具体的には、隙間画素数算出部５ｅは、直角四辺形画像ｉ２内で所定の閾値よりも明るい画素が所定の割合を占める任意の処理対象領域Ａ２を特定する。その後、隙間画素数算出部５ｅは、処理対象領域Ａ２内の各画素の輝度値の累積度数分布を算出して、所定の分布率に対応する輝度値を所定の閾値として設定する。続けて、隙間画素数算出部５ｅは、処理対象領域Ａ２内で縦方向及び横方向のうちの何れか一方向（例えば、縦方向）と互いに平行な複数の方向の各々に沿って処理対象ラインを設定し、各処理対象ラインを走査して所定の閾値よりも輝度値の小さい画素からなる領域を隙間領域Ｃとして複数特定する。続けて、隙間画素数算出部５ｅは、互いに平行な複数の処理対象ラインの各々について、複数の隙間領域Ｃの各々を構成する画素数を算出していく。
また、隙間画素数算出部５ｅは、縦方向及び横方向のうち、処理対象となっていない他方向（例えば、横方向）についても上記と同様にして、複数の隙間領域Ｃの各々を構成する画素数を算出する。

次に、フィルタサイズ特定部５ｆは、直角四辺形画像ｉ２に対するフィルタ処理に用いられる所定の二次元フィルタ（例えば、メディアンフィルタ等）のサイズを特定する（ステップＳ９）。
より具体的には、フィルタサイズ特定部５ｆは、直角四辺形画像ｉ２の処理対象領域Ａ２の縦方向及び横方向のうちの処理対象方向（例えば、縦方向）と互いに平行な複数の処理対象ラインの各々について、隙間領域Ｃを構成する複数の画素数の中での最大値を算出する。そして、フィルタサイズ特定部５ｆは、特定された複数の画素数の最大値に基づいて、処理対象方向に係る複数の画素数を代表する代表値を特定した後、特定された代表値を「gap」として、フィルタ処理に用いられるメディアンフィルタのタップ数「tap」を下記式（１）に従って算出する。
tap＝ 2gap ＋1 …式（１）
また、フィルタサイズ特定部５ｆは、処理対象領域Ａ２の縦方向及び横方向のうち、処理対象となっていない他方向（例えば、横方向）についても上記と同様にして、フィルタ処理に用いられる所定の二次元フィルタのサイズを特定する。
そして、フィルタサイズ特定部５ｆは、処理対象領域Ａ２の縦方向及び横方向の各々を処理対象方向として特定されたフィルタサイズに基づいて、最終的なフィルタサイズを特定する。

次に、フィルタ処理部５ｇは、フィルタサイズ特定部５ｆにより特定されたサイズの所定の二次元フィルタ（例えば、メディアンフィルタ等）を用いて直角四辺形画像ｉ２に対するフィルタ処理を行う（ステップＳ１０）。
具体的には、フィルタ処理部５ｇは、直角四辺形画像ｉ２の各画素に対してフィルタ処理を行うことによって、隣接するドットどうしの隙間領域Ｃを構成する画素の輝度値を、当該画素の近傍の表示画像Ｓ自体（ドット）に対応する画素の輝度値に置換する。これにより、フィルタ処理部５ｇは、表示画像Ｓに重畳して現れている格子状の模様（複数のドットどうしの隙間領域Ｃ）を補間した隙間補間処理済画像ｉ３の画像データを生成する。

その後、符号化部６は、画像処理部５による画像処理後の隙間補間処理済画像ｉ３の画像データ（ＹＵＶデータ）を所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化して記録用の画像データを生成する（ステップＳ１１）。
続けて、記録媒体制御部７は、符号化部６により符号化された隙間補間処理済画像ｉ３の記録用の画像データを記録媒体Ｍに記録させる（ステップＳ１２）。このとき、表示制御部８は、表示制御部８は、隙間補間処理済画像ｉ３の表示用の画像データを取得して表示部９に表示させる。
これにより、隙間補間撮像処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、表示装置２００の表示画面２０１に表示された表示画像Ｓを撮像した撮像画像ｉ１の所定の画像領域に対する直角四辺形変換処理を行って直角四辺形画像ｉ２を生成するので、直角四辺形画像ｉ２における、表示画像Ｓの所定方向に隣接するドットどうしの隙間に対応する隙間領域Ｃの特定を適正に行うことができる。これにより、その後の直角四辺形画像ｉ２に対する隙間補間処理（隙間修正処理）を処理負担の小さい単純な回路構成で簡便に行うことができ、当該隙間補間処理の処理効率の向上及び高速化を図ることができるとともに、隙間補間処理後の画像データの画質劣化や解像度の低下を生じさせることなく直角四辺形画像ｉ２からの隙間領域Ｃ（格子状の模様）の補間を適正に行うことができる。
このように、表示画像Ｓを撮像した画像を変形させた直角四辺形画像ｉ２から隣接するドットどうしの隙間、即ち、当該画像の表示には不要な情報が補間されて修正された画像の生成を簡便に、且つ、適正に行うことができる。

また、直角四辺形変換処理を行って直角四辺形画像ｉ２を生成することにより当該直角四辺形画像ｉ２における隙間領域Ｃの特定を適正に行うことができるので、当該隙間領域Ｃを構成する画素数の算出を適正に行うことができる。
これにより、算出された隙間領域Ｃの画素数に基づいて、隙間補間処理にて処理対象となる一の画素の処理範囲の特定を適正に行うことができる。具体的には、処理対象となる一の画素の処理範囲を規定する、フィルタ処理に用いられる所定の二次元フィルタのサイズを特定して、当該サイズの所定の二次元フィルタを用いてフィルタ処理を行うので、フィルタ処理後の画像データの画質劣化を生じさせることなく直角四辺形画像ｉ２における隙間領域Ｃを適正に補間することができる。つまり、直角四辺形画像ｉ２に対するフィルタ処理を、特定されたサイズの所定の二次元フィルタを適用して一律に行うことができることから、当該フィルタ処理を処理負担の小さい単純な回路構成で簡便に行うことができる。この結果、フィルタ処理の処理効率の向上及び高速化を図ることができるとともに、フィルタ処理後の画像データの画質劣化や解像度の低下を生じさせることなく直角四辺形画像ｉ２からの隙間領域Ｃの補間を適正に行うことができる。

また、直角四辺形画像ｉ２の処理対象領域Ａ２の何れか一の辺と平行な複数の方向に沿ってそれぞれ隙間領域Ｃを複数特定し、各方向における複数の隙間領域Ｃの各々を構成する画素数を算出する。そして、算出された各方向における複数の画素数の中での最大値に基づいて、互いに平行な複数の方向に係る複数の画素数を代表する代表値を特定し、特定された代表値を基準として、フィルタ処理に用いられる所定の二次元フィルタのサイズを特定するので、当該所定の二次元フィルタのサイズの最適化を図ることができ、フィルタ処理にて隙間領域Ｃを構成する画素の輝度値の置換を適正に行うことができる。
つまり、処理対象領域Ａ２の縦方向及び横方向のうちの処理対象方向と平行となるように設定される処理対象ラインが、格子状をなす隙間領域Ｃを構成する所定方向に延在する直線上となった場合には、算出される隙間領域Ｃを構成する画素数の値が大きくなる。そこで、処理対象方向に係る複数の処理対象ラインに対応する複数の画素数の中での最大値に基づいて、輝度値の小さい画素が大部分を占める処理対象ラインに係るものを除外するように処理対象方向に係る複数の画素数の代表値を特定し、特定された代表値を基準として、フィルタ処理に用いられる所定の二次元フィルタのサイズを特定する。
このように、処理対象領域Ａ２の中で、格子状をなす隙間領域Ｃを構成する所定方向に延在する直線上に設定される処理対象ラインを考慮してフィルタサイズを特定することができるので、当該所定の二次元フィルタのサイズの最適化を図ることができる。

また、撮像画像ｉ１に対して輪郭抽出処理を施すことにより所定の画像領域を抽出するので、直角四辺形変換処理の処理対象となる領域の特定を自動的に行うことができる。
ここで、複数の所定の画像領域が抽出された場合であっても、ユーザによる操作入力部１０の所定操作に基づいて中央制御部１１が直角四辺形変換処理の処理対象となる所定の画像領域を指定するので、複数の所定の画像領域の中でユーザ所望の領域を直角四辺形変換処理の処理対象として設定することができる。

さらに、撮像部１のレンズ部の光学的特性によって生じた撮像画像ｉ１の歪みを補正するので、その後の当該撮像画像ｉ１の所定の画像領域に対する直角四辺形変換処理を適正に行うことができる。これにより、直角四辺形画像ｉ２における隙間領域Ｃの特定をより適正に行うことができることとなって、当該隙間領域Ｃを構成する画素数の算出をより適正に行うことができる。

また、直角四辺形画像ｉ２の隙間領域Ｃの画像データの補間により当該撮像画像ｉ１から高周波成分を適正に除去することができ、従来の手法に比べて所定の圧縮形式による符号化効率を向上させることができる。この結果、隙間補間処理後の画像が記録される記録媒体Ｍにより多くの画像データを記録することができることとなって、当該記録媒体Ｍの記録（格納）効率を向上させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、隙間修正処理（隙間補間処理）としてフィルタ処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、本発明にあっては、隙間修正処理の前に、撮像画像ｉ１の所定の画像領域に対する直角四辺形変換処理を行って直角四辺形画像ｉ２を生成することで、直角四辺形画像ｉ２における隙間領域Ｃの特定を適正に行って、その後の隙間修正処理の簡略化を図ることができるようになる。従って、当該隙間修正処理の処理効率の向上及び高速化を図る上では、本実施形態のように所定のサイズの二次元フィルタを一律に適用する処理負担の小さい単純な回路構成で行うことが好ましいが、他の如何なる構成、例えば、従来の各種手法を適用しても良い。

また、上記実施形態にあっては、直角四辺形画像ｉ２の処理対象領域Ａ２の何れか一の辺と平行な所定の一方向にのみ処理対象ラインを設定し、当該処理対象ラインに沿って隙間領域Ｃを複数特定しても良い。即ち、例えば、処理対象領域に対する画像解析を行って所定方向に沿って輝度値の小さい画素が大部分を占めるラインを特定しておき、当該ラインと重ならないように処理対象ラインを設定すれば良い。
この場合には、処理対象ラインに沿って特定された複数の隙間領域Ｃの各々を構成する画素数を算出して、算出された複数の画素数の中での最大値を基準として、フィルタ処理に用いられる所定の二次元フィルタのサイズを特定することで、当該所定の二次元フィルタのサイズの最適化を図ることができる。

さらに、上記実施形態にあっては、フィルタサイズ特定部５ｆは、フィルタサイズの特定の際に、直角四辺形画像ｉ２の処理対象領域Ａ２の縦方向及び横方向の各々を処理対象方向とするようにしたが、これに限られるものではなく、処理対象領域Ａ２の縦方向及び横方向のうちの何れか一方向のみを処理対象方向としても良い。即ち、表示装置２００の表示画面２０１の複数のドットの各々は略正方形状をなしていることから、処理対象領域Ａ２の縦方向及び横方向のうちの何れか一方向を処理対象方向とすることで特定されたフィルタサイズを、フィルタ処理に用いられる所定の二次元フィルタの最終的なフィルタサイズとしても良い。

また、上記実施形態にあっては、撮像画像ｉ１に対して輪郭抽出処理を施して所定の画像領域（四角領域Ａ１）を抽出するようにしたが、これに限られるものではなく、所定の画像領域を抽出する処理を行うか否かは適宜任意に変更可能である。
さらに、上記実施形態にあっては、撮像画像ｉ１における撮像部１のレンズ部の光学的特性によって生じた歪みを補正するようにしたが、これに限られるものではなく、撮像画像ｉ１に生じた歪みを補正する処理を行うか否かは適宜任意に変更可能である。

また、上記実施形態にあっては、直角四辺形画像ｉ２の隙間領域Ｃの隙間画素数の算出やフィルタ処理用のフィルタサイズの特定を、直角四辺形画像ｉ２内の所定の処理対象領域Ａ２に基づいて行うようにしたが、これに限られるものではなく、例えば、直角四辺形画像ｉ２全体を処理対象としても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
即ち、表示装置２００に表示された表示画像Ｓを当該撮像装置１００にて撮像して撮像画像ｉ１を取得するようにしたが、例えば、当該撮像装置１００以外の撮像装置にて撮像された撮像画像を記録媒体Ｍや所定の通信回線を介して取得するようにしても良い。また、画像処理部５による画像処理後の直角四辺形画像ｉ２の画像データ（隙間補間処理済画像ｉ３の画像データ）を記録媒体Ｍに記録させるようにしたが、例えば、当該撮像装置１００の外部に設けられ所定の通信回線を介して接続されている所定の記録手段（例えば、ハードディスクドライブなど）に転送して記録するようにしても良い。
また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る所定の画像処理を実行可能なものであれば如何なる構成であっても良い。

加えて、上記実施形態にあっては、取得手段、第１処理手段、第２処理手段としての機能を、中央制御部１１の制御下にて、画像処理部５の画像取得部５ａ、四辺形変換処理部５ｄ及びフィルタ処理部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、画像取得処理ルーチン、第１処理ルーチン及び第２処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１１のＣＰＵを、複数のドットがマトリクス状に配置されている表示画面２０１に表示された表示画像Ｓを撮像した撮像画像ｉ１を取得する取得手段として機能させるようにしても良い。また、第１処理ルーチンにより中央制御部１１のＣＰＵを、取得手段により取得された撮像画像ｉ１の所定の画像領域に対する直角四辺形変換処理を行って直角四辺形画像ｉ２を生成する第１処理手段として機能させるようにしても良い。また、第２処理ルーチンにより中央制御部１１のＣＰＵを、第１処理手段により生成された直角四辺形画像ｉ２に対して、表示画像Ｓの所定方向に隣接するドットどうしの隙間に対応する隙間領域Ｃの画像データを修正する隙間修正処理を行う第２処理手段として機能させるようにしても良い。

同様に、算出手段、特定手段、抽出手段、指定手段、補正手段についても、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００ 撮像装置
１ 撮像部
２ 撮像制御部
５ 画像処理部
５ａ 画像取得部
５ｂ 画像補正部
５ｃ 輪郭抽出部
５ｄ 四辺形変換処理部
５ｅ 隙間画素数算出部
５ｆ フィルタサイズ特定部
５ｇ フィルタ処理部
７ 記録媒体制御部
１０ 操作入力部
１１ 中央制御部
Ｍ 記録媒体

Claims (11)

1. 複数のドットがマトリクス状に配置されている表示画面に表示された表示画像を撮像した撮像画像を取得する取得手段と、
   この取得手段により取得された撮像画像の所定の画像領域に対する直角四辺形変換処理を行って、直角四角形でない画像から直角四辺形画像を生成する第１処理手段と、
   この第１処理手段により生成された前記直角四辺形画像に対して、前記表示画像の所定方向に隣接するドットどうしの隙間に対応する隙間領域の画像データを修正する隙間修正処理を行う第２処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１処理手段により生成された前記直角四辺形画像における前記隙間領域を構成する画素数を算出する算出手段と、
   この算出手段により算出された前記画素数に基づいて、前記隙間修正処理にて処理対象となる一の画素の処理範囲を特定する特定手段と、を更に備え、
   前記第２処理手段は、
   前記特定手段により特定された前記一の画素の処理範囲を基準として前記直角四辺形画像に対する前記隙間修正処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記算出手段により算出された前記画素数に基づいて、前記処理対象となる一の画素の処理範囲を規定する、前記隙間修正処理としてのフィルタ処理に用いられる所定のフィルタのサイズを特定し、
   前記第２処理手段は、前記特定手段により特定されたサイズの所定のフィルタを用いて前記直角四辺形画像に対する前記フィルタ処理を行って、当該直角四辺形画像における前記隙間領域の画像データを修正することを特徴とする請求項２に記載の画像処理装置。
4. 前記算出手段は、前記直角四辺形画像の何れか一の辺と平行な所定の一方向に沿って前記隙間領域を複数特定して、当該複数の隙間領域の各々を構成する画素数を算出し、
   前記特定手段は、前記算出手段により算出された複数の前記画素数の中での最大値を基準として、前記フィルタ処理に用いられる所定のフィルタのサイズを特定することを特徴とする請求項３に記載の画像処理装置。
5. 前記算出手段は、前記直角四辺形画像の何れか一の辺と平行な複数の方向に沿ってそれぞれ前記隙間領域を複数特定して、各方向における前記複数の隙間領域の各々を構成する画素数を算出し、
   前記特定手段は、前記算出手段により算出された各方向における複数の前記画素数の中での最大値に基づいて、前記互いに平行な複数の方向に係る複数の画素数を代表する代表値を特定し、特定された代表値を基準として、前記フィルタ処理に用いられる所定のフィルタのサイズを特定することを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段により取得された前記撮像画像に対して輪郭抽出処理を施して前記所定の画像領域を抽出する抽出手段を更に備え、
   前記第１処理手段は、
   前記抽出手段により抽出された前記所定の画像領域に対して前記直角四辺形変換処理を施すことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記抽出手段は、前記所定の画像領域を複数抽出し、
   前記複数の所定の画像領域の中で、前記第１処理手段により前記直角四辺形変換処理が施される所定の画像領域を指定する指定手段を更に備えることを特徴とする請求項６に記載の画像処理装置。
8. 前記取得手段により取得された前記撮像画像における、前記表示画像を撮像した撮像手段の光学的特性によって生じた歪みを補正する補正手段を更に備え、
   前記第１処理手段は、
   前記補正手段により歪みが補正された撮像画像の所定の画像領域に対して前記直角四辺形変換処理を施すことを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記第２処理手段による前記隙間修正処理後の画像を記録手段に記録させる制御手段を更に備えることを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
10. 複数のドットがマトリクス状に配置されている表示画面に表示された表示画像を撮像した撮像画像を取得する取得手段を備える画像処理装置を用いた画像処理方法であって、
    前記取得手段により取得された撮像画像の所定の画像領域に対する直角四辺形変換処理を行って、直角四角形でない画像から直角四辺形画像を生成する処理と、
    生成された前記直角四辺形画像に対して、前記表示画像の所定方向に隣接するドットどうしの隙間に対応する隙間領域の画像データを修正する隙間修正処理を行う処理と、
    を含むことを特徴とする画像処理方法。
11. 複数のドットがマトリクス状に配置されている表示画面に表示された表示画像を撮像した撮像画像を取得する取得手段を備える画像処理装置のコンピュータを、
    前記取得手段により取得された撮像画像の所定の画像領域に対する直角四辺形変換処理を行って、直角四角形でない画像から直角四辺形画像を生成する第１処理手段、
    この第１処理手段により生成された前記直角四辺形画像に対して、前記表示画像の所定方向に隣接するドットどうしの隙間に対応する隙間領域の画像データを修正する隙間修正処理を行う第２処理手段、
    として機能させることを特徴とするプログラム。