JP4194889B2

JP4194889B2 - 画像処理装置

Info

Publication number: JP4194889B2
Application number: JP2003178456A
Authority: JP
Inventors: 青木　　透; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-06-23
Filing date: 2003-06-23
Publication date: 2008-12-10
Anticipated expiration: 2023-06-23
Also published as: JP2005020087A

Description

【０００１】
【発明の属する技術分野】
この発明は、デジタルカメラやデジタルビデオカメラのレンズによる画像データの歪曲収差を補正する画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の画像処理装置は、例えば、デジタルカメラにより撮像された画像データの全体を一旦フレームメモリに格納し、そのフレームメモリから順次画像データを読み出しながら、メモリに格納されているレンズの歪曲収差特性を参照して、その画像データの歪曲収差を補正するようにしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−１２５１７４号公報（段落番号［００４２］から［００５６］、図１）
【０００４】
【発明が解決しようとする課題】
従来の画像処理装置は以上のように構成されているので、デジタルカメラやデジタルビデオカメラのレンズによる画像データの歪曲収差を補正することができるが、そのデジタルカメラ等により撮像された画像データの全体を一旦格納するフレームメモリを搭載する必要があり、回路規模が大きくなるなどの課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、画像データを一時的に格納するフレームメモリを搭載することなく、その画像データの歪曲収差を補正することができる画像処理装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る画像処理装置は、ラスタスキャンされた画像データを入力すると、記憶手段に記憶されている水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正手段と、その水平歪曲収差補正手段により水平方向の歪曲収差が補正された画像データを入力すると、記憶手段に記憶されている垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正手段とを設けたものである。
また、水平歪曲収差補正手段が、記憶手段から処理対象画素の表示座標に対応する水平歪曲率を読み取ると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正し、垂直歪曲収差補正手段が、記憶手段から処理対象画素の表示座標に対応する垂直歪曲率を読み取ると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正するようにしたものである。
【０００７】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、図において、水平歪曲率テーブル１は画像データを構成する画素の表示座標に対応する水平歪曲率を記憶しており、垂直歪曲率テーブル２は画像データを構成する画素の表示座標に対応する垂直歪曲率を記憶している。なお、水平歪曲率テーブル１及び垂直歪曲率テーブル２は記憶手段を構成している。
水平歪曲収差補正部３はラスタスキャンされた画像データを入力すると、水平歪曲率テーブル１に記憶されている水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正手段を構成している。
垂直歪曲収差補正部４は水平歪曲収差補正部３により水平方向の歪曲収差が補正された画像データを入力すると、垂直歪曲率テーブル２に記憶されている垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正手段を構成している。
【０００８】
図３は水平歪曲収差補正部３の内部構成を示す構成図であり、図において、座標特定部１１は画像データを構成する画素のうち、処理対象の画素の表示座標を特定する。画素値補正部１２は水平歪曲率テーブル１から座標特定部１１により特定された処理対象画素の表示座標に対応する水平歪曲率を読み取ると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正する。
【０００９】
図５は垂直歪曲収差補正部４の内部構成を示す構成図であり、図において、座標特定部１３は画像データを構成する画素のうち、処理対象の画素の表示座標を特定する。メモリ１４は一時的に画像データを格納する。
画素値補正部１５は垂直歪曲率テーブル２から座標特定部１３により特定された処理対象画素の表示座標に対応する垂直歪曲率を読み取ると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正する。
【００１０】
次に動作について説明する。
デジタルカメラやデジタルビデオカメラにより撮像された画像データは、図２（ａ）に示すように、レンズの影響で歪曲している。
この実施の形態１では、そのレンズによる画像データの歪曲収差を補正するため（図２（ｂ），（ｃ）を参照）、水平歪曲率テーブル１には、予め、そのレンズの水平方向の歪曲収差特性を考慮して、画像データを構成する画素の表示座標に対応する水平歪曲率を記憶する（図４を参照）。また、垂直歪曲率テーブル２には、予め、そのレンズの垂直方向の歪曲収差特性を考慮して、画像データを構成する画素の表示座標に対応する垂直歪曲率を記憶する（図６を参照）。
【００１１】
ここで、水平歪曲率は、処理対象画素（例えば、座標（１，０）の画素）の画素値と隣接画素（例えば、座標（２，０）の画素）の画素値との間で重み付け演算を実施して、処理対象画素の画素値を補正する際の重み付け値に相当し、レンズの水平方向の歪曲収差特性に応じて表示座標毎に設定されている。
また、垂直歪曲率は、処理対象画素（例えば、座標（１，０）の画素）の画素値と隣接画素（例えば、座標（１，１）の画素）の画素値との間で重み付け演算を実施して、処理対象画素の画素値を補正する際の重み付け値に相当し、レンズの垂直方向の歪曲収差特性に応じて表示座標毎に設定されている。
【００１２】
水平歪曲収差補正部３の座標特定部１１は、水平方向の画像データがラスタスキャンされる毎に、その画像データを入力し、その画像データを構成する画素のうち、一番左側の画素から順番に処理対象画素として、その処理対象画素の表示座標を特定する。
水平歪曲収差補正部３の画素値補正部１２は、座標特定部１１が処理対象画素の表示座標を特定すると、水平歪曲率テーブル１から処理対象画素の表示座標に対応する水平歪曲率を読み取る。
例えば、処理対象画素が座標（０，０）の画素であれば、水平歪曲率として“０．９０”、座標（１，０）の画素であれば、水平歪曲率として“０．９２”を読み取る。
【００１３】
水平歪曲収差補正部３の画素値補正部１２は、処理対象画素の表示座標に対応する水平歪曲率を読み取ると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正する。
例えば、座標（１，０）の画素を処理対象画素とする場合、水平歪曲率が“０．９２”であって、“１．０”より小さいので、右隣の画素、即ち、座標が（２，０）の画素を隣接画素として、下記のように、処理対象画素の画素値を補正する。ただし、処理対象画素の水平歪曲率が“１．０”より大きい場合、左隣の画素を隣接画素として、処理対象画素の画素値を補正する。
Ｇ（１，０）
＝Ｇｓ（１，０）×０．９２＋Ｇｓ（２，０）×（１−０．９２）
ただし、Ｇｓ（１，０）は処理対象画素の画素値
Ｇｓ（２，０）は隣接画素の画素値
【００１４】
上記のようにして、処理対象画素の画素値を補正すると、処理対象画素を右隣の画素に１つずらし、一番右側の画素を処理対象画素とするまで、同様の補正処理を継続する。
一番右側の画素の補正処理が終わると、次にラスタスキャンされた画像データを入力し、同様の補正処理を実施する。
【００１５】
垂直歪曲収差補正部４の座標特定部１３は、水平歪曲収差補正部３から水平方向の歪曲収差が補正された画像データを受けると、その画像データをメモリ１４に格納する。
ただし、垂直歪曲収差補正部４の画素値補正部１５は、後述するように、ラスタスキャン２回分の画像データ（２行分の画像データ）があれば、画像データの垂直歪曲収差を補正することができるので、メモリ１４は、ラスタスキャン２回分の画像データを記憶することが可能な容量を有していればよく、画像データの全体を記憶するフレームメモリは必要としない。
【００１６】
垂直歪曲収差補正部４の座標特定部１３は、例えば、１行目の画像データ（座標が（０，０）〜（Ｘ−１，０）の画素からなる画像データ）と、２行目の画像データ（座標が（０，１）〜（Ｘ−１，１）の画素からなる画像データ）とをメモリ１４に格納すると、１行目の画像データを構成する画素のうち、一番左側の画素から順番に処理対象画素として、その処理対象画素の表示座標を特定する。
垂直歪曲収差補正部４の画素値補正部１５は、座標特定部１３が処理対象画素の表示座標を特定すると、垂直歪曲率テーブル２から処理対象画素の表示座標に対応する垂直歪曲率を読み取る。
例えば、処理対象画素が座標（０，０）の画素であれば、垂直歪曲率として“０．９０”、座標（０，１）の画素であれば、垂直歪曲率として“０．９２”を読み取る。
【００１７】
垂直歪曲収差補正部４の画素値補正部１５は、処理対象画素の表示座標に対応する垂直歪曲率を読み取ると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正する。
例えば、座標（３，０）の画素を処理対象画素とする場合、垂直歪曲率が“０．９６”であって、“１．０”より小さいので、下隣の画素、即ち、座標が（３，１）の画素を隣接画素として、下記のように、処理対象画素の画素値を補正する。ただし、処理対象画素の垂直歪曲率が“１．０”より大きい場合、上隣の画素を隣接画素として、処理対象画素の画素値を補正する。
Ｇ（３，０）
＝Ｇｓ（３，０）×０．９６＋Ｇｓ（３，１）×（１−０．９６）
ただし、Ｇｓ（３，０）は処理対象画素の画素値
Ｇｓ（３，１）は隣接画素の画素値
【００１８】
上記のようにして、処理対象画素の画素値を補正すると、処理対象画素を右隣の画素に１つずらし、一番右側の画素を処理対象画素とするまで、同様の補正処理を継続する。
一番右側の画素の補正処理が終わると、次にラスタスキャンされた画像データを入力し、同様の補正処理を実施する。
なお、例えば、３行目の画像データを入力すると、３行目の画像データをメモリ１４に格納して、２行目の画像データを構成する画素を処理対象画素とするが、１行目の画像データは既に補正が終了しているので、３行目の画像データを１行目の画像データに上書きする。
【００１９】
以上で明らかなように、この実施の形態１によれば、ラスタスキャンされた画像データを入力すると、水平歪曲率テーブル１に記憶されている水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正部３と、その水平歪曲収差補正部３により水平方向の歪曲収差が補正された画像データを入力すると、垂直歪曲率テーブル２に記憶されている垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正部４とを設けるように構成したので、画像データを一時的に格納するフレームメモリを搭載することなく、その画像データの歪曲収差を補正することができるようになり、その結果、回路規模を小さくすることができる効果を奏する。
【００２０】
なお、この実施の形態１では、処理対象画素と隣接画素間で重み付け演算を実施することにより、処理対象画素の画素値を補正するものについて示したが、歪曲収差が大きい場合には、処理対象画素から２画素以上離れている画素との間で重み付け演算を実施して、処理対象画素の画素値を補正する必要がある。
この場合、垂直歪曲収差補正部４のメモリ１４は、３行分以上の画像データを格納する必要があるが、画像データの全体を記憶するフレームメモリと比べれば、極僅かな容量である。
【００２１】
実施の形態２．
図７はこの発明の実施の形態２による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
水平歪曲率算出部５は画像データを構成する画素の表示座標に対応する水平歪曲率を算出し、垂直歪曲率算出部６は画像データを構成する画素の表示座標に対応する垂直歪曲率を算出する。なお、水平歪曲率算出部５及び垂直歪曲率算出部６は演算手段を構成している。
【００２２】
上記実施の形態１では、水平歪曲率テーブル１及び垂直歪曲率テーブル２が予めレンズの歪曲収差特性を考慮して、水平歪曲率や垂直歪曲率を記憶するものについて示したが、この実施の形態２では、水平歪曲率算出部５が入力した画像データから水平歪曲率を算出し、垂直歪曲率算出部６が入力した画像データから垂直歪曲率を算出するようにしている。
【００２３】
具体的には、水平歪曲率算出部５は、水平歪曲収差補正部３の座標特定部１１から処理対象画素の表示座標を受けると、例えば、デジタルカメラのレンズの歪曲特性が図８に示すような分布を有する場合、その分布特性を関数化して、その関数ｆ（ｘ，ｙ）に処理対象画素の表示座標（ｘ，ｙ）を入力して、その表示座標に対応する水平歪曲率を算出する。
図８の例では、画像の中心の水平歪曲率が“１．０”であり、画像の中心から離れる程、同心円状に水平歪曲率が小さくなるものを示しているので、水平歪曲率が同心円状に変化する関数ｆ（ｘ，ｙ）に処理対象画素の表示座標（ｘ，ｙ）を入力すれば、その表示座標に対応する水平歪曲率を算出することができる。
【００２４】
また、垂直歪曲率算出部６は、垂直歪曲収差補正部４の座標特定部１３から処理対象画素の表示座標を受けると、例えば、デジタルカメラのレンズの歪曲特性が図８に示すような分布を有する場合、その分布特性を関数化して、その関数ｆ（ｘ，ｙ）に処理対象画素の表示座標（ｘ，ｙ）を入力して、その表示座標に対応する垂直歪曲率を算出する。
図８の例では、画像の中心の垂直歪曲率が“１．０”であり、画像の中心から離れる程、同心円状に垂直歪曲率が小さくなるものを示しているので、垂直歪曲率が同心円状に変化する関数ｆ（ｘ，ｙ）に処理対象画素の表示座標（ｘ，ｙ）を入力すれば、その表示座標に対応する垂直歪曲率を算出することができる。
【００２５】
水平歪曲収差補正部３及び垂直歪曲収差補正部４の動作は上記実施の形態１と同様であるため説明を省略する。
この実施の形態２によれば、画像データを構成する画素の表示座標に対応する水平歪曲率と垂直歪曲率を算出するように構成したので、水平歪曲率テーブル１と垂直歪曲率テーブル２が不要になり、上記実施の形態１よりも更にメモリ容量を削減することができる効果を奏する。
【００２６】
実施の形態３．
上記実施の形態１，２では、水平歪曲収差補正部３が画像データの水平方向の歪曲収差を補正してから、垂直歪曲収差補正部４が画像データの垂直方向の歪曲収差を補正するものについて示したが、図９及び図１０に示すように、垂直歪曲収差補正部４が画像データの垂直方向の歪曲収差を補正してから、水平歪曲収差補正部３が画像データの水平方向の歪曲収差を補正するようにしてもよく、上記実施の形態１，２と同様の効果を奏することができる。
【００２７】
【発明の効果】
以上のように、この発明によれば、ラスタスキャンされた画像データを入力すると、記憶手段に記憶されている水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正手段と、その水平歪曲収差補正手段により水平方向の歪曲収差が補正された画像データを入力すると、記憶手段に記憶されている垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正手段とを設けるように構成したので、画像データの全体を一時的に格納するフレームメモリを搭載することなく、その画像データの歪曲収差を補正することができるようになり、その結果、回路規模を小さくすることができる効果がある。
また、水平歪曲収差補正手段が、記憶手段から処理対象画素の表示座標に対応する水平歪曲率を読み取ると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正し、垂直歪曲収差補正手段が、記憶手段から処理対象画素の表示座標に対応する垂直歪曲率を読み取ると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正するように構成したので、垂直歪曲収差補正手段では、画像データの垂直方向の歪曲収差を補正するに際して、水平歪曲収差補正手段により水平方向の歪曲収差が補正された画像データを一時的に格納するメモリが必要となるが、ラスタスキャン２回分程度の画像データがあれば、画像データの垂直方向の歪曲収差を補正することができるため、画像データの全体を記憶するフレームメモリと比べて、極僅かな容量のメモリを実装するだけで足りる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】歪曲収差の補正を説明する説明図である。
【図３】水平歪曲収差補正部の内部構成を示す構成図である。
【図４】水平歪曲率テーブルを示す説明図である。
【図５】垂直歪曲収差補正部の内部構成を示す構成図である。
【図６】垂直歪曲率テーブルを示す説明図である。
【図７】この発明の実施の形態２による画像処理装置を示す構成図である。
【図８】レンズの歪曲特性を示す説明図である。
【図９】この発明の実施の形態３による画像処理装置を示す構成図である。
【図１０】この発明の実施の形態３による画像処理装置を示す構成図である。
【符号の説明】
１水平歪曲率テーブル（記憶手段）、２垂直歪曲率テーブル（記憶手段）、３水平歪曲収差補正部（水平歪曲収差補正手段）、４垂直歪曲収差補正部（垂直歪曲収差補正手段）、５水平歪曲率算出部（演算手段）、６垂直歪曲率算出部（演算手段）、１１座標特定部、１２画素値補正部、１３座標特定部、１４メモリ、１５画素値補正部。

Claims

画像データを構成する画素の表示座標に対応する水平歪曲率と垂直歪曲率を記憶する記憶手段と、ラスタスキャンされた画像データを入力すると、上記記憶手段に記憶されている水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正手段と、上記水平歪曲収差補正手段により水平方向の歪曲収差が補正された画像データを入力すると、上記記憶手段に記憶されている垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正手段とを備えた画像処理装置において、上記水平歪曲収差補正手段は、上記記憶手段から処理対象画素の表示座標に対応する水平歪曲率を読み取ると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正し、上記垂直歪曲収差補正手段は、上記記憶手段から処理対象画素の表示座標に対応する垂直歪曲率を読み取ると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正することを特徴とする画像処理装置。
画像データを構成する画素の表示座標に対応する水平歪曲率と垂直歪曲率を記憶する記憶手段と、ラスタスキャンされた画像データを入力すると、上記記憶手段に記憶されている垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正手段と、上記垂直歪曲収差補正手段により垂直方向の歪曲収差が補正された画像データを入力すると、上記記憶手段に記憶されている水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正手段とを備えた画像処理装置において、上記垂直歪曲収差補正手段は、上記記憶手段から処理対象画素の表示座標に対応する垂直歪曲率を読み取ると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正し、上記水平歪曲収差補正手段は、上記記憶手段から処理対象画素の表示座標に対応する水平歪曲率を読み取ると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正することを特徴とする画像処理装置。
画像データを構成する画素の表示座標に対応する水平歪曲率と垂直歪曲率を演算する演算手段と、ラスタスキャンされた画像データを入力すると、上記演算手段に演算された水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正手段と、上記水平歪曲収差補正手段により水平方向の歪曲収差が補正された画像データを入力すると、上記演算手段に演算された垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正手段とを備えた画像処理装置において、上記水平歪曲収差補正手段は、上記演算手段から処理対象画素の表示座標に対応する水平歪曲率を受けると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正し、上記垂直歪曲収差補正手段は、上記演算手段から処理対象画素の表示座標に対応する垂直歪曲率を受けると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正することを特徴とする画像処理装置。
画像データを構成する画素の表示座標に対応する水平歪曲率と垂直歪曲率を演算する演算手段と、ラスタスキャンされた画像データを入力すると、上記演算手段に演算された垂直歪曲率を参照して、その画像データの垂直方向の歪曲収差を補正する垂直歪曲収差補正手段と、上記垂直歪曲収差補正手段により垂直方向の歪曲収差が補正された画像データを入力すると、上記演算手段に演算された水平歪曲率を参照して、その画像データの水平方向の歪曲収差を補正する水平歪曲収差補正手段とを備えた画像処理装置において、上記垂直歪曲収差補正手段は、上記演算手段から処理対象画素の表示座標に対応する垂直歪曲率を受けると、その垂直歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して垂直方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正し、上記水平歪曲収差補正手段は、上記演算手段から処理対象画素の表示座標に対応する水平歪曲率を受けると、その水平歪曲率を用いて、その処理対象画素の画素値と、その処理対象画素に対して水平方向に隣接する画素の画素値との間で重み付け演算を実施して、その処理対象画素の画素値を補正することを特徴とする画像処理装置。