JP5914813B2

JP5914813B2 - カメラ、歪み補正装置、及び歪み補正方法

Info

Publication number: JP5914813B2
Application number: JP2011001125A
Authority: JP
Inventors: 森村　淳; 森村　　淳
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2011-01-06
Filing date: 2011-01-06
Publication date: 2016-05-11
Anticipated expiration: 2031-01-06
Also published as: CN103283214B; CN103283214A; US20130265468A1; WO2012093453A1; JP2012142885A; US9313411B2

Description

本発明は、魚眼レンズ等の広角レンズを用いて撮像された歪曲画像を補正するカメラ、歪み補正装置、及び歪み補正方法に関する。

魚眼レンズ等の広角レンズを用いて撮像した画像は、一般に、画像の周縁部ほど歪曲した画像となる。

図１に、従来の歪み補正の様子を示す。図１は、互いに平行な白黒の横縞模様を広角レンズを用いて撮像した画像を示す。図１Ａは、歪み補正前の画像を示し、光学歪みが原因となって、周縁部ほど歪曲していることが分かる。図１Ｂは、歪み補正後の画像を示し、周縁部の歪曲は解消されているが、周縁部が拡大されてしまうので、不自然な画像になってしまう。

そこで、従来、歪みを補正しつつ、できるだけ自然な画像を得るための歪み補正技術が多数提案されている。

例えば、特許文献１には、歪み補正を行うための関数と、歪み補正を行わないための関数とを用意し、これらの関数を複合的に利用することで、見た目上、自然な歪み補正を行う技術が開示されている。

また、特許文献２には、歪曲画像から切り出した画像の座標（Ｘ軸、Ｙ軸の値）に応じて拡大率（変化関数）を設定し、この拡大率を利用して画像変換を行うことで、見た目上、自然な歪み補正を行う技術が開示されている。

特開２００４−１９９３５０号公報特開２００９−１２４６２７号公報特許第３０５１１７３号公報

ところで、近年のカメラは、一般に電子ズーム処理機能が搭載されている。しかしながら、電子ズームと歪み補正との関係については、十分な検討がなされていなかった。

本発明は、電子ズーム処理と歪み補正処理との関係を十分に検討することにより、広角レンズを用いて撮像された歪曲画像に対して、電子ズーム処理と歪み補正の両方を施す場合に、不自然な画像になることを抑制しつつ、歪曲画像を的確に補正できる、カメラ、歪み補正装置、及び歪み補正方法を提供することを目的とする。

本発明のカメラの一つの態様は、被写体を結像するレンズと、前記レンズにより結像された光学像を電気信号に変換することにより、撮像画像信号を得る撮像素子と、前記撮像画像信号に対して、電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、を備え、前記電子ズーム及び歪み補正処理部は、指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率を変更する。

本発明の歪み補正装置の一つの態様は、歪曲画像の画素を再マッピングすることで、前記歪曲画像に電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率が変更されるように、前記電子ズーム及び歪み補正処理部の再マッピングを制御する、再マッピング制御部と、を具備する。

本発明によれば、広角レンズを用いて撮像された歪曲画像に対して、電子ズーム処理と歪み補正の両方を施す場合に、不自然な画像になることを抑制しつつ、歪曲画像を的確に補正できる。

従来の歪み補正の様子を示す図であり、図１Ａは歪み補正前の画像を示す図、図１Ｂは歪み補正後の画像を示す図実施の形態のカメラの構成を示すブロック図広角レンズを用いた場合の、レンズ結像の特性と、電子ズーム画角と、を示す図電子ズーム倍率に対応する補正率を求めるためのテーブルを示す図であり、図４Ａはレンズ画角が１２０°のときに用いるテーブルを示す図、図４Ｂはレンズ画角が１４０°のときに用いるテーブルを示す図、図４Ｃはレンズ画角が１８０°のときに用いるテーブルを示す図同一のレンズ画角に関して、電子ズーム倍率に対する補正率の対応テーブルを複数用意する例を示す図補正状況と補正結果を示す図形の表示例を示す図であり、図６Ａは電子ズーム画角が±３０°以下の表示画像を示す図、図６Ｂは電子ズーム画角が±３０°以上で±６０°以下の表示画像を示す図、図６Ｃは電子ズーム画角が±６０°以上の表示画像を示す図補正状況と補正結果を示す図形の他の表示例を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図２に、本実施の形態のカメラの構成を示す。カメラ１００は、例えば監視カメラ等の所謂広角カメラであり、撮像された歪曲画像に対して歪み補正処理を施すようになっている。また、カメラ１００は、電子ズーム機能を有する。

カメラ１００は、魚眼レンズ等の広角レンズ１０１を有し、この広角レンズ１０１によって撮像素子１０２に被写体像を結像させる。撮像素子１０２は、ＣＣＤ等からなり、結像された光学像を電気信号に変換することにより、撮像画像信号を得る。カメラ処理部１０３は、撮像素子１０２から出力された撮像画像信号に対してγ処理、マトリックス処理等を施し、処理後の信号を電子ズーム及び歪み補正処理部１０４に出力する。

電子ズーム及び歪み補正処理部１０４は、例えば画像メモリと補間回路で構成され、後述する再マッピング制御部１１０によって画像メモリからの読み出しと補間が制御される。これにより、画素の位置や画像信号が再マッピングされ、電子ズーム処理及び歪み補正処理が実現される。

再マッピング制御部１１０は、電子ズーム及び歪み補正処理部１０４の再マッピングを制御する。再マッピング制御部１１０には、ユーザにより指定された電子ズーム倍率Ｓ１と、レンズ画角Ｓ２とが入力される。電子ズーム倍率Ｓ１は、ユーザにより例えば操作部（図示せず）を介して指定される。レンズ画角Ｓ２は、広角レンズ１０１のレンズ画角である。レンズ画角Ｓ２は、メモリ（図示せず）に記憶されており、同一のレンズ画角の広角レンズを用いている場合には固定値であるが、レンズ画角を変更可能な広角レンズ（ズームレンズ）や広角レンズを交換する場合には、それに応じて変更される。

ズーム画角算出部１１１には、電子ズーム倍率Ｓ１及びレンズ画角Ｓ２が入力される。ズーム画角算出部１１１は、電子ズーム倍率Ｓ１と、レンズ画角Ｓ２とに基づいて、電子ズーム後の画角である電子ズーム画角Ｓ３を算出し、これを読み出しアドレス発生部１１２に出力する。

図３に、広角レンズを用いた場合の、レンズ結像の特性と、電子ズーム画角と、を示す。図中の点線はレンズの結像特性を示す。レンズ画角が変われば、それに応じて図中の点線で示されるレンズの結像特性が変わる。図中の一点鎖線は電子ズーム画角を示す。この電子ズーム画角の大きさは、当然、レンズ画角と電子ズーム倍率とに応じて変化する。

ここで、電子ズーム倍率をＺ１、Ｚ２、Ｚ３とし、Ｚ１＞Ｚ２＞Ｚ３と仮定する。一番大きな値の電子ズーム倍率Ｚ１が指定された場合には、図中のＲ１で示される狭角の画像表示範囲が切り出され、その画像表示範囲Ｒ１が電子ズーム倍率Ｚ１ぶんだけ拡大されて表示される。また、中間の値の電子ズーム倍率Ｚ２が指定された場合には、図中のＲ２で示される中間角の画像表示範囲が切り出され、その画像表示範囲Ｒ２が電子ズーム倍率Ｚ２ぶんだけ拡大されて表示される。一番小さな値の電子ズーム倍率Ｚ３が指定された場合には、図中のＲ３で示される広角の画像表示範囲が切り出され、その画像表示範囲Ｒ３が電子ズーム倍率Ｚ３ぶんだけ拡大されて（電子ズーム倍率Ｚ３が１の場合にはそのまま拡大されずに）表示される。

補正率決定部１１３は、電子ズーム倍率Ｓ１と、レンズ画角Ｓ２とに基づいて、補正率Ｓ４を決定し、これを読み出しアドレス発生部１１２に出力する。

本実施の形態の場合、補正率決定部１１３は、図４Ａ、図４Ｂ及び図４Ｃに示すような、レンズ画角Ｓ２に応じた複数のテーブルを有し、この複数のテーブルの中から、入力されるレンズ画角Ｓ２に応じたテーブルを用いて、補正率Ｓ４を決定して出力する。

図４では、一例として、レンズ画角が１２０°（図では±６０°で示している）の場合に用いるテーブル（図４Ａ）、レンズ画角が１４０°（図では±７０°で示している）の場合に用いるテーブル（図４Ｂ）、レンズ画角が１８０°（図では±９０°で示している）の場合に用いるテーブル（図４Ｃ）の３つのテーブルが示されているが、レンズ画角に応じてさらに多くのテーブルを有してもよい。また、用意されたテーブルの中に、レンズ画角に対応するものが無い場合には、最も近いレンズ画角のテーブルを代用するなどしてもよい。

補正率決定部１１３は、レンズ画角Ｓ２が１２０°の場合には、図４Ａのテーブルを用い、電子ズーム倍率Ｓ１に対応する補正率Ｓ４を出力する。また、レンズ画角Ｓ２が１４０°の場合には、図４Ｂのテーブルを用い、電子ズーム倍率Ｓ１に対応する補正率Ｓ４を出力する。また、レンズ画角Ｓ２が１８０°の場合には、図４Ｃのテーブルを用い、電子ズーム倍率Ｓ１に対応する補正率Ｓ４を出力する。なお、レンズ画角Ｓ２が決まれば、電子ズーム倍率Ｓ１と、電子ズーム後の画角（電子ズーム画角）との関係は一意に決まるので、図では、横軸に、電子ズーム倍率と、電子ズーム後の画角との両方を示してある。

また、レンズ画角Ｓ２が同一であってもレンズ特性に応じて歪み特性が異なる場合もあるので、図５に示すように、同一のレンズ画角に関して、電子ズーム倍率に対する補正率の対応テーブルを複数用意してもよい。

読み出しアドレス発生部１１２は、先ず、入力された電子ズーム画角Ｓ３に基づいて、電子ズーム画角Ｓ３の画像を完全に歪みの無い状態で形成するための読み出しアドレスを生成する。このときの読み出しアドレスの生成については、例えば特許文献３にも開示されているように、従来から提示されている既知の技術なので、ここでの詳細な説明は省略する。簡単に言うと、図１Ａに示したような歪曲画像に対して、図１Ｂに示したような完全に歪みが補正された画像を形成するための読み出しアドレスが生成される。

次に、読み出しアドレス発生部１１２は、完全な歪み補正を行うための読み出しアドレスを、補正率決定部１１３にて決定された補正率Ｓ４ぶんだけの歪み補正を実現するための読み出しアドレスに変更し、この変更した読み出しアドレスＳ５を電子ズーム及び歪み補正処理部１０４の読み出しアドレスとして出力する。補正率Ｓ４は、式（１）により定義する。正方形が正方形として出力される中心射影を基準に定義する。式（１）より、補正後の像高Ｙ’は式（２）で求める。補正率Ｓ４は、図４、図５のグラフのように与え、式（２）より、出力される像高Ｙ’を求める。なお、ここでは補正率の意味を分かり易くするために、画像を完全に歪みの無い状態で形成するための読み出しアドレスを生成した後に、これを補正率に応じて変更するようにしたが、実際には、補正率に対応した読み出しアドレスＳ５を一気に生成してもよい。

Ｓ４＝１ − （Ｙ０−Ｙ’）／（Ｙ０−Ｙｎ） ………（１）
Ｙ’ ＝Ｙ０ − （１−Ｓ４）（Ｙ０−Ｙｎ） ………（２）
ここで、Ｙ０＝ｆｔａｎθ（中心射影）
Ｙｎ＝ｆθ（等距離射影）又はＹｎ＝ｆｓｉｎθ（正射影）など
使用する広角レンズの特性
Ｙ０：基準となる像高、中心射影を用いる
Ｙｎ：使用するレンズの像高
Ｙ’：補正後の像高
θ：基準とする視野角、４５〜７０度程度で決定される
ｆ：使用するレンズの焦点距離

例えば、レンズ画角Ｓ２が１２０°（±６０°）の広角レンズ１０１が用いられ、指定された電子ズーム倍率Ｓ１が１．５倍の場合、補正率決定部１１３では図４Ａのテーブルが用いられ、補正率Ｓ４として８０％が出力される。読み出しアドレス発生部１１２は、完全な歪み補正を行うための読み出しアドレスではなく、８０％の歪み補正を行うための読み出しアドレスＳ５を発生して出力する。当然、この出力される読み出しアドレスＳ５は、１．５倍の電子ズームを行うものでもある。

また、例えば、レンズ画角Ｓ２が１８０°（±９０°）の広角レンズ１０１が用いられ、指定された電子ズーム倍率Ｓ１が１．５倍の場合、補正率決定部１１３では図４Ｃのテーブルが用いられ、補正率Ｓ４として５０％が出力される。読み出しアドレス発生部１１２は、完全な歪み補正を行うための読み出しアドレスではなく、５０％の歪み補正を行うための読み出しアドレスＳ５を発生して出力する。当然、この出力される読み出しアドレスＳ５は、１．５倍の電子ズームを行うものでもある。

電子ズーム及び歪み補正処理部１０４は、読み出しアドレスＳ５によって、画素を再マッピングと補間を行い、電子ズーム処理及び歪み補正処理が施された画像信号Ｓ６を形成し、これを補正状況重畳部１０５に出力する。

補正状況重畳部１０５は、電子ズーム処理及び歪み補正処理が施された画像信号Ｓ６に加えて、電子ズーム画角Ｓ３及び補正率Ｓ４を入力する。補正状況重畳部１０５は、電子ズーム画角Ｓ３及び補正率Ｓ４に基づいて、補正状況を表す図形を作成し、これを画像信号Ｓ６に重畳する。これにより、表示される画像がどの程度の歪み補正が施されたものかを、視聴者が確認できるようになる。特に、本実施の形態では、指定される電子ズーム倍率Ｓ１に応じて歪み補正率Ｓ４を変更するようにしているので、補正状況を表す図形を表示することは非常に有効である。

図６は、補正状況を示す図形の表示例を示す。図中の点線は、歪みの状態を模式的に表している。図中の実線は、補正状況を示す図形を表している。図６は、レンズ画角が１８０°（±９０°）の広角レンズ１０１が用いられた場合の例である（図４Ｃ参照）。

図６Ａは、電子ズーム画角が±３０°（６０°）以下の表示画像を示すもので、この場合、図４Ｃからも分かるように完全な歪み補正（補正率１００％の歪み補正）が行われるので、補正状況を表す図形としては、歪みが残っていないことを示す長方形の図形が表示される。図６Ｃは、電子ズーム画角が±６０°（１２０°）以上の表示画像を示すもので、この場合、図４Ｃからも分かるように補正率５０％以下の歪み補正が行われるので、補正状況を表す図形としてはある程度の歪みが残っていることを示す樽型の図形が表示される。図６Ｂは、電子ズーム画角が±３０°（６０°）以上で±６０°（１２０°）以下の表示画像を示すもので、この場合、補正状況を表す図形としては図６Ａと図６Ｃの中間の図形が表示される。

なお、図６の例では、補正状況を表す図形を中心部及び周縁部に分けて表示されている。図６Ｂ及び図６Ｃの補正状況を表す図形から、中心付近よりも周縁部の方が歪みが多く残っていることが分かる。

図７は、図６の周縁部の補正状況を表す図形を、表示画像の右上に表示した例である。なお、図６及び図７では、補正状況を表す図形を表示する例を示したが、補正率をそのまま表示してもよい。

補正状況重畳部１０５からの出力される画像は、表示部（図示せず）にて表示される。

以上説明したように、本実施の形態によれば、指定された電子ズーム倍率Ｓ１に応じて、電子ズーム処理だけでなく、歪み補正処理の補正率Ｓ４を変更するようにしたことにより、不自然な画像になることを抑制しつつ、歪曲画像を的確に補正できるようになる。具体的には、指定される電子ズーム倍率Ｓ１が小さいほど、換言すれば電子ズーム画角が大きいほど（広角な画像ほど）、補正率Ｓ４を小さくしたことにより、周縁部が極端に拡大されることによる、見た目上の不自然さを抑制できる。つまり、それぞれの電子ズーム倍率の画角で見やすい（納得性の高い）画像を得ることができる。

また、本実施の形態の歪み補正処理は、広角の電子ズーム時には等角（等距離射影）になるように補正し、狭角の電子ズーム時には直線（中心射影）になるように補正し、中間画角の電子ズーム時には等角から直線になだらかに変化させるように補正する処理である、と言い換えることができる。

なお、上述した実施の形態に加えて、電子ズーム及び歪み補正処理部１０４において、歪み補正の補正を、垂直方向と水平方向とで独立して制御してもよい。例えば、垂直方向の直線の歪み補正は電子ズーム倍率（電子ズーム画角と言い換えてもよい）Ｓ１に依らず直線になるように補正し、水平方向の直線の歪み補正は電子ズーム倍率Ｓ１に応じて曲線を許すように変更すれば、より自然な画像を得ることができる。これは、木や人など垂直方向に起立している物体に対しては、垂直方向の直線の歪みは完全に補正した方が、つまり垂直方向の直線は垂直方向の直線となるようにした方が、自然な画像を得ることができるためである。

また、上述した実施の形態では、電子ズーム及び歪み補正処理部１０４、再マッピング制御部１１０及び補正状況重畳部１０５を、カメラに設けた場合について説明したが、これらはカメラとは別体に歪み補正装置として設けてもよい。

また、再マッピング制御部１１０の構成は、図２の構成に限らない。例えば広角レンズ１０１のレンズ画角が固定である場合には、指定された電子ズーム倍率Ｓ１を直接用いて、補正率Ｓ４及び読み出しアドレスＳ５を発生させることができるので、ズーム画角算出部１１１は省略してもよい。

本発明は、魚眼レンズ等の広角レンズを用いて撮像された歪曲画像に対して、電子ズーム処理と歪み補正の両方を施す場合に好適である。

１００カメラ
１０１広角レンズ
１０４電子ズーム及び歪み補正処理部
１０５補正状況重畳部
１１０再マッピング制御部
１１１ズーム画角算出部
１１２読み出しアドレス発生部
１１３補正率決定部
Ｓ１電子ズーム倍率
Ｓ２レンズ画角
Ｓ３電子ズーム画角
Ｓ４補正率
Ｓ５読み出しアドレス

Claims

被写体を結像するレンズと、
前記レンズにより結像された光学像を電気信号に変換することにより、撮像画像信号を得る撮像素子と、
前記撮像画像信号に対して、電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、
を備え、
前記電子ズーム及び歪み補正処理部は、指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率を変更し、
前記補正率は、垂直方向の直線の歪み補正は１００％であり、水平方向の直線の歪み補正は前記電子ズーム倍率に応じて変更される、
カメラ。
前記電子ズーム及び歪み補正処理部は、さらに、前記レンズの画角に応じて、前記歪み補正処理の補正率を変更する、
請求項１に記載のカメラ。
前記指定された電子ズーム倍率と前記レンズの画角とに基づいて、電子ズーム画角を算出するズーム画角算出部を、さらに具備し、
前記電子ズーム及び歪み補正処理部は、前記画角算出部によって算出された前記電子ズーム画角に応じて、前記歪み補正処理の補正率を変更する、
請求項１に記載のカメラ。
前記電子ズーム処理及び歪み補正処理を施された画像に、前記補正率に基づく歪み補正状況を重畳する、補正状況重畳部を、さらに具備する、
請求項１から請求項３のいずれか一項に記載のカメラ。
前記補正率は、垂直方向と水平方向とでそれぞれ独立に制御される、
請求項１から請求項４のいずれか一項に記載のカメラ。
歪曲画像の画素を再マッピングすることで、前記歪曲画像に電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、
指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率が変更されるように、前記電子ズーム及び歪み補正処理部の再マッピングを制御する、再マッピング制御部と、
を具備し、
前記補正率は、垂直方向の直線の歪み補正は１００％であり、水平方向の直線の歪み補正は前記電子ズーム倍率に応じて変更される、
歪み補正装置。
歪曲画像の画素を再マッピングすることで、前記歪曲画像に電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理ステップと、
指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率が変更されるように、前記電子ズーム及び歪み補正処理ステップの再マッピングを制御する、再マッピング制御ステップと、
を含み、
前記補正率は、垂直方向の直線の歪み補正は１００％であり、水平方向の直線の歪み補正は前記電子ズーム倍率に応じて変更される、
歪み補正方法。