JP6387455B2 - カメラ装置、画像処理装置及び画像処理方法 - Google Patents

カメラ装置、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6387455B2
JP6387455B2 JP2017509159A JP2017509159A JP6387455B2 JP 6387455 B2 JP6387455 B2 JP 6387455B2 JP 2017509159 A JP2017509159 A JP 2017509159A JP 2017509159 A JP2017509159 A JP 2017509159A JP 6387455 B2 JP6387455 B2 JP 6387455B2
Authority
JP
Japan
Prior art keywords
deterioration
image
region
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017509159A
Other languages
English (en)
Other versions
JPWO2016157607A1 (ja
Inventor
田丸 雅也
雅也 田丸
慶延 岸根
慶延 岸根
宗之 大島
宗之 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2016157607A1 publication Critical patent/JPWO2016157607A1/ja
Application granted granted Critical
Publication of JP6387455B2 publication Critical patent/JP6387455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Accessories Of Cameras (AREA)
  • Geometry (AREA)

Description

本発明はカメラ装置、画像処理装置及び画像処理方法に係り、特にドームカバー及び光学系のうち少なくともいずれか一方に起因する劣化要素の画像データにおける影響を低減する技術に関する。
監視カメラ等の分野では、カメラユニットにドームカバーを装着することで、外部からの異物が光学系に付着することを防ぎ、衝撃からカメラユニットが守られている。
ドームカバーが装着されたカメラユニットでは、ドームカバーを介して被写体の撮影が行われる。撮影画像はドームカバーの光学特性の影響を受けるため、ドームカバーが特有の形状を持ち不均一な光学特性を有する場合には撮影画像の画質が悪化する。
特許文献1は、撮像装置を覆うカバーによってもたらされる画像の「歪み」を補正する補正処理手段を備えるビデオカメラを開示する。この特許文献1のビデオカメラによれば、カバーのテーパー部を通して撮影された画像部分をY軸方向に縮小することで撮影画像の歪みが補正される。
特開2004−289562号公報
上述のように、カメラ装置によって撮影される画像の画質はドームカバーの影響を受ける。
ドームカバーは精度良く均質に製造されることが好ましいが、設計上の要請のために本来的に不均一な形状及び光学特性を有していたり、想定外の線ボケや線スジが製造段階でドームカバーに生じてしまうことがある。特にパンチルト機構によって撮影方向が可変な場合には、撮影方向の可動範囲の全てをカバーするために半球よりも広い画角範囲がドームカバーで覆われることが求められることもある。その一方で、カメラユニットの小型化が進む近年では、ドームカバーも可能な限り小さいことが求められている。したがってドームカバーは、カメラユニットの可動範囲や配置スペースに応じた特有の小型形状を本来的に持つことが求められ、例えば曲面部(例えば球面部)と平面部(例えばテーパー部)とを組み合わせたような複雑な形状を有することがある。このように広範な撮影可能範囲を限られたサイズでカバーするドームカバーは、形状が複雑化して製造難易度が高くなる傾向があり、線ボケ及び線スジなどの特異劣化部がドームカバーに生じ易い。
そのような線ボケ及び線スジなどの特異劣化部を有するドームカバーを介して取得される撮影画像は、その特異劣化部の影響のため、画像ボケ及び画像スジ(減光スジ)を含んでしまい画質品位が低下してしまう。
特許文献1のビデオカメラではドームカバーによってもたらされる画像の「像歪み」(すなわち幾何学的な劣化要素)には適切に対応することも可能であるが、他の劣化要素に対しては適切に対応することができない。特に画像ボケ及び画像スジなどの「空間周波数に基づく劣化要素」や「信号強度に基づく劣化要素」は、特許文献1に開示の手法では適切に除去又は低減することができない。
本発明は上述の事情に鑑みてなされたものであり、ドームカバー及び光学系のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素の影響を低減し、良画質の画像データを提供することを目的とする。
本発明の一態様は、ドームカバーと、ドームカバーの裏面側に配置される光学系と、ドームカバー及び光学系を介して受光した撮影光に基づいて画像データを出力する撮像素子とを含むカメラユニットと、光学系を駆動して撮影方向を変更可能な方向駆動部と、画像データにおける特異劣化領域を表す劣化領域データと撮影方向とを相互に関連付ける方向別劣化領域情報を記憶する劣化領域情報格納部と、撮影方向を認識する方向認識部と、方向別劣化領域情報に基づいて、方向認識部によって認識される撮影方向に関連付けられる劣化領域データを取得し、劣化領域データによって表される特異劣化領域に応じて画像データの画質改善処理を行う画像補正部と、を備え、特異劣化領域は、ドームカバー及び光学系のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素に関連する領域であるカメラ装置に関する。
本態様によれば、ドームカバー及び光学系のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素の影響を低減する画質改善処理を行って、良画質の画像データを提供することができる。特に、画像データにおける特異劣化領域を表す劣化領域データと撮影方向とを相互に関連付ける方向別劣化領域情報を利用して画質改善処理を行うことで、高い処理精度を確保しつつ処理を高速に行うことができる。
望ましくは、劣化要素は、ドームカバー及び光学系のうち少なくともいずれか一方の屈折率に起因する。
本態様によれば、屈折率に起因する劣化要素の影響を低減することができ、空間周波数に基づく劣化要素に関連する特異劣化領域の画質を改善することができる。
望ましくは、劣化要素は、ドームカバー及び光学系のうち少なくともいずれか一方の透過率に起因する。
本態様によれば、透過率に起因する劣化要素の影響を低減することができ、信号強度に基づく劣化要素に関連する特異劣化領域の画質を改善することができる。
望ましくは、劣化要素は、画像ボケ及び画像スジのうち少なくともいずれか一方である。
本態様によれば、画像データから画像ボケ及び/又は画像スジの影響を低減することができる。
望ましくは、画質改善処理は、デコンボリューション処理、アンシャープマスキング処理及びゲイン調整処理のうち少なくとも一つを含む。
本態様によれば、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素の画像データにおける影響を効果的に低減することができる。
望ましくは、特異劣化領域は、劣化要素を示す領域であり、画像補正部は、特異劣化領域の画質改善処理を行う。
本態様によれば、画像データのうち特異劣化領域における「空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素」の影響を低減することができる。
望ましくは、画像補正部は、画像データを解析して画像データの特異劣化領域のうち劣化要素を示す画質劣化部を特定し、画質劣化部の画質改善処理を行う。
本態様によれば、特異劣化領域における画質劣化部が特定されて、その画質劣化部に対して画質改善処理が行われるため、より厳密に「空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素」の影響を低減することができる。
望ましくは、劣化領域情報格納部は、ドームカバー及び光学系のうち少なくともいずれか一方の光学特性を示す光学特性情報と、カメラユニットの特性を示すカメラ仕様情報と、方向駆動部により変更可能な撮影方向の範囲を示す方向情報とに応じて定められる特異劣化領域に基づき特定される方向別劣化領域情報を記憶する。
本態様によれば、画像データのうちの「空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素」の影響を受けることが想定される領域を特異劣化領域として定めることで、劣化要素の影響を効果的に低減することができる。
望ましくは、カメラ装置は、画像データを解析して特異劣化領域を特定する劣化領域認識部と、少なくとも撮像素子、方向駆動部、劣化領域情報格納部及び劣化領域認識部をコントロールする処理制御部と、を更に備え、処理制御部は、予め、複数の撮影方向に関する画像データを撮像素子から出力させ、複数の撮影方向の各々に関する特異劣化領域を劣化領域認識部によって特定させ、劣化領域認識部により特定される特異劣化領域を表す劣化領域データと撮影方向とが相互に関連付けられた方向別劣化領域情報を劣化領域情報格納部に記憶させる。
本態様によれば、実測データに基づき方向別劣化領域情報を取得して劣化領域情報格納部に記憶することができるため、効果的な画質改善処理を行うことができる。
望ましくは、処理制御部は、複数の撮影方向の各々に関する特異劣化領域の劣化特性を劣化領域認識部によって特定させ、劣化領域データと撮影方向と劣化特性とが相互に関連付けられた方向別劣化領域情報を劣化領域情報格納部に記憶させる。
本態様によれば、各撮影方向に関して劣化領域データと劣化特性とが相互に関連付けられて劣化領域情報格納部に記憶される。
望ましくは、画像補正部は、方向別劣化領域情報に基づいて、方向認識部によって認識される撮影方向に関連付けられる劣化領域データ及び劣化特性を取得し、劣化領域データによって表される特異劣化領域及び劣化特性に応じて画質改善処理を行う。
本態様によれば、劣化特性に応じた画質改善処理が行われ、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素の影響を非常に効果的に低減することができる。
望ましくは、画像補正部は、画質改善処理に先立って、光学系の歪曲収差を改善するディストーション補正処理を画像データに対して行う。
本態様によれば、光学系の歪曲収差の影響が低減された画像データに対して画質改善処理が行われるため、劣化要素の影響を非常に効果的に低減することができる。
望ましくは、劣化領域データは、画像データにおける特異劣化領域を構成する個々の画素の位置を表す座標データである。
本態様によれば、座標データによって簡便且つ的確に特異劣化領域を表すことができる。
望ましくは、劣化領域データは、画像データにおける特異劣化領域を表す関数データである。
本態様によれば、劣化領域データによって簡便に特異劣化領域を表すことができる。
望ましくは、ドームカバーは、表面及び裏面のうち少なくとも裏面の曲率の変化が不連続になる不連続部を含む。
本態様によれば、不連続部を含むドームカバーに起因する劣化要素の影響を低減することができる。
望ましくは、ドームカバーは、表面及び裏面のうち少なくとも裏面が曲面である曲面部と、表面及び裏面のうち少なくとも裏面が平面である平面部とを含み、曲面部と平面部との接続部分によって不連続部が形成される。
本態様によれば、曲面部と平面部との間に不連続部が設けられるドームカバーに起因する劣化要素の影響を低減することができる。
望ましくは、特異劣化領域は、ドームカバーの不連続部に起因する劣化要素に関連する画像データにおける領域を含む。
本態様によれば、ドームカバーの不連続部に起因する劣化要素の影響を低減することができる。
望ましくは、特異劣化領域は、ドームカバーの遮光部に起因する劣化要素に関連する画像データにおける領域を含む。
本態様によれば、ドームカバーの遮光部に起因する劣化要素の影響を低減することができる。
本発明の他の態様は、画像データ及び画像データの撮影方向を示す撮影方向データを取得し、画像データにおける特異劣化領域を表す劣化領域データと撮影方向とを相互に関連付ける方向別劣化領域情報に基づいて、撮影方向データに関連付けられる劣化領域データを取得し、取得した劣化領域データによって表される特異劣化領域に応じて画像データの画質改善処理を行う画像処理装置に関する。
本発明の他の態様は、ドームカバー及び光学系を介して受光した撮影光に基づいて撮像素子から出力される画像データを取得するステップと、画像データを取得した際の撮影方向を認識するステップと、画像データにおける特異劣化領域を表す劣化領域データと撮影方向とを相互に関連付ける方向別劣化領域情報に基づいて、画像データを取得した際の撮影方向に関連付けられる劣化領域データを取得し、劣化領域データによって表される特異劣化領域に応じて画像データの画質改善処理を行うステップと、を含み、特異劣化領域は、ドームカバー及び光学系のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素に関連する領域である画像処理方法に関する。
本発明によれば、ドームカバー及び光学系のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素の影響を低減する画質改善処理を高速且つ高精度に行って、良画質の画像データを提供することができる。
図1は、カメラ装置の一例を示す外観図である。 図2は、カメラ装置の機能構成例を示す図である。 図3は、画像処理装置の機能構成例を示すブロック図である。 図4は、ドームカバーの外観を示す概念図であり、カメラユニットの光軸のドームカバー上の位置と極座標系との関係を説明するための図である。 図5は、カメラユニットの光軸の方向と撮像面上における被写体位置との間の関係を示す図である。 図6は、撮像面中心を基準とした直交座標系表示と、パンチルト中心を基準とした極座標系表示との関係を説明するための図である。 図7は、撮影画像における特異劣化領域の一例を示す図である。 図8は、方向別劣化領域情報の一例を示す概念図である。 図9は、方向別劣化領域情報の具体例を示す概念図である。 図10は、方向別劣化領域情報の取得手法の一例を示すブロック図である。 図11は、光学系の焦点距離と像位置(像高)との関係を説明するための図である。 図12は、方向別劣化領域情報の取得手法の他の例を説明する図であり、カメラ装置の機能構成例を示すブロック図である。 図13は、画質改善処理の一例を示すフローチャートである。 図14は、第1の変形例に係る画質改善処理の対象となる画質劣化部を説明する図である。 図15は、第1の変形例に係る画質改善処理の一例を示すフローチャートである。 図16は、第2の変形例に係る方向別劣化領域情報の一例を示す概念図である。 図17は、第3の変形例に係る画像補正部(画像処理装置)で行われる補正処理を示すブロック図である。 図18は、第4の変形例に係る画像処理装置の一例を説明するブロック図である。 図19は、本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図20は、図19に示すスマートフォンの構成を示すブロック図である。
図面を参照して本発明の実施形態について説明する。以下の実施形態では、カメラ装置に本発明を適用する例について説明する。
図1は、カメラ装置10の一例を示す外観図である。
本例のカメラ装置10は、ドームカバー11と、ドームカバー11によって覆われるカメラユニット14とを備える。カメラユニット14は、ドームカバー11の裏面側に配置される光学系15と、ドームカバー11及び光学系15を介して受光した撮影光に基づいて画像データを出力する撮像素子16とを含む。
カメラ装置10は、カメラユニット14(光学系15及び撮像素子16)を駆動して撮影方向を変更可能な方向駆動部18を更に備える。ここでいう「撮影方向」は、光学系15の光軸の方向と一致し、方向駆動部18が光学系15の向きを変えることで光軸の方向(撮影方向)が変更される。本例の方向駆動部18はパンチルト機構によって構成され、カメラユニット14(光学系15及び撮像素子16)をパン方向に駆動可能なパン回転機構19と、カメラユニット14(光学系15及び撮像素子16)をチルト方向に駆動可能なチルト回転機構20とがドームカバー11内に設置される。
カメラユニット14(光学系15及び撮像素子16)及び方向駆動部18(パン回転機構19及びチルト回転機構20)が裏面側に配置されるドームカバー11は、曲面部12と、曲面部12に接続する平面部13とを含む。ドームカバー11の曲面部12は表面及び裏面のうち少なくとも裏面が曲面であり、平面部13は表面及び裏面のうち少なくとも裏面が平面である。本例の曲面部12は表面及び裏面の両面が曲面を形成し、平面部13は表面及び裏面の両面が平面を形成し、曲面部12及び平面部13はほぼ一定の厚みを有する。典型的には、曲面部12は球面形状を有し、平面部13は円筒形状を有するが、曲面部12は球面形状以外の非球面形状を有していてもよいし、平面部13は円筒形状以外の平面形状(例えばテーパー形状)を有していてもよい。
ドームカバー11は、表面及び裏面のうち少なくとも裏面(本例では表面及び裏面の両面)の曲率の変化が不連続になる不連続部22を含む。本例のドームカバー11では、曲面部12と平面部13との接続部分によって不連続部22が形成され、曲面部12と平面部13との境界部に相当する不連続部22では屈折率及び透過率が周囲部分と比べて急激に変化する。したがってドームカバー11のこの境界部(不連続部22)を跨がって通過する光束は、空間周波数及び信号強度が不均一になり、撮影画像において線ボケや線スジなどの画質劣化をもたらす。このような空間周波数及び信号強度の不均一性によってもたらされる画像ボケ及び画像スジは、曲面部12と平面部13との接続部分(不連続部22)によってもたらされる線状のボケやスジには限られず、ドームカバー11の傷や汚れなどの任意の要因に基づき、任意形状及び任意特性を有しうる。例えば「ドームカバー11の不連続部22」或いは「ドームカバー11又は光学系15の任意の箇所」に遮光部(例えばND(Neutral Density)フィルタや色マーカー等)が設けられる場合には、その遮光部に起因して撮影画像に線スジが生じうる。
図2は、カメラ装置10の機能構成例を示す図である。
本例のカメラ装置10は、上述のドームカバー11、カメラユニット14(光学系15及び撮像素子16)及び方向駆動部18(パン回転機構19及びチルト回転機構20)に加え、劣化領域情報格納部24、カメラコントローラ25、カメラ通信部26、画像処理装置27及びデータメモリ28を備える。カメラユニット14(光学系15及び撮像素子16)、方向駆動部18(パン回転機構19及びチルト回転機構20)、劣化領域情報格納部24、カメラコントローラ25、カメラ通信部26、画像処理装置27及びデータメモリ28は相互に接続されている。
劣化領域情報格納部24は、画像データにおける特異劣化領域を表す劣化領域データと撮影方向とを相互に関連付ける方向別劣化領域情報を記憶する。特異劣化領域は、ドームカバー11及び光学系15のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素に関連する画像データにおける領域である。劣化要素は典型的には画像ボケ及び画像スジのうち少なくともいずれか一方であり、そのような劣化要素は、ドームカバー11及び光学系15のうち少なくともいずれ一方の屈折率や透過率に起因する。例えばドームカバー11の不連続部22、遮光部、或いはドームカバー11又は光学系15の傷及び汚れなど様々な要素に劣化要素は起因しうるものである。したがって特異劣化領域は、例えばドームカバー11の不連続部22や遮光部に起因する劣化要素に関連する画像データにおける領域を含みうる。以下では、劣化要素がドームカバー11の不連続部22に起因する要素である例について説明する。なお、劣化領域情報格納部24に記憶される方向別劣化領域情報については後述する。
カメラ通信部26は、外部機器との間で通信を行ってデータの送受信を行う。データメモリ28は、撮像素子16から出力される画像データなどの各種のデータを記憶し、必要に応じて、記憶データを他のデバイスに提供したり、新たなデータを記憶する。
カメラコントローラ25は、カメラユニット14(光学系15及び撮像素子16)、方向駆動部18、劣化領域情報格納部24、カメラ通信部26、画像処理装置27及びデータメモリ28を統括的に制御する。カメラコントローラ25は、例えば撮像素子16を制御して撮影を行ったり、方向駆動部18を制御して撮影方向を調整したり、画像処理装置27を制御して画像データの画像処理を行ったり、劣化領域情報格納部24及びデータメモリ28を制御してデータの読み込み及び書き込みを行ったり、カメラ通信部26を制御して外部機器との通信を行ったりする。
画像処理装置27は、画像データの画像処理を行う。画像処理装置27における画像処理は特に限定されないが、本例では、特異劣化領域に応じて画像データの画質改善処理を行う。
図3は、画像処理装置27の機能構成例を示すブロック図である。本例の画像処理装置27は、方向認識部30及び画像補正部32を有する。
方向認識部30は、処理対象の画像データの撮影方向を認識し、認識した撮影方向を示すデータを画像補正部32に送信する。方向認識部30による撮影方向の認識手法は特に限定されず、方向認識部30は、例えば撮影方向を調整する方向駆動部18や方向駆動部18を制御するカメラコントローラ25から提供されるデータに基づいて撮影方向を認識してもよいし、画像データに付加されているメタデータに基づいて撮影方向を認識してもよい。
画像補正部32は、劣化領域情報格納部24から方向別劣化領域情報を取得する。そして画像補正部32は、方向別劣化領域情報に基づいて、方向認識部30によって認識される撮影方向に関連付けられる劣化領域データを取得し、劣化領域データによって表される特異劣化領域に応じて画像データの画質改善処理を行う。
画質改善処理の具体的な内容は特に限定されず、画像補正部32は、特異劣化領域の劣化特性に応じた任意の処理を画質改善処理として行うことができる。典型的には、画質改善処理は、デコンボリューション処理、アンシャープマスキング処理及びゲイン調整処理のうち少なくとも一つを含む。デコンボリューション処理は、点拡がり関数(PSF(Point Spread Function))や光学伝達関数(OTF(Optical Transfer Function))に基づく画像回復フィルタを画像データに適用することで画質を改善する処理である。アンシャープマスキング処理は、鮮鋭化フィルタを画像データに適用することで輪郭(高周波成分)を強調して画質を改善する処理である。ゲイン調整処理は、画像データの一部のデータに対して他のデータとは異なるゲインを適用する処理である。したがって、例えば特異劣化領域の劣化特性が空間周波数的な劣化に基づく場合、デコンボリューション処理やアンシャープマスキング処理などの空間周波数補正処理が画質改善処理として行われることが好ましい。一方、特異劣化領域の劣化特性が信号強度的な劣化に基づく場合、ゲイン調整処理などの信号強度補正処理が画質改善処理として行われることが好ましい。
このように本例の画像補正部32は、空間周波数及び/又は信号強度に基づく劣化要素によってもたらされる画像ボケ及び/又は画像スジの影響を低減するための画質改善処理を行う。そのような画質改善処理として行われる空間周波数補正処理において複数タップによって構成される実空間フィルタが使われる場合、その空間周波数補正処理では、実空間フィルタの複数タップに対応する局所的な画素のデータのみが使われる。また画質改善処理として行われる信号強度補正処理では、処理対象の画素のデータのみが使われる。このように画像補正部32によって行われる本例の画質改善処理は、画像データ上で比較的離れた位置の画素のデータを使って処理を行う幾何補正処理(歪み補正処理等)と比べ、必要な使用データが少なく、画像ボケ及び画像スジなどの劣化要素の影響を高速且つ簡易に低減することができる。
次に、画像データにおける特異劣化領域を表す劣化領域データと撮影方向とを相互に関連付ける「方向別劣化領域情報」について説明する。
図4は、ドームカバー11の外観を示す概念図であり、カメラユニット14の光軸Laのドームカバー11上の位置と極座標系との関係を説明するための図である。
本例では、ドームカバー11の頂部鉛直ラインr1と水平基準ラインr2との交点位置が、方向駆動部18によるカメラユニット14のパンチルト回転の中心(以下、「パンチルト中心」とも称する)Roと一致する。なおパンチルト回転に伴う画角変化を安定化させる観点から、カメラユニット14の光学系15の前側主点をパンチルト中心Roと一致させることが好ましい。頂部鉛直ラインr1は、ドームカバー11(特に曲面部12)の頂部を通り鉛直方向に延びるラインである。水平基準ラインr2は、カメラユニット14のパン回転の基準となる水平面における、ドームカバー11の開口部の径方向に沿ったラインである。なおカメラユニット14のパン回転の基準となる水平面は、ドームカバー11の曲面部12と平面部13との境界部(不連続部22)を含む平面と一致していてもよいし、一致していなくてもよい。
パンチルト中心Roを原点とした場合、その原点からドームカバー11の表面上の任意の点に向かう光軸Laの方向は、「水平基準ラインr2を基準とするパン方向角度(以下、「パン回転角」とも称する)θ」及び「カメラユニット14のパン回転の基準となる水平面(頂部鉛直ラインr1に直交する平面)を基準とするチルト方向角度(以下、「チルト回転角」とも称する)φ」で表現できる。したがって「パン回転角θ=0°」且つ「チルト回転角φ=0°」で表される光軸Laの方向は、図4に示す水平基準ラインr2に沿った方向となる。図4に示す例においてパン回転角θは「0°〜360°」の範囲の角度によって表され、チルト回転角φは「−90°〜90°」の範囲の角度によって表される。なお「0°<チルト回転角φ≦90°」はドームカバー11の頂部側の範囲(図4のドームカバー11の上側範囲)を示し、「−90°≦チルト回転角φ<0°」はパン回転の基準となる水平面よりもドームカバー11の裾野側(平面部13側)の範囲(図4のドームカバー11の下側範囲)を示す。
図5は、カメラユニット14の光軸Laの方向と撮像素子16の撮像面上における被写体位置との間の関係を示す図であり、(a)部分は特定被写体Psが光軸La上に配置される例を示し、(b)部分は特定被写体Psが光軸La上に配置されない例を示す。なお以下では、説明の便宜上、カメラユニット14の光学系15の前側主点がパンチルト中心Roと一致し、光学系15の歪曲収差(レンズディストーション)が無いケースについて説明する。
図5の(a)部分に示すように特定被写体Psが光軸La上に配置される場合、特定被写体Psは撮像素子16の撮像面の中心(対角線の交点(図5の(a)部分の符号「S0」参照))で結像する。一方、カメラユニット14をパンチルト回転させて撮影方向(光軸Laの方向)を「(パン回転角θ,チルト回転角φ)=(θ,φ)(図5の(b)部分の符号「A」参照)」だけずらすと、特定被写体Psの撮像面上の結像位置(図5の(b)部分の符号「Si」参照)はパン方向及びチルト方向に関して撮像面の中心S0から「(−θ,−φ)」だけ変位する。この関係を利用すれば、パン回転角θ及びチルト回転角φが既知であれば、任意のパン回転角θ及びチルト回転角φで撮像された画像から特定被写体Psの実際の画像上の位置を特定することができる。
図6は、撮像面の中心S0を基準とした直交座標系表示と、パンチルト中心Roを基準とした極座標系表示との関係を説明するための図である。
図5を使って説明した上述の角度変位の関係を利用することで、撮像素子16の撮像面上の任意の位置(図6の「第1の撮像面位置S1」参照)を、パンチルト中心Roを基準としたカメラユニット14のパン回転角θ及びチルト回転角φに基づく極座標系で表現することができる。図6に示す例において、撮像面の中心S0が極座標系表示「(パン回転角θ,チルト回転角φ)=(θ,φ)」によって表され、第1の撮像面位置S1が極座標系表示「(パン回転角θ,チルト回転角φ)=(θ,φ)」によって表される場合、撮像面の中心S0に対する第1の撮像面位置S1の相対位置は極座標系表示「(パン回転角θ,チルト回転角φ)=(θ−θ,φ−φ)」によって表される。一方、撮像面の中心S0に対する第1の撮像面位置S1の相対位置は、撮像面の中心S0を基準とした直交座標系表示(図6の「x」軸及び「y」軸参照)によっても表すことができる。したがって、撮像面上の任意の位置に関して極座標系表示と直交座標系表示とを相互に関連付けることが可能である。
画像データにおいて劣化要素をもたらすドームカバー11及び/又は光学系15の箇所(本例ではドームカバー11の不連続部22)を通過する光による撮像面上の結像部である特異劣化対応部34の位置は、カメラユニット14のパン回転角θ及びチルト回転角φに応じて変動する。したがって、特異劣化対応部34の位置は、カメラユニット14のパン回転角θ及びチルト回転角φによって表される撮影方向(光軸Laの方向)に関連付けて直交座標系によって表すことができる。
図7は、画像データ36における特異劣化領域38の一例を示す図である。撮像素子16(撮像面)における特異劣化対応部34(図6参照)の位置は、画像データ36(撮影画像)における特異劣化領域38の位置に対応する。すなわち、撮像面の中心S0に対する特異劣化対応部34の座標表示と、画像データ36の画像中心I0に対する特異劣化領域38の座標表示とは、基本的には一致する。
本例の劣化領域情報格納部24(図2及び図3参照)は、この画像データ36における特異劣化領域38の位置を表す「劣化領域データ」と、撮影方向を表す「撮影方向データ」とを相互に関連付ける方向別劣化領域情報を記憶する。
図8は、方向別劣化領域情報40の一例を示す概念図である。方向別劣化領域情報40は、撮影方向データ41及び劣化領域データ42を含み、パンチルト回転に応じた複数の撮影方向の各々に対して、画像データにおける特異劣化領域38の位置が関連付けられる。上述のように、撮影方向データ41は水平基準ラインr2を基準としたパン回転角θ及びチルト回転角φによって好適に表され、劣化領域データ42は画像データ中の対応画素位置(直交座標系位置)によって好適に表される。なお劣化領域データ42を直交座標系表示によって表す場合の基準位置は特に限定されず、例えば図7に示す画像中心I0を座標位置「(0,0)」によって表してもよいし、画像データの最も左上の位置(図7の画像左上位置を示す符号「I1」参照)を座標位置「(0,0)」によって表してもよい。
図9は、方向別劣化領域情報40の具体例を示す概念図である。図9に示す具体例は、パン回転角θ(0°〜359°)及びチルト回転角φ(0°〜90°)に関して1°刻みで、対応の特異劣化領域38を構成する画素位置を直交座標系で示す。図9に示す例では、x軸方向に関して640ピクセル及びy軸方向に関して480ピクセルの画像サイズを有する画像データにおける特異劣化領域38の画素位置が示されており、画像データの最も左上の位置(図7の画像左上位置を示す符号「I1」参照)を座標位置「(0,0)」によって表している。図9に示すように、方向別劣化領域情報40において、特異劣化領域38の位置を示す劣化領域データ42は、画像データにおける特異劣化領域38を構成する画素群の個々の画素の位置を表す座標データによって表されてもよい。この場合、劣化領域情報格納部24は、パン回転角θ及びチルト回転角φの組み合わせ毎に関連付けられる特異劣化領域38の画素位置の集合データを方向別劣化領域情報40として記憶する。
なお図9に示す方向別劣化領域情報40では、劣化領域データが座標データによって表されているが、他の方式によって劣化領域データが表されてもよく、例えば劣化領域データは、画像データにおける特異劣化領域を表す関数データであってもよい。例えば画像データにおける特異劣化領域38の境界を関数化して不等式等で表すことで、劣化領域データが表されてもよい。劣化領域データを関数データによって表すことで、劣化領域情報格納部24における方向別劣化領域情報40のためのメモリ容量を削減することができ、劣化領域データの読み込み及び取得の処理を高速化できる。
次に、劣化領域情報格納部24が記憶する方向別劣化領域情報40の取得手法例について説明する。
図10は、方向別劣化領域情報40の取得手法の一例を示すブロック図である。
本例では、劣化領域算出部46が光学特性情報47とカメラ仕様情報48と方向情報49とに応じて方向別劣化領域情報40を演算により算出し、劣化領域情報格納部24がその算出された方向別劣化領域情報40を記憶する。劣化領域情報格納部24は図2に示す例ではカメラ装置10の一部として設けられるが、劣化領域算出部46はカメラ装置10の一部として設けられてもよいし、カメラ装置10とは別個に設けられるデバイスによって構成されてもよい。
光学特性情報47は、ドームカバー11及び光学系15のうち少なくともいずれか一方の光学特性を示す。とりわけ特異劣化領域38(劣化要素)をもたらす要因(本例ではドームカバー11の不連続部22)に関する情報を光学特性情報47は含み、具体的には特異劣化領域38(劣化要素)をもたらす要因(本例ではドームカバー11の不連続部22)の位置を示す情報を含む。カメラ仕様情報48は、カメラユニット14の特性(条件)を示し、光学系15の光学特性(焦点距離等)、撮像素子16の画素特性、及び光学系15及び撮像素子16のサイズ情報等の各種情報を含む。方向情報49は、方向駆動部18(パン回転機構19及びチルト回転機構20)によって変更可能な撮影方向の範囲を示し、上述のようにパンチルト中心Roを基準としたパン回転角θ及びチルト回転角φによって表されうる。
劣化領域算出部46は、光学特性情報47、カメラ仕様情報48及び方向情報49に基づいて、特異劣化領域38の座標位置を特定する。例えば劣化領域算出部46は、パンチルト中心Roを極座標系中心とする現実空間上での極座標系によって特異劣化領域38の座標位置(絶対位置)を特定することができる。その場合、劣化領域算出部46は、その特異劣化領域38の座標位置(絶対位置)から、上述の角度変位の関係(図5〜図7参照)を利用することで、各撮影方向(パン回転角θ及びチルト回転角φ)に関して画像データにおける特異劣化領域38の座標位置(相対位置)を算出することができる。
例えば特異劣化領域38を構成するある画素(構成画素)の座標位置(絶対位置)がパンチルト中心Ro及び水平基準ラインr2(図6参照)を基準とした極座標系表示「(θ,φ)」で表される場合に、カメラユニット14が「(パン回転角,チルト回転角)=(θ,φ)」でパンチルト回転すると、その構成画素の画像データ上の座標位置(相対位置)は下記式によって算出される座標位置「(x,y)」(直交座標系)によって表される。
x=f・tan(θ−θ
y=f・tan(φ−φ
ただし「f」は光学系15の焦点距離を表す。
図11は、光学系15の焦点距離fと像位置(像高X)との関係を説明するための図である。一般に、特定被写体点Ptの撮像面における結像位置(図11の「特定被写体点像St」参照)の光軸Laからの距離(図11の「像高X」参照)は、光学系15の焦点距離f及び特定被写体点Ptの位置画角αに基づいて下記式で表される。
X=f・tanα
上記の像高Xの算出式に基づいて、上述の特異劣化領域38の構成画素の座標位置「(x,y)」(直交座標系)の算出式を導き出すことができる。
そして図10に示す劣化領域情報格納部24は、劣化領域算出部46によって算出される「光学特性情報47と、カメラ仕様情報48と、方向情報49とに応じて定められる特異劣化領域38に基づき特定される方向別劣化領域情報40」を記憶する。
図12は、方向別劣化領域情報40の取得手法の他の例を説明する図であり、カメラ装置10の機能構成例を示すブロック図である。本例のカメラ装置10は、撮像素子16、方向駆動部18及び劣化領域情報格納部24に接続される処理制御部50と、処理制御部50に接続される劣化領域認識部51とを備える。処理制御部50及び劣化領域認識部51を実現する手段は特に限定されず、例えば上述のカメラコントローラ25や画像処理装置27を処理制御部50及び劣化領域認識部51として機能させてもよい。
劣化領域認識部51は、画像データを解析して特異劣化領域を特定する。処理制御部50は、少なくとも撮像素子16、方向駆動部18、劣化領域認識部51及び劣化領域情報格納部24をコントロールし、方向別劣化領域情報40を劣化領域情報格納部24に記憶させる。すなわち処理制御部50は、予め、方向駆動部18及び撮像素子16をコントロールすることで複数の撮影方向に関する画像データを撮像素子16から出力させ、劣化領域認識部51をコントロールすることで複数の撮影方向の各々に関する特異劣化領域38を劣化領域認識部51によって特定させ、劣化領域認識部51により特定される特異劣化領域38を表す劣化領域データと撮影方向とが相互に関連付けられた方向別劣化領域情報40を劣化領域情報格納部24に記憶させる。
例えば、特異劣化領域38の要因となるドームカバー11の劣化要素(本例では不連続部22)に対してマーカー(例えば黒線)を付しておき、撮影背景を一様な色(例えば白)として方向駆動部18によって撮影方向を小刻みに変えながら撮影を行って撮影方向毎の画像データを取得し、劣化領域認識部51が各画像データの画像処理(例えば二値化処理)を行うことで特異劣化領域を構成する画素位置を特定して、方向別劣化領域情報40を劣化領域情報格納部24に記憶させてもよい。
上述の劣化領域情報格納部24に記憶する方向別劣化領域情報40の取得処理(図10〜図12参照)は、ドームカバー11がカメラユニット14に装着された後に、本撮影が行われる前に行われ、例えばカメラ装置10の製造工程やアフターサービスにおいて実施可能である。
次に、画像補正部32によって行われる画質改善処理の具体例について説明する。以下では、特異劣化領域38が画像データの劣化要素を示す領域として表され、画像補正部32は特異劣化領域38の画質改善処理を行う例について説明する。
図13は、画質改善処理の一例を示すフローチャートである。
カメラ装置10によって撮影を行う場合、まず、パン回転角θ及びチルト回転角φを決定して所望の撮影方向が決められる(図13のステップS11)。撮影方向は、任意の基準で決定可能であり、カメラコントローラ25によって自動的に決められてもよいし、ユーザが外部リモコン等を使ってカメラコントローラ25(カメラ通信部26)との無線通信を利用して撮影方向を指定してもよい。
撮影方向が決められると、カメラコントローラ25は方向駆動部18を制御してカメラユニット14(光学系15及び撮像素子16)をパン方向及びチルト方向に駆動し、光軸の方向を撮影方向と一致させる(ステップS12)。
方向駆動部18によって撮影方向の調整が行われた後に、カメラコントローラ25は撮像素子16を制御して撮影を行い、撮像素子16から画像データを出力させる(ステップS13)。この画像データは画像処理装置27に送信される。
画像処理装置27では、方向認識部30によって画像データの撮影方向が認識され、画像補正部32によって画像データの特異劣化領域38が特定される(ステップS14)。特異劣化領域38は、上述のように劣化領域情報格納部24が予め記憶する方向別劣化領域情報40が参照されることで、画像データの撮影方向から特定される。
そして画像補正部32によって画像データの補正処理が行われ、特異劣化領域38に対して画質改善処理が施される(ステップS15)。画質改善処理は特に限定されないが、特異劣化領域38の劣化特性に応じた処理であることが好ましい。例えば特異劣化領域38が画像ボケを呈する場合には、デコンボリューション処理やアンシャープマスキング処理が画質改善処理として好適に行われる。また特異劣化領域38が画像スジを呈する場合にはゲイン調整処理が画質改善処理として好適に行われる。また画質改善処理はこれらの処理以外の処理によって行われてもよく、例えば特異劣化領域38に隣接する画素(特異劣化領域38には含まれない画素)のデータ(画素値)をコピーして特異劣化領域38を構成する画素のデータとする処理を画質改善処理としてもよい。
画像補正部32による補正処理を受けた画像データは、カメラコントローラ25のコントロール下で、データメモリ28に記憶されたり、カメラ通信部26を介して外部機器に送られる(ステップS16)。
なお上述の画像処理方法において「ドームカバー11及び光学系15を介して受光した撮影光に基づいて撮像素子16から出力される画像データを取得するステップ」は、上述のステップS11〜S13によって行われる。また「画像データを取得した際の撮影方向を認識するステップ」及び「画像データにおける特異劣化領域38を表す劣化領域データと撮影方向とを相互に関連付ける方向別劣化領域情報40に基づいて、画像データを取得した際の撮影方向に関連付けられる劣化領域データを取得し、その劣化領域データによって表される特異劣化領域38に応じて画像データの画質改善処理を行うステップ」は、上述のステップS14〜S15によって行われる。
<第1の変形例>
上述の実施形態では、特異劣化領域38は画像データの劣化要素を示す領域であり、画像補正部32は特異劣化領域38の画質改善処理を行うが、画質改善処理の対象はこれに限定されない。
図14は、第1の変形例に係る画質改善処理の対象となる画質劣化部39を説明する図である。本例では、画像データのうち画像ボケや画像スジなどの劣化要素を示す部分(以下、「画質劣化部39」と称する)を含み且つより広い領域が特異劣化領域38に設定される。この場合、画像補正部32は、画像データを解析して画像データの特異劣化領域38のうち劣化要素を示す画質劣化部39を特定し、この画質劣化部39の画質改善処理を行う。
画像補正部32による画質劣化部39の特定手法は特に限定されず、画像補正部32は例えば特異劣化領域38内においてエッジ検出処理及び勾配検出処理などの任意の処理を行うことで、画素単位で画質劣化部39を厳密に特定することが可能である。この画質劣化部39の特定処理は、画質劣化部39の劣化特性に応じたオペレータを用いることが好ましい。例えば特異劣化領域38において輝度段差が生じている場合、画像補正部32は、所謂SobelフィルタやLaplacianフィルタなどに基づくエッジ検出オペレータを用いて画質劣化部39を特定することが可能である。また画質劣化部39において画像ボケが生じている場合、画像補正部32は、単数又は複数のバンドパスフィルタの出力値分布に基づいて画質劣化部39を特定することが可能である。
予め設定される特異劣化領域38が画素精度で厳密に画像データの劣化要素と対応している場合には、原理的には画質劣化部39を特定する必要はないが、実際には様々な想定外の因子(誤差等)が存在する。例えば、方向駆動部18(パン回転機構19及びチルト回転機構20)による駆動誤差(パン回転角及びチルト回転角の制御誤差)、光学系15の歪曲収差、パンチルト中心Roと光学系15の前側主点位置とのずれ、等がここでいう「想定外の因子」に含まれうる。そのような想定外の様々な因子を考慮すると、特異劣化領域38を予め広めに設定しておき、検出処理によって特異劣化領域38内から画質劣化部39を検出及び特定することが好ましい。また画像データの全領域の中から劣化要素の存在が予想される領域を予め絞って特異劣化領域38として設定しておくことで、画像補正部32が画像データの全領域を対象として画質劣化部39の検出処理を行う必要がなく、画質劣化部39を高速に特定することができ、画質劣化部39の誤検出を効果的に防ぐことができる。
また画像補正部32による画質改善処理は、主として空間周波数及び信号強度に基づく劣化要素の影響を低減するための処理であり、実際の処理では処理対象画素を含む局所的な画素群のデータ若しくは処理対象画素のデータのみを用いて画質改善処理を行うことも可能である。このように画質改善処理による補正範囲が限定的な場合には、本例の「特異劣化領域38を広めに設定しておいて、その特異劣化領域38の中で更に厳密に画質劣化部39を特定する処理」を有効に活用することができる。
図15は、第1の変形例に係る画質改善処理の一例を示すフローチャートである。本変形例において、図13に示す上述の画質改善処理と同一のステップについては、同一の符号を付し、詳細な説明を省略する。
本例においても、まず、パン回転角θ及びチルト回転角φを決定して所望の撮影方向が決められ(図15のステップS11)、カメラユニット14(光学系15及び撮像素子16)がパン方向及びチルト方向に駆動され、光軸の方向を撮影方向と一致させる(ステップS12)。そして撮影が行われて撮像素子16から画像データが出力される(ステップS13)。
そして方向認識部30によって画像データの撮影方向が認識され、画像補正部32により画像データの特異劣化領域38が方向別劣化領域情報40に基づいて特定される(ステップS14a)。本例では更に、画像補正部32によって画像データ(特に特異劣化領域38)を解析することで特異劣化領域38に含まれる画質劣化部39が特定される(ステップS14b)。
そして画像補正部32によって画像データの補正処理が行われ、画質劣化部39に対して画質改善処理が施され(ステップS15)、補正処理を受けた画像データがカメラコントローラ25のコントロール下で、データメモリ28に記憶されたり、カメラ通信部26を介して外部機器に送られる(ステップS16)。
<第2の変形例>
本変形例の劣化領域情報格納部24が記憶する方向別劣化領域情報40は、上述の撮影方向データ41及び劣化領域データ42に加え、劣化領域データ42の劣化特性を示す劣化特性データ43を含む。
図16は、第2の変形例に係る方向別劣化領域情報40の一例を示す概念図である。本例では、複数の撮影方向の各々に関する特異劣化領域38の劣化特性を示す劣化特性データ43を撮影方向データ41及び劣化領域データ42と関連付ける方向別劣化領域情報40が劣化領域情報格納部24に記憶される。例えば劣化特性として画像ボケ及び画像スジが考えられる場合には、画像ボケを示す劣化特性データ43に関連付けられる撮影方向データ41及び劣化領域データ42と、画像スジを示す劣化特性データ43に関連付けられる撮影方向データ41及び劣化領域データ42とが方向別劣化領域情報40に含まれる。したがって本例の方向別劣化領域情報40では、同一の撮影方向を示す撮影方向データ41に対し、相互に異なる劣化特性を示す複数の劣化特性データ43と複数の劣化領域データ42とが関連付けられうる。
このように方向別劣化領域情報40において、特異劣化領域38を示す劣化領域データ42と共にその特異劣化領域38が呈する劣化特性を示す劣化特性データ43を記録しておくことで、画像補正部32は、劣化特性データ43を補正処理のパラメータとして活用することができる。すなわち本例の画像補正部32は、方向別劣化領域情報40に基づいて、方向認識部30によって認識される撮影方向に関連付けられる劣化領域データ42及び劣化特性データ43を取得する。そして画像補正部32は、取得した劣化領域データ42によって表される特異劣化領域38及び劣化特性データ43が示す劣化特性に応じて画質改善処理を行う。これにより劣化要素の特性に応じた画質改善処理を行うことができ、より高画質な画像データを提供することができる。
なお本例の方向別劣化領域情報40(図16参照)を取得する手法は特に限定されない。例えば図12に示すカメラ装置10によって本例の方向別劣化領域情報40を取得する場合には、処理制御部50は、更に、複数の撮影方向の各々に関する特異劣化領域38の劣化特性を劣化領域認識部51によって特定させ、その特定した劣化特性を示す劣化特性データ43と撮影方向データ41と劣化領域データ42とが相互に関連付けられた方向別劣化領域情報40を劣化領域情報格納部24に記憶させてもよい。
<第3の変形例>
上述の画像処理装置27(画像補正部32)は、ドームカバー11に起因する空間周波数及び信号強度に基づく劣化要素に関連する特異劣化領域38(画質劣化部39)の画質改善処理を行うが、他の補正処理を行ってもよい。
図17は、第3の変形例に係る画像補正部32(画像処理装置27)で行われる補正処理を示すブロック図である。
本例の画像補正部32は、上述の画質改善処理P2に先立って、光学系15の歪曲収差を改善するディストーション補正処理P1を画像データに対して行う。ディストーション補正処理P1は任意の手法に基づいて行うことができる。画像補正部32は、光学系15の歪曲収差を直接的又は間接的に示すデータを任意の箇所(例えば光学系15に設けられる図示しないメモリやカメラ装置10に設けられるデータメモリ28等)から取得し、その歪曲収差を示すデータに基づいてディストーション補正処理P1を行うことができる。
このように画質改善処理P2の前にディストーション補正処理P1を行うことで、画質改善処理P2による補正精度を向上させ、特異劣化領域38における劣化要素の影響をより効果的に低減することができる。
<第4の変形例>
上述の実施形態では、画像データを出力する撮像素子16と画像データの画質改善処理を行う画像処理装置27とがカメラ装置10に設けられる例(図2参照)について説明したが、撮像素子16と画像処理装置27とは別体に設けられてもよい。
図18は、第4の変形例に係る画像処理装置27の一例を説明するブロック図である。本例では、カメラ装置10と別体に設けられるユーザ端末60が上述の画像処理装置27(方向認識部30及び画像補正部32)を備える。
本例のカメラ装置10は、カメラユニット14(光学系15及び撮像素子16)、方向駆動部18、カメラコントローラ25及びカメラ通信部26を備える。カメラ装置10のカメラ通信部26とユーザ端末60の端末通信部61との間では通信Cが確立され、カメラ装置10(カメラコントローラ25)とユーザ端末60(端末コントローラ62)との間でデータ通信を行うことができる。撮影を行う場合には上述の実施形態と同様に、カメラコントローラ25の制御下で、方向駆動部18により撮影方向が調整され、カメラユニット14により撮影が行われて画像データが出力される。
本例のカメラコントローラ25は、画像データとその画像データの撮影方向を示すデータ(以下、「撮影方向データ」と称する)とを相互に関連付けてカメラ通信部26及び端末通信部61を介して端末コントローラ62に送信する。カメラコントローラ25は、例えば撮影方向の情報を含むメタデータが付加された画像データを端末コントローラ62に好適に送信することができる。
ユーザ端末60は、端末通信部61及び端末コントローラ62に加え、端末コントローラ62によりコントロールされる画像処理装置27、操作部64及び表示部63を備える。
ユーザ端末60に設けられる画像処理装置27は、カメラ装置10から送られてくる画像データに対し、上述の実施形態と同様にして画質改善処理を行う。すなわち本例の画像処理装置27は、画像データ及び撮影方向データを、カメラ装置10から送られてくるデータから取得する。そして画像処理装置27は、画像データにおける特異劣化領域38を表す劣化領域データ42と撮影方向とを相互に関連付ける方向別劣化領域情報40に基づいて、撮影方向データに関連付けられる劣化領域データ42を取得する。そして画像処理装置27は、取得した劣化領域データ42によって表される特異劣化領域38に応じて画像データの画質改善処理を行う。
本例において方向別劣化領域情報40は、ユーザ端末60に設けられるメモリ(図示省略)に記憶されていてもよいし、ユーザ端末60以外のメモリデバイスに記憶されていてもよい。例えば劣化領域情報格納部24をユーザ端末60に設けて、画像処理装置27が必要に応じて劣化領域情報格納部24から方向別劣化領域情報40を取得してもよい。また端末通信部61に接続されるカメラ装置10やサーバ等に劣化領域情報格納部24を設けて、画像処理装置27が必要に応じて端末コントローラ62及び端末通信部61を介して劣化領域情報格納部24から方向別劣化領域情報40を取得してもよい。
なおユーザ端末60に画像処理装置27が設けられる場合には、端末コントローラ62は、操作部64を介してユーザにより入力される指示を画像処理装置27における補正処理(画質改善処理)に反映してもよいし、その補正処理(画質改善処理)後の画像データに基づく画像を表示部63に表示してもよい。
<他の変形例>
上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述のカメラ装置10及びユーザ端末60の各部における処理方法(画像処理方法)及び制御方法(処理手順)をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的有形媒体)、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
また上述の例では、主として「ドームカバー11の不連続部22に起因する劣化要素」について説明したが、本発明は他の劣化要素の影響を低減する場合にも有効である。すなわち上述の画質改善処理によって、「ドームカバー11及び光学系15のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素」の影響を低減することも可能である。
また、上述のユーザ端末60の形態は特に限定されず、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、及び携帯型ゲーム機等がユーザ端末60として使用されてもよい。以下、スマートフォンの一例について説明する。
<スマートフォンの構成>
図19は、本発明の撮像装置の一実施形態であるスマートフォン101の外観を示す図である。図19に示すスマートフォン101は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141とを備える。なお、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図20は、図19に示すスマートフォン101の構成を示すブロック図である。図20に示すように、スマートフォン101の主たる構成要素として、無線通信部110と、表示入力部120と、通話部130と、操作部140と、カメラ部141と、記憶部150と、外部入出力部160と、GPS(Global Positioning System)受信部170と、モーションセンサ部180と、電源部190と、主制御部100とを備える。また、スマートフォン101の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部110は、主制御部100の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びWebデータやストリーミングデータなどの受信が行われる。
表示入力部120は、表示パネル121及び操作パネル122を備える所謂タッチパネルであり、主制御部100の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。
表示パネル121は、LCD(Liquid Crystal Display)又はOELD(Organic Electro−Luminescence Display)などを表示デバイスとして用いる。操作パネル122は、表示パネル121の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル122は、操作に起因して発生する検出信号を主制御部100に出力する。次いで、主制御部100は、受信した検出信号に基づいて、表示パネル121上の操作位置(座標)を検出する。
本発明の撮像装置の一実施形態として図19に例示されるスマートフォン101の表示パネル121と操作パネル122とは一体となって表示入力部120を構成し、操作パネル122が表示パネル121を完全に覆うような配置となっている。その配置を採用した場合、操作パネル122は、表示パネル121外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル122は、表示パネル121に重なる重畳部分についての検出領域(以下、「表示領域」と称する)と、それ以外の表示パネル121に重ならない外縁部分についての検出領域(以下、「非表示領域」と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル121の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル122が、外縁部分及びそれ以外の内側部分の2つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体102の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル122で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。
通話部130は、スピーカ131及びマイクロホン132を備え、マイクロホン132を通じて入力されたユーザの音声を主制御部100にて処理可能な音声データに変換して主制御部100に出力したり、無線通信部110或いは外部入出力部160により受信された音声データを復号してスピーカ131から出力したりする。また、図19に示すように、例えば、スピーカ131を表示入力部120が設けられた面と同じ面に搭載し、マイクロホン132を筐体102の側面に搭載することができる。
操作部140は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図19に示すように、操作部140は、スマートフォン101の筐体102の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
記憶部150は、主制御部100の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部150は、スマートフォン内蔵の内部記憶部151と着脱自在な外部メモリスロットを有する外部記憶部152とにより構成される。なお、記憶部150を構成する内部記憶部151及び外部記憶部152のそれぞれは、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、或いはROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部160は、スマートフォン101に連結される全ての外部機器とのインターフェースの役割を果たし、通信等(例えば、ユニバーサルシリアルバス(USB:Universal Serial Bus)、IEEE(The Institute of Electrical and Electronics Engineers, Inc.)が定めるIEEE1394など)又はネットワーク(例えば、インターネット、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により他の外部機器に直接的又は間接的に接続する。
スマートフォン101に連結される外部機器としては、例えば、有線/無線ヘッドセット、有線/無線外部充電器、有線/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線/無線接続されるスマートフォン、有線/無線接続されるパーソナルコンピュータ、有線/無線接続されるPDA、及び有線/無線接続されるイヤホンなどがある。外部入出力部160は、このような外部機器から伝送を受けたデータをスマートフォン101の内部の各構成要素に伝達したり、スマートフォン101の内部のデータが外部機器に伝送されたりするように構成されてもよい。
GPS受信部170は、主制御部100の指示に従って、GPS衛星ST1、ST2〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン101の緯度、経度及び高度によって特定される位置を検出する。GPS受信部170は、無線通信部110及び/又は外部入出力部160(例えば、無線LAN)から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部180は、例えば、3軸の加速度センサなどを備え、主制御部100の指示に従って、スマートフォン101の物理的な動きを検出する。スマートフォン101の物理的な動きを検出することにより、スマートフォン101の動く方向や加速度が検出される。その検出の結果は、主制御部100に出力される。
電源部190は、主制御部100の指示に従って、スマートフォン101の各部に、バッテリ(図示しない)に蓄えられる電力を供給する。
主制御部100は、マイクロプロセッサを備え、記憶部150が記憶する制御プログラムや制御データに従って動作し、スマートフォン101の各部を統括して制御する。また、主制御部100は、無線通信部110を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。
アプリケーション処理機能は、記憶部150が記憶するアプリケーションソフトウェアに従って主制御部100が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部160を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びWebページを閲覧するWebブラウジング機能などがある。
また、主制御部100は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部120に表示する等の画像処理機能を備える。画像処理機能とは、主制御部100が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部120に表示する機能のことをいう。
さらに、主制御部100は、表示パネル121に対する表示制御と、操作部140や操作パネル122を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部100は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル121の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部100は、操作部140を通じたユーザ操作を検出したり、操作パネル122を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部100は、操作パネル122に対する操作位置が、表示パネル121に重なる重畳部分(表示領域)に該当するか、或いはそれ以外の表示パネル121に重ならない外縁部分(非表示領域)に該当するかを判定し、操作パネル122の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部100は、操作パネル122に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも一つについて軌跡を描く操作を意味する。
カメラ部141は、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部141は、主制御部100の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic Experts Group)などの圧縮した画像データに変換し、その画像データを記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることができる。図19に示すようにスマートフォン101において、カメラ部141は表示入力部120と同じ面に搭載されているが、カメラ部141の搭載位置はこれに限らず、表示入力部120が設けられる筐体102の表面ではなく筐体102の背面にカメラ部141が搭載されてもよいし、或いは複数のカメラ部141が筐体102に搭載されてもよい。なお、複数のカメラ部141が搭載されている場合には、撮影に供するカメラ部141を切り替えて単独のカメラ部141によって撮影が行われてもよいし、或いは、複数のカメラ部141を同時に使用して撮影が行われてもよい。
また、カメラ部141はスマートフォン101の各種機能に利用することができる。例えば、カメラ部141で取得した画像が表示パネル121に表示されてもよいし、操作パネル122の操作入力手法の一つとして、カメラ部141で撮影取得される画像が利用されてもよい。また、GPS受信部170が位置を検出する際に、カメラ部141からの画像が参照されて位置が検出されてもよい。さらには、カメラ部141からの画像が参照されて、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン101のカメラ部141の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部141からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、GPS受信部170により取得された位置情報、マイクロホン132により取得された音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、及びモーションセンサ部180により取得された姿勢情報等などを静止画像又は動画像のデータに付加して得られるデータを、記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることもできる。
例えば図18に示す画像処理装置27及び端末コントローラ62は、図20に示す主制御部100によって実現可能である。
10…カメラ装置、11…ドームカバー、12…曲面部、13…平面部、14…カメラユニット、15…光学系、16…撮像素子、18…方向駆動部、19…パン回転機構、20…チルト回転機構、22…不連続部、24…劣化領域情報格納部、25…カメラコントローラ、26…カメラ通信部、27…画像処理装置、28…データメモリ、30…方向認識部、32…画像補正部、34…特異劣化対応部、36…画像データ、38…特異劣化領域、39…画質劣化部、40…方向別劣化領域情報、41…撮影方向データ、42…劣化領域データ、43…劣化特性データ、46…劣化領域算出部、47…光学特性情報、48…カメラ仕様情報、49…方向情報、50…処理制御部、51…劣化領域認識部、60…ユーザ端末、61…端末通信部、62…端末コントローラ、63…表示部、64…操作部、100…主制御部、101…スマートフォン、102…筐体、110…無線通信部、120…表示入力部、121…表示パネル、122…操作パネル、130…通話部、131…スピーカ、132…マイクロホン、140…操作部、141…カメラ部、150…記憶部、151…内部記憶部、152…外部記憶部、160…外部入出力部、170…GPS受信部、180…モーションセンサ部、190…電源部

Claims (20)

  1. ドームカバーと、
    前記ドームカバーの裏面側に配置される光学系と、前記ドームカバー及び前記光学系を介して受光した撮影光に基づいて画像データを出力する撮像素子とを含むカメラユニットと、
    前記光学系を駆動して撮影方向を変更可能な方向駆動部と、
    前記画像データにおける特異劣化領域を表す劣化領域データと前記撮影方向とを相互に関連付ける方向別劣化領域情報を記憶する劣化領域情報格納部と、
    前記撮影方向を認識する方向認識部と、
    前記方向別劣化領域情報に基づいて、前記方向認識部によって認識される前記撮影方向に関連付けられる前記劣化領域データを取得し、当該劣化領域データによって表される前記特異劣化領域に応じて前記画像データの画質改善処理を行う画像補正部と、を備え、
    前記特異劣化領域は、前記ドームカバー及び前記光学系のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素に関連する領域であるカメラ装置。
  2. 前記劣化要素は、前記ドームカバー及び前記光学系のうち少なくともいずれか一方の屈折率に起因する請求項1に記載のカメラ装置。
  3. 前記劣化要素は、前記ドームカバー及び前記光学系のうち少なくともいずれか一方の透過率に起因する請求項1に記載のカメラ装置。
  4. 前記劣化要素は、画像ボケ及び画像スジのうち少なくともいずれか一方である請求項1に記載のカメラ装置。
  5. 前記画質改善処理は、デコンボリューション処理、アンシャープマスキング処理及びゲイン調整処理のうち少なくとも一つを含む請求項1〜4のいずれか一項に記載のカメラ装置。
  6. 前記特異劣化領域は、前記劣化要素を示す領域であり、
    前記画像補正部は、前記特異劣化領域の前記画質改善処理を行う請求項1〜5のいずれか一項に記載のカメラ装置。
  7. 前記画像補正部は、
    前記画像データを解析して当該画像データの前記特異劣化領域のうち前記劣化要素を示す画質劣化部を特定し、
    当該画質劣化部の前記画質改善処理を行う請求項1〜5のいずれか一項に記載のカメラ装置。
  8. 前記劣化領域情報格納部は、前記ドームカバー及び前記光学系のうち少なくともいずれか一方の光学特性を示す光学特性情報と、前記カメラユニットの特性を示すカメラ仕様情報と、前記方向駆動部により変更可能な前記撮影方向の範囲を示す方向情報とに応じて定められる前記特異劣化領域に基づき特定される前記方向別劣化領域情報を記憶する請求項1〜7のいずれか一項に記載のカメラ装置。
  9. 前記画像データを解析して前記特異劣化領域を特定する劣化領域認識部と、
    少なくとも前記撮像素子、前記方向駆動部、前記劣化領域情報格納部及び前記劣化領域認識部をコントロールする処理制御部と、を更に備え、
    前記処理制御部は、予め、複数の撮影方向に関する前記画像データを前記撮像素子から出力させ、当該複数の撮影方向の各々に関する前記特異劣化領域を前記劣化領域認識部によって特定させ、前記劣化領域認識部により特定される前記特異劣化領域を表す前記劣化領域データと前記撮影方向とが相互に関連付けられた前記方向別劣化領域情報を前記劣化領域情報格納部に記憶させる請求項1〜7のいずれか一項に記載のカメラ装置。
  10. 前記処理制御部は、前記複数の撮影方向の各々に関する前記特異劣化領域の劣化特性を前記劣化領域認識部によって特定させ、前記劣化領域データと前記撮影方向と前記劣化特性とが相互に関連付けられた前記方向別劣化領域情報を前記劣化領域情報格納部に記憶させる請求項9に記載のカメラ装置。
  11. 前記画像補正部は、前記方向別劣化領域情報に基づいて、前記方向認識部によって認識される前記撮影方向に関連付けられる前記劣化領域データ及び前記劣化特性を取得し、当該劣化領域データによって表される前記特異劣化領域及び当該劣化特性に応じて前記画質改善処理を行う請求項10に記載のカメラ装置。
  12. 前記画像補正部は、前記画質改善処理に先立って、前記光学系の歪曲収差を改善するディストーション補正処理を前記画像データに対して行う請求項1〜11のいずれか一項に記載のカメラ装置。
  13. 前記劣化領域データは、前記画像データにおける前記特異劣化領域を構成する個々の画素の位置を表す座標データである請求項1〜12のいずれか一項に記載のカメラ装置。
  14. 前記劣化領域データは、前記画像データにおける前記特異劣化領域を表す関数データである請求項1〜12のいずれか一項に記載のカメラ装置。
  15. 前記ドームカバーは、表面及び裏面のうち少なくとも裏面の曲率の変化が不連続になる不連続部を含む請求項1〜14のいずれか一項に記載のカメラ装置。
  16. 前記ドームカバーは、前記表面及び前記裏面のうち少なくとも前記裏面が曲面である曲面部と、前記表面及び前記裏面のうち少なくとも前記裏面が平面である平面部とを含み、
    前記曲面部と前記平面部との接続部分によって前記不連続部が形成される請求項15に記載のカメラ装置。
  17. 前記特異劣化領域は、前記ドームカバーの前記不連続部に起因する前記劣化要素に関連する前記画像データにおける領域を含む請求項15又は16に記載のカメラ装置。
  18. 前記特異劣化領域は、前記ドームカバーの遮光部に起因する前記劣化要素に関連する前記画像データにおける領域を含む請求項1〜17のいずれか一項に記載のカメラ装置。
  19. 画像データ及び当該画像データの撮影方向を示す撮影方向データを取得し、
    前記画像データにおける特異劣化領域を表す劣化領域データと前記撮影方向とを相互に関連付ける方向別劣化領域情報に基づいて、前記撮影方向データに関連付けられる前記劣化領域データを取得し、
    取得した前記劣化領域データによって表される前記特異劣化領域に応じて前記画像データの画質改善処理を行う画像処理装置。
  20. ドームカバー及び光学系を介して受光した撮影光に基づいて撮像素子から出力される画像データを取得するステップと、
    前記画像データを取得した際の撮影方向を認識するステップと、
    前記画像データにおける特異劣化領域を表す劣化領域データと前記撮影方向とを相互に関連付ける方向別劣化領域情報に基づいて、前記画像データを取得した際の前記撮影方向に関連付けられる前記劣化領域データを取得し、当該劣化領域データによって表される前記特異劣化領域に応じて前記画像データの画質改善処理を行うステップと、を含み、
    前記特異劣化領域は、前記ドームカバー及び前記光学系のうち少なくともいずれか一方に起因する劣化要素であって、空間周波数及び信号強度のうち少なくともいずれか一方に基づく劣化要素に関連する領域である画像処理方法。
JP2017509159A 2015-03-27 2015-11-24 カメラ装置、画像処理装置及び画像処理方法 Active JP6387455B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015066574 2015-03-27
JP2015066574 2015-03-27
PCT/JP2015/082895 WO2016157607A1 (ja) 2015-03-27 2015-11-24 カメラ装置、画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2016157607A1 JPWO2016157607A1 (ja) 2018-02-15
JP6387455B2 true JP6387455B2 (ja) 2018-09-05

Family

ID=57004098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509159A Active JP6387455B2 (ja) 2015-03-27 2015-11-24 カメラ装置、画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US10514591B2 (ja)
JP (1) JP6387455B2 (ja)
CN (1) CN107431744B (ja)
WO (1) WO2016157607A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210112792A (ko) * 2020-03-06 2021-09-15 한화테크윈 주식회사 조명광의 난반사를 방지하는 팬 모션 카메라
WO2023140472A1 (en) * 2022-01-24 2023-07-27 Samsung Electronics Co., Ltd. Method and electronic device for optical camera quality enhancement

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4212391B2 (ja) * 2003-03-24 2009-01-21 三洋電機株式会社 ビデオカメラ
JP2004320526A (ja) * 2003-04-17 2004-11-11 Minolta Co Ltd 撮像装置、撮像システム、及びプログラム
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP4674906B2 (ja) * 2006-07-03 2011-04-20 オリンパス株式会社 光学系
JP5046769B2 (ja) * 2007-07-24 2012-10-10 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5431293B2 (ja) * 2010-11-10 2014-03-05 パナソニック株式会社 ドーム型カメラ
US9122049B2 (en) * 2010-12-30 2015-09-01 Pelco, Inc. Optical compensation in surveillance domes
CN102314672A (zh) * 2011-07-29 2012-01-11 中国科学院长春光学精密机械与物理研究所 基于曲面拟合的反射镜拼接渐晕消除装置
JP6283909B2 (ja) * 2013-03-01 2018-02-28 パナソニックIpマネジメント株式会社 カメラ装置及びカメラ装置の制御方法

Also Published As

Publication number Publication date
CN107431744A (zh) 2017-12-01
US20180017847A1 (en) 2018-01-18
CN107431744B (zh) 2020-01-17
JPWO2016157607A1 (ja) 2018-02-15
US10514591B2 (en) 2019-12-24
WO2016157607A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6626954B2 (ja) 撮像装置及びフォーカス制御方法
US10348973B2 (en) Imaging device having pan/tilt control for object tracking, imaging method, and computer-readable medium
US10038856B2 (en) Imaging device, imaging method, and program
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
JP5719480B2 (ja) 画像変形装置およびその動作制御方法
US9619871B2 (en) Image processing device, imaging apparatus, image processing method, and program
EP3062286A1 (en) Optical distortion compensation
CN111064895B (zh) 一种虚化拍摄方法和电子设备
US10623625B2 (en) Focusing control device, imaging device, focusing control method, and nontransitory computer readable medium
JPWO2016080538A1 (ja) 撮像装置及び撮像方法
WO2016038977A1 (ja) ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム
US10249028B2 (en) Imaging device, image processing device, image processing method, program, and recording medium
JP6276414B2 (ja) 撮像制御装置、撮像制御方法、撮像システム及びプログラム
WO2016157621A1 (ja) ドーム型カメラ及びドームカバー
US10079973B2 (en) Imaging device operation device, operation method, and program
US20240179411A1 (en) Processor of imaging apparatus, imaging apparatus, control method of imaging apparatus, and control program of imaging apparatus
JP6387455B2 (ja) カメラ装置、画像処理装置及び画像処理方法
US20170328976A1 (en) Operation device, tracking system, operation method, and program
JP5832673B2 (ja) 撮像装置およびその動作制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180813

R150 Certificate of patent or registration of utility model

Ref document number: 6387455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250