JP6712362B2 - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP6712362B2
JP6712362B2 JP2019515191A JP2019515191A JP6712362B2 JP 6712362 B2 JP6712362 B2 JP 6712362B2 JP 2019515191 A JP2019515191 A JP 2019515191A JP 2019515191 A JP2019515191 A JP 2019515191A JP 6712362 B2 JP6712362 B2 JP 6712362B2
Authority
JP
Japan
Prior art keywords
image
water quality
wavelength band
pixel value
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515191A
Other languages
English (en)
Other versions
JPWO2018198693A1 (ja
Inventor
小野　修司
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018198693A1 publication Critical patent/JPWO2018198693A1/ja
Application granted granted Critical
Publication of JP6712362B2 publication Critical patent/JP6712362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/60—3D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Mathematical Physics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、画像処理装置、撮像装置、画像処理方法、およびプログラムに関し、特に水面からの反射光の影響が抑制された画像を取得する技術に関する。
陸上（空気中）から水中の対象物を観察および撮像する場合に、水面での反射光の影響によって、水中の被写体を適切に撮像できないことがある。これは、水面での反射光に水中の被写体からの光が埋もれてしまい、水中の被写体からの光を上手く捉えられないからである。
従来より、ブリュースター角の性質を利用した偏光フィルタを用いて、水面での反射光の影響を抑制する技術が提案されている。
例えば特許文献１では、偏光フィルタを備えたカメラに関する技術が記載されている。特許文献１に記載された偏光フィルタを備えたカメラは回転が可能な偏光フィルタを備えており、偏光フィルタは被写体の映像信号のレベルに対応する信号が最小となるように駆動制御部によって回転させられる。
特開平１０−１４５６６８号公報
しかしながら、偏光フィルタが効果的に反射光を排除できるのは、ブリュースター角の近傍のみに限られる。すなわち、偏光フィルタのみで反射光の影響を抑制する技術では、ブリュースター角よりも大きな入射角で入射した光の反射光の影響を効果的に抑制することができない。したがって、光軸（カメラ視線）と水面法線との成す角度が大きくなってしまう場合には、偏光フィルタが効果的に作用せず、水面での反射光の影響は抑制されない。
特許文献１に記載された偏光フィルタを備えるカメラによって、水面を撮像した場合であっても、光軸と水面法線との成す角度が大きくなる箇所では、上手く反射光の影響を抑制することができない場合が発生する。
本発明はこのような事情に鑑みてなされたもので、その目的は、水面での反射光による影響を広範囲に抑制された画像を生成することができる画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することである。
上記目的を達成するための、本発明の一の態様である画像処理装置は、波のある水面を含む同一のシーンの複数のフレーム画像を取得する画像取得部と、複数のフレーム画像に基づいて、各フレーム画像を構成する微小領域に対応する輝度値を算出する輝度値算出部と、複数のフレーム画像において、微小領域の輝度値が他のフレーム画像の微小領域の輝度値と比べて小さい輝度値であるフレーム画像の微小領域に対応する画素値を抽出する画素値抽出部と、画素値抽出部で抽出された画素値を記憶する記憶部と、記憶部に記憶された画素値に基づいて、シーンに対応する合成画像を生成する合成画像生成部と、を備える。
本態様によれば、画素抽出部により、複数のフレーム画像において、微小領域の輝度値が他のフレーム画像の微小領域の輝度値と比べて小さい輝度値であるフレーム画像の微小領域に対応する画素値が抽出され、記憶部に抽出された画素値が記憶されていき、合成画像生成部により、記憶部に記憶された画素値に基づいて合成画像生成される。すなわち、本態様によれば、合成画像生成部で生成される合成画像は、輝度値が最小を示す場合の画素値で構成されている。
これにより本態様は、撮像された水面の広範囲において反射光の影響が抑制された画像が生成される。すなわち、本態様で生成される合成画像は、水面での反射光の影響が広範囲において抑制されており、水面または水中が鮮明に写される。
本発明の他の態様である画像処理装置は、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得部であって、各フレームは第１の画像および第２の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像を取得する画像取得部と、複数のフレームにおける第１の画像および第２の画像に基づいて、各フレームにおいて第１の画像の画素値と第２の画像の画素値との和を微小領域毎に算出する画素値算出部と、複数のフレームにおいて、微小領域の第１の画像の画素値と第２の画像との画素値の和が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する割合または差算出部と、割合または差算出部で算出された割合または差を記憶する記憶部と、記憶部に記憶された割合または差に基づいて、水質検査対象の水質データを算出する水質データ算出部と、水質データ算出部により算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成部と、を備える。
本態様によれば、割合または差算出部により、複数のフレームにおいて、微小領域の第１の画像の画素値と第２の画像との画素値の和が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差が算出され、記憶部に算出された割合または差が記憶されていく。そして、本態様によれば、水質データ算出部により、記憶部に記憶された割合または差に基づいて、水質検査対象の水質データが算出され、水質分布画像生成部により、算出された水質データに基づいて水質検査対象の水質分布を示す水質分布画像が生成される。
これにより本態様は、撮像された水面の広範囲において反射光の影響が抑制された画像が生成される。すなわち、本態様で生成される水質分布画像では、水面での反射光の影響が抑制されており正確な水質分布が示される。
本発明の他の態様である画像処理装置は、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得部であって、各フレームは第１の画像、第２の画像、および第３の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像であり、第３の画像は第１の波長帯域および第２の波長帯域を含む第３の波長帯域に基づく画像を取得する画像取得部と、複数のフレームの第３の画像に基づいて、各第３の画像を構成する微小領域に対応する画素値を取得する画素値取得部と、複数のフレームにおいて、微小領域の画素値が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する割合または差算出部と、割合または差算出部で算出された割合または差を記憶する記憶部と、記憶部に記憶された割合または差に基づいて、水質検査対象の水質データを算出する水質データ算出部と、水質データ算出部により算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成部と、を備える。
本態様によれば、割合または差算出部により、複数のフレームにおける各第３の画像の微小領域の画素値が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差が算出され、記憶部により、割合または差算出部で算出された割合または差が記憶されていく。そして、本態様によれば、水質データ算出部により、記憶部に記憶された割合または差に基づいて、水質検査対象の水質データが算出され、水質分布画像生成部により、水質データ算出部により算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像が生成される。
これにより本態様は、撮像された水面の広範囲において反射光の影響が抑制された画像が生成される。すなわち、本態様で生成される水質分布画像では、水面での反射光の影響が抑制されており正確な水質分布が示される。
好ましくは、第１の波長帯域は６７０ｎｍを含む波長帯域であり、第２の波長帯域は７００ｎｍを含む波長帯域であり、水質データ算出部は、画像取得部により取得した第１の画像および第２の画像に基づいて水質検査対象の水質データとしてクロロフィルａの濃度を算出し、水質分布画像生成部は、水質分布画像として算出したクロロフィルａの濃度の分布を示す濃度分布画像を生成する。
本態様によれば、第１の波長帯域は６７０ｎｍを含む波長帯域であり、第２の波長帯域は７００ｎｍを含む波長帯域であり、水質データ算出部により、画像取得部で取得された第１の画像および第２の画像に基づいて水質検査対象の水質データとしてクロロフィルａの濃度が算出され、水質分布画像生成部により、水質分布画像として算出したクロロフィルａの濃度の分布を示す濃度分布画像が生成される。
これにより本態様で生成される水質分布画像は、水面の反射光の影響が抑制されており、正確なクロロフィルａの濃度の分布が示されている。
好ましくは、第３の波長帯域は、可視光の波長帯域である。
本態様によれば、第３の波長帯域は、可視光の波長帯域であるので、水面の反射光の影響をより適切に検出することでき、より反射光の影響が抑制された水質分布画像を取得することができる。
好ましくは、微小領域は、一つの画素の領域である。
本態様によれば、微小領域は一つの画素の領域である。これにより本態様では、反射光の影響をより細かな領域において抑制される。
好ましくは、波は、人工的に発生させられた波である。
本態様によれば、波は人工的に発生させられた波である。これにより本態様は、自然な波が発生していない水面であっても、人工的に波を発生させて合成画像または水質分布画像を取得することにより、水面の反射光の影響を抑制することができる。
本発明の他の態様である撮像装置は、上述の画像処理装置を備える。
好ましくは、波のある水面を含む同一シーンを定点に固定して撮像する。
本態様によれば、波のある水面を含む同一シーンを定点に固定して撮像するので、同一シーンの画像が正確に撮像され、撮影対象のブレが抑制された画像が生成される。
好ましくは、波のある水面を含む同一シーンの光束を通過させる偏光フィルタを備える。
本態様によれば、波のある水面を含む同一シーンの光束を通過させる偏光フィルタを備える。これにより本態様では、水面により反射した偏光の影響を効果的に抑制することができるので、反射光の影響がより抑制された画像を取得することができる。
本発明の他の態様である、上述の画像処理装置を備える撮像装置は、結像レンズと、結像レンズの第１の領域および第２の領域にそれぞれ対応する第１の光学フィルタおよび第２の光学フィルタであって、第１の波長帯域の光を透過させる第１の光学フィルタおよび第２の波長帯域の光を透過させる第２の光学フィルタとを有する撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、撮像光学系の第１の光学フィルタおよび第２の光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、を備える。
本態様によれば、結像レンズと、結像レンズの第１の領域および第２の領域にそれぞれ対応する第１の光学フィルタおよび第２の光学フィルタであって、第１の波長帯域の光を透過させる第１の光学フィルタおよび第２の波長帯域の光を透過させる第２の光学フィルタとを有する撮像光学系を使用して、波長帯域の異なる第１の画像および第２の画像が撮像される。これにより本態様は、撮像装置の小型化および軽量化を図ることができる。
また、本態様によれば、上述した一つの撮像光学系により第１の画像および第２の画像が撮像されるので、一つの撮像光学系の調整により、第１の画像および第２の画像を適切に撮像することができる。
また、本態様によれば、撮像光学系の第１の光学フィルタおよび第２の光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと上述した一つの撮像光学系とにより、第１の画像および第２の画像を撮像している。これにより本態様は、第１の画像および第２の画像間における位置合わせが不要である。
また、本態様によれば、第１の画像と第２の画像とを同時にかつ独立に分離した画像データとして取得することができる。
本発明の他の態様である、上述の画像処理装置を備える撮像装置は、結像レンズと、結像レンズの第１の領域、第２の領域、および第３の領域にそれぞれ対応する第１の光学フィルタ、第２の光学フィルタ、第３の光学フィルタであって、第１の波長帯域の光を透過させる第１の光学フィルタ、第２の波長帯域の光を透過させる第２の光学フィルタ、および第３の波長帯域の光を透過させる第３の光学フィルタを有する撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、撮像光学系の第１の光学フィルタ、第２の光学フィルタ、第３の光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、を備える。
本態様によれば、結像レンズと、結像レンズの第１の領域、第２の領域、および第３の領域にそれぞれ対応する第１の光学フィルタ、第２の光学フィルタ、および第３の光学フィルタであって、第１の波長帯域の光を透過させる第１の光学フィルタ、第２の波長帯域の光を透過させる第２の光学フィルタ、および第３の波長帯域の光を透過させる第３の光学フィルタを有する撮像光学系を使用して、第１の画像、第２の画像、および第３の画像が撮像される。これにより本態様は、撮像装置の小型化および軽量化を図ることができる。
また、本態様によれば、上述した一つの撮像光学系により第１の画像、第２の画像、および第３の画像が撮像されるので、一つの撮像光学系の調整により、第１の画像、第２の画像、第３の画像を適切に撮像することができる。
また、本態様によれば、撮像光学系の第１の光学フィルタ、第２の光学フィルタ、および第３の光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと上述した一つの撮像光学系とにより、第１の画像、第２の画像、および第３の画像を撮像している。これにより本態様は、第１の画像、第２の画像、および第３の画像間における位置合わせが不要である。
本態様によれば、第１の画像、第２の画像、第３の画像を、同時にかつ独立に分離した画像データとして取得することができる。
本発明の他の態様である画像処理方法は、波のある水面を含む同一のシーンの複数のフレーム画像を取得する画像取得ステップと、複数のフレーム画像に基づいて、各フレーム画像を構成する微小領域に対応する輝度値を算出する輝度値算出ステップと、複数のフレーム画像において、微小領域の輝度値が他のフレーム画像の微小領域の輝度値と比べて小さい輝度値であるフレーム画像の微小領域に対応する画素値を抽出する画素値抽出ステップと、画素値抽出ステップで抽出された画素値を記憶する記憶ステップと、記憶ステップで記憶された画素値に基づいて、シーンに対応する合成画像を生成する合成画像生成ステップと、を含む。
本発明の他の態様である画像処理方法は、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、各フレームは第１の画像および第２の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像を取得する画像取得ステップと、複数のフレームにおける第１の画像および第２の画像に基づいて、各フレームにおいて第１の画像の画素値と第２の画像の画素値との和を微小領域毎に算出する画素値算出ステップと、複数のフレームにおいて、微小領域の第１の画像の画素値と第２の画像との画素値の和が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する割合または差算出ステップと、割合または差算出ステップで算出された割合または差を記憶する記憶ステップと、記憶ステップで記憶された割合または差に基づいて、水質検査対象の水質データを算出する水質データ算出ステップと、水質データ算出ステップにより算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、を含む。
本発明の他の態様である画像処理方法は、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、各フレームは第１の画像、第２の画像、および第３の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像であり、第３の画像は第１の波長帯域および第２の波長帯域を含む第３の波長帯域に基づく画像を取得する画像取得ステップと、複数のフレームの第３の画像に基づいて、各第３の画像を構成する微小領域に対応する画素値を取得する画素値取得ステップと、複数のフレームにおいて、微小領域の画素値が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する割合または差算出ステップと、割合または差算出ステップで算出された割合または差を記憶する記憶ステップと、記憶ステップで記憶された割合または差に基づいて、水質検査対象の水質データを算出する水質データ算出ステップと、水質データ算出ステップにより算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、を含む。
好ましくは、波を人工的に発生させる造波ステップを含む。
本態様によれば、造波ステップにより、波が人工的に発生させられるので、自然な波がない水面の画像を取得する場合であっても、水面の反射光の影響が抑制された画像を生成することができる。
本発明の他の態様であるプログラムは、波のある水面を含む同一のシーンの複数のフレーム画像を取得する画像取得ステップと、複数のフレーム画像に基づいて、各フレーム画像を構成する微小領域に対応する輝度値を算出する輝度値算出ステップと、複数のフレーム画像において、微小領域の輝度値が他のフレーム画像の微小領域の輝度値と比べて小さい輝度値であるフレーム画像の微小領域に対応する画素値を抽出する画素値抽出ステップと、画素値抽出ステップで抽出された画素値を記憶する記憶ステップと、記憶ステップで記憶された画素値に基づいて、シーンに対応する合成画像を生成する合成画像生成ステップと、を含む画像処理工程をコンピュータに実行させる。
本発明の他の態様であるプログラムは、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、各フレームは第１の画像および第２の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像を取得する画像取得ステップと、複数のフレームにおける第１の画像および第２の画像に基づいて、各フレームにおいて第１の画像の画素値と第２の画像の画素値との和を微小領域毎に算出する画素値算出ステップと、複数のフレームにおいて、微小領域の第１の画像の画素値と第２の画像との画素値の和が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する割合または差算出ステップと、割合または差算出ステップで算出された割合または差を記憶する記憶ステップと、記憶ステップで記憶された割合または差に基づいて、水質検査対象の水質データを算出する水質データ算出ステップと、水質データ算出ステップにより算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、を含む画像処理工程をコンピュータに実行させる。
本発明の他の態様であるプログラムは、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、各フレームは第１の画像、第２の画像、および第３の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像であり、第３の画像は第１の波長帯域および第２の波長帯域を含む第３の波長帯域に基づく画像を取得する画像取得ステップと、複数のフレームの第３の画像に基づいて、各第３の画像を構成する微小領域に対応する画素値を取得する画素値取得ステップと、複数のフレームにおいて、微小領域の画素値が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する割合または差算出ステップと、割合または差算出ステップで算出された割合または差を記憶する記憶ステップと、記憶ステップで記憶された割合または差に基づいて、水質検査対象の水質データを算出する水質データ算出ステップと、水質データ算出ステップにより算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、を含む画像処理工程をコンピュータに実行させる。
本発明によれば、撮像された水面の広範囲において反射光の影響が抑制された画像が生成される。
図１は、ｐ偏光およびｓ偏光の反射率を示す図である。 図２は、撮像装置を遠隔地点に設置して、水面を撮像する場合の、水面の反射率の計算に関して説明する図である。 図３は、水面の反射率に関して示す図である。 図４は、水面の反射率に関して示す図である。 図５は、撮像範囲と反射率を示す図である。 図６は、撮像範囲と反射率を示す図である。 図７は、波のある水面を含む同一のシーンの撮像を概念的に示す図である。 図８は、水面に波がある場合の光軸と水面法線が成す角に関して説明する図である。 図９は、撮像装置の実施形態を示す斜視図および背面図である。 図１０は、撮像装置の実施形態を示す斜視図および背面図である 図１１は、撮像装置の内部構成の実施形態を示すブロック図である。 図１２は、画像処理装置の機能ブロック図を示す図である。 図１３は、画素値の抽出に関して説明する図である。 図１４は、原画像と合成画像とを示す概念図である。 図１５は、波がない場合の水面での反射光の反射率と、波がある場合の水面での反射光の反射率とを示す図である。 図１６は、画像処理装置の動作を示すフロー図である。 図１７は、画像処理装置の機能ブロック図を示す図である。 図１８は、第１の画像の画素と第２の画像の画素との割合または差の算出に関して説明する図である。 図１９は、画像処理装置の動作を示すフロー図である。 図２０は、撮像装置のブロック構成の一例を模式的に示す図である。 図２１は、受光素子群を光軸方向から見た模式図である。 図２２は、図２１（ａ）の破線Ａ−Ａにおける断面図である。 図２３は、図２１（ａ）の破線Ａ−Ａにおける断面図である。 図２４は、画像処理装置の機能ブロック図を示す図である。 図２５は、割合または差算出部の算出に関して説明する図である。 図２６は、画像処理装置の動作を示すフロー図である。 図２７は、撮像装置のブロック構成の一例を模式的に示す図である。 図２８は、受光素子群を光軸方向から見た模式図である。 図２９は、図２８（ａ）の破線Ａ−Ａにおける断面図である。 図３０は、図２８（ａ）の破線Ａ−Ａにおける断面図である。
以下、添付図面にしたがって本発明にかかる画像処理装置、撮像装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。
従来から水面の反射光の影響を抑制するための技術として、偏光フィルタを備えた撮像装置で水面を撮像する場合がある。これは、水面での反射光がｓ偏光とｐ偏光とに偏光すること、およびｐ偏光の反射率が０（ゼロ）となるブリュースター（Brewster）角を利用して、反射光の影響を抑制している。
図１は、合成石英（ｎ＝１．４５８）のｐ偏光およびｓ偏光の反射率に関して示す図である。ｓ偏光の反射率は入射角が大きくなるのにともなって大きくなる。これに対して、ｐ偏光では、入射角が０からブリュースター角（合成石英の場合５７°）までは反射率が０に向かって小さくなっていき、ブリュースター角で反射率が０となり、その後入射角が大きくなるにしたがって反射率も大きくなる。
なお、一般にブリュースター角は以下の式（１）で表される。また、水の屈折率は１．３３であるので、ブリュースター角は５３°である。
例えばｓ偏光を遮断する偏光フィルタを備える場合には、ブリュースター角の近傍ではｐ偏光の反射率が０となり、ｓ偏光は偏光フィルタにより遮断される。これにより、水面での反射光の影響が抑制された撮像画像が取得される。
しかしながら、光軸と水面法線との成す角がブリュースター角の近傍である場合には、上述のように水面での反射光の影響を抑制することができるが、ブリュースター角よりも光軸と水面法線との成す角が大きくなると、ｐ偏光の成分が大きくなり、反射光の影響を抑制することが困難な場合が発生する。すなわち、光軸と水面法線との成す角が大きくなると、偏光フィルタを備えた撮像装置であっても反射光の影響が抑制された水面を含むシーンを撮像することが困難となる場合がある。ここで、水面法線とは、光軸と交わる水面に対しての法線のことである。
次に、水面での反射光の影響に関しての具体例を説明する。
例えばリモートセンシングの分野では、水面（例えば、海面、湖面、川面など）を撮像装置で撮像して、得られた画像から水質検査を行う場合がある。この場合、水面からの反射光の影響が大きいと、水質検査対象の正確なデータを取得することができずに水質検査を行うことが困難となる。
図２は、ｓ偏光を遮断する偏光フィルタを備える撮像装置を遠隔地点に設置して、水面を撮像する場合の、水面の反射率の計算に関して説明する図である。光軸と水面法線との成す角度αとし、水面に波が発生していない状態である。
撮像装置は高さｈの場所に設置されており、光軸がそれぞれＲ１、Ｒ２、Ｒ３、およびＲ４の場合を考える。光軸がＲ１、Ｒ２、Ｒ３、およびＲ４の場合には、原点Ｏから距離ｄ１、ｄ２、ｄ３、およびｄ４離れた水面が撮像されている。太陽からの光Ｓ１は、入射角αでｄ２の水面に反射し、反射光Ｓ３と透過光Ｓ２となる。反射光Ｓ３は反射角αで反射し、透過光Ｓ２は屈折角βで透過する。
入射角α、屈折角βである場合には、以下の式（２）および式（３）により、ｐ偏光の反射率が算出される。なお、図２に示す場合は、ｓ偏光を遮断する偏光フィルタを備える撮像装置で取得される撮像画像における反射光の影響を考えているため、ｐ偏光の反射率について考える。
図３および図４は、撮像装置を標高４０ｍ（図２のｈ＝４０ｍ）に設置した場合の波の無い水面の反射率に関して示す図である。なお、図４は図３における０ｍから１６０ｍまでの範囲の拡大図を示す。また原点０は、撮像装置が設置される地点の標高０ｍの箇所を示す。
図３および図４に示すように、撮像装置が備えられた箇所から真下（０ｍ）を撮像する場合には、表面反射Ｒｐは２％程度である。ｓ偏光は偏光フィルタの効果により遮断されることから、原点から４５ｍ離れた水面を撮像する場合には反射率がゼロとなる（図４を参照）。
一方、原点から４５ｍよりも撮像する箇所が遠くなると、反射率は増加してくる。例えば、約１５０ｍ離れた水面での反射率は１０％を超える。そして、約２４０ｍ離れた箇所での反射率は２０％となり、約６００ｍ離れた箇所での反射率は５０％となる。
ここで水面を撮像装置で撮像することにより、リモートセンシングにより水質検査を行う場合には、２％以下、好ましくは１％以下に反射率が抑制された撮像画像を取得することにより、正確なリモートセンシングを行うことができる。
図５および図６は、撮像範囲と反射率を示す図である。図５および図６では、撮像地点Ｅから撮影対象である池の水面Ｗを撮像して、リモートセンシングが行われている。
図５は撮像装置１０が標高４０ｍの地点Ｅに設置されて水面Ｗを撮像している。図５に示す場合では、撮像装置１０の設置箇所から真下（０ｍ）を撮像した場合には、２％の反射率であり、４５ｍの範囲では入射光がブリュースター角を有し反射率が０となり、１５０ｍの範囲では反射率が１％となり、２４０ｍの範囲では反射率が２０％となり、６００ｍの範囲では反射率が５０％となる。精度が良い水質検査を行うために、２％以下、好ましくは１％以下に反射率を抑制することを考えると、標高４０ｍの地点Ｅに設置された撮像装置１０では、水面Ｗの狭い範囲でしか撮像することができない。
図６は、撮像装置１０の設置位置を標高４０ｍから標高１５０ｍに高度を上げた場合に、撮像される画像の反射率に関して示す図である。撮像装置の設置位置を標高１５０ｍに上げると、反射率が１％以下の範囲が３００ｍとなり、水面Ｗを撮像できるようになる。
図５および図６で示すように、カメラの設置箇所の高度を上げることにより、水面での反射光の影響が効果的に抑制された撮像範囲（例えば反射率が２％以下、好ましくは１％以下の範囲）を広げることができる。しかしながら、撮像装置の設置位置の高度を上げると建設費用が高くなり、設置箇所付近の景観を損ねる恐れや、撮像装置のメンテナンスがより困難になるなどの問題が発生する可能性がある。また、撮像装置を備える無人飛行体（例えばドローン）により、湖面を撮像する場合であっても、高度が高くなると運用コスト高くなったり、撮像頻度を多くできなかったり、荒天では飛べない等の問題が発生する可能性がある。
したがって本願は、撮像装置を設置する箇所の高度を上げることなく、反射光の影響が効果的に抑制された画像を取得する手法を提案する。
図７は、本発明が適用される波のある水面を含む同一のシーンの撮像を概念的に示す図である。
撮像装置１０は、三脚１１により、岸Ｃの定点に設置されている。そして撮像装置１０の光軸Ｌは水面Ｗに向けられており、岸Ｃから水面Ｗが撮像されている。すなわち、定点に固定された撮像装置１０により、波のある水面Ｗを含む同一シーンが撮像されている。
水面Ｗには太陽からの光が入射し、水面Ｗの表面によって反射する。水面Ｗには波が発生しており、太陽の光の入射角および反射角も波による水面の変化に伴って変化する。
撮像装置１０は、一定の時間、同一のシーンの撮像を行う。具体的には撮像装置１０は、動画モードにより、三脚１１に固定された状態で複数のフレーム（フレーム画像）を取得する。
ここで一定の時間とは、後で説明する画像処理装置５００（図１２）の性能や、ユーザが求める画質によって変わる。例えば撮像装置１０は、１０秒以上１２０秒以下、好ましくは２０秒以上１００秒以下の撮像を行う。また撮像装置１０の撮像時間は、後で説明する画像処理装置５００が生成する合成画像および水質分布画像が得られる時間によって決定されてもよい。
図８は、図７のＦ領域の拡大図であり、水面に波がある場合の光軸と水面法線が成す角に関して説明する図である。
撮像箇所７０１、および撮像箇所７１３では光軸Ｌは波の谷間にあり、水面は平坦である。この場合には、光軸と水面法線との成す角はαである。また撮像箇所７０７は波の頂点（ピーク）であり、この場合も光軸と水面法線との成す角はαとなる。
撮像箇所７０３および撮像箇所７０５では、水面Ｗが波により傾けられるので、光軸と水面法線との成す角は（α−Δ）となる。一方波の頂点（撮像箇所７０７）を越えた撮像箇所７０９および撮像箇所７１１では、光軸と水面法線との成す角は（α＋Δ）となる。このように、水面Ｗに波があることによって、光軸Ｌと水面法線との成す角度αが変化する。
自然環境においては、湖面、海面、および川面などの水面は完全な平坦であることは少なく、波が発生している。波が発生した水面では、水面法線と光軸との角度は変動しており、水面反射率はそれと連動して変動する。図８に示した撮像箇所７０３および撮像箇所７０５のように、手前側に水面が傾いているある瞬間または撮像箇所では、波による水面Ｗの形状変化は、水面とカメラ光軸との角度がブリュースター角を越えない方向に作用する。したがって、光軸と水面法線とがブリュースター角またはブリュースター角の近傍である瞬間だけを上手く抽出して、水中の観察対象物を撮像すれば、水面反射光の影響を受けにくくなる。特に、波による水面法線の傾きが大きく光軸と水面法線との成す角がブリュースター角以下である瞬間の撮像画像は、偏光フィルタの効果を最大限に発揮でき、水面反射光に影響されることなく（観察対象の光が反射光に埋もれることなく）、水中の対象物を観察および撮像することができる。
観察対象の範囲すべてが同時に、上記都合のよい条件を満たすことはない。そこで、多数の像を撮像し、画像処理によって好適なフレームと場所を選択する。すなわち、ブリュースター角の条件に近づくほど水面反射成分が減少するので、水面の同じ位置をある時間中、観察し比較し、第１の実施形態では、最も輝度値が低くなる場合を、ブリュースター角の条件に最も近いと判断する。また第２の実施形態では、第１の画像の画素値と第２の画像の画素値との和が最小になる場合、第３の実施形態では、第３の画像の画素値が最小になる場合をブリュースター角の条件に最も近いと判断する。そして、この処理を、観察画面のすべての微小領域（画素）に対して施す。なお、波は、自然な波でもよいし、造波機などで発生させられた人工的な波であってもよい。人工的な波を発生させる場合には、撮像装置１０の設置位置（設置位置と水面との接点）が波が形成する同心円の中心となる、同心円状の波を発生させることが好ましい。撮像装置１０の設置位置を中心として、同心円状の波を発生させることにより波の傾斜方向（水面法線の方向）が撮像装置１０に向いていると反射の影響をより効果的に抑制することができる。
図９および図１０はそれぞれ本発明の撮像装置１０の実施形態を示す斜視図および背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画または動画の画像データとして記録メディアに記録するデジタルカメラ、またはデジタルビデオカメラである。
図９に示すように撮像装置１０は、その正面に撮影レンズ（光学系）１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図１０に示すように、カメラ背面には、液晶モニタ（ＬＣＤ：Liquid Crystal Display）３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。
撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体に向けてストロボ光を照射するものである。
シャッタボタン２は、いわゆる「半押し（Ｓ１ＯＮ）」と「全押し（Ｓ２ＯＮ）」とからなる２段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。
撮像装置１０は、撮影モードとして動画撮影モードが選択され、シャッタボタン２が「全押し」されると、動画の録画を開始し、シャッタボタン２が再度「全押し」されると、録画を停止して待機状態にする。また、動画撮影モードが選択されている場合には、レンズ駆動部３６を介して自動焦点調節を行うことにより焦点調節が連続して行われ、かつシャッタ駆動部３３および絞り駆動部３４を介して自動露出制御を行うことにより露出制御が行われる。
撮像装置１０は、撮影モードとして静止画撮影モードが選択され、シャッタボタン２が「半押し」されると、ＡＦ（Autofocus）および／またはＡＥ（Automatic Exposure）制御を行う撮影準備動作を行い、シャッタボタン２が「全押し」されると、静止画の撮像および記録を行う。
電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」または「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤル４の設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」、動画撮影を行う「動画撮影モード」等である。本発明における複数のフレーム画像は、例えば動画撮影モードによって取得される。
液晶モニタ３０は、撮影モード時のライブビュー画像（スルー画像）の表示、再生モード時の静止画または動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェース（ＧＵＩ）の一部として機能する。
ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。
十字ボタン６は、上下左右の４方向の指示を入力するマルチファンクションボタンであり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。
ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。
再生ボタン８は、撮影記録した静止画または動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。
ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
図１１は撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
撮像装置１０には、前述したシャッタボタン２、電源／モードスイッチ３、モードダイヤル４、テレボタン５Ｔ、ワイドボタン５Ｗ、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮像素子（イメージセンサ）１６の駆動制御（センサ駆動部３２）、レンズ駆動制御（レンズ駆動部３６）、絞り駆動制御（絞り制御部３４）、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタ３０の表示制御などを行う。
電源／モードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。
撮影レンズ１２、絞り１４、メカシャッタ（機械的シャッタ）１５等を通過した光束は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサである撮像素子１６に結像される。なお、撮像素子１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、またはＣＣＤ（Charge Coupled Device）型のカラーイメージセンサでもよい。
また、撮影レンズ１２の前方には偏光フィルタ１３が設けられている。偏光フィルタ１３は、撮像対象である波のある水面を含む同一シーンの光束を通過させる。偏光フィルタ１３は水面で反射されたｓ偏光を遮断する機能を少なくとも有する。
撮像素子１６は、所定のパターン配列（ベイヤー配列）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）または青（Ｂ）のカラーフィルタＣＦおよびフォトダイオードＰＤを含んで構成される。また撮像素子１６は、後述する第１の波長帯域、第２の波長帯域、または第３の波長帯域の光を透過させるフィルタを備えていてもよい。
ＣＰＵ４０は、動画の撮像および／または記録（録画）中、およびライブビュー画像の撮像および／または表示中、常時ＡＦ動作およびＡＥ動作を行う。
また、ＲＯＭ４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されているＲＯＭ（Read Only Memory）、またはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）である。
動画または静止画の撮像時に撮像素子１６から出力されるＲＧＢの画像データ（モザイク画像データ）は、画像入力コントローラ２２からメモリ(SDRAM：Synchronous Dynamic Random Access Memory)４８に入力し、一時的に記憶される。
メモリ４８に一時的に記憶された画像データは、画像処理部２４により適宜読み出され、ここで、オフセット処理、ホワイトバランス補正、感度補正を含むゲインコントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、ＲＧＢおよび／またはＹＣ変換処理等の信号処理が行われる。
画像処理部２４により処理された画像データは、ＶＲＡＭ（Video RAM）５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。
ＶＲＡＭ５０から読み出された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これによりライブビュー画像が連続的に液晶モニタ３０の表示画面上に表示される。
圧縮伸張処理部２６は、動画または静止画の記録時に、画像処理部２４により処理され、一旦メモリ４８に格納された輝度データＹおよび色差データＣｂ，Ｃｒに対して圧縮処理を施す。動画の場合には、例えばＨ．２６４形式で圧縮し、静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮する。圧縮伸張処理部２６により圧縮された圧縮画像データは、メディアコントローラ５２を介してメモリカード５４に記録される。
また、圧縮伸張処理部２６は、再生モード時にメディアコントローラ５２を介してメモリカード５４から得た圧縮画像データに対して伸張処理を施す。メディアコントローラ５２は、メモリカード５４に対する圧縮画像データの記録および読み出しなどを行う。
［第１の実施形態］
図１２は、本発明の画像処理装置５００の機能ブロック図を示す図である。
画像処理装置５００は、画像取得部５０１、輝度値算出部５０３、画素値抽出部５０５、記憶部５０７、および合成画像生成部５０９を備える。なお画像処理装置５００は、例えば撮像装置１０に備えられる。また画像処理装置５００は、例えばコンピュータに設けられてもよく、その場合にはコンピュータにカメラ（例えば撮像装置１０）で撮像された複数のフレーム画像が入力される。
画像取得部５０１は、波のある水面を含む同一のシーンの複数のフレーム画像を取得する。例えば画像取得部５０１は、画像処理部２４で信号処理された後のフレーム画像の画像データを取得する。画像取得部５０１は、例えば画像処理部２４により実現される。
輝度値算出部５０３は、複数のフレーム画像に基づいて、各フレーム画像を構成する微小領域に対応する輝度値を算出する。輝度値算出部５０３は、例えば画像処理部２４で実現され、各フレーム画像の輝度値を算出する。ここで微小領域とは、フレーム画像における領域のことであり、様々な範囲の領域が採用される。例えば、微小領域はフレーム画像を構成する１画素の領域である。
画素値抽出部５０５は、複数のフレーム画像において、微小領域の輝度値が他のフレーム画像の微小領域の輝度値と比べて小さい輝度値であるフレーム画像の微小領域に対応する画素値を抽出する。最良の形態としては、複数のフレーム画像において、微小領域の輝度値が最小になる場合の、微小領域に対応する画素値を抽出する。すなわち画素値抽出部５０５は、各フレーム画像の微小領域の輝度値を取得し、複数のフレーム画像の間で、同一の位置の輝度値を比較し、輝度値が最小となる場合の微小領域の画素値を抽出する。なお、この場合の画素値とは、例えば画素の色に関する情報である。
記憶部５０７は、画素値抽出部５０５で抽出された画素値を記憶する。記憶部５０７は、例えばメモリ４８により実現される。画素値抽出部５０５が抽出した、輝度値が最小となる場合の微小領域の画素値を逐次記憶する。
合成画像生成部５０９は、記憶部５０７に記憶された画素値に基づいて、シーンに対応する合成画像を生成する。合成画像生成部５０９は、例えばビデオエンコーダ２８で実現される。
図１３は、画素値抽出部５０５の画素値の抽出に関して説明する図である。なお、図１３では、説明のために複数のフレーム画像として５枚のフレーム画像を示すが、実際にはさらに多くのフレーム画像が画像取得部５０１により取得される。また、図１３では、模式的に４×５の画素で構成されるフレーム画像を示すが、実際にはもっと多くの画素でフレーム画像は構成されている。
画像取得部５０１は、同一シーンが写されている第１のフレーム画像６０１、第２のフレーム画像６０３、第３のフレーム画像６０５、第４のフレーム画像６０７、および第５のフレーム画像６０９を取得する。
そして輝度値算出部５０３は、第１のフレーム画像６０１の位置Ｐにある画素の輝度値を算出する。そして、第１のフレーム画像６０１の位置Ｐにある画素の輝度値を初期値として記憶部５０７に記憶される。その後順次、第２のフレーム画像６０３、第３のフレーム画像６０５、第４のフレーム画像６０７、および第５のフレーム画像６０９の位置Ｐにある画素の輝度値が算出される。なお、各フレーム画像における位置Ｐは同一の位置を示している。
輝度値算出部５０３により画素値が順次算出されるのに伴い、画素値抽出部５０５により位置Ｐの画素の輝度値が最小となる場合のフレーム画像の画素値が抽出される。図１３に示した場合では、例えば画素値抽出部５０５は、第５のフレーム画像６０９の位置Ｐにおける輝度値が最小となることを判定し、第５のフレーム画像６０９の位置Ｐにおける画素値を抽出する。抽出された画素値は、記憶部５０７により記憶される。
図１４は、原画像と合成画像生成部５０９が生成する合成画像を示す概念図である。図１４（Ａ）には原画像が示されており、図１４（Ｂ）には合成画像が示されており、両画像は同一のシーンが写されている。原画像は、通常の画像処理が行われた画像であり、水面での反射光の影響が抑制されていない。原画像のように、水面での反射光の影響が大きいと、水中の観察対象物からの光が水面での反射光に埋もれてしまい適切な観察を行うことができない。一方、合成画像は、各フレーム画像において最小の輝度値である場合の画素値が抽出され、その抽出された画素値により合成画像が構成されているので、水面での反射光の影響が抑えられており、水中の観察対象物からの光を適切に捉えることができている。
図１５は、波がない場合の水面での反射光の反射率と、波がある場合の水面での反射光の反射率とを示す図である。なお、反射率は偏光フィルタ１３を備えた撮像装置１０を標高３０ｍの箇所に設置して、最大水面角度が１５°の波がある水面により取得された画像により計測されている。また、反射率を計測する画像は、合成画像生成部５０９によって生成される画像によって計測されている。
波がない場合の水面での反射光の反射率は、水平距離４０ｍ付近で反射率が約０になるが、その後水平距離が長くなるにつれて、反射率も大きくなる。一方、波がある場合の水面での反射光の反射率は、水平距離が長くなっても反射率は増大しない。このように、合成画像において反射光の影響を抑制することができるのは、波がある水面の場合であることがわかる。
図１６は、画像処理装置５００の動作を示すフロー図である。
先ず、水面に波が無い場合には人工的に波を発生させる。例えば、造波機により水面に波を発生させる（造波ステップ：ステップＳ１０）。その後、撮像装置１０により、波のある水面を含む同一シーンが撮像される（ステップＳ１１）。そして画像取得部５０１により、波のある水面を含む同一シーンが写された複数のフレーム画像が取得される（画像取得ステップ：ステップＳ１２）。
次に、輝度値算出部５０３により微小領域における輝度値が算出される（輝度値算出ステップ：ステップＳ１３）。その後、画素値抽出部５０５により、複数のフレーム画像において、微小領域の輝度値が最小になる場合の、微小領域に対応する画素値が抽出される（画素値抽出ステップ：ステップＳ１４）。その後、抽出された画素が記憶部５０７に記憶される（記憶ステップ：ステップＳ１５）。その後合成画像生成部は、記憶部５０７に記憶された画素値に基づいて、取得された同一シーンに対応する合成画像が生成される（合成画像生成ステップ：ステップＳ１６）。
上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵ４０とＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵ４０とソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
［第２の実施形態］
次に本発明の第２の実施形態に関して説明する。
図１７は、本発明の画像処理装置５００の機能ブロック図を示す図である。なお、図１２で既に説明を行った事項に関しては、説明は省略する。
画像処理装置５００は、画像取得部５０１、画素値算出部５２１、割合または差算出部５２３、記憶部５０７、水質データ算出部５２５、および水質分布画像生成部５２７を備える。
画像取得部５０１は、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する。画像取得部５０１は、各フレームが第１の画像および第２の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像を取得する。
画素値算出部５２１は、複数のフレームにおける第１の画像および第２の画像に基づいて、各フレームにおいて第１の画像の画素値と第２の画像の画素値との和を微小領域毎に算出する。すなわち画素値算出部５２１は、各フレームにおける第１の画像および第２の画像の和を算出する。画素値算出部５２１は、画像処理部２４で実現される。ここで第１の画像および第２の画像の画素値とは、例えば撮像素子１６における出力値である。
割合または差算出部５２３は、複数のフレームにおいて、微小領域の第１の画像の画素値と第２の画像との画素値の和が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する。割合または差算出部５２３は、画像処理部２４で実現される。
記憶部５０７は、割合または差算出部５２３で算出された割合または差を記憶する。
水質データ算出部５２５は、記憶部５０７に記憶された割合または差に基づいて、水質検査対象の水質データを算出する。水質データ算出部５２５は、公知の技術により、水質データを算出する。
例えば水質データ算出部５２５はクロロフィルａの濃度を推定する場合には、
以下のような２波長のバンド比法による推定を行う。
使われる２波長は水域によって異なることが知られており、例えば沿岸では６７０ｎｍと７２０ｎｍとが使用されている。したがって、第１の波長帯域は６７０ｎｍを含む波長帯域であり、第２の波長帯域は７００ｎｍを含む波長帯域とすることで、撮像装置１０により、クロロフィルａの濃度のリモートセンシングが可能となる。例えば、第１の波長帯域は、６５０ｎｍ以上６９０ｎｍ以下の波長帯域であり、第２の波長帯域は、６８０ｎｍ以上７２０ｎｍ以下の波長帯域である。
水質分布画像生成部５２７は、水質データ算出部５２５により算出した水質データに基づいて水質検査対象の水質分布を示す水質分布画像を生成する。例えば水質分布画像生成部５２７は、水質分布画像として算出したクロロフィルａの濃度の分布を示す濃度分布画像を生成する。また、水質データ算出部５２５は、画像取得部５０１により取得した第１の画像および第２の画像に基づいて水質検査対象の水質データとしてクロロフィルａの濃度を算出する。
図１８は、図１３と同様の、割合または差算出部５２３の算出に関して説明する図である。
画像取得部５０１は、第１のフレーム６２１、第２のフレーム６２３、第３のフレーム６２５、第４のフレーム６２７、および第５のフレーム６２９に対応する画像を取得する。また、各フレームは第１の画像および第２の画像で構成されている。
画素値算出部５２１は、第１のフレーム６２１の第１の画像６２１Ａおよび第２の画像６２１Ｂの画素値の和を算出する。そして、第１の画像６２１Ａおよび第２の画像６２１Ｂの画素値の和が初期値として記憶部５０７に記憶される。その後順次、画素値算出部５２１は、第２のフレーム６２３の第１の画像６２３Ａおよび第２の画像６２３Ｂの画素値の和、第３のフレーム６２５の第１の画像６２５Ａおよび第２の画像６２５Ｂの画素値の和、第４のフレーム６２７の第１の画像６２７Ａおよび第２の画像６２７Ｂの画素値の和、および第５のフレーム６２９の第１の画像６２９Ａおよび第２の画像６２９Ｂの画素値の和を算出する。
割合または差算出部５２３は、画素値算出部５２１が算出した微小領域における第１の画像の画素値および第２の画像の画素値の和が最小になる場合に、微小領域の第１の画像の画素値と第２の画像の画素値との割合または差を算出する。
図１９は、画像処理装置５００の動作を示すフロー図である。
先ず、撮像装置１０により、波のある水面を含む同一シーンが撮像される。そして画像取得部５０１により、波のある水面を含む同一シーンが写された複数のフレーム画像が取得される（ステップＳ２０：画像取得ステップ）。
次に、画素値算出部５２１により、微小領域における各フレームの第１の画像の画素値と第２の画像の画素値との和が算出される（ステップＳ２１：画素値算出ステップ）。その後、割合または差算出部５２３により、複数のフレーム画像において、微小領域の画素値が最小になる場合の、微小領域に対応する割合または差が算出される（ステップＳ２２：割合または差算出ステップ）。その後、算出された割合または差が記憶部５０７に記憶される（ステップＳ２３：記憶ステップ）。その後、水質データ算出部５２５により記憶部５０７に記憶されている割合または差に基づいて、水質データが算出され（ステップＳ２４：水質データ算出ステップ）、水質分布画像生成部５２７により水質分布画像が生成される（ステップＳ２５：水質分布画像生成ステップ）。
図２０は、第２の実施形態で使用される撮像装置１０であり、要部を図示した撮像装置１０のブロック構成の一例を模式的に示す図である。
撮像装置１０は、撮影レンズ１２、撮像素子１６、および画像取得部５０１を備える。
撮影レンズ１２は、単一の撮像用のレンズ系であり、入射した光が通過する領域毎に異なる透過波長特性を持つ。撮影レンズ１２は、１以上のレンズ（結像レンズ）１００ａと、結像レンズの入射領域毎に透過波長帯域を異ならせるための波長分離フィルタ１００ｂを備える。
波長分離フィルタ１００ｂは、第１の波長帯域の光を透過させる第１の光学フィルタおよび第１の波長帯域と異なる第２の波長帯域の光を透過させる第２の光学フィルタとを有している。すなわち、第１の波長帯域の光を透過させるＡフィルタ１００ｂ−Ａ（第１の光学フィルタ）と、第２の波長帯域の光を透過するＢフィルタ１００ｂ−Ｂ（第２の光学フィルタ）とを有している。
ここで、レンズ１００ａの射出瞳１２０の瞳領域１２２ａ（第１の領域）にはＡフィルタ１００ｂ−Ａが、瞳領域１２２ｂ（第２の領域）にはＢフィルタ１００ｂ−Ｂがそれぞれ対応して配置されている。したがって、撮影レンズ１２を通過した被写体光のうち、撮影レンズ１２の射出瞳１２０の瞳領域１２２ａを通過した光は第１の波長帯域、瞳領域１２２ｂを通過した光は第２の波長帯域を有する光となっている。
なお、本実施形態の波長分離フィルタ１００ｂは、レンズ１００ａの瞳面の近傍であって、被写体光の光路上においてレンズ１００ａの後段に配置されているが、これと光学的に等価な位置に配置されていればよい。また撮影レンズ１２は、レンズ系全体で異なる透過波長特性を与える光路が存在すればよく、透過波長特性の違いが特定の光学フィルタの特定の光学面によって提供されなくてもよい。また、波長分離フィルタ１００ｂが、レンズ効果を併せ持っていてもよい。
撮影レンズ１２を通過した被写体光は、撮像素子１６に入射する。撮像素子１６は、撮影レンズ１２の射出瞳１２０の瞳領域１２２ａを通過した光、瞳領域１２２ｂを通過した光をそれぞれ分離して受光する。撮像素子１６は、それぞれ分離して受光した光による信号を画像信号として画像取得部５０１に供給する。
画像取得部５０１は、第１の光学フィルタを介して受光した第１の画像と第２の光学フィルタを介して受光した第２の画像とをそれぞれ取得する。すなわち画像取得部５０１は、画像信号から、それぞれ波長の異なる２つの画像を取得する。
撮像素子（指向性センサ）１６は、２次元状に配列された光電変換素子により構成された複数の画素を有する。また撮像素子１６では、第１の光学フィルタおよび第２の光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光される。
撮像素子１６は、複数のマイクロレンズ１５２を有する。マイクロレンズ１５２は、光軸に垂直な方向に所定の規則にしたがって配置されている。各マイクロレンズ１５２には、それぞれ対応する受光素子群１６１が偏向光学要素として配置されている。受光素子群１６１は、複数の受光素子１６２から構成されている。
複数の受光素子１６２は、ＭＯＳ（Metal Oxide Semiconductor）またはＣＭＯＳ型撮像素子が用いられる。複数の受光素子１６２はこの他に、ＣＣＤ型撮像素子などの固体撮像素子が用いられてもよい。
図２１（ａ）は、マイクロレンズ１５２と対応する受光素子群１６１を光軸方向から見た模式図である。同図に示すように、本実施形態では、１つのマイクロレンズ１５２に対応して、４つの受光素子１６２−１ａ、１６２−１ｂ、１６２−２ａ、１６２−２ｂ、が２行２列に配置された受光素子群１６１が備えられている。
なお、マイクロレンズと対応する受光素子群は、図２１（ｂ）に示すように、マイクロレンズ１５２に対して矩形状の受光素子１１６２−１および１１６２−２が配置された受光素子群１１６１が対応していてもよい。
図２２は、図２１（ａ）の破線Ａ−Ａにおける断面図である。同図に示すように、撮影レンズ１２の射出瞳１２０の瞳領域１２２ａを通過した光は、マイクロレンズ１５２により、受光素子１６２−１ａに受光される。ここでは図示を省略しているが、瞳領域１２２ｂを通過した光は、マイクロレンズ１５２により、受光素子１６２−１ｂにも同様に受光される。
また、瞳領域１２２ｂを通過した光は、マイクロレンズ１５２により、受光素子１６２−２ａおよび１６２−２ｂに受光される。なお、同図に示す２６２は、隣接画素との間の干渉を防ぐために設けられた遮光部である。
前述のように、瞳領域１２２ａを通過した光は第１の波長帯域の光、瞳領域１２２ｂを通過した光は第２の波長帯域の光である。したがって、受光素子１６２−１ａおよび１６２−１ｂは第１の波長帯域の光を受光し、受光素子１６２−２ａおよび１６２−２ｂは第２の波長帯域の光を受光する。
このように、マイクロレンズが撮影レンズ１２の瞳と複数の受光素子１６２との結像関係を結ぶことで、各々の受光素子１６２が受光する光は、撮影レンズ１２の射出瞳１２０における予め定められた瞳領域１２２を通過したものに制限される。
受光素子群１６１の各受光素子１６２は、受光量に応じた強度の撮像信号を、画像取得部５０１に出力する。画像取得部５０１は、複数の受光素子１６２の撮像信号から、被写体の画像を生成し取得する。具体的には、画像取得部５０１は、受光素子群１６１から供給された撮像信号から、異なる波長帯域の画像を示す画像信号を生成する。
本例では、画像取得部５０１は、瞳領域１２２ａを通過した光を受光する受光素子１６２−１ａおよび１６２−１ｂの撮像信号から、第１の波長帯域の画像（第１の画像）を生成する。また瞳領域１２２ｂを通過した光を受光する受光素子１６２−２ａおよび１６２−２ｂの撮像信号から、第２の波長帯域の画像（第２の画像）を生成する。
本実施形態では、マイクロレンズが射出瞳の２つの領域を通過した光を、縦方向に２つの受光素子に入射させる例を示している。マイクロレンズが指向する射出瞳の２つの領域は、撮像光学系の透過波長がそれぞれ異なる各領域に対応する。このため、２つの異なる波長帯域の画像を、同時に、独立に、並列に得ることができる。したがって、撮像装置１０で取得される２つの画像は、同一の光軸を有する画像となる。この場合は、複数のマイクロレンズ１５２（マイクロレンズアレイ）が瞳分割部として機能している。
また、マイクロレンズ１５２に複数の受光素子１６２対応させる態様とは別に、マイクロレンズ１５２に一つの受光素子１６２を対応させて遮光マスクを瞳分割部として機能させることも可能である。図２３は、図２２と同様の断面図において、遮光マスクを瞳分割部として機能させた場合について説明する図である。この場合には、一つのマイクロレンズ１５２に対して一つの受光素子１６２が備えられており、各受光素子１６２は遮光マスク２２６２−１および２２６２−２で一部が遮光されている。これにより、撮影レンズ１２の射出瞳１２０の瞳領域１２２ａを通過した光は、マイクロレンズ１５２により、受光素子１６２−１ａに受光される。また、瞳領域１２２ｂを通過した光は、マイクロレンズ１５２により、受光素子１６２−２ａおよび１６２−２ｂに受光される。
［第３の実施形態］
次に本発明の第３の実施形態に関して説明する。
図２４は、本発明の画像処理装置５００の機能ブロック図を示す図である。なお、図１７で既に説明を行った事項に関しては、説明は省略する。
画像処理装置５００は、画像取得部５０１、画素値取得部５３１、割合または差算出部５２３、記憶部５０７、水質データ算出部５２５、および水質分布画像生成部５２７を備える。
画像取得部５０１は、波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する。画像取得部５０１が取得する各フレームは、第１の画像、第２の画像、および第３の画像を有しており、第１の画像は第１の波長帯域に基づく画像であり、第２の画像は第１の波長帯域とは異なる第２の波長帯域に基づく画像であり、第３の画像は第１の波長帯域および第２の波長帯域を含む第３の波長帯域に基づく画像である。例えば第３の波長帯域は、可視光の波長帯域である。
画素値取得部５３１は、複数のフレームの第３の画像に基づいて、各第３の画像を構成する微小領域に対応する画素値を取得する。画素値取得部５３１は、画像処理部２４で実現される。ここで第３の画像の画素値とは、例えば撮像素子１６における出力値である。
割合または差算出部５２３は、複数のフレームにおいて、微小領域の画素値が最小になる場合の微小領域に対応する第１の画像の画素値と第２の画像の画素値の割合または差を算出する。
図２５は、図１３と同様の、割合または差算出部５２３の算出に関して説明する図である。
画像取得部５０１は、第１のフレーム６２１、第２のフレーム６２３、第３のフレーム６２５、第４のフレーム６２７、および第５のフレーム６２９に対応する画像を取得する。また、各フレームは第１の画像、第２の画像、および第３の画像で構成されている。
画素値取得部５３１は、第１のフレーム６２１の第３の画像６２１Ｃの画素値を取得する。そして、第１のフレーム６２１の第３の画像６２１Ｃの画素値が初期値として設定される。その後順次、第２のフレーム６２３の第３の画像６２３Ｃの画素値、第３のフレーム６２５の第３の画像６２５Ｃの画素値、第４のフレーム６２７の第３の画像６２７Ｃの画素値、および第５のフレーム６２９の第３の画像６２９Ｃの画素値が取得される。
割合または差算出部５２３は、画素値取得部５３１が取得した微小領域における第３の画像の画素値が最小になる場合に、微小領域の第１の画像の画素値と第２の画像の画素値との割合または差を算出する。例えば、第３の波長帯域が可視光の波長帯域である場合には、第３の画像の画素値は感度良く出力されるので、より正確なタイミングでの割合または差が算出される。
図２６は、画像処理装置５００の動作を示すフロー図である。
先ず、撮像装置１０により、波のある水面を含む同一シーンが撮像される。そして画像取得部５０１により、波のある水面を含む同一シーンが写された複数のフレーム画像が取得される（ステップＳ３０：画像取得ステップ）。
次に、画素値取得部５３１により、微小領域における第３の画像の画素値が取得される（ステップＳ３１：画素値取得ステップ）。その後、割合または差算出部５２３により、複数のフレーム画像において、微小領域の画素値が最小になる場合の、微小領域に対応する割合または差が算出される（ステップＳ３２：割合または差算出ステップ）。その後、算出された割合または差が記憶部５０７に記憶される（ステップＳ３３：記憶ステップ）。そして、水質データ算出部５２５により記憶部５０７に記憶されている割合または差に基づいて、水質データが算出され（ステップＳ３４：水質データ算出ステップ）、水質分布画像生成部５２７により水質分布画像が生成される（ステップＳ３５：水質分布画像生成ステップ）。
図２７は、第３の実施形態で使用される撮像装置１０であり、要部を図示した撮像装置１０のブロック構成の一例を模式的に示す図である。
図２７は、撮像装置１０のブロック構成の一例を模式的に示す。撮像装置１０は、撮影レンズ１２、撮像素子１６、および画像取得部５０１を備える。
撮影レンズ１２は、単一の撮像用のレンズ系であり、入射した光が通過する領域毎に異なる透過波長特性を持つ。撮影レンズ１２は、１以上のレンズ１００ａと、結像レンズの入射領域毎に透過波長帯域を異ならせるための波長分離フィルタ１００ｂを備える。
波長分離フィルタ１００ｂは、三つの波長帯域を有している。すなわち、第３の波長帯域の光を透過するＣフィルタ１００ｂ−Ｃと、第２の波長帯域の光を透過するＢフィルタ１００ｂ−Ｂと、第１の波長帯域の光を透過するＡフィルタ１００ｂ−Ａを有している。
ここで、レンズ１００ａの射出瞳１２０の瞳領域１２２ａにはＡフィルタ１００ｂ−Ａが、瞳領域１２２ｂにはＢフィルタ１００ｂ−Ｂが、瞳領域１２２ｃにはＣフィルタ１００ｂ−Ｃが、それぞれ対応して配置されている。したがって、撮影レンズ１２を通過した被写体光のうち、撮影レンズ１２の射出瞳１２０の瞳領域１２２ａを通過した光は第１の波長帯域、瞳領域１２２ｂを通過した光は第２の波長帯域、瞳領域１２２ｃを通過した光は第３の波長帯域、をそれぞれ有する光となっている。
波長分離フィルタ１００ｂは、レンズ１００ａの瞳面の近傍であって、被写体光の光路上においてレンズ１００ａの後段に配置されているが、これと光学的に等価な位置に配置されていればよい。また撮影レンズ１２は、レンズ系全体で異なる透過波長特性を与える光路が存在すればよく、透過波長特性の違いが特定のフィルタの特定の光学面によって提供されなくてよい。また、波長分離フィルタ１００ｂが、レンズ効果を併せ持っていてもよい。
撮影レンズ１２を通過した被写体光は、撮像素子１６に入射する。撮像素子１６は、撮影レンズ１２の射出瞳１２０の瞳領域１２２ａを通過した光、瞳領域１２２ｂを通過した光および瞳領域１２２ｃを通過した光を、それぞれ分離して受光する。撮像素子１６は、それぞれ分離して受光した光による信号を画像信号として画像取得部５０１に供給する。画像取得部５０１は、この画像信号から、それぞれ色の異なる画像を生成する。
撮像素子１６は、複数のマイクロレンズ１５２を有する。マイクロレンズ１５２は、光軸に垂直な方向に所定の規則にしたがって配置されている。各マイクロレンズ１５２には、それぞれ対応する受光素子群１６１が偏向光学要素として配置されている。受光素子群１６１は、複数の受光素子１６２から構成されている。
複数の受光素子１６２は、ＭＯＳ型撮像素子を形成してよい。複数の受光素子１６２は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子を形成してよい。
図２８（ａ）は、マイクロレンズ１５２と対応する受光素子群１６１を光軸方向から見た模式図である。同図に示すように、本実施形態では、１つのマイクロレンズ１５２に対応して、９つの受光素子１６２−１ａ、１６２−１ｂ、１６２−１ｃ、１６２−２ａ、１６２−２ｂ、１６２−２ｃ、１６２−３ａ、１６２−３ｂ、１６２−３ｃが３行３列に配置された受光素子群１６１が備えられている。
なお、マイクロレンズと対応する受光素子群は、図２８（ｂ）に示すように、マイクロレンズ１５２に対して矩形状の受光素子１１６２−１、２、３が配置された受光素子群１１６１が対応していてもよいし、図２８（ｃ）に示すように、縦長のマイクロレンズに対して受光素子２１６２−１、２、３が配置された受光素子群２１６１が対応していてもよい。
図２９は、図２８（ａ）の破線Ａ−Ａにおける断面図である。同図に示すように、撮影レンズ１２の射出瞳１２０の瞳領域１２２ａを通過した光は、マイクロレンズ１５２により受光素子１１６２−１ａに受光され、瞳領域１２２ｂを通過した光は、マイクロレンズ１５２により、受光素子１１６２−２ｂに受光され、瞳領域１２２ｃを通過した光は、マイクロレンズ１５２により、受光素子１１６２−２ｃに受光される。
なお、同図に示す２６２は、隣接画素との間の干渉を防ぐために設けられた遮光部である。
前述のように、瞳領域１２２ａを通過した光は第１の波長帯域の光、瞳領域１２２ｂを通過した光は第２の波長帯域の光、瞳領域１２２ｃを通過した光は第３の波長帯域の光である。したがって、受光素子１６２−１ａ、１６２−１ｂ、１６２−１ｃは第１の波長帯域の光を受光し、受光素子１６２−２ａ、１６２−２ｂ、１６２−２ｃは第２の波長帯域の光を受光し、受光素子１６２−３ａ、１６２−３ｂ、１６２−３ｃは第３の波長帯域の光を受光する。
このように、マイクロレンズが撮影レンズ１２の瞳と複数の受光素子１６２との結像関係を結ぶことで、各々の受光素子１６２が受光する光は、撮影レンズ１２の射出瞳１２０における予め定められた瞳領域１２２を通過したものに制限される。
受光素子群１６１の各受光素子１６２は、受光量に応じた強度の撮像信号を、画像取得部５０１に出力する。画像取得部５０１は、複数の受光素子１６２の撮像信号から、被写体の画像を生成する。具体的には、画像取得部５０１は、受光素子群１６１から供給された撮像信号から、異なる色の画像を示す画像信号を生成する。
本例では、画像取得部５０１は、瞳領域１２２ａを通過した光を受光する受光素子１６２−１ａ、１６２−１ｂ、１６２−１ｃの撮像信号から、第１の波長帯域の画像（第１の画像）を生成する。また瞳領域１２２ｂを通過した光を受光する受光素子１６２−２ａ、１６２−２ｂ、１６２−２ｃの撮像信号から、第２の波長帯域の画像（第２の画像）を生成する。同様に、瞳領域１２２ａを通過した光を受光する受光素子１６２−３ａ、１６２−３ｂ、１６２−３ｃの撮像信号から、第３の波長帯域の画像（第３の画像）を生成する。
本実施形態では、マイクロレンズが射出瞳の３つの領域を通過した光を、縦方向に３つの受光素子に入射させる例を示している。マイクロレンズが指向する射出瞳の３つの領域は、撮像光学系の透過波長がそれぞれ異なる各領域に対応する。このため、３つの異なる波長帯域の画像を、同時に、独立に、並列に得ることができる。
図３０は、受光ユニットの一例を模式的に示す図である。本実施形態の撮像素子１６は、１つのマイクロレンズに対応して１つの受光素子が備えられている。図３０の例では、マイクロレンズ９５２ａに対応して受光素子１６２ａ、マイクロレンズ９５２ｂに対応して受光素子１６２ｂ、マイクロレンズ９５２ｃに対応して受光素子１６２ｃがそれぞれ配置されている。
各マイクロレンズ９５２には、射出瞳１２０の略全面を通過した光が入射する。マイクロレンズ９５２は、射出瞳１２０の一部領域を通過した光を各受光素子１６２に受光させる大きさの屈折力を持つ。したがって、受光素子１６２が受光することができる光束の大きさは、射出瞳１２０の一部範囲を通過するものに制限される。
本実施形態における撮像素子１６は、マイクロレンズ９５２の光軸が、撮影レンズ１２の光軸に垂直な面内において、受光素子１６２の中心位置に対し偏倚して設けられる。ここで、受光素子１６２の中心位置とは、受光素子１６２が受光し光電変換に利用できる光が通過する領域の中心位置とする。受光素子１６２の中心位置とは、受光素子１６２の近傍に位置する遮光部２６２に形成された受光開口の中心であってよい。
マイクロレンズ９５２は、予め定められた瞳領域１２２を通過した光を対応する受光素子１６２に受光させるべく、それぞれの偏倚量が設計されている。マイクロレンズ９５２の屈折力および偏倚により、受光素子１６２が受光することができる光束は、射出瞳１２０の一部領域を通過したものに制限される。
本実施形態では、マイクロレンズ９５２ａは、受光素子１６２ａが受光開口を通じて受光できる光を、瞳領域１２２ａを通過したものに制限する。同様に、マイクロレンズ９５２ｂおよびｃは、対応する受光素子１６２ａおよびｃが受光開口を通じて受光できる光を、それぞれ瞳領域１２２ｂおよびｃを通過したものに制限する。
したがって、受光素子１６２ａは第１の波長帯域の光を、受光素子１６２ｂは第２の波長帯域の光を、受光素子１６２ｃは第３の波長帯域の光を受光する。
このように、複数のマイクロレンズ９５２は、それぞれ予め定められた瞳領域１２２を通過した被写体光を対応する受光素子１６２に受光させるべく、光軸を受光素子１６２の受光開口に対して偏倚して設けられる。その結果、各受光素子１６２は、それぞれ異なる透過波長帯域の光を受光する。画像取得部５０１は、各受光素子１６２の撮像信号から、第１の画像、第２の画像、第３の画像を得ることができる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１ ストロボ
２ シャッタボタン
３ 電源／モードスイッチ
４ モードダイヤル
５ ズームボタン
６ 十字ボタン
７ ＭＥＮＵ／ＯＫボタン
８ 再生ボタン
９ ＢＡＣＫボタン
１０ 撮像装置
１１ 三脚
１２ 撮影レンズ
１３ 偏光フィルタ
１４ 絞り
１５ メカシャッタ
１６ 撮像素子
２２ 画像入力コントローラ
２４ 画像処理部
２６ 圧縮伸張処理部
２８ ビデオエンコーダ
３０ 液晶モニタ
３８ 操作部
４０ ＣＰＵ
４７ ＲＯＭ
４８ メモリ
５０ ＶＲＡＭ
５２ メディアコントローラ
５４ メモリカード
５００ 画像処理装置
５０１ 画像取得部
５０３ 輝度値算出部
５０５ 画素値抽出部
５０７ 記憶部
５０９ 合成画像生成部
５２１ 画素値算出部
５２３ 割合または差算出部
５２５ 水質データ算出部
５２７ 水質分布画像生成部
５３１ 画素値取得部
ステップＳ１０−ステップＳ１６ 画像処理方法の工程ステップ
Ｓ２０−ステップＳ２５ 画像処理方法の工程ステップ
Ｓ３０−ステップＳ３５ 画像処理方法の工程

Claims (19)

  1. 波のある水面を含む同一のシーンの複数のフレーム画像を取得する画像取得部と、
    前記複数のフレーム画像に基づいて、前記各フレーム画像を構成する微小領域に対応する輝度値を算出する輝度値算出部と、
    前記複数のフレーム画像において、前記微小領域の前記輝度値が他のフレーム画像の前記微小領域の前記輝度値と比べて小さい輝度値であるフレーム画像の前記微小領域に対応する画素値を抽出する画素値抽出部と、
    前記画素値抽出部で抽出された前記画素値を記憶する記憶部と、
    前記記憶部に記憶された前記画素値に基づいて、前記シーンに対応する合成画像を生成する合成画像生成部と、
    を備える画像処理装置。
  2. 波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得部であって、前記各フレームは第１の画像および第２の画像を有しており、前記第１の画像は第１の波長帯域に基づく画像であり、前記第２の画像は前記第１の波長帯域とは異なる第２の波長帯域に基づく画像を取得する画像取得部と、
    前記複数のフレームにおける前記第１の画像および前記第２の画像に基づいて、前記各フレームにおいて前記第１の画像の画素値と前記第２の画像の画素値との和を微小領域毎に算出する画素値算出部と、
    前記複数のフレームにおいて、前記微小領域の前記第１の画像の画素値と前記第２の画像との画素値の和が最小になる場合の前記微小領域に対応する前記第１の画像の画素値と前記第２の画像の画素値の割合または差を算出する割合または差算出部と、
    前記割合または差算出部で算出された前記割合または前記差を記憶する記憶部と、
    前記記憶部に記憶された前記割合または前記差に基づいて、前記水質検査対象の水質データを算出する水質データ算出部と、
    前記水質データ算出部により算出した前記水質データに基づいて前記水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成部と、
    を備える画像処理装置。
  3. 波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得部であって、前記各フレームは第１の画像、第２の画像、および第３の画像を有しており、前記第１の画像は第１の波長帯域に基づく画像であり、前記第２の画像は前記第１の波長帯域とは異なる第２の波長帯域に基づく画像であり、前記第３の画像は前記第１の波長帯域および前記第２の波長帯域を含む第３の波長帯域に基づく画像を取得する画像取得部と、
    前記複数のフレームの前記第３の画像に基づいて、前記各第３の画像を構成する微小領域に対応する画素値を取得する画素値取得部と、
    前記複数のフレームにおいて、前記微小領域の前記画素値が最小になる場合の前記微小領域に対応する前記第１の画像の画素値と前記第２の画像の画素値の割合または差を算出する割合または差算出部と、
    前記割合または差算出部で算出された前記割合または前記差を記憶する記憶部と、
    前記記憶部に記憶された前記割合または前記差に基づいて、前記水質検査対象の水質データを算出する水質データ算出部と、
    前記水質データ算出部により算出した前記水質データに基づいて前記水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成部と、
    を備える画像処理装置。
  4. 前記第１の波長帯域は６７０ｎｍを含む波長帯域であり、前記第２の波長帯域は７００ｎｍを含む波長帯域であり、
    前記水質データ算出部は、前記画像取得部により取得した前記第１の画像及び前記第２の画像に基づいて前記水質検査対象の水質データとしてクロロフィルａの濃度を算出し、
    前記水質分布画像生成部は、前記水質分布画像として前記算出したクロロフィルａの濃度の分布を示す濃度分布画像を生成する請求項２または３に記載の画像処理装置。
  5. 前記第３の波長帯域は、可視光の波長帯域である請求項３に記載の画像処理装置。
  6. 前記微小領域は、一つの画素の領域である請求項１から５のいずれか１項に記載の画像処理装置。
  7. 前記波は、人工的に発生させられた波である請求項１から６のいずれか１項に記載の画像処理装置。
  8. 請求項１から７のいずれか１項に記載の画像処理装置を備える撮像装置。
  9. 請求項２に記載の画像処理装置を備える撮像装置であって、
    結像レンズと、前記結像レンズの第１の領域及び第２の領域にそれぞれ対応する第１の光学フィルタ及び第２の光学フィルタであって、前記第１の波長帯域の光を透過させる前記第１の光学フィルタ及び前記第２の波長帯域の光を透過させる前記第２の光学フィルタとを有する撮像光学系と、
    ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記撮像光学系の前記第１の光学フィルタ及び前記第２の光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
    を備える撮像装置。
  10. 請求項３に記載の画像処理装置を備える撮像装置であって、
    結像レンズと、前記結像レンズの第１の領域、第２の領域、および第３の領域にそれぞれ対応する第１の光学フィルタ、第２の光学フィルタ、第３の光学フィルタであって、前記第１の波長帯域の光を透過させる前記第１の光学フィルタ、前記第２の波長帯域の光を透過させる前記第２の光学フィルタ、および前記第３の波長帯域の光を透過させる前記第３の光学フィルタを有する撮像光学系と、
    ２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記撮像光学系の前記第１の光学フィルタ、前記第２の光学フィルタ、前記第３の光学フィルタを介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
    を備える撮像装置。
  11. 前記波のある水面を含む同一シーンを定点に固定して撮像する請求項８から１０のいずれか１項に記載の撮像装置。
  12. 前記波のある水面を含む同一シーンの光束を通過させる偏光フィルタを備える請求項８から１１のいずれか１項に記載の撮像装置。
  13. 波のある水面を含む同一のシーンの複数のフレーム画像を取得する画像取得ステップと、
    前記複数のフレーム画像に基づいて、前記各フレーム画像を構成する微小領域に対応する輝度値を算出する輝度値算出ステップと、
    前記複数のフレーム画像において、前記微小領域の前記輝度値が他のフレーム画像の前記微小領域の前記輝度値と比べて小さい輝度値であるフレーム画像の前記微小領域に対応する画素値を抽出する画素値抽出ステップと、
    前記画素値抽出ステップで抽出された前記画素値を記憶する記憶ステップと、
    前記記憶ステップで記憶された前記画素値に基づいて、前記シーンに対応する合成画像を生成する合成画像生成ステップと、
    を含む画像処理方法。
  14. 波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、前記各フレームは第１の画像および第２の画像を有しており、前記第１の画像は第１の波長帯域に基づく画像であり、前記第２の画像は前記第１の波長帯域とは異なる第２の波長帯域に基づく画像を取得する画像取得ステップと、
    前記複数のフレームにおける前記第１の画像および前記第２の画像に基づいて、前記各フレームにおいて前記第１の画像の画素値と前記第２の画像の画素値との和を微小領域毎に算出する画素値算出ステップと、
    前記複数のフレームにおいて、前記微小領域の前記第１の画像の画素値と前記第２の画像との画素値の和が最小になる場合の前記微小領域に対応する前記第１の画像の画素値と前記第２の画像の画素値の割合または差を算出する割合または差算出ステップと、
    前記割合または差算出ステップで算出された前記割合または前記差を記憶する記憶ステップと、
    前記記憶ステップで記憶された前記割合または前記差に基づいて、前記水質検査対象の水質データを算出する水質データ算出ステップと、
    前記水質データ算出ステップにより算出した前記水質データに基づいて前記水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、
    を含む画像処理方法。
  15. 波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、前記各フレームは第１の画像、第２の画像、および第３の画像を有しており、前記第１の画像は第１の波長帯域に基づく画像であり、前記第２の画像は前記第１の波長帯域とは異なる第２の波長帯域に基づく画像であり、前記第３の画像は前記第１の波長帯域および前記第２の波長帯域を含む第３の波長帯域に基づく画像を取得する画像取得ステップと、
    前記複数のフレームの前記第３の画像に基づいて、前記各第３の画像を構成する微小領域に対応する画素値を取得する画素値取得ステップと、
    前記複数のフレームにおいて、前記微小領域の前記画素値が最小になる場合の前記微小領域に対応する前記第１の画像の画素値と前記第２の画像の画素値の割合または差を算出する割合または差算出ステップと、
    前記割合または差算出ステップで算出された前記割合または前記差を記憶する記憶ステップと、
    前記記憶ステップで記憶された前記割合または前記差に基づいて、前記水質検査対象の水質データを算出する水質データ算出ステップと、
    前記水質データ算出ステップにより算出した前記水質データに基づいて前記水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、
    を含む画像処理方法。
  16. 前記波を人工的に発生させる造波ステップを含む請求項１３から１５のいずれか１項に記載の画像処理方法。
  17. 波のある水面を含む同一のシーンの複数のフレーム画像を取得する画像取得ステップと、
    前記複数のフレーム画像に基づいて、前記各フレーム画像を構成する微小領域に対応する輝度値を算出する輝度値算出ステップと、
    前記複数のフレーム画像において、前記微小領域の前記輝度値が他のフレーム画像の前記微小領域の前記輝度値と比べて小さい輝度値であるフレーム画像の前記微小領域に対応する画素値を抽出する画素値抽出ステップと、
    前記画素値抽出ステップで抽出された前記画素値を記憶する記憶ステップと、
    前記記憶ステップで記憶された前記画素値に基づいて、前記シーンに対応する合成画像を生成する合成画像生成ステップと、
    を含む画像処理工程をコンピュータに実行させるプログラム。
  18. 波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、前記各フレームは第１の画像および第２の画像を有しており、前記第１の画像は第１の波長帯域に基づく画像であり、前記第２の画像は前記第１の波長帯域とは異なる第２の波長帯域に基づく画像を取得する画像取得ステップと、
    前記複数のフレームにおける前記第１の画像および前記第２の画像に基づいて、前記各フレームにおいて前記第１の画像の画素値と前記第２の画像の画素値との和を微小領域毎に算出する画素値算出ステップと、
    前記複数のフレームにおいて、前記微小領域の前記第１の画像の画素値と前記第２の画像との画素値の和が最小になる場合の前記微小領域に対応する前記第１の画像の画素値と前記第２の画像の画素値の割合または差を算出する割合または差算出ステップと、
    前記割合または差算出ステップで算出された前記割合または前記差を記憶する記憶ステップと、
    前記記憶ステップで記憶された前記割合または前記差に基づいて、前記水質検査対象の水質データを算出する水質データ算出ステップと、
    前記水質データ算出ステップにより算出した前記水質データに基づいて前記水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、
    を含む画像処理工程をコンピュータに実行させるプログラム。
  19. 波のある水面を含む水質検査対象が写された同一のシーンの複数のフレームに対応する画像を取得する画像取得ステップであって、前記各フレームは第１の画像、第２の画像、および第３の画像を有しており、前記第１の画像は第１の波長帯域に基づく画像であり、前記第２の画像は前記第１の波長帯域とは異なる第２の波長帯域に基づく画像であり、前記第３の画像は前記第１の波長帯域および前記第２の波長帯域を含む第３の波長帯域に基づく画像を取得する画像取得ステップと、
    前記複数のフレームの前記第３の画像に基づいて、前記各第３の画像を構成する微小領域に対応する画素値を取得する画素値取得ステップと、
    前記複数のフレームにおいて、前記微小領域の前記画素値が最小になる場合の前記微小領域に対応する前記第１の画像の画素値と前記第２の画像の画素値の割合または差を算出する割合または差算出ステップと、
    前記割合または差算出ステップで算出された前記割合または前記差を記憶する記憶ステップと、
    前記記憶ステップで記憶された前記割合または前記差に基づいて、前記水質検査対象の水質データを算出する水質データ算出ステップと、
    前記水質データ算出ステップにより算出した前記水質データに基づいて前記水質検査対象の水質分布を示す水質分布画像を生成する水質分布画像生成ステップと、
    を含む画像処理工程をコンピュータに実行させるプログラム。
JP2019515191A 2017-04-25 2018-04-04 画像処理装置、撮像装置、画像処理方法、およびプログラム Active JP6712362B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017086452 2017-04-25
JP2017086452 2017-04-25
PCT/JP2018/014349 WO2018198693A1 (ja) 2017-04-25 2018-04-04 画像処理装置、撮像装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018198693A1 JPWO2018198693A1 (ja) 2020-02-20
JP6712362B2 true JP6712362B2 (ja) 2020-06-17

Family

ID=63918979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515191A Active JP6712362B2 (ja) 2017-04-25 2018-04-04 画像処理装置、撮像装置、画像処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11297228B2 (ja)
EP (1) EP3618419B1 (ja)
JP (1) JP6712362B2 (ja)
CN (2) CN112383707B (ja)
WO (1) WO2018198693A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333199B2 (ja) * 2019-05-29 2023-08-24 株式会社日立ハイテクソリューションズ 濁度計、及び濁度色度計
CN111586294A (zh) * 2020-04-24 2020-08-25 山东易华录信息技术有限公司 一种根据海水折射反射率影响进行水下成像方法及装置
JP2022190236A (ja) * 2021-06-14 2022-12-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN115631432B (zh) * 2022-10-13 2023-09-01 长春理工大学 一种海面目标搜寻装置以及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830765A (ja) * 1994-07-14 1996-02-02 Toyo Constr Co Ltd 水域モニタリングシステム
JPH10145668A (ja) 1996-11-14 1998-05-29 Nikon Corp 偏光フィルタ制御機構
US5805106A (en) * 1997-01-03 1998-09-08 Trw Inc. Dual polarization wave clutter reduction
US20050018882A1 (en) * 2003-06-30 2005-01-27 Iowa University Research Foundation Controlled surface wave image velocimetry
JP2006284525A (ja) * 2005-04-05 2006-10-19 Port & Airport Research Institute 砕水画像を用いた水質推定方法、及び砕水画像処理式水質推定システム
JP4974543B2 (ja) * 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
US8237574B2 (en) * 2008-06-05 2012-08-07 Hawkeye Systems, Inc. Above-water monitoring of swimming pools
US8073279B2 (en) * 2008-07-08 2011-12-06 Harris Corporation Automated atmospheric characterization of remotely sensed multi-spectral imagery
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
JP2014074838A (ja) * 2012-10-05 2014-04-24 Xacti Corp 撮像装置
JP2015115922A (ja) * 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
JP6292968B2 (ja) * 2014-05-02 2018-03-14 日本放送協会 疑似ｈｄｒ画像推定装置及び方法
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
JP6460721B2 (ja) * 2014-10-22 2019-01-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105046708B (zh) * 2015-07-14 2017-11-17 福州大学 一种与主观感知相一致的颜色校正客观评估方法
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置
CN106022341B (zh) * 2016-05-03 2018-08-31 浙江海洋大学 高分辨率光学遥感图像灾后水体信息提取方法及系统
CN109074662A (zh) * 2016-05-18 2018-12-21 松下知识产权经营株式会社 分道确定方法以及分道确定装置
US10812735B2 (en) * 2016-11-15 2020-10-20 Sony Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
WO2018198693A1 (ja) 2018-11-01
CN110574360B (zh) 2020-12-29
US11297228B2 (en) 2022-04-05
EP3618419B1 (en) 2023-10-04
EP3618419A1 (en) 2020-03-04
CN110574360A (zh) 2019-12-13
EP3618419A4 (en) 2021-01-13
JPWO2018198693A1 (ja) 2020-02-20
CN112383707A (zh) 2021-02-19
US20200043203A1 (en) 2020-02-06
CN112383707B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
JP5066851B2 (ja) 撮像装置
US9258545B2 (en) Stereoscopic imaging apparatus
JP6712362B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US9215389B2 (en) Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method
JP6120508B2 (ja) 撮像素子および撮像装置
JP6071374B2 (ja) 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置
JP4983271B2 (ja) 撮像装置
JP2009244862A (ja) 焦点検出装置およびそれを有する撮像装置
JPWO2005081020A1 (ja) 光学機器およびビームスプリッター
JP5536959B2 (ja) 撮影装置、撮影方法及びプログラム
JP2018121235A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4858179B2 (ja) 焦点検出装置および撮像装置
JP5348258B2 (ja) 撮像装置
JP2007140176A (ja) 電子カメラ
JP2014130231A (ja) 撮像装置、その制御方法、および制御プログラム
JP2014215436A (ja) 撮像装置、その制御方法、および制御プログラム
JP5907668B2 (ja) 撮像装置及び撮像素子
JP2010010958A (ja) マルチバンド画像撮像方法および装置
JP2016071275A (ja) 撮像装置およびフォーカス制御プログラム
JP5978570B2 (ja) 撮像装置
JP2007065555A (ja) 撮像装置
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2015233261A (ja) 撮像装置及び照合システム
JP2006080838A (ja) 撮像装置
JP2006317918A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200529

R150 Certificate of patent or registration of utility model

Ref document number: 6712362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250