JPWO2016063316A1 - 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 - Google Patents

画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 Download PDF

Info

Publication number
JPWO2016063316A1
JPWO2016063316A1 JP2016554949A JP2016554949A JPWO2016063316A1 JP WO2016063316 A1 JPWO2016063316 A1 JP WO2016063316A1 JP 2016554949 A JP2016554949 A JP 2016554949A JP 2016554949 A JP2016554949 A JP 2016554949A JP WO2016063316 A1 JPWO2016063316 A1 JP WO2016063316A1
Authority
JP
Japan
Prior art keywords
image
band
correlation
primary reference
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016554949A
Other languages
English (en)
Other versions
JP6461184B2 (ja
Inventor
直 菊地
直 菊地
雄介 紋野
雄介 紋野
大輔 禧久
大輔 禧久
正行 田中
正行 田中
正敏 奥富
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Tokyo Institute of Technology NUC
Original Assignee
Olympus Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Tokyo Institute of Technology NUC filed Critical Olympus Corp
Publication of JPWO2016063316A1 publication Critical patent/JPWO2016063316A1/ja
Application granted granted Critical
Publication of JP6461184B2 publication Critical patent/JP6461184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

画像処理ユニットは画像取得部と相関判定部と参照画像生成部と補間画像生成部とを有する。画像取得部は原画像を取得する。相関判定部は一次参照バンドの画像成分と一次参照バンド以外の各バンドの画像成分との相関性が高相関および低相関のいずれであるかを判定する。参照画像生成部は相関判定結果に基づいて一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行なうことにより一次参照画像を生成する。補間画像生成部は相関判定結果および一次参照画像を用いて一次参照バンドの画像成分の少なくとも一部における欠落画素の補間を行う。

Description

本発明は、マルチバンド画像の解像感を向上させる画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法に関する。
一般のデジタルカメラでは、単板撮像素子とカラーフィルタアレイ（ＣＦＡ）が用いられている。そこで、カラーフィルタアレイ（ＣＦＡ）をマルチバンド化することにより色再現性を高めることが出来る。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなるため、デモザイキング時に偽色が発生し得る。
そこで、マルチバンドの原画像を構成する複数のバンドの画像成分の中で、高周波成分を高精度で取得可能なバンドの画像成分を参照して、他のバンドの画像成分の補間画像を生成することが提案されている（特許文献１参照）。
特開２０１２−２３９０３８号公報
しかし、特許文献１に記載された補間処理では、他のバンドの画像成分の補間画像は参照するバンドの画像成分の欠落画素を補間した参照画像を用いて生成されるため、他のバンドの画像成分の解像感、すなわち画像の再現性は参照画像の解像感に左右され、さらなる改善が求められていた。
従って、上記のような問題点に鑑みてなされた本発明では、マルチバンドのフィルタアレイを有する撮像素子が生成する原画像に基づいて、解像感を向上させた補間画像を生成する画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法の提供を目的とする。
上述した諸課題を解決すべく、本発明による画像処理ユニットは、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像を取得する画像取得部と、
前記原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
ことを特徴とするものである。
また、当該画像処理ユニットでは、
前記参照画像生成部は、前記高相関であると判定された少なくとも１つのバンドの画像成分を用いて、前記一次参照バンドの画像成分における欠落画素の補間を行う
ことが好ましい。
また、当該画像処理ユニットでは、
前記参照画像生成部は、前記高相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該バンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。
また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関に分別されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。
また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された複数のバンドの画像成分それぞれとの相関を用いて、前記一次参照バンドの画像成分における該画素位置の複数の補間値を算出し、該複数の補間値の重付け平均値を、前記一次参照バンドの画像成分における該画素位置の補間値として算出する
ことが好ましい。
また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された単一のバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。
また、当該画像処理ユニットでは、
前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該画素位置以外の一次参照バンドの画像成分を構成する画素値および前記高相関であると判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
ことが好ましい。
また、当該画像処理ユニットでは、
前記参照画像生成部は、方向別に前記一次参照バンドの画像成分の補間値を算出する
ことが好ましい。
また、当該画像処理ユニットでは、
前記相関判定部は、予め定められた相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
ことが好ましい。
また、当該画像処理ユニットでは、
前記相関情報は、任意の複数の画像データの分析、および前記マルチバンドフィルタアレイの分光感度特性の一方に基づいて予め定められる
ことが好ましい。
また、当該画像処理ユニットでは、
前記相関判定部は、前記原画像に基づいて相関情報を生成し、該相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
ことが好ましい。
また、当該画像処理ユニットでは、
前記相関情報は、前記原画像に基づいて判定される撮像シーンであり、
ことが好ましい。
また、当該画像処理ユニットでは、
前記相関情報は、前記原画像を構成するバンドの画像成分間の画素値の総和、平均値、分散値、最大値、および中央値の差分、ならびに前記一次参照バンド以外のバンドの画像成分を構成する画素値に基づく前記一次参照バンドの画像成分の補間値と前記一次参照バンドの画像成分を構成する画素値との差分のいずれかから算出される
ことが好ましい。
また、当該画像処理ユニットでは、
前記相関判定部は、前記原画像を複数の領域に分割した部分領域毎に前記相関情報を生成し、前記部分領域毎に前記相関性が高相関及び低相関の何れであるかを判定する
ことが好ましい。
また、当該画像処理ユニットでは、
前記補間画像生成部は、前記一次参照画像を用いて、前記高相関であると判定されたバンドの画像成分における欠落画素の補間を行う
ことが好ましい。
また、当該画像処理ユニットでは、
前記補間画像生成部は、前記高相関であると判定された複数のバンドの画像成分の中で、他のバンドの画像成分よりも前記一次参照バンドの画像成分に対する相関性が低く且つ当該他のバンドの画像成分との相関性を有するバンドの画像成分における欠落画素の補間を、前記他のバンドの画像成分における欠落画素の補間を行った補間画像を二次参照画像として用いて行う
ことが好ましい。
また、当該画像処理ユニットでは、
前記補間画像生成部は、前記低相関であると判定されたバンドの画像成分における欠落画素の補間を、該バンドの画像成分を用いて、行う
ことが好ましい。
また、本発明による撮像装置は、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子と、
前記撮像素子が撮像した原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
ことを特徴とするものである。
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本発明をプログラムとして実現させた画像処理プログラムは、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部としてコンピュータを機能させる
ことを特徴とするものである。
また、本発明を方法として実現させた画像処理方法は、
任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子に原画像を撮像させ、
前記原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定し、
相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成し、
前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う
ことを特徴とするものである。
上記のように構成された本発明に係る画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法によれば、マルチバンドのフィルタアレイを有する撮像素子が生成する原画像に基づいて、解像感を向上させた補間画像を生成可能である。
本発明の第１の実施形態に係る画像処理ユニットの概略構成を示す機能ブロック図である。 図１の撮像素子が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。 図１の撮像素子が撮像した原画像および第１のバンドの画像成分から第５のバンドの画像成分の関係を示す図である。 図１の撮像素子のフィルタアレイを構成する各フィルタの分光透過率を示すグラフである。 図１の参照画像生成部が実行する第２のバンドによる相関補間画像の生成の過程を示すプロセス図である。 図１の参照画像生成部が実行する、第２のバンドから第５のバンドによる相関補間画像を用いた一次参照バンドの画像成分の補間の過程を示すプロセス図である。 図１の画像処理ユニットが実行する画像補間処理を説明するフローチャートである。 図１の参照画像生成部の変形例が実行する第２のバンドによる水平方向相関補間画像の生成の過程を示すプロセス図である。 図１の参照画像生成部の変形例が実行する第２のバンドによる垂直方向相関補間画像の生成の過程を示すプロセス図である。 図１の撮像素子の第１の変形例が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。 図１の撮像素子の第２の変形例が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。
以下、本発明の実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態に係る画像処理ユニットを含む撮像装置の概略構成を示す機能ブロック図である。
撮像装置１０は、例えばデジタルカメラ、デジタルビデオカメラ、カメラ付き多機能端末であって、撮像部１１および画像処理ユニット１２を含んで構成される。
撮像部１１は、光学系１３および撮像素子１４を有する。光学系１３は少なくとも１つのレンズを有し、被写体像を結像する。撮像素子１４は、例えばＣＣＤエリアセンサまたはＣＭＯＳエリアセンサであって、光学系１３が結像する被写体像を撮像して原画像を生成する。
撮像素子１４は、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを受光面に有する。例えば、本実施形態においては、マルチバンドフィルタアレイは、第１のバンド、第２のバンド、第３のバンド、第４のバンド、および第５のバンドの５バンドのフィルタを含む。当該４バンド以上のフィルタの中の任意のバンドが、補間処理に用いられる一次参照バンド画像に対応する一次参照バンドに定められる。一次参照バンドに定められるバンドは任意であるが、最高密度であるバンドが好ましく、本実施形態においては、第１のバンドが一次参照バンドに定められる。なお、各フィルタは、例えばＲＧＢなどの可視フィルタ、赤外フィルタ、および紫外フィルタである。
フィルタアレイは、例えば、図２に示すような４行４列のフィルタ繰返し単位を有しており、当該フィルタ繰返し単位が列方向および行方向に繰返し配置される。フィルタ繰返し単位には、第１のバンドに対応する８つの第１のフィルタＣ１、第２のバンドに対応する２つの第２のフィルタＣ２、第３のバンドに対応する２つの第３のフィルタＣ３、第４のバンドに対応する２つの第４のフィルタＣ４、および第５のバンドに対応する２つの第５のフィルタＣ５が配置される。
第１のフィルタＣ１は全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目に第１のフィルタＣ１が配置される。また、２、４行目には、１、３列目に第１のフィルタＣ１が配置される。
また、第１のフィルタＣ１、第２のフィルタＣ２、および第３のフィルタＣ３が並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、１行１列目及び３行３列目に第２のカラーフィルタＣ２が配置され、１行３列目及び３行１列目に第３のカラーフィルタＣ３が配置される。
また、第１のフィルタＣ１、第４のフィルタＣ４、および第５のフィルタＣ５が並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、２行２列目及び４行４列目に第４のフィルタＣ４が配置され、２行４列目及び４行２列目に第５のフィルタＣ５が配置される。
上述のようなフィルタアレイを有する撮像素子１４において、透過したバンドの光の受光量に応じた画素信号が生成される。撮像素子１４は、すべての画素の画素信号を順番に出力し、全画素によって構成される１フレームの原画像を原画像信号として、画像処理ユニット１２に出力する。したがって、原画像において各画素は単一のバンドの画素値のみを有しており、図３に示すように、原画像ＯＩは、第１のバンドの画像成分ＯＩ１、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、第４のバンドの画像成分ＯＩ４、および第５のバンドの画像成分ＯＩ５に分解可能である。
画像処理ユニット１２は、画像取得部１５、相関判定部１６、参照画像生成部１７、および補間画像生成部１８を含んで構成される（図１参照）。
画像取得部１５は、例えば入力端子であり、撮像素子１４から原画像ＯＩを取得し、相関判定部１６、参照画像生成部１７、および補間画像生成部１８に伝送する。
相関判定部１６、参照画像生成部１７、および補間画像生成部１８は、例えば、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成されたり、処理ごとに特化した専用のプロセッサとして構成され、以下に説明する機能を発揮する。
相関判定部１６は、原画像ＯＩの一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と、それ以外のバンドの画像成分、すなわち第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、第４のバンドの画像成分ＯＩ４、および第５のバンドの画像成分ＯＩ５それぞれとの相関性を算出する。さらに、相関判定部１６は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）および各バンドの画像成分の相関性を、高相関および低相関のいずれに分別されるかを判定する。
相関判定部１６は、相関情報に基づいて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）および各バンドの画像成分の相関性が高相関であるか低相関であるかを判定する。本実施形態においては、相関情報は、一次参照バンドの画像成分および他の各バンドの画像成分との相関性を高相関および低相関のいずれかに予め分別した対応テーブルである。相関性の高相関および低相関への分別は、例えば任意の複数の画像データの分析から算出されるバンド間の相関性に基づいて設定され得る。または、図４に示すように、一次参照バンドと各バンドの分光感度の重なりの度合いに基づいて設定され得る。本実施形態においては、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に対して、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４は高相関に分別され、第５のバンドの画像成分ＯＩ５は低相関に分別されるように定められる。
参照画像生成部１７は、相関判定部１６の相関判定結果、すなわち高相関および低相関の何れであるかに基づいて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における欠落画素ｍｐ（図３参照）の補間法方を切替えて補間を行い、一次参照画像を生成する。
参照画像生成部１７は、高相関であると判定されたバンドの画像成分、本実施形態においては第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４が画素値を有する画素位置ｐ２、ｐ３、ｐ４においては、それぞれのバンドの画像成分の画素値を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における欠落画素ｍｐの補間を行う。参照画像生成部１７は、低相関であると判定されたバンドの画像成分、本実施形態においては第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５においては、高相関であると判定されたバンドの画像成分を用いて補間を行う。以下に、高相関と判定されたバンドの画像成分が画素値を有する画素位置、および低相関と判定されたバンドの画像成分が画素値を有する画素位置それぞれに対する補間方法について詳細に説明する。
第２のバンドの画像成分ＯＩ２を例にして、高相関と判定されたバンドの画像成分の画素位置に対する一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間について、図５を用いて説明する。参照画像生成部１７は、第２のバンドの画像成分ＯＩ２内で、例えばバイリニア補間法およびバイキュービック補間法により、第２のバンドの画像成分ＯＩ２内の欠落画素ｍｐを補間した補間画像を、第２のバンドの単純補間画像として生成する（上段“バンド内補間”参照）。
さらに、参照画像生成部１７は、第２のバンドの単純補間画像との相関を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間を行い、第２のバンドによる相関一次補間画像として生成する（上段“相関補間”参照）。相関を用いた補間処理としては、例えばガイデッドフィルタ処理が用いられる。ガイデッドフィルタ処理について、以下に詳細に説明する。ガイデッドフィルタ処理において、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の、欠落画素ｍｐを含むすべての画素を、順番に注目画素に指定する。参照画像生成部１７は、第２のバンドの単純補間画像を参照画像として用い、注目画素ｘpに対して（１）式のコスト関数Ｅ（ａxp、ｂxp）が最小化するように、最小二乗法によりパラメータ（ａxp、ｂxp）を算出する。
Figure 2016063316
（１）式において、ａxp、ｂxpは算出されるべきパラメータである。ωxpは周辺画素領域であり、ｘiは周辺画素領域に含まれる周辺画素である。ｐxiは一次参照バンドの画像成分の画素値である。Ｍxiはバイナリマスクであって、周囲画素が信号成分を有するときに１であり、周囲画素が信号成分を有さないときには０である。Ｉxiは周囲画素に対応する参照画像生成用の補間画像、すなわち第２のバンドの単純補間画像の画素値である。εは所定の平滑化パラメータである。
全画素に対するパラメータを算出すると、参照画像生成部１７は、（２）式を用いて、第２のバンドによる相関一次補間画像の算出、すなわち全画素の画素値を、第２のバンドの単純補間画像の画素値に基づいて算出する。
Figure 2016063316
（２）式において、ωxiは周辺画素領域であり、｜ω｜は注目画素および周囲画素の画素数である。（ａxp、ｂxp）は、各注目画素の画素位置毎に（１）式により算出されたパラメータである。
さらに、参照画像生成部１７は、第２のバンドによる相関一次補間画像において、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の欠落画素ｍｐの画素位置の画素をマスクするマスク処理を施し、マスク画像を算出する（中段“マスク処理”参照）。さらに、参照画像生成部１７は、一次参照バンドの画像成分の各画素値からマスク画像の対応する各画素値を減算することにより、残差画像を生成する（下段“減算”参照）。さらに、参照画像生成部１７は、残差画像内で、例えばバイリニア補間法およびバイキュービック補間法により、残差画像内の欠落画素ｍｐを補間した残差補間画像を生成する（下段“バンド内補間”参照）。さらに、参照画像生成部１７は、残差補間画像の各画素値に第２のバンドによる相関一次補間画像の対応する画素値を加算することにより、第２のバンドによる相関補間画像を生成する（下段“加算”参照）。
参照画像生成部１７は、第３のバンドおよび第４のバンドにおいても、第２のバンドと同様の処理により、第３のバンドによる相関補間画像および第４のバンドによる相関補間画像を生成する。さらに、図６に示すように、参照画像生成部１７は、第２のバンドによる相関補間画像において、第２のバンドの画像成分ＯＩ２の欠落画素ｍｐの画素位置の画素値を消去するマスク処理を施し、第２のバンドのマスク画像を生成する。同様に、参照画像生成部１７は、第３のバンドのマスク画像および第４のバンドのマスク画像を生成する。さらに、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に、第２のバンドのマスク画像、第３のバンドのマスク画像、および第４のバンドのマスク画像を重ねることにより、一次参照バンドの画像成分の一部の欠落画素ｍｐが補間される（符号“ＲＩ’”参照）。
次に、第５のバンドの画像成分ＯＩ５を例にして、低相関と判定されたバンドの画像成分が画素値を有する画素位置に対する一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間について説明する。参照画像生成部１７は、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５においては、高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における当該画素位置の補間値を算出する。
例えば、参照画像生成部１７は、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５の、前述の第２のバンドによる相関補間画像、第３のバンドによる相関補間画像、および第４のバンドによる相関補間画像における画素値の少なくともいずれかを用いて補間値を算出する。例えば、第２のバンドによる相関補間画像、第３のバンドによる相関補間画像、および第４のバンドによる相関補間画像における画素値の単純平均値、重付け平均値、および選択されたいずれか１つの画素値が、補間値として用いられる。
なお、重付け平均や画素値の選択は、例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）との相関性の高さ、および第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５への近さに基づく。例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と最も相関性が高いバンドが第３のバンドの画像成分ＯＩ３である場合には、第３のバンドによる相関補間画像の画素値の重付けを大きくしたり、当該画素値を補間値として用いてもよい。また、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５に最も近い画素位置に画素値を有する第２のバンドの画像成分ＯＩ２および第３のバンドの画像成分ＯＩ３であることから、第２のバンドによる相関補間画像および第３のバンドによる相関補間画像の画素値に対する重付けを大きくしたり、両者の平均値を補間値として用いてもよい。
また、例えば、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）を構成する画素の画素値および高相関と判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５における補間値を、算出してもよい。例えば、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に、第２のバンドのマスク画像、第３のバンドのマスク画像、および第４のバンドのマスク画像を重ねた画像ＲＩ’における欠落画素ｍｐ、すなわち第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５の画素の周囲画素を用いて、例えばバイリニア補間法およびバイキュービック補間法を用いて補間値を算出してもよい。
参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の欠落画素ｍｐを、上述の処理により補間して生成した一次参照画像を補間画像生成部１８に伝送する。
補間画像生成部１８は、相関判定部１６が判定した相関判定結果と、参照画像生成部１７が生成した一次参照画像を用いて、一次参照バンド以外のバンドの画像成分の少なくとも一部のバンドの画像成分の欠落画素ｍｐの画素補間を行う。さらに詳細には、補間画像生成部１８は、一次参照画像を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と高相関であると判定されたバンドの画像成分、本実施形態では、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４それぞれの欠落画素ｍｐの画素補間を行う。一次参照画像を参照に用いた、他のバンドの画像成分の画素補間は、例えば、前述のガイデッドフィルタ処理、ジョイントバイラテラル処理などの処理を適用可能である。
また、補間画像生成部１８は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と低相関であると判定されたバンドの画像成分、本実施形態では、第５のバンドの画像成分ＯＩ５の欠落画素ｍｐの画素補間を、一次参照画像を用いずに、第５のバンドの画像成分ＯＩ５を用いた、例えばバイリニア補間法およびバイキュービック補間法により補間する。
補間画像生成部１８は、一事参照画像および欠落画素ｍｐの補間が行われた他のバンドの画像成分の補間画像、すなわち各バンドにおいて全画素に画素値を有する画像を、マルチバンドに対応したモニタおよび記憶媒体などに伝送する。
次に、画像処理ユニット１２が実行する、画像補間処理について、図７のフローチャートを用いて説明する。画像補間処理は、画像処理ユニット１２が撮像部１１から原画像ＯＩを取得するときに開始する。
ステップＳ１００において、画像処理ユニット１２は、一次参照バンドの画像成分と、それ以外のバンドの画像成分との相関性を判定する。画像処理ユニット１２は、相関性の判定においては、高相関および低相関のいずれかへの分別も行う。相関性の判定後、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、画像処理ユニット１２は、ステップＳ１００において高相関と判定したバンドの画像成分を選択する。バンドの画像成分の選択後、プロセスはステップＳ１０２に進む。
ステップＳ１０２では、画像処理ユニット１２は、ステップＳ１０１で選択したバンドの画像成分を用いて、一次参照バンドの画像成分の欠落画素ｍｐを補間して、一次参照画像を生成する。一次参照画像を生成すると、プロセスはステップＳ１０３に進む。
ステップＳ１０３では、画像処理ユニット１２は、ステップＳ１００において高相関と判定したバンドの画像成分の欠落画素ｍｐを、一次参照画像に基づく相関により補間する。一次参照画像に基づく画素補間後、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、画像処理ユニット１２は、ステップＳ１００において低相関と判定したバンドの画像成分の欠落画素ｍｐを、当該バンドの画像成分の周囲画素を用いたバイリニア補間およびバイキュービック補間法などにより補間する。補間後に、画像補間処理を終了する。
以上のような構成の本実施形態の画像処理ユニットによれば、マルチバンドのフィルタアレイを有する撮像素子１４が生成する原画像ＯＩに対して、一次参照バンドの画像成分と相関性の判定結果に基づいて他のバンドの画像成分を用いて一次参照画像を生成するので、一次参照画像の解像感を、一次参照バンドの画像成分のみから生成した場合に比べて向上可能である。したがって、当該一次参照画像を用いた、当該他のバンドの画像成分の欠落画素ｍｐを補間した各バンドの補間画像の解像感を向上可能である。
また、本実施形態の画像処理ユニットによれば、一次参照バンドの画像成分に対して低相関と判定されたバンドの画像成分は、一次参照画像を用いずに当該バンドの画像成分内で補間を行うので、当該バンドの画像成分の補間画像においてモアレの発生が抑制される。
また、本実施形態の画像処理ユニットによれば、残差画像を補間して、相関補間画像を生成するので、相関一次補間画像によって直接、一次参照画像を生成する構成に比べて、高周波成分の少なさにより、一時参照画像におけるモアレの発生が抑制される。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、本実施形態において、相関情報は予め定められているが、画像処理ユニット１２が取得した原画像ＯＩから算出する構成であってもよい。例えば、原画像信号の全体の輝度や、バンドの画像成分毎の画素値の割合などから、画像処理ユニット１２が撮像状況を、ポートレートモードや風景モードなどの予め想定される複数の撮像シーンの中から推定し、統計的に定められた各撮像シーンにおけるバンドの画像成分の相関性に基づいて、各バンドの画像成分の一次参照バンドの画像成分との相関性を判定してもよい。
また、例えば、原画像ＯＩにおける一次参照バンドの画像成分、および他のバンドの画像成分別の画素値の総和、平均値、分散値、最大値、中央値の比較に基づいて、相関性を判定してもよい。一次参照バンドの画像成分におけるこれらの値と、他のバンドの画像成分におけるこれらの値の差分が小さいほど相関性が高く、例えば閾値と比較することにより、高相関および低相関のいずれかに分別可能である。このような構成によれば、任意の複数の画像データの予めの分析が不要である。
また、例えば、一次参照バンド以外のバンドの画像成分を構成する画素値を参照画像として用いたガイデッドフィルタ処理により補間した一次参照バンドの画像成分の補間値と一次参照バンドの画像成分を構成する画素値との差分、すなわち図５における残差画像の画素値に基づいて、相関性を判定してもよい。当該差分が小さいほど相関性が高く、例えば閾値と比較することにより、高相関および低相関のいずれかに分別可能である。このような構成によれば、任意の複数の画像データの予めの分析が不要である。
また、本実施形態において、相関判定部１６は、画像全体で一次参照バンドの画像成分と、他のバンドの画像成分との相関性を判定する構成であるが、全体領域を分割した部分領域毎に相関性を判定してもよい。このような構成によれば、例えば、複数の光源によって被写体が照明されるような撮像状況において、光源の分光特性により変化し得る、一次参照バンドの画像成分および他のバンドの画像成分間の相関性に適切に対応可能である。
また、本実施形態において、参照画像生成部１７は、高相関と判定されたバンドの画像成分の欠落画素ｍｐすべてを補間して（図５上段“バンド内補間”参照）、相関一次補間画像を生成する構成であるが、当該バンドの画像成分の欠落画素ｍｐを、方向別に補間して、水平方向および垂直方向の相関補間画像を生成してもよい（図８、９参照）。方向別の補間により生成した画素値を重付け平均することにより、当該バンドの画像成分による相関補間画像を生成可能である。このような方向別の補間によれば、補間の精度をさらに向上させ、一次参照画像の解像感を一層向上可能である。
また、本実施形態において、一次参照バンドの画像成分に対して高相関と判定された全バンドの画像成分の補間に一次参照画像を用いる構成であるが、以下に説明するように、相関性に応じて二次参照画像を用いてバンドの画像成分の補間を行ってもよい。例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と、第２のバンドの画像成分ＯＩ２および第３のバンドの画像成分ＯＩ３とが高相関であって、かつ第２のバンドの画像成分ＯＩ２と第３のバンドの画像成分ＯＩ３とが高相関である場合に、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）との相関性が第２のバンドの画像成分ＯＩ２の方が高いことがあり得る。このような場合において、一次参照画像を用いて、第２のバンドの画像成分ＯＩ２の欠落画素ｍｐの補間を行い、補間した第２のバンドの画像成分ＯＩ２を二次参照画像として用いて、第３のバンドの画像成分ＯＩ３の欠落画素ｍｐの補間を行うことが挙げられる。このような構成によれば、各バンドの画像成分においてより解像感の高い補間画像を得ることが可能である。
また、本実施形態において、一部のバンドの画像成分が一次参照バンドの画像成分に対して低相関と判定されるが、全バンドの画像成分が一次参照バンドの画像成分に対して高相関と判定されても、もちろんよい。全バンドの画像成分が高相関と判定されるときには、当該全バンドの画像成分を用いて、一次参照画像が生成される。
また、本実施形態において、撮像素子１４は５バンドのフィルタアレイを有しているが、例えば、図１０、１１にそれぞれ示すように、９バンドまたは１０バンドのフィルタアレイを有していてもよい。
また、本実施形態において、画像処理ユニット１２は、撮像装置１０に内臓される構成であるが、例えばパーソナルコンピュータなどにおいてソフトウェアとして構成される画像処理装置として具現化してもよい。
１０ 撮像装置
１１ 撮像部
１２ 画像処理ユニット
１３ 光学系
１４ 撮像素子
１５ 画像取得部
１６ 相関判定部
１７ 参照画像生成部
１８ 補間画像生成部
Ｃ１からＣ５ 第１のフィルタから第５のフィルタ
ｍｐ 欠落画素
ＯＩ 原画像
ＯＩ１からＯＩ５ 第１のバンドの画像成分から第５のバンドの画像成分
ｐ２からｐ５ 第２のバンドの画像成分から第５のバンドの画像成分が画素値を有する画素位置
ＲＩ’ 一次参照バンドの画像成分に、第２のバンドのマスク画像から第４のバンドのマスク画像を重ねた画像

Claims (20)

  1. 任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像を取得する画像取得部と、
    前記原画像における、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
    前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
    前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
    ことを特徴とする画像処理ユニット。
  2. 請求項１に記載の画像処理ユニットであって、
    前記参照画像生成部は、前記高相関であると判定された少なくとも１つのバンドの画像成分を用いて、前記一次参照バンドの画像成分における欠落画素の補間を行う
    ことを特徴とする画像処理ユニット。
  3. 請求項２に記載の画像処理ユニットであって、
    前記参照画像生成部は、前記高相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該バンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    ことを特徴とする画像処理ユニット。
  4. 請求項１から３のいずれか１項に記載の画像処理ユニットであって、
    前記参照画像生成部は、前記低相関に分別されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    ことを特徴とする画像処理ユニット。
  5. 請求項４に記載の画像処理ユニットであって、
    前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された複数のバンドの画像成分それぞれとの相関を用いて、前記一次参照バンドの画像成分における該画素位置の複数の補間値を算出し、該複数の補間値の重付け平均値を、前記一次参照バンドの画像成分における該画素位置の補間値として算出する
    ことを特徴とする画像処理ユニット。
  6. 請求項４に記載の画像処理ユニットであって、
    前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された単一のバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    ことを特徴とする画像処理ユニット。
  7. 請求項４に記載の画像処理ユニットであって、
    前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該画素位置以外の一次参照バンドの画像成分を構成する画素値および前記高相関であると判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    ことを特徴とする画像処理ユニット。
  8. 請求項１から７のいずれか１項に記載の画像処理ユニットであって、
    前記参照画像生成部は、方向別に前記一次参照バンドの画像成分の補間値を算出する
    ことを特徴とする画像処理ユニット。
  9. 請求項１から８のいずれか１項に記載の画像処理ユニットであって、
    前記相関判定部は、予め定められた相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
    ことを特徴とする画像処理ユニット。
  10. 請求項９に記載の画像処理ユニットであって、
    前記相関情報は、任意の複数の画像データの分析、および前記マルチバンドフィルタアレイの分光感度特性の一方に基づいて予め定められる
    ことを特徴とする画像処理ユニット。
  11. 請求項１から８のいずれか１項に記載の画像処理ユニットであって、
    前記相関判定部は、前記原画像に基づいて相関情報を生成し、該相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
    ことを特徴とする画像処理ユニット。
  12. 請求項１１に記載の画像処理ユニットであって、
    前記相関情報は、前記原画像に基づいて判定される撮像シーンである
    ことを特徴とする画像処理ユニット。
  13. 請求項１１に記載の画像処理ユニットであって、
    前記相関情報は、前記原画像を構成するバンドの画像成分間の画素値の総和、平均値、分散値、最大値、および中央値の差分、ならびに前記一次参照バンド以外のバンドの画像成分を構成する画素値に基づく前記一次参照バンドの画像成分の補間値と前記一次参照バンドの画像成分を構成する画素値との差分のいずれかから算出される
    ことを特徴とする画像処理ユニット。
  14. 請求項１１から１３のいずれか１項に記載の画像処理ユニットであって、
    前記相関判定部は、前記原画像を複数の領域に分割した部分領域毎に前記相関情報を生成し、前記部分領域毎に前記相関性が高相関及び低相関の何れであるかを判定する
    ことを特徴とする画像処理ユニット。
  15. 請求項１から１４のいずれか１項に記載の画像処理ユニットであって、
    前記補間画像生成部は、前記一次参照画像を用いて、前記高相関であると判定されたバンドの画像成分における欠落画素の補間を行う
    ことを特徴とする画像処理ユニット。
  16. 請求項１から１４のいずれか１項に記載の画像処理ユニットであって、
    前記補間画像生成部は、前記高相関であると判定された複数のバンドの画像成分の中で、他のバンドの画像成分よりも前記一次参照バンドの画像成分に対する相関性が低く且つ当該他のバンドの画像成分との相関性を有するバンドの画像成分における欠落画素の補間を、前記他のバンドの画像成分における欠落画素の補間を行った補間画像を二次参照画像として用いて行う
    ことを特徴とする画像処理ユニット。
  17. 請求項１から１６のいずれか１項に記載の画像処理ユニットであって、
    前記補間画像生成部は、前記低相関であると判定されたバンドの画像成分における欠落画素の補間を、該バンドの画像成分を用いて、行う
    ことを特徴とする画像処理ユニット。
  18. 任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子と、
    前記撮像素子が撮像した原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
    前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
    前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
    ことを特徴とする撮像装置。
  19. 任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
    前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
    前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部としてコンピュータを機能させる
    ことを特徴とする画像処理プログラム。
  20. 任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子に原画像を撮像させ、
    前記原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定し、
    相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成し、
    前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う
    ことを特徴とする画像処理方法。
JP2016554949A 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 Active JP6461184B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/005392 WO2016063316A1 (ja) 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2016063316A1 true JPWO2016063316A1 (ja) 2017-08-03
JP6461184B2 JP6461184B2 (ja) 2019-01-30

Family

ID=55760392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016554949A Active JP6461184B2 (ja) 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

Country Status (4)

Country Link
US (1) US10249020B2 (ja)
JP (1) JP6461184B2 (ja)
CN (1) CN106852190B (ja)
WO (1) WO2016063316A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080897A (ja) * 2004-09-09 2006-03-23 Fuji Photo Film Co Ltd 信号処理装置、信号処理方法及び信号処理プログラム
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置
JP2011041208A (ja) * 2009-08-18 2011-02-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
JP2014146872A (ja) * 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、撮像装置、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5991749B2 (ja) * 2011-09-26 2016-09-14 キヤノン株式会社 画像処理装置及び方法
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置
JP5771677B2 (ja) * 2013-12-24 2015-09-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080897A (ja) * 2004-09-09 2006-03-23 Fuji Photo Film Co Ltd 信号処理装置、信号処理方法及び信号処理プログラム
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置
JP2011041208A (ja) * 2009-08-18 2011-02-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
JP2014146872A (ja) * 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US10249020B2 (en) 2019-04-02
JP6461184B2 (ja) 2019-01-30
WO2016063316A1 (ja) 2016-04-28
US20170206631A1 (en) 2017-07-20
CN106852190A (zh) 2017-06-13
CN106852190B (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
EP3093819B1 (en) Imaging apparatus, imaging system, and signal processing method
JP5904281B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
CN110463197B (zh) 增强立体相机成像系统中的空间分辨率
JP6600936B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
JP4668185B2 (ja) 画像処理方法
US8482627B2 (en) Information processing apparatus and method
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
US20120327259A1 (en) Image processing device, image processing method, image capturing device, and program
KR101783229B1 (ko) 화상처리장치 및 그 제어 방법
US20180077360A1 (en) Image-processing device, imaging device, image-processing method, and storage medium
KR20190100792A (ko) 이미지 센싱 장치
US20160260199A1 (en) Image processing apparatus, image processing method, and storage medium
JP5718138B2 (ja) 画像信号処理装置及びプログラム
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP6461184B2 (ja) 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
US9530185B2 (en) Image processing apparatus, imaging apparatus, image processing method and storage medium
JP6415093B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR100810155B1 (ko) 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
KR101072877B1 (ko) 색 보간 방법 및 그 장치
JPWO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181225

R150 Certificate of patent or registration of utility model

Ref document number: 6461184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250