JP4657564B2 - 電子スチルカメラ及び画像処理方法 - Google Patents
電子スチルカメラ及び画像処理方法 Download PDFInfo
- Publication number
- JP4657564B2 JP4657564B2 JP2002128892A JP2002128892A JP4657564B2 JP 4657564 B2 JP4657564 B2 JP 4657564B2 JP 2002128892 A JP2002128892 A JP 2002128892A JP 2002128892 A JP2002128892 A JP 2002128892A JP 4657564 B2 JP4657564 B2 JP 4657564B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- frequency component
- pixels
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Description
【０００１】
【発明の属する技術分野】
本発明は電子スチルカメラ及び画像処理方法に関し、特に補間処理とサイズ変換（リサイズ）処理に関する。
【０００２】
【従来の技術】
電子スチルカメラ（デジタルカメラを含む）では、カラーフィルタアレイ（ＣＦＡ）とシングルＣＣＤアレイ（あるいはＣＭＯＳアレイ）が用いられている。ＣＦＡ及びシングルＣＣＤアレイの組み合わせにより、ＣＣＤアレイの各画素からＲ信号、Ｇ信号、あるいはＢ信号が出力され、これらの信号でカラー画像データが得られる。各画素からの信号は単色信号であるので、各画素における残りの色信号は他の画素から補間する必要がある。例えば、バイヤー（Ｂａｙｅｒ）型のＣＦＡを用いた場合、ある行ではＧ画素とＢ画素が交互に配列し、次の行ではＧ画素とＲ画素が交互に配列する。Ｒ画素には本来カラー画像データに必要なＧ値及びＢ値がない。そこで、Ｒ画素近傍のＧ画素あるいはＢ画素からＲ画素位置におけるＧ値及びＢ値を補間する必要がある。他の画素についても同様であり、Ｇ画素では残りのＲ値及びＢ値を補間する必要があり、Ｂ画素では残りのＲ値及びＧ値を補間する必要がある。さらに、ＣＣＤアレイの画素数より多い、あるいは少ないカラー画像を出力する場合、補間後の画像データをサイズ変換（解像度変換）する必要がある。一般的にサイズ変換には、直線補間（Bi-linear）あるいは曲線補間（Bi-cubic）が用いられる。
【０００３】
【発明が解決しようとする課題】
上記従来技術では、リサイズされた画像出力を得るために、ＣＦＡの補間とサイズ変換を別個に行う必要があり、処理が複雑となる。また、補間処理により推測された画素情報に基づき解像度変換、すなわち拡大あるいは縮小処理を行うことになり、特に拡大処理において画像のシャープさが失われてしまう問題がある。
【０００４】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、補間処理とサイズ変換処理（解像度変換処理）とを同時に行うことで処理を簡素化するとともに、画質の劣化を抑制することができる電子スチルカメラ及び画像処理方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、カラーフィルタアレイを備えたイメージセンサの画素数と異なる画素数の画像データを出力する電子スチルカメラであって、前記異なる画素数の画像データを構成する、前記イメージセンサの画素間の画素の位置Ｐにおいて、前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐにおける色信号の低域成分を算出する低域算出手段と、前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐを囲む複数の画素位置であって前記位置Ｐが対角線の交点に位置するような複数の画素位置における複数の輝度値を算出し、算出された複数の前記輝度値から前記位置Ｐにおける色信号の高域成分を算出する高域算出手段とを有し、算出された前記低域成分と前記高域成分から前記位置Ｐにおける色信号を算出することを特徴とする。
【０００６】
また、本発明は、カラーフィルタアレイを備えたイメージセンサの画素数と異なる画素数の画像データを得る画像処理方法であって、前記異なる画素数の画像データを構成する、前記イメージセンサの画素間の画素の位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐにおける色信号の低域成分を算出し、前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐを囲む複数の画素位置であって前記位置Ｐが対角線の交点に位置するような複数の画素位置における複数の輝度値を算出し、算出された複数の前記輝度値から前記位置Ｐにおける色信号の高域成分を算出し、算出された前記低域成分と前記高域成分から前記位置Ｐにおける色信号を算出することを特徴とする。
【００１２】
このように、本発明においては、補間処理とサイズ変換処理（解像度変換処理）を同時に実行することで、補間処理後にサイズ変換処理を行う場合の複雑化と画像劣化を抑制する。本発明における補間処理は、サイズ変換するために要求される画素位置における色信号を算出することで達成される。
【００１３】
【発明の実施の形態】
以下、図面に基づき本発明の実施形態について説明する。
【００１４】
図１には、本実施形態に係る電子スチルカメラ１の構成ブロック図が示されている。電子スチルカメラ１は、レンズ１０を含む光学系、ＣＣＤアレイやＣＭＯＳアレイなどのイメージセンサ１２、Ａ／Ｄ１４、プロセッサ１６、メモリ１８及びインターフェースＩ／Ｆ２０を含んで構成される。
【００１５】
イメージセンサ１２は、バイヤー（Ｂａｙｅｒ）型ＣＦＡを含み、各画素からＲ信号、Ｇ信号、Ｂ信号のいずれかを出力する。バイヤー型ＣＦＡにおいては、２次元アレイのある行においてはＧ画素とＢ画素が交互に配列し、次の行においてはＧ画素とＲ画素が交互に配列する。イメージセンサ１２の各画素から出力された色信号はＡ／Ｄ１４でデジタル信号に変換され、プロセッサ１６に供給される。
【００１６】
プロセッサ１６では、後述の補間処理及びサイズ変換処理を実行し、得られた画像データをメモリ１８に格納する。また、プロセッサ１６はメモリ１８に格納された画像データを読み出してインターフェースＩ／Ｆ２０を介して外部機器、例えばコンピュータシステムやプリンタに出力する。
【００１７】
従来の電子スチルカメラにおいては、イメージセンサ１２で得られた画像を拡大あるいは縮小する際に、プロセッサ１６は色信号を補間して得られた画像データに対し、指定されたサイズに応じた解像度となるように解像度変換処理を行ってメモリ１８に格納し、あるいはインターフェースＩ／Ｆ２０を介して出力する。しかしながら、本実施形態においてはプロセッサ１６は補間処理とサイズ変換処理とを同時に実行し、すなわち、補間処理する際に解像度も同時に変換し、（Ｒ、Ｇ、Ｂ）のセットを有し、かつ、所望のサイズの画像データを生成する。
【００１８】
図２には、図１におけるプロセッサ１６の機能ブロック図が示されている。プロセッサ１６は、ＣＦＡ補間部、色補正部及びＪＰＥＧ圧縮部を機能ブロックとして有する。ＣＦＡ補間部は、イメージセンサ１２から出力された各画素からのＲ信号、Ｇ信号、Ｂ信号から任意の画素位置における（Ｒ、Ｇ、Ｂ）のセットを生成する。任意の画素位置における色信号を生成することで、補間処理とサイズ変換処理（解像度変換処理）を同時に実行する。イメージセンサ１２の所定の画素アレイにおける画素位置に対し、任意の画素位置（所定の画素アレイの位置の中間位置も含む）にＲ値、Ｇ値、Ｂ値を生成することで補間処理と任意の解像度の画像データを生成する。例えば、解像度を２倍にする場合には、元のＣＦＡ画素アレイの中間位置に新たに（Ｒ、Ｇ、Ｂ）を生成して付加すればよい。補間及びサイズ変換処理が施された画像データは色補正部に供給され、ホワイトバランスなどの色補正が実行されてＪＰＥＧ圧縮部で圧縮される。
【００１９】
図３には、比較のため従来の電子スチルカメラ１におけるプロセッサ１６の機能ブロック図が示されている。既述したように、従来装置においてはＣＦＡ補間を行った後に拡大／縮小処理を実行しており、機能的には図示のごとく補間部と拡大／縮小部に分離される。図２及び図３を比較することで、本実施形態における処理の優位性は明らかであろう。
【００２０】
以下、本実施形態における補間処理及びサイズ変換処理の詳細について説明する。
【００２１】
まず、本実施形態においては、色信号を低周波成分と高周波成分に分離する。
すなわち、
【数１】
Ｒ＝Ｒlow＋Ｓhigh
Ｇ＝Ｇlow＋Ｓhigh
Ｂ＝Ｂlow＋Ｓhigh
である。そして、これらの信号成分のうち、低周波成分Ｒlow、Ｇlow、Ｂlowは補間すべき画素位置に隣接する複数画素からの色信号を直線補間して算出する。
【００２２】
一方、高周波成分Ｓhighは、さらにシャープネス成分Ｓsharpとノイズ抑制成分Ｓsmoothに分離される。すなわち、
【数２】
Ｓhigh＝ｋsharp×Ｓsharp−ｋsmooth×Ｓsmooth
である。ＳsharpやＳsmoothはイメージセンサ１２の色信号から算出された仮想輝度Ｙ信号に基づき算出される。また、ｋsharpとｋsmoothはＳsharpとＳsmoothの強さを制御するパラメータであり、これらは輝度値Ｙ信号の２次微分値Ｄｉｆｆから決定される。
【００２３】
【数３】
Ｄｉｆｆ＝｜Ｓsharp｜＋｜Ｓsmooth｜
ｋsharp＝（Ｄｉｆｆ／Ｔｈｒ）×Ｋ
ｋsmooth＝Ｋ−ｋsharp
図４には、ｋsharpとｋsmoothの関係が示されている。Ｋ、Ｔｈｒは所定の値に設定されるパラメータであり、Ｄｉｆｆがしきい値Ｔｈｒ以下の場合にはｋsharpとｋsmoothは相補的な関係にあり、微分値Ｄｉｆｆが増大するほど（画像が急峻に変化するほど）ｋsmoothが減少してｋsharpが増大する。Ｄｉｆｆがしきい値Ｔｈｒを越える場合にはｋsharpは最大値Ｋとなり、ｋsmoothはゼロとなる。
【００２４】
プロセッサ１６は、任意の画素位置において低周波成分と高周波成分を算出することで補間処理（解像度変換処理を伴う補間処理）を実行し、任意の画素位置において（Ｒ，Ｇ，Ｂ）のセットを算出する。
【００２５】
図５には、プロセッサ１６の全体処理フローチャートが示されている。まず、イメージセンサ１２の各画素から出力された色信号に基づき、所定の画素位置における輝度Ｙ値を算出する（Ｓ１０１）。具体的には、元のＣＦＡ画素位置の中間位置における輝度Ｙ値を隣接するＲ画素、Ｇ画素及びＢ画素の出力から算出する。次に、補間すべき画素位置におけるＲの低周波成分Ｒlowを算出し（Ｓ１０２）、さらに補間すべき画素位置におけるＢの低周波成分Ｂlowを算出する（Ｓ１０３）。Ｒlow及びＢlowの算出は、補間すべき画素位置を囲むように隣接するＲ画素及びＢ画素のＲ値及びＢ値を用いて行われる。補間すべき画素位置は、生成すべき画像のサイズに応じて決定される。
【００２６】
Ｒ及びＢの低周波成分Ｒlow、Ｂlowを算出した後、次にＧの低周波成分Ｇlowの算出に移行する。Ｇの低周波成分Ｇlowの算出は、まず仮想的なＧ画素を算出し、この仮想Ｇ画素を用いて行う（Ｓ１０４、Ｓ１０５）。仮想Ｇ画素を算出するのは、バイヤー型ＣＦＡにおいてＧ画素は直線上（対角線上）に配列するからである。
【００２７】
補間すべき画素位置におけるＲlow、Ｇlow、Ｂlowを算出した後、次に各色の高周波成分Ｓhighを算出し（Ｓ１０６）、低周波成分と高周波成分を加算して最終的に補間すべき画素位置における（Ｒ、Ｇ、Ｂ）値を算出する（Ｓ１０７）。
【００２８】
以下、各処理についてより詳細に説明する。
【００２９】
＜輝度値Ｙの算出（Ｓ１０１）＞
図６には、Ｓ１０１における輝度Ｙ値の算出処理が示されている。図中、ＲはＲ画素、ＧはＧ画素、ＢはＢ画素を意味する。バイヤー型ＣＦＡでは、ある行においてＧ００、Ｂ０１、Ｇ０２、Ｂ０３、Ｇ０４とＧ画素とＢ画素が交互に配列する。また、次の行ではＲ１０、Ｇ１１、Ｒ１２、Ｇ１３、Ｒ１４とＲ画素とＧ画素が交互に配列する。Ｇ画素は対角線上に一列に配列する。算出すべき輝度Ｙ値はＣＦＡ画素の中央位置である。図において、Ｇ１１、Ｒ１２、Ｂ２１、Ｇ２２の中央位置としてＹ００が示され、Ｒ１２、Ｇ１３、Ｇ２２、Ｂ２３の中央位置としてＹ０１が示され、Ｂ２１、Ｇ２２、Ｇ３１、Ｒ３２の中央位置としてＹ１０が示され、Ｇ２２、Ｂ２３、Ｒ３２、Ｇ３３の中央位置としてＹ１１が示されている。Ｙ００における輝度Ｙ値は、Ｇ１１、Ｇ２２、Ｒ１２、Ｂ２１、Ｒ１０、Ｂ０１、Ｒ３２、Ｂ２３、Ｒ３０、Ｂ０３の合計１０個の隣接画素から算出される。具体的には、Ｙ００は、
【数４】
Ｙ００＝ratioＧ×（Ｇ１１＋Ｇ２２）／２＋ratioＣ×｛９×(Ｒ１２＋Ｂ２１）＋３×（Ｒ１０＋Ｂ０１）＋３×（Ｒ３２＋Ｂ２３）＋（Ｒ３０＋Ｂ０３）｝／３２
により算出される。
【００３０】
なお、右辺第２項のＲ成分及びＢ成分は、以下のように算出される。すなわち、Ｙ００に位置するＲの値をＲＹ００とすると、
ＲＹ００＝３／４×（３／４×Ｒ１２＋１／４×Ｒ１０）＋１／４×（３／４×Ｒ３２＋１／４×Ｒ３０）＝（９×Ｒ１２＋３×Ｒ１０＋３×Ｒ３２＋１×Ｒ３０）／１６
である。同様に、Ｙ００に位置するＢの値をＢＹ００とすると、
ＢＹ００＝（９×Ｂ２１＋３×Ｂ２３＋３×Ｂ０１＋１×Ｂ０３）
であるから、Ｙ００＝ratioＧ×（Ｇ１１＋Ｇ２２）＋ｒａｔｉｏＣ×（ＲＹ００＋ＢＹ００）／２より上式が得られる。
【００３１】
ここで、ratioＧ及びratioＣは、それぞれＹ００位置におけるＧ信号の重み及びＲ信号、Ｂ信号の重みであり、輝度に対する色信号の既知の重みが用いられる。右辺第１項のＧ成分は隣接するＧ１１及びＧ２２の中間値であり、右辺第２項のＲ成分、Ｂ成分は直線補間（Bi-linear）から算出される。
【００３２】
同様にして、Ｙ０１、Ｙ１０、Ｙ１１は以下のように算出される。
【００３３】
【数５】
Ｙ０１＝ratioＧ×（Ｇ１３＋Ｇ２２）／２＋ratioＣ×｛９×（Ｒ１２＋Ｂ２３）＋３×（Ｒ１４＋Ｂ０３）＋３×（Ｒ３２＋Ｂ２１）＋（Ｒ３４＋Ｂ０１）｝／３２
【数６】
Ｙ１０＝ratioＧ×（Ｇ２２＋Ｇ３１）／２＋ratioＣ×｛９×（Ｒ３２＋Ｂ２１）＋３×（Ｒ１２＋Ｂ２３）＋３×（Ｒ３０＋Ｂ４１）＋（Ｒ１０＋Ｂ４３）｝／３２
【数７】
Ｙ１１＝ratioＧ×（Ｇ２２＋Ｇ３３）／２＋ratioＣ×｛９×（Ｒ３２＋Ｂ２３）＋３×（Ｒ１２＋Ｂ２１）＋３×（Ｒ３４＋Ｂ４３）＋（Ｒ１４＋Ｂ４１）｝／３２
以上により、ＣＦＡ画素の中央位置における輝度Ｙ値が算出される。この輝度Ｙ値は、任意の画素位置における高周波成分Ｓhighの算出に用いられる。より具体的には、高周波成分ＳhighのＳsharpとＳsmoothの算出に用いられる。
【００３４】
＜Ｒの低周波成分及びＢの低周波成分の算出（Ｓ１０２及びＳ１０３）＞
図７には、Ｓ１０２及びＳ１０３におけるＲlow、Ｂlowの算出処理が示されている。ここでは、位置Ｐにおける画素ＸのＲlow及びＢlowを算出するものとする。画素Ｘは、ＣＦＡ画素に対し、基準位置から水平方向にｈ、垂直方向にｖだけ離れた位置にあるものとする。画素ＸにおけるＲlowは画素Ｘに隣接する４つの同色画素であるＲ３２、Ｒ３４、Ｒ５２、Ｒ５４から算出される。
【００３５】
【数８】
Ｒlow＝[（２−ｖ）×｛（１＋ｈ）×Ｒ３４＋（１−ｈ）×Ｒ３２｝＋ｖ×｛（１＋ｈ）×Ｒ５４＋（１−ｈ）×Ｒ５２｝]／４
＝｛（２−ｖ）×（１＋ｈ）×Ｒ３４＋（２−ｖ）×（１−ｈ）×Ｒ３２＋ｖ×（１＋ｈ）×Ｒ５４＋ｖ×（１−ｈ）×Ｒ５２）｝／４
一方、Ｂlowは画素Ｘに隣接する同色画素であるＢ２３、Ｂ２５、Ｂ４３、Ｂ４５から算出される。
【００３６】
【数９】
Ｂlow＝[（１＋ｖ）×｛（２−ｈ）×Ｂ４３＋ｈ×Ｂ４５｝＋（１−ｖ）×｛（２−ｈ）×Ｂ２３＋ｈ×Ｂ２５｝]／４
＝｛（１＋ｖ）×（２−ｈ）×Ｂ４３＋（１＋ｖ）×ｈ×Ｂ４５＋（１−ｖ）×（２−ｈ）×Ｂ２３＋（１−ｖ）×ｈ×Ｂ２５｝／４
【００３７】
＜Ｇの低周波成分の算出（Ｓ１０４及びＳ１０５）＞
＜仮想的Ｇ画素の算出（Ｓ１０４）＞
図８には、Ｓ１０４おける仮想的Ｇ画素の算出処理が示されている。上述したように、位置Ｐにおける画素ＸのＧlowは、仮想Ｇ画素から算出される。仮想Ｇ画素Ｇ’は、図８に示されるようにＣＦＡ画素の中央位置にあり、４つの仮想Ｇ’画素で画素Ｘを囲む。Ｇ’１１はＧ２２、Ｒ２３、Ｒ３２、Ｇ３３の中央に位置し、Ｇ’１２はＲ２３、Ｇ２４、Ｇ３３、Ｒ３４の中央に位置し、Ｇ’２１はＲ３２、Ｇ３３、Ｇ４２、Ｂ４３の中央に位置し、Ｇ’２２はＧ３３、Ｒ３４、Ｂ４３、Ｇ４４の中央に位置する。これら仮想Ｇ画素は直線近似を用いて以下のように算出される。
【００３８】
【数１０】
Ｇ’１１＝（Ｇ２２＋Ｇ３３）／２
【数１１】
Ｇ’１２＝（Ｇ２４＋Ｇ３３）／２
【数１２】
Ｇ’２１＝（Ｇ３３＋Ｇ４２）／２
【数１３】
Ｇ’２２＝（Ｇ３３＋Ｇ４４）／２
【００３９】
＜仮想Ｇ画素を用いたＧlowの算出（Ｓ１０５）＞
以上のようにして仮想Ｇ画素Ｇ’を算出した後、この４つの仮想Ｇ画素Ｇ’を用いて画素ＸにおけるＧの低周波成分Ｇlowを算出する。すなわち、
【数１４】
Ｇlow＝｛（１／２−ｖ）×（１／２−ｈ）×Ｇ’１１＋（１／２−ｖ）×（１／２＋ｈ）×Ｇ’１２＋（１／２＋ｖ）×（１／２−ｈ）×Ｇ’２１＋（１／２＋ｖ）×（１／２＋ｈ）×Ｇ’２２｝／４
【００４０】
＜高周波成分Ｓhighの算出（Ｓ１０６）＞
図９には、Ｓ１０６における色信号の高周波成分Ｓhighの算出処理が示されている。画素ＸにおけるＳhighは、画素Ｘが対角線の交点に位置するような４個の画素位置における輝度Ｙの値に基づき算出される。図９には、このような画素がＹ’として示されており、Ｙ’００、Ｙ’０２、Ｙ’２１、Ｙ’２２の対角線の交点に画素Ｘが位置する。Ｙ’００、Ｙ’０２、Ｙ’２１、Ｙ’２２は、それぞれＳ１０１で算出された輝度値、すなわちＣＦＡ画素の中央における輝度値から算出される。具体的には、Ｙ’００は、Ｙ００、Ｙ０１、Ｙ１０、Ｙ１１に基づき算出され、Ｙ’０２はＹ０２、Ｙ０３、Ｙ１２、Ｙ１３に基づき算出され、Ｙ’２０はＹ２０、Ｙ２１、Ｙ３０、Ｙ３１に基づき算出され、Ｙ’２２はＹ２２、Ｙ２３、Ｙ３２、Ｙ３３に基づき算出される。
【００４１】
【数１５】
Ｙ’００＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ００＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ０１＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ１０＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ１１）｝／２
【数１６】
Ｙ’０２＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ０２＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ０３＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ１２＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ１３）｝／２
【数１７】
Ｙ’２０＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ２０＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ２１＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ３０＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ３１）｝／２
【数１８】
Ｙ’２２＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ２２＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ２３＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ３２＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ３３）｝／２
画素Ｘにおける高周波成分Ｓhighを構成するＳsharp及びＳsmoothは、画素Ｘにおける輝度Ｙｘ及びこれらの隣接輝度Ｙ’値に基づき、
【数１９】
Ｓsharp＝２×Ｙｘ−Ｙ’００−Ｙ’２２
【数２０】
Ｓsmooth＝２×Ｙｘ−Ｙ’０２−Ｙ’２０
で算出される。
【００４２】
ここで、画素Ｘにおける輝度Ｙｘは、画素Ｘを囲むように隣接するＹ１１、Ｙ１２、Ｙ２１、Ｙ２２に基づき、
【数２１】
Ｙｘ＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ１１＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ１２＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ２１＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ２２）｝／２
により算出される。
【００４３】
以上の処理により、位置Ｐにおける画素Ｘの低周波成分及び高周波成分が算出され、
【数２２】
Ｒｘ＝Ｒlow＋Ｓhigh
Ｇｘ＝Ｇlow＋Ｓhigh
Ｂｘ＝Ｂlow＋Ｓhigh
により画素ＸにおけるＲ、Ｇ、Ｂ値（Ｒｘ、Ｇｘ、Ｂｘ）が得られる。
【００４４】
以上、本実施形態の処理について説明したが、本実施形態では色信号の高周波成分Ｓhighを算出するためにＳsharp及びＳsmoothを算出しており、これらの値を用いてさらにエッジ強調も行うことが可能である。以下、エッジ強調について説明する。
【００４５】
＜エッジ強調＞
一般的なアンシャープマスキング法においては、エッジ強調された信号Ｓ’は以下の式で表される。
【００４６】
【数２３】
Ｓ’＝Ｓ＋ｗ×（Ｓ−Ｓ・ｆ）
ここで、Ｓは元信号であり、Ｓ・ｆはローパスフィルタｆ通過後の信号を意味し、ｗは重みを表している。すなわち、元の信号Ｓに、元の信号からローパスで円滑化された信号を除去して得られた信号を所定の重みで加算することによりエッジ強調された信号Ｓ’が得られる。本実施形態では、信号Ｓは低周波成分Ｓlowと高周波成分Ｓhighに分離され、高周波成分ＳhighはＳsharpとＳsmoothから構成されている。したがって、
【数２４】
である。ローパスフィルタｆをＳsmoothと仮定すると、ローパスフィルタ通過後の信号Ｓ’’は
【数２５】
Ｓ’’＝Ｓlow−Ｋ×Ｓsmooth
となる。したがって、エッジ強調された信号Ｓ’は、
【数２６】
となる。上式において、ｋsmooth＝Ｋ−ｋsharpの関係が用いられることに注意されたい。
【００４７】
Ｓsharp及びＳsmoothはＳhighの算出過程で得られている。したがって、これらを用いてエッジ強調信号Ｓ’も算出できることになり、本実施形態においては補間処理とサイズ変換処理を同時に行うとともに、さらにエッジ強調処理も併せて実行することが可能である。
【００４８】
【発明の効果】
以上説明したように、本発明によれば補間処理とサイズ変換処理を同時に行うことにより、処理を簡素化するとともにサイズ変換に伴う画像劣化を抑制することができる。
【図面の簡単な説明】
【図１】 実施形態に係る電子スチルカメラの構成ブロック図である。
【図２】 実施形態に係るプロセッサの機能ブロック図である。
【図３】 従来装置におけるプロセッサの機能ブロック図である。
【図４】 実施形態におけるｋsharpとｋsmoothの関係を示すグラフ図である。
【図５】 実施形態の全体処理フローチャートである。
【図６】 輝度Ｙ値の算出説明図である。
【図７】 実施形態におけるＲlow及びＢlowの算出説明図である。
【図８】 実施形態におけるＧlowの算出説明図である。
【図９】 実施形態におけるＳhighの算出説明図である。
【符号の説明】
１ 電子スチルカメラ、１０ レンズ、１２ イメージセンサ、１４ Ａ／Ｄ、１６ プロセッサ、１８ メモリ、２０ インターフェースＩ／Ｆ。
【発明の属する技術分野】
本発明は電子スチルカメラ及び画像処理方法に関し、特に補間処理とサイズ変換（リサイズ）処理に関する。
【０００２】
【従来の技術】
電子スチルカメラ（デジタルカメラを含む）では、カラーフィルタアレイ（ＣＦＡ）とシングルＣＣＤアレイ（あるいはＣＭＯＳアレイ）が用いられている。ＣＦＡ及びシングルＣＣＤアレイの組み合わせにより、ＣＣＤアレイの各画素からＲ信号、Ｇ信号、あるいはＢ信号が出力され、これらの信号でカラー画像データが得られる。各画素からの信号は単色信号であるので、各画素における残りの色信号は他の画素から補間する必要がある。例えば、バイヤー（Ｂａｙｅｒ）型のＣＦＡを用いた場合、ある行ではＧ画素とＢ画素が交互に配列し、次の行ではＧ画素とＲ画素が交互に配列する。Ｒ画素には本来カラー画像データに必要なＧ値及びＢ値がない。そこで、Ｒ画素近傍のＧ画素あるいはＢ画素からＲ画素位置におけるＧ値及びＢ値を補間する必要がある。他の画素についても同様であり、Ｇ画素では残りのＲ値及びＢ値を補間する必要があり、Ｂ画素では残りのＲ値及びＧ値を補間する必要がある。さらに、ＣＣＤアレイの画素数より多い、あるいは少ないカラー画像を出力する場合、補間後の画像データをサイズ変換（解像度変換）する必要がある。一般的にサイズ変換には、直線補間（Bi-linear）あるいは曲線補間（Bi-cubic）が用いられる。
【０００３】
【発明が解決しようとする課題】
上記従来技術では、リサイズされた画像出力を得るために、ＣＦＡの補間とサイズ変換を別個に行う必要があり、処理が複雑となる。また、補間処理により推測された画素情報に基づき解像度変換、すなわち拡大あるいは縮小処理を行うことになり、特に拡大処理において画像のシャープさが失われてしまう問題がある。
【０００４】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は、補間処理とサイズ変換処理（解像度変換処理）とを同時に行うことで処理を簡素化するとともに、画質の劣化を抑制することができる電子スチルカメラ及び画像処理方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、カラーフィルタアレイを備えたイメージセンサの画素数と異なる画素数の画像データを出力する電子スチルカメラであって、前記異なる画素数の画像データを構成する、前記イメージセンサの画素間の画素の位置Ｐにおいて、前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐにおける色信号の低域成分を算出する低域算出手段と、前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐを囲む複数の画素位置であって前記位置Ｐが対角線の交点に位置するような複数の画素位置における複数の輝度値を算出し、算出された複数の前記輝度値から前記位置Ｐにおける色信号の高域成分を算出する高域算出手段とを有し、算出された前記低域成分と前記高域成分から前記位置Ｐにおける色信号を算出することを特徴とする。
【０００６】
また、本発明は、カラーフィルタアレイを備えたイメージセンサの画素数と異なる画素数の画像データを得る画像処理方法であって、前記異なる画素数の画像データを構成する、前記イメージセンサの画素間の画素の位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐにおける色信号の低域成分を算出し、前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐを囲む複数の画素位置であって前記位置Ｐが対角線の交点に位置するような複数の画素位置における複数の輝度値を算出し、算出された複数の前記輝度値から前記位置Ｐにおける色信号の高域成分を算出し、算出された前記低域成分と前記高域成分から前記位置Ｐにおける色信号を算出することを特徴とする。
【００１２】
このように、本発明においては、補間処理とサイズ変換処理（解像度変換処理）を同時に実行することで、補間処理後にサイズ変換処理を行う場合の複雑化と画像劣化を抑制する。本発明における補間処理は、サイズ変換するために要求される画素位置における色信号を算出することで達成される。
【００１３】
【発明の実施の形態】
以下、図面に基づき本発明の実施形態について説明する。
【００１４】
図１には、本実施形態に係る電子スチルカメラ１の構成ブロック図が示されている。電子スチルカメラ１は、レンズ１０を含む光学系、ＣＣＤアレイやＣＭＯＳアレイなどのイメージセンサ１２、Ａ／Ｄ１４、プロセッサ１６、メモリ１８及びインターフェースＩ／Ｆ２０を含んで構成される。
【００１５】
イメージセンサ１２は、バイヤー（Ｂａｙｅｒ）型ＣＦＡを含み、各画素からＲ信号、Ｇ信号、Ｂ信号のいずれかを出力する。バイヤー型ＣＦＡにおいては、２次元アレイのある行においてはＧ画素とＢ画素が交互に配列し、次の行においてはＧ画素とＲ画素が交互に配列する。イメージセンサ１２の各画素から出力された色信号はＡ／Ｄ１４でデジタル信号に変換され、プロセッサ１６に供給される。
【００１６】
プロセッサ１６では、後述の補間処理及びサイズ変換処理を実行し、得られた画像データをメモリ１８に格納する。また、プロセッサ１６はメモリ１８に格納された画像データを読み出してインターフェースＩ／Ｆ２０を介して外部機器、例えばコンピュータシステムやプリンタに出力する。
【００１７】
従来の電子スチルカメラにおいては、イメージセンサ１２で得られた画像を拡大あるいは縮小する際に、プロセッサ１６は色信号を補間して得られた画像データに対し、指定されたサイズに応じた解像度となるように解像度変換処理を行ってメモリ１８に格納し、あるいはインターフェースＩ／Ｆ２０を介して出力する。しかしながら、本実施形態においてはプロセッサ１６は補間処理とサイズ変換処理とを同時に実行し、すなわち、補間処理する際に解像度も同時に変換し、（Ｒ、Ｇ、Ｂ）のセットを有し、かつ、所望のサイズの画像データを生成する。
【００１８】
図２には、図１におけるプロセッサ１６の機能ブロック図が示されている。プロセッサ１６は、ＣＦＡ補間部、色補正部及びＪＰＥＧ圧縮部を機能ブロックとして有する。ＣＦＡ補間部は、イメージセンサ１２から出力された各画素からのＲ信号、Ｇ信号、Ｂ信号から任意の画素位置における（Ｒ、Ｇ、Ｂ）のセットを生成する。任意の画素位置における色信号を生成することで、補間処理とサイズ変換処理（解像度変換処理）を同時に実行する。イメージセンサ１２の所定の画素アレイにおける画素位置に対し、任意の画素位置（所定の画素アレイの位置の中間位置も含む）にＲ値、Ｇ値、Ｂ値を生成することで補間処理と任意の解像度の画像データを生成する。例えば、解像度を２倍にする場合には、元のＣＦＡ画素アレイの中間位置に新たに（Ｒ、Ｇ、Ｂ）を生成して付加すればよい。補間及びサイズ変換処理が施された画像データは色補正部に供給され、ホワイトバランスなどの色補正が実行されてＪＰＥＧ圧縮部で圧縮される。
【００１９】
図３には、比較のため従来の電子スチルカメラ１におけるプロセッサ１６の機能ブロック図が示されている。既述したように、従来装置においてはＣＦＡ補間を行った後に拡大／縮小処理を実行しており、機能的には図示のごとく補間部と拡大／縮小部に分離される。図２及び図３を比較することで、本実施形態における処理の優位性は明らかであろう。
【００２０】
以下、本実施形態における補間処理及びサイズ変換処理の詳細について説明する。
【００２１】
まず、本実施形態においては、色信号を低周波成分と高周波成分に分離する。
すなわち、
【数１】
Ｒ＝Ｒlow＋Ｓhigh
Ｇ＝Ｇlow＋Ｓhigh
Ｂ＝Ｂlow＋Ｓhigh
である。そして、これらの信号成分のうち、低周波成分Ｒlow、Ｇlow、Ｂlowは補間すべき画素位置に隣接する複数画素からの色信号を直線補間して算出する。
【００２２】
一方、高周波成分Ｓhighは、さらにシャープネス成分Ｓsharpとノイズ抑制成分Ｓsmoothに分離される。すなわち、
【数２】
Ｓhigh＝ｋsharp×Ｓsharp−ｋsmooth×Ｓsmooth
である。ＳsharpやＳsmoothはイメージセンサ１２の色信号から算出された仮想輝度Ｙ信号に基づき算出される。また、ｋsharpとｋsmoothはＳsharpとＳsmoothの強さを制御するパラメータであり、これらは輝度値Ｙ信号の２次微分値Ｄｉｆｆから決定される。
【００２３】
【数３】
Ｄｉｆｆ＝｜Ｓsharp｜＋｜Ｓsmooth｜
ｋsharp＝（Ｄｉｆｆ／Ｔｈｒ）×Ｋ
ｋsmooth＝Ｋ−ｋsharp
図４には、ｋsharpとｋsmoothの関係が示されている。Ｋ、Ｔｈｒは所定の値に設定されるパラメータであり、Ｄｉｆｆがしきい値Ｔｈｒ以下の場合にはｋsharpとｋsmoothは相補的な関係にあり、微分値Ｄｉｆｆが増大するほど（画像が急峻に変化するほど）ｋsmoothが減少してｋsharpが増大する。Ｄｉｆｆがしきい値Ｔｈｒを越える場合にはｋsharpは最大値Ｋとなり、ｋsmoothはゼロとなる。
【００２４】
プロセッサ１６は、任意の画素位置において低周波成分と高周波成分を算出することで補間処理（解像度変換処理を伴う補間処理）を実行し、任意の画素位置において（Ｒ，Ｇ，Ｂ）のセットを算出する。
【００２５】
図５には、プロセッサ１６の全体処理フローチャートが示されている。まず、イメージセンサ１２の各画素から出力された色信号に基づき、所定の画素位置における輝度Ｙ値を算出する（Ｓ１０１）。具体的には、元のＣＦＡ画素位置の中間位置における輝度Ｙ値を隣接するＲ画素、Ｇ画素及びＢ画素の出力から算出する。次に、補間すべき画素位置におけるＲの低周波成分Ｒlowを算出し（Ｓ１０２）、さらに補間すべき画素位置におけるＢの低周波成分Ｂlowを算出する（Ｓ１０３）。Ｒlow及びＢlowの算出は、補間すべき画素位置を囲むように隣接するＲ画素及びＢ画素のＲ値及びＢ値を用いて行われる。補間すべき画素位置は、生成すべき画像のサイズに応じて決定される。
【００２６】
Ｒ及びＢの低周波成分Ｒlow、Ｂlowを算出した後、次にＧの低周波成分Ｇlowの算出に移行する。Ｇの低周波成分Ｇlowの算出は、まず仮想的なＧ画素を算出し、この仮想Ｇ画素を用いて行う（Ｓ１０４、Ｓ１０５）。仮想Ｇ画素を算出するのは、バイヤー型ＣＦＡにおいてＧ画素は直線上（対角線上）に配列するからである。
【００２７】
補間すべき画素位置におけるＲlow、Ｇlow、Ｂlowを算出した後、次に各色の高周波成分Ｓhighを算出し（Ｓ１０６）、低周波成分と高周波成分を加算して最終的に補間すべき画素位置における（Ｒ、Ｇ、Ｂ）値を算出する（Ｓ１０７）。
【００２８】
以下、各処理についてより詳細に説明する。
【００２９】
＜輝度値Ｙの算出（Ｓ１０１）＞
図６には、Ｓ１０１における輝度Ｙ値の算出処理が示されている。図中、ＲはＲ画素、ＧはＧ画素、ＢはＢ画素を意味する。バイヤー型ＣＦＡでは、ある行においてＧ００、Ｂ０１、Ｇ０２、Ｂ０３、Ｇ０４とＧ画素とＢ画素が交互に配列する。また、次の行ではＲ１０、Ｇ１１、Ｒ１２、Ｇ１３、Ｒ１４とＲ画素とＧ画素が交互に配列する。Ｇ画素は対角線上に一列に配列する。算出すべき輝度Ｙ値はＣＦＡ画素の中央位置である。図において、Ｇ１１、Ｒ１２、Ｂ２１、Ｇ２２の中央位置としてＹ００が示され、Ｒ１２、Ｇ１３、Ｇ２２、Ｂ２３の中央位置としてＹ０１が示され、Ｂ２１、Ｇ２２、Ｇ３１、Ｒ３２の中央位置としてＹ１０が示され、Ｇ２２、Ｂ２３、Ｒ３２、Ｇ３３の中央位置としてＹ１１が示されている。Ｙ００における輝度Ｙ値は、Ｇ１１、Ｇ２２、Ｒ１２、Ｂ２１、Ｒ１０、Ｂ０１、Ｒ３２、Ｂ２３、Ｒ３０、Ｂ０３の合計１０個の隣接画素から算出される。具体的には、Ｙ００は、
【数４】
Ｙ００＝ratioＧ×（Ｇ１１＋Ｇ２２）／２＋ratioＣ×｛９×(Ｒ１２＋Ｂ２１）＋３×（Ｒ１０＋Ｂ０１）＋３×（Ｒ３２＋Ｂ２３）＋（Ｒ３０＋Ｂ０３）｝／３２
により算出される。
【００３０】
なお、右辺第２項のＲ成分及びＢ成分は、以下のように算出される。すなわち、Ｙ００に位置するＲの値をＲＹ００とすると、
ＲＹ００＝３／４×（３／４×Ｒ１２＋１／４×Ｒ１０）＋１／４×（３／４×Ｒ３２＋１／４×Ｒ３０）＝（９×Ｒ１２＋３×Ｒ１０＋３×Ｒ３２＋１×Ｒ３０）／１６
である。同様に、Ｙ００に位置するＢの値をＢＹ００とすると、
ＢＹ００＝（９×Ｂ２１＋３×Ｂ２３＋３×Ｂ０１＋１×Ｂ０３）
であるから、Ｙ００＝ratioＧ×（Ｇ１１＋Ｇ２２）＋ｒａｔｉｏＣ×（ＲＹ００＋ＢＹ００）／２より上式が得られる。
【００３１】
ここで、ratioＧ及びratioＣは、それぞれＹ００位置におけるＧ信号の重み及びＲ信号、Ｂ信号の重みであり、輝度に対する色信号の既知の重みが用いられる。右辺第１項のＧ成分は隣接するＧ１１及びＧ２２の中間値であり、右辺第２項のＲ成分、Ｂ成分は直線補間（Bi-linear）から算出される。
【００３２】
同様にして、Ｙ０１、Ｙ１０、Ｙ１１は以下のように算出される。
【００３３】
【数５】
Ｙ０１＝ratioＧ×（Ｇ１３＋Ｇ２２）／２＋ratioＣ×｛９×（Ｒ１２＋Ｂ２３）＋３×（Ｒ１４＋Ｂ０３）＋３×（Ｒ３２＋Ｂ２１）＋（Ｒ３４＋Ｂ０１）｝／３２
【数６】
Ｙ１０＝ratioＧ×（Ｇ２２＋Ｇ３１）／２＋ratioＣ×｛９×（Ｒ３２＋Ｂ２１）＋３×（Ｒ１２＋Ｂ２３）＋３×（Ｒ３０＋Ｂ４１）＋（Ｒ１０＋Ｂ４３）｝／３２
【数７】
Ｙ１１＝ratioＧ×（Ｇ２２＋Ｇ３３）／２＋ratioＣ×｛９×（Ｒ３２＋Ｂ２３）＋３×（Ｒ１２＋Ｂ２１）＋３×（Ｒ３４＋Ｂ４３）＋（Ｒ１４＋Ｂ４１）｝／３２
以上により、ＣＦＡ画素の中央位置における輝度Ｙ値が算出される。この輝度Ｙ値は、任意の画素位置における高周波成分Ｓhighの算出に用いられる。より具体的には、高周波成分ＳhighのＳsharpとＳsmoothの算出に用いられる。
【００３４】
＜Ｒの低周波成分及びＢの低周波成分の算出（Ｓ１０２及びＳ１０３）＞
図７には、Ｓ１０２及びＳ１０３におけるＲlow、Ｂlowの算出処理が示されている。ここでは、位置Ｐにおける画素ＸのＲlow及びＢlowを算出するものとする。画素Ｘは、ＣＦＡ画素に対し、基準位置から水平方向にｈ、垂直方向にｖだけ離れた位置にあるものとする。画素ＸにおけるＲlowは画素Ｘに隣接する４つの同色画素であるＲ３２、Ｒ３４、Ｒ５２、Ｒ５４から算出される。
【００３５】
【数８】
Ｒlow＝[（２−ｖ）×｛（１＋ｈ）×Ｒ３４＋（１−ｈ）×Ｒ３２｝＋ｖ×｛（１＋ｈ）×Ｒ５４＋（１−ｈ）×Ｒ５２｝]／４
＝｛（２−ｖ）×（１＋ｈ）×Ｒ３４＋（２−ｖ）×（１−ｈ）×Ｒ３２＋ｖ×（１＋ｈ）×Ｒ５４＋ｖ×（１−ｈ）×Ｒ５２）｝／４
一方、Ｂlowは画素Ｘに隣接する同色画素であるＢ２３、Ｂ２５、Ｂ４３、Ｂ４５から算出される。
【００３６】
【数９】
Ｂlow＝[（１＋ｖ）×｛（２−ｈ）×Ｂ４３＋ｈ×Ｂ４５｝＋（１−ｖ）×｛（２−ｈ）×Ｂ２３＋ｈ×Ｂ２５｝]／４
＝｛（１＋ｖ）×（２−ｈ）×Ｂ４３＋（１＋ｖ）×ｈ×Ｂ４５＋（１−ｖ）×（２−ｈ）×Ｂ２３＋（１−ｖ）×ｈ×Ｂ２５｝／４
【００３７】
＜Ｇの低周波成分の算出（Ｓ１０４及びＳ１０５）＞
＜仮想的Ｇ画素の算出（Ｓ１０４）＞
図８には、Ｓ１０４おける仮想的Ｇ画素の算出処理が示されている。上述したように、位置Ｐにおける画素ＸのＧlowは、仮想Ｇ画素から算出される。仮想Ｇ画素Ｇ’は、図８に示されるようにＣＦＡ画素の中央位置にあり、４つの仮想Ｇ’画素で画素Ｘを囲む。Ｇ’１１はＧ２２、Ｒ２３、Ｒ３２、Ｇ３３の中央に位置し、Ｇ’１２はＲ２３、Ｇ２４、Ｇ３３、Ｒ３４の中央に位置し、Ｇ’２１はＲ３２、Ｇ３３、Ｇ４２、Ｂ４３の中央に位置し、Ｇ’２２はＧ３３、Ｒ３４、Ｂ４３、Ｇ４４の中央に位置する。これら仮想Ｇ画素は直線近似を用いて以下のように算出される。
【００３８】
【数１０】
Ｇ’１１＝（Ｇ２２＋Ｇ３３）／２
【数１１】
Ｇ’１２＝（Ｇ２４＋Ｇ３３）／２
【数１２】
Ｇ’２１＝（Ｇ３３＋Ｇ４２）／２
【数１３】
Ｇ’２２＝（Ｇ３３＋Ｇ４４）／２
【００３９】
＜仮想Ｇ画素を用いたＧlowの算出（Ｓ１０５）＞
以上のようにして仮想Ｇ画素Ｇ’を算出した後、この４つの仮想Ｇ画素Ｇ’を用いて画素ＸにおけるＧの低周波成分Ｇlowを算出する。すなわち、
【数１４】
Ｇlow＝｛（１／２−ｖ）×（１／２−ｈ）×Ｇ’１１＋（１／２−ｖ）×（１／２＋ｈ）×Ｇ’１２＋（１／２＋ｖ）×（１／２−ｈ）×Ｇ’２１＋（１／２＋ｖ）×（１／２＋ｈ）×Ｇ’２２｝／４
【００４０】
＜高周波成分Ｓhighの算出（Ｓ１０６）＞
図９には、Ｓ１０６における色信号の高周波成分Ｓhighの算出処理が示されている。画素ＸにおけるＳhighは、画素Ｘが対角線の交点に位置するような４個の画素位置における輝度Ｙの値に基づき算出される。図９には、このような画素がＹ’として示されており、Ｙ’００、Ｙ’０２、Ｙ’２１、Ｙ’２２の対角線の交点に画素Ｘが位置する。Ｙ’００、Ｙ’０２、Ｙ’２１、Ｙ’２２は、それぞれＳ１０１で算出された輝度値、すなわちＣＦＡ画素の中央における輝度値から算出される。具体的には、Ｙ’００は、Ｙ００、Ｙ０１、Ｙ１０、Ｙ１１に基づき算出され、Ｙ’０２はＹ０２、Ｙ０３、Ｙ１２、Ｙ１３に基づき算出され、Ｙ’２０はＹ２０、Ｙ２１、Ｙ３０、Ｙ３１に基づき算出され、Ｙ’２２はＹ２２、Ｙ２３、Ｙ３２、Ｙ３３に基づき算出される。
【００４１】
【数１５】
Ｙ’００＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ００＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ０１＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ１０＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ１１）｝／２
【数１６】
Ｙ’０２＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ０２＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ０３＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ１２＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ１３）｝／２
【数１７】
Ｙ’２０＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ２０＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ２１＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ３０＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ３１）｝／２
【数１８】
Ｙ’２２＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ２２＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ２３＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ３２＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ３３）｝／２
画素Ｘにおける高周波成分Ｓhighを構成するＳsharp及びＳsmoothは、画素Ｘにおける輝度Ｙｘ及びこれらの隣接輝度Ｙ’値に基づき、
【数１９】
Ｓsharp＝２×Ｙｘ−Ｙ’００−Ｙ’２２
【数２０】
Ｓsmooth＝２×Ｙｘ−Ｙ’０２−Ｙ’２０
で算出される。
【００４２】
ここで、画素Ｘにおける輝度Ｙｘは、画素Ｘを囲むように隣接するＹ１１、Ｙ１２、Ｙ２１、Ｙ２２に基づき、
【数２１】
Ｙｘ＝｛（１／２−ｖ）×（１／２−ｈ）×Ｙ１１＋（１／２−ｖ）×（１／２＋ｈ）×Ｙ１２＋（１／２＋ｖ）×（１／２−ｈ）×Ｙ２１＋（１／２＋ｖ）×（１／２＋ｈ）×Ｙ２２）｝／２
により算出される。
【００４３】
以上の処理により、位置Ｐにおける画素Ｘの低周波成分及び高周波成分が算出され、
【数２２】
Ｒｘ＝Ｒlow＋Ｓhigh
Ｇｘ＝Ｇlow＋Ｓhigh
Ｂｘ＝Ｂlow＋Ｓhigh
により画素ＸにおけるＲ、Ｇ、Ｂ値（Ｒｘ、Ｇｘ、Ｂｘ）が得られる。
【００４４】
以上、本実施形態の処理について説明したが、本実施形態では色信号の高周波成分Ｓhighを算出するためにＳsharp及びＳsmoothを算出しており、これらの値を用いてさらにエッジ強調も行うことが可能である。以下、エッジ強調について説明する。
【００４５】
＜エッジ強調＞
一般的なアンシャープマスキング法においては、エッジ強調された信号Ｓ’は以下の式で表される。
【００４６】
【数２３】
Ｓ’＝Ｓ＋ｗ×（Ｓ−Ｓ・ｆ）
ここで、Ｓは元信号であり、Ｓ・ｆはローパスフィルタｆ通過後の信号を意味し、ｗは重みを表している。すなわち、元の信号Ｓに、元の信号からローパスで円滑化された信号を除去して得られた信号を所定の重みで加算することによりエッジ強調された信号Ｓ’が得られる。本実施形態では、信号Ｓは低周波成分Ｓlowと高周波成分Ｓhighに分離され、高周波成分ＳhighはＳsharpとＳsmoothから構成されている。したがって、
【数２４】
【数２５】
Ｓ’’＝Ｓlow−Ｋ×Ｓsmooth
となる。したがって、エッジ強調された信号Ｓ’は、
【数２６】
【００４７】
Ｓsharp及びＳsmoothはＳhighの算出過程で得られている。したがって、これらを用いてエッジ強調信号Ｓ’も算出できることになり、本実施形態においては補間処理とサイズ変換処理を同時に行うとともに、さらにエッジ強調処理も併せて実行することが可能である。
【００４８】
【発明の効果】
以上説明したように、本発明によれば補間処理とサイズ変換処理を同時に行うことにより、処理を簡素化するとともにサイズ変換に伴う画像劣化を抑制することができる。
【図面の簡単な説明】
【図１】 実施形態に係る電子スチルカメラの構成ブロック図である。
【図２】 実施形態に係るプロセッサの機能ブロック図である。
【図３】 従来装置におけるプロセッサの機能ブロック図である。
【図４】 実施形態におけるｋsharpとｋsmoothの関係を示すグラフ図である。
【図５】 実施形態の全体処理フローチャートである。
【図６】 輝度Ｙ値の算出説明図である。
【図７】 実施形態におけるＲlow及びＢlowの算出説明図である。
【図８】 実施形態におけるＧlowの算出説明図である。
【図９】 実施形態におけるＳhighの算出説明図である。
【符号の説明】
１ 電子スチルカメラ、１０ レンズ、１２ イメージセンサ、１４ Ａ／Ｄ、１６ プロセッサ、１８ メモリ、２０ インターフェースＩ／Ｆ。
Claims (8)
- カラーフィルタアレイを備えたイメージセンサの画素数と異なる画素数の画像データを出力する電子スチルカメラであって、
前記異なる画素数の画像データを構成する、前記イメージセンサの画素間の画素の位置Ｐにおいて、
前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐにおける色信号の低域成分を算出する低域算出手段と、
前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐを囲む複数の画素位置であって前記位置Ｐが対角線の交点に位置するような複数の画素位置における複数の輝度値を算出し、算出された複数の前記輝度値から前記位置Ｐにおける色信号の高域成分を算出する高域算出手段と、
を有し、算出された前記低域成分と前記高域成分から前記位置Ｐにおける色信号を算出することを特徴とする電子スチルカメラ。 - 請求項１記載の電子スチルカメラにおいて、
前記カラーフィルタアレイはバイヤー（Ｂａｙｅｒ）フィルタアレイであることを特徴とする電子スチルカメラ。 - 請求項１記載の電子スチルカメラにおいて、
前記イメージセンサは、各画素毎にＲ信号、Ｇ信号あるいはＢ信号を出力することを特徴とする電子スチルカメラ。 - 請求項１記載の電子スチルカメラにおいて、さらに、
前記高域成分を用いて前記画像データのエッジ強調信号を生成する手段
を有することを特徴とする電子スチルカメラ。 - カラーフィルタアレイを備えたイメージセンサの画素数と異なる画素数の画像データを得る画像処理方法であって、
前記異なる画素数の画像データを構成する、前記イメージセンサの画素間の画素の位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐにおける色信号の低域成分を算出し、
前記位置Ｐに隣接する前記イメージセンサの複数の画素位置における複数の色信号から前記位置Ｐを囲む複数の画素位置であって前記位置Ｐが対角線の交点に位置するような複数の画素位置における複数の輝度値を算出し、算出された複数の前記輝度値から前記位置Ｐにおける色信号の高域成分を算出し、
算出された前記低域成分と前記高域成分から前記位置Ｐにおける色信号を算出する
ことを特徴とする画像処理方法。 - 請求項５記載の画像処理方法において、
前記カラーフィルタアレイはバイヤー（Ｂａｙｅｒ）フィルタアレイであることを特徴とする画像処理方法。 - 請求項５記載の画像処理方法において、
前記イメージセンサは、各画素毎にＲ信号、Ｇ信号あるいはＢ信号を出力することを特徴とする画像処理方法。 - 請求項５記載の画像処理方法において、さらに、
前記高域成分を用いて前記画像データをエッジ強調処理する
ことを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002128892A JP4657564B2 (ja) | 2002-04-30 | 2002-04-30 | 電子スチルカメラ及び画像処理方法 |
| US10/209,701 US7092020B2 (en) | 2002-04-30 | 2002-08-01 | Resizing images captured by an electronic still camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002128892A JP4657564B2 (ja) | 2002-04-30 | 2002-04-30 | 電子スチルカメラ及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003324750A JP2003324750A (ja) | 2003-11-14 |
| JP4657564B2 true JP4657564B2 (ja) | 2011-03-23 |
Family
ID=29243914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002128892A Expired - Fee Related JP4657564B2 (ja) | 2002-04-30 | 2002-04-30 | 電子スチルカメラ及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7092020B2 (ja) |
| JP (1) | JP4657564B2 (ja) |
Families Citing this family (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004112738A (ja) * | 2002-07-25 | 2004-04-08 | Fujitsu Ltd | 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 |
| US7391933B2 (en) * | 2003-10-30 | 2008-06-24 | Samsung Electronics Co., Ltd. | Method and apparatus for image interpolation based on adaptive polyphase filters |
| KR100580094B1 (ko) * | 2004-03-27 | 2006-05-16 | 주식회사 팬택앤큐리텔 | 디지털 카메라 기능을 가지는 휴대 단말기의 픽셀 어레이데이터 처리 장치 및 방법 |
| JP2006074258A (ja) * | 2004-08-31 | 2006-03-16 | Pentax Corp | トリミング撮像装置 |
| US7206136B2 (en) * | 2005-02-18 | 2007-04-17 | Eastman Kodak Company | Digital camera using multiple lenses and image sensors to provide an extended zoom range |
| US7256944B2 (en) * | 2005-02-18 | 2007-08-14 | Eastman Kodak Company | Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range |
| US7236306B2 (en) * | 2005-02-18 | 2007-06-26 | Eastman Kodak Company | Digital camera using an express zooming mode to provide expedited operation over an extended zoom range |
| US7561191B2 (en) | 2005-02-18 | 2009-07-14 | Eastman Kodak Company | Camera phone using multiple lenses and image sensors to provide an extended zoom range |
| US20060187322A1 (en) * | 2005-02-18 | 2006-08-24 | Janson Wilbert F Jr | Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range |
| DE102005058415A1 (de) * | 2005-12-07 | 2007-06-14 | Olympus Soft Imaging Solutions Gmbh | Verfahren zur Farbkorrekturberechnung |
| JP4241840B2 (ja) * | 2006-02-23 | 2009-03-18 | 富士フイルム株式会社 | 撮像装置 |
| US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
| JP4802944B2 (ja) * | 2006-08-31 | 2011-10-26 | 大日本印刷株式会社 | 補間演算装置 |
| JP5222625B2 (ja) * | 2007-06-01 | 2013-06-26 | 富士フイルム株式会社 | 撮像装置 |
| US20090046182A1 (en) * | 2007-08-14 | 2009-02-19 | Adams Jr James E | Pixel aspect ratio correction using panchromatic pixels |
| TWI399703B (zh) * | 2009-12-02 | 2013-06-21 | Micro Star Int Co Ltd | 往返縮放之影像放大方法 |
| US8482636B2 (en) * | 2010-05-05 | 2013-07-09 | DigitalOptics Corporation Europe Limited | Digital zoom on bayer |
| JP5739365B2 (ja) * | 2012-02-29 | 2015-06-24 | 日立マクセル株式会社 | 撮像装置 |
| JP5846986B2 (ja) * | 2012-03-28 | 2016-01-20 | 日立マクセル株式会社 | 撮像装置 |
| JP5767602B2 (ja) * | 2012-04-27 | 2015-08-19 | 日立マクセル株式会社 | 撮像装置 |
| CN116405747A (zh) | 2012-11-28 | 2023-07-07 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
| CN104871206A (zh) * | 2012-12-19 | 2015-08-26 | 马维尔国际贸易有限公司 | 用于数字图像的自适应缩放的系统和方法 |
| CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
| EP3779564B1 (en) | 2013-07-04 | 2024-04-10 | Corephotonics Ltd. | Miniature telephoto lens assembly |
| WO2015015383A2 (en) | 2013-08-01 | 2015-02-05 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
| US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| CN112327463B (zh) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
| EP3492958B1 (en) | 2015-04-02 | 2022-03-30 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
| CN112305833A (zh) | 2015-04-16 | 2021-02-02 | 核心光电有限公司 | 紧凑型折叠式相机中的自动对焦和光学图像稳定 |
| EP3722860B1 (en) | 2015-05-28 | 2023-04-19 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera |
| US10230898B2 (en) | 2015-08-13 | 2019-03-12 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
| US10070060B2 (en) | 2015-09-06 | 2018-09-04 | Corephotonics Ltd | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
| FR3044449B1 (fr) * | 2015-12-01 | 2017-11-24 | E2V Semiconductors | Procede de traitement de signaux issus d'une matrice de prise d'images en couleur, et capteur correspondant |
| KR102291525B1 (ko) | 2015-12-29 | 2021-08-19 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
| WO2017208090A1 (en) | 2016-05-30 | 2017-12-07 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
| CN107925728B (zh) | 2016-06-19 | 2020-12-08 | 核心光电有限公司 | 双孔径摄影机系统中的帧同步 |
| WO2018007951A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
| EP4224233A1 (en) | 2016-07-07 | 2023-08-09 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
| CN114051092A (zh) | 2016-12-28 | 2022-02-15 | 核心光电有限公司 | 具有延伸光折叠元件扫描范围的致动器及含其的折叠相机 |
| EP3789810B1 (en) | 2017-01-12 | 2022-09-28 | Corephotonics Ltd. | Compact folded camera |
| EP3579040B1 (en) | 2017-02-23 | 2021-06-23 | Corephotonics Ltd. | Folded camera lens designs |
| CN114137791A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的照相装置及移动装置 |
| WO2019048904A1 (en) | 2017-09-06 | 2019-03-14 | Corephotonics Ltd. | STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA |
| US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
| KR102104761B1 (ko) | 2017-11-23 | 2020-04-27 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
| EP3848749A1 (en) | 2018-02-05 | 2021-07-14 | Corephotonics Ltd. | Reduced height penalty for folded camera |
| CN111448793B (zh) | 2018-02-12 | 2021-08-31 | 核心光电有限公司 | 具有光学图像稳定化的折叠摄像机 |
| US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
| EP3822588B1 (en) | 2018-04-23 | 2022-09-07 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
| CN111316346B (zh) | 2018-08-04 | 2022-11-29 | 核心光电有限公司 | 摄像机上方的可切换连续显示信息系统 |
| US11635596B2 (en) | 2018-08-22 | 2023-04-25 | Corephotonics Ltd. | Two-state zoom folded camera |
| KR102242437B1 (ko) | 2019-01-07 | 2021-04-20 | 코어포토닉스 리미티드 | 슬라이딩 조인트를 갖는 회전 메커니즘 |
| EP4224841A1 (en) | 2019-03-09 | 2023-08-09 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
| KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
| US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
| US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
| KR20220003550A (ko) | 2020-04-26 | 2022-01-10 | 코어포토닉스 리미티드 | 홀 바 센서 보정을 위한 온도 제어 |
| CN117372248A (zh) | 2020-05-17 | 2024-01-09 | 核心光电有限公司 | 全视场参考图像的图像拼接 |
| WO2021245488A1 (en) | 2020-05-30 | 2021-12-09 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
| US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
| EP4045960A4 (en) | 2020-07-15 | 2022-12-14 | Corephotonics Ltd. | CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA |
| WO2022023914A1 (en) | 2020-07-31 | 2022-02-03 | Corephotonics Ltd. | Hall sensor - magnet geometry for large stroke linear position sensing |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5335295A (en) * | 1991-05-08 | 1994-08-02 | International Business Machines Corporation | System and method for scaling a digital image |
| US5418565A (en) * | 1994-02-15 | 1995-05-23 | Eastman Kodak Company | CFA compatible resolution reduction in a single sensor electronic camera |
| JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| JP3298545B2 (ja) * | 1999-03-29 | 2002-07-02 | ミノルタ株式会社 | デジタルカメラ及び画像処理方法並びに記憶媒体 |
| JP4162111B2 (ja) * | 1999-07-27 | 2008-10-08 | 富士フイルム株式会社 | 画像処理方法および装置並びに記録媒体 |
| JP3548504B2 (ja) * | 2000-06-26 | 2004-07-28 | キヤノン株式会社 | 信号処理装置、信号処理方法、及び撮像装置 |
| US7006686B2 (en) * | 2001-07-18 | 2006-02-28 | Hewlett-Packard Development Company, L.P. | Image mosaic data reconstruction |
-
2002
- 2002-04-30 JP JP2002128892A patent/JP4657564B2/ja not_active Expired - Fee Related
- 2002-08-01 US US10/209,701 patent/US7092020B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003324750A (ja) | 2003-11-14 |
| US7092020B2 (en) | 2006-08-15 |
| US20030202113A1 (en) | 2003-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4657564B2 (ja) | 電子スチルカメラ及び画像処理方法 | |
| JP5128207B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP5260635B2 (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
| JP4664810B2 (ja) | カラーフィルタアレイのイメージデータを補間する方法及び装置 | |
| JP5235642B2 (ja) | 画像処理装置およびその方法 | |
| KR100780932B1 (ko) | 컬러 보간 방법 및 장치 | |
| US8238685B2 (en) | Image noise reduction method and image processing apparatus using the same | |
| JP3670754B2 (ja) | 信号処理装置 | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20150036917A1 (en) | Stereo image processing device and stereo image processing method | |
| JP2002077645A (ja) | 画像処理装置 | |
| US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
| CN107623844B (zh) | 中间位置处的像素的颜色值的确定 | |
| JP4317619B2 (ja) | 画像処理装置 | |
| JP4321064B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP2013055623A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
| JP2010103736A (ja) | 画像拡大方法 | |
| WO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| JP2009100150A (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
| US9007494B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
| JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| JPWO2015083502A1 (ja) | 画像処理装置、該方法および該プログラム | |
| JP2020057242A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040325 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040325 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20051111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060912 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080415 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4657564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |