JP5640371B2 - カメラシステム及び画像処理方法 - Google Patents
カメラシステム及び画像処理方法 Download PDFInfo
- Publication number
- JP5640371B2 JP5640371B2 JP2009288096A JP2009288096A JP5640371B2 JP 5640371 B2 JP5640371 B2 JP 5640371B2 JP 2009288096 A JP2009288096 A JP 2009288096A JP 2009288096 A JP2009288096 A JP 2009288096A JP 5640371 B2 JP5640371 B2 JP 5640371B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subband
- unit
- pixels
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Studio Devices (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Image Signal Generators (AREA)
Description
なお、8Kは、例えば8192サンプル×4320ライン等の高い解像度の仕様の例である。4Kは、例えば4096サンプル×2160ライン等の、8Kより低い解像度の仕様の例である。また、2Kは、例えば2048サンプル×1080ライン等の、4Kより低い解像度の仕様の例である。
特に、ウェーブレット変換は画面全体をサブバンド分割することで、非常に高い圧縮効率を実現できるが、従来の方式では別画面に分離するので、ウェーブレット変換が本来有する高い圧縮効率を発揮していなかった。
したがって、撮像素子の画素配列ごとに異なる圧縮方式を用いなければならず、ハードウェアを共通化することができなかった。
そして、カメラ部は、サブバンド画像を所定の画像信号に変換し、伝送線を介してサブバンド画像を出力する
一方、本発明に係るカメラコントロール部は、伝送線を介して入力する画像信号をサブバンド画像に変換する。
そして、カメラコントロール部は、サブバンド画像の隣り合う上下2ラインの画素を単位として、サブバンド分割に対する水平方向の逆変換のみを行い、または隣り合う左右2列の画素を単位として、サブバンド分割に対する垂直方向の逆変換のみを行って、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像をベイヤ配列の撮像素子から出力される画像データに合成する。
また、サブバンド画像の隣り合う上下2ラインの画素または隣り合う左右2列の画素を単位として、サブバンド分割に対する逆変換を行って、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像を画像データに合成することができる。
1.第1の実施の形態(圧縮符号化、又は復号化の制御:ウェーブレット変換を用いる例)
2.第2の実施の形態(圧縮符号化、又は復号化の制御:ハール変換を用いる例)
3.変形例
[ウェーブレット変換を用いて画像を圧縮符号化し、ウェーブレット逆変換を用いてサブバンド画像を復号化する例]
以下の実施の形態では、RGBフル画素を有さない、ベイヤ配列の撮像素子や倍密度のベイヤ配列の撮像素子、斜め方向に画素配列された撮像素子を3枚用いた撮像システムから得られるいずれのRAWデータにおいても、R/G/B 3コンポーネント毎に効率よく圧縮符号化し、サブバンド画像に分解して、このサブバンド画像を出力するカメラ部10と、カメラ部10から伝送用複合カメラケーブル113を介して受け取ったサブバンド画像を伸張するCCU部20と、を備えるカメラシステムに適用した例について説明する。以下、RGB画素の要素を含んだ3本のコンポーネント信号のことを、「R/G/B 3コンポーネント」と略称する。
つまり、ウェーブレット変換による簡易的な、いわゆる色分離(De−ベイヤ)処理が行われることになり、カメラ部10が備える不図示のモニターに表示できるようになる。これは、ウェーブレット変換を用いると、解像度の異なる画像を同一の画像データから得られるためである。そして、ベイヤなどの色分離が必要な撮像素子から得られたRAWデータにおいてもウェーブレット変換を施すことで、モニター等に容易に表示できることになる。
カメラ部10は、本発明に係る画像圧縮を行うことができる撮像装置の一例である。
レンズブロック101は、絞りやズームの制御を行い、光学映像を撮像素子部102に結像するものである。
<RGB フル画素方式>
・光学プリズムを用いてRGBに分光するRGB3板方式
・センサーの奥行き方向に光の波長感度を有するような構造の単板方式
・液晶TVのように1画素をRGB3ストライプに塗り分けた単板方式
<倍密度ベイヤ配列>
通常のベイヤ配列を、画素密度を2倍にするとともに斜め45°に配列することで、Gはフル画素、R画素とB画素は斜め方向に空かされた配置の画素配列(図中の太枠は通常のベイヤ配列における画素)となる。
<斜め配列3板方式>
・1枚の撮像素子としては、斜め45度に画素が配置されており、隣り合う水平または垂直2画素間、あるいは4画素間で、画素補間を行って図中の太枠(通常のベイヤ配列における画素)のうち点線の丸印で示した画素を補間することを前提とした画素配列である。
・この撮像素子を3枚用い光学プリズムと組み合わせて撮像するシステム
・または、上記の画素配列で、センサーの奥行き方向に光の波長感度を有するような構造の単板方式
<ベイヤ配列>
・いわゆる通常のベイヤ配列
水平方向・垂直方向ともに低域成分である2K帯域のサブバンド画像は、D105−LLとして出力される。
水平方向は高域成分、垂直方向は低域成分である2K帯域のサブバンド画像は、D105−HLとして出力される。
水平方向は低域成分、垂直方向は高域成分である2K帯域のサブバンド画像は、D105−LHとして出力される。
水平方向・垂直方向ともに高域成分である2K帯域のサブバンド画像は、D105−HHとして出力される。
システムコントロール部111は、制御ソフトウェアプログラムをもち、そのプログラムに従ってカメラ部10全体を制御する。また操作部112からの入力に応じて、各ブロックとデータバスを繋ぎ、データをやりとりし、撮影のための設定や状態を制御するものである。
操作部112は、カメラ部10に対する操作を受け付け、電気信号としてシステムコントロール部111に伝達するものである。
CCU部20は、カメラ部10から圧縮伝送されたRAWイメージデータを伸張した後にカメラ信号処理を高精度に行い、モニターアウト部204に撮像4K画像(D203)を出力する。また、CCU部20は、カメラ部10が撮影した以外の画像を外部入力部210から入力された外部4K画像(D210)を、リターン2K画像(D209)としてカメラ部10に送ったり、制御信号をカメラ部10に送ったりすることによって、カメラ部10の設定を行う。
伸張処理部206は、カメラ部10から伝送された各サブバンド画像圧縮データを伸張し、2K帯域のサブバンド画像(D105−LL/HL/LH/HH)として出力する伸張復号化として機能する。このとき、伸張処理部206は、圧縮符号化されたサブバンド画像を伸張復号化する処理を、圧縮I/F部105によって分割される帯域ごと及び3原色の色ごとに並列して行う。
また、モニターアウト部204は、外部の4Kモニターなどに4K画像の映像信号を出力するものである。
操作部212は、カメラシステムに対する操作を受け付け、電気信号としてシステムコントロール部111に伝達するものである。
ウェーブレット変換部32は2K帯域のサブバンド画像D105−LLに対して、ウェーブレット変換を施してウェーブレット変換係数D32−LLを出力する。
図5は、サブバンド画像の例を示している。このウェーブレット変換では、通常図5に示すように低域成分が繰り返し変換され、分割されるが、これは画像のエネルギーの多くが低域成分に集中しているためである。このことは、図6Aに示す分割レベル=1から図6Bに示す分割レベル=3のように、分割レベルを進めていくに従って、サブバンド画像が形成されていくことからも分かる。
q=W/Δ ・・・・・・・(式1)
量子化係数D33−LLは、次にエントロピー符号化部35に出力され、エントロピー符号化部35において任意の情報源圧縮手段を用いて、量子化係数D33−LLを圧縮する動作を行う。エントロピー符号化手段としては、一般に使われているハフマン符号化(MPEGやJPEGで採用されているもので、予めデータに出現する記号の出現頻度に合わせて作成したハフマン符号化テーブルを参照して、符号を生成する方式)や、算術符号化(H.264やJPEG2000で採用されている方式)を利用すればよい。またその際、ここではその詳細については述べないものの、JPEG2000と同じく、量子化係数を、ビットプレーン単位のエントロピー符号化であるEBCOT(Embedded Block Coding with Optimal Truncation)と組み合わせてもよい。
逆に、符号化コードストリームD35−LLの1フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部33の量子化ステップサイズD37−LLを1段階小さくするように変更する。
図4の例では、LL成分以外の2K帯域のサブバンド画像D105−HL、D105−LH、D105−HHについては、量子化とエントロピー符号化のみを行い、ウェーブレットの分割レベルは上げないものとしている。
制御部36は、それぞれの2K帯域のサブバンド画像に対する目標符号量を、それぞれ対応する符号量計測部37にあらかじめ設定するように説明した。しかし、たとえば、各符号量計測部37から、符号量積算状況の情報を制御部36に送り、それぞれの符号量積算状況に応じて、各サブバンド毎の目標符号量を動的に融通しあって変更してもよい。自然画像では、低域成分を多く含む画像であったり、逆に高域成分を多く含む画像であったりするので、画像の性質に応じた最適な符号量制御が可能である。
以上が、圧縮符号化時の動作説明である。
符号化コードストリームD106−LL、D106−HL、D106−LH、D106−HHが入力されるエントロピー復号化部38では、図4で述べたエントロピー符号化に対応した手段に従って復号化を行う。エントロピー復号化の結果、量子化係数D38−LL、D38−HL、D38−LH、D38−HHが生成される。
W=q×Δ ・・・・・・・(式2)
(Wはウェーブレット変換係数、qは量子化係数、Δは量子化ステップサイズ)
符号化時に、LL成分以外の2K帯域のサブバンド画像D105−HL、D105−LH、D105−HHについても、ウェーブレット再分割を行った場合には、それぞれのサブバンド毎にウェーブレット逆変換部40を設けて、それぞれの2K帯域のサブバンド画像に戻せばよいことは明らかである。
以上が、圧縮復号化時の動作説明である。
4K画素があるものの、通常のベイヤ配列ではこれを図示したようにRGBに塗り分けて、RGBのカラーフィルタに対応した光の波長成分のみがそれぞれの画素において、光から電気信号に変換される。通常のベイヤ配列では、Gが市松(チェッカーフラッグ)模様に配置されている。
特許文献2に記載された技術では、上述した4KベイヤRAW画像を、R画素、G1画素、G2画素、B画素と4つの色成分のコンポーネントとして捉えている。
特許文献2に記載された技術では、図8Bに示した4つの色成分のコンポーネントに含まれる画素を集めて2KのR画像、2KのG1画像、2KのG2画像、2KのB画像とし、それぞれウェーブレット変換を用いた圧縮符号化を行って記録している。
図9Aは、通常のベイヤ配列を、画素密度を2倍にするととともに斜め45度にして画素を配列したものである。
この配列の特徴は、G画像は4Kフル画素、R画像とB画像は斜めに空かされているが、水平方向・垂直方向には4K解像度が得られる点にある。画素密度は、通常のベイヤの2倍となるため、以下の説明では、「倍密度ベイヤ配列」と呼ぶことにする。
また、ベイヤ配列のG画像で述べたように、サブサンプリングされたR画像とB画像をそのまま2Kのモニターに表示すると折り返しが発生する懸念もある。
圧縮I/F部105は、ウェーブレット変換を用いた際に、その効果を最大限に発揮できる。したがって、圧縮処理部106のウェーブレット変換部32と基本構成は同じであるが、図10を用いて、圧縮I/F部105の処理をあらためて説明する。
まず、入力画像に対して水平方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ(LPF)と高域フィルタ(HPF)によって構成され、それぞれ、2:1のダウンサンプリング(図では下向きの矢印及び数字の2で表している)が行われる。この結果、水平方向が半分のサイズとなった2048×2160の低域サブバンド画像(L)と高域サブバンド画像(H)となる。
・水平方向・垂直方向ともに低域フィルタを通した2048×1080サイズのサブバンド画像(L,L)D105−LLがR/G/Bそれぞれの3コンポーネント
・水平方向は低域フィルタ、垂直方向は高域フィルタを通した2048×1080サイズのサブバンド画像(L,H)D105−LHがR/G/Bそれぞれの3コンポーネント
・水平方向は高域フィルタ、垂直方向は低域フィルタを通した2048×1080サイズのサブバンド画像(H,L)D105−HLがR/G/Bそれぞれの3コンポーネント
・水平方向・垂直方向ともに高域フィルタを通した2048×1080サイズのサブバンド画像(H,H)D105−HHがR/G/Bそれぞれの3コンポーネント
このように、4種類の2048×1080サイズのサブバンド画像がR/G/Bそれぞれ3コンポーネント分の計12の2048×1080サイズのサブバンド画像に変換される。
伸張I/F部205の入力画像として、カメラ部10から伝送され、伸張処理部206によって伸張処理された2048×1080サイズのサブバンド画像(D105−LL/HL/LH/HH)がそれぞれR/G/B 3コンポーネント分入力される。
このとき、撮像素子部102は、ベイヤ配列の画素密度を2倍にするとともに斜め45°に配列した画素配列である倍密度のベイヤ配列である。
水平方向・垂直方向ともに低域フィルタを通した2048×1080サイズのサブバンドG画像(LL)。
水平方向は低域フィルタ、垂直方向は高域フィルタを通した2048×1080サイズのサブバンドG画像(LH)。
水平方向は高域フィルタ、垂直方向は低域フィルタを通した2048×1080サイズのサブバンドG画像(HL)。
水平方向・垂直方向ともに高域フィルタを通した2048×1080サイズのサブバンドG画像(HH)。
このように、4K倍密度ベイヤRAW画像を構成するG画像は、4種類の2048×1080サイズのサブバンドG画像に変換される。
そこで、本例の圧縮I/F部105は、R画像とB画像に対して、隣接する上下2ライン単位でウェーブレット変換を行う。
具体的には、圧縮I/F部105は、図12Bに示すように、R画像は隣り合う上下2ライン単位にW型に画素を走査し、あたかも1ラインの画素データであるかのようにウェーブレット変換を行う。
また、圧縮I/F部105は、B画素は隣り合う上下2ライン単位にM型に画素を走査し、あたかも1ラインの画素データであるかのようにウェーブレット変換を行う。
この4096×1080のR画像を水平方向にウェーブレット変換し、
低域フィルタを通した2048×1080サイズのサブバンドR画像、
高域フィルタを通した2048×1080サイズのサブバンドR画像、
に変換する。
B画像についても同様に
この4096×1080のB画像を水平方向にウェーブレット変換し、
低域フィルタを通した2048×1080サイズのサブバンドB画像、
高域フィルタを通した2048×1080サイズのサブバンドB画像、
に変換する。
これは、2048×1080サイズのサブバンド画像が、RGBで揃ったことを意味しており、2048×1080のRGBフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮I/F部105からの出力であるサブバンド画像は、4Kフル画素方式も、4K倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部106以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
・低域フィルタを通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(LL)
・高域フィルタを通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(HL)
・低域フィルタを通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(LL)
・高域フィルタを通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(HL)
また、圧縮I/F部105は、R画素はW型、B画素はM型に画素を走査するとして説明したが、R画素とB画素の起点画素位置が異なれば、W型とM型は逆になることは明らかである。
具体的には、図13Bに示すように、R画素とB画素については、水平方向にはウェーブレット変換せずに、そのまま垂直方向のウェーブレット変換に送る。このとき、圧縮I/F部105は、図13Cに示すように、R画素について、隣接する左右2画素単位に左向きのW型に画素を走査し、あたかも1列に並んだ画素データであるかのようにウェーブレット変換を行う。
また、圧縮I/F部105は、B画素について隣接する左右2画素単位に右向きのW型に画素を走査し、あたかも1列に並んだ画素データであるかのようにウェーブレット変換を行う。
この2048×2160のR画像を垂直方向にウェーブレット変換する。このとき、圧縮I/F部105は、
低域フィルタを通した2048×1080サイズのサブバンドR画像、
高域フィルタを通した2048×1080サイズのサブバンドR画像、
に変換する。
B画像についても同様に
この2048×2160のB画像を垂直方向にウェーブレット変換する。このとき、圧縮I/F部105は、
低域フィルタを通した2048×1080サイズのサブバンドB画像、
高域フィルタを通した2048×1080サイズのサブバンドB画像、
に変換する。
これにより、圧縮I/F部105からの出力であるサブバンド画像は、4Kフル画素方式も、4K倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部106以降の処理が、共通の処理とすることができる。これについては、別途詳細に説明する。
・低域フィルタを通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(LL)
・高域フィルタを通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(LH)
・低域フィルタを通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(LL)
・高域フィルタを通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(LH)
次に、図14を参照して、ウェーブレット変換後の低域フィルタを通した2048×1080サイズのサブバンド画像の画素重心位置について説明する。
ここでは、JPEG2000の5×3可逆ウェーブレットフィルタ係数である(−1/8,2/8,6/8,2/8,−1/8)を例に用いて説明する。
つまり、G画像に対して低域ウェーブレットフィルタを通した2048×1080サイズのサブバンド画像の画素重心位置は、水平方向にも垂直方向にも6/8のフィルタ係数が掛けられた画素(図中の丸印○)位置となる。
R画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、上側のライン上の3画素に対して、(−1/8,6/8,−1/8)のフィルタ係数がかかっている。このため、上側のライン上の3画素の係数の重みは、
−1/8+6/8−1/8=1/2
であることが分かる。
2/8+2/8=1/2
であることが分かる。
以上から、R画像の垂直方向の画素の重心は、隣り合う上下2ライン単位にW型に画素が走査された2ライン間の丁度真ん中の位置となることが分かる。
つまり、R画像に対して低域ウェーブレットフィルタを通した2048×1080サイズのサブバンド画像の画素重心位置は、水平方向には、6/8のフィルタ係数が掛けられた画素位置で、垂直方向には、隣り合う上下2ライン単位としたライン間の位置(図中の丸印○)となる。
B画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、下側のライン上の3画素に対して、(−1/8,6/8,−1/8)のフィルタ係数がかかっている。このため、下側のライン上の3画素の係数の重みは、
−1/8+6/8−1/8=1/2
であることが分かる。
2/8+2/8=1/2
であることが分かる。
以上から、B画像の垂直方向の画素の重心は、隣り合う上下2ライン単位にM型に画素が走査された2ライン間の丁度真ん中の位置となることが分かる。
つまり、B画像に対して低域ウェーブレットフィルタを通した2048×1080サイズのサブバンド画像の画素重心位置は、水平方向には、6/8のフィルタ係数が掛けられた画素位置となる。垂直方向には、隣り合う上下2ライン単位としたライン間の位置(図中の丸印○)となる。
また、図13で示したように、R画像とB画像について、垂直方向にのみウェーブレット変換を行う場合にも、詳細な図示はしないものの、図14と同様に考えれば、R画像とB画像は同じ位置、それに対してG画像は、水平方向には同じ位置であり、垂直方向には、わずかに1/2画素ずれているだけであることが分かる。
以上が、倍密度ベイヤ配列に対する処理の詳細である。
このとき、撮像素子部102は、斜め45°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列3板方式である。
違うのは、R画像、B画像、G画像の全てが同じパターンであることである。
したがって、R画像、B画像、G画像について、隣接する上下2ライン単位でウェーブレット変換を行えばよい。
上下2ラインを単位とすることで、1ラインは4096の実画素を有するとみなせるので、4096×1080の画像として扱うことが可能になる。
この4096×1080のRGB画像を水平方向にウェーブレット変換し、
低域フィルタを通した2048×1080サイズのサブバンド画像、
高域フィルタを通した2048×1080サイズのサブバンド画像、
にRGB画像をそれぞれ変換する。
これは、2048×1080サイズのサブバンド画像が、RGBで揃ったことを意味しており、2048×1080のRGBフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮I/F部105からの出力であるサブバンド画像は、4Kフル画素方式も、4K斜め配列3板方式でも、同じサイズとなるので、圧縮処理部106以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
・低域フィルタを通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(LL)
・高域フィルタを通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(HL)
・低域フィルタを通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(LL)
・高域フィルタを通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(HL)
・低域フィルタを通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(LL)
・高域フィルタを通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(HL)
しかし、斜め配列3板方式では、光学的に画素位置が合うように調整されているので、ウェーブレット変換後の低域フィルタを通した2048×1080サイズのサブバンド画像の画素重心位置についてもRGBが揃うことは明らかであるので、ここでは省略する。
以上が、斜め配列3板方式に対する処理の詳細である。
このとき、撮像素子部102は、ベイヤ配列である。
G画像については、図をみて明らかであるように、これは図12を参照して説明した、倍密度ベイヤ配列のR画素またはB画素と同じと考えることが出来る。
したがって、G画像は、隣接する上下2ライン単位でウェーブレット変換を行えばよい。
具体的には、圧縮I/F部105は、図16Bに示すように、隣り合う上下2ライン単位にM型に画素を走査し、あたかも1ラインの画素データであるかのようにウェーブレット変換を行う。
この4096×1080のG画像を水平方向にウェーブレット変換し、
低域フィルタを通した2048×1080サイズのサブバンドG画像、
高域フィルタを通した2048×1080サイズのサブバンドG画像、
に変換する。
これは、R画像とB画像に関しては、間引きであるが、2048×1080サイズのサブバンド画像が、RGBで揃ったことを意味しており、2048×1080のRGBフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮I/F部105からの出力であるサブバンド画像は、4Kフル画素方式も、4K通常ベイヤ配列も、同じサイズとなるので、圧縮処理部106以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
つまり、2048×1080サイズのR画像を、サブバンドR画像(LL)、
低域フィルタを通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(LL)、
高域フィルタを通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(HL)、
2048×1080サイズのB画像を、サブバンドB画像(LL)、
として記載する。
以上が、通常のベイヤ配列に対する処理の詳細である。
*RGB フル画素方式
・G:2048×1080サイズのサブバンド(LL/HL/LH/HH)4コンポーネント
・B:2048×1080サイズのサブバンド(LL/HL/LH/HH)4コンポーネント
・R:2048×1080サイズのサブバンド(LL/HL/LH/HH)4コンポーネント
→2048×1080サイズのサブバンドが12コンポーネント
・G:2048×1080サイズのサブバンド(LL/HL/LH/HH)4コンポーネント
・B:2048×1080サイズのサブバンド(LL/HL)2コンポーネント
・R:2048×1080サイズのサブバンド(LL/HL)2コンポーネント
→2048×1080サイズのサブバンドが8コンポーネント
・G:2048×1080サイズのサブバンド(LL/HL)2コンポーネント
・B:2048×1080サイズのサブバンド(LL/HL)2コンポーネント
・R:2048×1080サイズのサブバンド(LL/HL)2コンポーネント
→2048×1080サイズのサブバンドが6コンポーネント
・G:2048×1080サイズのサブバンド(LL/HL)2コンポーネント
・B:2048×1080サイズのサブバンド(LL)1コンポーネント
・R:2048×1080サイズのサブバンド(LL)1コンポーネント
→2048×1080サイズのサブバンドが4コンポーネント
このように、2048×1080サイズのサブバンドの個数の違いとしてまとめることが出来る。(図中では、出力されないサブバンド画像を破線で描いている。)
図18と図19は、図10と図11と同じものであるので、ここでは重複説明を省略する。図18に示すように、圧縮I/F部105は、RGBフル画素方式の撮像RAWデータに対しては、R画像、G画像、B画像の全てに対して同じ処理を行う。このとき、圧縮I/F部105は、R画像、G画像、B画像の水平方向にも垂直方向にもウェーブレット変換を行って、2048×1080サイズのサブバンドを12コンポーネント分出力する。また、図19に示すように、伸張I/F部205は、その逆変換を行って、RGBフル画素方式の撮像RAWデータに戻す。
図20に示すように、圧縮I/F部105は、倍密度ベイヤ配列の撮像RAWデータにおけるG画像には、水平方向にも垂直方向にもウェーブレット変換を行う。しかし、R画像とB画像には、図12Bに示したような走査を行った後水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。ここで、図20では、バイパス処理する部分を斜線で示している。以下の図21〜24でも同様にバイパス処理を行う部分を表現してある。これにより、圧縮I/F部105は、2048×1080サイズのサブバンドを8コンポーネント分出力する。また、図21に示すように、伸張I/F部205は、逆変換でも、R画像とB画像は、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。G画像は、垂直方向にも水平方向にもウェーブレット合成することで、倍密度ベイヤ配列の撮像RAWデータに戻すことが出来る。
図22に示すように、圧縮I/F部105は、斜め配列の3板方式の撮像RAWデータにおける、R画像、G画像、B画像の全てに対して同じ処理を行う。このとき、圧縮I/F部105は、図15Bに示したような走査を行った後、R画像、G画像、B画像の水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。これにより、圧縮I/F部105は、2048×1080サイズのサブバンドを6コンポーネント分出力する。また、図23に示すように、伸張I/F部205は、逆変換でも、R画像、G画像、B画像の全てで同じ処理となり、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。これにより、斜め配列の3板方式の撮像RAWデータに戻すことが出来る。
図24に示すように、圧縮I/F部105は、通常のベイヤ配列の撮像RAWデータにおけるG画像には、図16Bに示したような走査を行った後、水平方向のみウェーブレット変換を行うが、R画像とB画像には、水平方向のウェーブレット変換も行わず、バイパス処理をする。垂直方向のウェーブレット変換回路はR画像、G画像、B画像いずれもバイパス処理を行い、そのまま出力する。これにより、2048×1080サイズのサブバンドを4コンポーネント分出力する。
[ハール変換を用いて画像を圧縮符号化し、ハール逆変換を用いてサブバンド画像を復号化する例]
上述したように圧縮I/F部105は、ウェーブレット変換と組み合わせることで、もっとも効果的に圧縮する方法を提供する。しかし、ウェーブレット変換だけでなく、ハードウェア負担の少ないハール変換などでも実現が可能である。
まず、G画像について説明すると、G画像は4Kフル画素があることから、図12で説明した処理と同様に水平方向・垂直方向にウェーブレット変換の変わりにハール変換を行えばよい。
すなわち、図26Bに示すように4096×2160サイズのG画像に対して、2画素ごとに水平方向のハール変換を施す。これにより、図26Cに示すように水平方向が半分のサイズとなった2048×2160サイズの低域サブバンドG画像(L)(和)と高域サブバンドG画像(H)(差)となる。
・水平方向・垂直方向ともに低域フィルタ(和)を通した2048×1080サイズのサブバンドG画像(LL)
・水平方向は低域フィルタ(和)、垂直方向は高域フィルタ(差)を通した2048×1080サイズのサブバンドG画像(LH)
・水平方向は高域フィルタ(差)、垂直方向は低域フィルタ(和)を通した2048×1080サイズのサブバンドG画像(HL)
・水平方向・垂直方向ともに高域フィルタ(差)を通した2048×1080サイズのサブバンドG画像(HH)
以上、4種類の2048×1080サイズのサブバンドG画像に変換される。
具体的には、図26Bに示すように、R画素は隣り合う上下2ライン単位の斜め2画素ごとにハール変換を行う。
低域フィルタ(和)を通した2048×1080サイズのサブバンドR画像、
高域フィルタ(差)を通した2048×1080サイズのサブバンドR画像、
に変換する。
B画素も同様に隣り合う上下2ライン単位の斜め(Rとは逆斜め方向)2画素ごとにハール変換を行い、
低域フィルタ(和)を通した2048×1080サイズのサブバンドB画像、
高域フィルタ(差)を通した2048×1080サイズのサブバンドB画像、
に変換する。
以上で、既に2048×1080サイズのサブバンド画像となり、Gのサブバンド画像とサイズが一致する。
これにより、圧縮I/F部105からの出力であるサブバンド画像は、4Kフル画素方式も、4K倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部106以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
・低域フィルタ(和)を通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(LL)
・高域フィルタ(差)を通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(HH)
・低域フィルタ(和)を通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(LL)
・高域フィルタ(差)を通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(HH)
また、ここで図示したR画素とB画素の斜め方向は一例であり、R画素とB画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。
図27Bでは、図15を参照して説明したように、グレーで記した画素が存在しないと考えられるので、これは図26を参照して説明した、倍密度ベイヤ配列のR画素またはB画素と同じと考えることが出来る。
違うのは、R画像、B画像、G画像の全てが同じパターンであることである。
したがって、R画像、B画像、G画像には、隣接する上下2ライン単位でウェーブレット変換の代わりにハール変換を行えばよいことが分かる。
具体的には、図27Bを参照して説明したように、隣り合う上下2ライン単位の斜め2画素ごとにハール変換を行う。
低域フィルタ(和)を通した2048×1080サイズのサブバンド画像、
高域フィルタ(差)を通した2048×1080サイズのサブバンド画像、
にRGB画像をそれぞれ変換する。
以上で、既に2048×1080サイズのサブバンド画像となることも分かる。
これにより、圧縮I/F部105からの出力であるサブバンド画像は、4Kフル画素方式も、4K斜め配列3板方式でも、同じサイズとなるので、圧縮処理部106以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
・低域フィルタ(和)を通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(LL)
・高域フィルタ(差)を通した2048×1080サイズのサブバンドR画像を、サブバンドR画像(HH)
・低域フィルタ(和)を通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(LL)
・高域フィルタ(差)を通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(HH)
・低域フィルタ(和)を通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(LL)
・高域フィルタ(差)を通した2048×1080サイズのサブバンドB画像を、サブバンドB画像(HH)
また、ここで図示した画素の斜め方向は一例であり、R画素とB画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。
図28Bは、RGBそれぞれに分離し、実画素の存在しない位置をグレーで記している。R画像とB画像については、分離した状態ですでに2048×1080サイズの間引き画像となっている。
G画像については、図をみて明らかであるように、これは図26を参照して説明した、倍密度ベイヤ配列のRまたはB画素と同じと考えることが出来る。
したがって、G画像は、隣接する上下2ライン単位でウェーブレット変換する代わりにハール変換を行う。
具体的には、図28Bに示すように、G画素は隣り合う上下2ライン単位の斜め2画素ごとにハール変換を行う。
低域フィルタ(和)を通した2048×1080サイズのサブバンドG画像、
高域フィルタ(差)を通した2048×1080サイズのサブバンドG画像、
に変換する。
以上で、既に2048×1080サイズのサブバンド画像となることも分かる。
これは、R画像とB画像に関しては、間引きであるが、2048×1080サイズのサブバンド画像が、RGB画像の全てで揃ったことを意味する。このため、2048×1080のRGBフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮I/F部105からの出力であるサブバンド画像は、4Kフル画素方式も、4K通常ベイヤ配列でも、同じサイズとなるので、圧縮処理部106以降の処理を、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
2048×1080サイズのR画像を、サブバンドR画像(LL)、
低域フィルタ(和)を通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(LL)、
高域フィルタ(差)を通した2048×1080サイズのサブバンドG画像を、サブバンドG画像(HH)、
2048×1080サイズのB画像を、サブバンドB画像(LL)、
として記載している。
また、ここで図示したG画素の斜め方向は一例であり、Gの起点画素位置が異なれば、逆斜め方向になることは明らかである。
なお、ウェーブレット変換もJPEG2000の5×3可逆ウェーブレット変換係数を参照して説明したが、9×7非可逆変換や、その他の変換係数でも、実現できることは明らかであり、5×3可逆ウェーブレット変換や、ハール変換に限定するものではない。
なお、上述した圧縮I/F部105、圧縮処理部106、伸張I/F部205及び伸張処理部206の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
また、本発明は、倍密度のベイヤ配列、斜め配列3板方式、ベイヤ配列以外の画素配列であって、3原色のうちの少なくとも1つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるRAWデータを圧縮符号化するためにも同様にして適用することができる。
Claims (7)
- 3原色のうちのG色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているG色の画像データに対して、隣り合う上下2ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行うサブバンド分割によりサブバンド画像に分解し、R色、B色にはサブバンド分割を行わない、または隣り合う左右2列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行うサブバンド分割により前記サブバンド画像に分解し、R色、B色にはサブバンド分割を行わないサブバンド分割部と、
前記サブバンド画像を所定の画像信号に変換し、伝送線を介して前記画像信号を出力する第1の伝送インターフェース部と、を有するカメラ部と、
前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換する第2の伝送インターフェース部と、
前記サブバンド画像を、隣り合う上下2ラインの画素を単位として、前記サブバンド分割に対する水平方向の逆変換のみを行い、または隣り合う左右2列の画素を単位として、前記サブバンド分割に対する垂直方向の逆変換のみを行い、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成する画像伸張部と、を有するカメラコントロール部と、を備えた
カメラシステム。 - 前記撮像素子は、ベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのRGBの画像データのうち、R及びBの画像データに対してはウェーブレット変換を行わず、Gの画像データに対しては、隣り合う上下2ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右2列を単位として画素を走査して垂直方向のウェーブレット変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、R及びBのサブバンド画像に対してはウェーブレット逆変換を行わず、R及びBの画像データに伸張し、Gのサブバンド画像に対しては、隣り合う上下2ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右2列の画素を単位として垂直方向のウェーブレット逆変換を行って、Gの画像データに伸張する
請求項1に記載のカメラシステム。 - 前記サブバンド分割部は、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下2ラインを単位として斜め方向に隣り合う2画素ごとにハール変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下2ラインの画素を単位としてハール逆変換を行って、前記画素位置が交互にずれている色の画像データに伸張する
請求項1に記載のカメラシステム。 - 前記撮像素子は、ベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのRGBの画像データのうち、R及びBの画像データに対してはハール変換を行わず、R及びBのサブバンド画像に分解し、Gの画像データに対しては、隣り合う上下2ラインを単位として斜め方向に隣り合う2画素ごとにハール変換を行って、Gのサブバンド画像に分解し、
前記画像伸張部は、R及びBのサブバンド画像に対して、ハール逆変換を行わず、R及びBの画像データに伸張し、Gのサブバンド画像に対して、ハール逆変換を行って、Gの画像データに伸張する
請求項3に記載のカメラシステム。 - 3原色のうちのG色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているG色の画像データに対して、隣り合う上下2ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行うサブバンド分割によりサブバンド画像に分解し、R色、B色にはサブバンド分割を行わない、または隣り合う左右2列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行うサブバンド分割により前記サブバンド画像に分解し、R色、B色にはサブバンド分割を行わないステップと、
前記サブバンド画像を所定の画像信号に変換する第1の伝送インターフェース部によって、伝送線を介して前記サブバンド画像を変換した前記画像信号を出力するステップと、
前記画像信号を前記サブバンド画像に変換する第2の伝送インターフェース部によって、前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換するステップと、
前記サブバンド画像より、隣り合う上下2ラインの画素を単位として、前記サブバンド分割に対する水平方向の逆変換のみを行い、または隣り合う左右2列の画素を単位として、前記サブバンド分割に対する垂直方向の逆変換のみを行って、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成するステップと、を有する
画像処理方法。 - 3原色のうちのG色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているG色の画像データに対して、隣り合う上下2ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行うサブバンド分割によりサブバンド画像に分解し、R色、B色にはサブバンド分割を行わない、または隣り合う左右2列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行うサブバンド分割により前記サブバンド画像に分解し、R色、B色にはサブバンド分割を行わないサブバンド分割部と、
前記サブバンド分割部から出力された前記サブバンド画像を圧縮符号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記3原色の色ごとに並列して行う圧縮符号化部と、
圧縮符号化された前記サブバンド画像を所定の画像信号に変換し、伝送線を介して前記画像信号を出力する第1の伝送インターフェース部と、を有するカメラ部と、
前記伝送線を介して入力する前記画像信号を圧縮符号化された前記サブバンド画像に変換する第2の伝送インターフェース部と、
圧縮符号化された前記サブバンド画像を伸張復号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記3原色の色ごとに並列して行う伸張復号化部と、
前記サブバンド画像の隣り合う上下2ラインの画素を単位として、前記サブバンド分割に対する水平方向の逆変換のみを行い、または隣り合う左右2列の画素を単位として、前記サブバンド分割に対する垂直方向の逆変換のみを行って、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成する画像伸張部と、を有するカメラコントロール部と、を備えた
カメラシステム。 - 3原色のうちのG色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているG色の画像データに対して、隣り合う上下2ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行うサブバンド分割によりサブバンド画像に分解し、R色、B色にはサブバンド分割を行わない、または隣り合う左右2列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行うサブバンド分割により前記サブバンド画像に分解し、R色、B色にはサブバンド分割を行わないステップと、
前記サブバンド画像を圧縮符号化する処理を、分割する帯域ごと及び前記3原色の色ごとに並列して行うステップと、
圧縮符号化された前記サブバンド画像を所定の画像信号に変換する第1の伝送インターフェース部によって、伝送線を介して前記サブバンド画像を変換した前記画像信号を出力するステップと、
前記画像信号を前記サブバンド画像に変換する第2の伝送インターフェース部によって、前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換するステップと、
圧縮符号化された前記サブバンド画像を伸張復号化する処理を、分割される帯域ごと及び前記3原色の色ごとに並列して行うステップと、
前記サブバンド画像の隣り合う上下2ラインの画素を単位として、前記サブバンド分割に対する水平方向の逆変換のみを行い、または隣り合う左右2列の画素を単位として、前記サブバンド分割に対する垂直方向の逆変換のみを行って、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成するステップと、を有する
画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009288096A JP5640371B2 (ja) | 2009-12-18 | 2009-12-18 | カメラシステム及び画像処理方法 |
US12/965,260 US8531543B2 (en) | 2009-12-18 | 2010-12-10 | Camera system and image processing method |
CN201010599684.3A CN102104731B (zh) | 2009-12-18 | 2010-12-13 | 相机系统和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009288096A JP5640371B2 (ja) | 2009-12-18 | 2009-12-18 | カメラシステム及び画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014143201A Division JP5858098B2 (ja) | 2014-07-11 | 2014-07-11 | カメラシステム及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011130275A JP2011130275A (ja) | 2011-06-30 |
JP5640371B2 true JP5640371B2 (ja) | 2014-12-17 |
Family
ID=44150533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009288096A Active JP5640371B2 (ja) | 2009-12-18 | 2009-12-18 | カメラシステム及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8531543B2 (ja) |
JP (1) | JP5640371B2 (ja) |
CN (1) | CN102104731B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014209792A (ja) * | 2014-07-11 | 2014-11-06 | ソニー株式会社 | カメラシステム及び画像処理方法 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104702926B (zh) | 2007-04-11 | 2017-05-17 | Red.Com 公司 | 摄像机 |
US8237830B2 (en) * | 2007-04-11 | 2012-08-07 | Red.Com, Inc. | Video camera |
JP5640370B2 (ja) * | 2009-12-18 | 2014-12-17 | ソニー株式会社 | 画像処理装置,画像処理方法及び撮像装置 |
JP2011182044A (ja) * | 2010-02-26 | 2011-09-15 | Sony Corp | 信号送信装置及び信号送信方法 |
WO2012101708A1 (ja) * | 2011-01-28 | 2012-08-02 | 日本電気株式会社 | 2次元信号符号化装置 |
US8731281B2 (en) * | 2011-03-29 | 2014-05-20 | Sony Corporation | Wavelet transform on incomplete image data and its applications in image processing |
JP2012253689A (ja) * | 2011-06-06 | 2012-12-20 | Sony Corp | 信号送信装置、信号送信方法、信号受信装置、信号受信方法及び信号伝送システム |
JP6056124B2 (ja) * | 2011-09-05 | 2017-01-11 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP5833961B2 (ja) * | 2012-03-23 | 2015-12-16 | 株式会社東芝 | 画像圧縮装置、画像処理システム、及び画像圧縮方法 |
JP5973766B2 (ja) * | 2012-03-30 | 2016-08-23 | キヤノン株式会社 | 画像処理装置 |
WO2014127153A1 (en) | 2013-02-14 | 2014-08-21 | Red. Com, Inc. | Video camera |
CN103237205B (zh) * | 2013-03-25 | 2016-01-20 | 西安电子科技大学 | 基于Toeplitz矩阵观测和字典学习的数码相机压缩成像方法 |
JP6178099B2 (ja) | 2013-04-05 | 2017-08-09 | ソニー株式会社 | 中間ユニットおよびカメラシステム |
US8879858B1 (en) * | 2013-10-01 | 2014-11-04 | Gopro, Inc. | Multi-channel bit packing engine |
JP6299227B2 (ja) | 2014-01-16 | 2018-03-28 | ソニー株式会社 | カメラ装置 |
US9800875B2 (en) * | 2015-04-10 | 2017-10-24 | Red.Com, Llc | Video camera with rate control video compression |
CN104869432B (zh) * | 2015-05-14 | 2017-10-27 | 邓家先 | 一种图像多分辨率压缩加密及分级解密与显示方法 |
JP6562756B2 (ja) * | 2015-08-06 | 2019-08-21 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US10838192B2 (en) * | 2016-05-10 | 2020-11-17 | The Regents Of The University Of California | Method and device for high-resolution color imaging using merged images from holographic and lens-based devices |
JP6311824B2 (ja) * | 2017-04-25 | 2018-04-18 | ソニー株式会社 | 中間ユニットおよびカメラシステム |
JP7313330B2 (ja) | 2017-07-05 | 2023-07-24 | レッド.コム,エルエルシー | 電子機器でのビデオ画像データ処理 |
JP6501010B2 (ja) * | 2018-02-23 | 2019-04-17 | ソニー株式会社 | 撮像装置、撮像処理方法および撮像システム |
JP6516034B2 (ja) * | 2018-03-15 | 2019-05-22 | ソニー株式会社 | 中間ユニットおよびカメラシステム |
CN111263128B (zh) * | 2018-11-30 | 2021-06-25 | 展讯通信(上海)有限公司 | 图像插值方法及装置、存储介质、终端 |
JP7238441B2 (ja) * | 2019-02-04 | 2023-03-14 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
US11350063B2 (en) | 2020-04-14 | 2022-05-31 | Apple Inc. | Circuit for correcting lateral chromatic abberation |
KR20220096624A (ko) * | 2020-12-31 | 2022-07-07 | 엘지디스플레이 주식회사 | 표시 장치 |
US11763421B2 (en) * | 2021-01-07 | 2023-09-19 | Apple Inc. | Circuit for combined down sampling and correction of image data |
US20230064069A1 (en) * | 2021-07-30 | 2023-03-02 | Intel Corporation | Converting barycentric planes to attribute planes |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5778106A (en) * | 1996-03-14 | 1998-07-07 | Polaroid Corporation | Electronic camera with reduced color artifacts |
JP3732674B2 (ja) * | 1999-04-30 | 2006-01-05 | 株式会社リコー | カラー画像圧縮方法およびカラー画像圧縮装置 |
US7847829B2 (en) * | 2001-01-09 | 2010-12-07 | Sony Corporation | Image processing apparatus restoring color image signals |
JP2002247376A (ja) | 2001-02-20 | 2002-08-30 | Rohm Co Ltd | 画像処理装置 |
JP4267848B2 (ja) * | 2001-09-25 | 2009-05-27 | 株式会社リコー | 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法 |
JP3864748B2 (ja) | 2001-10-10 | 2007-01-10 | 株式会社ニコン | 画像処理装置、電子カメラ、および画像処理プログラム |
JP2004007133A (ja) * | 2002-05-31 | 2004-01-08 | Minolta Co Ltd | 撮像装置 |
JP3956360B2 (ja) * | 2002-09-30 | 2007-08-08 | 株式会社リコー | 撮像装置及び画像処理方法 |
CN101138248A (zh) * | 2005-12-07 | 2008-03-05 | 索尼株式会社 | 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序 |
JP4548390B2 (ja) * | 2006-06-16 | 2010-09-22 | ソニー株式会社 | 撮像装置及び信号処理方法 |
CN101153961A (zh) * | 2006-09-29 | 2008-04-02 | 精工爱普生株式会社 | 显示装置、图像处理方法以及电子设备 |
JP4265642B2 (ja) * | 2006-10-16 | 2009-05-20 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
JP4905279B2 (ja) * | 2007-07-20 | 2012-03-28 | ソニー株式会社 | 撮像回路および撮像装置 |
JP5045421B2 (ja) * | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
JP5024178B2 (ja) * | 2008-05-14 | 2012-09-12 | ソニー株式会社 | 画像処理装置、及び画像処理方法 |
-
2009
- 2009-12-18 JP JP2009288096A patent/JP5640371B2/ja active Active
-
2010
- 2010-12-10 US US12/965,260 patent/US8531543B2/en active Active
- 2010-12-13 CN CN201010599684.3A patent/CN102104731B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014209792A (ja) * | 2014-07-11 | 2014-11-06 | ソニー株式会社 | カメラシステム及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102104731A (zh) | 2011-06-22 |
JP2011130275A (ja) | 2011-06-30 |
US20110149110A1 (en) | 2011-06-23 |
CN102104731B (zh) | 2014-11-05 |
US8531543B2 (en) | 2013-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5640371B2 (ja) | カメラシステム及び画像処理方法 | |
JP5640370B2 (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
US8320693B2 (en) | Encoding device and method, decoding device and method, and transmission system | |
JP3464767B2 (ja) | ウェーブレット復号装置及び方法 | |
US8000548B2 (en) | Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium for performing wavelet transformation at a plurality of division levels | |
US8031960B2 (en) | Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium | |
EP2094018A1 (en) | Encoding apparatus for high frame rate videos, method and program | |
JPWO2008093698A1 (ja) | 情報処理装置および方法 | |
JP2004228717A (ja) | 画像処理方法、画像処理装置、電子カメラ装置、プログラム及び記録媒体 | |
JP3864748B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP2011130112A (ja) | 表示支援装置及び撮像装置 | |
JP3613983B2 (ja) | 画像生成装置及び方法、並びに電子スチルカメラ | |
JP5858098B2 (ja) | カメラシステム及び画像処理方法 | |
JP5858099B2 (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP2008124530A (ja) | Rawデータ圧縮方法 | |
JP2000125293A (ja) | ウェーブレット復号化装置及び方法 | |
JP2006340300A (ja) | 信号処理方法及び信号処理装置、並びに信号処理プログラム及び情報記録媒体 | |
JP2010004279A (ja) | 画像処理装置及びそれを備えた画像形成装置 | |
JP7242246B2 (ja) | 画像符号化装置、及びこれらの制御方法、並びにプログラム | |
JP2006042371A (ja) | 画像記録再生装置及び画像再生装置 | |
JP2023070055A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
WO2007043227A1 (ja) | カメラおよびビデオレコーダ並びにカメラシステム | |
JP2005184518A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2003244713A (ja) | カラー映像信号の伝送装置及びその伝送方法 | |
JP2007067823A (ja) | 撮像圧縮記録再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140711 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141013 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5640371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |