JP5854612B2 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP5854612B2 JP5854612B2 JP2011032779A JP2011032779A JP5854612B2 JP 5854612 B2 JP5854612 B2 JP 5854612B2 JP 2011032779 A JP2011032779 A JP 2011032779A JP 2011032779 A JP2011032779 A JP 2011032779A JP 5854612 B2 JP5854612 B2 JP 5854612B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- conversion
- unit
- color conversion
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 84
- 238000000034 method Methods 0.000 title description 66
- 238000006243 chemical reaction Methods 0.000 claims description 441
- 238000005259 measurement Methods 0.000 claims description 27
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000002427 irreversible effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 41
- 238000007906 compression Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 101100269449 Arabidopsis thaliana AHK4 gene Proteins 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001603 reducing effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
1.第1の実施の形態(色変換装置)
2.第2の実施の形態(画像符号化装置)
3.第3の実施の形態(パーソナルコンピュータ)
[色成分]
デジタルカメラ等において行われるRAW圧縮では、撮像素子等から各色成分のデータが取得されて処理される。撮像素子から取得されるRAW画像は、例えば、図1に示されるようなベイヤ配列構造を有する。つまり、RAW画像は、赤(R)、青(B)、緑(G0,G1)の色成分を有する。
図2は、このようなRAW画像に対して色変換処理を行う色変換装置の主な構成例を示すブロック図である。
図3は、色変換装置の他の構成例を示すブロック図である。
ところで、RAW画像の色成分の内で、2つ存在するGreen成分(G0とG1)の相関は、入力画像によらず、ほぼ一定であることが知られている。そこで、この特徴を利用して上記の2つのGreen成分に対しては、KLTよりも遥かに軽量な変換、例えばHaar変換を施すようにする。
次に、図5のフローチャートを参照して、図4の色変換装置100による色変換処理の流れの例を説明する。
なお、互いに相関性が高い色成分同士の組み合わせに対する色変換処理として、Haar変換の代わりにDPCM(Differential Pulse Code Modulation)を用いるようにしてもよい。
次に、図7のフローチャートを参照して、図6の色変換装置200による色変換処理の流れの例を説明する。この場合も、色変換処理は、図5のフローチャートを参照して説明した場合と基本的に同様に行われるが、ステップS201において、色変換装置200の色変換部201は、ステップS101の処理の代わりに、相関の高い色成分の組み合わせに対してDPCMを用いた色変換を行う。
なお、互いに相関性が高い色成分同士の組み合わせに対する色変換処理として、上述したHaar変換やDPCMの代わりにS変換を用いるようにしてもよい。
次に、図9のフローチャートを参照して、図8の色変換装置300による色変換処理の流れの例を説明する。この場合も、色変換処理は、図5のフローチャートを参照して説明した場合と基本的に同様に行われるが、ステップS301において、色変換装置300の色変換部301は、ステップS101の処理の代わりに、相関の高い色成分の組み合わせに対してS変換を行う。
以上に説明した5つの色変換方法のエントロピ比較結果を図10の表に示す。図10に示される表は、RAW1乃至RAW5の5つのRAW画像について、上述した5つの方法で色変換を行った場合のエントロピの変化の様子を比較したものである。
[画像符号化装置1]
第1の実施の形態において説明した色変換方法により色変換された各色成分を、さらに符号化するようにしてもよい。
図12のフローチャートを参照して、図11の画像符号化装置400による画像符号化処理の流れの例を説明する。
なお、色変換を行う画像データのコンポーネント(色成分の組み合わせ)が決まっている場合、各色成分のエネルギ分布の傾向が予め定まる場合がある。例えば、上述したように、G0,G1,R,Bの4つの色成分をY0,Y1,Y2,Y3に色変換する場合、相関性の高いG0およびG1から生成される色成分Y0のエネルギは、他の色成分と比較して小さくなることが多い。
図14のフローチャートを参照して、図13の画像符号化装置500による画像符号化処理の流れの例を説明する。
なお、画像符号化装置400および画像符号化装置500のエントロピ符号化部404の符号化は、可逆であっても良いが、非可逆であっても良い。例えば、エントロピ符号化部404が出力するストリームのビットレートを制御するようにしてもよい。その場合、制御部402の判定部412が判定の基準とする閾値を、そのビットレートに応じて制御することができるようにしてもよい。
[パーソナルコンピュータ]
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図17に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
Claims (12)
- 画像データに含まれる複数の色成分に対して色変換を行う色変換部と、
前記色変換部による色変換後の各色成分について周波数変換するか否かを制御し、前記色変換部による色変換後のエネルギが前記色成分毎に互いに独立して設定される所定の閾値より大きな色成分を周波数変換するように制御する制御部と、
前記制御部により周波数変換するように制御された色成分について、前記色変換部による色変換後の前記色成分を周波数変換して周波数変換係数を得る周波数変換部と、
前記制御部により周波数変換するように制御された色成分について、前記周波数変換部により得られた前記周波数変換係数を符号化し、前記制御部により周波数変換しないように制御された色成分について、前記色変換部による色変換後の前記色成分を符号化する符号化部と
を備える画像処理装置。 - 前記制御部は、前記符号化部により生成されるストリームのビットレートに応じて前記閾値を制御する
請求項1に記載の画像処理装置。 - 前記制御部は、前記色変換部による色変換後の各色成分のエネルギを測定し、前記エネルギの測定結果に基づいて制御する
請求項1に記載の画像処理装置。 - 前記符号化部は、可逆方式で前記周波数変換係数を符号化する
請求項1に記載の画像処理装置。 - 前記符号化部は、非可逆方式で前記周波数変換係数を符号化する
請求項1に記載の画像処理装置。 - 前記符号化部は、生成するストリームのビットレートを制御する
請求項1に記載の画像処理装置。 - 前記色変換部は、
前記複数の色成分の内、相関性が最も高い色成分の組み合わせに対して色変換を行う第1の色変換部と、
前記複数の色成分の内、前記組み合わせ以外の色成分の組み合わせに対して色変換を行う第2の色変換部と
を備える請求項1に記載の画像処理装置。 - 前記第2の色変換部はKarhunen-Loeve変換を行う
請求項7に記載の画像処理装置。 - 前記第1の変換部はHaar変換、DPCMを用いた色変換、若しくはS変換を行う
請求項8に記載の画像処理装置。 - 前記周波数変換部は、前記色成分をDCT(Discrete Cosine Transform)若しくはウェーブレット変換する
請求項1に記載の画像処理装置。 - 前記画像データは、各色成分がベイヤ型に配列される画像の情報である
請求項1に記載の画像処理装置。 - 画像処理装置の画像処理方法であって、
色変換部が、画像データに含まれる複数の色成分に対して色変換を行い、
制御部が、色変換後の各色成分について周波数変換するか否かを制御し、色変換後のエネルギが前記色成分毎に互いに独立して設定される所定の閾値より大きな色成分を周波数変換するように制御し、
周波数変換部が、周波数変換するように制御された色成分について、色変換後の前記色成分を周波数変換して周波数変換係数を得て、
符号化部が、周波数変換するように制御された色成分について、得られた前記周波数変換係数を符号化し、周波数変換しないように制御された色成分について、色変換後の前記色成分を符号化する
画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032779A JP5854612B2 (ja) | 2011-02-18 | 2011-02-18 | 画像処理装置および方法 |
CN201210037240XA CN102647599A (zh) | 2011-02-18 | 2012-02-13 | 图像处理装置和方法 |
US13/371,724 US8630487B2 (en) | 2011-02-18 | 2012-02-13 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011032779A JP5854612B2 (ja) | 2011-02-18 | 2011-02-18 | 画像処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012175206A JP2012175206A (ja) | 2012-09-10 |
JP5854612B2 true JP5854612B2 (ja) | 2016-02-09 |
Family
ID=46652777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011032779A Expired - Fee Related JP5854612B2 (ja) | 2011-02-18 | 2011-02-18 | 画像処理装置および方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8630487B2 (ja) |
JP (1) | JP5854612B2 (ja) |
CN (1) | CN102647599A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230117264A (ko) * | 2019-10-11 | 2023-08-07 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 4:4:4 크로마 포맷의 비디오 코딩 방법 및 장치 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3992303B2 (ja) * | 1995-06-22 | 2007-10-17 | ソニー株式会社 | 信号圧縮装置と信号伸長装置および信号圧縮方法と信号伸長方法 |
US6788811B1 (en) * | 1999-05-10 | 2004-09-07 | Ricoh Company, Ltd. | Coding apparatus, decoding apparatus, coding method, decoding method, amd computer-readable recording medium for executing the methods |
FR2794269B1 (fr) * | 1999-05-26 | 2001-08-17 | France Telecom | Procede de codage d'images, a partition triangulaire et transformation reversible, et procede de decodage correspondant |
EP1478189A3 (en) * | 2003-05-16 | 2004-12-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding/decoding image using image residue prediction |
JP4436733B2 (ja) | 2004-08-27 | 2010-03-24 | オリンパス株式会社 | 撮像装置および再生装置 |
US20060210156A1 (en) * | 2005-03-18 | 2006-09-21 | Sharp Laboratories Of America, Inc. | Video compression for raw rgb format using residual color transform |
KR101261526B1 (ko) * | 2006-07-04 | 2013-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 |
JP2012039590A (ja) * | 2010-07-16 | 2012-02-23 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
US8693795B2 (en) * | 2010-10-01 | 2014-04-08 | Samsung Electronics Co., Ltd. | Low complexity secondary transform for image and video compression |
-
2011
- 2011-02-18 JP JP2011032779A patent/JP5854612B2/ja not_active Expired - Fee Related
-
2012
- 2012-02-13 US US13/371,724 patent/US8630487B2/en active Active
- 2012-02-13 CN CN201210037240XA patent/CN102647599A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN102647599A (zh) | 2012-08-22 |
US20120213434A1 (en) | 2012-08-23 |
US8630487B2 (en) | 2014-01-14 |
JP2012175206A (ja) | 2012-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11758184B2 (en) | Line-based compression for digital image data | |
JP5944044B2 (ja) | Hevcの無損失符号化におけるイントラ予測の向上 | |
US8619866B2 (en) | Reducing memory bandwidth for processing digital image data | |
JP4769039B2 (ja) | デジタル信号符号化および復号化装置ならびにその方法 | |
US8615043B2 (en) | Fixed length coding based image data compression | |
US8717462B1 (en) | Camera with color correction after luminance and chrominance separation | |
WO2012165040A1 (ja) | 画像処理装置及び画像処理方法 | |
EP2094019A1 (en) | Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon | |
WO2012165039A1 (ja) | 画像処理装置及び画像処理方法 | |
JP6324016B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
JPH1118089A (ja) | 画像データ圧縮装置 | |
JP2011015347A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP6772275B2 (ja) | ディスプレイストリーム圧縮(dsc)におけるひずみを計算するためのシステムおよび方法 | |
JP5854612B2 (ja) | 画像処理装置および方法 | |
WO2005106790A1 (ja) | 携帯電話機、画像変換装置、制御方法及びプログラム | |
JP4257145B2 (ja) | 画像圧縮装置及び画像処理システム | |
JP4521835B2 (ja) | 画像処理装置 | |
JP2005278025A (ja) | 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム | |
JP2006311435A (ja) | 画像処理装置、撮像装置、画像処理システム | |
JP2013093745A (ja) | 画像圧縮装置、撮像装置、および画像圧縮方法 | |
JP7444541B2 (ja) | 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム | |
JP5153712B2 (ja) | 画像データ変換装置 | |
JP2023521471A (ja) | カラーフィルタアレイパターン画像の無相関化変換 | |
WO2003101119A1 (fr) | Procede de traitement d'images, programme de traitement d'images et processeur d'images | |
KR20210100183A (ko) | 예측 코딩을 위한 보간 필터링 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5854612 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
LAPS | Cancellation because of no payment of annual fees |