JP7141295B2 - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP7141295B2 JP7141295B2 JP2018186872A JP2018186872A JP7141295B2 JP 7141295 B2 JP7141295 B2 JP 7141295B2 JP 2018186872 A JP2018186872 A JP 2018186872A JP 2018186872 A JP2018186872 A JP 2018186872A JP 7141295 B2 JP7141295 B2 JP 7141295B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- memory
- rows
- pixels
- columns
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000000034 method Methods 0.000 title claims description 30
- 238000012546 transfer Methods 0.000 claims description 143
- 230000008707 rearrangement Effects 0.000 claims description 124
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/74—Circuitry for scanning or addressing the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明をデジタルカメラに適用した実施形態を説明する。しかし、デジタルカメラは本発明を適用可能な画像処理装置の一例にすぎない。本発明は撮像素子から読み出されたデータを取り扱い可能な任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。
結像光学部201はフォーカスレンズを含む複数のレンズ、絞り、レンズや絞りの駆動回路などを有する。結像光学部201はデジタルカメラ200から取り外し可能であってもなくてもよい。
システムメモリ212はプログラムを実行するために用いられたり、表示部209用のビデオメモリとして用いられたり、バッファメモリなどとして用いられたりする。
バス220は、上述した各ブロック201~205、207~213を相互に通信可能に接続する。
ここでは、撮像素子202が有する画素アレイを構成する画素のうち、M行N列の画素からなる領域のm行(2≦m<M)から同時にデータを読み出すものとする。具体的には、水平4000画素(列)、垂直2000画素(行)からなる領域から、100行ずつ同時に読み出すものとする。
・オフセットデータ転送量1:4行×250列の画素分のデータ量
・オフセットデータ転送量2:4行×4000列の画素分のデータ量
・オフセットデータ転送量3:100行×4000列の画素分のデータ量
がそれぞれ設定される。対応するオフセット1~3は、図4の402に矢印で示す順序で4行×250列の画素分のデータ量を読み出すためのアドレスジャンプ量に相当する。
S1205で転送制御回路205は、読み出しアドレスをオフセット1だけジャンプ(増加)させて、処理をS1201に戻す。
S1209で転送制御回路205は、読み出しアドレスをオフセット2だけジャンプ(増加)させて、処理をS1201に戻す。
S1213で転送制御回路205は、読み出しアドレスをオフセット3だけジャンプ(増加)させて、処理をS1201に戻す。
S601で制御部208は、例えば操作部213を通じてユーザーから撮影開始指示を受信したか否かを判定する。撮影開始指示は例えばシャッターボタンの全押し操作であってよい。撮影開始指示を受信したと判定された場合、制御部208は処理をS602に進め、撮影開始指示を受信したと判定されない場合、制御部208はS601の処理を繰り返し実行する。なお、撮影開始指示の受信を待機している状態で、制御部208は、例えば表示部209をEVFとして機能させるための制御を実行する。
S1301で並べ替え回路204は、撮像素子202から複数行同時に読み出され、A/D変換回路203が出力するデータの取得を開始する。
なお、ここでは、撮像素子202の水平4000画素(列)×垂直2000画素(行)の範囲から、垂直100画素(行)を同時に読み出し、DRAM206への書き込みおよび読み出しを250列×4行の画素ブロック単位で行う例を説明した。しかし、読み出し範囲、同時に読み出す行数、DRAM206の書き込みおよび読み出し単位は他の値であってもよい。
次に、本発明の第2実施形態を説明する。本実施形態では、第1実施形態で説明した構成において、撮像素子202から同時に読み出される行数が、第1SRAMで並べ替える第1の単位で行数で割り切れない場合(すなわち、mがoの倍数でない場合)の動作に関する。
S903以外は第1実施形態と同様である。S903で制御部208が、並べ替え回路804にダミー行挿入位置、ダミー行数を設定すること、S603において、上述した並び替え回路804のダミー画素挿入部804およびダミー画素削除部805がダミーがその挿入および削除を実施する。
また、S1307で第2並べ替え制御回路102は、第2SRAM803の先頭アドレスから順次データを読み出す。そして、ダミー画素削除部805でダミー画素を削除して出力する。これにより、撮像素子202から1行ずつ読み出した場合のデータの並びと等しい並びのデータが、並べ替え回路804から出力される。
次に、本発明の第3の実施形態を説明する。本実施形態でも第2実施形態と同様、第1実施形態で説明した構成において、撮像素子202から同時に読み出される行数が、第1SRAMで並べ替える第1の単位で行数で割り切れない場合の動作に関する。本実施形態ではダミー画素を用いない点で第2実施形態と異なる。
S1103以外は第1実施形態と同様である。S1103で制御部208が、第1並び替え制御回路1000と転送制御回路205に、並べ替え単位を切り換える位置(例えば行番号)および変更後の並べ替え単位(行数)を設定する。また、転送制御回路205に、変更後の並べ替え単位に応じたオフセットデータ転送量1’とオフセット1’を第1並び替え制御回路1000に設定する。また、S603において、第1並び替え制御回路1000および転送制御回路205が、上述した並び替え単位の変更を実施する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (12)
- 撮像素子の、M行N列の画素からなる領域のm行(2≦m<M)から同時に読み出されたデータを、第1のメモリにn列(2≦n<N)分格納する第1の並べ替え制御手段と、
転送制御手段であって、
前記第1のメモリに格納されたm行n列の画素分のデータを、o行p列(2≦o<m,2≦p≦n)の画素分のデータずつ第2のメモリに格納することを繰り返し、前記M行N列の画素分のデータを前記第2のメモリに格納し、
前記第2のメモリから、前記撮像素子におけるo行N列の画素の並びとなるように、前記o行p列の画素分のデータずつ第3のメモリに格納することを繰り返し、前記第2のメモリに格納された前記M行N列の画素分のデータを前記第3のメモリに転送する、
転送制御手段と、
前記第3のメモリに格納されたデータを1行ずつ出力することにより、データを前記撮像素子の1行N列の画素の並びで出力する第2の並べ替え制御手段と、
を有することを特徴とする画像処理装置。 - 前記第2のメモリがバーストモードを有し、前記oおよび前記pの値が、前記第2のメモリに設定されたバースト長以下になるように定められることを特徴とする請求項1に記載の画像処理装置。
- 前記第2のメモリがバーストモードを有し、前記oおよび前記pの値が、前記第2のメモリに設定されたバースト長に等しくなるように定められることを特徴とする請求項1または2に記載の画像処理装置。
- 前記mが前記oの倍数でない場合、
前記第1の並べ替え制御手段は、m mod oに等しい行数のダミーデータを挿入して前記第1のメモリにn列の画素分のデータを格納し、
前記第2の並べ替え制御手段は、前記第3のメモリに格納されたデータのうち、前記ダミーデータを出力しない、
ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記mが前記oの倍数でない場合、前記転送制御手段は、前記oの値を途中で変更することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記第1のメモリおよび前記第3のメモリは、割り当てられたサイズを有するメモリ空間であり、
前記撮像素子を有する撮像装置に設定されている撮影モードに応じて、前記M、前記N、前記m、前記第1のメモリおよび前記第3のメモリに割り当てるサイズの1つ以上を変更する制御手段をさらに有することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。 - 前記第1のメモリおよび前記第3のメモリは、割り当てられたサイズを有するメモリ空間であり、
前記oの値に応じて、前記第1のメモリおよび前記第3のメモリに割り当てるサイズを変更する制御手段をさらに有することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。 - 前記制御手段は、前記第1のメモリおよび前記第3のメモリに割り当てるサイズが最小となるように、前記oの値を決定することを特徴とする請求項6または7に記載の画像処理装置。
- 前記第1のメモリおよび前記第3のメモリがSRAMにより構成され、前記第2のメモリがDRAMにより構成されることを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 撮像素子と、
前記撮像素子から読み出されたデータを処理する請求項1から9のいずれか1項に記載の画像処理装置と、
前記画像処理装置の前記第2の並べ替え制御手段が出力するデータを処理する信号処理回路と、
を有することを特徴とする撮像装置。 - 画像処理装置が実行する画像処理方法であって、
撮像素子の、M行N列の画素からなる領域のm行(2≦m<M)から同時に読み出されたデータを、第1のメモリにn列(2≦n<N)分格納する取得工程と、
前記第1のメモリに格納されたm行n列の画素分のデータを、o行p列(2≦o<m,2≦p≦n)の画素分のデータずつ第2のメモリに格納することを繰り返し、前記M行N列の画素分のデータを前記第2のメモリに格納する格納工程と、
前記第2のメモリから、前記撮像素子におけるo行N列の画素の並びとなるように、前記o行p列の画素分のデータずつ第3のメモリに格納することを繰り返し、前記第2のメモリに格納された前記M行N列の画素分のデータを前記第3のメモリに転送する転送工程と、
前記第3のメモリに格納されたデータを1行ずつ出力することにより、データを前記撮像素子の1行N列の画素の並びで出力する出力工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から9のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186872A JP7141295B2 (ja) | 2018-10-01 | 2018-10-01 | 画像処理装置およびその制御方法 |
US16/587,677 US10855945B2 (en) | 2018-10-01 | 2019-09-30 | Image processing apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018186872A JP7141295B2 (ja) | 2018-10-01 | 2018-10-01 | 画像処理装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020057922A JP2020057922A (ja) | 2020-04-09 |
JP2020057922A5 JP2020057922A5 (ja) | 2021-11-11 |
JP7141295B2 true JP7141295B2 (ja) | 2022-09-22 |
Family
ID=69946818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018186872A Active JP7141295B2 (ja) | 2018-10-01 | 2018-10-01 | 画像処理装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10855945B2 (ja) |
JP (1) | JP7141295B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114594A (ja) | 2010-11-22 | 2012-06-14 | Olympus Corp | 撮像装置 |
JP2013062714A (ja) | 2011-09-14 | 2013-04-04 | Olympus Corp | 撮像装置および信号転送装置 |
JP2018125730A (ja) | 2017-02-01 | 2018-08-09 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4428235B2 (ja) * | 2002-06-12 | 2010-03-10 | ソニー株式会社 | 固体撮像素子、固体撮像素子の駆動方法、撮像方法および撮像装置 |
JP5721518B2 (ja) * | 2011-04-21 | 2015-05-20 | キヤノン株式会社 | 撮像素子及び撮像装置 |
US8599284B2 (en) * | 2011-10-11 | 2013-12-03 | Omnivision Technologies, Inc. | High dynamic range sub-sampling architecture |
JP2020021989A (ja) * | 2018-07-30 | 2020-02-06 | キヤノン株式会社 | 撮像装置 |
-
2018
- 2018-10-01 JP JP2018186872A patent/JP7141295B2/ja active Active
-
2019
- 2019-09-30 US US16/587,677 patent/US10855945B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012114594A (ja) | 2010-11-22 | 2012-06-14 | Olympus Corp | 撮像装置 |
JP2013062714A (ja) | 2011-09-14 | 2013-04-04 | Olympus Corp | 撮像装置および信号転送装置 |
JP2018125730A (ja) | 2017-02-01 | 2018-08-09 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020057922A (ja) | 2020-04-09 |
US20200106981A1 (en) | 2020-04-02 |
US10855945B2 (en) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5901186B2 (ja) | 固体撮像装置及びその駆動方法 | |
US11363230B2 (en) | Image sensor module and image sensor device including the same | |
US20060152597A1 (en) | Pixel interpolation device and camera adapted to perform pixel interpolation of captured image | |
US8817139B2 (en) | Image pickup device and signal transmitting device | |
JP2005044098A (ja) | 画像処理装置及び画像処理方法 | |
JP5578915B2 (ja) | 固体撮像装置及びその駆動方法 | |
JP4687116B2 (ja) | カメラ装置 | |
JP2005018730A (ja) | 色補間用ラインバッファおよびラインデータ提供装置および方法 | |
JP7141295B2 (ja) | 画像処理装置およびその制御方法 | |
JP4854620B2 (ja) | 電子ズーム装置およびプログラム | |
JP5718029B2 (ja) | 撮像装置 | |
JP2005045514A (ja) | 画像処理装置及び画像処理方法 | |
JP6274901B2 (ja) | 撮像装置及びその制御方法 | |
JP6235788B2 (ja) | 撮像装置及びその制御方法 | |
JP3118032B2 (ja) | ビデオカメラ | |
JP2020021989A (ja) | 撮像装置 | |
US11108984B2 (en) | Image processing device and control method therefor, and storage medium | |
CN105100587B (zh) | 摄像装置及其控制方法 | |
JP2009044592A (ja) | 固体撮像素子駆動装置及び撮像装置 | |
JP5884604B2 (ja) | 画像記録装置、撮像装置、画像記録プログラム、および画像表示プログラム | |
JP2006157152A (ja) | 撮像装置と撮像方法 | |
JP6659195B2 (ja) | 撮像装置およびその制御方法、プログラム | |
JP7110007B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記憶媒体 | |
JP2019024172A (ja) | 撮像装置およびその制御方法 | |
JP7457503B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220909 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7141295 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |