JP6723113B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6723113B2 JP6723113B2 JP2016167286A JP2016167286A JP6723113B2 JP 6723113 B2 JP6723113 B2 JP 6723113B2 JP 2016167286 A JP2016167286 A JP 2016167286A JP 2016167286 A JP2016167286 A JP 2016167286A JP 6723113 B2 JP6723113 B2 JP 6723113B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- processing circuit
- image data
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 361
- 238000003384 imaging method Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 description 65
- 238000004891 communication Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 35
- 238000007781 pre-processing Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
以下、例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、複数の画像処理回路を備える任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、複数の処理ユニットで画像処理が可能な任意の機器にも適用可能である。これらの機器には、例えばパーソナルコンピューター、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載カメラ、データセンタで動作するサーバ機器などが含まれてよい。また、以下の例では、画像データを複数の画像処理回路で分担して処理する例を説明するが、複数の装置や複数の仮想マシンの間で画像データを分担して処理する場合に適用してもよい。
図1は、本実施形態に係る画像処理装置の一例としてのデジタルカメラ100の機能構成例を示している。撮像部101は、レンズ、絞りなどの撮影光学系やCMOSセンサなどの撮像素子、撮像素子からの画像信号をデジタル信号に変換するAD変換器、これらの構成を駆動するための駆動部などを含む。撮像部101は、撮影光学系を通過した被写体光学像を撮像素子によって光電変換し、得られた画像信号をデジタル信号である画像データに変換する。撮像部101は、撮像素子が所定のフレームレートで1フレームごとの画像信号(以下、単にフレームともいう)を出力することで動画データを出力する。出力された動画データの全てのフレームは、マスタ画像処理回路102に入力される。
次に、撮像部101における撮像素子について説明する。図9は、撮像部101の撮像素子における受光部900を示している。受光部900は、ベイヤー状に2次元に配置された複数の受光素子を有する(なおベイヤー配列はカラーフィルタの配列であるが、ここでは便宜的に受光素子の配列とみなす)。各受光素子はそれぞれ1つの画素に対応する。また、受光部の一部の領域は被写体光が遮断(遮光)される遮光領域となる。遮光領域の画素の出力は、光を受光しない場合に画素信号に重畳するノイズ成分による信号のオフセットを表す(このため遮光領域の画素は基準画素などともいわれる)。受光部900は、図9に示すように、遮光されていない領域である有効領域901、垂直の遮光領域902、水平の遮光領域903を含む。垂直の遮光領域902は、例えば受光部900の上部領域に、上端部から一定の幅で設けられる。幅904は、垂直の遮光領域902の上端部からの幅を表す。また、水平の遮光領域903は、例えば受光部900の左側の領域に、左端部から一定の幅で設けられている。幅905は水平の遮光領域の左端部からの幅を表す。
次に、図2を参照して、デジタルカメラ100に含まれるマスタ画像処理回路102及びスレーブ画像処理回路103の機能構成例について説明する。マスタ画像処理回路102は、通信部210、プリ処理部211、OB補正部212、画像処理部214、符号化部217、制御部219、不図示のメモリコントローラを含む。一方、スレーブ画像処理回路103は、通信部220、プリ処理部221、OB補正部222、画像処理部224、符号化部227、記録制御部230、表示制御部231、制御部229、不図示のメモリコントローラを含む。なお、マスタ画像処理回路102とスレーブ画像処理回路103とは同じ構成であっても良い。また、図2では、信号の流れを把握し易くするために、メモリ105、106がそれぞれマスタ画像処理回路102、スレーブ画像処理回路103のブロック内に記載されているが、図1のように各メモリは各画像処理回路に接続される。
次に、図3を参照して、マスタ画像処理回路102からスレーブ画像処理回路103へ画像データを転送する転送処理について説明する。図3では、横軸は時間軸tを表し、301はフレームの期間毎に現れる垂直同期信号VDの立ち上がり及び立下りのタイミングを示している。302は撮像部101からの画像データの出力タイミングを表している。VOB、上側領域、下側領域の順に撮像部101からマスタ画像処理回路102に出力される。なお、HOB期間については省略するが、実際はライン毎にHOBが存在する。303は、マスタ画像処理回路102からスレーブ画像処理回路103へのデータの転送タイミングを表す。
次に第2の実施形態について説明する。第2の実施形態は、マスタ画像処理回路102が縮小画像を生成してスレーブ画像処理回路103へ転送し、各画像処理回路が当該縮小画像に基づいて画像処理を行う点が実施形態1と異なる。しかし、第2の実施形態に係るデジタルカメラ100の構成は、これらの構成の差異を除き、図1及び図2に示した第1の実施形態に係るデジタルカメラ100の構成と同様である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
上述した実施形態では、撮像部101から出力された1フレームの画像データをマスタとなる画像処理回路に入力し、その後マスタ画像処理回路とスレーブ画像処理回路とで画像処理を分担して実行する例を説明した。しかし、撮像部101を例えば外部装置から画像データを取得可能な通信機能を有するブロックに置き換えて、当該通信可能なブロックから画像データを取得するようにしてもよい。このとき、各画像処理回路を別々の処理装置に置き換えて、別々の装置内の通信部210と通信部220とが上述した実施形態を実現するように装置間で画像データを通信してもよい。また、各画像処理回路を、プログラムによって実現される別々の仮想マシンに置き換えて、別々の仮想マシンによって実現される通信部210と通信部220とが上述した実施形態を実現するように仮想マシンの間で画像データを送受信してもよい。
Claims (13)
- 垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、
前記撮像手段と接続された第1の画像処理回路と、
前記第1の画像処理回路と接続された第2の画像処理回路とを備え、
前記第1の画像処理回路は画像データを前記撮像手段から受信し、前記撮像手段から受信した画像データの1フレームの前記有効領域の一部である第1の領域の画像データに対して、前記1フレームの前記垂直遮光領域の画像データを用いて所定の画像処理を施し、
前記第1の画像処理回路は、前記1フレームの前記有効領域のうち、前記第1の領域とは少なくとも一部が異なり、かつ、前記垂直遮光領域と連続した一部を第2の領域として設定し、前記垂直遮光領域の画像データと、前記所定の画像処理が施されていない未処理の前記第2の領域の画像データとを、連続して前記第2の画像処理回路に送信し、
前記第2の画像処理回路は、前記第1の画像処理回路から送信された、前記1フレームの前記垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データとを受信し、前記受信した前記垂直遮光領域の画像データを用いて、前記受信した前記第2の領域の画像データに前記所定の画像処理を施すことを特徴とする画像処理装置。 - 前記撮像手段は、1フレームにおいて前記垂直遮光領域の画像データの後に前記有効領域の画像データを出力し、
前記第1の画像処理回路は、前記1フレームの前記有効領域のうちの上側の一部を前記第2の領域として設定し、前記1フレームの前記有効領域のうちの下側の一部を前記第1の領域として設定することを特徴とする請求項1に記載の画像処理装置。 - 前記撮像素子は水平遮光領域を有し、
前記第1の画像処理回路は、前記下側の一部および前記下側の一部に対応した前記水平遮光領域を前記第1の領域として設定し、前記上側の一部および前記上側の一部に対応した前記水平遮光領域を前記第2の領域として設定することを特徴とする請求項2に記載の画像処理装置。 - 前記第1の画像処理回路は、前記有効領域のうち、前記第1の領域以外の画像データに対しては前記所定の画像処理を行わず、
前記第1の画像処理回路は、前記有効領域のうち、前記第2の領域として設定された部分以外の未処理の画像データを前記第2の画像処理回路に送信しないことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データとを所定の伝送路を介して前記第2の画像処理回路に送信し、前記垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データとを送信していない期間に、前記第1の画像処理回路により前記所定の画像処理が施された前記第1の領域の画像データを、前記所定の伝送路を介して前記第2の画像処理回路に送信することを特徴とする請求項1から4の何れか1項に記載の画像処理装置。
- 前記第1の画像処理回路は、前記有効領域のうち、前記垂直遮光領域と連続していない部分を前記第1の領域として設定することを特徴とする請求項1に記載の画像処理装置。
- 前記所定の画像処理は、前記垂直遮光領域の画像データを用いて前記有効領域の画像データを補正する処理を含むことを特徴とする請求項1から6の何れか1項に記載の画像処理装置。
- 前記撮像手段は動画データを出力し、
前記第1の画像処理回路は前記撮像手段から出力された前記動画データを受信し、前記動画データの複数のフレームにおける前記第1の領域に前記所定の画像処理を施し、
前記第1の画像処理回路は、前記動画データの複数のフレームの前記垂直遮光領域の画像データと前記第2の領域の画像データを前記第2の画像処理回路に送信することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。 - 前記第1の画像処理回路は一つの集積回路であり、前記第2の画像処理回路は前記第1の画像処理回路とは異なる一つの集積回路であることを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記第1の画像処理回路に接続された第1のメモリと、
前記第2の画像処理回路に接続された第2のメモリと、を更に備え、
前記第1の画像処理回路は、前記撮像手段から受信した画像データのうち前記第2の領域の画像データを前記第1のメモリに記憶せずに前記第2の画像処理回路に送信することを特徴とすることを特徴とする請求項9に記載の画像処理装置。 - 前記第2の画像処理回路に接続された表示手段を更に備え、
前記第1の画像処理回路は、前記第1の画像処理回路により前記所定の画像処理が施された前記第1の領域の画像データを、前記第2の画像処理回路に送信し、
前記第2の画像処理回路は、前記第1の画像処理回路から送信された前記所定の画像処理が施された前記第1の領域の画像データと、前記第2の画像処理回路により前記所定の画像処理が施された前記第2の領域の画像データと、を用いて1フレームの表示用の画像データを生成し、前記表示用の画像データを前記表示手段に表示することを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。 - 前記第2の画像処理回路は、前記撮像手段から画像データを受信するために前記撮像手段と接続されていないことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
- 垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、
前記撮像手段と接続された第1の画像処理回路と、
前記第1の画像処理回路と接続された第2の画像処理回路と、
前記第1の画像処理回路は、画像データを前記撮像手段から受信し、前記撮像手段から受信した画像データの1フレームの前記有効領域の一部である第1の領域の画像データに対して、前記1フレームの前記垂直遮光領域の画像データを用いて所定の画像処理を施し、
前記第1の画像処理回路は、前記1フレームの前記垂直遮光領域の画像データと、前記1フレームの前記有効領域のうち前記第1の領域とは少なくとも一部が異なる第2の領域の、前記所定の画像処理が施されていない未処理の画像データと、を前記第2の画像処理回路に送信し、
前記第2の画像処理回路は、前記第1の画像処理回路から送信された、前記1フレームの前記垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データとを受信し、前記受信した前記垂直遮光領域の画像データを用いて、前記受信した前記未処理の前記第2の領域の画像データに前記所定の画像処理を施すことを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167286A JP6723113B2 (ja) | 2016-08-29 | 2016-08-29 | 画像処理装置 |
US15/663,937 US10250829B2 (en) | 2016-08-29 | 2017-07-31 | Image processing apparatus that uses plurality of image processing circuits |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016167286A JP6723113B2 (ja) | 2016-08-29 | 2016-08-29 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018037743A JP2018037743A (ja) | 2018-03-08 |
JP2018037743A5 JP2018037743A5 (ja) | 2019-09-26 |
JP6723113B2 true JP6723113B2 (ja) | 2020-07-15 |
Family
ID=61244088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016167286A Active JP6723113B2 (ja) | 2016-08-29 | 2016-08-29 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10250829B2 (ja) |
JP (1) | JP6723113B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5322816B2 (ja) * | 2009-07-15 | 2013-10-23 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US8843568B2 (en) * | 2010-05-17 | 2014-09-23 | Microsoft Corporation | Email tags |
JP6280713B2 (ja) | 2013-09-09 | 2018-02-14 | オリンパス株式会社 | 撮像装置 |
-
2016
- 2016-08-29 JP JP2016167286A patent/JP6723113B2/ja active Active
-
2017
- 2017-07-31 US US15/663,937 patent/US10250829B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180063455A1 (en) | 2018-03-01 |
US10250829B2 (en) | 2019-04-02 |
JP2018037743A (ja) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6123274B2 (ja) | 撮像装置 | |
US10306192B2 (en) | Image processing apparatus, image processing method and image capture apparatus for demosaicing | |
US20130010153A1 (en) | Image pickup apparatus and image pickup apparatus control method, and program | |
US10825145B2 (en) | Image processing device, image processing method, and non-transitory computer readable medium storing image processing program | |
JP2015049402A (ja) | 焦点ずれ量検出装置およびその制御方法、撮像装置 | |
KR20150000072A (ko) | 이미지 생성 장치 및 이미지 생성 방법 | |
US20180270448A1 (en) | Image processing system | |
US20090066804A1 (en) | Data-processing circuit and video camera | |
US10511779B1 (en) | Image capturing apparatus, method of controlling same, and storage medium | |
US8964058B2 (en) | On-board camera system for monitoring an area around a vehicle | |
JP6723113B2 (ja) | 画像処理装置 | |
US11910115B2 (en) | Imaging element, imaging apparatus, operation method of imaging element, and program | |
CN109151265B (zh) | 摄像设备、控制方法和存储介质 | |
US9918028B2 (en) | Image capturing apparatus comprising a plurality of processing circuits for correcting defective pixel by using information of defective pixel detected in different frames and control method for the same | |
JP6702792B2 (ja) | 画像処理装置およびその制御方法 | |
WO2021014867A1 (ja) | 撮像装置およびその制御方法 | |
JP7332376B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP6557451B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
US10244179B2 (en) | Image processing apparatus, image capturing apparatus, control method, and recording medium | |
JP6871795B2 (ja) | 撮像装置、その制御方法、プログラム及び記録媒体 | |
JP2009038627A (ja) | 撮像装置 | |
JP6091216B2 (ja) | 画像信号処理装置およびその制御方法、並びに撮像装置 | |
JP2018207254A (ja) | 撮像装置、制御方法、プログラム及び撮像システム | |
JP6917800B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6889622B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200623 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6723113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |