JP6723113B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6723113B2
JP6723113B2 JP2016167286A JP2016167286A JP6723113B2 JP 6723113 B2 JP6723113 B2 JP 6723113B2 JP 2016167286 A JP2016167286 A JP 2016167286A JP 2016167286 A JP2016167286 A JP 2016167286A JP 6723113 B2 JP6723113 B2 JP 6723113B2
Authority
JP
Japan
Prior art keywords
image processing
image
processing circuit
image data
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016167286A
Other languages
English (en)
Other versions
JP2018037743A (ja
JP2018037743A5 (ja
Inventor
大輔 若宮
大輔 若宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016167286A priority Critical patent/JP6723113B2/ja
Priority to US15/663,937 priority patent/US10250829B2/en
Publication of JP2018037743A publication Critical patent/JP2018037743A/ja
Publication of JP2018037743A5 publication Critical patent/JP2018037743A5/ja
Application granted granted Critical
Publication of JP6723113B2 publication Critical patent/JP6723113B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は画像処理装置に関する。
近年、撮像素子の多画素化や動画像の高フレームレート化などに伴って単位秒あたりのデータ量が増大し、撮像素子から出力される画像データを処理する画像処理回路の処理負荷が増大している。撮像素子から出力される画像データには、被写体像が結像する有効領域の画素信号に加えて、有効領域の周辺に配置された、常に遮光された複数列及び複数行の光学的黒領域(オプティカルブラック:OB)の画素信号が含まれる。画像処理回路は、OB領域の画素信号を用いて、有効領域の画素信号に乗ったノイズ成分を低減するための補正処理を行ったうえで、有効領域の画像信号に対し他の所定の画像処理を施す。
撮像素子のデータ量の増大によって1つの画像処理回路では処理しきれなくなる場合があるため、複数の画像処理回路を用いることによって各画像処理回路の処理負荷を軽減するための構成が提案されている(特許文献1)。特許文献1は、撮像部から出力される画像データを2つの画像処理回路(撮像処理部)に入力して分担する画像領域を抽出し、抽出したOB領域及び有効領域の信号を用いて補正処理を行う技術を開示している。
特開2015−53645号公報
しかしながら、特許文献1に開示された技術は、2つの撮像処理部に対し、撮像部から出力される画像データの全体を一旦それぞれの撮像処理部に入力し、それぞれの撮像処理部で処理対象の領域を抽出して処理を行う。このため、各撮像処理部に対して大容量の動画データを高速に入力するための構成が必要となり低コスト化が困難である。加えて、特許文献1の構成では、各撮像処理部は画像全体を入力しながら処理しなければならず、処理負荷の低減や処理の高速化が十分に行えない場合がある。
本発明は、上述の問題点に鑑みてなされたものである。すなわち、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することが可能な画像処理装置を提供することを目的とする。
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、撮像手段と接続された第1の画像処理回路と第1の画像処理回路と接続された第2の画像処理回路とを備え、第1の画像処理回路は画像データを撮像手段から受信し、撮像手段から受信した画像データの1フレームの有効領域の一部である第1の領域の画像データに対して、1フレームの垂直遮光領域の画像データを用いて所定の画像処理を施し、第1の画像処理回路は、1フレームの有効領域のうち、第1の領域とは少なくとも一部が異なり、かつ、垂直遮光領域と連続した一部を第2の領域として設定し、垂直遮光領域の画像データと、所定の画像処理が施されていない未処理の第2の領域の画像データ、連続して第2の画像処理回路に送信第2の画像処理回路は、第1の画像処理回路から送信された、1フレームの垂直遮光領域の画像データと未処理の第2の領域の画像データを受信し、受信した垂直遮光領域の画像データを用いて、受信した第2の領域の画像データに所定の画像処理を施すことを特徴とする。
本発明によれば、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することができる。
第1の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。 第1の実施形態に係る画像処理回路の機能構成例を説明するためのブロック図である。 第1の実施形態に係る画像データの転送タイミングの例を模式的に示す図である。 第1の実施形態に係る各画像処理回路で処理される画像を説明するための図である。 第1の実施形態とは異なる画像データの転送タイミングの例を模式的に示す図である。 第1の実施形態に係る更なる画像データの転送タイミングの例を模式的に示す図である。 第2の実施形態に係る画像処理回路の機能構成例を説明するためのブロック図である。 第2の実施形態に係る画像データの転送タイミングの例を模式的に示す図である。 第1及び第2の実施形態に係る撮像素子の受光面の画素配置を説明するための図である。
(第1の実施形態)
以下、例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、複数の画像処理回路を備える任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、複数の処理ユニットで画像処理が可能な任意の機器にも適用可能である。これらの機器には、例えばパーソナルコンピューター、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載カメラ、データセンタで動作するサーバ機器などが含まれてよい。また、以下の例では、画像データを複数の画像処理回路で分担して処理する例を説明するが、複数の装置や複数の仮想マシンの間で画像データを分担して処理する場合に適用してもよい。
(デジタルカメラ100の構成)
図1は、本実施形態に係る画像処理装置の一例としてのデジタルカメラ100の機能構成例を示している。撮像部101は、レンズ、絞りなどの撮影光学系やCMOSセンサなどの撮像素子、撮像素子からの画像信号をデジタル信号に変換するAD変換器、これらの構成を駆動するための駆動部などを含む。撮像部101は、撮影光学系を通過した被写体光学像を撮像素子によって光電変換し、得られた画像信号をデジタル信号である画像データに変換する。撮像部101は、撮像素子が所定のフレームレートで1フレームごとの画像信号(以下、単にフレームともいう)を出力することで動画データを出力する。出力された動画データの全てのフレームは、マスタ画像処理回路102に入力される。
マスタ画像処理回路102は、撮像部101からの各フレームうち、下側の一部の領域(下側領域)を処理し、他の領域を処理すること無くスレーブ画像処理回路103に送る。また、後述のように、マスタ画像処理回路102は、撮像部101からの各フレームうち、上側の一部の領域(上側領域)を処理すること無くスレーブ画像処理回路103に送る。スレーブ画像処理回路103は、マスタ画像処理回路102から送出された、各フレームの上側の領域を処理する。また、スレーブ画像処理回路103は、マスタ画像処理回路102からの処理済みの下側領域のデータを受けとり、スレーブ画像処理回路103が処理した領域と共に1フレーム全体の画像データを生成する。スレーブ画像処理回路103は、生成した画像データを記録媒体107に記録すると共に、表示装置108に送る。
操作部104は、電源スイッチや記録開始、停止、その他各種の操作スイッチ等を備え、ユーザからの指示をマスタ画像処理回路102に送出する。メモリ105、106は、DRAM等の揮発性メモリを含み、それぞれマスタ画像処理回路102、スレーブ画像処理回路103に接続される。なお、本実施形態では、マスタ画像処理回路102とスレーブ画像処理回路103はそれぞれ一つの画像処理用の集積回路(IC)として構成される場合を例に説明するが、汎用的なプロセッサやソフトウェアによって実現されてもよい。また、メモリ105、106はそれぞれ、マスタ画像処理回路102とスレーブ画像処理回路103とは別のICとして構成される。
記録媒体107は、例えばメモリカードやハードディスク等を含み、撮像部101を介して撮影された画像データや動画データを記録する。撮影された画像データや映像データを記録できるものであれば着脱可能に構成されてもよい。表示装置108は、例えばLCDやOLEDのパネルで構成されるモニタを含み、撮影された画像データ又は映像データ若しくは記録媒体107に格納されているこれらのデータを表示する。
(撮像部101の撮像素子の構成)
次に、撮像部101における撮像素子について説明する。図9は、撮像部101の撮像素子における受光部900を示している。受光部900は、ベイヤー状に2次元に配置された複数の受光素子を有する(なおベイヤー配列はカラーフィルタの配列であるが、ここでは便宜的に受光素子の配列とみなす)。各受光素子はそれぞれ1つの画素に対応する。また、受光部の一部の領域は被写体光が遮断(遮光)される遮光領域となる。遮光領域の画素の出力は、光を受光しない場合に画素信号に重畳するノイズ成分による信号のオフセットを表す(このため遮光領域の画素は基準画素などともいわれる)。受光部900は、図9に示すように、遮光されていない領域である有効領域901、垂直の遮光領域902、水平の遮光領域903を含む。垂直の遮光領域902は、例えば受光部900の上部領域に、上端部から一定の幅で設けられる。幅904は、垂直の遮光領域902の上端部からの幅を表す。また、水平の遮光領域903は、例えば受光部900の左側の領域に、左端部から一定の幅で設けられている。幅905は水平の遮光領域の左端部からの幅を表す。
画像データは受光素子の上端の主走査ラインを先頭として、主走査ラインの端部から画素単位で順次ラスタ走査の要領で出力される。本実施形態では、有効領域の画素数を、水平4096画素×垂直2160画素とする。また、垂直の遮光領域の幅904をn画素、水平の遮光領域の幅905をm画素とする。また、撮像部101は、60フレーム枚秒(fps)の動画データを出力する。なお、垂直の遮光領域902(垂直遮光領域)の画素に対応する画像データをVOB(VerticalOpticalBlack)のデータ、水平の遮光領域903(水平遮光領域)の画素に対応する画像データをHOB(HorizontalOpticalBlack)のデータともいう。また、撮像部101からの画像データはベイヤー配列の状態で出力され、画像処理が施されていない状態である。そのため、撮像部101からの画像データはRAW画像データとも呼ぶ。
(マスタ画像処理回路102及びスレーブ画像処理回路103の構成)
次に、図2を参照して、デジタルカメラ100に含まれるマスタ画像処理回路102及びスレーブ画像処理回路103の機能構成例について説明する。マスタ画像処理回路102は、通信部210、プリ処理部211、OB補正部212、画像処理部214、符号化部217、制御部219、不図示のメモリコントローラを含む。一方、スレーブ画像処理回路103は、通信部220、プリ処理部221、OB補正部222、画像処理部224、符号化部227、記録制御部230、表示制御部231、制御部229、不図示のメモリコントローラを含む。なお、マスタ画像処理回路102とスレーブ画像処理回路103とは同じ構成であっても良い。また、図2では、信号の流れを把握し易くするために、メモリ105、106がそれぞれマスタ画像処理回路102、スレーブ画像処理回路103のブロック内に記載されているが、図1のように各メモリは各画像処理回路に接続される。
マスタ画像処理回路102の通信部210は、撮像部101から出力されたOB領域を含む動画データの各フレームを取得する。そして、通信部210は、各フレームの有効領域のうち、上側の一部の領域のデータをスレーブ画像処理回路103に送信する。また、通信部210は撮像部101から受信した各フレームの有効領域のうち、スレーブ画像処理回路103に送信される、下側の一部以外の画像データはスレーブ画像処理回路103に送信しない。一方で、通信部210は、撮像部101から受信した画像データの各フレームについて、1フレーム全体の画像データをプリ処理部211に送信する。更に、通信部210は、後述する表示用画像215、ストリーム画像218をメモリ105から読み出してスレーブ画像処理回路103に転送する。
ここで、本実施形態において各処理回路で処理される画像の領域の例を、図4(a)を参照して説明する。図4(a)の左図における401は、撮像部101から出力される動画データの1フレームを示している。401に示すように、撮像部101からの各フレームは、有効領域、垂直の遮光領域(VOB)、水平の遮光領域(HOB)を含む。
また、402はマスタ画像処理回路102が処理する画像データ(点線で囲まれた部分)を示している。マスタ画像処理回路102は、VOB領域と、下側の有効領域及び下側の有効領域の各ラインに対応するHOBのデータを処理する。なお、上側の有効領域および各ラインに対応するHOBのデータは、マスタ画像処理回路102で処理しないため、メモリ105には記憶されない。
403は、マスタ画像処理回路102からスレーブ画像処理回路103に転送される未処理の画像データ(点線で囲まれた部分)を表している。スレーブ画像処理回路103に転送されるデータは、上側の有効領域の画像データ、上側の有効領域の各ラインに対応するHOBおよびVOBのデータである。ここで、本実施形態では、上側領域と下側領域の境界部分の一部が重複するように、各画像処理回路が処理する領域が設定される。この理由は、上側領域と下側領域の境界部分を各画像処理回路102、103において現像処理した際に同じ結果が得られるようにするためである。更に、本実施形態では、マスタ画像処理回路102とスレーブ画像処理回路103が処理する有効領域の画素数が同じ画素数になるように、上側領域と下側領域が設定される。例えば、撮像部101から出力される画像データの有効領域は、水平4096画素×垂直2160画素であるので、上側領域と下側領域がそれぞれ、水平4096画素×垂直1080+α画素となるように設定する。この重複する領域の画素数αは、現像処理のために使用される画素数に対応している。このようにスレーブ画像処理回路103が処理する領域を設定することにより、1フレームのVOB、および上側の有効領域の画像データとHOBをマスタ画像処理回路102からスレーブ画像処理回路103にまとめて転送することができる。このため、スレーブ画像処理回路103はHD、VDを使用して、1フレームの未処理の画像データを受けとる場合と同様の制御により画像を受け取ることが可能となる。なお、現像処理した際に同じ結果が得られることを考慮しない場合には、上側領域と下側領域とが重複する領域を持たないように設定することも可能である。この場合には、1フレームの有効領域は、上下に半分ずつ分割され、分割された上側領域と下側領域とが設定される。
再び図2を参照する。プリ処理部211は、通信部210から送られた1フレームの画像データのうち、マスタ画像処理回路102において処理する領域(図4(a)に示した402)を取り出す。すなわち、本実施形態の例では、プリ処理部211はVOBと下側の領域の画像データを取り出す。また、プリ処理部211は取り出した画像データに対して傷画素の補正等の補正処理を行う。このように、プリ処理部211はマスタ画像処理回路102で処理しない上側の有効領域の画像データを出力しない。そのため、これ以降も、上側の有効領域の画像データは処理されず、また、メモリ105にも記憶されないように制御されることになる。
OB補正部212は、OB領域を用いて画像補正を行う。例えばVOBやHOBを利用して撮像部101の暗電流等によって生じる固定パターンのノイズを低減させて信号の黒レベルを補正する。OB補正部212は、補正後の画像を中間画像213としてメモリ105に出力する。なお、プリ処理部211以降の処理を行うブロックは、1フレームの略半分の画像データを処理する。そのため、マスタ画像処理回路102、スレーブ画像処理回路103は、それぞれ、撮像部101からの動画データの1フレームの略半分の画素数のデータを60fpsでリアルタイムに処理する能力を有すればよい。また、プリ処理部211よりも前の処理を行う構成は、撮像部101からの動画データの1フレーム全てを60fpsでリアルタイムに処理する能力を必要とする。
画像処理部214は現像処理、幾何変形、リサイズ、ノイズリダクションなど画像に対して各種適切な処理を施す。例えば、画像処理部214は、表示装置108の表示画面のサイズ(画素数)に応じて、入力された画像データの画素数を変換する。本実施形態では、表示装置108の表示画面のサイズが、入力された画像データのサイズよりも小さい構成としている。そのため、画像処理部214は、入力された画像データの画面サイズを縮小することにより、表示用の画像データを生成する。その後、画像処理部214は表示用画像215と記録用画像216をメモリ105に出力する。符号化部217は記録用画像216をメモリ105から読み出して画像圧縮処理を施す。圧縮方式はH.264など既知の方式を用いればよい。符号化部217は圧縮されたストリーム画像218をメモリ105に出力する。
制御部219は、例えばCPUあるいはMPU、ROM、RAM等を含み、不揮発性の記録媒体であるROMに格納されたプログラムを揮発性の記録媒体であるRAMに展開、実行することによりマスタ画像処理回路102の各部の動作を制御する。なお、図2では、図の視認性を確保する観点から、制御部219とマスタ画像処理回路102の他のブロックとの接続を図示していないが、制御部219とこれらのブロックとは接続されて制御信号及び必要なデータの送受信がなされる。また、マスタ画像処理回路102の制御部219は、撮像部101や操作部104等の他のブロックとも制御信号等の送受信が可能であり、プログラムを実行することにより、これらのブロックの動作を制御してデジタルカメラ100全体の動作を制御する。
スレーブ画像処理回路103は、マスタ画像処理回路102から転送されたフレームの上側領域の画像データに対して、基本的にマスタ画像処理回路102と同様な処理を施す。通信部220は転送されたVOBのデータと上側領域の未処理の画像データをプリ処理部221に送る。また、通信部220は、後述のように、マスタ画像処理回路102から転送された、下側領域の表示用画像215とストリーム画像218を取り出してメモリ106に記憶する。プリ処理部221はマスタ画像処理回路102のプリ処理部221と同様の処理を行う。ただし、通信部220から転送される画像データは、VOBと上側領域の画像データだけなので、プリ処理部221は、通信部220から転送されるVOBのデータと上側領域の画像データを全て処理してOB補正部222に転送する。OB補正部222は、上側領域の画像データにOB補正を行った結果を中間画像223としてメモリ106に記憶する。画像処理部224は入力された上側領域の画像データに各種処理を施して、表示用画像225、記録用画像226としてメモリ106に記憶させる。符号化部227は記録用画像226を圧縮し、ストリーム画像228としてメモリ106に記憶させる。
記録制御部230は、符号化部227により圧縮されたストリーム画像228と、マスタ画像処理回路102から転送されたストリーム画像218とを順次読み出し、記録媒体107に記録する。表示制御部231は、画像処理部224により処理された表示用画像225とマスタ画像処理回路102から転送された表示用画像215とを順次読み出して表示装置108に画像を表示する。なお、本実施形態においては、マスタ画像処理回路102から転送されたストリーム画像218及び表示用画像215は、一旦メモリ106に書き込まれ、メモリ106を介して処理がなされる。しかし、メモリ106を介さずに記録制御部230、表示制御部231に直接転送されてもよい。
(画像処理回路間における画像データの転送処理)
次に、図3を参照して、マスタ画像処理回路102からスレーブ画像処理回路103へ画像データを転送する転送処理について説明する。図3では、横軸は時間軸tを表し、301はフレームの期間毎に現れる垂直同期信号VDの立ち上がり及び立下りのタイミングを示している。302は撮像部101からの画像データの出力タイミングを表している。VOB、上側領域、下側領域の順に撮像部101からマスタ画像処理回路102に出力される。なお、HOB期間については省略するが、実際はライン毎にHOBが存在する。303は、マスタ画像処理回路102からスレーブ画像処理回路103へのデータの転送タイミングを表す。
311は、撮像部101からの画像データのVOBと上側領域が転送されるタイミングを示している。VOBの画像データと上側領域の画像データとはひとまとまりに転送される。即ち、VOBの画像データと上側領域の画像データの間には他の画像データが転送されず、VOBの画像データと上側領域の画像データは隙間なく連続して転送される。312は割り込み信号である。通信部210は、1フレームにおけるVOBと上側領域の画像データの転送が完了すると、割り込み信号303を制御部219に送り、1フレームのVOBと上側領域の画像データの転送の完了を通知する。313は1フレームの画像データの期間における、撮像部101からの画像データを転送していない隙間時間を示している。マスタ画像処理回路102が下側領域の画像データを撮像部101から受けとる期間と、VD301のブランキング期間とを合わせた期間が、まとまった(最大化された)隙間時間313になる。マスタ画像処理回路102はVOBと上側領域のデータを隙間なく連続して転送するため、撮像部101からの未処理の画像データをスレーブ画像処理回路102に転送するための期間以外の、まとまった転送期間を確保することができる。
本実施形態における転送との比較のために、本実施形態と反対にマスタ画像処理回路102が上側領域を処理する場合の画像分割の処理と転送効率について説明する。図4(b)は、本実施形態と反対にマスタ画像処理回路102が上側領域を処理する場合の画像データを示している。マスタ画像処理回路102は、404に示す様に、上側領域と各ラインのHOB、VOBのデータを処理する。一方、マスタ画像処理回路102は、VOB、及び下側領域と各ラインのHOBをスレーブ画像処理回路103に転送する。この場合、VOBのデータと下側領域のデータとは時間的に離れて撮像部101から受信されるため、以下に示すような異なるタイミングで転送される。
図5は、本実施形態と反対にマスタ画像処理回路102が上側領域を処理する場合の画像の転送タイミングを示している。通信部210はVOBの転送501が完了すると、制御部219に割り込み信号502を送信して、VOBの転送の完了を通知する。撮像部101からは、VOBに引き続いて上側領域の画像データが出力されるが、上側領域の画像データはスレーブ画像処理回路103では処理しない。そのため、撮像部101から上側領域の画像データが受信されている期間はスレーブ画像処理回路103に対して画像データは転送されず、この期間が隙間時間503となる。その後、撮像部101から下側領域の画像データが出力されると、通信部210は、VOBを送信した後に発生する隙間時間503の後に、下側領域の転送504を行い、その後下側領域の転送の完了を制御部219に通知する割り込み信号505を送信する。図5に示すように、マスタ画像処理回路102がVOBと下側領域とをスレーブ画像処理回路103に転送しようとする場合、転送期間が分断されてしまう。また、この場合、スレーブ画像処理回路103は、VD信号を使用して下側領域の画像データを受信することができない。そのため、通信部210は、スレーブ画像処理回路103が下側領域の画像データを受信するための同期信号を生成し、スレーブ画像処理回路103に送信する必要がある。
上述のとおり、(本実施形態のように)撮像部101からの各フレームのうちVOBと上側の一部の領域とをスレーブ画像処理回路103に転送することにより、まとまった転送期間を確保することができる。このようにすれば、割り込み回数や転送におけるコマンドのオーバーヘッドが少なくなるため、システム負荷を軽減し、転送効率を向上させることができる。
図6は、本実施形態における撮像部101からの画像データの転送の隙間時間を用いて、表示用の画像データと圧縮されたストリームデータを転送する場合のタイミングを示している。前述のように、表示用の画像データ215は撮像部101からの画像データの画面サイズよりも小さいため、撮像部101からの画像データよりもデータ量が少ない。また、記録用のストリームデータ218は圧縮処理されているため、やはり、撮像部101からの画像データよりもデータ量が少ない。そのため、通信部210は、スレーブ画像処理回路103に対してVOBと上側領域の画像データを転送が完了してから、次のフレームのVOBと上側領域の画像データを転送するまでの隙間期間に、表示用画像データ215と記録用ストリームデータ218を転送する。通信部210は、601によって示される期間に表示用画像215を転送し、表示用画像215の転送が完了すると、割り込み信号602により転送の完了を制御部219に通知する。次に603によって示される期間には、通信部210は、同様にストリーム画像218を転送し、ストリーム画像218の転送が完了すると、割り込み信号604により転送の完了を制御部219に通知する。
なお、本実施形態では、VOBとHOBがそれぞれ画像の上と左の領域に存在する場合を例に説明したが、VOBやHOBの位置はこれらの位置に限定されず、例えばVOBが画像の下の領域に、HOBが画像の右の領域に存在している場合でも構わない。VOBが下にある場合はVOBと下半分をスレーブ画像処理回路103に転送するようにすれば、上述した本実施形態と同様の効果が期待できる。
また、本実施形態では、マスタ画像処理回路102とスレーブ画像処理回路103との2個の画像処理回路を有する構成において、有効領域における上側と下側の一部の領域を各画像処理回路がそれぞれ処理する例を説明した。しかし、本実施形態は、3個以上の画像処理回路を用いて画像処理を行う場合にも適用可能である。この場合、少なくとも一部の領域が異なるように、1フレームの有効領域から3個以上の処理領域を設定し、各画像処理回路が異なる処理領域を処理する構成とする。例えば、3個の画像処理回路を直列に接続した場合は、1番目の(最上流側の)画像処理回路が撮像部からの画像データを受け取る。そして、この1番目の画像処理回路が1フレームの有効領域から、少なくとも一部が異なる、上側領域、中間領域、下側領域を設定し、VOBと、上側領域及び中間領域の画像データとを、まとめて2番目の画像処理回路に送信する。また、1番目の画像処理回路は、有効領域の下側の領域とVOBとを処理する。2番目の画像処理回路は、受信したVOBと上側領域及び中間領域のうちの最も下側の領域である中間領域とVOBとを処理する。また、2番目の画像処理回路は、受信した有効領域のうちの最も上側の領域である上側領域とVOBの画像データをまとめて3番目の画像処理回路に送信する。そして、3番目の画像処理回路は、VOBと上側領域の画像データを処理する。また、1番目の画像処理回路は、自分が処理した表示用画像と記録用のストリームデータとを、前述のように、2番目の画像処理回路に対する未処理の画像データを転送していない隙間の期間に2番目の画像処理回路に送信する。2番目の画像処理回路は、1番目の画像処理回路から受信した、下側領域の処理済みの画像データと、自分が処理した中間領域の表示用画像と記録用のストリームデータとを、前述のように、3番目の画像処理回路に対する未処理の画像データを転送していない隙間の期間に3番目の画像処理回路に送信する。このようにすれば、3個以上の画像処理回路を用いた分散処理を実現することができ、各画像処理回路の処理負荷を減らしながら、まとまった転送期間を多く確保することができる。
また、本実施形態では、上側領域と下側領域の画素数が同じになるように設定した。しかし、上側領域と下側領域の画素数が異なる画素数となるように設定してもよい。例えば、上側領域と下側領域の画素数が所定の比率(例えば3対7)になるように設定する。上側領域と下側領域の画素数を3対7に設定する場合、マスタ画像処理回路102は、例えば下側7の比率の領域とVOBとを処理し、一方、上側3の比率の領域とVOBとを含むデータをスレーブ画像処理回路103にまとめて送信する。すなわち上述した例と同様、VOB領域と時間的に連続する有効領域の一部をスレーブ画像処理回路103に転送し、マスタ画像処理回路102はVOBと残りの有効領域を処理するようにすればよい。このようにすれば、画像処理回路の間で(性能や役割等に応じて)負荷の分担を調節することができるとともに、まとまった転送期間を多く確保することができる。
以上説明したように本実施形態では、複数の画像処理回路を直列に接続(すなわちマスタ画像処理回路に画像データを入力し、スレーブ画像処理回路が分担する画像データをマスタ画像処理回路から入力)し処理を分担する構成とした。このようにすることで、各処理回路に対して撮像部から各画像処理回路に高速に画像データを転送する必要がない。また、本実施形態では、上流側であるマスタ画像処理回路102からスレーブ画像処理回路103に対して、時間的に連続するひとまとまりとなるデータ(すなわちVOBと上側有効領域)を転送するようにした。このようにすることで、通信部210は、VOBと上側有効領域の画像データをスレーブ画像処理回路103に転送した後、次のフレームのVOBと上側有効領域の画像データを転送するまでの間、まとまった転送期間を確保することができる。さらに、通信部210は、VOBと上側有効領域の画像データの転送が完了するまでは割り込み信号を制御部219に対して発行しないので、割り込み信号等の発生を抑制してシステムの負荷を低減することができる。そのため、転送効率が上がってシステムのパフォーマンスが向上する。換言すれば、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することができるようになる。
(第2の実施形態)
次に第2の実施形態について説明する。第2の実施形態は、マスタ画像処理回路102が縮小画像を生成してスレーブ画像処理回路103へ転送し、各画像処理回路が当該縮小画像に基づいて画像処理を行う点が実施形態1と異なる。しかし、第2の実施形態に係るデジタルカメラ100の構成は、これらの構成の差異を除き、図1及び図2に示した第1の実施形態に係るデジタルカメラ100の構成と同様である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
図7は、本実施形態に係るデジタルカメラ100を構成する、マスタ画像処理回路102及びスレーブ画像処理回路103の機能構成例を示している。マスタ画像処理回路102のプリ処理部211は、OB補正部212に対しては第1の実施形態と同様に、下側領域の画像データだけを出力する。一方、プリ処理部211は、縮小処理部711に対しては、各フレームについて、1フレーム全体の画像データを送る。縮小処理部711は、各フレームについて、1フレーム全体の縮小画像を生成し、縮小画像712としてメモリ105に記憶する。評価値算出部713は、縮小画像712をメモリ105から読み出して、縮小画像712に対する評価値を算出し、画像処理部214に評価値及び縮小画像712を出力する。また、本実施形態では、通信部210と220とは別に、通信部714と724を備える構成とした。そして、この通信部714と715からなる通信路により、表示用画像215とストリーム画像218とを送受信する。
通信部210は、第1の実施形態と同様、撮像部101からの画像データの各フレームのうち、VOBと上側の有効領域の画像データをスレーブ画像処理回路103に送信する。また、通信部210は、撮像部101からの画像データの各フレームのうち、下側領域(すなわち上側領域とした部分以外)の画像データはスレーブ画像処理回路103に送信しない。更に、通信部210は、縮小画像712をメモリ105から読み出してスレーブ画像処理回路103の通信部220に転送する。通信部220は、受信した縮小画像を評価値算出部723に出力する。評価値は、スレーブ画像処理回路103においても評価値算出部723により算出され、画像処理部224に出力される。
評価値算出部713及び723が算出する評価値は、例えば画像処理部214及び画像処理部224が現像処理を実行する際に用いる低帯域の画像情報などを指す。例えば、画像処理部214は、低帯域の画像情報で表される当該評価値を用いてデジタル覆い焼きなど既知の画像処理を行う。デジタル覆い焼きを行う場合、評価値算出部713は、縮小画像712をゲイン情報に変換し、入力された画像データと同じ等倍サイズに拡大する。画像処理部214、224は、等倍サイズに拡大したゲイン情報を用いて、中間画像に対するゲイン処理を行うことによって、被写体の低輝度領域を持ち上げる覆い焼き効果を出すことができる。なお、評価値算出部713が算出する評価値はこの限りではなく、画像の動きベクトル量検出、被写体検出など、画角全体を用いて算出する評価値とすることも可能である。
また、マスタ画像処理回路102が撮像部101から受信した画像データの各フレームの画像を縮小して、スレーブ画像処理回路103に縮小した画像を転送する理由は以下の通りである。一般に、低帯域情報を取得するためには広範囲の画像データが必要になる。分割した画像をマスタ画像処理回路102とスレーブ画像処理回路103とに入力して低帯域情報を取得しようとする場合、撮像画像領域をオーバーラップさせるようにした画像を双方の画像処理回路に入力し処理させなければならない。オーバーラップさせた領域の分だけ画像処理回路の処理量が増加するため、スループットの低減やバス帯域の圧迫につながり処理パフォーマンスが低下してしまう。例えば、縮小処理部711における縮小率が1/256であり、評価値算出部713において垂直方向5タップのフィルタ処理を行う場合、垂直方向のオーバーラップ量は256×2=512ラインとなってしまう。このため、入力する画像データに対する処理量増大によって画像処理回路のパフォーマンスが低下する原因となる。他方、上述したようにマスタ画像処理回路102が1フレームの画像を縮小し、縮小後の画像をスレーブ画像処理回路103に転送することによって、撮像した画像をオーバーラップさせて処理することを防ぎ、パフォーマンスの低下を抑えることができる。
次に、図8を参照して、本実施形態に係る画像データと縮小画像712の転送タイミングについて説明する。図8は、図3と同様に、マスタ画像処理回路102の通信部210からスレーブ画像処理回路103の通信部220へデータを転送するタイミングを示している。また、図3と同様に、横軸は時間軸t、301は垂直同期信号VD、302は撮像部101から出力される画像データを示している。なお、通信部714と724との間で送受信される表示用画像215とストリーム画像218については図示していないが、301に示すVDのタイミングと同期してスレーブ画像処理回路103に送信されてよい。すなわち、表示用画像215とストリーム画像218は、通信部210と通信部220とで構成される伝送路とは異なる、通信部714と通信部724とで構成される別の伝送路を介して送信されてよい。
801は、縮小処理部711が画像を縮小するタイミングを示す。縮小処理部711は、縮小処理において撮像部101から出力された各フレームの画像データをメモリ105に記憶することなくダイレクトに処理する。そのため、縮小処理部711は、撮像部101からの画像データの出力タイミングと同じタイミングで処理することができる。802は、スレーブ画像処理回路103へ画像データと縮小画像を転送するタイミングを示す。第1の実施形態と同様、通信部210は、まずVOBおよびフレームの上側領域を転送し、当該上側領域等の転送の完了を示す割り込み312を制御部219に通知する。次に、通信部210は縮小画像712をスレーブ画像処理回路103に転送し、縮小画像の転送の完了を示す割り込み803を制御部219に通知する。
図8に示すように、本実施形態では、撮像部101からの画像データの出力中に、縮小画像712が出力中のフレームと同じフレームを縮小する。そのため、縮小処理と縮小画像712の転送は同じタイミングで行われる。このとき、通信部210は、縮小処理された画素情報を次のフレームを待たずに順次転送していく必要がある。縮小処理部711及び通信部210による、メモリ105への縮小画像712の読み書きのアクセスは、上記機能を実現するように動作する。すなわち、縮小処理部711により当該フレームの縮小画像のデータがメモリ105に書き込まれた後、通信部210が読み出しを行うように制御される。なお、このような動作に限らず、メモリ105を介さずに縮小処理部711の出力を通信部210に直接送っても構わない。
なお、本実施形態とは異なり、スレーブ画像処理回路103にVOBと下側領域の画像データを転送しようとした場合、VOBの画像データの転送タイミングと下側領域の画像データの転送タイミングの間が短く、縮小画像の転送するタイミングと重なって転送できない可能性がある。すなわち、縮小画像を転送するタイミングが下側領域の画像データを転送した後になり(転送タイミングが遅くなり)、結果他の処理タイミングの遅延につながる恐れがある。一方、上述した本実施形態では、上側領域の画像データの転送後の長い隙間期間に縮小画像を転送することができるため、上述したタイミングの遅延を回避することができるのである。
以上説明したように本実施形態では、複数の画像処理回路を直列に接続し処理を分担する構成において、上流側の処理回路であるマスタ画像処理回路102から、スレーブ画像処理回路103に対して、VOBと上側領域のデータをひとまとまりで転送する。これにより、通信部210はまとまった転送期間を確保することができる。そして、VOB及び上側領域のデータをスレーブ画像処理回路103に転送するフレームのタイミングと同じフレームのタイミングで当該フレームの縮小画像を転送するようにした。このようにすることで、複数の画像処理回路において覆い焼き等の所定の画像処理を分担して実行する場合に、それぞれの画像処理回路に重複した画像データを入力する必要が無くなり、各画像処理回路における処理負担を低減することができる。そして、低帯域の情報を使用するために画像全体の縮小画像を転送する場合にも、回路間の転送のタイミング遅延を最小限に抑えることができる。すなわち、低帯域の情報を使用した画像処理を行う場合、転送効率を上げることによってシステムの負荷を低減することができるほか、縮小画像を用いた画像処理によりシステムのパフォーマンスを更に向上させることができる。換言すれば、複数の画像処理回路を用いる場合に、各画像処理回路の処理負荷を軽減し高速に画像データを処理することができるようになる。
(その他の実施形態)
上述した実施形態では、撮像部101から出力された1フレームの画像データをマスタとなる画像処理回路に入力し、その後マスタ画像処理回路とスレーブ画像処理回路とで画像処理を分担して実行する例を説明した。しかし、撮像部101を例えば外部装置から画像データを取得可能な通信機能を有するブロックに置き換えて、当該通信可能なブロックから画像データを取得するようにしてもよい。このとき、各画像処理回路を別々の処理装置に置き換えて、別々の装置内の通信部210と通信部220とが上述した実施形態を実現するように装置間で画像データを通信してもよい。また、各画像処理回路を、プログラムによって実現される別々の仮想マシンに置き換えて、別々の仮想マシンによって実現される通信部210と通信部220とが上述した実施形態を実現するように仮想マシンの間で画像データを送受信してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102…マスタ画像処理回路、103…スレーブ画像処理回路、210…通信部、212…OB補正部、214…画像処理部、219…制御部、220…通信部、222…OB補正部、224…画像処理部、229…制御部

Claims (13)

  1. 垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、
    前記撮像手段と接続された第1の画像処理回路と
    前記第1の画像処理回路と接続された第2の画像処理回路とを備え、
    前記第1の画像処理回路は画像データを前記撮像手段から受信し、前記撮像手段から受信した画像データの1フレームの前記有効領域の一部である第1の領域の画像データに対して、前記1フレームの前記垂直遮光領域の画像データを用いて所定の画像処理を施し、
    前記第1の画像処理回路は、前記1フレームの前記有効領域のうち、前記第1の領域とは少なくとも一部が異なり、かつ、前記垂直遮光領域と連続した一部を第2の領域として設定し、前記垂直遮光領域の画像データと、前記所定の画像処理が施されていない未処理の前記第2の領域の画像データ、連続して前記第2の画像処理回路に送信
    前記第2の画像処理回路は、前記第1の画像処理回路から送信された、前記1フレームの前記垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データを受信し、前記受信した前記垂直遮光領域の画像データを用いて、前記受信した前記第2の領域の画像データに前記所定の画像処理を施すことを特徴とする画像処理装置。
  2. 前記撮像手段は、1フレームにおいて前記垂直遮光領域の画像データの後に前記有効領域の画像データを出力し、
    前記第1の画像処理回路は、前記1フレームの前記有効領域のうちの上側の一部を前記第2の領域として設定し、前記1フレームの前記有効領域のうちの下側の一部を前記第1の領域として設定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記撮像素子は水平遮光領域を有し、
    前記第1の画像処理回路は、前記下側の一部および前記下側の一部に対応した前記水平遮光領域を前記第1の領域として設定し、前記上側の一部および前記上側の一部に対応した前記水平遮光領域を前記第2の領域として設定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第1の画像処理回路は、前記有効領域のうち、前記第1の領域以外の画像データに対しては前記所定の画像処理を行わず、
    前記第1の画像処理回路は、前記有効領域のうち、前記第2の領域として設定された部分以外の未処理の画像データを前記第2の画像処理回路に送信しないことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データとを所定の伝送路を介して前記第2の画像処理回路に送信し、前垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データを送信していない期間に、前記第1の画像処理回路により前記所定の画像処理が施された前記第1の領域の画像データを、前記所定の伝送路を介して前記第2の画像処理回路に送信することを特徴とする請求項1から4の何れか1項に記載の画像処理装置。
  6. 前記第1の画像処理回路は、前記有効領域のうち、前記垂直遮光領域と連続していない部分を前記第1の領域として設定することを特徴とする請求項1に記載の画像処理装置。
  7. 前記所定の画像処理は、前記垂直遮光領域の画像データを用いて前記有効領域の画像データを補正する処理を含むことを特徴とする請求項1からの何れか1項に記載の画像処理装置。
  8. 前記撮像手段は動画データを出力し、
    前記第1の画像処理回路は前記撮像手段から出力された前記動画データを受信し、前記動画データの複数のフレームにおける前記第1の領域に前記所定の画像処理を施し、
    前記第1の画像処理回路は、前記動画データの複数のフレームの前記垂直遮光領域の画像データと前記第2の領域の画像データを前記第2の画像処理回路に送信することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
  9. 前記第1の画像処理回路は一つの集積回路であり、前記第2の画像処理回路は前記第1の画像処理回路とは異なる一つの集積回路であることを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
  10. 前記第1の画像処理回路に接続された第1のメモリと、
    前記第2の画像処理回路に接続された第2のメモリと、を更に備え、
    前記第1の画像処理回路は、前記撮像手段から受信した画像データのうち前記第2の領域の画像データを前記第1のメモリに記憶せずに前記第2の画像処理回路に送信することを特徴とすることを特徴とする請求項9に記載の画像処理装置。
  11. 前記第2の画像処理回路に接続された表示手段を更に備え、
    前記第1の画像処理回路は、前記第1の画像処理回路により前記所定の画像処理が施された前記第1の領域の画像データを、前記第2の画像処理回路に送信し、
    前記第2の画像処理回路は、前記第1の画像処理回路から送信された前記所定の画像処理が施された前記第1の領域の画像データと、前記第2の画像処理回路により前記所定の画像処理が施された前記第2の領域の画像データと、を用いて1フレームの表示用の画像データを生成し、前記表示用の画像データを前記表示手段に表示することを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
  12. 前記第2の画像処理回路は、前記撮像手段から画像データを受信するために前記撮像手段と接続されていないことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
  13. 垂直遮光領域と遮光されていない有効領域とを含む撮像素子を有する撮像手段と、
    前記撮像手段と接続された第1の画像処理回路と、
    前記第1の画像処理回路と接続された第2の画像処理回路と、
    前記第1の画像処理回路は、画像データを前記撮像手段から受信し、前記撮像手段から受信した画像データの1フレームの前記有効領域の一部である第1の領域の画像データに対して、前記1フレームの前記垂直遮光領域の画像データを用いて所定の画像処理を施し、
    前記第1の画像処理回路は、前記1フレームの前記垂直遮光領域の画像データと、前記1フレームの前記有効領域のうち前記第1の領域とは少なくとも一部が異なる第2の領域の、前記所定の画像処理が施されていない未処理の画像データと、を前記第2の画像処理回路に送信し、
    前記第2の画像処理回路は、前記第1の画像処理回路から送信された、前記1フレームの前記垂直遮光領域の画像データと前記未処理の前記第2の領域の画像データとを受信し、前記受信した前記垂直遮光領域の画像データを用いて、前記受信した前記未処理の前記第2の領域の画像データに前記所定の画像処理を施すことを特徴とする画像処理装置。
JP2016167286A 2016-08-29 2016-08-29 画像処理装置 Active JP6723113B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016167286A JP6723113B2 (ja) 2016-08-29 2016-08-29 画像処理装置
US15/663,937 US10250829B2 (en) 2016-08-29 2017-07-31 Image processing apparatus that uses plurality of image processing circuits

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016167286A JP6723113B2 (ja) 2016-08-29 2016-08-29 画像処理装置

Publications (3)

Publication Number Publication Date
JP2018037743A JP2018037743A (ja) 2018-03-08
JP2018037743A5 JP2018037743A5 (ja) 2019-09-26
JP6723113B2 true JP6723113B2 (ja) 2020-07-15

Family

ID=61244088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016167286A Active JP6723113B2 (ja) 2016-08-29 2016-08-29 画像処理装置

Country Status (2)

Country Link
US (1) US10250829B2 (ja)
JP (1) JP6723113B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5322816B2 (ja) * 2009-07-15 2013-10-23 キヤノン株式会社 撮像装置およびその制御方法
US8843568B2 (en) * 2010-05-17 2014-09-23 Microsoft Corporation Email tags
JP6280713B2 (ja) 2013-09-09 2018-02-14 オリンパス株式会社 撮像装置

Also Published As

Publication number Publication date
US20180063455A1 (en) 2018-03-01
US10250829B2 (en) 2019-04-02
JP2018037743A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
JP6123274B2 (ja) 撮像装置
US10306192B2 (en) Image processing apparatus, image processing method and image capture apparatus for demosaicing
US20130010153A1 (en) Image pickup apparatus and image pickup apparatus control method, and program
US10825145B2 (en) Image processing device, image processing method, and non-transitory computer readable medium storing image processing program
JP2015049402A (ja) 焦点ずれ量検出装置およびその制御方法、撮像装置
KR20150000072A (ko) 이미지 생성 장치 및 이미지 생성 방법
US20180270448A1 (en) Image processing system
US20090066804A1 (en) Data-processing circuit and video camera
US10511779B1 (en) Image capturing apparatus, method of controlling same, and storage medium
US8964058B2 (en) On-board camera system for monitoring an area around a vehicle
JP6723113B2 (ja) 画像処理装置
US11910115B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
CN109151265B (zh) 摄像设备、控制方法和存储介质
US9918028B2 (en) Image capturing apparatus comprising a plurality of processing circuits for correcting defective pixel by using information of defective pixel detected in different frames and control method for the same
JP6702792B2 (ja) 画像処理装置およびその制御方法
WO2021014867A1 (ja) 撮像装置およびその制御方法
JP7332376B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP6557451B2 (ja) 撮像装置およびその制御方法ならびにプログラム
US10244179B2 (en) Image processing apparatus, image capturing apparatus, control method, and recording medium
JP6871795B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP2009038627A (ja) 撮像装置
JP6091216B2 (ja) 画像信号処理装置およびその制御方法、並びに撮像装置
JP2018207254A (ja) 撮像装置、制御方法、プログラム及び撮像システム
JP6917800B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6889622B2 (ja) 画像処理装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200623

R151 Written notification of patent or utility model registration

Ref document number: 6723113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151