JPWO2020116292A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2020116292A1 JPWO2020116292A1 JP2020559109A JP2020559109A JPWO2020116292A1 JP WO2020116292 A1 JPWO2020116292 A1 JP WO2020116292A1 JP 2020559109 A JP2020559109 A JP 2020559109A JP 2020559109 A JP2020559109 A JP 2020559109A JP WO2020116292 A1 JPWO2020116292 A1 JP WO2020116292A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- unit
- data
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 160
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000009467 reduction Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 107
- 238000000034 method Methods 0.000 description 72
- 230000005540 biological transmission Effects 0.000 description 45
- 230000008569 process Effects 0.000 description 41
- 230000006870 function Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 10
- 238000000926 separation method Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
1.本開示の実施の形態
1.1.経緯
1.2.構成例
2.まとめ
[1.1.経緯]
まず、本開示の実施の形態について詳細に説明する前に、本開示の実施の形態に至った経緯について説明する。
(1)本実施形態に係る送信方法を適用することが可能な通信システムの構成
まず、本実施形態に係る送信方法を適用することが可能な通信システムの構成の一例を説明する。
・ST:Start of Transmission
・ET:End of Transmission
・PH:Packet Header
・PF:Packet Footer
・SP:Short Packet
・PS:Packet Spacing
メモリ300は、通信システム1が有する記録媒体である。メモリ300としては、例えば、RAM(Random Access Memory)などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。メモリ300は、バッテリなどの通信システム1を構成する内部電源(図示せず)から供給される電力、または、通信システム1の外部電源から供給される電力によって、動作する。
表示デバイス400は、通信システム1が有する表示デバイスである。表示デバイス400としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。表示デバイス400は、バッテリなどの通信システム1を構成する内部電源(図示せず)から供給される電力、または、通信システム1の外部電源から供給される電力によって、動作する。
プロセッサ200は、画像センサ100から送信されたデータを受信し、受信されたデータを処理する。上述したように、プロセッサ200は、通信システム1において受信装置の役目を果たす。画像センサ100から送信されたデータの処理に係る構成(受信装置の役目を果たすための構成)の一例については、後述する。
画像センサ100は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。上述したように、画像センサ100は、通信システム1において送信装置の役目を果たす。
まず、図19は、送信されるデータのフォーマットについて説明するための説明図である。図19において、参照符号A1で示した一連のパケットは、画像に設定される領域の領域データが送信されるパケット(換言すると、有効画素領域のデータが送信されるパケット)を模式的に示している。また、参照符号A2及びA3で示した一連のパケットは、領域データを送信するためのパケットとは異なるパケットに相当する。なお、以降の説明では、参照符号A1、A2、及びA3で示した各パケットを区別する場合には、便宜上、それぞれ「パケットA1」、「パケットA2」、及び「パケットA3」とも称する。即ち、1フレーム分のデータが送信される期間において、一連のパケットA1が送信される前に、一連のパケットA2が送信される。また、一連のパケットが送信された後に、一連のパケットA3が送信されてもよい。なお、パケットA2及びA3の少なくともいずれかが、「第1のパケット」の一例に相当する。また、パケットA1が、「第2のパケット」の一例に相当する。
続いて、本実施形態に係る画像センサ100の構成例について説明する。図21は、本実施形態に係る画像センサ100の構成の一例を示すハードウェアブロック図である。画像センサ100は、例えば、画像センサデバイス102と、ICチップ104とを備える。図21に示す画像センサ100は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
次に、プロセッサ200について説明する。図22は、本実施形態に係るプロセッサ200の構成の一例を表したものである。プロセッサ200は、画像センサ100と共通の規格(例えば、MIPI CSI−2規格、MIPI CSI−3規格、もしくは、MIPI DSI規格)で信号を受信する装置である。プロセッサ200は、例えば、受信部210および情報処理部220を有している。受信部210は、画像センサ100から出力された伝送データ147Aを、データレーンDLを介して受信し、受信した伝送データ147Aに対して所定の処理を行うことにより、種々のデータ(214A,215A,215B)を生成し、情報処理部220に出力する回路である。情報処理部220は、受信部210から受信した種々のデータ(214A,215A)に基づいて、ROI画像223Aを生成したり、受信部210から受信したデータ(215B)に基づいて、通常画像224Aを生成したりする回路である。
以上説明したように本開示の実施の形態によれば、ROI領域を3DNRに利用することで、メモリ容量を削減し、メモリへの、及びメモリからのトラフィックを低減し、演算量を低減した3DNRを実行出来る通信システム1が提供される。本開示の実施の形態に係る通信システム1は、ROI領域が時間と共に移動したり、変形したりした場合であっても、そのROI領域の変化に追従することでSN比の低下を抑えた、ROI領域に対する3DNRを実行することが出来る。
(1)
撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を1以上検出する領域検出部と、
前記領域検出部が検出した前記所定の領域の画像に対してノイズ低減処理を実行する画像処理部と、
を備える、画像処理装置。
(2)
前記画像処理部は、前記領域検出部が検出した領域が前記ノイズ低減処理を実行した領域と一致している場合に該ノイズ低減処理を実行する、前記(1)に記載の画像処理装置。
(3)
前記画像処理部は、領域が一致しているかどうかを、前記データを参照して判断する、前記(2)に記載の画像処理装置。
(4)
前記領域検出部が検出した前記所定の領域の画像を前記撮像画像から抽出する領域抽出部をさらに備え、前記画像処理部は、前記領域抽出部が抽出した前記所定の領域の画像に対してノイズ低減処理を実行する、前記(1)〜(3)のいずれかに記載の画像処理装置。
(5)
前記画像処理部は、前記領域の画像と、直前のフレームで前記ノイズ低減処理が施された処理画像とを用いて、前記処理画像を変形するためのパラメータを算出するパラメータ算出部を備える、前記(1)〜(4)のいずれかに記載の画像処理装置。
(6)
前記画像処理部は、さらに、前記パラメータ算出部が算出した前記パラメータに基づいて前記処理画像の変形を行う変形部を備える、前記(5)に記載の画像処理装置。
(7)
前記画像処理部は、前記変形部による前記処理画像変形の前に、現フレームの前記領域に関する情報を用いて前記処理画像に対する変形処理を行うプリ変形部をさらに備える、前記(3)に記載の画像処理装置。
(8)
前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理をさらに実行し、前記全ての領域に対するノイズ低減処理の結果と、前記所定の領域の画像に対する3次元ノイズ低減処理の結果とを所定の比率で合成する、前記(1)〜(7)のいずれかに記載の画像処理装置。
(9)
前記画像処理部は、前記所定の比率を算出する係数算出部を備える、前記(8)に記載の画像処理装置。
(10)
前記係数算出部は、前記所定の領域におけるノイズ低減処理の結果の差分に基づいて前記所定の比率を算出する、前記(7)に記載の画像処理装置。
(11)
前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理を実行する際に手振れを考慮した3次元ノイズ低減処理を実行する、前記(8)に記載の画像処理装置。
(12)
前記領域検出部及び前記領域抽出部と、前記画像処理部とは、同一のチップに設けられる、前記(1)〜(11)のいずれかに記載の画像処理装置。
(13)
前記領域検出部及び前記領域抽出部と、前記画像処理部とは、異なるチップに設けられる、前記(1)〜(11)のいずれかに記載の画像処理装置。
(14)
撮像画像における所定の領域を1以上検出することと、
検出された前記領域を前記撮像画像から抽出することと、
抽出された前記領域に対して3次元ノイズ低減処理を実行することと、
を含む、画像処理方法。
100 画像センサ
200 プロセッサ
Claims (14)
- 撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を1以上検出する領域検出部と、
前記領域検出部が検出した前記所定の領域の画像に対してノイズ低減処理を実行する画像処理部と、
を備える、画像処理装置。 - 前記画像処理部は、前記領域検出部が検出した領域が前記ノイズ低減処理を実行した領域と一致している場合に該ノイズ低減処理を実行する、請求項1に記載の画像処理装置。
- 前記画像処理部は、領域が一致しているかどうかを、前記データを参照して判断する、請求項2に記載の画像処理装置。
- 前記領域検出部が検出した前記所定の領域の画像を前記撮像画像から抽出する領域抽出部をさらに備え、前記画像処理部は、前記領域抽出部が抽出した前記所定の領域の画像に対してノイズ低減処理を実行する、請求項1に記載の画像処理装置。
- 前記画像処理部は、前記領域の画像と、直前のフレームで前記ノイズ低減処理が施された処理画像とを用いて、前記処理画像を変形するためのパラメータを算出するパラメータ算出部を備える、請求項1に記載の画像処理装置。
- 前記画像処理部は、さらに、前記パラメータ算出部が算出した前記パラメータに基づいて前記処理画像の変形を行う変形部を備える、請求項5に記載の画像処理装置。
- 前記画像処理部は、前記変形部による前記処理画像変形の前に、前記データに含まれる現フレームの前記領域に関する情報を用いて前記処理画像に対する変形処理を行うプリ変形部をさらに備える、請求項6に記載の画像処理装置。
- 前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理をさらに実行し、前記全ての領域に対するノイズ低減処理の結果と、前記所定の領域の画像に対するノイズ低減処理の結果とを所定の比率で合成する、請求項1に記載の画像処理装置。
- 前記画像処理部は、前記所定の比率を算出する係数算出部を備える、請求項8に記載の画像処理装置。
- 前記係数算出部は、前記所定の領域におけるノイズ低減処理の結果の差分に基づいて前記所定の比率を算出する、請求項7に記載の画像処理装置。
- 前記画像処理部は、前記撮像画像の全ての領域に対するノイズ低減処理を実行する際に手振れを考慮したノイズ低減処理を実行する、請求項8に記載の画像処理装置。
- 前記領域検出部及び前記領域抽出部と、前記画像処理部とは、同一のチップに設けられる、請求項1に記載の画像処理装置。
- 前記領域検出部及び前記領域抽出部と、前記画像処理部とは、異なるチップに設けられる、請求項1に記載の画像処理装置。
- 撮像画像に付与されるデータに基づいて該撮像画像における所定の領域を1以上検出することと、
検出された前記領域に対してノイズ低減処理を実行することと、
を含む、画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018229946 | 2018-12-07 | ||
JP2018229946 | 2018-12-07 | ||
PCT/JP2019/046463 WO2020116292A1 (ja) | 2018-12-07 | 2019-11-27 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020116292A1 true JPWO2020116292A1 (ja) | 2021-10-21 |
JP7504803B2 JP7504803B2 (ja) | 2024-06-24 |
Family
ID=70975033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020559109A Active JP7504803B2 (ja) | 2018-12-07 | 2019-11-27 | 画像処理装置及び画像処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220044419A1 (ja) |
EP (1) | EP3893480B1 (ja) |
JP (1) | JP7504803B2 (ja) |
CN (1) | CN113170029B (ja) |
TW (1) | TWI827725B (ja) |
WO (1) | WO2020116292A1 (ja) |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7639309B2 (en) * | 2005-12-20 | 2009-12-29 | Broadcom Corporation | Method and system for analog video noise reduction by blending FIR and IIR filtering |
JP4926499B2 (ja) * | 2006-02-28 | 2012-05-09 | オリンパス株式会社 | ノイズ低減処理装置、方法、プログラム、およびカメラ装置 |
JP4858609B2 (ja) * | 2007-02-27 | 2012-01-18 | 日本電気株式会社 | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム |
WO2008149904A1 (ja) * | 2007-06-05 | 2008-12-11 | Olympus Corporation | 画像信号処理装置および画像信号処理プログラム |
WO2010064316A1 (ja) * | 2008-12-05 | 2010-06-10 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2009100373A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 |
JP5123756B2 (ja) | 2008-06-26 | 2013-01-23 | オリンパス株式会社 | 撮像システム、画像処理方法および画像処理プログラム |
JP5233458B2 (ja) * | 2008-07-15 | 2013-07-10 | 株式会社ニコン | 画像編集装置及び画像編集プログラム |
JP4645736B2 (ja) | 2008-12-22 | 2011-03-09 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2010258732A (ja) * | 2009-04-24 | 2010-11-11 | Sony Corp | 映像処理装置、映像処理方法および映像処理プログラム |
JP5506272B2 (ja) * | 2009-07-31 | 2014-05-28 | 富士フイルム株式会社 | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
KR101595883B1 (ko) * | 2010-02-02 | 2016-02-26 | 한화테크윈 주식회사 | 영상의 움직임 보상 노이즈 제거 장치 및 방법 |
JP2012238212A (ja) * | 2011-05-12 | 2012-12-06 | Sony Corp | 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 |
JP2013223108A (ja) * | 2012-04-17 | 2013-10-28 | Nec Casio Mobile Communications Ltd | 画像処理装置、情報端末、画像処理方法及びプログラム |
JP2014138294A (ja) | 2013-01-17 | 2014-07-28 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP6440386B2 (ja) | 2014-06-11 | 2018-12-19 | キヤノン株式会社 | 情報処理装置及びプログラム |
JP2016146162A (ja) | 2014-12-04 | 2016-08-12 | 株式会社リコー | 運転判定装置、運転判定プログラム、演算システム、検知装置、検知システム、検知方法及びプログラム |
JP6570304B2 (ja) | 2015-05-11 | 2019-09-04 | キヤノン株式会社 | 映像処理装置、映像処理方法およびプログラム |
-
2019
- 2019-11-13 TW TW108141120A patent/TWI827725B/zh active
- 2019-11-27 CN CN201980079315.0A patent/CN113170029B/zh active Active
- 2019-11-27 US US17/298,685 patent/US20220044419A1/en active Pending
- 2019-11-27 EP EP19892647.9A patent/EP3893480B1/en active Active
- 2019-11-27 WO PCT/JP2019/046463 patent/WO2020116292A1/ja unknown
- 2019-11-27 JP JP2020559109A patent/JP7504803B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020116292A1 (ja) | 2020-06-11 |
CN113170029B (zh) | 2024-04-12 |
US20220044419A1 (en) | 2022-02-10 |
TWI827725B (zh) | 2024-01-01 |
TW202032501A (zh) | 2020-09-01 |
CN113170029A (zh) | 2021-07-23 |
JP7504803B2 (ja) | 2024-06-24 |
EP3893480B1 (en) | 2023-09-20 |
EP3893480A4 (en) | 2022-01-26 |
EP3893480A1 (en) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11074023B2 (en) | Transmission device | |
JP7277373B2 (ja) | 送信装置 | |
JP7357620B2 (ja) | 画像処理装置、および画像処理システム | |
JP7504803B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7152475B2 (ja) | 送信装置、受信装置、及び通信システム | |
JP7414733B2 (ja) | 受信装置および送信装置 | |
WO2021039012A1 (ja) | 撮像装置、データ伝送システム、及びデータ伝送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7504803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |