JP5989681B2 - 符号化画像から時空領域を再構成するシステム、方法、及び媒体 - Google Patents
符号化画像から時空領域を再構成するシステム、方法、及び媒体 Download PDFInfo
- Publication number
- JP5989681B2 JP5989681B2 JP2013555637A JP2013555637A JP5989681B2 JP 5989681 B2 JP5989681 B2 JP 5989681B2 JP 2013555637 A JP2013555637 A JP 2013555637A JP 2013555637 A JP2013555637 A JP 2013555637A JP 5989681 B2 JP5989681 B2 JP 5989681B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shutter function
- encoded
- pixel
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 62
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 229910052710 silicon Inorganic materials 0.000 claims description 3
- 239000010703 silicon Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002688 persistence Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000254032 Acrididae Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
Description
本出願は、2011年2月25日に出願した米国仮特許出願第61/446,970号の利益を主張するものであり、本明細書にその全体を参照により援用する。
αは、Eの疎表現であり、
Sは、シャッタ関数の行列であり、
Dは、過完備辞書であり、
Iは、取り込まれた符号化画像のベクトルであり、
Claims (24)
- 符号化画像から時空領域を再構成するシステムであって、
画像データを出力する画像センサと、
少なくとも1つのプロセッサと、
を含み、
前記プロセッサは、
符号化シャッタ関数に基づいて、前記画像データの単一画像に前記時空領域の投影像を取り込ませ、
前記画像データを受信し、
前記画像データに対して再構成処理を実施して、前記画像データに対応する時空領域を提供し、
前記再構成処理は、過完備辞書に基づくことを特徴とするシステム。 - 請求項1に記載のシステムであって、前記過完備辞書は、回転された映像サンプルに基づくことを特徴とするシステム。
- 請求項1に記載のシステムであって、前記符号化シャッタ関数は、画素露出バンプに対してランダムな開始時間を有することを特徴とするシステム。
- 請求項1に記載のシステムであって、前記符号化シャッタ関数は、1センサ取り込み時間当り、1画素当り、単一の露出期間だけを有することを特徴とするシステム。
- 請求項1に記載のシステムであって、前記符号化シャッタ関数は、センサ取り込み時間の各間隔中にさらされる各画素区域に少なくとも1つの画素を有することを特徴とするシステム。
- 請求項1に記載のシステムであって、更に、前記少なくとも1つのプロセッサからの信号に応じて、前記符号化シャッタ関数により、前記画像センサへの光を変調する液晶オンシリコン・チップを含むことを特徴とするシステム。
- 請求項1に記載のシステムであって、前記画像センサは、個別にアドレス可能な画素を有することを特徴とするシステム。
- 請求項1に記載のシステムであって、前記再構成処理は、直交マッチング追跡アルゴリズムを実施することを含むことを特徴とするシステム。
- 符号化画像から時空領域を再構成するための方法であって、
ハードウェアプロセッサを用いて、符号化シャッタ関数に基づいて、画像センサによって前記時空領域の投影像を画像データの単一画像に取り込ませることと、
ハードウェアプロセッサを用いて、前記画像データを受信することと、
前記画像データに対して再構成処理を実施して、ハードウェアプロセッサを用いて、前記画像データに対応する時空領域を提供することと、
を含み、
前記再構成処理は、過完備辞書に基づくことを特徴とする方法。 - 請求項9に記載の方法であって、前記過完備辞書は、回転された映像サンプルに基づくことを特徴とする方法。
- 請求項9に記載の方法であって、前記符号化シャッタ関数は、画素露出バンプに対してランダムな開始時間を有することを特徴とする方法。
- 請求項9に記載の方法であって、前記符号化シャッタ関数は、1センサ取り込み時間当り、1画素当り、単一の露出期間だけを有することを特徴とする方法。
- 請求項9に記載の方法であって、前記符号化シャッタ関数は、センサ取り込み時間の各間隔中にさらされる各画素区域に少なくとも1つの画素を有することを特徴とする方法。
- 請求項9に記載の方法であって、更に、前記ハードウェアプロセッサからの信号に応じて、前記符号化シャッタ関数により、液晶オンシリコン・チップを用いて、前記画像センサへの光を変調することを含むことを特徴とする方法。
- 請求項9に記載の方法であって、前記画像センサは、個別にアドレス可能な画素を有することを特徴とする方法。
- 請求項9に記載の方法であって、前記再構成処理は、直交マッチング追跡アルゴリズムを実施することを含むことを特徴とする方法。
- プロセッサによって実行されると、符号化画像から時空領域を再構成する方法を前記プロセッサに実施させるコンピュータ実行可能命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
符号化シャッタ関数に基づいて、画像データの単一画像に前記時空領域の投影像を取り込ませることと、
前記画像データを受信することと、
前記画像データに対して再構成処理を実施して、前記画像データに対応する時空領域を提供することと、
を含み、
前記再構成処理は、過完備辞書に基づくことを特徴とする非一時的コンピュータ可読媒体。 - 請求項17に記載の非一時的コンピュータ可読媒体であって、前記過完備辞書は、回転された映像サンプルに基づくことを特徴とする非一時的コンピュータ可読媒体。
- 請求項17に記載の非一時的コンピュータ可読媒体であって、前記符号化シャッタ関数は、画素露出バンプに対してランダムな開始時間を有することを特徴とする非一時的コンピュータ可読媒体。
- 請求項17に記載の非一時的コンピュータ可読媒体であって、前記符号化シャッタ関数は、1センサ取り込み時間当り、1画素当り、単一の露出期間だけを有することを特徴とする非一時的コンピュータ可読媒体。
- 請求項17に記載の非一時的コンピュータ可読媒体であって、前記符号化シャッタ関数は、センサ取り込み時間の各間隔中にさらされる各画素区域に少なくとも1つの画素を有することを特徴とする非一時的コンピュータ可読媒体。
- 請求項17に記載の非一時的コンピュータ可読媒体であって、前記方法は、更に、前記符号化シャッタ関数に基づいて、前記画像センサへの光を変調することを特徴とする非一時的コンピュータ可読媒体。
- 請求項17に記載の非一時的コンピュータ可読媒体であって、前記方法は、更に、画像センサの画素を個別的にアドレス指定することを含むことを特徴とする非一時的コンピュータ可読媒体。
- 請求項17に記載の非一時的コンピュータ可読媒体であって、前記再構成処理は、直交マッチング追跡アルゴリズムを実施することを含むことを特徴とする非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161446970P | 2011-02-25 | 2011-02-25 | |
US61/446,970 | 2011-02-25 | ||
PCT/US2012/026816 WO2012116373A1 (en) | 2011-02-25 | 2012-02-27 | Systems, methods, and media for reconstructing a space-time volume from a coded image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014511531A JP2014511531A (ja) | 2014-05-15 |
JP5989681B2 true JP5989681B2 (ja) | 2016-09-07 |
Family
ID=46721259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013555637A Expired - Fee Related JP5989681B2 (ja) | 2011-02-25 | 2012-02-27 | 符号化画像から時空領域を再構成するシステム、方法、及び媒体 |
Country Status (4)
Country | Link |
---|---|
US (3) | US20140192235A1 (ja) |
EP (1) | EP2678740B1 (ja) |
JP (1) | JP5989681B2 (ja) |
WO (1) | WO2012116373A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9100514B2 (en) | 2009-10-28 | 2015-08-04 | The Trustees Of Columbia University In The City Of New York | Methods and systems for coded rolling shutter |
US20140192235A1 (en) | 2011-02-25 | 2014-07-10 | Sony Corporation | Systems, methods, and media for reconstructing a space-time volume from a coded image |
JP2013066140A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 撮像装置、および信号処理方法、並びにプログラム |
US9648248B2 (en) | 2012-12-17 | 2017-05-09 | Sony Corporation | Methods, systems, and media for high dynamic range imaging |
US10070067B2 (en) | 2014-04-15 | 2018-09-04 | Sony Corporation | Systems, methods, and media for extracting information and a display image from two captured images |
WO2017014071A1 (ja) | 2015-07-22 | 2017-01-26 | ソニー株式会社 | カメラモジュール、固体撮像素子、電子機器、および撮像方法 |
KR102469567B1 (ko) | 2016-04-11 | 2022-11-22 | 삼성전자주식회사 | 이미징 장치 및 그 동작 방법 |
CN109903719A (zh) * | 2017-12-08 | 2019-06-18 | 宁波盈芯信息科技有限公司 | 一种时空编码的结构光编码图案生成方法及装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6335082A (ja) * | 1986-07-30 | 1988-02-15 | Rhythm Watch Co Ltd | ビデオカメラの光量補正装置 |
US6392689B1 (en) * | 1991-02-21 | 2002-05-21 | Eugene Dolgoff | System for displaying moving images pseudostereoscopically |
US7006567B2 (en) * | 2001-11-30 | 2006-02-28 | International Business Machines Corporation | System and method for encoding three-dimensional signals using a matching pursuit algorithm |
JP2005515675A (ja) * | 2001-12-26 | 2005-05-26 | イェダ リサーチ アンド デベロップメント カンパニー リミテッド | ビデオの空間または時間解像度を高めるためのシステムおよび方法 |
US7978929B2 (en) * | 2003-01-20 | 2011-07-12 | Nexvi Corporation | Device and method for outputting a private image using a public display |
WO2005050564A2 (en) * | 2003-11-24 | 2005-06-02 | Koninklijke Philips Electronics N.V. | Detection of local visual space-time details in a video signal |
US20060215934A1 (en) * | 2005-03-25 | 2006-09-28 | Yissum Research Development Co of the Hebrew University of Jerusalem Israeli Co | Online registration of dynamic scenes using video extrapolation |
US7271747B2 (en) * | 2005-05-10 | 2007-09-18 | Rice University | Method and apparatus for distributed compressed sensing |
US20070103595A1 (en) * | 2005-10-27 | 2007-05-10 | Yihong Gong | Video super-resolution using personalized dictionary |
GB0709026D0 (en) * | 2007-05-10 | 2007-06-20 | Isis Innovation | High speed imaging with slow scan cameras using pixel level dynami shuttering |
US7812869B2 (en) * | 2007-05-11 | 2010-10-12 | Aptina Imaging Corporation | Configurable pixel array system and method |
US9100514B2 (en) | 2009-10-28 | 2015-08-04 | The Trustees Of Columbia University In The City Of New York | Methods and systems for coded rolling shutter |
JP2012175234A (ja) | 2011-02-18 | 2012-09-10 | Sony Corp | 撮像装置、撮像素子、および撮像制御方法、並びにプログラム |
JP5655626B2 (ja) | 2011-02-24 | 2015-01-21 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US20140192235A1 (en) | 2011-02-25 | 2014-07-10 | Sony Corporation | Systems, methods, and media for reconstructing a space-time volume from a coded image |
JP2012182657A (ja) | 2011-03-01 | 2012-09-20 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
JP2012234393A (ja) | 2011-05-02 | 2012-11-29 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012257193A (ja) | 2011-05-13 | 2012-12-27 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP2013005017A (ja) | 2011-06-13 | 2013-01-07 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
JP2013021660A (ja) | 2011-07-14 | 2013-01-31 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP2013038504A (ja) | 2011-08-04 | 2013-02-21 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
JP2013050538A (ja) | 2011-08-30 | 2013-03-14 | Sony Corp | 表示装置および電子機器 |
JP2013050537A (ja) | 2011-08-30 | 2013-03-14 | Sony Corp | 表示装置および電子機器 |
JP2013066140A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 撮像装置、および信号処理方法、並びにプログラム |
JP2013066145A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013066142A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US9648248B2 (en) | 2012-12-17 | 2017-05-09 | Sony Corporation | Methods, systems, and media for high dynamic range imaging |
US10070067B2 (en) | 2014-04-15 | 2018-09-04 | Sony Corporation | Systems, methods, and media for extracting information and a display image from two captured images |
-
2012
- 2012-02-27 US US14/001,139 patent/US20140192235A1/en not_active Abandoned
- 2012-02-27 JP JP2013555637A patent/JP5989681B2/ja not_active Expired - Fee Related
- 2012-02-27 EP EP12749484.7A patent/EP2678740B1/en active Active
- 2012-02-27 WO PCT/US2012/026816 patent/WO2012116373A1/en active Application Filing
-
2017
- 2017-01-13 US US15/405,962 patent/US9979945B2/en active Active
-
2018
- 2018-04-11 US US15/950,297 patent/US10277878B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180234672A1 (en) | 2018-08-16 |
US20140192235A1 (en) | 2014-07-10 |
EP2678740B1 (en) | 2020-12-23 |
US20170134706A1 (en) | 2017-05-11 |
JP2014511531A (ja) | 2014-05-15 |
EP2678740A1 (en) | 2014-01-01 |
US9979945B2 (en) | 2018-05-22 |
WO2012116373A1 (en) | 2012-08-30 |
US10277878B2 (en) | 2019-04-30 |
EP2678740A4 (en) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5989681B2 (ja) | 符号化画像から時空領域を再構成するシステム、方法、及び媒体 | |
US10225529B2 (en) | Projection device using a spatial modulation element, projection method, and program storage medium | |
US10284770B2 (en) | Dual-camera focusing method and apparatus, and terminal device | |
JP2008182692A5 (ja) | ||
CN104065891A (zh) | 机器视觉3d线扫描图像获取及处理 | |
KR101725045B1 (ko) | 화상처리장치 및 그 제어방법 | |
JP6071333B2 (ja) | 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 | |
JP2018530963A (ja) | ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品 | |
JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
US20150178944A1 (en) | Methods and apparatuses for detecting anomalies in the compressed sensing domain | |
Zhou et al. | Unmodnet: Learning to unwrap a modulo image for high dynamic range imaging | |
Wang et al. | Neural global shutter: Learn to restore video from a rolling shutter camera with global reset feature | |
JP6284047B2 (ja) | 撮像装置および撮像方法 | |
CA3029463A1 (en) | Plenoptic sub aperture view shuffling with improved resolution | |
JP5895587B2 (ja) | 画像記録装置、画像記録方法、画像再生装置および画像再生方法 | |
JP6135865B2 (ja) | 撮像システム、撮像装置、および撮像方法 | |
Piao et al. | Performance-enhanced recognition of a far and partially occluded 3-D object by use of direct pixel-mapping in computational curving-effective integral imaging | |
Ancuti et al. | Evaluation of image dehazing techniques based on a realistic benchmark | |
US10291927B2 (en) | Motion vector estimation method and motion vector estimation apparatus | |
Balure et al. | A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images | |
Spinoulas et al. | Sampling optimization for on-chip compressive video | |
Duan et al. | NeuroZoom: Denoising and super resolving neuromorphic events and spikes | |
US11343424B1 (en) | Image capturing method and electronic device | |
Darwish et al. | Event-driven image sensor application: event-driven image segmentation | |
Ge et al. | Real-time Night Surveillance Video Retrieval through Calibrated Denoising and Super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160322 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160421 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160518 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5989681 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |