JP5947460B2 - 高解像度ビデオストリームを生成する方法およびシステム - Google Patents
高解像度ビデオストリームを生成する方法およびシステム Download PDFInfo
- Publication number
- JP5947460B2 JP5947460B2 JP2015519019A JP2015519019A JP5947460B2 JP 5947460 B2 JP5947460 B2 JP 5947460B2 JP 2015519019 A JP2015519019 A JP 2015519019A JP 2015519019 A JP2015519019 A JP 2015519019A JP 5947460 B2 JP5947460 B2 JP 5947460B2
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- patch
- video stream
- low
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000013500 data storage Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 22
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 230000003068 static effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
Claims (9)
- 高解像度ビデオストリームを生成するプロセスであって、
− 低解像度ビデオストリームを受信すること(310)、
− 少なくとも1つの高解像度ビデオストリームを受信すること(320)、
− 前記少なくとも1つの高解像度ビデオストリームから第1の画像パッチを選択すること(331)、
− 前記第1の高解像度画像パッチの各第1の低解像度の対応画像パッチを生成すること(332)、
− 前記第1の低解像度の対応画像パッチによってインデックス付けされた前記第1の高解像度画像パッチを第1のデータ記憶装置に記憶すること(333)、および、
− 前記インデックス付けに従って、前記第1の低解像度の対応画像パッチのうちの1つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第1のデータ記憶装置から取得された第1の高解像度パッチで置換すること(351)によって、前記低解像度ビデオストリームを向上させること(350)を含み、
前記低解像度ビデオストリームと前記少なくとも1つの高解像度ビデオストリームとは、実質的に同期されたビデオストリームであり、
第2の低解像度の対応画像パッチによってインデックス付けされた、予め記憶された第2の高解像度画像パッチを含む第2のデータ記憶装置と共に適用され、そのインデックス付けに従って、前記第2の低解像度の対応画像パッチのうちの1つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第2のデータ記憶装置から取得された第2の高解像度パッチで置換すること(352)をさらに含むことを特徴とするプロセス。 - 前記第1の高解像度画像パッチを前記記憶すること(333)が、前記高解像度画像パッチに有効時間を与えることを含み、プロセスが、前記有効時間に従って前記第1の高解像度画像パッチを非アクティブにすること(360)をさらに含む、請求項1に記載のプロセス。
- 前記低解像度ビデオストリームを前記向上させること(350)が、「最近傍」基準を適用することによって前記第1の低解像度の対応画像パッチのうちの前記1つまたは複数との類似性を判断することを含み、第1の高解像度パッチで前記置換することは、前記「最近傍」基準を満たす低解像度の対応画像パッチに対応する各第1の高解像度パッチの加重和で置換することを含む、請求項1または2のいずれか一項に記載のプロセス。
- 前記類似性が輝度勾配に基づいて判断される、請求項1から3のいずれか一項に記載のプロセス。
- 実行される時に、請求項1から4のいずれか一項に記載のプロセスを実行するように構成されたソフトウェア手段を含む、コンピュータプログラム。
- 高解像度ビデオストリームを生成するシステム(400)であって、
− 低解像度ビデオストリームを受信する第1のビデオインターフェース(410)と、
− 少なくとも1つの高解像度ビデオストリームを受信する第2のビデオインターフェース(420)と、
− 前記第2のビデオインターフェース(420)および第1のデータ記憶装置(440)に動作可能に接続されるレジストレーション処理装置(430)であって、前記レジストレーション処理装置(430)は、前記少なくとも1つの高解像度ビデオストリームから第1の高解像度画像パッチを選択し、前記第1の高解像度画像パッチの各第1の低解像度の対応画像パッチを生成し、かつ前記第1の低解像度の対応画像パッチによってインデックス付けされた前記第1の高解像度画像パッチを前記データ記憶装置(440)に記憶するように構成される、レジストレーション処理装置(430)と、
− 前記第1のビデオインターフェース(410)および前記第1のデータ記憶装置(440)に動作可能に接続される画像向上処理装置(450)とを備え、前記画像向上処理装置(450)は、前記インデックス付けに従って、前記第1の低解像度の対応画像パッチのうちの1つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第1のデータ記憶装置(440)から取得された第1の高解像度パッチで置換するように構成され、
前記低解像度ビデオストリームと前記少なくとも1つの高解像度ビデオストリームは実質的に同期され、
第2のデータ記憶装置(450)をさらに備え、前記第2のデータ記憶装置(450)が、第2の低解像度の対応画像パッチによってインデックス付けされた、予め記憶された第2の高解像度画像パッチを含み、前記画像向上処理装置(450)がさらに、そのインデックス付けに従って、前記第2の低解像度の対応画像パッチのうちの1つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第2のデータ記憶装置(440)から取得された第2の高解像度パッチで置換するように構成されたことによって特徴付けられるシステム。 - 前記レジストレーション処理装置(430)に動作可能に接続されるタイマー(460)をさらに備え、前記レジストレーション処理装置(430)がさらに、前記第1の高解像度画像パッチに有効時間を与え、前記タイマーと連動して前記有効時間に従って前記第1の高解像度画像パッチを非アクティブにするように構成された、請求項6に記載のシステム(400)。
- 前記画像向上処理装置(450)がさらに、「最近傍」基準を適用することによって前記第1の低解像度の対応画像パッチのうちの前記1つまたは複数との類似性を判断し、前記部分を前記「最近傍」基準を満たす低解像度の対応画像パッチに対応する各第1の高解像度パッチの加重和で置換するように構成された、請求項6または7のいずれか一項に記載のシステム(400)。
- 前記画像向上処理装置(450)がさらに、輝度勾配に基づいて前記類似性を判断するように構成された、請求項6から8のいずれか一項に記載のシステム(400)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12305768.9A EP2680221B1 (en) | 2012-06-28 | 2012-06-28 | Method and system for generating a high-resolution video stream |
EP12305768.9 | 2012-06-28 | ||
PCT/EP2013/063114 WO2014001243A1 (en) | 2012-06-28 | 2013-06-24 | Method and system for generating a high-resolution video stream |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015525914A JP2015525914A (ja) | 2015-09-07 |
JP5947460B2 true JP5947460B2 (ja) | 2016-07-06 |
Family
ID=48670570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015519019A Expired - Fee Related JP5947460B2 (ja) | 2012-06-28 | 2013-06-24 | 高解像度ビデオストリームを生成する方法およびシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20150324952A1 (ja) |
EP (1) | EP2680221B1 (ja) |
JP (1) | JP5947460B2 (ja) |
KR (1) | KR101649860B1 (ja) |
CN (1) | CN104395928B (ja) |
WO (1) | WO2014001243A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3038366A1 (en) * | 2014-12-22 | 2016-06-29 | Alcatel Lucent | Devices and method for video compression and reconstruction |
EP3038370A1 (en) * | 2014-12-22 | 2016-06-29 | Alcatel Lucent | Devices and method for video compression and reconstruction |
KR102234477B1 (ko) * | 2015-01-15 | 2021-04-01 | 한국전자통신연구원 | 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법 |
CN104966269A (zh) * | 2015-06-05 | 2015-10-07 | 华为技术有限公司 | 一种多帧超分辨率成像的装置及方法 |
US10839483B2 (en) | 2015-06-30 | 2020-11-17 | Korea Advanced Institute Of Science And Technology | Method of converting low-resolution image to high-resolution image and image conversion device performing method |
CN104992425B (zh) * | 2015-07-27 | 2018-02-27 | 华中科技大学 | 一种基于gpu加速的dem超分辨率方法 |
WO2017145149A1 (en) * | 2016-02-24 | 2017-08-31 | Project Ray Ltd. | System and method for automatic remote assembly of partially overlapping images |
US9811946B1 (en) | 2016-05-30 | 2017-11-07 | Hong Kong Applied Science and Technology Research Institute Company, Limited | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image |
CN107784686B (zh) * | 2016-08-25 | 2021-06-11 | 上海交通大学 | 基于多分辨率的多视角媒体呈现方法 |
KR102580519B1 (ko) * | 2016-09-07 | 2023-09-21 | 삼성전자주식회사 | 영상처리장치 및 기록매체 |
KR102384234B1 (ko) | 2016-10-26 | 2022-04-07 | 삼성전자주식회사 | 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체 |
WO2018101936A1 (en) * | 2016-11-30 | 2018-06-07 | CapsoVision, Inc. | Method and apparatus for image stitching of images captured using a capsule camera |
CN109429098A (zh) * | 2017-08-24 | 2019-03-05 | 中兴通讯股份有限公司 | 视频处理方法、装置以及终端 |
US10643307B2 (en) * | 2017-11-10 | 2020-05-05 | Intel Corporation | Super-resolution based foveated rendering |
US10909700B2 (en) * | 2019-04-02 | 2021-02-02 | Samsung Electronics Co., Ltd. | Display apparatus and image processing method thereof |
CN112084908B (zh) * | 2020-08-28 | 2024-07-16 | 广州汽车集团股份有限公司 | 一种图像处理方法及其系统、存储介质 |
CN113191939A (zh) * | 2021-04-30 | 2021-07-30 | 山东产研信息与人工智能融合研究院有限公司 | 高分辨率目标影像置换低分辨率目标影像的方法及系统 |
CN114900717B (zh) * | 2022-05-13 | 2023-09-26 | 杭州网易智企科技有限公司 | 视频数据传输方法、装置、介质和计算设备 |
WO2024028811A1 (en) * | 2022-08-05 | 2024-02-08 | Corephotonics Ltd. | Systems and methods for zoom digital camera with automatic adjustable zoom field of view |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2047041B (en) * | 1979-03-22 | 1983-06-15 | Micro Consultants Ltd | Digital still picture storage system |
US5440401A (en) * | 1990-09-14 | 1995-08-08 | Eastman Kodak Company | Image database incorporating low resolution index image data |
US7130490B2 (en) * | 2001-05-14 | 2006-10-31 | Elder James H | Attentive panoramic visual sensor |
KR20030062737A (ko) * | 2002-01-18 | 2003-07-28 | 엘지전자 주식회사 | 재기록 가능 고밀도 기록매체의 축소영상 기록방법 |
US7151801B2 (en) * | 2002-03-25 | 2006-12-19 | The Trustees Of Columbia University In The City Of New York | Method and system for enhancing data quality |
JP4470848B2 (ja) * | 2005-09-15 | 2010-06-02 | パナソニック電工株式会社 | 顔部品抽出方法及び顔認証装置 |
KR101791919B1 (ko) * | 2010-01-22 | 2017-11-02 | 톰슨 라이센싱 | 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝 |
KR20130001213A (ko) * | 2010-01-28 | 2013-01-03 | 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 |
-
2012
- 2012-06-28 EP EP12305768.9A patent/EP2680221B1/en not_active Not-in-force
-
2013
- 2013-06-24 JP JP2015519019A patent/JP5947460B2/ja not_active Expired - Fee Related
- 2013-06-24 CN CN201380034015.3A patent/CN104395928B/zh not_active Expired - Fee Related
- 2013-06-24 KR KR1020157002028A patent/KR101649860B1/ko active IP Right Grant
- 2013-06-24 WO PCT/EP2013/063114 patent/WO2014001243A1/en active Application Filing
- 2013-06-24 US US14/410,432 patent/US20150324952A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2015525914A (ja) | 2015-09-07 |
KR20150031448A (ko) | 2015-03-24 |
US20150324952A1 (en) | 2015-11-12 |
WO2014001243A1 (en) | 2014-01-03 |
CN104395928A (zh) | 2015-03-04 |
KR101649860B1 (ko) | 2016-08-22 |
EP2680221B1 (en) | 2016-05-11 |
CN104395928B (zh) | 2017-10-27 |
EP2680221A1 (en) | 2014-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5947460B2 (ja) | 高解像度ビデオストリームを生成する方法およびシステム | |
US9905031B2 (en) | Method and related apparatus for capturing and processing image data | |
CN110832541B (zh) | 图像处理装置和方法 | |
KR101445653B1 (ko) | 합성 이미지 구성 방법 | |
CN107249096B (zh) | 全景摄像机及其拍摄方法 | |
CN102665088B (zh) | 利用局部锐度映射的模糊检测 | |
Wang et al. | Deeplens: Shallow depth of field from a single image | |
JP6454659B2 (ja) | ビデオカメラでビデオストリームを処理する方法及び装置 | |
JP2023539691A (ja) | 人物画像修復方法、装置、電子機器、記憶媒体及びプログラム製品 | |
WO2016132147A1 (en) | Enhancement of visual data | |
US11694303B2 (en) | Method and apparatus for providing 360 stitching workflow and parameter | |
KR20180125878A (ko) | 비디오 카메라 및 클라이언트 디바이스를 포함하는 시스템 및 그에 의해 수행되는 방법 | |
Cheng et al. | A dual camera system for high spatiotemporal resolution video acquisition | |
JP5844745B2 (ja) | パッチシフティングを通じてベクトル量子化誤差を低減する方法および装置 | |
Yang et al. | Learning event guided high dynamic range video reconstruction | |
WO2017182789A1 (en) | Blending images | |
CN101227568B (zh) | 视频图像的特效变换方法 | |
JP2014086968A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11341611B2 (en) | Automatic generation of perceived real depth animation | |
Wang et al. | Super resolution for compressed screen content video | |
Simone et al. | Omnidirectional video communications: new challenges for the quality assessment community | |
US20150163457A1 (en) | Imaging apparatus, imaging method, and computer-readable recording medium | |
JP6123341B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
Go et al. | An image fusion scheme for single-shot high dynamic range imaging with spatially varying exposures | |
KR20200143287A (ko) | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5947460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |