RU2015137801A - Система для генерирования изображения промежуточного вида - Google Patents
Система для генерирования изображения промежуточного вида Download PDFInfo
- Publication number
- RU2015137801A RU2015137801A RU2015137801A RU2015137801A RU2015137801A RU 2015137801 A RU2015137801 A RU 2015137801A RU 2015137801 A RU2015137801 A RU 2015137801A RU 2015137801 A RU2015137801 A RU 2015137801A RU 2015137801 A RU2015137801 A RU 2015137801A
- Authority
- RU
- Russia
- Prior art keywords
- image
- mixing
- data
- view
- policy
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Claims (44)
1. Способ (100) генерирования промежуточного изображения (161) из стереоданных (105) для промежуточного вида (155) с использованием смешивания (180) левого промежуточного изображения (131) и правого промежуточного изображения (141) согласно политике (156) смешивания, которая задает относительные вклады левого и правого промежуточных изображений при смешивании как функцию промежуточного вида, причем стереоданные содержат левые данные (103) и правые данные (104), причем левые данные содержат левое изображение (101) и данные (111) левого расхождения, причем левые данные соответствуют левому виду, причем правые данные содержат правое изображение (102) и данные (112) правого расхождения, причем правые данные соответствуют правому виду, и промежуточное изображение соответствует промежуточному виду, причем левое промежуточное изображение сгенерировано из левых данных для промежуточного вида, и правое промежуточное изображение сгенерировано из правых данных для промежуточного вида, при этом способ содержит этапы, на которых:
- предсказывают (182) качество изображения промежуточного изображения для каждой из множества политик (171, 172) смешивания на основе характеристики (184) изображения стереоданных, причем политика смешивания задает относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения;
- определяют (170) политику смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения; и
- когда так требует определенная политика смешивания, генерируют левое промежуточное изображение;
- когда так требует определенная политика смешивания, генерируют правое промежуточное изображение; и
- генерируют промежуточное изображение посредством смешивания левого промежуточного изображения и правого промежуточного изображения с использованием относительных вкладов согласно определенной политике смешивания.
2. Способ по п. 1, в котором этап, на котором определяют (170) политику смешивания, выполняется посредством извлечения политики (156) смешивания из метаданных, связанных со стереоданными (105).
3. Способ по п. 1 или 2, в котором этап, на котором предсказывают качество изображения промежуточного изображения (161) на основе характеристики изображения стереоданных, содержит этап, на котором предсказывают количество деталей изображения промежуточного изображения (161) на основе деталей изображения стереоданных.
4. Способ по п. 1 или 2, в котором стереоданные (105) являются видеопоследовательностью, и в котором этап, на котором генерируют промежуточное изображение (161), дополнительно содержит этап, на котором:
- генерируют последовательные промежуточные изображения из соответствующих последовательных кадров стереоданных (105).
5. Способ по п. 4, в котором этап, на котором определяют (170) политику смешивания, содержит этапы, на которых:
- определяют первую политику смешивания для генерирования первого промежуточного изображения из первого кадра в первый момент времени; и
- определяют вторую политику смешивания для генерирования второго промежуточного изображения из второго кадра во второй момент времени.
6. Способ по п. 5, в котором этап, на котором определяют (170) политику смешивания, дополнительно содержит этап, на котором:
- определяют третью политику смешивания для генерирования третьего промежуточного изображения из третьего кадра в третий момент времени, при этом
- третий момент времени возникает после первого момента времени и перед вторым моментом времени,
- третий относительный вклад, заданный третьей политикой смешивания, лежит между первым относительным вкладом, заданным первой политикой смешивания, и вторым относительным вкладом, заданным второй политикой смешивания,
причем каждый из первого, второго и третьего относительных вкладов соответствует левому промежуточному изображению.
7. Способ по п. 1 или 2, в котором этап, на котором генерируют промежуточное изображение (161), содержит этап, на котором:
- генерируют первую последовательность промежуточных изображений из стереоданных (105), причем первая последовательность промежуточных изображений соответствует первой последовательности расположенных рядом промежуточных видов.
8. Способ по п. 7, в котором
этап, на котором генерируют первую последовательность промежуточных изображений, содержит этапы, на которых:
- центрируют первую последовательность промежуточных видов на первом виде, причем первый вид является видом между левым и правым видами или вблизи левого или правого вида, так что центральный промежуточный вид первой последовательности промежуточных видов соответствует первому виду, и
- осуществляют выбор первого вида на основе предсказанного качества изображения первой последовательности промежуточных изображений.
9. Способ по п. 7, в котором стереоданные (105) являются видеопоследовательностью, и первая последовательность промежуточных изображений генерируется из первого кадра видеопоследовательности, причем первый кадр соответствует первому моменту времени,
и в котором этап, на котором генерируют промежуточное изображение (161), дополнительно содержит этап, на котором:
- генерируют вторую последовательность промежуточных изображений из второго кадра видеопоследовательности, причем второй кадр соответствует второму моменту времени, и вторая последовательность промежуточных изображений соответствует второй последовательности расположенных рядом промежуточных видов, центрированных на втором виде.
10. Способ по п. 9, в котором этап, на котором генерируют промежуточное изображение (161), дополнительно содержит этап, на котором:
- генерируют третью последовательность промежуточных изображений из третьего кадра видеопоследовательности, причем третий кадр соответствует третьему моменту времени, и третья последовательность промежуточных изображений соответствует третьей последовательности расположенных рядом промежуточных видов, центрированных на третьем виде, и при этом третий момент времени возникает после первого момента времени и перед вторым моментом времени, и при этом третий вид лежит между первым видом и вторым видом.
11. Способ по п. 1 или 2, в котором множество политик смешивания содержит по меньшей мере одну политику смешивания из двух политик смешивания,
причем первая политика смешивания
- задает левый относительный вклад левого промежуточного изображения при смешивании; и
- задает правый относительный вклад правого промежуточного изображения при смешивании, причем один из левого относительного вклада и правого относительного вклада доминирует над другим одним из левого относительного вклада и правого относительного вклада,
и вторая политика смешивания
- задает относительный вклад левого промежуточного изображения, равный нулю, соответствующий смешиванию левого и правого промежуточных изображений посредством копирования правого промежуточного изображения, в правое промежуточное изображение.
12. Способ по п. 1 или 2, в котором как данные (111) левого расхождения, так и данные (112) правого расхождения вычисляются из левого изображения (101) и правого изображения (102).
13. Система (600), выполненная с возможностью генерирования промежуточного изображения (161) из стереоданных (105) для промежуточного вида (155) с использованием смешивания (180) левого промежуточного изображения (131) и правого промежуточного изображения (141) согласно политике (156) смешивания, которая задает относительные вклады левого и правого промежуточных изображений при смешивании как функцию промежуточного вида, причем стереоданные содержат левые данные (103) и правые данные (104), причем левые данные содержат левое изображение (101) и данные (11) левого расхождения, причем левые данные соответствуют левому виду, причем правые данные содержат правое изображение (102) и данные (112) правого расхождения, причем правые данные соответствуют правому виду, и промежуточное изображение соответствует промежуточному виду, причем левое промежуточное изображение сгенерировано из левых данных для промежуточного вида, причем правое промежуточное изображение сгенерировано из правых данных для промежуточного вида, при этом система содержит блок генерирования, выполненный с возможностью исполнения:
- функции предсказания для предсказания (182) качества изображения промежуточного изображения для каждой из множества политик (171, 172) смешивания на основе характеристики (184) изображения стереоданных, причем политика смешивания задает относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения;
- функции политики смешивания для определения (170) политики смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения;
- функции левого деформирования, когда так требует определенная политика смешивания, для генерирования левого промежуточного изображения;
- функции правого деформирования, когда так требует определенная политика смешивания, для генерирования правого промежуточного изображения; и
- функции смешивания для генерирования промежуточного изображения посредством смешивания левого промежуточного изображения и правого промежуточного изображения, используя относительные вклады согласно определенной политике смешивания.
14. Система по п. 13, в которой функция политики смешивания для определения (170) политики смешивания выполняется посредством извлечения политики (156) смешивания из метаданных, связанных со стереоданными (105).
15. Система по п. 13 или 14, в которой промежуточное изображение (161) используется для управления по меньшей мере одним видом многовидового дисплея (666).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13154244.1 | 2013-02-06 | ||
| EP13154244.1A EP2765774A1 (en) | 2013-02-06 | 2013-02-06 | System for generating an intermediate view image |
| PCT/EP2013/073733 WO2014121860A1 (en) | 2013-02-06 | 2013-11-13 | System for generating an intermediate view image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2015137801A true RU2015137801A (ru) | 2017-03-10 |
| RU2640645C2 RU2640645C2 (ru) | 2018-01-10 |
Family
ID=47845714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015137801A RU2640645C2 (ru) | 2013-02-06 | 2013-11-13 | Система для генерирования изображения промежуточного вида |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US9967537B2 (ru) |
| EP (2) | EP2765774A1 (ru) |
| JP (1) | JP6393278B2 (ru) |
| KR (1) | KR20150115006A (ru) |
| CN (1) | CN104969546B (ru) |
| BR (1) | BR112015018548A2 (ru) |
| CA (1) | CA2900144A1 (ru) |
| RU (1) | RU2640645C2 (ru) |
| TW (1) | TWI630814B (ru) |
| WO (1) | WO2014121860A1 (ru) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10257501B2 (en) | 2016-04-06 | 2019-04-09 | Facebook, Inc. | Efficient canvas view generation from intermediate views |
| CN107526948B (zh) * | 2017-09-28 | 2023-08-25 | 同方威视技术股份有限公司 | 生成关联图像的方法和设备以及图像验证方法和设备 |
| EP3509308A1 (en) * | 2018-01-05 | 2019-07-10 | Koninklijke Philips N.V. | Apparatus and method for generating an image data bitstream |
| EP3712843A1 (en) * | 2019-03-19 | 2020-09-23 | Koninklijke Philips N.V. | Image signal representing a scene |
| JP2023551991A (ja) * | 2020-12-07 | 2023-12-13 | レイア、インコーポレイテッド | リアルタイムのマルチビュービデオ変換方法及びシステム |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6230773Y2 (ru) * | 1980-12-19 | 1987-08-07 | ||
| US5530774A (en) * | 1994-03-25 | 1996-06-25 | Eastman Kodak Company | Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields |
| US6327381B1 (en) | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
| EP0809913B1 (en) | 1995-12-19 | 2002-06-12 | Koninklijke Philips Electronics N.V. | Parallactic depth-dependent pixel shifts |
| US6064424A (en) | 1996-02-23 | 2000-05-16 | U.S. Philips Corporation | Autostereoscopic display apparatus |
| EP1082702B1 (en) | 1999-03-31 | 2017-10-18 | Koninklijke Philips N.V. | Method of detecting displacement of a block of pixels from a first to a second image of a scene |
| WO2001091468A1 (en) | 2000-05-19 | 2001-11-29 | Koninklijke Philips Electronics N.V. | Method, system and apparatus |
| EP1437898A1 (en) | 2002-12-30 | 2004-07-14 | Koninklijke Philips Electronics N.V. | Video filtering for stereo images |
| RU2298226C1 (ru) * | 2005-10-28 | 2007-04-27 | Самсунг Электроникс Ко., Лтд. | Способ улучшения цифровых изображений |
| US8736672B2 (en) * | 2006-08-24 | 2014-05-27 | Reald Inc. | Algorithmic interaxial reduction |
| GB0708676D0 (en) | 2007-05-04 | 2007-06-13 | Imec Inter Uni Micro Electr | A Method for real-time/on-line performing of multi view multimedia applications |
| FR2917845B1 (fr) * | 2007-06-19 | 2011-08-19 | Christophe Brossier | Procede de visualisation d'une sequence d'images produisant une sensation de relief |
| KR100950046B1 (ko) * | 2008-04-10 | 2010-03-29 | 포항공과대학교 산학협력단 | 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법 |
| US8106924B2 (en) * | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
| US20110148858A1 (en) | 2008-08-29 | 2011-06-23 | Zefeng Ni | View synthesis with heuristic view merging |
| KR101468267B1 (ko) * | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
| US8913657B2 (en) | 2008-10-27 | 2014-12-16 | Lg Electronics Inc. | Virtual view image synthesis method and apparatus |
| KR101580284B1 (ko) * | 2009-02-02 | 2015-12-24 | 삼성전자주식회사 | 중간 시점 영상 생성 장치 및 방법 |
| US9445072B2 (en) * | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
| TWI459796B (zh) | 2009-12-29 | 2014-11-01 | Ind Tech Res Inst | 產生多視角三維立體影像的方法及其裝置 |
| JP5033219B2 (ja) | 2010-04-30 | 2012-09-26 | 株式会社バッファロー | 中継装置、通信装置、通信システム、中継方法、フレーム受信方法、及びそのプログラム |
| EP2393298A1 (en) | 2010-06-03 | 2011-12-07 | Zoltan Korcsok | Method and apparatus for generating multiple image views for a multiview autostereoscopic display device |
| RU2010123652A (ru) | 2010-06-10 | 2011-12-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) | Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником |
| JP5494283B2 (ja) * | 2010-06-24 | 2014-05-14 | ソニー株式会社 | 立体表示装置及び立体表示装置の制御方法 |
| WO2012007867A1 (en) * | 2010-07-12 | 2012-01-19 | Koninklijke Philips Electronics N.V. | Signaling for multiview 3d video |
| JP4939639B2 (ja) | 2010-09-28 | 2012-05-30 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
| JP5879713B2 (ja) * | 2010-12-09 | 2016-03-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| KR101798408B1 (ko) * | 2011-01-03 | 2017-11-20 | 삼성전자주식회사 | 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치 |
| WO2012117462A1 (ja) * | 2011-03-03 | 2012-09-07 | パナソニック株式会社 | 立体映像処理装置および方法ならびに立体映像表示装置 |
-
2013
- 2013-02-06 EP EP13154244.1A patent/EP2765774A1/en not_active Withdrawn
- 2013-11-13 CN CN201380072475.5A patent/CN104969546B/zh not_active Expired - Fee Related
- 2013-11-13 BR BR112015018548A patent/BR112015018548A2/pt not_active Application Discontinuation
- 2013-11-13 KR KR1020157024110A patent/KR20150115006A/ko active IP Right Grant
- 2013-11-13 JP JP2015555600A patent/JP6393278B2/ja not_active Expired - Fee Related
- 2013-11-13 EP EP13802261.1A patent/EP2954674B1/en not_active Revoked
- 2013-11-13 RU RU2015137801A patent/RU2640645C2/ru not_active IP Right Cessation
- 2013-11-13 US US14/763,894 patent/US9967537B2/en not_active Expired - Fee Related
- 2013-11-13 CA CA2900144A patent/CA2900144A1/en active Pending
- 2013-11-13 WO PCT/EP2013/073733 patent/WO2014121860A1/en active Application Filing
- 2013-11-25 TW TW102142868A patent/TWI630814B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN104969546B (zh) | 2017-10-10 |
| JP6393278B2 (ja) | 2018-09-19 |
| TWI630814B (zh) | 2018-07-21 |
| EP2954674A1 (en) | 2015-12-16 |
| RU2640645C2 (ru) | 2018-01-10 |
| BR112015018548A2 (pt) | 2017-07-18 |
| EP2954674B1 (en) | 2017-03-08 |
| KR20150115006A (ko) | 2015-10-13 |
| JP2016510562A (ja) | 2016-04-07 |
| US20150365646A1 (en) | 2015-12-17 |
| WO2014121860A1 (en) | 2014-08-14 |
| CA2900144A1 (en) | 2014-08-14 |
| CN104969546A (zh) | 2015-10-07 |
| TW201433142A (zh) | 2014-08-16 |
| US9967537B2 (en) | 2018-05-08 |
| EP2765774A1 (en) | 2014-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2015137801A (ru) | Система для генерирования изображения промежуточного вида | |
| MX2023000074A (es) | Metodo de decodificacion de video y dispositivo para ello y metodo de codificacion de video y dispositivo para ello. | |
| JP2018532322A5 (ru) | ||
| GB2545588A (en) | System and method for image composition | |
| JP2014526818A5 (ja) | 復号方法、復号装置、コンピュータプログラム製品、および集積回路 | |
| JP2006115246A5 (ru) | ||
| JP2013106170A5 (ru) | ||
| JP2018530963A5 (ru) | ||
| EP3962096A4 (en) | METHOD FOR PRODUCING MULTI-REACTIVE IMAGES, METHOD FOR GENERATING MULTI-REACTIVE IMAGE METADATA, METHOD FOR ANALYZING INTERACTION DATA TO UNDERSTAND HUMAN BEHAVIOR, AND PROGRAM USING THE SAME | |
| JP2012114942A5 (ja) | マルチビュービデオの符号化方法および復号化方法 | |
| PH12015501189B1 (en) | Slant lens interlacing | |
| GB2521085A (en) | Image processing apparatus, image processing method, program, and image pickup apparatus having the image processing apparatus | |
| JP2016536654A5 (ru) | ||
| JP2013126243A5 (ru) | ||
| JP2018101867A5 (ru) | ||
| JP2013537380A5 (ru) | ||
| EP3065047A3 (en) | Method and apparatus for implementing multi-screen by distributing screen and sharing input interface between user | |
| JP2013532323A5 (ru) | ||
| JP2017041727A5 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2014507078A5 (ru) | ||
| JP2017117408A5 (ru) | ||
| JP2015145968A5 (ru) | ||
| EP3206387B1 (en) | Image dynamic range adjustment method, terminal, and storage media | |
| US9521428B2 (en) | Method, device and system for resizing original depth frame into resized depth frame | |
| JP2013192057A5 (ja) | 撮像装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20201114 |