KR20170098232A - 오브젝트 검출에 기초하여 외삽된 이미지를 생성하는 방법 및 장치 - Google Patents
오브젝트 검출에 기초하여 외삽된 이미지를 생성하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20170098232A KR20170098232A KR1020177017100A KR20177017100A KR20170098232A KR 20170098232 A KR20170098232 A KR 20170098232A KR 1020177017100 A KR1020177017100 A KR 1020177017100A KR 20177017100 A KR20177017100 A KR 20177017100A KR 20170098232 A KR20170098232 A KR 20170098232A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- extrapolated
- generating
- extrapolated image
- generate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 title description 5
- 230000008569 process Effects 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007654 immersion Methods 0.000 abstract description 2
- 238000013213 extrapolation Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000009499 grossing Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
기존의 필름 또는 비디오 컨텐츠로부터 외삽된 이미지를 생성하기 위한 방법 및 장치가 개시되며, 이 외삽된 이미지는 뷰어의 몰입감을 증가시키기 위해 기존의 필름 또는 비디오 컨텐츠의 경계들을 너머 디스플레이될 수도 있다. 본 원리들은 내부에 포함된 현저성 오브젝트들, 즉, 메인 이미지로부터 뷰어를 산란시킬 수 있는 오브젝트들 없이 외삽된 이미지를 생성하는 것을 제공한다. 현저성 영역들을 결정하고 그리고 보다 적은 현저성 오브젝트들이 그 위치에 포함되는 외삽된 이미지를 생성하는 것에 의해 이러한 외삽된 이미지가 생성된다. 대안으로서, 현저성 오브젝트들이 외삽된 이미지에서 검출되어 제거될 수 있다. 추가적으로, 선택된 현저성 오브젝트들은 외삽된 이미지에 추가될 수도 있다.
Description
본 발명은 이미지를 프로세싱하기 위한 장치 및 방법에 관련되며, 구체적으로, 기존의 필름 또는 비디오의 경계들을 너머 확장하는 외삽된 이미지를 생성하는 장치 및 방법에 관한 것이며, 여기에서 외삽된 이미지는 기존의 필름 또는 비디오에서의 오브젝트들의 검출에 기초한다.
본 섹션은 아래 설명되고/되거나 청구된 본 발명의 여러 양태들에 관련될 수도 있는 당해 기술의 여러 양태들을 독자에게 도입하도록 의도된다. 본 설명은 본 발명의 여러 양태들의 보다 양호한 이해를 용이하게 하도록 배경 정보를 독자에게 제공하는 것을 돕는 것으로 믿어진다. 따라서, 이들 스테이트먼트들은 이 관점에서 읽혀져야 하며 종래 기술의 용인으로서 읽혀져서는 안되는 것임을 알아야 한다.
참고 문헌들
[1]
METHOD OF AND SYSTEM FOR CONTROLLING AN AMBIENT LIGHT AND LIGHTING UNIT, WO2004006570 (A1) ― 2004-01-15
[2]
DOMINANT COLOR EXTRACTION USING PERCEPTUAL RULES TO PRODUCE AMBIENT LIGHT DERIVED FROM VIDEO CONTENT, WO2006003600 (A1) ― 2006-01-12
[3]
P. Mills, A. Sheikh, G. Thomas, 및 P. Debenham. BBC research & development, white paper WHP 208 - surround video. 페이지 34. 2011.
[4]
D. E. Novy. Computational immersive display. 2013.
[5]
Jones, Brett R; Benko, Hrvoje; Ofek, Eyal; Wilson, Andrew D (2013). "IllumiRoom: Peripheral Projected Illusions for Interactive Experiences". 2013.
[6]
A. Aides, T. Avraham, 및 Y. Schechner. Multiscale ultrawide foveated video extrapolation. 2011 년도, IEEE ICCP (International Conference on Computational Photography), 페이지 1-8. 2011.
[7]
Sam Roweis & Lawrence Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, v.290 no.5500, Dec.22, 2000. pp.2323-2326.
[8]
Jun Yu, MD Srinath, An efficient method for scene cut detection, Pattern Recognition Letters, 2001, pp1379-1391.
[9]
Paul L. Rosin, A simple method for detecting salient regions, Pattern Recognition 42(2009), pp2363-2371.
[10]
S. Hare, A. Saffari, 및 P. H. S. Torr. Struck: Structured Output Tracking with Kernels. (ICCV, 2011).
[11]
W. Zhong, H. Lu, 및 M.-H. Yang. Robust Object Tracking via Sparsity-based Collaborative Model. (CVPR, 2012).
[12]
Patrick Perez, Michel Gangnet, Andrew Blake, "Poisson image editing", ACM Transactions on Graphics (SIGGRAPH), 2003.
[13]
Michael Kalloniatis 및 Charles Luu , 2007, Visual Acuity.
이미지 외삽 기법들은 필름 또는 비디오 컨테츠를 뷰잉하는 동안 뷰어 몰입감을 개선하기 위해 기존의 필름 또는 비디오 이미지의 경계들을 너머 이미지들을 생성하는데 이용될 수도 있다. 이미지 외삽은 확장될 이미지들에서의 컨텐츠에 기초하여 수행될 수도 있다. 이러한 확장은 필름 또는 비디오의 메인 이미지와 함께 확장된 이미지들로 스펙테이터를 둘러싸기 위해 스크린 주변의 컨텐츠를 프로젝트하는 것에 의해 시야를 증가시키려 한다. 이러한 외삽된 이미지들을 디스플레이하기 위한 예시적인 배열체가 도 1 에 도시되어 있다. 필름 또는 비디오 컨텐츠로부터의 메인 이미지는 메인 스크린 (110) 상에 디스플레이되는 한편, 외삽된 이미지들은 몰입감의 느낌을 제공하기 위해 디스플레이 영역들 (120, 130 및/또는 140) 상에 메인 스크린 (110) 의 경계들을 너머 디스플레이된다.
이미지들은 도 2 및 도 3 에 도시된 것들을 포함하는 상이한 배열체들을 이용하여 여러 디스플레이 영역들 상에 프로젝션될 수도 있다. 도 2 에서, 단일의 프로젝션 (250) 이 메인 스크린 (210) 상에 디스플레이되고, 프로젝션 (250) 의 부분들은 스크린들 (220, 230 및/또는 240) 상에 디스플레이된다. 도 3 에서, 배열체 (310) 는 중앙 디스플레이 스크린 상에 필름 또는 비디오 컨텐츠를 프로젝션하는 중앙 프로젝션을 포함하는 한편, 배열체 (320) 는 좌측 디스플레이 스크린 상에 외삽된 이미지를 프로젝션하는 좌측 프로젝션을 포함하고, 배열체 (330) 는 우측 디스플레이 스크린 상에 외삽된 이미지를 프로젝션하는 우측 프로젝션을 포함한다. 도시되지 않았지만, 프로젝션은 위의 디스플레이 스크린에 대해 또한 제공될 수도 있다.
필름 또는 비디오의 경계들 주변에 특정 디스플레이들 또는 이미지들을 프로젝션하는 여러 시스템이 제안되어 왔다.
Philips Corporation 에 의해 개발된 Ambilight System [1] 에서, 이미지의 컬러들의 분포가 연구되고 있고 [2] 그리고 TV 의 에지들 상에 탑재된 RGB LED들을 이용하여 스크린 주변에 프로젝션된다. 스마트 라이트 벌브들은 스크린 상에 디스플레이되는 이미지에 따라 컬러들을 변경할 수 있는 세트업에 추가될 수 있다. 라이트 프로젝션은 제한된 영역에서 TV 주변에 행해지며, 어떠한 배경의 디테일들도 또는 형상부들 또는 모션 인상감도 제공하지 않는다.
Mills 등에 의해 제안된 시스템 [3] 은 2 개의 카메라들로 획득된 컨텐츠에 대한 프로젝션 시스템을 포함한다. 그러나 이 시스템은 컨텐츠 생성을 포커싱하지 않고, 기존의 컨텐츠에 이미지 외삽을 적용하지 않는다.
MIT Media Lab 에 의해 개발된 Infinity-by-nine [4] 은 TV 에 대한 몰입감있는 디스플레이를 생성하고자 한다. 시스템은 (룸의 양쪽 면과 천장에) 3 개의 프로젝터들 및 3 개의 스크린들을 이용하여 TV 스크린 상에 디스플레이되는 프로그램을 증강시킨다. 추가적인 스크린들 상의 컨텐츠는 TV 컨텐츠로부터 실시간으로 연산된다. 컨텐츠는 스크린 변화들로 생성되고 추정된 카메라 모션으로부터 업데이트된다. 이 기법이 모션 추정에 의존하기 때문에, 빠르게 변화하는 장면들, 플래시들이 있는 장면 또는 큰 움직임이 있는 장면들에서는 잘 작동하지 않을 수도 있다.
Microsoft 에 의해 제안된 IllumiRoom [5] 는 Kinect 센서 및 프로젝터를 이용하여, 텔레비전 디스플레이 주변에서 이미지들을 프로젝션하는 것에 의해 TV 컨텐츠를 증강시킨다. 게임에서 발생하는 것이 플레이어의 방에서 또한 발생한다는 환상을 주도록 몰입감있는 인상적인 게임이 주로 개발되었다. 시스템은 텔레비전 디스플레이를 둘러싸고 있는 가구와 벽에 직접 이미지들을 프로젝션하여 스크린 상에 주요 이미지를 너머 발생하는 이벤트들을 전달한다. 그러나, 이 시스템은 이미지 외삽에 의한 컨텐트 생성, 즉 이미지의 컨텐츠에 기초한 외삽을 해결하지 않는다. 컨텐츠는 게임 렌더러에 의해 대부분 컴퓨터 생성된다.
Ultrawide Foveated Video Extrapolation [6] 기법은 중심 이미지 주위에서 비디오 컨텐츠를 외삽한다. 이 알고리즘의 핵심 아이디어는 경계들 외부에서 비디오를 외삽하기 위해 공간 및 시간 차원들에서 (이미지 블록들 대신에 비디오 큐브들을 사용하여) Patch-Match 알고리즘을 사용하는 것이다. 올바른 패치를 선택할 때 이들은 산란함을 일으키는 경향이 있는 패치들 (즉, 비디오 외부에 많은 에지들을 추가하는 패치들) 을 패널라이즈한다. 동일한 패치의 부자연스러운 반복을 피하기 위해, 사용된 패치는 또한, 비용이 비슷한 몇몇 패치들 중에서 무작위로 선택된다. 계산을 제한하기 위해 피팅 패치에 대한 검색은 채워지고 있는 픽셀들에 가까운, 오리지널 입력 비디오의 특정 영역으로 제한되고 검색 영역이 필요에 따라 확장된다. 이 알고리즘은 한 프레임을 외삽하는 데 수 분이 걸리며 따라서, 실시간으로 구현하기 어려울 수도 있다. 알고리즘은 멀티-스케일 접근법을 사용하여 대략적인 해상도에서 외삽을 시작하고 추가의 단계들에서 해상도를 리파이닝하다. 이 기법은 매끄러운 외삽을 보장하지만 매우 계산 집약적이다. 또한, 에지 영역들의 페널라이즈화는 에지가 산란한지의 여부를 결정하기 위해 인간의 시각 시스템을 고려하지 않는다. 외삽된 비디오는 일부 관련 구조들을 손실할 수 있다.
본 원리는 오리지널 필름 및 비디오 컨텐츠로부터 이미지를 외삽하는 장치 및 방법의 개선에 관한 것이다.
일 양태에서, 본 원리들은 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법을 제공하며, 이 방법은 이미지에 액세스하는 단계; 및 이미지의 부분으로부터 외삽된 이미지를 생성하는 단계를 포함하고, 생성하는 단계는 시각적 주의 모델에 기초하여 현저성 오브젝트를 식별하는 단계, 및 현저성 오브젝트가, 식별하는 것에 응답하여 수정되는 외삽된 이미지에 포함되지 않도록 생성하는 단계를 수정하는 단계를 포함한다.
다른 양태에서, 본 원리들은 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법을 제공하며, 이 방법은 이미지에 액세스하는 단계; 이미지의 부분으로부터 외삽된 이미지를 생성하는 단계; 시각적 주의 모델에 기초하여 외삽된 이미지의 현저성 맵 (saliency map) 을 생성하고 현저성 맵으로부터 현저성 오브젝트를 식별하는 단계; 및 현저성 오브젝트가 수정되는 외삽된 이미지에 포함되지 않도록 외삽된 이미지를 수정하는 단계를 포함한다.
다른 양태에서, 본 원리들은 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치를 제공하며, 이 방법은 이미지에 액세스하도록 구성되는 입력; 및 입력에 커플링되어, 이미지의 부분으로부터 외삽된 이미지를 생성하도록 구성되는 프로세서로서, 생성하는 것은 시각적 주의 모델에 기초하여 현저성 오브젝트를 식별하는 것, 및 현저성 오브젝트가, 식별하는 것에 응답하여 수정되는 외삽된 이미지에 포함되지 않도록 생성 프로세스를 수정하는 것을 포함하는, 상기 프로세서; 및 수정된 외삽된 이미지를 출력하도록 구성되는 출력을 포함한다.
다른 양태에서, 본 원리들은 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치를 제공하며, 이 장치는 이미지에 액세스하도록 구성되는 입력; 이미지의 부분으로부터 외삽된 이미지를 생성하고; 시각적 주의 모델에 기초하여 외삽된 이미지의 현저성 맵을 생성하고; 현저성 맵으로부터 현저성 오브젝트를 식별하고; 그리고 현저성 오브젝트가 수정되는 외삽된 이미지에 포함되지 않도록 외삽된 이미지를 수정하도록 구성되는 프로세서; 및 수정되는 외삽된 이미지를 출력하도록 구성되는 출력을 포함한다.
추가적으로, 본 원리는 위에 설명된 방법들을 구현하는 컴퓨터 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램 제품들을 제공한다.
추가적으로, 위에 설명된 실시형태들은 공간 필터링, 시간 필터링을 적용하고 선택된 오브젝트들을 외삽된 이미지들로 추가하는 특징들을 포함할 수도 있다.
본 발명의 상술한 특징 및 다른 특징들 및 이점들 그리고 이들을 달성하는 방식은 더욱 명백해질 것이며, 본 발명은 첨부된 도면들과 연계한 본 발명의 실시형태들의 다음설명을 참조하여 보다 잘 이해될 것이다.
도 1 은 필름 및/또는 비디오 디스플레이의 경계들을 너머 외삽된 이미지들을 디스플레이하기 위한 예시적인 배열체를 나타낸다.
도 2 는 여러 디스플레이 스크린들 상에 이미지를 프로젝션하는 예시적인 배열체를 나타낸다.
도 3 은 여러 디스플레이 스크린들 상으로의 프로젝션 이미지들에 대한 예시적인 배열체를 나타낸다.
도 4 는 오리지널 이미지, 및 오리지널 이미지의 좌측 및 우측 경계들을 너머 생성되고 디스플레이되는 외삽된 이미지들을 포함하는 예시적인 이미지를 예시한다.
도 5 는 오리지널 이미지, 및 생성되고, 오리지널 이미지의 좌측 및 우측 경계들을 너머 디스플레이되는 외삽된 이미지들을 포함하는 예시적인 이미지를 예시하며, 여기에서 오리지널 비디오로부터 다수의 프레임들이 이용된다.
도 6 은 본 원리들에 따라 외삽된 이미지를 생성하는 양태를 예시한다.
도 7 은 본 원리들에 따라 이미지에서의 오브젝트 검출의 일 양태를 예시한다.
도 8 은 본 원리들에 따라 외삽된 이미지를 생성하는 예시적 프로세스를 예시한다.
도 9 는 본 원리들에 따라 외삽된 이미지를 생성하고/하거나 프로세싱하는 예시적 장치를 예시한다.
본원에 기술된 설명은 본 원리들의 여러 양태들을 구현하는 예시적 실시형태들을 예시한다. 이러한 예들은 임의의 방식으로 청구항들의 범위를 제한하는 것으로 간주되지 않는다.
도 1 은 필름 및/또는 비디오 디스플레이의 경계들을 너머 외삽된 이미지들을 디스플레이하기 위한 예시적인 배열체를 나타낸다.
도 2 는 여러 디스플레이 스크린들 상에 이미지를 프로젝션하는 예시적인 배열체를 나타낸다.
도 3 은 여러 디스플레이 스크린들 상으로의 프로젝션 이미지들에 대한 예시적인 배열체를 나타낸다.
도 4 는 오리지널 이미지, 및 오리지널 이미지의 좌측 및 우측 경계들을 너머 생성되고 디스플레이되는 외삽된 이미지들을 포함하는 예시적인 이미지를 예시한다.
도 5 는 오리지널 이미지, 및 생성되고, 오리지널 이미지의 좌측 및 우측 경계들을 너머 디스플레이되는 외삽된 이미지들을 포함하는 예시적인 이미지를 예시하며, 여기에서 오리지널 비디오로부터 다수의 프레임들이 이용된다.
도 6 은 본 원리들에 따라 외삽된 이미지를 생성하는 양태를 예시한다.
도 7 은 본 원리들에 따라 이미지에서의 오브젝트 검출의 일 양태를 예시한다.
도 8 은 본 원리들에 따라 외삽된 이미지를 생성하는 예시적 프로세스를 예시한다.
도 9 는 본 원리들에 따라 외삽된 이미지를 생성하고/하거나 프로세싱하는 예시적 장치를 예시한다.
본원에 기술된 설명은 본 원리들의 여러 양태들을 구현하는 예시적 실시형태들을 예시한다. 이러한 예들은 임의의 방식으로 청구항들의 범위를 제한하는 것으로 간주되지 않는다.
설명된 실시형태들은 개선된 이미지 외삽 장치 및 방법을 제공하려 하며, 이 장치 및 방법은:
- 시각적 집중 모델을 이용하는 것에 의해 외삽 프로세스에서 비디오의 부분들을 산란하게 하는 것을 피하며, 특히 오리지널 필름 또는 비디오에서 잠재적으로 산란하게 하는 것이 감지되어, 이들 잠재적으로 산란스러운 오브젝트가 외삽된 이미지에 포함되지 않도록 하고, 외삽된 이미지는 산만스러운 오브젝트 없이도 생성될 수도 있거나 또는 외삽된 이미지는 산란스러운 오브젝트들을 제거하도록 수정될 수도 있고;
- 외삽을 위한 입력 컨텐츠로서 다수의 레퍼런스들 및 장기 레퍼런스들을 이용하고;
- 보다 대략적인 외삽 프로세스를 허용하면서 매끄러운 외삽을 보장하도록 공간-시간 필터링을 이용하고;
- 트래킹 및 궤도 추정을 이용하여 포스트 프로세싱 단계에서 움직이는 오브젝트들을 추가하며,
- 인간 시각 시스템 (HVS) 호환가능하고 뷰어를 교란시키지 않는 이미지들을 생성하기 위해 인간 시각 시스템 특성들을 고려한다. 특히, 주변 시야에서 움직이는 오브젝트들에 대한 민감도가 활용될 것이다.
도 4 는 오리지널 이미지 (410) 에 기초하여 생성되는 외삽된 이미지들 (420 및 430) 을 갖는 예시적인 이미지 디스플레이를 예시한다. 개별적인 외삽된 이미지들은 오리지널 이미지 (410) 의 좌측 및 우측 경계들을 너머 오리지널 이미지를 확장하는 방식으로 차별화되어 생성된다는 것을 알 수 있다.
현저성 인식
외삽
본 원리들에 따르면, 오리지널 이미지의 현저성 부분들, 즉 부분들이 외삽되거나 또는 주변의 이미지들에 포함되면 뷰어에게 산란스러울 수도 있는 부분들은 이들이 은닉되거나 또는 외삽된 이미지들에 포함되지 않게 하여, 외삽된 이미지 상에 코히어런트 하지 않은 모션을 갖는 산란스러운 영역들의 출현을 회피하는 관점에서 패널라이즈된다. 현저성 (Salient) 은 오브젝트가 뷰어의 시선을 끌 수도 있는 특징을 의미할 수도 있으며, 이는 무의식적으로 발생할 수도 있어, 이에 의해 뷰어의 주의를 산란시킨다. 본 원리의 또 다른 양태에서, 식별된 현저성 오브젝트들은 아래 후술되는 바와 같이 적절한 궤도를 갖는 외삽된 이미지에 추후에 추가될 수 있다.
A(x, t) 는 프레임 t 의 픽셀 x 가 현저성 정도를 나타내는 0 과 1 사이에서 정규화된 현저성 맵이다. 현저성은 시각적 주의 모델, 예를 들어 2004년 12월 14일자로 출원된 EP 특허 제1 695 288 B1호(Le Meur 등) 에 제시된 모델을 사용하여 계산될 수도 있으며, 그 개시 내용은 전체적으로 본원에서 참고로서 포함된다.
본 원리들에 따르면, 일 실시형태는 현저성 오브젝트가 나타날 외삽된 이미지의 영역을 결정하고 그 안에 포함된 현저성 오브젝트 없이 외삽된 이미지를 생성한다. 재구성된 손실 영역을 갖는 외삽된 이미지는, 예를 들어 Urban 등의, 발명의 명칭이 "Apparatus and Method for Generating an Extrapolated Image using a Recursive Hierarchical Process" 이고 대리인 도켓 넘버 PF140347 인 특허 출원에 개시된 기술을 이용하여 생성될 수도 있으며, 본원에서는 이 특허 내용을 참조로서 포함한다.
일 실시형태에서, Urban 등에 의해 설명된 외삽 기법은 블록 매칭 프로세스 동안에 오리지널 이미지에서의 현저성 영역들을 패널라이즈하도록 수정되어, 외삽된 이미지가 그 내부에 포함된 현저성 오브젝트 없이 생성되게 한다. 따라서, 현저성 영역이 이미지를 외삽하는데 이용되면, 외삽된 이미지에 어떠한 산란스러운 부분들도 제시되지 않을 것이다.
블록 매칭 또는 패치 매치 검색에 이용되는 매칭 척도 (또는 스코어) 가 아래 설명될 바와 같이 현저성을 포함한다. 이와 같이, 이미지의 현저성 부분들은 블록 매칭에 대한 기준들로서 패널라이즈되며, 거의 산란스럽지 않은 영역들이 외삽된 이미지에 나타난다.
패치-매치 기법은 손실 영역을 재구성하는데 이용될 수 있다. S 로부터 기존의 픽셀 및 새로운 픽셀 양쪽을 포함하는 블록 (M) 을 구축하기 위해, 코스트 (r) 는 최소화된다:
SSD 는 예를 들어, Lab 컬러 공간 또는 RGB 컬러 공간에서의 절대 차이의 합이고, Ma 는 블록의 이미 연산된 부분이며, Sa 는 Ma 의 형상에 대응하는 기존의 블록 (S) 의 부분이며, λ 는 현저성의 영향을 제어하는 가중치이다 (λ=100).
선택된 블록 (S) 은 이전 식을 최소화하는 것이다.
여기에서 Ω 는 기존의 이미지에서의 검색 윈도우이다.
알고리즘의 확장으로서, 블록 (M) 은 함께 블렌딩된 n 개의 매칭된 블록들 (Si) 로부터 구축될 수 있다. 최상의 매치들 (Si) 의 분류된 리스트는 위의 식을 이용하여 구성된다 (즉, r(S) 을 최소화, 
). 블록 (M) 은 블록들 (Si) 의 조합에 의해 획득된다:
블록들 (Si) 의 조합은 또한 가중처리될 수 있다
여기에서, 가중치들 (bi) 이 LLE 최적화 [7] 를 통하여 또한 학습된다.
개선으로서, 코히어런트 블록들만이 이용되는 것을 보장하기 위해, 스코어 r(S) 가 너무 높은 블록들 (S)(
) 은 리젝트될 수 있다:
다중 참조 프레임들
이전 또는 다음 프레임들에 완전히 나타나는 이미지의 경계에서의 오브젝트들의 부분들을 재구성하기 위하여, 검색 영역 (Ω) 은 위에 제시된 기법들을 이용하여 수개의 이웃하는 프레임들로 확장될 수 있다.
슬로우 모션의 경우, 다수의 이웃하는 프레임들은 오브젝트가 완전히 나타나는 것이 필요할 수 있다. 검색 시간을 감소시키기 위해, Ω 는 참조 프레임들이 전체 검색을 회피하도록 선택되는 아래의 알고리즘을 이용하여 적절하게 선택될 수 있고, 선택된 프레임들은 패치-매치 방식에 이용된다:
- 알고리즘은 프레임들이 장면마다 그룹화되는 경우 샷 검출의 단계를 포함한다. 장면은 2 개의 장면 컷들 사이의 연속하는 프레임에 의해 정의된다 [8].
- 균일하게 이격된 이미지들을 선택하는 것에 의해, 대부분의 n 개의 이미지들이 장면에서 선택된다.
- 개선은 상당히 다른 이미지들만을 유지하는 것으로 구성된다. SSD 는 2 개의 후보 이미지들 사이에서 연산된다. 이미지들이 서로 너무 유사함을 의미하는, SSD 가 임계값 아래에 있다면, 하나의 이미지만이 유지된다. 이는 불필요시에 계산들을 가속화하기 위해 검색 이미지 리스트를 감소시키는 것을 허용한다.
공간-시간 평활화
시각적 필드의 주변에, 인간 시각 시스템은 모션 및 깜빡임 효과들에 민감하다. 그러나, 매우 낮은 민감성 컬러 및 해상도를 갖는다.
산란스러운 원하지 않는 움직이는 오브젝트들은 이전에 제공된 현저성 인식 필터링으로 인하여 이미 회피되었다. 추가로, 깜빡임 아티팩트들은 시간 필터를 이용하여 감소된다. 시간 필터는 예를 들어, 시간 차원에서 적용되는 가우시안 평활화이다. 결과적인 픽셀은 이전 또는 다른 프레임들에서의 공동위치된 픽셀들의 선형 조합으로부터 연산되며, 가중치들은 중앙 픽셀 주변의 가우시안 분포에 의해 정의된다.
또한, 외삽된 이미지가 너무 산란스러운 것을 회피하기 위해, 공간 평활화 필터가 또한 공간 차원에 적용될 수 있다. 관찰자가 정면 스크린 상에 자신의 주의를 유지하는 동안, 관찰자는 시각적 필드 주변의 디테일들을 보지 못하기 때문에 평활화는 인식가능하지 않게 되지만, 이는 사이드 프로젝션들이 사용자의 주의를 이끄는 것을 방해한다.
편심의 20° 에서의 시각적 예민성이 중앙 비전의 1/10 인 것으로 가정한다 [13]. 이는 3 미터 폭 스크린의 전방에서 4 미터에 위치된 관찰자에 대한 스크린의 에지에 대응한다. 이는 주변 스크린 상의 해상도가 중심 해상도의 1/10 이어야 함을 의미한다. 확장과 그 프로젝션의 결과적인 해상도가 중앙 뷰와 동일하다고 고려하여 보면, 공간 필터링에 이용되는 가우시안 필터는 σ=10/π 픽셀들의 표준 편차를 가져야 하고, 여기에서 최대 주파수는 픽셀 당 ½ 사이클이다. 결과적인 확장 및 프로젝션이 중앙 뷰로부터 변화하면, 이들 파라미터들이 적용되어야 한다.
대안의 실시형태에서, Urban 등의 외삽 기법은 초기에 외삽된 이미지를 생성하는데 이용된다. 그 후, 현저성 오브젝트가 예를 들어, 현저성 맵을 이용하여 외삽된 이미지에 포함되는지의 여부를 결정하도록 외삽된 이미지가 분석된다. 외삽된 이미지가 현저성 오브젝트를 포함하는 것으로 검색되면, 현저성 오브젝트들은 제거될 수도 있고, 외삽된 이미지의 손실 영역들은 인페인팅 또는 Urban 등의 수정된 기법을 이용하여 채워질 수 있다. 이는 이미 연산된 외삽된 이미지의 포스트 프로세싱으로서 보여질 수 있다.
오브젝트
삽입 및 궤적
외삽
자동적으로 또는 임의의 에디터에 의해 수동적으로 외삽된 이미지, 또는 측면 컨텐츠가 평활한 배경과 함께 생성되었다면, 정면 스크린에 진입하거나 또는 떠나는 적절한 궤적적을 갖는 움직이는 오브젝트들을 추가하는 것이 바람직할 수도 있다. 이 부분은 사용자 입력으로 또는 완전 자동으로 행해질 수 있는 방법을 설명한다.
관심 대상의 오브젝트들은 오브젝트 주변의 닫혀진 윤곽 또는 직사각형을 정의하는 것에 의해 수동으로 선택될 수 있다. 관심 대상의 오브젝트의 검출은 예를 들어, 도 7 에서의 현저성 맵을 이용하여 행해진다. 도 7 에서의 오브젝트 (710) 는 인접하는 외삽된 이미지 부분 (617) 인 이미지 부분 (615) 에서의 오브젝트 (650) 에 대응한다. 이미지 부분 (605) 과 외삽된 이미지 부분 (607) 을 갖는 이미지 (600) 는 도면 번호 620 으로 표시되는 외삽된 이미지에 포함된 오브젝트 (650) 를 보여준다. 오브젝트 (650) 는 [9] 에서 설명된 것과 같은 블랍 검출기를 이용하여 또는 수동으로 선택될 수 있다.
오브젝트의 궤도를 추정하기 위해, 그 후, 트랙커가 이용되어 선택 단계에서 정의된 영역 상에서 초기화된다. 임의의 트랙커, 예를 들어, [10] 에 설명된 것이 이용될 수 있다 [11]. 트랙커는 프레임 (t) 에서의 오브젝트 중심 포지션 (p) 을 추정 p(t) 하는데 이용된다. 정면 스크린을 떠나거나 또는 진입하는 오브젝트 궤도들을 외삽할 수 있기 위해 순방향 및 역방향으로 트랙킹이 수행된다. 역방향에 대해, 프레임 순서는 역전되고 다음 등식들이 변수 변화와 함께 여전히 적용한다. 따라서, 정면 스크린을 떠나는 오브젝의 일 예가 다음과 같이 제시될 것이다.
제 1 단계는 트랙킹된 오브젝트 중심 포지션 p(t)=(x(t),y(t)) 의 파라메트릭 궤도를 모델링하는 것이다. 이용된 파라메트릭 모델은 선형 (일정 속력), 포물선 (일정 가속도) 또는 더 복잡한 궤도일 수 있다. 예를 들어, 포물선 궤도 
가 이용되고, t 가 프레임 번호, a,b,c,d,e,f 를 나타내면, 파라미터들은 추정된 포지션들을 이용한 재귀법을 통하여 추정된다. 추정된 포지션의 수는 파라미터들을 추정하기 위해 3보다 작아야 하지만 더 큰 수가 잡음 효과를 감소시키는 것을 허용한다. 그러나, 관찰자 프레임들의 수는 모션 모델이 보유하는 특정 수 미만으로 유지되어야 한다 (실제적으로, 추정된 포지션들의 수는 가장 오래된 추정들로부터 드롭하는 것에 의해 30 미만으로 유지되어야 한다). 이 궤도는 각각의 프레임 마다 추정된다.
다음 단계는 오브젝트가 스크린을 떠나는지 아닌지의 여부를 검출하는 것이다. 이는 다음 오브젝트 중심 포지션 
을 관찰하는 것에 의해 행해질 수 있다. 
가 이미지 바운더리들 외부에 있다면, 오브젝트는 스크린을 떠나는 것으로 추정된다. 그 후, 오브젝트 포지션은 추정된 파라메트릭 등식을 이용하여 매 후속하는 프레임 마다 추정될 수 있다.
보다 견고한 것을 위해, 추정된 궤도가 일정한 것을 보장해야 한다. 오브젝트 삽입은 하기와 같을 때 정지된다:
수평 속력이 너무 낮을 때: 
, 여기에서, 정적 오브젝트들은 확장들 상에 디스플레이되는 것이 방지되기 위해, 프레임 당 픽셀 최대 초기 속력 
,
y(t) 는 수직 이미지 바운더리들 밖에 든다,
수평 모션은 null 이 되고: 그렇지 않고 a≠0, b≠0 이면 
,
수평 포지션 x(t) 는 이미지 바운더리들 밖에 든다.
오브젝트는 마지막으로, 외삽된 포지션들에서 후속 프레임들에 삽입된다. 외형은 단순히 나타나는 마지막 프레임에서의 오브젝트 컷일 수 있거나, 또는 (일부 블렌딩 기법을 이용한) 마지막 외형의 조합일 수 있다. 끊김없이 삽입되도록, 푸아송 (Poisson) 편집을 이용하여 [12] 에서 설명된 것과 같은 클론 기법이 이용될 수 있다. 삽입후 알파 마스크 블렌딩 또는 블러링을 이용하는 것과 같은 덜 계산 집중적인 기법들이 또한 이용될 수 있다.
도 8 은 본 원리들에 따라 예시적인 프로세스를 예시한다. 프로세스 (800) 는 단계 820 에서 확장될 이미지를 수신하는 것에 의해 시작한다. 단계 830 에서, 다중 참조 프레임들이 외삽된 이미지를 생성함에 있어서 분석을 위하여 선택될 수도 있지만, 그러나 단일의 참조 프레임도 필요에 따라 이용될 수도 있다. 단계 840 에서, 현저성 인식 외삽은 Urban 등의 블록 매칭 기법을 수정하는 것에 의해 외삽된 이미지를 생성하는데 이용되어, 산란스런 부분들이 존재하지 않는 외삽된 이미지들을 생성하기 위해 오리지널 이미지에서 현저성 영역들을 페널라이즈한다. 공간-시간 평활화가 단계 850 에서 수행될 수도 있다. 마지막으로, 단계 860 에서 필요에 따라, 검출된 현저성 오브젝트가 수동으로 또는 자동으로 선택될 수도 있고, 궤도 외삽에 기초하여 삽입된다.
도 9 는 본 개시의 예시적 실시형태들의 여러 양태들이 구현될 수도 있는 예시적 시스템의 블록도를 예시한다. 시스템 (900) 은 아래 설명된 여러 컴포넌트들을 포함하는 디바이스로서 구체화될 수도 있으며, 위에 설명된 프로세스들을 수행하도록 구성된다. 이러한 디바이스들의 예들은 퍼스널 컴퓨터들, 랩톱 컴퓨터들, 스마트폰들, 테블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 퍼스널 비디오 기록 시스템들, 접속형 홈 가전기기들, 및 서버들을 포함하지만 이들에 제한되지 않는다. 시스템 (900) 은 위에 설명된 바와 같이 필름 및 비디오 데이터 양쪽을 수신하고 필름 및 비디오 데이터를 프로세싱하며, 그리고 수신된 필름 및 비디오 데이터로 외삽된 이미지들을 프로젝션하거나 디스플레이하여 몰입감있는 뷰어 경험을 제공하기 위해 다른 컴포넌트들, 예를 들어, 신호 수신 장치, 프로젝션 시스템, 디지털 시스템 등에 통신가능하게 커플링될 수도 있다.
시스템 (900) 은 위에 설명된 바와 같이 여러 프로세스들을 구현하기 위하여 내부에 로딩된 명령들을 실행하도록 구성되는 적어도 하나의 프로세서(들)(940) 을 포함할 수도 있다. 프로세서(들)(940) 은 당해 기술 분야에 알려진 바와 같이, 내장형 메모리, 입력 출력 인터페이스, 및 여러 다른 회로부들을 포함할 수도 있다. 시스템 (900) 은 또한, 적어도 하나의 메모리 (950)(예를 들어, 휘발성 메모리 디바이스, 비휘발성 메모리 디바이스) 를 포함할 수도 있다. 시스템 (900) 은 추가적으로, EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이들에 제한되지 않는 비휘발성 메모리를 포함할 수도 있는 저장 디바이스 (960) 를 추가적으로 포함할 수도 있다. 저장 디바이스 (960) 는 내부 저장 디바이스, 부착형 저장 디바이스 및/또는 네트워크 액세스 가능 저장 디바이스를 비제한적 예들로서 포함할 수도 있다. 위에 설명된 여러 프로세스들을 수행하기 위해 프로세서(들)(940) 상에 로딩될 프로그램 코드는 저장 디바이스 (960) 에 저장되고 프로세서(들)(940) 에 의한 실행을 위하여 메모리 (950) 상에 후속하여 로딩될 수도 있다. 시스템 (900) 은 또한, 암호화된 필름 및/또는 비디오 데이터를 수신하여 복호화하도록 구성되는 복호화 모듈 (920) 을 포함할 수도 있다. 프로세서(들)(940) 에 의해 생성된 이미지 데이터는 출력 포트를 통하여 디스플레이 디바이스(들)로 출력될 수도 있거나, 대안으로서, 시스템 (900) 이 디스플레이와 통합될 수도 있고, 여기에서 출력 신호는 시스템 (900) 의 디스플레이 상에 이미지들을 디스플레이하도록 직접 적용된다.
시스템 (900) 는 필요에 따라 수신된 입력 신호들을 디코딩하는 디코더 (930) 를 포함할 수도 잇고, 이 신호들은 알려진 압축 포맷들, 예를 들어, MPEG2 또는 H.264 의 어느 것에 따라 압축된 포맷으로 될 수 있다. 디코더 (930) 는 시스템 (900) 내의 별도의 성분으로서 구현될 수도 있거나 또는 당해 기술 분야에 알려진 바와 같이, 프로세서(들)(940) 의 부분으로서 통합될 수도 있다.
복호화 모듈 (920) 은 복호화 기능들을 수행하도록 디바이스에 포함될 수도 있는 모듈(들)을 표현한다. 알려진 바와 같이, 디바이스는 암호화 및 복호화 모듈들의 일방 또는 양방을 포함할 수도 있고, 예를 들어, 암호화가 비밀 키를 수반하지 않기 때문에 암호화는 정규 PC 상에서 행해질 수 있어, PC 는 입력 파라미터들 (즉, 공개 시스템 파라미터들 및 사용자의 아이덴티티) 을 저장하기 위한 보안 메모리를 필요로 하지 않게 된다. 그러나, 복호화는 비밀 키들 (즉, 복호화 키) 을 요구하며 보안 디바이스, 예를 들어, 스마트 카드에서 행해진다. 추가적으로 복호화 모듈 (920) 은 시스템 (900) 의 별도의 엘리먼트로서 구현될 수도 있거나, 또는 당해 기술 분야에 알려진 바와 같이 하드웨어 및 소프트웨어 조합으로서 프로세서(들)(940) 내에 통합될 수도 있다.
시스템 (900) 은 또한 통신 채널, 유선 또는 무선을 통하여 다른 디바이스들과 통신을 가능하게 하는 통신 인터페이스 (910) 를 포함할 수도 있다. 통신 인터페이스 (910) 는 통신 채널로부터 데이터를 송신 및 수신하도록 구성되는 트랜시버를 포함할 수도 있지만 이들에 제한되지 않는다. 통신 인터페이스는 모뎀, 또는 네트워크 카드를 포함할 수도 있지만 이들에 제한되지 않으며, 통신 채널은 유선 및/또는 무선 매체 내에서 구현될 수도 있다. 시스템 (900) 의 여러 컴포넌트들은 여러 적절한 접속들을 이용하여 서로 통신가능하게 커플링되거나 접속될 수도 있고, 여러 접속들은 내부 버스, 유선 및 인쇄 회로 기판들을 포함하지만 이들에 제한되지 않는다.
본 발명의 예시적 실시형태들은 프로세서(들)(940) 에 의해 구현되는 컴퓨터 소프트웨어에 의해, 또는 하드웨어에 의해 또는 하드웨어와 소프트웨어의 조합에 의해 수행될 수도 있다. 비제한적 예로서, 본 발명의 예시적 실시형태들은 하나 이상의 집적회로들에 의해 구현될 수도 있다. 메모리 (950) 는 기술적 환경에 적절한 임의의 유형으로 이루어질 수도 있고, 임의의 적절한 데이터 저장 기술, 이를 테면, 비제한적 예로서, 광학적 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정형 메모리 또는 착탈가능 메모리를 이용하여 구현될 수도 있다. 프로세서(들)(940) 은 기술적 환경에 적절한 임의의 유형으로 이루어질 수도 있고, 마이크로프로세서들, 범용 컴퓨터들, 특수목적 컴퓨터들, 및 멀티코어 아키텍처 기반 프로세서들 중 하나 이상을 비제한적 예들로서 수반할 수도 있다.
상술한 것은 발명자들에 의해 고려되는 방법 및 시스템들의 설명을 비제한적 예들 및 예시적 실시형태들로 제공하였다. 여러 수정들 및 적응예들이 설명의 관점에서 당해 기술 분야에 명백할 수도 있음이 명확하다. 그러나, 이러한 여러 수정들 및 적응예들은 위에 설명된 여러 실시형태들의 교시의 범위 내에 들어온다.
본원에 설명된 실시형태들은 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수도 있다. 단일 형태의 구현의 문맥에서만 논의되어 있지만 (예를 들어, 방법으로서만 논의되어 있지만), 설명된 특징들의 구현은 또한 다른 형태들 (예를 들어, 장치 또는 프로그램) 으로 구현될 수도 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수도 있다. 방법들은 예를 들어, 장치, 이를 테면, 예를 들어, 일반적으로 프로세싱 디바이스들을 지칭하고 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는 프로세서로 구현될 수도 있다. 프로세서들은 또한 통신 디바이스들, 이를 테면 예를 들어, 컴퓨터들, 셀 폰들, 포터블/개인 휴대 정보 단말기들 ("PDA"), 및 엔드 유저들 간의 정보 통신을 용이하게 하는 다른 디바이스들을 포함한다.
본 발명의 원리들의 "일 실시형태" 또는 "실시형태" 또는 "하나의 구현예" 또는 "구현형태" 뿐만 아니라 이들의 다른 변형예는 실시형태와 연계하여 설명된 특정 피쳐, 구조, 특징 등이 본 원리들의 적어도 하나의 실시형태에 포함된다. 따라서, 어구 "일 실시형태에서" 또는 "실시형태에서" 또는 "일 구현예에서" 또는 "구현형태" 뿐만 아니라 명세서 전반에 걸쳐 여러 위치들에 나타나는 이들의 여러 변형예들의 존재는 반드시 동일한 실시형태를 지칭할 필요는 없다.
추가로, 본 출원 또는 이들의 청구항들은 정보의 여러 피스들을 "결정하는" 것을 지칭할 수도 있다. 정보를 결정하는 것은 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 정보를 메모리로부터 취출하는 것 중 하나 이상을 포함할 수도 있다.
또한, 본 출원 또는 그 청구항들은 여러 정보 피스들에 "액세스하는 것"을 지칭할 수도 있다. 정보에 액세스하는 것은 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 취출하는 것, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동하는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수도 있다.
추가로, 본 출원 또는 이들의 청구항들은 여러 정보 피스들을 "수신하는" 것을 지칭할 수도 있다. 수신하는 것은 "액세스"와 같이 넓은 형태이도록 의도된다. 정보를 수신하는 것은 예를 들어, 정보를 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 취출하는 것 중 하나 이상을 포함할 수도 있다. 또한, "수신하는 것" 은 통상적으로, 일 방식 또는 다른 방식으로, 예를 들어, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안에 수반된다.
당해 기술 분야의 당업자에 명백한 바와 같이, 구현들은 예를 들어, 저장 또는 송신될 수도 있는 정보를 전달하도록 포맷된 여러 신호들을 생성할 수도 있다. 정보는 예를 들어, 방법을 수행하기 위한 명령들, 또는 설명된 실시형태들 중 하나에 의해 생성되는 데이터를 포함할 수도 있다. 예를 들어, 신호는 상술한 실시형태의 비트스트림을 운반하도록 포맷될 수도 있다. 이러한 신호는 예를 들어, 전자기파 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용) 로서, 또는 기저대역 신호로서 포맷될 수도 있다. 포맷은 예를 들어, 데이터 스트림을 인코딩하고, 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 전달하는 정보는 예를 들어, 아날로그, 또는 디지털 정보일 수도 있다. 신호는 알려진 바와 같이, 여러 상이한 유선 및/또는 무선 링크들을 통하여 송신될 수도 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수도 있다.
수개의 실시형태들이 본원에 설명되고 예시되어 있지만, 당해 기술 분야의 당업자는 본원에 설명된 기능들을 수행하고/하거나 하나 이상의 이점들 및/또는 결과들을 획득하는 여러 다른 수단 및/또는 구조들을 쉽게 이해할 것이며, 이러한 변경들 및/또는 수정들의 각각이 본 실시형태들의 범위 내에 있는 것으로 본다.
Claims (16)
- 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법 (800) 으로서,
상기 이미지 (615) 에 액세스하는 단계 (820); 및
상기 이미지의 부분으로부터 외삽된 이미지 (617) 를 생성하는 단계 (830-860) 를 포함하고,
상기 생성하는 단계는 시각적 주의 모델 (visual attention model) 에 기초하여 현저성 오브젝트 (salient object)(650) 를 식별하는 단계 (820-850), 및 상기 현저성 오브젝트가 상기 식별하는 단계에 응답하여 상기 외삽된 이미지에 포함되지 않도록 상기 생성하는 단계를 수정하는 단계 (860) 를 포함하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법. - 제 1 항에 있어서,
상기 생성하는 단계는 더 높은 해상도의 외삽된 이미지들을 점진적으로 생성하기 위해 재귀적 계층 프로세스를 이용하는 단계를 포함하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법. - 제 2 항에 있어서,
상기 재귀적 계층 프로세스는 다음 해상도 레벨의 블록들을 생성하기 위해 이전 해상도 레벨에서 오버랩하는 블록들의 예측 및 가중처리를 이용하는 것에 기초하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법. - 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법 (800) 으로서,
상기 이미지에 액세스하는 단계 (820);
상기 이미지의 부분으로부터 외삽된 이미지를 생성하는 단계 (830-860);
시각적 주의 모델에 기초하여 상기 외삽된 이미지의 현저성 맵 (saliency map) 을 생성하고 (830-850) 그리고 이 현저성 맵으로부터 현저성 오브젝트를 식별하는 단계; 및
상기 현저성 오브젝트가 수정되는 외삽된 이미지에 포함되지 않도록 상기 외삽된 이미지를 수정하는 단계 (860) 를 포함하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 외삽된 이미지에 공간 필터링을 적용하는 단계를 더 포함하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
관심 대상의 오브젝트를 선택하고 상기 관심 대상의 오브젝트를 상기 외삽된 이미지에 삽입하는 단계를 더 포함하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법. - 제 6 항에 있어서,
상기 관심 대상의 오브젝트의 궤도는 추정된 궤도에 기초하여 상기 관심 대상의 오브젝트를 상기 외삽된 이미지에 삽입하기 위해 복수의 이미지들로부터 추정되는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 방법. - 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치 (900) 로서,
상기 이미지 (615) 에 액세스하도록 구성되는 입력 (910);
상기 입력에 커플링되고, 상기 이미지의 부분으로부터 외삽된 이미지 (617) 를 생성하도록 구성되는 적어도 하나의 프로세서 (940) 로서, 생성하는 것은 시각적 주의 모델에 기초하여 현저성 오브젝트 (650) 를 식별하는 것 (830-860), 및 상기 현저성 오브젝트가 상기 식별하는 것에 응답하여 상기 외삽된 이미지에 포함되지 않도록 상기 생성하는 프로세스를 수정하는 것 (860) 을 포함하는, 상기 적어도 하나의 프로세서; 및
상기 외삽된 이미지를 출력하도록 구성되는 출력 (910) 을 포함하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치. - 제 8 항에 있어서,
상기 프로세서 (940) 는 더 높은 해상도의 외삽된 이미지들을 점진적으로 생성하기 위해 재귀적 계층 프로세스를 이용하여 상기 외삽된 이미지를 생성하도록 구성되는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치. - 제 9 항에 있어서,
상기 재귀적 계층 프로세스는 다음 해상도 레벨의 블록들을 생성하기 위해 이전 해상도 레벨에서 오버랩하는 블록들의 예측 및 가중처리를 이용하는 것에 기초하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치. - 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치 (900) 로서,
상기 이미지 (615) 에 액세스하도록 구성되는 입력 (910);
상기 이미지의 부분으로부터 외삽된 이미지 (617) 를 생성하고, 시각적 주의 모델에 기초하여 상기 외삽된 이미지의 현저성 맵을 생성하고 (830-860), 이 현저성 맵으로부터 현저성 오브젝트 (650) 를 식별하고 (830-850), 그리고 상기 현저성 오브젝트가 수정되는 외삽된 이미지에 포함되지 않도록 상기 외삽된 이미지를 수정하도록 (860) 구성되는 적어도 하나의 프로세서 (940); 및
수정되는 상기 외삽된 이미지를 출력하도록 구성되는 출력을 포함하는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치. - 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 프로세서 (940) 는 또한, 상기 수정되는 외삽된 이미지에 공간 필터링을 적용하도록 구성되는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치. - 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 프로세서 (940) 는 또한, 관심 대상의 오브젝트를 선택하고 상기 관심 대상의 오브젝트를 상기 외삽된 이미지에 삽입하도록 구성되는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치. - 제 14 항에 있어서,
상기 프로세서 (940) 는 또한, 복수의 이미지들로부터 관심 대상의 오브젝트의 궤도를 추정하고, 추정된 궤도에 기초하여 상기 관심 대상의 오브젝트를 상기 외삽된 이미지에 삽입하도록 구성되는, 이미지의 경계를 너머 확장하는 외삽된 이미지를 생성하는 장치. - 비일시적 컴퓨터 판독가능 저장 매체 (960) 에 저장된 컴퓨터 프로그램 제품으로서,
이미지 (615) 의 부분에 액세스하고 (820);
상기 이미지의 부분으로부터 외삽된 이미지 (617) 를 생성하기 위한 (830-860) 컴퓨터 실행가능 명령들을 포함하는, 상기 생성하는 것은 시각적 주의 모델에 기초하여 상기 이미지의 부분에서 현저성 오브젝트 (650) 를 식별하는 것 (830-850), 및 상기 현저성 오브젝트가 상기 식별하는 것에 응답하여 상기 외삽된 이미지에 포함되지 않도록 상기 생성하는 것을 수정하는 것 (860) 을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램 제품. - 비일시적 컴퓨터 판독가능 저장 매체 (960) 에 저장된 컴퓨터 프로그램 제품으로서,
이미지 (615) 에 액세스하고 (820);
상기 이미지의 부분으로부터 외삽된 이미지 (617) 를 생성하고 (830-860);
시각적 주의 모델에 기초하여 상기 외삽된 이미지의 현저성 맵을 생성하고 (830-850), 그리고 이 현저성 맵으로부터 현저성 오브젝트 (650) 를 식별하고; 그리고
상기 현저성 오브젝트가 수정되는 외삽된 이미지에 포함되지 않도록 상기 외삽된 이미지를 수정하기 위한 (860) 컴퓨터 실행가능 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램 제품.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14307147 | 2014-12-22 | ||
| EP14307147.0 | 2014-12-22 | ||
| PCT/EP2015/080487 WO2016102365A1 (en) | 2014-12-22 | 2015-12-18 | Method and apparatus for generating an extrapolated image based on object detection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170098232A true KR20170098232A (ko) | 2017-08-29 |
Family
ID=52394857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177017100A KR20170098232A (ko) | 2014-12-22 | 2015-12-18 | 오브젝트 검출에 기초하여 외삽된 이미지를 생성하는 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10672104B2 (ko) |
| EP (1) | EP3238213B1 (ko) |
| JP (2) | JP6672305B2 (ko) |
| KR (1) | KR20170098232A (ko) |
| CN (1) | CN107111866B (ko) |
| WO (1) | WO2016102365A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10460704B2 (en) | 2016-04-01 | 2019-10-29 | Movidius Limited | Systems and methods for head-mounted display adapted to human visual mechanism |
| US10277943B2 (en) * | 2017-03-27 | 2019-04-30 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on user movements |
| US10216260B2 (en) * | 2017-03-27 | 2019-02-26 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on element saliency |
| US11501522B2 (en) * | 2017-12-06 | 2022-11-15 | Nec Corporation | Image recognition model generating device, image recognition model generating method, and image recognition model generating program storing medium |
| KR102509678B1 (ko) * | 2017-12-29 | 2023-03-14 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 대상물 모션 예측 방법, 모션 모델 보정 방법, 기정 양 도출 방법 및 가상 현실 뷰 생성 방법 |
| US10949947B2 (en) | 2017-12-29 | 2021-03-16 | Intel Corporation | Foveated image rendering for head-mounted display devices |
| CN108256562B (zh) * | 2018-01-09 | 2022-04-15 | 深圳大学 | 基于弱监督时空级联神经网络的显著目标检测方法及系统 |
| EP3971821A1 (en) * | 2020-09-22 | 2022-03-23 | Toyota Jidosha Kabushiki Kaisha | Image completion using self-attention and uncertainty |
| US11587208B2 (en) * | 2021-05-26 | 2023-02-21 | Qualcomm Incorporated | High quality UI elements with frame extrapolation |
| WO2023166138A1 (en) * | 2022-03-04 | 2023-09-07 | Sony Europe B.V. | Image processing devices, electronic device and image processing methods |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2253760B (en) | 1991-02-01 | 1994-07-27 | British Broadcasting Corp | Video image processing |
| BR0305349A (pt) | 2002-07-04 | 2004-10-05 | Koninkl Philips Electronics Nv | Método e sistema para controlar uma luz ambiente, e, unidade de iluminação |
| EP1544792A1 (en) | 2003-12-18 | 2005-06-22 | Thomson Licensing S.A. | Device and method for creating a saliency map of an image |
| RU2352081C2 (ru) * | 2004-06-30 | 2009-04-10 | Кониклейке Филипс Электроникс, Н.В. | Выделение доминирующего цвета с использованием законов восприятия для создания окружающего освещения, получаемого из видеоконтента |
| US7424218B2 (en) * | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
| JP4958233B2 (ja) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | 多眼視画像作成システム及び多眼視画像作成方法 |
| US8660175B2 (en) * | 2007-12-10 | 2014-02-25 | Qualcomm Incorporated | Selective display of interpolated or extrapolated video units |
| US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
| GB2502591B (en) * | 2012-05-31 | 2014-04-30 | Sony Comp Entertainment Europe | Apparatus and method for augmenting a video image |
| EP2680219A1 (en) | 2012-06-29 | 2014-01-01 | Thomson Licensing | Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence |
| JP2014016688A (ja) | 2012-07-06 | 2014-01-30 | Kddi Corp | 顕著性マップを利用した非写実変換プログラム、装置及び方法 |
| JP2014093694A (ja) | 2012-11-05 | 2014-05-19 | Toshiba Corp | 画像処理装置、及び画像処理方法 |
| JP2014215604A (ja) | 2013-04-30 | 2014-11-17 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| KR20170097745A (ko) | 2014-12-22 | 2017-08-28 | 톰슨 라이센싱 | 재귀적 계층적 프로세스를 사용하여 외삽된 이미지를 생성하기 위한 장치 및 방법 |
| EP3067857A1 (en) * | 2015-03-13 | 2016-09-14 | Thomson Licensing | Method and device for processing a peripheral image |
| JP6563043B2 (ja) * | 2016-02-09 | 2019-08-21 | 株式会社ソニー・インタラクティブエンタテインメント | 映像表示システム |
-
2015
- 2015-12-18 KR KR1020177017100A patent/KR20170098232A/ko not_active Application Discontinuation
- 2015-12-18 WO PCT/EP2015/080487 patent/WO2016102365A1/en active Application Filing
- 2015-12-18 JP JP2017531507A patent/JP6672305B2/ja not_active Expired - Fee Related
- 2015-12-18 EP EP15817262.7A patent/EP3238213B1/en active Active
- 2015-12-18 US US15/538,366 patent/US10672104B2/en active Active
- 2015-12-18 CN CN201580070298.6A patent/CN107111866B/zh active Active
-
2020
- 2020-03-04 JP JP2020037323A patent/JP2020115351A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020115351A (ja) | 2020-07-30 |
| JP2018506198A (ja) | 2018-03-01 |
| CN107111866A (zh) | 2017-08-29 |
| US20180012333A1 (en) | 2018-01-11 |
| US10672104B2 (en) | 2020-06-02 |
| WO2016102365A1 (en) | 2016-06-30 |
| EP3238213A1 (en) | 2017-11-01 |
| CN107111866B (zh) | 2021-01-05 |
| JP6672305B2 (ja) | 2020-03-25 |
| EP3238213B1 (en) | 2023-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10672104B2 (en) | Method and apparatus for generating an extrapolated image based on object detection | |
| US11217006B2 (en) | Methods and systems for performing 3D simulation based on a 2D video image | |
| Zhu et al. | The prediction of head and eye movement for 360 degree images | |
| US10038892B2 (en) | Device and method for augmented reality applications | |
| Zhou et al. | Time-mapping using space-time saliency | |
| KR102319423B1 (ko) | 컨텍스트 기반 증강 광고 | |
| Johnston et al. | A review of digital video tampering: From simple editing to full synthesis | |
| US9509886B2 (en) | Flicker removal for high speed video | |
| US10171785B2 (en) | Color balancing based on reference points | |
| US20110018881A1 (en) | Variable frame rate rendering and projection | |
| Turban et al. | Extrafoveal video extension for an immersive viewing experience | |
| US20180173957A1 (en) | Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere | |
| CN111406406A (zh) | 虚拟现实场景中的动态范围扩展的设备和方法 | |
| US10297009B2 (en) | Apparatus and method for generating an extrapolated image using a recursive hierarchical process | |
| CN117032520A (zh) | 基于数字人的视频播放方法、装置、电子设备及存储介质 | |
| Dittrich et al. | Saliency detection for stereoscopic video | |
| Kim et al. | A study on the possibility of implementing a real-time stereoscopic 3D rendering TV system | |
| Chamaret et al. | Video retargeting for stereoscopic content under 3D viewing constraints | |
| CN112752110B (zh) | 视频呈现方法及装置、计算设备、存储介质 | |
| Erdem et al. | Applying computational aesthetics to a video game application using machine learning | |
| Maia et al. | A real-time x-ray mobile application using augmented reality and google street view | |
| KR101629414B1 (ko) | 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치 | |
| EP3752956B1 (en) | Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content | |
| Liu et al. | Star-effect simulation for photography | |
| Luo et al. | A stereoscopic content analysis system with visual discomfort-aware |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |