KR102013978B1 - 이미지들의 융합을 위한 방법 및 장치 - Google Patents

이미지들의 융합을 위한 방법 및 장치 Download PDF

Info

Publication number
KR102013978B1
KR102013978B1 KR1020147034715A KR20147034715A KR102013978B1 KR 102013978 B1 KR102013978 B1 KR 102013978B1 KR 1020147034715 A KR1020147034715 A KR 1020147034715A KR 20147034715 A KR20147034715 A KR 20147034715A KR 102013978 B1 KR102013978 B1 KR 102013978B1
Authority
KR
South Korea
Prior art keywords
image
parallax
auxiliary
corrected version
main
Prior art date
Application number
KR1020147034715A
Other languages
English (en)
Other versions
KR20150023370A (ko
Inventor
조르디 살바도르 마르코스
말테 보르섬
악셀 코찰
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150023370A publication Critical patent/KR20150023370A/ko
Application granted granted Critical
Publication of KR102013978B1 publication Critical patent/KR102013978B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

이미지들의 융합을 위한 방법 및 장치. 보조 이미지(2)에 포함된 더 풍부한 정보를 융합함으로써 메인 이미지(1)를 개선시키기 위한 방법 및 장치(30)가 기술된다. 보조 이미지(2)에 포함된 오브젝트들의 3D 구조가 취출되고(10), 보조 이미지(2)의 시차-정정된 버전이 3D 구조를 이용하여 생성된다. 이러한 목적으로, 보조 이미지(2)에 포함된 오브젝트들의 3D 구조의 프로젝션이 메인 이미지(1)에서의 조망과 최상으로 유사한 카메라 포즈가 결정되고, 결정된 카메라 포즈에 기초하여 보조 이미지(2)의 시차-정정된 버전이 합성된다. 그 후, 보조 이미지(2)의 시차-정정된 버전이 메인 이미지(1)와 융합된다.

Description

이미지들의 융합을 위한 방법 및 장치{METHOD AND APPARATUS FOR FUSION OF IMAGES}
본 발명은 이미지들을 융합시키는 방법 및 장치에 관한 것이다. 더 상세하게, 본 발명은 큰 파노라마 이미지에서의 관심있는 오브젝트들의 시각적 품질 및 디테일 레벨을, 별개의 뷰에서 이용가능한 이들 오브젝트들에 관한 더 풍성한 정보를 활용함으로써 이음매없이 개선시키는 방법 및 장치에 관한 것이다.
파노라마 이미지를 탐색할 경우, 관심있는 특정 오브젝트들을 포함하는 특정 영역을 근접 관측하는 것이 종종 요구된다. 그러한 경우, 파노라마 이미지에 의해 제공된 해상도는, 이들 오브젝트들이 카메라로부터 멀리 떨어질 경우에 종종 불충분할 것이다. 이 문제에 대한 간단한 솔루션은 해상도를 증가시키고 파노라마 캡처 셋업의 노출 시간을 감소시키는 것이 될 것이다. 하지만, 이 솔루션은, 실제로 이용불가능하게 할 수도 있는 막대한 송신 대역폭 또는 저장 용량을 요구할 것이다. 더욱이, 현재 이미지 센서들의 능력들에 있어서의 기술적 한계들이 존재한다.
대안적으로, 별개의 카메라가 관심있는 오브젝트들을 추적하고 그 오브젝트들을 더 높은 디테일 레벨로 캡처할 경우, 이러한 상보적 이미지는, 파노라마 내에 관심있는 오브젝트들의 강화된 버전을 제공하기 위해 파노라마 이미지와 융합될 수 있다. 관련 기술들이 다중 이미지 융합 또는 스티칭으로서 분류될 수 있다. 예를 들어, 문서 CA 2 386 347 은 저해상도와 고해상도 비디오 스트림들을 휴먼 옵저버에 대한 단일의 이음매없는 디스플레이로 정확하게 결합하는 프로세스를 기술한다. 파노라마 시각 센서는 파노라마를 캡처하지만, 추가의 센서는 상세한 이미지들을 캡처한다. 이들 센서 양자는 고정된 시스템으로서 배열된다. 저해상도와 고해상도 비디오 간의 경계로부터의 혼란을 감소시키기 위해, 그 2개의 비디오는 그 2개의 비디오 사이의 환형 영역에서 평활하게 혼합된다. 상이한 해상도 이미지들의 융합은 오직 센서들로부터의 중간 거리들에 대해서만 잘 작동한다. 다른 심도들에서는 오등록이 발생한다.
일반적으로, 임의의 뷰포인트로부터의 정보를 융합하려고 시도하는 것은 일반적으로 부가적인 고품질 시각 데이터의 부정확한 삽입을 발생시킬 것이다. 이러한 문제는 도 1 및 도 2 에 도시된다. 이 예에 있어서, 스테이플러의 포지션에 일치하기 위해, 상세 뷰(2)가 (파노라마) 이미지(1)에 삽입되었다. 볼 수 있는 바와 같이, 삽입된 직사각형의 상부 및 저부에서의 조망(perspective) 오정렬은 극적인 아티팩트들을 야기한다.
이러한 문제를 감당하기 위해, US 2003/0235344 는 2 이상의 이미지들을 스티칭하는 방법을 개시한다. 중첩하는 이미지들에서의 픽셀들의 상대적인 심도는 플레인 스윕 알고리즘들을 이용하여 산출된다. 이러한 심도는 이미지 정정을 위해 사용된다. 그 후, 결과적인 이미지들은 스티칭된다. 이 문서에서 설명된 솔루션은 오직, 모든 이미지들, 즉, 상세 뷰들 및 파노라마 캡처 뷰가 적어도 대략적으로 정렬되어 정정이 실제로 작동하는 경우들의 한정된 서브세트에 대해서만 작동한다. 이미지들을 융합하기 위해, 상이한 이격 레벨들, 즉, 심도 레벨들에서의 픽셀들의 종류들이 바로 혼합되고, 이는 이미지 왜곡들을 야기할 수도 있다. 더욱이, 역 워핑(warping) 스테이지가 요구되고, 이는 추가적인 이미지 왜곡들의 소스일 수도 있다.
따라서, 본 발명의 목적은 이미지들을 이음매없이 융합하기 위한 개선된 솔루션을 제안하는 것이다.
본 발명에 따르면, 보조 이미지를 메인 이미지와 융합하는 방법은 다음의 단계들을 포함한다.
- 보조 이미지에 포함된 오브젝트들의 3D 구조를 취출하는 단계;
- 보조 이미지에 포함된 오브젝트들의 3D 구조의 프로젝션이 메인 이미지에서의 조망과 최상으로 유사한 카메라 포즈를 결정하고 그리고 결정된 카메라 포즈에 기초하여 보조 이미지의 시차-정정된 버전을 합성함으로써 3D 구조를 이용하여 보조 이미지의 시차-정정된 버전을 생성하는 단계;
- 보조 이미지의 시차-정정된 버전을 메인 이미지와 융합하는 단계.
본 발명의 일 타깃 시나리오는 다수의 프리 고화질 카메라들을 수반한 정적 파노라마 이미지 캡처 셋업의 시나리오이다. 이들 프리 고화질 카메라들은 스테레오, 또는 더 바람직하게는, 플레놉틱 또는 광계 카메라들이다. 그러한 카메라들은, 카메라의 물리적 구현에 의해 제한되는 특정 마진 내에서의 에러들의 최소 도입으로 조망 시차를 임의로 변경하는 것을 허용한다. 이들 카메라들을 메인 파노라마 셋업으로부터 상당히 적은 거리에 배치함으로써, 관심있는 오브젝트의 하이-디테일 캡처에서의 장면 시차가 파노라마 캡처의 장면 시차와 유사하도록 보상될 수 있다. 3D 구조의 명시적인 활용으로, 관심있는 오브젝트들의 상세 뷰들을 파노라마 이미지와 이음매없이 융합하는 것이 가능하게 된다. 물론, 파노라마 이미지가 반드시 정적 이미지일 필요는 없다. 유사하게 이동 오브젝트들을 포함할 수도 있다. 이에 대한 예는, 선수들이 본질적으로 정적 백그라운드에 대해 이동하고 있는 스포츠 경기장이다.
상기 시나리오에 대한 어플리케이션은 다음과 같이 작동한다. 사용자는, 디스플레이를 위해, 하나 이상의 관심있는 오브젝트들을 포함한 파노라마에서의 영역을 상호작용식으로 선택한다. 이들 오브젝트들은 백그라운드로부터 자동으로 또는 상호작용식으로 세그먼트화된다. 그 후, 관심있는 오브젝트들의 하이-디테일 캡처를 포함하는 제2 이미지는 파노라마 조망에 피팅하도록 시차-정정된다. 최종적으로, 파노라마에서의 관심있는 오브젝트들은 변환된(회전된, 병진된, 스케일링된) 하이-디테일 버전들로 대체되고, 가장자리들은 파노라마의 백그라운드에서의 평활한 통합을 제공하기 위해 편리하게 혼합된다.
주류의 스테레오 및 광계 카메라들의 증가하는 확산 및 3D 콘텐츠의 다가오는 와이드 가용도는 본 발명에 대한 추가적인 타깃 시나리오들을 가능케 한다. 예를 들어, 데이터베이스, 예를 들어, 인터넷으로부터 수집된 스테레오 이미지들의 세트들은 고품질 파노라마들을 구성하기 위해 스티칭될 수도 있다. 또한, 이미지의 관심있는 콘텐츠는, 이미지들 간의 시차 차이들과 무관하게, 상기 오브젝트들을 포함한 상이한 이미지로부터 더 양호한 시각적 품질을 갖는 유사한 콘텐츠를 사용하여 개선될 수도 있다.
더 양호한 이해를 위해, 이제, 본 발명은 도면들을 참조하여 다음의 설명에서 더 상세히 설명될 것이다. 본 발명은 이러한 예시적인 실시예로 한정되지 않고, 명시된 특징들은 또한 첨부된 청구항들에서 정의된 바와 같은 본 발명의 범위로부터 일탈함없이 유리하게 결합 및/또는 변형될 수 있음이 이해된다.
도 1은 파노라마 이미지로부터 선택된 원래의 흐려진 영역을 도시한다.
도 2는 상세 뷰로부터의 더 풍부한 데이터의 삽입 이후의 도 1의 영역을 도시한다.
도 3은 이미지들을 융합하기 위한 본 발명에 따른 방법을 도시한다.
도 4는 도 3의 방법을 구현하는 장치를 도식적으로 도시한다.
도 5는 도 4의 장치의 시차-정정 스테이지를 더 상세히 도시한다.
도 6은 도 4의 장치를 이용하여 획득된 평활하게 융합된 이미지를 도시한다.
도 1은 파노라마 이미지로부터 선택된 원래의 약간 흐려진 영역(1)을 도시한다. 도 2에 있어서, 더 상세한 이미지(2)가 영역(1)에 삽입되었다. 볼 수 있는 바와 같이, 삽입된 상세한 이미지(2)의 상부 및 저부에서의 조망 오정렬은 극적인 아티팩트들을 야기한다.
도 3은 이미지들을 융합하기 위한 본 발명에 따른 방법을 도시하며, 이는 그러한 아티팩트들을 회피 또는 적어도 감소시킨다. 제1 단계에 있어서, 상세 뷰의 3D 구조가 상세 뷰에 대해 이용가능한 정보를 이용하여 취출된다(10). 예를 들어, 3D 구조는 플레놉틱 또는 광계 카메라들 등에 의해 제공된 스테레오 카메라들의 쌍, 광계 디스크립션에 의해 제공된 심도 채널을 이용하여 취출된다. 그 후, 큰 파노라마 뷰에서의 뷰어에 의해 상호작용식으로 선택된 영역 및 상세 뷰로부터 추출된 3D 구조가 주어지면, 파노라마의 뷰포인트로부터 보이는 조망과 일치하는 상세 뷰의 시차-정정된 버전이 생성된다(11). 이에 의해, 시차-정정된 뷰로부터의 데이터가, 더 풍부한 데이터를 상세 뷰로부터 파노라마로 이음매없이 통합하는데(12) 이용될 수 있다.
상기 솔루션을 구현하는 장치(20)가 도 4에 도식적으로 도시된다. 3D 구조 취출 스테이지(21)에 있어서, 장면의 3D 구조가 상세한 보조 뷰로부터 취출된다. 스테레오 셋업들에 대해, 이는 기존의 스테레오 재구성 기술들 중 임의의 기술로 수행될 수 있다. 광계 카메라에 의해 캡처된 데이터의 경우, 셋업의 전용된 교정을 요구하지 않고도 광계 캡처에서 다수의 가용 뷰들을 자동으로 프로세싱하기 위해, N. Snavely 등의 "Modeling the World from Internet Photo Collections", Int. J. Comput. Vis. Vol. 80 (2008), pp. 189-210에 의해 기술된 바와 같은 모션으로부터의 구조와 같은 더 복잡한 절차들이 바람직하게 사용된다. 어느 하나의 경우, 이 스테이지의 출력은, 예를 들어, 각각의 픽셀에 대한 심도 값으로서 보조 셋업에 의해 캡처된 장면의 3D 디스크립션을 포함한다.
시차 정정 스테이지(22)가 시차-정정된 상세 뷰를 생성하기 위해 제공된다. 도 5에 도시된 바와 같이, 시차 정정 스테이지(22)는 2개의 서브-스테이지들을 포함한다. 제1 서브-스테이지 ― 포즈 추정기(30) ― 는, 상세 뷰의 3D 구조의 프로젝션이 파노라마 뷰에서의 조망과 최상으로 유사한 카메라 포즈, 즉, 카메라 포지션 및 배향을 찾는다. 그 후, 뷰 합성기(31)는 제 1 서브-스테이지(30)에서 획득된 카메라 포즈로 상세 뷰의 포토-리얼리스틱 워핑을 수행한다.
포즈 추정기(30)는, 바람직하게, RANSAC(RANdom SAmple Consensus)과 같은 강인한 기술을 구현하며, 즉, 포즈 추정은 워핑된 상세 뷰와 파노라마 뷰 간의 현저한 포인트들의 프로젝션 에러를 체크함으로써 달성된다. 최적화하기 위한 포즈 모델은 10개의 파라미터들: 즉, 초점 거리(1: f), 광학 중심 오정렬(2: cx 및 cy), 회전(4: 하기 참조), 및 병진(3: tx, ty 및 tz)으로 이루어진다. 몇몇 가정들이 포즈 모델을 단순화하게 한다. 파노라마 이미지는 왜도(skewness) 에러들이 없으며, 즉, 왜도 계수는 제로와 동일하다고 가정된다. 더욱이, 수직 및 수평 초점 거리들은 동일하고 렌즈 왜곡은 무시할 수 있다고 가정되며, 이는, 큰 줌 세팅으로 인해, 초점 거리가 큰 관심있는 경우에 대해 합당하다.
결과적인 포즈 모델은 다음과 같은 교정 매트릭스 K의 도움으로 기술될 수 있다:
Figure 112014120166937-pct00001
여기서, R은 회전 매트릭스이고 T는 병진 벡터이다. 회전 매트릭스 R은 Rodrigues의 회전 공식의 이용을 통해 4개 파라미터들에 의해 파라미터화될 수 있으며: 즉, ux 2+uy 2+uz 2=1인 단위 벡터(ux, uy, uz)가 주어지면, 상기 벡터의 방향에 있어서 축 주위로 θ의 각도만큼 회전하기 위한 매트릭스 R은
Figure 112014120166937-pct00002
이다.
포즈 변환 P에 의한 3D 포인트 X의 픽셀 포지션 x는 다음의 2개의 연산들에 의해 획득된다:
Figure 112014120166937-pct00003
및
Figure 112014120166937-pct00004
뷰 합성기(31)는, 바람직하게, 보조 뷰가 이 타입일 경우에는 광계 렌더링을 수행하거나, 또는 더 종래의 스테레오 캡처 셋업들에 있어서는 이미지 기반 렌더링을 수행한다. 뷰 합성기(31)의 출력은 시차-정정된 상세 뷰이고, 이는, 이제, 파노라마 뷰에 용이하게 융합될 수 있다.
이러한 목적으로, 이미지 융합 스테이지(23)는 파노라마 뷰에서의 관심있는 오브젝트들의 실루엣들 내부의 콘텐츠들을, 시차 정정 스테이지(22)에 의해 생성된 하이-디테일 워핑된 뷰로 대체한다. 그 후, 실루엣의 가장자리들 주변의 적은 영역, 예를 들어, 법선 방향에서의 ±2 픽셀들은, 워핑된 뷰의 양질의 디테일과 파노라마 뷰로부터의 흐려진 백그라운드 간의 불연속을 평활하게 보간하는데 사용된다. 더 바람직한 시나리오들에 있어서, 즉, 파노라마 및 상세 뷰 양자에 대한 유사한 뷰포인트들로, 이러한 프로세스는, 관심있는 오브젝트들 및 그 오브젝트들 주변의 백그라운드 양자에 대해 수행될 수 있다. 그러한 경우, 실루엣은 상세 뷰의 이미지 영역에 대응하고, 평활한 보간이 그러한 직사각형의 윤곽 상에서 속행된다. 그러한 예는, 도 4의 장치를 이용하여 획득된 도 6에 도시된다.

Claims (12)

  1. 보조 이미지(2)를 메인 이미지(1)와 융합하는 방법으로서,
    상기 메인 이미지는 장면의 파노라마 뷰이고, 상기 보조 이미지는 상기 장면의 상세 뷰이며, 상기 방법은,
    - 상기 보조 이미지에 이용가능한 정보를 이용함으로써 상기 보조 이미지(2)에 포함된 오브젝트들의 3D 구조를 취출하는 단계(10);
    - 상기 보조 이미지(2)에 포함된 오브젝트들의 3D 구조의 프로젝션이 상기 메인 이미지(1)에서의 조망과 유사한 카메라 포즈를 결정하고 그리고 상기 결정된 카메라 포즈에 기초하여 상기 보조 이미지(2)의 시차-정정된 버전을 합성함으로써 상기 3D 구조를 이용하여 상기 보조 이미지(2)의 시차-정정된 버전을 생성하는 단계; 및
    - 상기 보조 이미지(2)의 시차-정정된 버전을 상기 메인 이미지(1)와 융합하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 보조 이미지(2)의 상기 3D 구조는 상기 보조 이미지(2)에 대해 제공된 심도 정보 또는 광계 디스크립션으로부터 취출되는(10), 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 보조 이미지(2)의 시차-정정된 버전은 상기 보조 이미지(2)의 포토-리얼리스틱 워핑(warping)을 수행함으로써 합성되는, 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 보조 이미지(2)의 융합된 시차-정정된 버전과 상기 메인 이미지(1) 간의 경계 영역을 보간하는 단계를 더 포함하는 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 메인 이미지(1)는 파노라마 이미지이고, 상기 보조 이미지(2)는 상기 파노라마 이미지에 있어서의 오브젝트의 더 상세한 이미지인, 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 메인 이미지(1) 및 상기 보조 이미지(2)는 이미지들의 세트 중 2개의 이미지들인, 방법.
  7. 보조 이미지(2)를 메인 이미지(1)와 융합하는 장치(20)로서,
    상기 메인 이미지는 장면의 파노라마 뷰이고, 상기 보조 이미지는 상기 장면의 상세 뷰이며,
    상기 장치(20)는 프로세서와 연관된 메모리를 포함하고, 상기 프로세서는:
    - 상기 보조 이미지에 이용가능한 정보를 이용함으로써 상기 보조 이미지(2)에 포함된 오브젝트들의 3D 구조를 취출(10)하고;
    - 상기 보조 이미지(2)에 포함된 오브젝트들의 3D 구조의 프로젝션이 상기 메인 이미지(1)에서의 조망과 유사한 카메라 포즈를 결정하고 그리고 상기 결정된 카메라 포즈에 기초하여 상기 보조 이미지(2)의 시차-정정된 버전을 합성함으로써 상기 3D 구조를 이용하여 상기 보조 이미지(2)의 시차-정정된 버전을 생성하고; 그리고
    - 상기 보조 이미지(2)의 시차-정정된 버전을 상기 메인 이미지(1)와 융합하도록 구성되는, 장치(20).
  8. 제7항에 있어서, 상기 보조 이미지(2)에 포함된 오브젝트들의 3D 구조를 취출하는 것은, 상기 보조 이미지에 대해 제공된 심도 정보 또는 광계 디스크립션으로부터 상기 보조 이미지의 3D 구조를 취출하는 것을 포함하는, 장치(20).
  9. 제7항에 있어서, 상기 보조 이미지(2)의 시차-정정된 버전을 생성하는 것은, 상기 보조 이미지의 포토-리얼리스틱 워핑을 수행함으로써 상기 보조 이미지의 시차-정정된 버전을 합성하는 것을 포함하는, 장치(20).
  10. 제7항에 있어서, 상기 보조 이미지(2)의 시차-정정된 버전을 상기 메인 이미지(1)와 융합하는 것은, 상기 보조 이미지의 융합된 시차-정정된 버전과 상기 메인 이미지 간의 경계 영역을 보간하는 것을 포함하는, 장치(20).
  11. 제7항에 있어서, 상기 메인 이미지는 파노라마 이미지이고, 상기 보조 이미지는 상기 파노라마 이미지에 있어서의 오브젝트의 더 상세한 이미지인, 장치(20).
  12. 제7항에 있어서, 상기 메인 이미지 및 상기 보조 이미지는 이미지들의 세트 중 2개의 이미지들인, 장치(20).
KR1020147034715A 2012-06-15 2013-05-30 이미지들의 융합을 위한 방법 및 장치 KR102013978B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305681.4 2012-06-15
EP12305681.4A EP2675173A1 (en) 2012-06-15 2012-06-15 Method and apparatus for fusion of images
PCT/EP2013/061152 WO2013186056A1 (en) 2012-06-15 2013-05-30 Method and apparatus for fusion of images

Publications (2)

Publication Number Publication Date
KR20150023370A KR20150023370A (ko) 2015-03-05
KR102013978B1 true KR102013978B1 (ko) 2019-08-23

Family

ID=48539166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147034715A KR102013978B1 (ko) 2012-06-15 2013-05-30 이미지들의 융합을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US9576403B2 (ko)
EP (2) EP2675173A1 (ko)
JP (1) JP6157606B2 (ko)
KR (1) KR102013978B1 (ko)
CN (1) CN104365092B (ko)
WO (1) WO2013186056A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US20160171769A1 (en) * 2014-01-24 2016-06-16 Osterhout Group, Inc. See-through computer display systems
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US10567641B1 (en) 2015-01-19 2020-02-18 Devon Rueckner Gaze-directed photography
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3106912A1 (en) 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
KR101765559B1 (ko) 2016-09-27 2017-08-07 이대희 노루궁뎅이버섯을 포함하는 프로바이오틱스 조성물
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
CN108833893A (zh) * 2018-05-31 2018-11-16 北京邮电大学 一种基于光场显示的3d图像校正方法
CN111372037B (zh) * 2018-12-25 2021-11-02 杭州海康威视数字技术股份有限公司 目标抓拍系统和方法
US10930065B2 (en) 2019-03-08 2021-02-23 X Development Llc Three-dimensional modeling with two dimensional data
WO2021015318A1 (ko) * 2019-07-22 2021-01-28 신동균 해상도가 개선된 열화상 생성 방법 및 장치
CN111246124B (zh) * 2020-03-09 2021-05-25 三亚至途科技有限公司 一种多媒体数字融合方法和装置
CN116437205B (zh) * 2023-06-02 2023-08-11 华中科技大学 一种多视点多焦距成像的景深拓展方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278683A (ja) 1999-03-25 2000-10-06 Fujitsu Ltd 解像度変換画像圧縮復号装置
WO2006036398A2 (en) 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
US20060083440A1 (en) 2004-10-20 2006-04-20 Hewlett-Packard Development Company, L.P. System and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4108171B2 (ja) * 1998-03-03 2008-06-25 三菱電機株式会社 画像合成装置
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
CA2386347C (en) * 2001-05-14 2013-07-16 James H. Elder Attentive panoramic visual sensor
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US7750936B2 (en) 2004-08-06 2010-07-06 Sony Corporation Immersive surveillance system interface
CN101542536A (zh) * 2006-11-20 2009-09-23 汤姆森特许公司 用于合成三维图像的系统和方法
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
CN101577795A (zh) 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
WO2011033668A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 視差画像生成装置
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
KR101049928B1 (ko) 2011-02-21 2011-07-15 (주)올라웍스 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278683A (ja) 1999-03-25 2000-10-06 Fujitsu Ltd 解像度変換画像圧縮復号装置
WO2006036398A2 (en) 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
US20060083440A1 (en) 2004-10-20 2006-04-20 Hewlett-Packard Development Company, L.P. System and method

Also Published As

Publication number Publication date
JP6157606B2 (ja) 2017-07-05
CN104365092A (zh) 2015-02-18
EP2675173A1 (en) 2013-12-18
WO2013186056A1 (en) 2013-12-19
EP2862356A1 (en) 2015-04-22
US20150147000A1 (en) 2015-05-28
JP2015525407A (ja) 2015-09-03
KR20150023370A (ko) 2015-03-05
US9576403B2 (en) 2017-02-21
EP2862356B1 (en) 2020-05-06
CN104365092B (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
EP2328125B1 (en) Image splicing method and device
JP6471777B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Perazzi et al. Panoramic video from unstructured camera arrays
CN108886611B (zh) 全景立体视频系统的拼接方法和装置
JP6273163B2 (ja) 立体パノラマ
Birklbauer et al. Panorama light‐field imaging
EP2603834B1 (en) Method for forming images
JP2014502818A (ja) 画像処理のための一次像および二次像画像取込装置およびその方法
CN106296589B (zh) 全景图像的处理方法及装置
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
US9602708B2 (en) Rectified stereoscopic 3D panoramic picture
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
Wang et al. A common feature-based disparity control strategy in stereoscopic panorama generation
KR101986433B1 (ko) 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
Ra et al. Decoupled Hybrid 360 Panoramic Stereo Video
Qi et al. Overcoming parallax and sampling density issues in image mosaicing of non-planar scenes
Angehrn et al. MasterCam FVV: Robust registration of multiview sports video to a static high-resolution master camera for free viewpoint video
TWI466535B (zh) 使用單鏡頭影像擷取裝置之立體成像方法以及基於用於立體影像顯示之第一、第二平面影像之立體影像增強方法與立體影像增強裝置
KR101229421B1 (ko) 다중 세그먼트 방식을 이용한 3ｄ 입체영상 획득 장치 및 방법
Gurrieri et al. A model for the omnidirectional acquisition and rendering of stereoscopic images for human viewing
JP2007194694A (ja) 立体映像撮影装置並びにそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant