KR101000859B1 - 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법 - Google Patents

어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법 Download PDF

Info

Publication number
KR101000859B1
KR101000859B1 KR1020090045517A KR20090045517A KR101000859B1 KR 101000859 B1 KR101000859 B1 KR 101000859B1 KR 1020090045517 A KR1020090045517 A KR 1020090045517A KR 20090045517 A KR20090045517 A KR 20090045517A KR 101000859 B1 KR101000859 B1 KR 101000859B1
Authority
KR
South Korea
Prior art keywords
image
panoramic image
hdri
exposure times
response function
Prior art date
Application number
KR1020090045517A
Other languages
English (en)
Other versions
KR20100127027A (ko
Inventor
손광훈
김봉조
오주현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090045517A priority Critical patent/KR101000859B1/ko
Publication of KR20100127027A publication Critical patent/KR20100127027A/ko
Application granted granted Critical
Publication of KR101000859B1 publication Critical patent/KR101000859B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 적어도 일 실시예에 따른 HDRI 파노라마 영상 생성장치 및 방법은 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환하고, 그 노출 시간들 각각마다, 그 사각 영상들 각각에서 특징점을 추출하고 추출된 특징점 중 그 사각 영상간에 서로 대응되는 특징점을 고려하여 그 사각 영상들을 스티칭함으로써 파노라마 영상을 생성하고, 그 노출 시간들 각각에서의 그 파노라마 영상을 이용하여 카메라응답 함수를 획득하고 획득된 카메라응답 함수를 이용하여 HDRI 파노라마 영상을 생성함으로써, 보다 현실감 있는 모델링 및 렌더링을 수행하기 위한 HDRI 파노라마 영상을 생성할 수 있다.

Description

어안렌즈를 이용한 ＨＤＲＩ파노라마 영상 생성장치 및 방법 {HDRI-Panorama image generation apparatus and method with fisheye lens}
본 발명은 파노라마 영상에 관한 것으로, 보다 상세하게는, 실제 세계의 광량을 정확히 반영한 HDRI(High Dynamic Range Image)파노라마 영상을 생성하는 파노라마 영상 생성장치 및 방법에 관한 것이다.
그래픽스 작업자에 의해 삼차원 모델링을 수행하는 것은 매우 번거롭고 상당 시간을 요하는 작업이며, 이는 보다 현실감 있는 가상환경 표현을 위한 모델링을 작업할 때 두드러지고, 그래픽스 작업자가 숙련되지 않은 자일수록 더욱 두드러진다.
이러한 불편을 해소하면서 보다 정밀하고 현실감 있는 가상환경 표현을 위한 모델링 방안으로서 파노라마 영상을 이용하여 모델링하는 방안이 제안되고 있다. 다만, 보다 넓은 시각 영역을 갖는 파노라마 영상을 이용하면서 그 파노라마 영상에서의 광량값도 고려함으로써 보다 현실감 있는 모델링 및 렌더링을 수행하기 위한 파노라마 영상 생성방안에 대해서는 여전히 논의가 요구되는 바이다.
본 발명의 적어도 일 실시예가 이루고자 하는 기술적 과제는 현실감 있는 모델링 및 렌더링을 수행하기 위한 HDRI 파노라마 영상 생성장치를 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 다른 기술적 과제는 현실감 있는 모델링 및 렌더링을 수행하기 위한 HDRI 파노라마 영상 생성방법을 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 또 다른 기술적 과제는 현실감 있는 모델링 및 렌더링을 수행하기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기 과제를 이루기 위해 본 발명의 적어도 일 실시예에 의한 HDRI 파노라마 영상 생성장치는 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환하는 영상 변환부; 상기 노출 시간들 각각마다, 상기 사각 영상들 각각에서 특징점을 추출하고 추출된 특징점 중 상기 사각 영상간에 서로 대응되는 특징점을 고려하여 상기 사각 영상들을 스티칭함으로써 파노라마 영상을 생성하는 스티칭부; 및 상기 노출 시간들 각각에서의 상기 파노라마 영상을 이용하여 카메라응답 함수를 획득하고 획득된 카메라응답 함수를 이용하여 HDRI 파노라마 영상을 생성하는 생성부를 포함한다.
여기서, 상기 영상 변환부는 상기 촬영 영상을 이루는 픽셀들 각각의 2차원 위치 정보로부터 3차원 위치 정보를 추측하고 상기 픽셀들 각각의 픽셀값이 상기 추측된 3차원 위치 정보에 위치한다고 가정하고 상기 픽셀들에 대해 등간격 샘플링을 수행함으로써, 상기 촬영 영상을 상기 사각 영상으로 변환할 수 있다.
여기서, 상기 스티칭부는 상기 노출 시간들 각각마다, SIFT(Scale Invariant Feature Transform)알고리즘을 이용하여 상기 특징점을 추출할 수 있다.
여기서, 상기 생성부는 상기 파노라마 영상을 이루는 픽셀들 각각의 픽셀값과 상기 픽셀들 각각에서의 실제 광량값 및 상기 노출 시간들 각각간의 관계를 고려하여 상기 카메라응답 함수를 결정하고, 결정된 상기 카메라응답 함수를 이용하여 상기 파노라마 영상을 구성하는 픽셀들 각각의 광량을 결정하고, 결정된 광량의 상기 파노라마 영상을 상기 HDRI 파노라마 영상으로서 결정할 수 있다.
여기서, 상기 소정의 방향들은 기 설정된 기준 방향을 기준으로 0도, 90도, 180도, 270도일 수 있다.
상기 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 HDRI 파노라마 영상 생성방법은 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환하는 단계; 상기 노출 시간들 각각마다, 상기 사각 영상들 각각에서 특징점을 추출하고 추출된 특징점 중 상기 사각 영상간에 서로 대응되는 특징점을 고려하여 상기 사각 영상들을 스티칭함으로써 파노라마 영상을 생성하는 단계; 및 상기 노출 시간들 각각에서의 상기 파노라마 영상을 이용하여 카메라응답 함수를 획득하고 획득된 카메라응답 함 수를 이용해 HDRI 파노라마 영상을 생성하는 단계를 포함한다.
여기서, 상기 변환하는 단계는 상기 촬영 영상을 이루는 픽셀들 각각의 2차원 위치 정보로부터 3차원 위치 정보를 추측하고 상기 픽셀들 각각의 픽셀값이 상기 추측된 3차원 위치 정보에 위치한다고 가정하고 상기 픽셀들에 대해 등간격 샘플링을 수행함으로써, 상기 촬영 영상을 상기 사각 영상으로 변환할 수 있다.
여기서, 상기 파노라마 영상을 생성하는 단계는 상기 노출 시간들 각각마다, SIFT 알고리즘을 이용하여 상기 특징점을 추출할 수 있다.
여기서, 상기 HDRI 파노라마 영상을 생성하는 단계는 상기 파노라마 영상을 이루는 픽셀들 각각의 픽셀값과 상기 픽셀들 각각에서의 실제 광량값 및 상기 노출 시간들 각각간의 관계를 고려하여 상기 카메라응답 함수를 결정하고, 결정된 상기 카메라응답 함수를 이용하여 상기 파노라마 영상을 구성하는 픽셀들 각각의 광량을 결정하고, 결정된 광량의 상기 파노라마 영상을 상기 HDRI 파노라마 영상으로서 결정할 수 있다.
상기 또 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 컴퓨터로 읽을 수 있는 기록매체는 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환하는 단계; 상기 노출 시간들 각각마다, 상기 사각 영상들 각각에서 특징점을 추출하고 추출된 특징점 중 상기 사각 영상간에 서로 대응되는 특징점을 고려하여 상기 사각 영상들을 스티칭함으로써 파노라마 영상을 생성하는 단계; 및 상기 노출 시간들 각각에서의 상기 파노라마 영상을 이용하여 카메라응답 함수를 획득하고 획득된 카메 라응답 함수를 이용해 HDRI 파노라마 영상을 생성하는 단계를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한다.
본 발명의 적어도 일 실시예에 의한 HDRI 파노라마 영상 생성장치 및 방법은 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환하고, 상기 노출 시간들 각각마다, 상기 사각 영상간의 서로 대응되는 특징점을 추출하고 추출된 특징점을 이용하여 상기 사각 영상들을 스티칭함으로써 파노라마 영상을 생성하고, 상기 노출 시간들 각각에서의 상기 파노라마 영상을 이용하여 카메라응답 함수를 획득하고 획득된 카메라응답 함수를 이용하여 HDRI 파노라마 영상을 생성함으로써, 보다 현실감 있는 모델링 및 렌더링을 수행하기 위한 HDRI 파노라마 영상을 생성할 수 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.
이하, 본 발명에 의한 어안렌즈를 이용한 HDRI 파노라마 영상 생성장치 및 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명의 적어도 일 실시예에 의한 HDRI 파노라마 영상 생성장치를 나타내는 블록도이고, 도 2는 본 발명에 의한 촬영 영상들의 일 례를 나타내고, 도 3a는 본 발명에 의한 촬영 영상과 사각 영상의 일 례를 나타내는 참고도이고, 도 3b는 본 발명의 적어도 일 실시예에 의해 촬영 영상을 사각 영상으로 변환하는 과정을 설명하기 위한 참고도이고, 도 4a와 도 4b 각각은 본 발명에 의한 사각 영상의 일 례를 나타내고, 도 5a와 도 5b 각각은 본 발명에 의한 파노라마 영상의 일 례를 나타내고, 도 6은 본 발명에 의한 HDRI 파노라마 영상의 일 례를 나타낸다.
영상 변환부(110)는 복수의 노출 시간들 각각마다, ‘소정의 방향들을 향해 어안 렌즈(fisheye lens)를 이용하여 촬영한 촬영 영상들 각각’을 사각 영상으로 변환한다.
본 명세서에서, 촬영 영상이란 어안 렌즈를 장착한 카메라를 통해 촬영한 영상을 의미하고, ‘소정의 방향들’은 설명의 편의상 기 설정된 방향을 기준으로 0도, 90도, 180도, 270도 총 4개의 방향이라 가정한다.
촬영 영상은 어안 렌즈를 통해 촬영된 것이므로 도 2에 도시된 바와 같이 원형 영상이다. 한편, 도 2에 도시된 바에서 식별번호 210은 기 설정된 방향을 기준으로 0도 방향을 촬영하여 획득된 촬영 영상들 중 하나를 의미하고, 식별번호 220은 기 설정된 방향을 기준으로 90 도 방향을 촬영하여 획득된 촬영 영상들 중 하나를 의미하고, 식별번호 230은 기 설정된 방향을 기준으로 180 도 방향을 촬영하여 획득된 촬영 영상들 중 하나를 의미하고, 식별번호 240은 기 설정된 방향을 기준으로 270 도 방향을 촬영하여 획득된 촬영 영상들 중 하나를 의미한다.
본 명세서에서, 촬영 장치(미 도시)는 소정의(predetermined) 방향들에 대해 촬영 영상들을 획득하는 작업을, 도 2에 도시된 바와 같이, 복수의 노출 시간들(예를 들어, N(단, N은 2이상의 정수)개의 노출 시간들) 각각마다 수행한다.
영상 변환부(110)는 촬영 영상(310)을 이루는 픽셀들 각각의 2차원 위치 정보(x, y 정보)로부터 3차원 위치 정보(X, Y, Z 정보)를 추측하고 그 픽셀들 각각의 픽셀값이 그 추측된 3차원 위치 정보에 위치한다고 가정하고 그 픽셀들에 대해 등간격 샘플링을 수행함으로써, 그 촬영 영상을 사각 영상으로 변환할 수 있다. 즉 영상 변환부(110)는 촬영 영상(310)의 형상이 원형에서 그 원형의 원과 외접하는 사각형으로 확장되도록 촬영 영상(310)을 사각 영상(320)으로 변환한다. 여기서, x, y정보와 X, Y, Z 정보간의 관계는 다음의 수학식 1로 표현될 수 있다(도 3b 참조).
[수학식 1]
Figure 112009031249619-pat00001
X= ratio * x
Y= ratio * y
Figure 112009031249619-pat00002
스티칭부(120)는 그 복수의 노출 시간들 각각마다, 사각 영상들 각각에서 하나 이상의 특징점들을 추출한다.
이러한 스티칭부(120)는 사각 영상에서 특징점을 추출함에 있어 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용할 수 있다. SIFT 알고리즘은 크기와 회전에 강건한 특징을 추출하는 것으로 추출된 특징 벡터는 영상의 크기, 회전에 안정적인 특성을 가지며, 이미 알려진 바와 같이, scale-space extrema detection, orientation assignment, 및 특징점 매칭의 세 단계를 거치는 알고리즘일 수 있다. 여기서, scale-space extrema detection은 원래의 영상에 대해 가우시안(gaussian) 분산값에 따른 가우시안 영상을 생성한 뒤 가우시안 영상으로부터 DOG(Difference Of Gaussian) 영상을 생성하는 과정이고, orientation assignment는 특징점들 각각의 방향성과 크기를 설정하는 과정이고, 특징점 매칭은 사각 영상간의 특징점을 서로 매칭하는 과정이다.
스티칭부(120)는 그 사각 영상간에 서로 대응되는 특징점을 고려하여 그 사각 영상들을 스티칭함으로써 파노라마 영상을 생성한다.
구체적으로, 스티칭부(120)는 서로 인접한 사각 영상들(예를 들어 410, 420)을 서로 연결 즉, 스티칭함에 있어 그 인접한 사각 영상들(410, 420) 중 하나(410)의 특징점들을 그 인접한 사각 영상들(410, 420) 중 다른 하나(420)의 특징점들과 매칭시키고, 매칭 결과에 따라 그 인접한 사각 영상들(410, 420)을 서로 스티칭함으로써, 복수의 사각 영상들에 대한 파노라마 영상을 생성한다(도 4a 및 도 4b 참조).
스티칭부(120)는 복수의 노출 시간 각각마다 파노라마 영상을 생성한다. 예를 들어, 스티칭부(120)는 제1 노출 시간에서의 파노라마 영상(510)과 제2 노출 시간에서의 파노라마 영상(520)을 생성한다(도 5a 및 도 5b 참조).
생성부(130)는 복수의 노출 시간들 각각마다 생성된 파노라마 영상을 이용하여 카메라응답 함수(camera response function)를 획득하고 획득된 카메라응답 함수를 이용하여 HDRI 파노라마 영상(610)을 생성한다(도 6 참조).
구체적으로, 생성부(130)는 그 복수의 노출 시간들 각각마다,‘파노라마 영상을 이루는 픽셀들 각각의 픽셀값’과 그 픽셀들 각각에서의 실제 광량값(radiance)과 노출 시간간의 관계를 분석하고, 그 복수의 노출 시간들에 대한 그 분석 결과들을 고려하여 ‘파노라마 영상을 이루는 픽셀들 각각의 픽셀값’과 그 픽셀들 각각에서의 광량값과 ‘노출 시간’간의 관계를 카메라응답 함수로서 결정하고 결정된 카메라응답 함수를 이용하여, 어떠한 파노라마 영상을 이루는 픽셀들 각각의 광량을 결정하고, 결정된 광량의 파노라마 영상을 HDRI 파노라마 영상(610)으로서 결정한다. 여기서의 카메라응답 함수는 다음의 수학식 2에서와 같이 표현될 수도 있다.
[수학식 2]
Figure 112009031249619-pat00003
여기서, Zi,j는 j(단, j는 자연수)번째 사각 영상에서의 i(단 i는 자연수)번째 위치(픽셀좌표)에 해당하는 픽셀값을 의미하고, f()는 카메라응답 함수를 의미하고, Ei는 i번째 위치에 해당하는 실세계의 radiance값을 의미하고,
Figure 112009031249619-pat00004
는 j(단, j는 1≤j≤N인 정수, N은 도 2에서의 N)번째 노출 정도를 의미한다.
이러한 수학식 2를 log 변환하면 다음의 수학식 3이 도출된다.
[수학식 3]
Figure 112009031249619-pat00005
생성부(130)는 카메라응답 함수를 결정함에 있어 다음와 같은 수학식 4에 나 타난 cost가 최소화되는 경우의 카메라응답 함수를 결정할 수 있다.
[수학식 4]
Figure 112009031249619-pat00006
여기서, g()는
Figure 112009031249619-pat00007
를 의미하고, P, N 각각은 2이상의 정수이다.
도 7은 본 발명의 적어도 일 실시예에 의한 HDRI 파노라마 영상 생성방법을 나타내는 플로우챠트이다. 도 1을 참조하여 설명한다.
영상 변환부(110)는 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환한다(제710 단계).
스티칭부(120)는 그 노출 시간들 각각마다, 그 사각 영상들 각각에서 특징점을 추출하고 추출된 특징점 중 그 사각 영상간에 서로 대응되는 특징점을 고려하여 그 사각 영상들을 스티칭함으로써 파노라마 영상을 생성한다(제720 단계).
생성부(130)는 그 노출 시간들 각각의 그 스티칭된 영상들을 이용하여 카메라응답 함수를 획득하고 획득된 카메라응답 함수를 이용해 HDRI 파노라마 영상을 생성한다(제730 단계).
이상에서 언급된 본 발명에 의한 어안렌즈를 이용한 HDRI 파노라마 영상 생성방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다. 여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매 체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 적어도 일 실시예에 의한 HDRI 파노라마 영상 생성장치를 나타내는 블록도이다.
도 2는 본 발명에 의한 촬영 영상들의 일 례를 나타낸다.
도 3a는 본 발명에 의한 촬영 영상과 사각 영상의 일 례를 나타내는 참고도이다.
도 3b는 본 발명의 적어도 일 실시예에 의해 촬영 영상을 사각 영상으로 변환하는 과정을 설명하기 위한 참고도이다.
도 4a와 도 4b 각각은 본 발명에 의한 사각 영상의 일 례를 나타낸다.
도 5a와 도 5b 각각은 본 발명에 의한 파노라마 영상의 일 례를 나타낸다.
도 6은 본 발명에 의한 HDRI 파노라마 영상의 일 례를 나타낸다.
도 7은 본 발명의 적어도 일 실시예에 의한 HDRI 파노라마 영상 생성방법을 나타내는 플로우챠트이다.

Claims (7)

  1. 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환하는 영상 변환부;
    상기 노출 시간들 각각마다, 상기 사각 영상들 각각에서 특징점을 추출하고 추출된 특징점 중 상기 사각 영상간에 서로 대응되는 특징점을 고려하여 상기 사각 영상들을 스티칭함으로써 파노라마 영상을 생성하는 스티칭부; 및
    상기 노출 시간들 각각에서의 상기 파노라마 영상을 이용하여 카메라응답 함수를 획득하고 획득된 카메라응답 함수를 이용하여 HDRI(High Dynamic Range Image) 파노라마 영상을 생성하는 생성부를 포함하고,
    상기 생성부는, 상기 파노라마 영상을 이루는 픽셀들 각각의 픽셀값과 상기 픽셀들 각각에서의 실제 광량값 및 상기 노출 시간들 각각간의 관계를 고려하여 상기 카메라응답 함수를 결정하고, 결정된 상기 카메라응답 함수를 이용하여 상기 파노라마 영상을 구성하는 픽셀들 각각의 광량을 결정하고, 결정된 광량의 상기 파노라마 영상을 상기 HDRI 파노라마 영상으로서 결정하는 것을 특징으로 하는 HDRI 파노라마 영상 생성장치.
  2. 제1 항에 있어서, 상기 영상 변환부는
    상기 촬영 영상을 이루는 픽셀들 각각의 2차원 위치 정보로부터 3차원 위치 정보를 추측하고 상기 픽셀들 각각의 픽셀값이 상기 추측된 3차원 위치 정보에 위치한다고 가정하고 상기 픽셀들에 대해 등간격 샘플링을 수행함으로써, 상기 촬영 영상을 상기 사각 영상으로 변환하는 것을 특징으로 하는 HDRI 파노라마 영상 생성장치.
  3. 제1 항에 있어서, 상기 스티칭부는
    상기 노출 시간들 각각마다, SIFT(Scale Invariant Feature Transform)알고리즘을 이용하여 상기 특징점을 추출하는 것을 특징으로 하는 HDRI 파노라마 영상 생성장치.
  4. 삭제
  5. 제1 항에 있어서,
    상기 소정의 방향들은 기 설정된 기준 방향을 기준으로 0도, 90도, 180도, 270도인 것을 특징으로 하는 HDRI 파노라마 영상 생성장치.
  6. 복수의 노출 시간들 각각마다, 소정의 방향들을 향해 어안 렌즈를 이용하여 촬영한 촬영 영상들 각각을 사각 영상으로 변환하는 단계;
    상기 노출 시간들 각각마다, 상기 사각 영상들 각각에서 특징점을 추출하고 추출된 특징점 중 상기 사각 영상간에 서로 대응되는 특징점을 고려하여 상기 사각 영상들을 스티칭함으로써 파노라마 영상을 생성하는 단계; 및
    상기 노출 시간들 각각에서의 상기 파노라마 영상을 이용하여 카메라응답 함수를 획득하고 획득된 카메라응답 함수를 이용하여 HDRI(High Dynamic Range Image) 파노라마 영상을 생성하는 단계를 포함하고,
    상기 HDRI 파노라마 영상을 생성하는 단계는, 상기 파노라마 영상을 이루는 픽셀들 각각의 픽셀값과 상기 픽셀들 각각에서의 실제 광량값 및 상기 노출 시간들 각각간의 관계를 고려하여 상기 카메라응답 함수를 결정하고, 결정된 상기 카메라응답 함수를 이용하여 상기 파노라마 영상을 구성하는 픽셀들 각각의 광량을 결정하고, 결정된 광량의 상기 파노라마 영상을 상기 HDRI 파노라마 영상으로서 결정하는 것을 특징으로 하는 HDRI 파노라마 영상 생성방법.
  7. 제6 항에 있어서, 상기 변환하는 단계는
    상기 촬영 영상을 이루는 픽셀들 각각의 2차원 위치 정보로부터 3차원 위치 정보를 추측하고 상기 픽셀들 각각의 픽셀값이 상기 추측된 3차원 위치 정보에 위치한다고 가정하고 상기 픽셀들에 대해 등간격 샘플링을 수행함으로써, 상기 촬영 영상을 상기 사각 영상으로 변환하는 것을 특징으로 하는 HDRI 파노라마 영상 생성방법.
KR1020090045517A 2009-05-25 2009-05-25 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법 KR101000859B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090045517A KR101000859B1 (ko) 2009-05-25 2009-05-25 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090045517A KR101000859B1 (ko) 2009-05-25 2009-05-25 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100127027A KR20100127027A (ko) 2010-12-03
KR101000859B1 true KR101000859B1 (ko) 2010-12-13

Family

ID=43504413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090045517A KR101000859B1 (ko) 2009-05-25 2009-05-25 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법

Country Status (1)

Country Link
KR (1) KR101000859B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018170685A1 (zh) * 2017-03-20 2018-09-27 华平智慧信息技术（深圳）有限公司 监控云平台的视频拼接方法及系统
US10638052B2 (en) 2017-04-12 2020-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating HDR images

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995958B1 (ko) 2012-11-28 2019-07-03 한국전자통신연구원 스마트 글래스 기반 영상 처리 장치 및 방법
KR102468801B1 (ko) * 2016-02-29 2022-11-18 주식회사 엘지유플러스 가상 현실 컨텐츠 변환 방법 및 장치
CN107623804A (zh) * 2016-07-14 2018-01-23 幸福在线（北京）网络技术有限公司 一种终端设备及拍摄全景图像的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215073A (ja) 2006-02-13 2007-08-23 Seiko Epson Corp 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
US20070236595A1 (en) 2006-04-10 2007-10-11 Sony Taiwan Limited. Method for Improving Image Stitching Accuracy with Lens Distortion Correction and Device for Implementing the Same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215073A (ja) 2006-02-13 2007-08-23 Seiko Epson Corp 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
US20070236595A1 (en) 2006-04-10 2007-10-11 Sony Taiwan Limited. Method for Improving Image Stitching Accuracy with Lens Distortion Correction and Device for Implementing the Same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018170685A1 (zh) * 2017-03-20 2018-09-27 华平智慧信息技术（深圳）有限公司 监控云平台的视频拼接方法及系统
US10638052B2 (en) 2017-04-12 2020-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating HDR images

Also Published As

Publication number Publication date
KR20100127027A (ko) 2010-12-03

Similar Documents

Publication Publication Date Title
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20130335535A1 (en) Digital 3d camera using periodic illumination
US20150146032A1 (en) Light field processing method
JP5725953B2 (ja) 撮像装置及びその制御方法、並びに情報処理装置
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JP2016537901A (ja) ライトフィールド処理方法
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
KR101000859B1 (ko) 어안렌즈를 이용한 ｈｄｒｉ파노라마 영상 생성장치 및 방법
JP2019045991A (ja) 生成装置、生成方法、及びプログラム
KR20160117143A (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
JP2016212784A (ja) 画像処理装置、画像処理方法
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
KR102195762B1 (ko) 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
Krispel et al. Automatic texture and orthophoto generation from registered panoramic views
JP7298687B2 (ja) 物体認識装置及び物体認識方法
JPWO2020153264A1 (ja) 校正方法および校正装置
JP2020173726A (ja) 仮想視点変換装置及びプログラム
KR102587298B1 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
Yang et al. Design flow of motion based single camera 3D mapping
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
WO2019016879A1 (ja) 物体検出装置、及び、物体検出手法
Miles et al. Computational photography

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141208

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee