KR101694651B1 - 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법 - Google Patents

3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR101694651B1
KR101694651B1 KR1020160017231A KR20160017231A KR101694651B1 KR 101694651 B1 KR101694651 B1 KR 101694651B1 KR 1020160017231 A KR1020160017231 A KR 1020160017231A KR 20160017231 A KR20160017231 A KR 20160017231A KR 101694651 B1 KR101694651 B1 KR 101694651B1
Authority
KR
South Korea
Prior art keywords
foreground
wide
dimensional position
lens
angle lens
Prior art date
Application number
KR1020160017231A
Other languages
English (en)
Inventor
이병욱
이지원
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020160017231A priority Critical patent/KR101694651B1/ko
Application granted granted Critical
Publication of KR101694651B1 publication Critical patent/KR101694651B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0062—Panospheric to cylindrical image transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법이 개시된다.
왜곡 보정 방법은 광각 렌즈를 이용하여 생성한 입력 영상에서 전경을 추출하는 단계; 상기 전경과 상기 광각 렌즈 간의 거리를 이용하여 상기 전경의 3차원 위치를 추정하는 단계; 및 상기 전경의 3차원 위치를 상기 입력 영상에 원근 투영(perspective projection)하여 왜곡이 보상된 출력 영상을 생성하는 단계를 포함할 수 있다.

Description

3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법{DISTORTION COMPENSATION APPARATUS AND METHOD FOR WIDE-ANGLE IMAGING LENS USING THREE-DIMENSIONAL POSITION ESTIMATE}
본 발명은 3차원 위치 추정을 이용하여 어안 렌즈와 같은 광각 렌즈로 촬영한 영상에 의한 왜곡을 보정하는 장치 및 방법에 관한 것이다.
카메라가 어안 렌즈와 같은 광각 렌즈를 이용하여 넓은 화각으로 촬영할 수 있게 됨으로써 일반 렌즈를 사용한 경우보다 많은 정보를 포함하는 영상을 획득할 수 있게 되었다.
그러나, 광각 렌즈를 사용하여 촬영한 영상은 영상의 가장 자리로 갈수록 기하학적 왜곡이 커져서 영상이 비현실적으로 표시되므로, 광각 렌즈에 의한 왜곡을 보정하는 방법이 필요하다.
종래의 왜곡 보정 방법 중 Sharpless는 광각 렌즈를 사용하여 촬영한 영상을 정방형(equirectangular) 좌표계로 우선 매핑하고, 프로젝션 중심과 뷰 플랜(view plane) 사이의 거리 d를 조정함으로써 광각 렌즈에 의한 왜곡을 보정하였다.
그러나, 종래의 왜곡 보정 방법들은 영상에 포함된 직선의 직선성(linearity)을 보존하기 위한 방법이며, 광각 렌즈에 의한 위치적 왜곡을 보정하는 방법은 없는 실정이다.
본 발명은 입력 영상에서 오브젝트와 같은 전경의 3차원 위치를 추정하고, 추정한 3차원 좌표를 원근 투영함으로써, 광각 렌즈에 의한 오브젝트의 왜곡을 보정하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 방법은 광각 렌즈를 이용하여 생성한 입력 영상에서 전경을 추출하는 단계; 상기 전경과 상기 광각 렌즈 간의 거리를 이용하여 상기 전경의 3차원 위치를 추정하는 단계; 및 상기 전경의 3차원 위치를 상기 입력 영상에 원근 투영(perspective projection)하여 왜곡이 보정된 출력 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 방법의 3차원 위치를 추정하는 단계는, 상기 광각 렌즈의 모델을 추정하는 단계; 상기 광각 렌즈의 모델을 기초로 상기 광각 렌즈가 포함된 카메라의 파라미터를 추정하는 단계; 및 상기 전경과 상기 광각 렌즈 간의 거리 및 상기 카메라의 파라미터를 이용하여 상기 전경의 2차원 위치에 전경의 3차원 위치를 매핑하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 방법의 광각 렌즈의 모델을 추정하는 단계는, 오브젝트의 실제 3차원 위치와 렌즈 중심을 연결하는 가상의 직선과 상기 렌즈의 중심 축간의 각도를 측정하는 단계; 상기 입력 영상의 좌표와 주점(principal point)간의 거리를 측정하는 단계; 상기 렌즈의 중심 축간의 각도와 상기 주점 간의 거리 간의 트랜스퍼 커브(transfer curve)를 결정하는 단계; 및 복수의 광각 렌즈의 모델들 중 상기 트랜스퍼 커브와 가장 잘 부합하는 광각 렌즈의 모델을 상기 광각 렌즈의 모델로 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 방법의 카메라의 파라미터를 추정하는 단계는, 초점 거리 및 주점(principal point)들 중에서 상기 렌즈 모델과의 오차를 최소화하는 초점 거리 및 주점을 상기 카메라의 파라미터로 추정할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 방법의 출력 영상을 생성하는 단계는, 상기 전경의 3차원 위치를 기초로 원근 투영 파라미터를 결정하는 단계; 및 상기 원근 투영 파라미터를 이용하여 상기 전경의 3차원 위치가 매핑될 상기 입력 영상의 2차원 좌표를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 방법의 원근 투영 파라미터를 결정하는 단계는, 상기 전경의 3차원 위치와 전경 간의 거리를 결정하는 단계; 상기 전경의 크기 및 상기 전경과 상기 광각 렌즈 간의 거리에 따른 물체의 비율 조절 파라미터를 결정하는 단계; 상기 전경의 3차원 위치와 전경 간의 거리 및 상기 비율 조절 파라미터를 이용하여 상기 원근 투영 파라미터를 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 장치는 광각 렌즈를 이용하여 생성한 입력 영상에서 전경을 추출하는 전경 추출부; 상기 전경과 상기 광각 렌즈 간의 거리를 이용하여 상기 전경의 3차원 위치를 추정하는 3차원 위치 추정부; 및 상기 전경의 3차원 위치를 상기 입력 영상에 원근 투영(perspective projection)하여 왜곡이 보정된 출력 영상을 생성하는 출력 영상 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 장치의 3차원 위치 추정부는, 상기 광각 렌즈의 모델을 추정하는 렌즈 모델 추정부; 상기 광각 렌즈의 모델을 기초로 상기 광각 렌즈가 포함된 카메라의 파라미터를 추정하는 카메라 파라미터 추정부; 및 상기 전경과 상기 광각 렌즈 간의 거리 및 상기 카메라의 파라미터를 이용하여 상기 전경의 2차원 위치에 전경의 3차원 위치를 매핑하는 3차원 위치 매핑부를 포함할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 장치의 렌즈 모델 추정부는, 오브젝트의 실제 3차원 위치와 렌즈 중심을 연결하는 가상의 직선과 상기 렌즈의 중심 축간의 각도를 측정하고, 상기 입력 영상의 좌표와 주점(principal point)간의 거리를 측정하며, 상기 렌즈의 중심 축간의 각도와 상기 주점 간의 거리 간의 트랜스퍼 커브(transfer curve)를 결정하고, 복수의 광각 렌즈의 모델들 중 상기 트랜스퍼 커브와 가장 유사도가 높은 광각 렌즈의 모델을 상기 광각 렌즈의 모델로 결정할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 장치의 카메라 파라미터 추정부는, 초점 거리 및 주점(principal point)들 중에서 상기 렌즈 모델과의 오차를 최소화하는 초점 거리 및 주점을 상기 카메라의 파라미터로 추정할 수 있다.
본 발명의 일실시예에 따른 왜곡 보정 장치의 출력 영상 생성부는, 상기 전경의 3차원 위치를 기초로 원근 투영 파라미터를 결정하고, 상기 원근 투영 파라미터를 이용하여 상기 전경의 3차원 위치가 매핑될 상기 입력 영상의 2차원 좌표를 결정할 수 있다.
본 발명의 일실시예에 의하면, 입력 영상에서 오브젝트와 같은 전경의 3차원 위치를 추정하고, 추정한 3차원 좌표를 원근 투영함으로써, 광각 렌즈에 의한 오브젝트의 왜곡을 보정할 수 있다.
도 1은 본 발명의 일실시예에 따른 왜곡 보정 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 왜곡 보정 장치의 3차원 위치 추정부를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 광각 렌즈의 모델 일례이다.
도 4는 본 발명의 일실시예에 따른 3차원 위치 추정 과정의 일례이다.
도 5는 본 발명의 일실시예에 따른 원근 투영 과정의 일례이다.
도 6은 본 발명의 일실시예에 따른 샘플 오브젝트의 일례이다.
도 7은 본 발명의 일실시예에 따라 왜곡이 보정된 출력 영상을 생성하는 과정의 제1 실시예이다.
도 8은 본 발명의 일실시예에 따라 왜곡이 보정된 출력 영상을 생성하는 과정의 제2 실시예이다.
도 9는 본 발명의 일실시예에 따른 왜곡 보정 방법을 도시한 플로우차트이다.
도 10은 본 발명의 일실시예에 따른 왜곡 보정 방법의 3차원 위치 추정 과정을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 왜곡 보정 방법은 왜곡 보정 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 왜곡 보정 장치를 나타내는 도면이다.
왜곡 보정 장치(120)는 카메라(110)가 오브젝트(101)와 배경(102)를 촬영하여 생성한 입력 영상의 왜곡을 보정할 수 있다. 이때, 카메라(110)는 어안 렌즈와 같은 광각 렌즈를 이용하여 일반 카메라보다 넓은 범위를 촬영하여 입력 영상을 생성할 수 있다.
왜곡 보정 장치(120)는 도 1에 도시된 바와 같이 전경 추출부(121), 3차원 위치 추정부(122), 및 출력 영상 생성부(123)를 포함할 수 있다. 이때, 전경 추출부(121), 3차원 위치 추정부(122), 및 출력 영상 생성부(123)는 하나의 프로세서에 포함된 프로그램, 또는 어플리케이션의 모듈일 수 있다. 또한, 전경 추출부(121), 3차원 위치 추정부(122), 출력 영상 생성부(123)는 각각 서로 다른 프로세서일 수도 있다.
전경 추출부(121)는 카메라(110)가 광각 렌즈를 이용하여 생성한 입력 영상에서 전경(foreground)을 추출할 수 있다. 이때, 전경 추출부(121)는 입력 영상에서 배경(102)보다 카메라(110)에 가까운 오브젝트(101)가 표시된 영역을 전경으로 추출할 수 있다.
3차원 위치 추정부(122)는 전경 추출부(121)가 추출한 전경과 카메라(110)의 광각 렌즈 간의 거리를 이용하여 전경의 3차원 위치를 추정할 수 있다. 3차원 위치 추정부(122)의 구체적인 구성 및 동작은 이하 도 2, 도 4를 참조하여 상세히 설명한다.
출력 영상 생성부(123)는 3차원 위치 추정부(122)가 추정한 전경의 3차원 위치를 입력 영상에 원근 투영(perspective projection)하여 왜곡이 보정된 출력 영상을 생성할 수 있다.
이때, 출력 영상 생성부(123)는 전경의 3차원 위치를 기초로 원근 투영 파라미터를 결정할 수 있다. 이때, 출력 영상 생성부(120)는 전경의 3차원 위치와 전경 간의 거리를 결정하고, 전경의 크기 및 전경과 광각 렌즈 간의 거리에 따른 물체의 비율 조절 파라미터를 결정하며, 전경의 3차원 위치와 전경 간의 거리 및 비율 조절 파라미터를 이용하여 원근 투영 파라미터를 결정할 수 있다.
그리고, 출력 영상 생성부(123)는 결정한 원근 투영 파라미터를 이용하여 전경의 3차원 위치가 매핑될 입력 영상의 2차원 좌표를 결정할 수 있다.
출력 영상 생성부(123)가 전경의 3차원 위치를 원근 투영하는 과정은 이하 도 5를 참조하여 상세히 설명한다.
헤드 마운트 카메라(head mounted camera)와 같이 카메라와 오브젝트 간의 거리 변화가 임계값 이하인 카메라(110)가 광각 렌즈로 오브젝트(101)를 촬영하는 경우, 본 발명의 일실시예에 따른 왜곡 보정 장치(120)는 오브젝트(101)의 3차원 위치를 추정하여 광각 렌즈에 의한 왜곡을 보정할 수 있다. 이때, 왜곡 보정 장치(120)는 입력 영상에서 오브젝트(101)와 같은 전경의 3차원 위치를 추정하고, 추정한 3차원 좌표를 원근 투영함으로써, 광각 렌즈에 의한 오브젝트(101)의 왜곡을 보정할 수 있다.
도 2는 본 발명의 일실시예에 따른 왜곡 보정 장치의 3차원 위치 추정부를 나타내는 도면이다.
3차원 위치 추정부(122)는 도 2에 도시된 바와 같이 렌즈 모델 추정부(210), 카메라 파라미터 추정부(220), 및 3차원 위치 매핑부(230)를 포함할 수 있다.
렌즈 모델 추정부(210)는 카메라(110)에 포함된 광각 렌즈의 모델을 추정할 수 있다. 이때, 렌즈 모델 추정부(210)는 오브젝트의 실제 3차원 위치와 렌즈 중심을 연결하는 가상의 직선과 렌즈의 중심 축간의 각도를 측정할 수 있다. 그리고, 렌즈 모델 추정부(210)는 입력 영상의 좌표와 주점(principal point)간의 거리를 측정할 수 있다. 다음으로, 렌즈 모델 추정부(210)는 상기 가상의 직선과 상기 렌즈의 중심 축간의 각도 및 입력 영상의 좌표와 주점 간의 거리 간의 트랜스퍼 커브(transfer curve)를 결정할 수 있다.
렌즈 모델 추정부(210)는 복수의 광각 렌즈의 모델들 중 트랜스퍼 커브와 가장 유사도가 높은 광각 렌즈의 모델을 카메라(110)에 포함된 광각 렌즈의 모델로 결정할 수 있다.
카메라 파라미터 추정부(220)는 렌즈 모델 추정부(210)가 추정한 광각 렌즈의 모델을 기초로 광각 렌즈가 포함된 카메라(110)의 파라미터를 추정할 수 있다. 이때, 카메라 파라미터 추정부(220)는 초점 거리 및 주점들 중에서 렌즈 모델과의 오차를 최소화하는 초점 거리 및 주점을 카메라의 파라미터로 추정할 수 있다.
3차원 위치 매핑부(230)는 전경과 광각 렌즈 간의 거리 및 카메라 파라미터 추정부(220)가 추정한 카메라의 파라미터를 이용하여 전경 추출부(121)가 추출한 전경의 2차원 위치에 전경의 3차원 위치를 매핑할 수 있다.
도 3은 본 발명의 일실시예에 따른 광각 렌즈의 모델 일례이다.
핀홀 카메라는 오브젝트의 실제 3차원 위치로부터 렌즈 중심을 이은 직선을 따라 영상 평면과 만나는 점에 오브젝트를 나타내는 영역을 표시할 수 있다. 반면, 어안 렌즈와 같은 광각 렌즈는 모델에 따라 카메라가 생성한 입력 영상에서 오브젝트를 나타내는 영역의 위치가 다를 수 있다.
구체적으로 광각 렌즈는 좌표계(310)에 도시된 바와 같이 오브젝트(101)의 실제 3차원 위치 P와 각도 θ에 따라 입력 영상에서 오브젝트(101)가 표시되는 위치 p에서 영상 중심까지의 거리인 r이 다르게 나타날 수 있다. 이때, 각도 θ는 도 3에 도시된 바와 같이 광각 렌즈의 중심을 연결하는 가상의 직선과 광각 렌즈의 중심 축간의 각도일 수 있다.
입력 영상에서 오브젝트(101)가 표시되는 위치 p의 좌표를(u,v), 주점(311)의 좌표를 (u0,v0)라고 정의하는 경우, 주점(311)에서 p의 좌표까지의 거리 r은 수학식 1과 같이 나타낼 수 있다.
Figure 112016014760661-pat00001
이때, 광각 렌즈의 모델은 각도 θ과 거리 r간의 트랜스퍼 커브(transfer curve)인 θ - r 커브로 특성화(characterize)될 수 있다. 예를 들어, 광각 렌즈의 모델 중 perspective의 θ - r 커브는 도 3의 그래프(320)에 도시된 (i)와 같이 나타낼 수 있다. 또한, 광각 렌즈의 모델 중 stereographic의 θ - r 커브는 도 3의 그래프(320)에 도시된 (ii)와 같이 나타낼 수 있다.
그리고, 광각 렌즈의 모델 중 equidistance 의 θ - r 커브는 도 3의 그래프(320)에 도시된 (iii)와 같이 나타낼 수 있다. 또한, 광각 렌즈의 모델 중 equisolid angle의 θ - r 커브는 도 3의 그래프(320)에 도시된 (iv)와 같이 나타낼 수 있다. 그리고, 광각 렌즈의 모델 중 orthographic projection의 θ - r 커브는 도 3의 그래프(320)에 도시된 (v)와 같이 나타낼 수 있다.
먼저, 카메라(110)는 r을 측정할 수 있는 샘플 오브젝트를 촬영하여 샘플 영상을 생성할 수 있다.
그리고, 렌즈 모델 추정부(210)는 샘플 오브젝트와 카메라(110) 간의 거리 d를 이용하여 θ를 측정하고, 샘플 오브젝트를 이용하여 r을 측정할 수 있다.
다음으로, 렌즈 모델 추정부(210)는 측정한 θ 및 r을 이용하여 카메라(110)에 대응하는 θ - r 커브를 계산할 수 있다. 그리고, 렌즈 모델 추정부(210)는 그래프(320)에 도시된 광각 렌즈의 모델들 중 카메라(110)에 대응하는 θ - r 커브와 가장 유사도가 높은 광각 렌즈의 모델을 카메라(110)에 포함된 광각 렌즈의 모델로 결정할 수 있다.
예를 들어, 카메라(110)에 포함된 광각 렌즈가 Orthographic 렌즈인 경우, 카메라(110)에 대응하는 θ - r 커브는 수학식 2와 같이 나타낼 수 있다.
Figure 112016014760661-pat00002
이때, f는 카메라의 고유 파라미터 중 하나로 고정 값일 수 있다. 예를 들어, f의 초기값은 샘플 오브젝트를 이용하여 측정된 거리 r과 각도 θ를 이용한 f = r/sin(θ)의 평균값일 수 있다. 그리고, f의 초기값을 하기 수학식 3에 적용하여 f가 결정될 수 있다.
그리고, 카메라 파라미터 추정부(220)는 측정한 θ 및 r를 이용하여 카메라의 내부 파라미터인 초점 거리와 주점(311)의 최적값을 추정할 수 있다. 예를 들어, 카메라 파라미터 추정부(220)는 좌표계(310)에 표시된 θ 및 r를 수학식 3에 적용하여 주점(311)(u0,v0), 및 f를 결정할 수 있다.
Figure 112016014760661-pat00003
수학식 3에서 ri는 샘플 오브젝트를 이용하여 측정된 거리이고, f sin θi는 f와 θi를 이용한 이론 상의 거리일 수 있다. 즉, 수학식 3의 분자는 실제로 측정한 거리와 이론상의 거리 간의 오차일 수 있다.
주점(311) (u0,v0)을 반복 실행(iteration)으로 계산하는 경우, 카메라 파라미터 추정부(220)는 항상 변화하는 주점(311)에 affine 변환 모델을 사용하여 샘플 오브젝트가 새로운 주점(311)들 각각에 매핑된 위치인 (x0,y0)을 계산 할 수 있다. 예를 들어, 주점(311)에 affine 변환 모델을 사용하기 위한 affine 변환 행렬은 수학식 4와 같이 샘플 영상 좌표 행렬과 샘플 오브젝트 좌표 행렬을 사용한 의사 역행렬(pseudo inverse)일 수 있다.
Figure 112016014760661-pat00004
이때, affine 모델은 입력 영상 중 주점(311) 주변의 대응점 부근에서만 적용될 수 있다. 또한, affine 모델은 affine 변환 행렬을 의사 역행렬로 결정하였으므로, affine 변환 행렬은 수학식 4와 같이 좌변과 우변의 차이를 최소화하는 행렬일 수 있다.
이때, 카메라 파라미터 추정부(220)는 샘플 오브젝트가 새로운 주점(311)들 각각에 매핑된 위치(x0,y0)와 오브젝트의 좌표 간의 거리
Figure 112016014760661-pat00005
를 계산할 수 있다. 그리고, 카메라 파라미터 추정부(220)는 거리
Figure 112016014760661-pat00006
을 이용하여 θ를 계산하고, θ를 이용하여 거리 r을 계산할 수 있다.
도 4는 본 발명의 일실시예에 따른 3차원 위치 추정 과정의 일례이다.
입력 영상이 촬영되는 신(scene)을 3차원 평면이라 가정하는 경우, 3차원 위치 매핑부(230)는 3차원 평면과 렌즈 간의 거리 d와 3차원 평면의 틸트(tilt) 각도 α를 이용하여 전경의 3차원 위치 P를 추정할 수 있다. 이때, 틸트 각도 α는 y축으로 틸트된 각도일 수 있다. 또한, 실시예에 따라서는 틸트 각도 α가 x축으로 틸트된 각도일 수도 있다.
이때, 전경에 포함된 오브젝트의 3차원 평면 상의 위치 P(xp,yp)와 전경에 포함된 오브젝트의 입력 영상의 위치 (u,v)는 도 4와 같이 매핑될 수 있다. 이때, 카메라(110)에 포함된 광각 렌즈의 중심은 origin Ο로 표시할 수 있다.
주점이 (u0,v0)인 경우, 3차원 평면의 가로축을 기준으로 3차원 평면의 중심(410)과 3차원 평면 상의 위치 P(xp,yp) 간의 각도
Figure 112016014760661-pat00007
는 수학식 5와 같이 정의될 수 있다.
Figure 112016014760661-pat00008
그리고, 3차원 위치 매핑부(230)는 수학식 6을 이용하여 입력 영상의 위치 (u,v)와 주점 (u0,v0) 간의 거리 r를 계산할 수 있다.
Figure 112016014760661-pat00009
그리고, 3차원 위치 매핑부(230)는 렌즈 모델 추정부(210)가 추정한 광각 렌즈의 모델에 따라 수학식 2에 거리 r을 적용하여 입력 영상에서 전경에 포함된 오브젝트의 위치 (u,v)의 각도 θ를 계산할 수 있다.
또한, 3차원 위치 매핑부(230)는 계산한 d, α,
Figure 112016014760661-pat00010
를 이용하여 3차원 평면 상의 위치 P(xp,yp)에서 3차원 평면 중심까지의 거리
Figure 112016014760661-pat00011
을 수학식 7과 같이 계산할 수 있다.
Figure 112016014760661-pat00012
따라서, 3차원 위치 매핑부(230)는 수학식 8에 거리
Figure 112016014760661-pat00013
을 적용하여 3차원 평면 상의 위치 P를 추정할 수 있다.
Figure 112016014760661-pat00014
출력 영상 생성부(123)는 전경(foreground)이 3차원 평면 상으로 매핑된 위치, 또는 전경의 3차원 위치 P (xp,yp) 값의 레인지(range)를 조정할 수 있다.
카메라(110)에 포함된 광각 렌즈와 전경에 포함된 오브젝트의 3차원 평면 상의 위치 P(xp,yp)간의 거리 z는 도 5에 도시된 바와 같이 거리
Figure 112016014760661-pat00015
에 비례할 수 있다. 따라서, 출력 영상 생성부(120)는 수학식 9를 이용하여 전경에 포함된 오브젝트의 3차원 좌표 x,y,z를 결정할 수 있다.
Figure 112016014760661-pat00016
이때, 출력 영상 생성부(123)는 z의 범위(range)를 조정하여 전경의 크기와 거리에 따른 물체의 비율을 조절할 수 있다. 이때, z의 범위를 조정하는 파라미터가 zRangeScale이고, 조정된 z는 zs로 표시할 수 있다. 예를 들어, 출력 영상 생성부(123)는 수학식 10을 이용하여 zs를 결정할 수 있다.
Figure 112016014760661-pat00017
이때. mz는 전경에 포함된 zs값의 최소값일 수 있다.
또한, zRangeScale은 0과 1사이의 값이며, zRangeScale이 0에 가까울수록 전경에 포함된 오브젝트의 실제 3차원 위치로 복원되고, zRangeScale이 1에 가까울수록 전경에 포함된 오브젝트가 광각 영상에 의하여 왜곡된 위치로 복원될 수 있다.
그리고, 출력 영상 생성부(123)는 카메라(110)에 포함된 광각 렌즈와 전경에 포함된 오브젝트의 3차원 평면 상의 위치 P(xp,yp) 간의 거리에 비례하여 3차원 평면 상의 위치 P를 입력 영상에 원근 투영(perspective projection)할 수 있다.
구체적으로, 출력 영상 생성부(120)는 3차원 평면 상의 위치 P(xp,yp)에 대응하는 거리 zs를 결정할 수 있다. 그리고, 출력 영상 생성부(120)는 거리 zs에 비례하여 3차원 평면 상의 위치 P를 입력 영상에 원근 투영(perspective projection)함으로써, 원근 투영 결과 좌표 (u,v)를 결정할 수 있다. 이때, 전경이 매핑될 위치는, 멀수록 작아보이고 가까울수록 커보이는 원근 효과를 주기 위해 전경의 2차원 위치들로부터 추정한 전경의 3차원 위치들 중 가장 가까운 위치에 대한 해당 위치 값에 비례하여 결정될 수 있다.
그리고, 출력 영상 생성부(120)는
Figure 112016014760661-pat00018
를 이용하여 전경의 전체적 크기를 조정할 수 있다. 이때,
Figure 112016014760661-pat00019
는 3차원 위치들을 원근 투영하는 과정에서 전경의 크기를 조정하는 파라미터일 수 있다.
전경의 3차원 위치인 (xp,yp)는 좌표 중심으로부터의 거리에 따라 처리되었으므로 원근 투영 결과 좌표 (u,v)는 주점(u0,v0)를 수학식 11에 적용하여 결정될 수 있다.
Figure 112016014760661-pat00020
이때, 출력 영상 생성부(120)는 원근 투영한 3차원 평면 상의 위치 P들을 입력 영상에 오버레이(overlay)하여 광각 렌즈에 의한 왜곡이 보정된 출력 영상을 생성할 수 있다.
도 6은 본 발명의 일실시예에 따른 샘플 오브젝트의 일례이다.
본 발명의 일실시예에 따른 샘플 오브젝트는 도 6에 도시된 모눈 종이와 같이 오브젝트의 좌표들 간의 거리가 표시된 오브젝트일 수 있다.
이때, 렌즈 모델 추정부(210)는 도 6과 같이 격자화 되어있는 샘플 오브젝트를 촬영하여 생성한 샘플 영상과 샘플 오브젝트와 카메라(110) 간의 거리 d를 이용하여 θ를 측정할 수 있다.
예를 들어, 렌즈 모델 추정부(210)는 수학식 12를 이용하여 광각 렌즈의 중심을 연결하는 가상의 직선과 광각 렌즈의 중심 축간의 각도 θ를 측정할 수 있다.
Figure 112016014760661-pat00021
그리고, 샘플 오브젝트의 좌표가 (x,y)이고, 샘플 영상의 주점에 매핑되는 위치가 (x0,y0)인 경우, 3차원 평면 상의 위치 P (xp,yp)에서 3차원 평면 중심까지의 거리
Figure 112016014760661-pat00022
은 수학식 13과 같이 정의될 수 있다.
Figure 112016014760661-pat00023
또한, 샘플 오브젝트는 실제 거리가 격자로 표시되어 있으므로, 렌즈 모델 추정부(210)는 샘플 영상에서 격자간의 거리와 샘플 오브젝트의 격자간의 거리를 기초로 입력 영상의 위치 (u,v)와 주점 (u0,v0)간의 거리 r을 계산할 수 있다.
이때, 렌즈 모델 추정부(210)는 샘플 오브젝트와 카메라(110) 간의 거리 d와 수학식 13을 이용하여 계산한 거리
Figure 112016014760661-pat00024
를 이용하여 각도 θ를 계산하고, 각도 θ와 거리 r을 이용하여 θ - r 커브를 형성할 수 있다.
그리고, 렌즈 모델 추정부(210)는 복수의 광각 렌즈의 모델들 각각의 θ - r 커브들 중 형성한 θ - r 커브와 가장 유사도가 높은 광각 렌즈의 모델을 카메라(110)에 포함된 광각 렌즈의 모델로 결정할 수 있다.
도 7은 본 발명의 일실시예에 따라 왜곡이 보정된 출력 영상을 생성하는 과정의 제1 실시예이다.
도 7은 실내에서 사람을 촬영한 입력 영상(710)을 보정하는 과정의 일례이다.
왜곡 보정 장치(120)는 광각 렌즈가 포함된 카메라(110)로 촬영한 입력 영상(710)에서 오브젝트인 사람이 포함된 전경을 추출할 수 있다.
그리고, 왜곡 보정 장치(120)는 추출한 전경을 이용하여 사람의 3차원 위치를 추정하고, 추정한 사람의 3차원 위치를 입력 영상(710)에 원근 투영하여 사람의 3차원 평면(surface)(720)를 복원할 수 있다. 이때, 복원한 3차원 평면(720)는 도 7에 도시된 바와 같이 광각 렌즈에 의하여 왜곡되었던 사용자의 하체 부분의 윤곽선이 보정될 수 있다. 구체적으로, 입력 영상(710)에서 사람의 하체 부분은 광각 렌즈에 의하여 실제보다 짧아 보이는 형태로 왜곡되어 있다. 반면, 왜곡 보정 장치(120)가 복원한 3차원 평면(720)는 광각 렌즈에 의하여 실제보다 짧아 보이는 왜곡을 보정하였으므로, 입력 영상(710)보다 하체가 길어 보일 수 있다.
그리고, 왜곡 보정 장치(120)는 3차원 평면(720)를 입력 영상(710)에 오버레이하여 출력 영상(730)를 생성할 수 있다.
출력 영상(730)은 도 7에 도시된 바와 같이 입력 영상(710)에서 왜곡이 보정되어 사람의 인체 비율이 복원된 영상일 수 있다.
도 8은 본 발명의 일실시예에 따라 왜곡이 보정된 출력 영상을 생성하는 과정의 제2 실시예이다.
도 8은 실외에서 사람을 촬영한 입력 영상(810)을 보정하는 과정의 일례이다.
왜곡 보정 장치(120)는 광각 렌즈가 포함된 카메라(110)로 촬영한 입력 영상(810)에서 오브젝트인 사람이 포함된 전경을 추출할 수 있다.
그리고, 왜곡 보정 장치(120)는 추출한 전경을 이용하여 사람의 3차원 위치를 추정하고, 추정한 사람의 3차원 위치를 입력 영상(810)에 원근 투영하여 사람의 3차원 평면(surface)(820)을 복원할 수 있다. 이때, 복원한 3차원 평면(820)은 도 8에 도시된 바와 같이 광각 렌즈에 의하여 왜곡되었던 사용자의 하체 부분의 윤곽선이 보정될 수 있다. 구체적으로, 입력 영상(810)에서 사람의 하체 부분은 광각 렌즈에 의하여 실제보다 짧아 보이는 형태로 왜곡되어 있다. 반면, 왜곡 보정 장치(120)가 복원한 3차원 평면(820)은 광각 렌즈에 의하여 실제보다 짧아 보이는 왜곡을 보정하였으므로, 입력 영상(810)보다 하체가 길어 보일 수 있다.
그리고, 왜곡 보정 장치(120)는 3차원 평면(820)을 입력 영상(810)에 오버레이하여 출력 영상(830)를 생성할 수 있다.
출력 영상(830)은 도 8에 도시된 바와 같이 입력 영상(810)에서 왜곡이 보정되어 사람의 인체 비율이 복원된 영상일 수 있다.
도 9는 본 발명의 일실시예에 따른 왜곡 보정 방법을 도시한 플로우차트이다.
단계(910)에서 전경 추출부(121)는 카메라(110)가 광각 렌즈를 이용하여 생성한 입력 영상에서 전경을 추출할 수 있다. 이때, 전경 추출부(121)는 입력 영상에서 배경(102)보다 카메라(110)에 가까운 오브젝트(101)가 표시된 영역을 전경으로 추출할 수 있다.
단계(920)에서 3차원 위치 추정부(122)는 단계(910)에서 추출한 전경과 카메라(110)의 광각 렌즈 간의 거리를 이용하여 전경의 3차원 위치를 추정할 수 있다.
단계(930)에서 출력 영상 생성부(123)는 단계(920)에서 추정한 전경의 3차원 위치를 입력 영상에 원근 투영하여 왜곡이 보정된 출력 영상을 생성할 수 있다.
이때, 출력 영상 생성부(123)는 전경의 3차원 위치를 기초로 원근 투영 파라미터를 결정할 수 있다. 또한, 출력 영상 생성부(120)는 전경의 3차원 위치와 전경 간의 거리를 결정하고, 전경의 크기 및 전경과 광각 렌즈 간의 거리에 따른 물체의 비율 조절 파라미터를 결정하며, 전경의 3차원 위치와 전경 간의 거리 및 비율 조절 파라미터를 이용하여 원근 투영 파라미터를 결정할 수 있다.
그리고, 출력 영상 생성부(123)는 결정한 원근 투영 파라미터를 이용하여 전경의 3차원 위치가 매핑될 입력 영상의 2차원 좌표를 결정할 수 있다.
도 10은 본 발명의 일실시예에 따른 왜곡 보정 방법의 3차원 위치 추정 과정을 도시한 플로우차트이다. 도 10의 단계(1010) 내지 단계(1030)는 도 9의 단계(920)에 포함될 수 있다.
단계(1010)에서 3차원 위치 추정부(122)의 렌즈 모델 추정부(210)는 카메라(110)에 포함된 광각 렌즈의 모델을 추정할 수 있다. 이때, 렌즈 모델 추정부(210)는 오브젝트의 실제 3차원 위치와 렌즈 중심을 연결하는 가상의 직선과 렌즈의 중심 축간의 각도 및 입력 영상의 좌표와 주점 간의 거리 간의 트랜스퍼 커브(transfer curve)를 결정할 수 있다. 그리고, 렌즈 모델 추정부(210)는 복수의 광각 렌즈의 모델들 중 트랜스퍼 커브와 가장 유사도가 높은 광각 렌즈의 모델을 카메라(110)에 포함된 광각 렌즈의 모델로 결정할 수 있다.
단계(1020)에서 3차원 위치 추정부(122)의 카메라 파라미터 추정부(220)는 단계(1010)에서 추정한 광각 렌즈의 모델을 기초로 광각 렌즈가 포함된 카메라(110)의 파라미터를 추정할 수 있다. 이때, 카메라 파라미터 추정부(220)는 초점 거리 및 주점들 중에서 렌즈 모델과의 오차를 최소화하는 초점 거리 및 주점을 카메라의 파라미터로 추정할 수 있다.
단계(1030)에서 3차원 위치 추정부(122)의 3차원 위치 매핑부(230)는 전경과 광각 렌즈 간의 거리 및 단계(1020)에서 추정한 카메라의 파라미터를 이용하여 전경 추출부(121)가 추출한 전경의 2차원 위치에 전경의 3차원 위치를 매핑할 수 있다.
본 발명은 입력 영상에서 오브젝트와 같은 전경의 3차원 위치를 추정하고, 추정한 3차원 좌표를 원근 투영함으로써, 광각 렌즈에 의한 오브젝트의 왜곡을 보정할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 카메라
120: 왜곡 보정 장치
121: 전경 추출부
122: 3차원 위치 추정부
123: 출력 영상 생성부

Claims (11)

  1. 광각 렌즈를 이용하여 생성한 입력 영상에서 전경을 추출하는 단계;
    상기 전경과 상기 광각 렌즈 간의 거리를 이용하여 상기 전경의 3차원 위치를 추정하는 단계; 및
    상기 전경의 3차원 위치를 상기 입력 영상에 원근 투영(perspective projection)하여 왜곡이 보정된 출력 영상을 생성하는 단계
    를 포함하고,
    상기 3차원 위치를 추정하는 단계는,
    오브젝트의 실제 3차원 위치와 렌즈 중심을 연결하는 가상의 직선과 상기 렌즈의 중심 축간의 각도를 측정하는 단계;
    상기 입력 영상의 좌표와 주점(principal point)간의 거리를 측정하는 단계;
    상기 렌즈의 중심 축간의 각도와 상기 주점 간의 거리 간의 트랜스퍼 커브(transfer curve)를 결정하는 단계;
    복수의 광각 렌즈의 모델들 중 상기 트랜스퍼 커브와 가장 유사도가 높은 광각 렌즈의 모델을 상기 광각 렌즈의 모델로 추정하는 단계;
    상기 광각 렌즈의 모델을 기초로 상기 광각 렌즈가 포함된 카메라의 파라미터를 추정하는 단계; 및
    상기 전경과 상기 광각 렌즈 간의 거리 및 상기 카메라의 파라미터를 이용하여 상기 전경의 2차원 위치에 전경의 3차원 위치를 매핑하는 단계
    를 포함하는 왜곡 보정 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 카메라의 파라미터를 추정하는 단계는,
    초점 거리 및 주점(principal point)들 중에서 상기 렌즈 모델과의 오차를 최소화하는 초점 거리 및 주점을 상기 카메라의 파라미터로 추정하는 왜곡 보정 방법.
  5. 제1항에 있어서,
    상기 출력 영상을 생성하는 단계는,
    상기 전경의 3차원 위치를 기초로 원근 투영 파라미터를 결정하는 단계; 및
    상기 원근 투영 파라미터를 이용하여 상기 전경의 3차원 위치가 매핑될 상기 입력 영상의 2차원 좌표를 결정하는 단계
    를 포함하는 왜곡 보정 방법.
  6. 제5항에 있어서,
    상기 원근 투영 파라미터를 결정하는 단계는,
    상기 전경의 3차원 위치와 전경 간의 거리를 결정하는 단계;
    상기 전경의 크기 및 상기 전경과 상기 광각 렌즈 간의 거리에 따른 물체의 비율 조절 파라미터를 결정하는 단계;
    상기 전경의 3차원 위치와 전경 간의 거리 및 상기 비율 조절 파라미터를 이용하여 상기 원근 투영 파라미터를 결정하는 단계
    를 포함하는 왜곡 보정 방법.
  7. 광각 렌즈를 이용하여 생성한 입력 영상에서 전경을 추출하는 전경 추출부;
    상기 전경과 상기 광각 렌즈 간의 거리를 이용하여 상기 전경의 3차원 위치를 추정하는 3차원 위치 추정부; 및
    상기 전경의 3차원 위치를 상기 입력 영상에 원근 투영(perspective projection)하여 왜곡이 보정된 출력 영상을 생성하는 출력 영상 생성부
    를 포함하고,
    상기 3차원 위치 추정부는,
    오브젝트의 실제 3차원 위치와 렌즈 중심을 연결하는 가상의 직선과 상기 렌즈의 중심 축간의 각도를 측정하고, 상기 입력 영상의 좌표와 주점(principal point)간의 거리를 측정하며, 상기 렌즈의 중심 축간의 각도와 상기 주점 간의 거리 간의 트랜스퍼 커브(transfer curve)를 결정하고, 복수의 광각 렌즈의 모델들 중 상기 트랜스퍼 커브와 가장 유사도가 높은 광각 렌즈의 모델을 상기 광각 렌즈의 모델로 추정하는 렌즈 모델 추정부;
    상기 광각 렌즈의 모델을 기초로 상기 광각 렌즈가 포함된 카메라의 파라미터를 추정하는 카메라 파라미터 추정부; 및
    상기 전경과 상기 광각 렌즈 간의 거리 및 상기 카메라의 파라미터를 이용하여 상기 전경의 2차원 위치에 전경의 3차원 위치를 매핑하는 3차원 위치 매핑부
    를 포함하는 왜곡 보정 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 카메라 파라미터 추정부는,
    초점 거리 및 주점(principal point)들 중에서 상기 렌즈 모델과의 오차를 최소화하는 초점 거리 및 주점을 상기 카메라의 파라미터로 추정하는 왜곡 보정 장치.
  11. 제7항에 있어서,
    상기 출력 영상 생성부는,
    상기 전경의 3차원 위치를 기초로 원근 투영 파라미터를 결정하고, 상기 원근 투영 파라미터를 이용하여 상기 전경의 3차원 위치가 매핑될 상기 입력 영상의 2차원 좌표를 결정하는 왜곡 보정 장치.
KR1020160017231A 2016-02-15 2016-02-15 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법 KR101694651B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160017231A KR101694651B1 (ko) 2016-02-15 2016-02-15 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160017231A KR101694651B1 (ko) 2016-02-15 2016-02-15 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101694651B1 true KR101694651B1 (ko) 2017-01-09

Family

ID=57811427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160017231A KR101694651B1 (ko) 2016-02-15 2016-02-15 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101694651B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379536A (zh) * 2018-12-29 2019-02-22 深圳看到科技有限公司 画面生成方法、装置、终端及对应的存储介质
KR20190029326A (ko) * 2017-09-12 2019-03-20 한양대학교 산학협력단 영상의 원근 왜곡 보정 장치 및 그 방법
WO2019066349A1 (ko) * 2017-09-29 2019-04-04 삼성전자 주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
CN109696122A (zh) * 2017-10-24 2019-04-30 华晶科技股份有限公司 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
CN110021044A (zh) * 2018-01-10 2019-07-16 华晶科技股份有限公司 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
CN110519486A (zh) * 2019-09-19 2019-11-29 Oppo广东移动通信有限公司 基于广角镜头的畸变补偿方法、装置、及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120130798A (ko) * 2011-05-23 2012-12-04 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
KR20140090775A (ko) * 2013-01-10 2014-07-18 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120130798A (ko) * 2011-05-23 2012-12-04 아진산업(주) 차량 어라운드 뷰 영상 생성 방법
KR20140090775A (ko) * 2013-01-10 2014-07-18 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
홍유정 외1, "Self-calibration의 초점 거리 추정에서 특징점 위치의 영향", 한국통신학회논문지, 2006.04.* *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190029326A (ko) * 2017-09-12 2019-03-20 한양대학교 산학협력단 영상의 원근 왜곡 보정 장치 및 그 방법
KR101971258B1 (ko) * 2017-09-12 2019-04-22 한양대학교 산학협력단 영상의 원근 왜곡 보정 장치 및 그 방법
WO2019066349A1 (ko) * 2017-09-29 2019-04-04 삼성전자 주식회사 전자 장치 및 전자 장치의 객체 센싱 방법
US11501448B2 (en) 2017-09-29 2022-11-15 Samsung Electronics Co., Ltd. Electronic device and object sensing method of electronic device
CN109696122A (zh) * 2017-10-24 2019-04-30 华晶科技股份有限公司 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
CN110021044A (zh) * 2018-01-10 2019-07-16 华晶科技股份有限公司 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
CN110021044B (zh) * 2018-01-10 2022-12-20 华晶科技股份有限公司 利用双鱼眼图像计算所摄物体坐标的方法及图像获取装置
CN109379536A (zh) * 2018-12-29 2019-02-22 深圳看到科技有限公司 画面生成方法、装置、终端及对应的存储介质
CN109379536B (zh) * 2018-12-29 2020-07-31 深圳看到科技有限公司 画面生成方法、装置、终端及对应的存储介质
CN110519486A (zh) * 2019-09-19 2019-11-29 Oppo广东移动通信有限公司 基于广角镜头的畸变补偿方法、装置、及相关设备

Similar Documents

Publication Publication Date Title
KR101694651B1 (ko) 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
JP5437311B2 (ja) 画像補正方法、画像補正システム、角度推定方法、および角度推定装置
US9094672B2 (en) Stereo picture generating device, and stereo picture generating method
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
US20150093042A1 (en) Parameter calibration method and apparatus
CN112689135A (zh) 投影校正方法、装置、存储介质及电子设备
JP2002324234A (ja) 立体画像を偏歪修正する方法および装置
JP2007183948A (ja) 幾何情報を校正してパノラマ映像を提供する方法および装置
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
US10154241B2 (en) Depth map based perspective correction in digital photos
KR20180131743A (ko) Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
WO2022107245A1 (ja) マップ生成装置、マップ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
KR20190124112A (ko) Avm 시스템 및 avm 시스템에서, 영상 사이의 매칭점 검출 방법
KR20150040194A (ko) 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
KR101239671B1 (ko) 렌즈에 의한 왜곡 영상 보정방법 및 그 장치
KR102631472B1 (ko) 어안 왜곡 이미지의 무손실 보정 방법 및 장치
JPWO2020144760A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7346594B2 (ja) ユーザ機器及び斜視補正方法
WO2023062994A1 (ja) 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム
CN117422650B (zh) 全景影像畸变校正方法、装置、电子设备及介质
JP2024021218A (ja) カメラ校正装置、カメラ校正方法及びプログラム
KR20240022986A (ko) 카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4