KR20150088583A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20150088583A
KR20150088583A KR1020140009078A KR20140009078A KR20150088583A KR 20150088583 A KR20150088583 A KR 20150088583A KR 1020140009078 A KR1020140009078 A KR 1020140009078A KR 20140009078 A KR20140009078 A KR 20140009078A KR 20150088583 A KR20150088583 A KR 20150088583A
Authority
KR
South Korea
Prior art keywords
information
image
input
images
point
Prior art date
Application number
KR1020140009078A
Other languages
English (en)
Other versions
KR102265109B1 (ko
Inventor
정영주
김지원
남동경
박두식
조양호
황효석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140009078A priority Critical patent/KR102265109B1/ko
Priority to US14/603,737 priority patent/US9679395B2/en
Publication of KR20150088583A publication Critical patent/KR20150088583A/ko
Application granted granted Critical
Publication of KR102265109B1 publication Critical patent/KR102265109B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

영상 장치는 시점이 서로 상이한 복수의 입력 영상들을 수신하고, 입력 영상들과 관련된 정보를 획득하고, 수신된 입력 영상들 및 획득된 정보에 기반하여 출력 시점의 출력 영상을 생성할 수 있다. 수신된 입력 영상들 및 획득된 입력 영상들과 관련된 정보에 기반하여 출력 영상이 생성됨으로써 입력 영상들에 대한 출력 영상의 정보 손실을 줄일 수 있다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR IMAGE PROCESSING}
아래의 실시예들은 영상 처리에 관한 것으로 보다 상세하게는 입력 영상들에 기반하여 출력 시점의 출력 영상을 생성하는 영상 처리 방법 및 장치에 관한 것이다.
다시점(multi-view)의 입력 영상들에 대한 출력 시점의 출력 영상은 입력 영상들의 내삽 또는 외삽에 의해 생성될 수 있다.
입력 영상들을 촬영하는 카메라들은 서로 상이한 환경에 놓여져 있을 수 있다. 따라서, 입력 영상을 사용하여 내삽 또는 외삽을 통해 출력 영상을 생성하기 위해서는, 먼저, 입력 영상들의 각 입력 영상은 상기의 각 입력 영상을 촬영한 카메라의 환경에 기반하여 캘리브레이션(calibration) 및 와핑(warping)되어야 한다. 말하자면, 출력 영상은 입력 영상들을 촬영한 카메라들의 환경들에 기반하여 캘리브레이션 및 와핑된 영상들로부터 생성될 수 있다.
캘리브레이션 및 와핑된 영상들은 암흑 영역(black region)을 포함할 수 있다. 암흑 영역의 제거를 위해, 캘리브레이션 및 와핑된 영상들로부터 생성된 출력 영상은 크롭핑되어야 할 수 있다. 크롭핑에 의해, 출력 영상을 생성함에 있어서 정보 손실이 발생할 수 있다.
일 측면에 있어서, 시점이 서로 상이한 복수의 입력 영상들을 수신하는 단계, 상기 입력 영상들의 캘리브레이션(calibration) 정보, 상기 입력 영상들의 렉티피케이션(rectification) 정보 및 상기 입력 영상들의 디스패리티 정보를 획득하는 단계, 상기 캘리브레이션 정보 및 상기 렉티피케이션과 정보에 기반하여 상기 각 입력 영상의 호모그래피(homography) 정보를 획득하는 단계, 상기 호모그래피 정보 및 상기 입력 영상들에 기반하여, 상기 입력 영상들의 대응하는 지점들에 대한 모션 벡터를 계산하는 단계, 상기 모션 벡터 및 상기 입력 영상들에 기반하여 출력 시점의 출력 영상을 생성하는 단계 및 상기 출력 영상을 출력하는 단계를 포함하는, 영상 처리 방법이 제공된다.
상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는 상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보 중 1 개 이상 2 개 이하의 일부의 정보를 수신에 의해서 획득할 수 있다.
상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는 상기 일부의 정보를 제외한 나머지의 정보를 상기 일부의 정보 및 상기 입력 영상들에 기반한 생성에 의해서 획득할 수 있다.
상기 캘리브레이션 정보는 상기 입력 영상들의 렉티피케이션을 위한 회전 정보를 포함할 수 있다.
상기 렉티피케이션 정보는 상기 입력 영상들의 렉티피케이션된(rectified) 영상들과 관련된 파라미터들을 포함할 수 있다.
상기 입력 영상들은 좌측 입력 영상 및 우측 입력 영상을 포함할 수 있다.
상기 출력 시점은 좌측 입력 영상의 시점 및 상기 우측 입력 영상의 시점의 사이의 시점일 수 있다.
상기 입력 영상들은 제1 입력 영상 및 제2 입력 영상을 포함할 수 있다.
상기 호모그래피 정보를 획득하는 단계는 상기 캘리브레이션 정보 및 상기 렉티피케이션 정보에 기반하여, 상기 제1 입력 영상의 제1 호모그래피 정보 및 상기 제2 입력 영상의 제2 호모그래피 정보를 획득할 수 있다.
상기 모션 벡터를 계산하는 단계는 상기 제1 호모그래피 정보에 기반하여, 상기 제1 입력 영상의 제1 지점에 대응하는 제1 렉티피케이션된 영상의 제2 지점을 계산하는 단계를 포함할 수 있다.
상기 모션 벡터를 계산하는 단계는 상기 디스패리티 정보에 기반하여, 상기 제2 지점에 대응하는 제2 렉티피케이션된 영상의 제3 지점을 계산하는 단계를 포함할 수 있다.
상기 모션 벡터를 계산하는 단계는 상기 제2 호모그래피 정보에 기반하여 상기 제3 지점에 대응하는 상기 제2 입력 영상의 제4 지점을 계산하는 단계를 포함할 수 있다.
상기 모션 벡터를 계산하는 단계는 상기 제1 지점 및 상기 제4 지점 간의 모션인 상기 모션 벡터를 계산하는 단계를 포함할 수 있다.
상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는 상기 캘리브레이션 정보를 수신하는 단계를 포함할 수 있다.
상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는 상기 캘리브레이션 정보 및 상기 입력 영상들에 기반하여 상기 입력 영상들의 렉티피케이션을 수행함으로써 상기 렉티피케이션 정보를 생성하는 단계를 포함할 수 있다.
상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는 상기 렉티피케이션의 수행에 의해 생성된 영상들의 디스패리티들을 계산함으로써 상기 디스패리티 정보를 획득하는 단계를 포함할 수 있다.
상기 영상 처리 방법은 상기 입력 영상들에 대한 크롭핑된 영상들의 정보 손실을 계산하는 단계를 더 포함할 수 있다.
상기 크롭핑된 영상들은 상기 렉티피케이션의 수행에 의해 생성된 영상들이 크롭핑된 영상들일 수 있다.
상기 호모그래피 정보를 획득하는 단계, 상기 모션 벡터를 계산하는 단계 및 상기 출력 영상을 생성하는 단계는 상기 정보 손실이 소정의 값 이상인 경우에 수행될 수 있다.
다른 일 측면에 있어서, 시점이 서로 상이한 복수의 입력 영상들을 수신하는 영상 수신부, 상기 입력 영상들의 캘리브레이션(calibration) 정보, 상기 입력 영상들의 렉티피케이션(rectification) 정보 및 상기 입력 영상들의 디스패리티 정보를 획득하고, 상기 캘리브레이션 정보 및 상기 렉티피케이션과 정보에 기반하여 상기 각 입력 영상의 호모그래피(homography) 정보를 획득하고, 상기 호모그래피 정보 및 상기 입력 영상들에 기반하여, 상기 입력 영상들의 대응하는 지점들에 대한 모션 벡터를 계산하고, 상기 모션 벡터 및 상기 입력 영상들에 기반하여 출력 시점의 출력 영상을 생성하는 영상 처리부 및 상기 출력 영상을 출력하는 영상 출력부를 포함하는, 영상 장치가 제공된다.
상기 영상 처리부는 상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보 중 1 개 이상 2 개 이하의 일부의 정보를 수신에 의해서 획득할 수 있다.
상기 영상 처리부는 상기 일부의 정보를 제외한 나머지의 정보를 상기 일부의 정보 및 상기 입력 영상들에 기반한 생성에 의해서 획득할 수 있다.
상기 캘리브레이션 정보는 상기 입력 영상들의 렉티피케이션을 위한 회전 정보를 포함할 수 있다.
상기 입력 영상들은 제1 입력 영상 및 제2 입력 영상을 포함할 수 있다.
상기 영상 처리부는 상기 캘리브레이션 정보 및 상기 렉티피케이션 정보에 기반하여, 상기 제1 입력 영상의 제1 호모그래피 정보 및 상기 제2 입력 영상의 제2 호모그래피 정보를 획득할 수 있다.
상기 영상 처리부는 상기 제1 호모그래피 정보에 기반하여, 상기 제1 입력 영상의 제1 지점에 대응하는 제1 렉티피케이션된 영상의 제2 지점을 계산할 수 있다.
상기 영상 처리부는 상기 디스패리티 정보에 기반하여, 상기 제2 지점에 대응하는 제2 렉티피케이션된 영상의 제3 지점을 계산할 수 있다.
상기 영상 처리부는 상기 제2 호모그래피 정보에 기반하여 상기 제3 지점에 대응하는 상기 제2 입력 영상의 제4 지점을 계산할 수 있다.
상기 영상 처리부는 상기 제1 지점 및 상기 제4 지점 간의 모션인 상기 모션 벡터를 계산할 수 있다.
상기 영상 처리부는 상기 캘리브레이션 정보를 수신할 수 있다.
상기 영상 처리부는 상기 캘리브레이션 정보 및 상기 입력 영상들에 기반하여 상기 입력 영상들의 렉티피케이션을 수행함으로써 상기 렉티피케이션 정보를 생성할 수 있다.
상기 영상 처리부는 상기 렉티피케이션의 수행에 의해 생성된 영상들의 디스패리티들을 계산함으로써 상기 디스패리티 정보를 획득할 수 있다.
상기 영상 처리부는 상기 입력 영상들에 대한 크롭핑된 영상들의 정보 손실을 계산할 수 있다.
상기 크롭핑된 영상들은 상기 렉티피케이션의 수행에 의해 생성된 영상들이 크롭핑된 영상들일 수 있다.
상기 정보 손실이 소정의 값 이상인 경우, 상기 영상 처리부는 상기 호모그래피 정보를 획득하고, 상기 모션 벡터를 계산하고 및 상기 출력 영상을 생성할 수 있다.
도 1은 일 실시예에 따른 영상 장치를 나타낸다.
도 2는 일 실시예에 따른 영상 처리 방법을 나타낸다.
도 3은 일 예에 따른 모션 벡터의 계산 방법을 나타낸다.
도 4는 일 예에 따른 캘리브레이션 정보, 렉티피케이션 정보 및 디스패리티 정보의 획득 방법을 나타낸다.
도 5는 일 예에 따른 입력 영상들의 캘리브레이션 정보 및 렉티피케이션된 영상들의 렉티피케이션 정보를 나타낸다.
도 6은 일 예에 따른 모션 벡터의 계산 방법을 나타낸다.
도 7은 일 예에 따른 출력 영상을 생성하는 방법을 나타낸다.
도 8은 일 예에 따른 영상 처리 방법을 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 문서의 전반에서 사용되는 영상은 영상의 데이터를 의미할 수 있다. 예컨대, 영상의 수신, 영상의 처리 및 영상의 출력은 영상 데이터의 수신 영상 데이터의 처리 및 영상 데이터의 출력을 각각 의미할 수 있다.
도 1은 일 실시예에 따른 영상 장치를 나타낸다.
영상 장치(100)는 영상 수신부(110), 영상 처리부(120) 및 영상 출력부(130) 를 포함할 수 있다.
영상 장치(100)는 시점이 서로 상이한 복수의 입력 영상들을 수신할 수 있고, 입력 영상들과 관련된 정보를 획득할 수 있다.
영상 장치(100)는 수신된 복수의 입력 영상들 및 획득된 입력 영상들과 관련된 정보에 기반하여 출력 시점의 출력 영상을 생성할 수 있다. 출력 영상의 출력 시점은 복수의 입력 영상들의 시점들과는 상이할 수 있다. 말하자면, 영상 장치(100)는 새로운 시점에서의 출력 영상을 생성할 수 있다.
생성된 출력 영상 및 입력 영상들은 3 차원 영상의 생성을 위해 사용될 수 있다. 예컨대, 영상 장치(100)는 다시점 3D 디스플레이 장치 또는 다시점 3D 디스플레이 장치의 일부를 구성할 수 있다.
영상 장치(100)는 입력 영상들의 캘리브레이션 및/또는 와핑된 영상들이 아닌, 캘리브레이션 및 와핑되지 않은 원본 입력 영상들에 기반하여 출력 영상을 생성할 수 있다. 입력 영상들의 와핑은 입력 영상들의 렉티피케이션(rectification)을 의미할 수 있다. 렉티피케이션은 입력 영상들의 에피폴라 라인(epipolar line)들을 서로 평행하게 하기 위한 입력 영상에 대한 처리 방법일 수 있다.
영상 수신부(110)는 시점이 서로 상이한 복수의 입력 영상들을 수신할 수 있다. 입력 영상들은 영상 장치(100)가 아닌 외부의 장치로부터 수신될 수 있다. 예컨대, 입력 영상들은 스테레오 카메라 또는 하나 이상의 카메라들로부터 수신될 수 있다. 또는, 도시된 것과는 달리, 입력 영상들은 영상 장치(100)가 포함하는 저장부(미도시)에 저장된 영상들일 수 있다.
시점이 서로 상이한 복수의 입력 영상들은 스테레오 카메라에 의해 촬영된 영상들일 수 있다. 또는, 입력 영상들의 각각은 서로 상이한 위치의 카메라에 의해 촬영된 영상일 수 있다.
영상 수신부(110)는 수신된 입력 영상들을 영상 처리부(120)로 전달할 수 있다.
도시된 것과는 달리, 영상 수신부(110)는 입력 영상들과 관련된 정보를 외부로부터 수신할 수 있다. 이 때, 영상 수신부(110)는 수신된 영상들과 관련된 정보를 영상 처리부(120)로 전달할 수 있다. 입력 영상들과 관련된 정보는 입력 영상들의 캘리브레이션 정보, 입력 영상들의 렉티피케이션 정보 및 입력 영상들의 디스패리티 정보 중 적어도 하나를 포함할 수 있다.
영상 처리부(120)는 입력 영상들과 관련된 정보를 획득할 수 있고, 입력 영상들 및 입력 영상들과 관련된 정보에 기반하여 출력 시점의 출력 영상을 생성할 수 있다. 영상 처리부(120)는 입력 영상들과 관련된 정보를 수신에 의해서 획득할 수 있고, 입력 영상들에 기반하여 입력 영상들과 관련된 정보를 생성할 수 있다. 말하자면, 정보의 획득은 정보의 수신 및 정보의 생성을 포함할 수 있다.
영상 처리부(120)는 입력 영상들과 관련된 정보를 획득하기 위해 요구되는 연산 및 출력 영상을 생성하기 위해 필요한 연산을 처리할 수 있다.
영상 출력부(130)는 영상 처리부(120)에 의해 생성된 출력 영상을 출력할 수 있다. 영상 출력부(130)는 출력 영상을 출력하기 위한 하드웨어 모듈일 수 있다. 영상 출력부(130)는 출력 영상을 출력하는 포트(port)를 포함할 수 있다. 예컨대, 영상 출력부(130) 다시점 3D 디스플레이 장치로 출력 영상을 출력할 수 있다.
영상 처리부(120)가 획득하는 입력 영상들과 관련된 정보 및 출력 영상을 생성하는 방법에 대해서는 후술될 도 2 내지 도 8을 참조하여 더 자세하게 설명된다.
도 2는 일 실시예에 따른 영상 처리 방법을 나타낸다.
도시된 영상 처리 방법은 도 1을 참조하여 전술된 영상 장치(100)에 의해 수행될 수 있다.
단계(210)에서, 영상 수신부(110)는 시점이 서로 상이한 복수의 입력 영상들을 수신할 수 있다. 예컨대, 입력 영상들은 다시점의 입력 영상들일 수 있다. 입력 영상들은 좌측 입력 영상 및 우측 입력 영상을 포함할 수 있다. 입력 영상들 중 좌측 입력 영상의 시점은 우측 입력 영상의 시점보다 더 좌측의 시점일 수 있다.
단계(220)에서, 영상 처리부(120)는 입력 영상들과 관련된 정보, 예컨대, 입력 영상들의 캘리브레이션 정보, 입력 영상들의 렉티피케이션 정보 및 입력 영상들의 디스패리티 정보를 획득할 수 있다.
영상 처리부(120)는 입력 영상들의 각각 별로 캘리브레이션 정보를 획득할 수 있다.
입력 영상의 캘리브레이션은 카메라에 의해 촬영된 영상을 2 차원 평면으로 투사하기 위해 요구되는 캘리브레이션 파라미터들을 획득하기 위한 작업일 수 있다.
영상 처리부(120)가 획득하는 캘리브레이션 정보는 캘리브레이션 파라미터들을 포함할 수 있다.
캘리브레이션 파라미터들은 카메라 외부 파라미터(extrinsic parameter)들 및 카메라 내부 파라미터(intrinsic parameter)들을 포함할 수 있다.
카메라 내부 파라미터들은 각 입력 영상을 촬영하는 카메라의 초점 거리, 종횡비(aspect ratio) 및 중심점 중 적어도 하나와 관련된 파라미터들을 포함할 수 있다.
카메라 외부 파라미터는 각 입력 영상이 촬영되는 공간 내의 각 카메라의 기하학적 위치(예컨대, 카메라의 높이 및 방향)와 관련된 파라미터들을 포함할 수 있다.
예컨대, 영상 처리부(120)가 획득하는 캘리브레이션 정보는 입력 영상들의 렉티피케이션을 위한 회전 정보를 포함할 수 있다. 입력 영상들의 렉티피케이션을 위한 회전 정보는 입력 영상들의 렉티피케이션을 수행하기 위해 요구되는, 각 입력 영상이 회전되어야 하는 각도에 관한 파라미터들을 포함할 수 있다. 각 입력 영상의 회전 정보는 각 입력 영상이 촬영되는 공간 내의 각 카메라의 기하학적 위치에 기반하여 결정될 수 있다.
각 입력 영상의 캘리브레이션 정보는 캘리브레이션 파라미터들을 요소(element)들로서 포함하는 행렬일 수 있다. 예컨대, 각 입력 영상의 캘리브레이션 정보는 입력 영상들의 렉티피케이션을 위해 각 입력 영상이 회전되어야 하는 각도에 관한 파라미터들을 요소들로서 포함하는 회전 행렬일 수 있다. 각 입력 영상의 회전 행렬은 후술될 출력 영상을 생성하기 위해 사용되는 호모그래피(homography) 행렬을 획득하기 위해 캘리브레이션 정보로서 사용될 수 있다.
렉티피케이션 정보는 입력 영상들의 렉티피케이션의 수행에 의해 획득될 수 있다. 입력 영상들의 렉티피케이션은 입력 영상들 및 캘리브레이션 정보에 기반하여 수행될 수 있다.
렉티피케이션 정보는 입력 영상들의 렉티피케이션된(rectified) 영상들과 관련된 파라미터들을 포함할 수 있다. 예컨대, 렉티피케이션 정보는 렉티피케이션된 영상들의 공통된 회전 정보를 포함할 수 있다. 회전 정보는 렉티피케이션된 영상들의 공통된 회전 파라미터들을 포함할 수 있다.
렉티피케이션 정보는 렉티피케이션된 영상들의 공통된 회전 파라미터들을 요소들로서 포함하는 렉티피케이션 행렬일 수 있다. 입력 영상들의 렉티피케이션 행렬은 후술될 출력 영상을 생성하기 위해 사용되는 호모그래피 행렬을 획득하기 위해 렉티피케이션 정보로서 사용될 수 있다.
영상 처리부(120)가 획득하는 캘리브레이션 정보 및 렉티피케이션 정보에 대해서는 후술될 도 5를 참조하여 더 자세하게 설명된다.
영상 처리부(120)가 획득하는 입력 영상들의 디스패리티 정보는 입력 영상들의 렉티피케이션된 영상들에 기반하여 획득될 수 있다. 디스패리티 정보의 획득을 위한 디스패리티들의 계산에 있어서, 예컨대 덴스 스테레오 매칭(dense stereo matching), 로컬 매칭(local matching) 또는 글로벌 매칭(global matching)의 알고리즘이 사용될 수 있다.
또는, 입력 영상들의 디스패리티 정보는 입력 영상들의 생성 시 소정의 센서에 의해 각 입력 영상 별로 획득될 수 있다.
영상 처리부(120)는 입력 영상들의 캘리브레이션 정보, 입력 영상들의 렉티피케이션 정보 및 입력 영상들의 디스패리티 정보 중 적어도 하나를 외부로부터의 수신에 의해서 획득할 수 있다. 말하자면, 캘리브레이션 정보, 렉티피케이션 정보 및 디스패리티 정보 중 적어도 하나는 외부의 장치에서 생성될 수 있고, 생성된 후 영상 처리부(120)로 전송될 수 있다.
또는, 영상 처리부(120)는 캘리브레이션 정보, 렉티피케이션 정보 및 디스패리티 정보 중 1 개 이상 2 개 이하의 일부의 정보를 수신에 의해서 획득할 수 있다. 영상 처리부(120)는 상기 일부의 정보를 제외한 나머지의 정보를 상기 일부의 정보 및 입력 영상들에 기반한 생성에 의해서 획득할 수 있다. 예컨대, 영상 처리부(120)는 외부로부터 입력 영상들의 캘리브레이션 정보를 수신할 수 있고, 수신된 캘리브레이션 정보 및 입력 영상들에 기반하여 입력 영상들의 렉티피케이션 정보 및 입력 영상들의 디스패리티 정보를 생성할 수 있다.
영상 처리부(120)가 입력 영상들의 렉티피케이션 정보 및/또는 입력 영상들의 디스패리티 정보를 획득하는 방법에 대해서는 후술될 도 4를 참조하여 더 자세하게 설명된다.
단계(230)에서, 영상 처리부(120)는 입력 영상들의 캘리브레이션 정보 및 입력 영상들의 렉티피케이션과 정보에 기반하여 입력 영상들의 각 입력 영상의 호모그래피 정보를 획득할 수 있다.
각 입력 영상의 호모그래피 정보는 각 입력 영상을 렉티피케이션된 영상으로 변환하기 위한 호모그래피 행렬일 수 있다. 호모그래피 행렬과 입력 영상의 지점 및 입력 영상의 렉티피케이션된 영상의 대응하는 지점 간의 관계는 하기의 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서, H는 입력 영상의 호모그래피 행렬일 수 있다. x 및 y는 각각 2 차원 평면에 투사된 입력 영상의 임의의 지점의 x축 좌표 및 y축 좌표를 나타낼 수 있다. x rec 및 y rec 는 입력 영상의 상기 지점의 좌표에 대응하는 렉티피케이션된 영상의 지점의 x축 좌표 및 y축 좌표를 각각 나타낼 수 있다. c는 스칼라 값일 수 있으며, 양 변들의 3*1의 행렬들이, 입력 영상의 지점의 좌표 값들 및 렉티피케이션된 영상의 지점의 좌표 값들로서, 서로 대응할 수 있게 만드는 값일 수 있다. 요컨대, 호모그래피 행렬은 입력 영상의 지점의 좌표를 상기 입력 영상의 렉티피케이션된 영상의 지점의 좌표로 변환할 수 있다.
영상 수신부(110)가 수신하는 입력 영상이 좌측 입력 영상 및 우측 입력 영상을 포함하는 경우, 좌측 입력 영상의 호모그래피 행렬 및 우측 입력 영상의 호모그래피 행렬은 하기의 수학식 2 및 수학식 3에 의해 계산될 수 있다.
Figure pat00002
여기서, R L 은 좌측 입력 영상의 캘리브레이션 정보일 수 있다. R L 은 좌측 입력 영상의 렉티피케이션을 위한 회전 행렬일 수 있다. R은 좌측 입력 영상 및 우측 입력 영상의 렉티피케이션 정보일 수 있다. R은 렉티피케이션 행렬일 수 있다. H L 은 좌측 입력 영상의 호모그래피 행렬일 수 있다.
Figure pat00003
여기서, R R 은 우측 입력 영상의 캘리브레이션 정보일 수 있다. R R 은 우측 입력 영상의 렉티피케이션을 위한 회전 행렬일 수 있다. R은 좌측 입력 영상 및 우측 입력 영상의 렉티피케이션 정보일 수 있다. R은 렉티피케이션 행렬일 수 있다. H R 은 우측 입력 영상의 호모그래피 행렬일 수 있다.
수학식 2 및 3에 의해 획득된 호모그래피 행렬은 입력 영상들의 디스패리티 정보와 함께 후술될 출력 영상의 생성을 위한 모션 벡터를 계산하기 위해 호모그래피 정보로서 사용될 수 있다.
단계(240)에서, 영상 처리부(120)는 단계(230)에서 획득된 호모그래피 정보 및 입력 영상들에 기반하여, 입력 영상들의 대응하는 지점들에 대한 모션 벡터를 계산할 수 있다. 말하자면, 영상 처리부(120)는 입력 영상들의 대응하는 지점들의 좌표들에 대한 모션 벡터를 계산할 수 있다.
입력 영상들의 대응하는 지점들은 입력 영상들 내의 대응하는 객체들의 영상 내의 위치들(또는, 대응하는 객체들의 영상 내의 좌표들)을 나타낼 수 있다. 대응하는 객체들이란, 하나의 동일한 피사체를 나타내는 입력 영상들 내의 객체들일 수 있다. 하나의 동일한 피사체는 입력 영상들의 시점들에 따라서, 입력 영상들에서 상이한 위치들 및 상이한 형태들로 나타날 수 있다.
또는, 입력 영상들의 대응하는 지점들은 상기의 지점들에 대응하는 입력 영상들이 출력되는 픽셀들의 위치 또는 좌표에 대응할 수 있다. 말하자면, 입력 영상들의 대응하는 지점들은 씬의 하나의 위치를 나타내는 입력 영상들의 픽셀들을 의미할 수 있다. 씬 내의 하나의 위치 또는 지점은 입력 영상들의 시점들에 따라서, 입력 영상들에서 상이한 위치들 및 상이한 색상의 픽셀들로 나타날 수 있다. 예컨대, 모션 벡터는 대응하는 객체를 나타내는 입력 영상들이 출력되는 픽셀들의 위치에 기반하여 계산될 수 있다.
모션 벡터는 입력 영상들의 대응하는 지점들의 모션에 대한 벡터일 수 있다. 말하자면, 모션 벡터는 입력 영상들의 대응하는 객체들의 영상 내의 위치들 또는 대응하는 객체들의 영상 내의 좌표들의 모션에 대한 벡터일 수 있다. 여기서, 위치들의 모션이란, 위치들로서 표현되는 위치의 변화를 나타낼 수 있다.
예컨대, 입력 영상들이 좌측 입력 영상 및 우측 입력 영상을 포함하는 경우, 모션 벡터는 좌측 입력 영상 및 우측 입력 영상 내의 대응하는 객체들에 대한, 좌측 입력 영상 내의 대응하는 객체의 위치로부터 우측 입력 영상 내의 상기 대응하는 객체의 위치로의 위치의 변화(모션)를 나타내는 벡터일 수 있다. 또는, 모션 벡터는 좌측 입력 영상 및 우측 입력 영상 내의 대응하는 픽셀들에 대한, 좌측 입력 영상 내의 대응하는 픽셀의 좌표로부터 우측 입력 영상 내의 상기 대응하는 픽셀의 좌표로의 좌표의 변화(모션)를 나타내는 벡터일 수 있다.
전술된 영상들 간의 대응 관계, 위치들 간의 대응 관계 및 픽셀들 간의 대응 관계의 의미는 하기의 설명에서도 동일하게 적용될 수 있다.
영상 처리부(120)가 호모그래피 정보 및 입력 영상들에 기반하여, 입력 영상들의 대응하는 지점들에 대한 모션 벡터를 계산하는 방법에 대해서는, 후술될 도 3 및 도 6을 참조하여 더 자세하게 설명된다.
단계(250)에서, 영상 처리부(120)는 단계(240)에서 계산된 모션 벡터 및 입력 영상들에 기반하여 출력 시점의 출력 영상을 생성할 수 있다. 입력 영상들이 좌측 입력 영상 및 우측 입력 영상을 포함하는 경우, 출력 영상의 출력 시점은 좌측 입력 영상의 시점 및 상기 우측 입력 영상의 시점의 사이의 시점일 수 있다. 또는, 출력 영상의 출력 시점은 좌측 입력 영상의 시점보다 더 좌측의 시점이거나 우측 입력 영상의 시점보다 더 우측의 시점일 수 있다.
영상 처리부(120)가 출력 시점의 출력 영상을 생성하는 방법에 대해서는, 후술될 도 7을 참조하여 더 자세하게 설명된다.
단계(260)에서, 영상 출력부(130)는 단계(250)에서 생성된 출력 영상을 출력할 수 있다.
출력 영상은 3 차원 영상의 생성을 위해 사용될 수 있다. 예컨대, 영상 출력부(130)는 다시점 3D 디스플레이 장치로 출력 영상 및 입력 영상들을 출력할 수 있다. 다시점 3D 디스플레이 장치의 시청자는 출력 영상 및 입력 영상들의 다시점 영상들을 통해 3 차원 영상을 인식할 수 있다.
앞서 도 1을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 3은 일 예에 따른 모션 벡터의 계산 방법을 나타낸다.
도 2를 참조하여 전술된 단계(240)는 후술될 단계(310) 내지 단계(340)를 포함할 수 있다.
영상 수신부(110)가 수신하는 입력 영상들은 제1 입력 영상 및 제2 입력 영상을 포함할 수 있다. 제1 입력 영상 및 제2 입력 영상 중 어느 하나는 도 2를 참조하여 전술된 좌측 입력 영상에 대응할 수 있고, 나머지 하나는 우측 입력 영상에 대응할 수 있다.
단계(230)에서, 영상 처리부(120)는 입력 영상들의 캘리브레이션 정보 및 입력 영상들의 렉티피케이션 정보에 기반하여, 제1 입력 영상의 제1 호모그래피 정보 및 제2 입력 영상의 제2 호모그래피 정보를 획득할 수 있다. 제1 호모그래피 정보는 제1 입력 영상의 호모그래피 행렬일 수 있고, 제2 호모그래피 정보는 제2 입력 영상의 호모그래피 행렬일 수 있다.
영상 처리부(120)는 획득된 제1 호모그래피 정보 및 제2 호모그래피 정보 및 제1 입력 영상 및 제2 입력 영상에 기반하여 제1 입력 영상의 제1 지점 및 제2 입력 영상의 제4 지점 간의 모션에 대한 모션 벡터를 계산할 수 있다. 제4 지점은 제1 지점에 대응하는 지점일 수 있다.
단계(310)에서, 영상 처리부(120)는 제1 호모그래피 정보에 기반하여, 제1 입력 영상의 제1 지점에 대응하는 제1 렉티피케이션된 영상의 제2 지점을 계산할 수 있다. 제1 렉티피케이션된 영상은 제1 입력 영상이 렉티피케이션된 영상일 수 있다. 예컨대, 영상 처리부(120)는 제1 입력 영상의 제1 지점의 좌표가 나타내는 행렬에 제1 호모그래피 행렬을 곱함으로써 제1 렉티피케이션된 영상의 제2 지점의 좌표를 계산할 수 있다. 제2 지점은 제1 지점에 대응하는 지점일 수 있다.
단계(320)에서, 영상 처리부(120)는 제1 입력 영상 및 제2 입력 영상의 디스패리티 정보에 기반하여, 제2 지점에 대응하는 제2 렉티피케이션된 영상의 제3 지점을 계산할 수 있다. 예컨대, 영상 처리부(120)는 상기 디스패리티 정보가 포함하는 제1 렉티피케이션된 영상 및 제2 렉티피케이션된 영상 간의 디스패리티에 기반하여 제2 지점의 좌표로부터 제2 렉티피케이션된 영상의 제3 지점의 좌표를 계산할 수 있다. 제3 지점은 제2 지점에 대응하는 지점일 수 있다.
제1 렉티피케이션된 영상 및 제2 렉티피케이션된 영상의 에피폴라 라인들은 서로 평행하기 때문에, 제2 지점 및 제3 지점은 x축의 좌표 값에 있어서만 서로 상이할 수 있다.
제2 렉티피케이션된 영상은 제2 입력 영상이 렉티피케이션된 영상에 대응할 수 있다.
단계(330)에서, 영상 처리부(120)는 제2 입력 영상의 제2 호모그래피 정보에 기반하여 제3 지점에 대응하는 제2 입력 영상의 제4 지점을 계산할 수 있다. 예컨대, 영상 처리부(120)는 제2 호모그래피 행렬의 역행렬에 제3 지점의 좌표가 나타내는 행렬을 곱함으로써 제2 입력 영상의 제4 지점의 좌표를 계산할 수 있다.
전술된 제1 지점 및 제4 지점은 제1 입력 영상 및 제2 입력 영상의 서로 대응하는 지점들일 수 있다. 말하자면, 제1 지점 및 제4 지점은 제1 입력 영상 및 제2 입력 영상 내의 대응하는 객체들을 각각 나타내는 지점들일 수 있다.
단계(340)에서, 영상 처리부(120)는 제1 지점 및 제4 지점 간의 모션인 모션 벡터를 계산할 수 있다.
모션 벡터가 계산되는 방법에 대해서는, 후술될 도 6을 참조하여 더 자세하게 설명된다.
영상 처리부(120)는 제1 입력 영상 및 제2 입력 영상과 제1 지점 및 제4 지점 간의 모션에 의해 계산된 모션 벡터에 기반하여, 출력 시점의 출력 영상을 생성할 수 있다.
앞서 도 1 및 도 2를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 4는 일 예에 따른 캘리브레이션 정보, 렉티피케이션 정보 및 디스패리티 정보의 획득 방법을 나타낸다.
도 2를 참조하여 전술된 단계(220)는 후술될 단계들(410 내지 430)를 포함할 수 있다.
도 2를 참조하여 전술된 것처럼, 캘리브레이션 정보, 렉티피케이션 정보 및 디스패리티 정보 중 1 개 이상 2 개 이하의 일부의 정보는 수신에 의해서 획득될 수 있고, 상기 일부의 정보를 제외한 나머지의 정보는 상기 일부의 정보 및 입력 영상들에 기반하여 생성됨으로써 획득될 수 있다.
단계(410)에서, 영상 처리부(120)는 캘리브레이션 정보를 수신할 수 있다. 예컨대, 영상 처리부(120)는 외부의 장치로부터 캘리브레이션 정보를 수신할 수 있다.
또는, 캘리브레이션 정보는 외부의 장치로부터 입력 영상들과 함께 영상 수신부(110)로 전송될 수 있고, 입력 영상들과는 별도로 외부의 장치로부터 영상 처리부(120)로 전송될 수 있다.
단계(420)에서, 영상 처리부(120)는 캘리브레이션 정보 및 입력 영상들에 기반하여 입력 영상들의 렉티피케이션을 수행함으로써 렉티피케이션 정보를 생성할 수 있다. 예컨대, 영상 처리부(120)는 캘리브레이션 정보가 포함하는 캘리브레이션 파라미터들을 사용하여 입력 영상들의 랙티피케이션을 수행할 수 있고, 렉티피케이션의 수행을 통해 렉티피케이션 정보인, 렉티피케이션 행렬을 획득할 수 있다.
단계(430)에서, 영상 처리부(120)는 렉티피케이션의 수행에 의해 생성된 영상들의 디스패리티들을 계산함으로써 디스패리티 정보를 획득할 수 있다. 렉티피케이션의 수행에 의해 생성된 영상들은 입력 영상들이 렉티피케이션된 영상들일 수 있다. 렉티피케이션된 영상들의 에피폴라 라인들은 서로 평행할 수 있다. 따라서, 렉티피케이션된 영상들 간의 라인 바이 라인(line by line) 디스패리티가 계산될 수 있다.
다만, 영상 처리부(120)가 입력 영상들의 디스패리티 정보를 외부의 장치(예컨대, 소정의 센서 등)로부터 수신하는 경우, 단계(430)는 수행되지 않을 수 있다.
영상 처리부(120)가 획득하는 캘리브레이션 정보 및 렉티피케이션 정보에 대해서는 후술될 도 5를 참조하여 더 자세하게 설명된다.
앞서 도 1 내지 도 3을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 5는 일 예에 따른 입력 영상들의 캘리브레이션 정보 및 렉티피케이션된 영상들의 렉티피케이션 정보를 나타낸다.
도 2를 참조하여 전술된 것처럼, 입력 영상들은 좌측 입력 영상(510) 및 우측 입력 영상(520)을 포함할 수 있다. 좌측 입력 영상(510) 및 우측 입력 영상(520)은 렉티피케이션된 영상들(530 및 540)에 비해 θ L 및 θ R 만큼 각각 기울어져 있을 수 있다. θ L 및 θ R 은 좌측 입력 영상(510) 및 우측 입력 영상(520)을 촬영한 각각의 카메라들의 카메라 외부 파라미터들에 의해 결정될 수 있다.
좌측 입력 영상(510)의 캘리브레이션 정보는 -θ L 만큼 좌측 입력 영상(510)을 회전시키기 위한 회전 행렬 R L 에 대응할 수 있다. 우측 입력 영상(520)의 캘리브레이션 정보는 θ R 만큼 우측 입력 영상(520)을 회전시키기 위한 회전 행렬 R R 에 대응할 수 있다.
렉티피케이션된 좌측 영상(530)은 좌측 입력 영상(510)이 렉티피케이션된 영상일 수 있다. 렉티피케이션된 우측 영상(540)은 우측 입력 영상(520)이 렉티피케이션된 영상일 수 있다.
도시된 것처럼, 렉티피케이션이 수행됨에 따라, 렉티피케이션된 좌측 영상(530) 및 렉티피케이션된 우측 영상(540)의 에피폴라 라인들은 서로 평행하게 될 수 있다.
좌측 입력 영상(510) 및 우측 입력 영상(520)의 렉티피케이션 정보는 렉티피케이션 행렬 R을 포함할 수 있다. 렉티피케이션 행렬 R은 회전 행렬 R L 이 -θ L 만큼 회전되거나 회전 행렬 R R 이 θ R 만큼 회전된 행렬일 수 있다.
좌측 입력 영상(510)의 캘리브레이션 정보 R L , 우측 입력 영상(520)의 캘리브레이션 정보 R R 및 렉티피케이션 정보 R은, 좌측 입력 영상(510) 및 우측 입력 영상(520) 각각의 호모그래피 정보를 획득하기 위해 사용될 수 있다. 상기의 호모그래피 정보는 출력 영상의 생성을 위한 모션 벡터 계산에 사용될 수 있다.
앞서 도 1 내지 도 4를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 6은 일 예에 따른 모션 벡터의 계산 방법을 나타낸다.
도 3을 참조하여 전술된 단계(310) 내지 단계(330)의 모션 벡터의 계산 방법이 도시되었다.
좌측 입력 영상(510) 및 우측 입력 영상(520) 중 어느 하나는 도 3을 참조하여 전술된 제1 입력 영상에 대응할 수 있고 나머지 하나는 제2 입력 영상에 대응할 수 있다.
단계(310) 내지 단계(330)의 모션 벡터의 계산 방법은 하기의 수학식 4와 같이 표현될 수 있다.
Figure pat00004
여기서, im L (x L ,y L )는 제1 지점(610)의 좌표에 대응할 수 있다.
Figure pat00005
는 제2 지점(620)의 좌표에 대응할 수 있다. im L (x L ,y L ) 및
Figure pat00006
간의 화살표는 단계(310)의 계산에 대응할 수 있다.
Figure pat00007
는 제3 지점(630)의 좌표에 대응할 수 있다.
Figure pat00008
및
Figure pat00009
간의 화살표는 단계(320)의 계산에 대응할 수 있다.
Figure pat00010
는 좌측 입력 영상(510) 및 우측 입력 영상(520)의 디스패리티 정보가 포함하는 렉티피케이션된 좌측 영상(530) 및 렉티피케이션된 우측 영상(540)의 대응하는 지점들 간의 디스패리티를 나타낼 수 있다. im R (x R ,y R )는 제4 지점(640)의 좌표에 대응될 수 있다.
Figure pat00011
및 im R (x R ,y R ) 간의 화살표는 단계(330)의 계산에 대응할 수 있다.
수학식 4의 화살표들은 반대 방향으로도 표시될 수 있다. 말하자면, 우측 입력 영상(520)의 임의의 지점의 좌표로부터 상기의 좌표에 대응하는 좌측 입력 영상(510)의 지점의 좌표가 계산될 수 있고, 상기의 좌표의 계산을 통해, 좌측 입력 영상(510) 및 우측 입력 영상(520)의 대응하는 지점들에 대한 모션 벡터가 계산될 수 있다.
수학식 4에 의해 계산된 모션 벡터는 수학식 5로 표현될 수 있다.
Figure pat00012
영상 처리부(120)는 1) 수학식 5에 의해 계산된 모션 벡터와 2) 좌측 입력 영상(510) 및 우측 입력 영상(520)에 기반하여, 출력 시점의 출력 영상을 생성할 수 있다. 출력 영상이 생성되는 방법에 대해서는, 후술될 도 7을 참조하여 더 자세하게 설명된다.
영상 처리부(120)는 제1 지점(610)의 좌표 및 제4 지점(640)의 좌표 간의 모션인 모션 벡터를 계산할 수 있다. 영상 처리부(120)는 좌측 입력 영상(510)의 모든 좌표들에 대응하는 우측 입력 영상(520)의 좌표들을 계산함으로써 좌측 입력 영상(510)의 모든 지점들 및 상기의 모든 지점들에 대응하는 우측 입력 영상(520)의 지점들에 대한 모션 벡터들을 계산할 수 있다.
렉티피케이션된 좌측 영상(530) 및 렉티피케이션된 우측 영상(540)은 단계(310) 내지 단계(330)의 모션 벡터의 계산 방법을 설명하기 위해 도시되었다. 말하자면, 도시된 것과는 달리, 렉티피케이션된 좌측 영상(530) 및 렉티피케이션된 우측 영상(540)은 영상 장치(100)를 통해 출력되지 않을 수 있다.
앞서 도 1 내지 도 5를 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 7은 일 예에 따른 출력 영상을 생성하는 방법을 나타낸다.
도 6을 참조하여 전술된 수학식 5에 의해 계산된 모션 벡터를 사용하여 출력 시점의 출력 영상을 생성하는 방법이 도시되었다.
도 2를 참조하여 전술된 것처럼, 출력 영상의 출력 시점은 좌측 입력 영상(510)의 시점 및 상기 우측 입력 영상(520)의 시점의 사이의 시점일 수 있다. 또는, 출력 영상의 출력 시점은 좌측 입력 영상(510)의 시점보다 더 좌측의 시점이거나 우측 입력 영상(520)의 시점보다 더 우측의 시점일 수 있다.
말하자면, 영상 처리부(120)는 모션 벡터를 사용하여 입력 영상들의 좌측 입력 영상(510) 및 우측 입력 영상(520)의 내삽(interpolation) 영상 및 외삽(extrapolation) 영상을 생성할 수 있다.
영상 평면(710)은 입력 영상들의 및 출력 영상들의 각각이 출력되는 스크린 의 평면 또는 디스플레이 장치의 스크린의 평면에 대응할 수 있다. 도시된 것처럼 입력 영상들 및 출력 영상들의 서로 대응하는 객체들은 입력 영상들 및 출력 영상들의 각각의 시점에 따라 영상 평면(710)의 서로 상이한 위치에 출력될 수 있다.
실선으로 표시된 객체들은 입력 영상들의 좌측 입력 영상(510) 및 우측 입력 영상(520)의 대응하는 객체들을 나타낼 수 있고, 점선으로 표시된 객체들은 좌측 입력 영상(510) 및 우측 입력 영상(520)의 내삽 또는 외삽에 의해 생성된 출력 영상들의 대응하는 객체들을 나타낼 수 있다.
도시된 것처럼, 제1 지점(610) 및 제4 지점(640)에 대응하는 출력 영상의 내삽 지점(720)의 좌표는, 제1 지점(610)의 좌표 im L (x L , y L )로부터 α만큼 떨어져 있고, 제4 지점(640)의 좌표 im R (x R , y R )로부터 β만큼 떨어져 있다. 내삽 지점(720)의 좌표는 하기의 수학식 6과 같이 표현될 수 있다.
Figure pat00013
영상 처리부(120)는 좌측 입력 영상(510) 및 우측 입력 영상(520)의 모든 대응하는 지점들에 대한 모션 벡터들을 사용하여, 수학식 6에서 표현된 것과 같이, 상기의 지점들에 대응하는 출력 영상의 모든 내삽 지점들을 계산할 수 있다. 영상 처리부(120)는 계산된 모든 내삽 지점들을 사용함으로써 좌측 입력 영상(510) 및 우측 입력 영상(520)의 내삽 영상을 생성할 수 있다.
또한, 도시된 것처럼, 제1 지점(610)에 대응하는, 출력 영상의 외삽 지점(730)의 좌표는 제1 지점(610)의 좌표 im L (x L , y L )로부터 α만큼 떨어져 있을 수 있다. 제1 지점(610)에 대응하는 출력 영상의 외삽 지점(730)의 좌표는 하기의 수학식 7과 같이 표현될 수 있다.
Figure pat00014
또한, 도시된 것처럼, 제4 지점(640)에 대응하는, 출력 영상의 외삽 지점(740)의 좌표는 제4 지점(640)의 좌표 im R (x R ,y R )로부터 α만큼 떨어져 있을 수 있다. 제4 지점(640)에 대응하는 출력 영상의 외삽 지점(740)의 좌표는 하기의 수학식 8과 같이 표현될 수 있다.
Figure pat00015
영상 처리부(120)는 좌측 입력 영상(510) 및 우측 입력 영상(520)의 모든 대응하는 지점들에 대한 모션 벡터들을 사용하여 수학식 7 및 8과 같이 상기 지점들에 대응하는 출력 영상의 모든 외삽 지점들을 계산할 수 있고, 계산된 모든 외삽 지점들을 사용하여 좌측 입력 영상(510) 및 우측 입력 영상(520)의 외삽 영상들을 생성할 수 있다.
앞서 도 1 내지 도 6을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
도 8은 일 예에 따른 영상 처리 방법을 나타낸다.
도 2를 참조하여 전술된 단계(220)이 수행된 후, 단계(810)에서, 영상 처리부(120)는 입력 영상들에 대한 크롭핑된 영상들의 정보 손실을 계산할 수 있다. 크롭핑된 영상들은 렉티피케이션의 수행에 의해 생성된 영상들이 크롭핑된 영상들일 수 있다. 크롭핑된 영상들은 입력 영상들의 렉티피케이션된 영상들의 크롭핑된 영상으로서, 출력 영상을 생성하기 위해 사용될 수 있다.
예컨대, 영상 처리부(120)는 출력 영상이 렉티피케이션된 영상들의 크롭핑된 영상들에 기반하여 생성되는 경우 입력 영상들에 대한 크롭핑된 영상들의 정보 손실을 계산할 수 있다. 단계(810)의 크롭핑된 영상들의 정보 손실은 입력 영상들 및 크롭핑된 영상들 간의 정보 손실일 수 있다.
입력 영상들에 대한 크롭핑된 영상들의 정보 손실은 입력 영상들에 대한 렉티피케이션이 수행됨에 따라 발생하는 암흑 영역의 크기 또는 렉티피케이션된 영상에서의 크롭핑되는 부분의 정보량에 기반하여 계산될 수 있다.
단계(820)에서, 영상 처리부(120)는 크롭핑된 영상들의 정보 손실이 소정의 값 이상인지 여부를 판단할 수 있다.
도 2를 참조하여 전술된 호모그래피 정보를 획득하는 단계들(230 내지 250)은 크롭핑된 영상들의 정보 손실이 소정의 값 이상인 경우에 선택적으로 수행될 수 있다.
단계(830)에서, 영상 처리부(120)는 크롭핑된 영상들의 정보 손실이 소정의 값 미만인 경우, 크롭핑된 영상들에 기반하여 출력 시점의 출력 영상을 생성할 수 있다.
단계(810 내지 830)은 선택적으로 수행될 수 있다. 말하자면, 입력 영상들에 대한 출력 영상의 정보 손실을 방지하기 위해 단계(810 내지 830)은 수행되지 않을 수도 있다.
앞서 도 1 내지 도 7을 참조하여 설명된 기술적 내용들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 이하 생략하기로 한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 시점이 서로 상이한 복수의 입력 영상들을 수신하는 단계;
    상기 입력 영상들의 캘리브레이션(calibration) 정보, 상기 입력 영상들의 렉티피케이션(rectification) 정보 및 상기 입력 영상들의 디스패리티 정보를 획득하는 단계;
    상기 캘리브레이션 정보 및 상기 렉티피케이션과 정보에 기반하여 상기 각 입력 영상의 호모그래피(homography) 정보를 획득하는 단계;
    상기 호모그래피 정보 및 상기 입력 영상들에 기반하여, 상기 입력 영상들의 대응하는 지점들에 대한 모션 벡터를 계산하는 단계;
    상기 모션 벡터 및 상기 입력 영상들에 기반하여 출력 시점의 출력 영상을 생성하는 단계; 및
    상기 출력 영상을 출력하는 단계
    를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는
    상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보 중 1 개 이상 2 개 이하의 일부의 정보를 수신에 의해서 획득하고, 상기 일부의 정보를 제외한 나머지의 정보를 상기 일부의 정보 및 상기 입력 영상들에 기반한 생성에 의해서 획득하는, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 캘리브레이션 정보는 상기 입력 영상들의 렉티피케이션을 위한 회전 정보를 포함하는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 렉티피케이션 정보는 상기 입력 영상들의 렉티피케이션된(rectified) 영상들과 관련된 파라미터들을 포함하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 입력 영상들은 좌측 입력 영상 및 우측 입력 영상을 포함하고,
    상기 출력 시점은 좌측 입력 영상의 시점 및 상기 우측 입력 영상의 시점의 사이의 시점인, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 입력 영상들은 제1 입력 영상 및 제2 입력 영상을 포함하고,
    상기 호모그래피 정보를 획득하는 단계는 상기 캘리브레이션 정보 및 상기 렉티피케이션 정보에 기반하여, 상기 제1 입력 영상의 제1 호모그래피 정보 및 상기 제2 입력 영상의 제2 호모그래피 정보를 획득하고,
    상기 모션 벡터를 계산하는 단계는
    상기 제1 호모그래피 정보에 기반하여, 상기 제1 입력 영상의 제1 지점에 대응하는 제1 렉티피케이션된 영상의 제2 지점을 계산하는 단계;
    상기 디스패리티 정보에 기반하여, 상기 제2 지점에 대응하는 제2 렉티피케이션된 영상의 제3 지점을 계산하는 단계;
    상기 제2 호모그래피 정보에 기반하여 상기 제3 지점에 대응하는 상기 제2 입력 영상의 제4 지점을 계산하는 단계; 및
    상기 제1 지점 및 상기 제4 지점 간의 모션인 상기 모션 벡터를 계산하는 단계
    를 포함하는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는
    상기 캘리브레이션 정보를 수신하는 단계; 및
    상기 캘리브레이션 정보 및 상기 입력 영상들에 기반하여 상기 입력 영상들의 렉티피케이션을 수행함으로써 상기 렉티피케이션 정보를 생성하는 단계
    를 포함하는, 영상 처리 방법.
  8. 제7항에 있어서,
    상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보를 획득하는 단계는
    상기 렉티피케이션의 수행에 의해 생성된 영상들의 디스패리티들을 계산함으로써 상기 디스패리티 정보를 획득하는 단계
    를 포함하는, 영상 처리 방법.
  9. 제7항에 있어서,
    상기 입력 영상들에 대한 크롭핑된 영상들의 정보 손실을 계산하는 단계 - 상기 크롭핑된 영상들은 상기 렉티피케이션의 수행에 의해 생성된 영상들이 크롭핑된 영상들임 -
    를 더 포함하고,
    상기 호모그래피 정보를 획득하는 단계, 상기 모션 벡터를 계산하는 단계 및 상기 출력 영상을 생성하는 단계는 상기 정보 손실이 소정의 값 이상인 경우에 수행되는, 영상 처리 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  11. 시점이 서로 상이한 복수의 입력 영상들을 수신하는 영상 수신부;
    상기 입력 영상들의 캘리브레이션(calibration) 정보, 상기 입력 영상들의 렉티피케이션(rectification) 정보 및 상기 입력 영상들의 디스패리티 정보를 획득하고, 상기 캘리브레이션 정보 및 상기 렉티피케이션과 정보에 기반하여 상기 각 입력 영상의 호모그래피(homography) 정보를 획득하고, 상기 호모그래피 정보 및 상기 입력 영상들에 기반하여, 상기 입력 영상들의 대응하는 지점들에 대한 모션 벡터를 계산하고, 상기 모션 벡터 및 상기 입력 영상들에 기반하여 출력 시점의 출력 영상을 생성하는 영상 처리부; 및
    상기 출력 영상을 출력하는 영상 출력부
    를 포함하는, 영상 장치.
  12. 제11항에 있어서,
    상기 영상 처리부는 상기 캘리브레이션 정보, 상기 렉티피케이션 정보 및 상기 디스패리티 정보 중 1 개 이상 2 개 이하의 일부의 정보를 수신에 의해서 획득하고, 상기 일부의 정보를 제외한 나머지의 정보를 상기 일부의 정보 및 상기 입력 영상들에 기반한 생성에 의해서 획득하는, 영상 장치.
  13. 제11항에 있어서,
    상기 캘리브레이션 정보는 상기 입력 영상들의 렉티피케이션을 위한 회전 정보를 포함하는, 영상 장치.
  14. 제11항에 있어서,
    상기 입력 영상들은 제1 입력 영상 및 제2 입력 영상을 포함하고,
    상기 영상 처리부는 상기 캘리브레이션 정보 및 상기 렉티피케이션 정보에 기반하여, 상기 제1 입력 영상의 제1 호모그래피 정보 및 상기 제2 입력 영상의 제2 호모그래피 정보를 획득하고, 상기 제1 호모그래피 정보에 기반하여, 상기 제1 입력 영상의 제1 지점에 대응하는 제1 렉티피케이션된 영상의 제2 지점을 계산하고, 상기 디스패리티 정보에 기반하여, 상기 제2 지점에 대응하는 제2 렉티피케이션된 영상의 제3 지점을 계산하고, 상기 제2 호모그래피 정보에 기반하여 상기 제3 지점에 대응하는 상기 제2 입력 영상의 제4 지점을 계산하고, 상기 제1 지점 및 상기 제4 지점 간의 모션인 상기 모션 벡터를 계산하는, 영상 장치.
  15. 제11항에 있어서,
    상기 영상 처리부는 상기 캘리브레이션 정보를 수신하고, 상기 캘리브레이션 정보 및 상기 입력 영상들에 기반하여 상기 입력 영상들의 렉티피케이션을 수행함으로써 상기 렉티피케이션 정보를 생성하는, 영상 장치.
  16. 제15항에 있어서,
    상기 영상 처리부는 상기 렉티피케이션의 수행에 의해 생성된 영상들의 디스패리티들을 계산함으로써 상기 디스패리티 정보를 획득하는, 영상 장치.
  17. 제15항에 있어서,
    상기 영상 처리부는 상기 입력 영상들에 대한 크롭핑된 영상들의 정보 손실을 계산하고, 상기 크롭핑된 영상들은 상기 렉티피케이션의 수행에 의해 생성된 영상들이 크롭핑된 영상들이고,
    상기 정보 손실이 소정의 값 이상인 경우, 상기 영상 처리부는 상기 호모그래피 정보를 획득하고, 상기 모션 벡터를 계산하고 및 상기 출력 영상을 생성하는, 영상 장치.
KR1020140009078A 2014-01-24 2014-01-24 영상 처리 방법 및 장치 KR102265109B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140009078A KR102265109B1 (ko) 2014-01-24 2014-01-24 영상 처리 방법 및 장치
US14/603,737 US9679395B2 (en) 2014-01-24 2015-01-23 Method and apparatus for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140009078A KR102265109B1 (ko) 2014-01-24 2014-01-24 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150088583A true KR20150088583A (ko) 2015-08-03
KR102265109B1 KR102265109B1 (ko) 2021-06-15

Family

ID=53679511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009078A KR102265109B1 (ko) 2014-01-24 2014-01-24 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US9679395B2 (ko)
KR (1) KR102265109B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275863B2 (en) * 2015-04-03 2019-04-30 Cognex Corporation Homography rectification
US10846836B2 (en) * 2016-11-14 2020-11-24 Ricoh Company, Ltd. View synthesis using deep convolutional neural networks
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
CN110099269B (zh) 2018-01-28 2021-07-09 钰立微电子股份有限公司 具有可调光强度的深度产生系统
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259076A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像防振装置、撮像装置及び画像防振方法
KR20110059803A (ko) * 2008-10-02 2011-06-03 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
JP2011253376A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308090A (ja) 1999-04-19 2000-11-02 Telecommunication Advancement Organization Of Japan 映像表示処理装置及び映像撮影処理装置並びにカメラ制御装置
KR100897542B1 (ko) 2007-05-17 2009-05-15 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
KR100912074B1 (ko) 2007-07-23 2009-08-12 고려대학교 산학협력단 입체 영상을 이용한 향상된 피부 계측 장치
KR100943218B1 (ko) 2008-06-30 2010-02-18 한국 한의학 연구원 컬러 교정을 이용한 3차원 모델 생성 방법
US8179448B2 (en) 2008-08-26 2012-05-15 National Taiwan University Auto depth field capturing system and method thereof
EP2385705A4 (en) 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
KR101221449B1 (ko) 2009-03-27 2013-01-11 한국전자통신연구원 카메라간 영상 보정 장치 및 방법
KR101095670B1 (ko) 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
KR20110006360A (ko) 2009-07-14 2011-01-20 한국생산기술연구원 3차원 입체 컬러 영상 획득을 위한 영상 정합 방법 및 장치
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
KR101626072B1 (ko) 2009-11-13 2016-06-13 삼성전자주식회사 영상 보정 장치 및 영상 보정 방법
KR101631973B1 (ko) 2009-12-08 2016-06-20 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 3ｄ 디스플레이에서의 누화 보상 방법
SG176327A1 (en) 2010-05-20 2011-12-29 Sony Corp A system and method of image processing
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8810640B2 (en) 2011-05-16 2014-08-19 Ut-Battelle, Llc Intrinsic feature-based pose measurement for imaging motion compensation
KR101276208B1 (ko) 2011-05-30 2013-06-18 전자부품연구원 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
JP5185424B1 (ja) 2011-09-30 2013-04-17 株式会社東芝 キャリブレーション方法および映像表示装置
US20140293007A1 (en) * 2011-11-08 2014-10-02 Industrial Technology Research Institute Method and image acquisition system for rendering stereoscopic images from monoscopic images
KR101383486B1 (ko) 2011-12-07 2014-04-09 경희대학교 산학협력단 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법
US20140043447A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
US8929602B2 (en) * 2013-01-31 2015-01-06 Seiko Epson Corporation Component based correspondence matching for reconstructing cables

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259076A (ja) * 2007-04-06 2008-10-23 Canon Inc 画像防振装置、撮像装置及び画像防振方法
KR20110059803A (ko) * 2008-10-02 2011-06-03 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
JP2011253376A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US20150213607A1 (en) 2015-07-30
KR102265109B1 (ko) 2021-06-15
US9679395B2 (en) 2017-06-13

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
JP6742444B2 (ja) ライブストリーミング用のバーチャルリアリティ３６０度ビデオカメラシステム
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
KR101340911B1 (ko) 다중 뷰들의 효율적인 인코딩 방법
US7873207B2 (en) Image processing apparatus and image processing program for multi-viewpoint image
EP2291825B1 (en) System and method for depth extraction of images with forward and backward depth prediction
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
WO2013054499A1 (ja) 画像処理装置、撮像装置および画像処理方法
KR102265109B1 (ko) 영상 처리 방법 및 장치
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
US9208549B2 (en) Method and apparatus for color transfer between images
JP6306996B2 (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
JP6730695B2 (ja) 特徴追跡及びモデル登録により三次元多視点を再構成するための方法。
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
US9602708B2 (en) Rectified stereoscopic 3D panoramic picture
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
KR102723109B1 (ko) 광각 이미지로부터의 디스패리티 추정
JP2018074502A (ja) 撮像装置、情報処理装置、撮像システム、撮像方法、情報処理方法、およびプログラム
KR20180081376A (ko) 합성영상의 품질 평가 방법 및 장치
CN112771574A (zh) 用于估计像素的深度的方法、对应的设备以及计算机程序产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant