KR101055411B1 - 입체 영상 생성 방법 및 그 장치 - Google Patents

입체 영상 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR101055411B1
KR101055411B1 KR1020100022085A KR20100022085A KR101055411B1 KR 101055411 B1 KR101055411 B1 KR 101055411B1 KR 1020100022085 A KR1020100022085 A KR 1020100022085A KR 20100022085 A KR20100022085 A KR 20100022085A KR 101055411 B1 KR101055411 B1 KR 101055411B1
Authority
KR
South Korea
Prior art keywords
image
depth value
point
value
recognized
Prior art date
Application number
KR1020100022085A
Other languages
English (en)
Inventor
석보라
Original Assignee
이상원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이상원 filed Critical 이상원
Priority to KR1020100022085A priority Critical patent/KR101055411B1/ko
Priority to PCT/KR2011/001700 priority patent/WO2011112028A2/ko
Priority to CN2011800057502A priority patent/CN102714748A/zh
Priority to US13/575,029 priority patent/US20120320152A1/en
Application granted granted Critical
Publication of KR101055411B1 publication Critical patent/KR101055411B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

하나의 영상을 세그먼테이션하여 세그먼테이션된 세그먼트로부터 특징점을 추출하고, 추출된 특징점을 이용하여 오브젝트를 인식하여 인식된 오브젝트에 깊이 값을 부여하고, 깊이 값에 따라 매칭점을 획득하여 특징점 및 매칭점을 이용하여 영상에 대한 좌영상 또는 우영상을 복원하는 입체 영상 생성 방법이 개시되어 있다.

Description

입체 영상 생성 방법 및 그 장치{Method and apparatus of generating stereoscopic image}
본 발명의 일 실시예는 입체 영상 생성 방법 및 그 장치에 관한 것으로 더욱 상세하게는 2D 영상를 깊이 맵을 이용하여 원하는 카메라의 위치 및 각도의 영상 또는 3D 영상로 생성하는 방법 및 그 장치에 관한 것이다.
입체로 영상을 보여 줄 수 있는 3차원 영상 디스플레이 장치가 개발되고 있다. 입체 영상은 사람 두 눈의 스테레오 시각 원리에 의해 구성되는데, 두 눈이 약 65mm 정도 떨어져서 존재하기 때문에 나타나는 양안 시차(binocular parallax)가 입체감의 가장 중요한 요인이라고 할 수 있다. 따라서, 입체 영상을 제작하기 위해서는 스테레오 영상들이 필요하다. 눈에 보이는 실제 영상과 동일한 영상을 두 눈에 각각 보여줌으로써 입체감이 표현될 수 있다. 이를 위해 동일한 2대의 카메라를 양안 간격만큼 벌려 놓고 촬영한 후 왼쪽 카메라로 찍은 영상은 좌안에만 보이게 하고, 오른쪽 카메라 영상은 우안에만 보여준다. 하지만, 일반 영상들은 대부분 카메라 한대에서 찍힌 영상이다. 이들 영상은 입체 영상으로 다시 제작되어야 하는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는 단일 카메라에서 촬영된 영상를 활용하여 입체 디스플레이할 수 있는 방법 및 장치를 제공하고, 또한, 깊이 맵을 생성하고, 이를 이용하여 사용자가 원하는 카메라의 위치 및 각도에서의 영상을 생성하는 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 입체 영상 생성 방법은 하나의 영상을 세그먼테이션(segmentation)하는 단계; 상기 세그먼테이션된 세그먼트로부터 특징점을 추출하는 단계; 상기 추출된 특징점을 이용하여 오브젝트를 인식하는 단계; 상기 인식된 오브젝트에 깊이 값을 부여하는 단계; 상기 깊이 값에 따라 매칭점을 획득하는 단계; 상기 특징점 및 매칭점을 이용하여 상기 영상에 대한 좌영상 또는 우영상을 복원하는 단계를 포함한다.
상기 오브젝트를 인식하는 단계는 상기 세그먼트에서 특징점을 연결하여 면으로 특정하는 단계; 상기 세그먼트에서 인접한 면의 RGB 레벨을 비교하는 단계; 및 상기 비교된 결과에 따라 상기 오브젝트를 인식하는 단계를 포함할 수 있다.
상기 영상을 복원하는 단계는 상기 특징점 및 매칭점을 이용하여 2D의 기하학적 정보인 호모그래피(homography)를 획득하는 단계; 및 상기 획득된 호모그래피를 이용하여 상기 영상에 대한 좌영상 또는 우영상을 복원할 수 있다.
상기 영상을 복원하는 단계는 상기 특징점 및 매칭점을 이용하여 3D의 기하학적 정보인 카메라 매트릭스를 획득하는 단계; 및 상기 추출된 카메라 매트릭스 값을 이용하여 상기 영상에 대한 좌영상 또는 우영상을 복원할 수 있다.
일반적으로 입체 영상으로 제작되지 않은 일반 영상 컨텐츠들을 활용하여 스테레오 영상 또는 입체 영상으로 활용이 가능하며, 이로써 기존에 제작되어진 일반 영상을 활용함으로써 컨텐츠 제공자는 제작비를 절약할 수 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 방법을 나타내는 흐름도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 오브젝트 인식에 관한 방법의 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 각각의 오브젝트에 대하여 부여된 깊이 값의 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 2D의 기하학적 정보를 이용하여 입체 영상을 생성하는 방법에 관한 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D의 기하학적 정보를 이용하여 입체 영상을 생성하는 방법에 관한 예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 3D 자동 포커싱에 관한 방법의 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 입체 영상 생성 장치를 나타내는 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 방법을 나타내는 흐름도이다.
도 1을 참조하면, 단계 110에서 입체 영상 생성 장치는 외부로부터 수신한 하나의 영상을 세그먼테이션(segmentation)한다. 세그먼테이션은 디지털 영상을 복수 개의 세그먼트(픽셀들의 집합)로 분할하는 과정을 의미한다. 세그먼테이션은 영상에 대한 표현(representation)을 보다 의미있고 분석하기 쉬운 것으로 간단히 하거나 변화시키는 것을 목적으로 한다. 세그먼테이션은 일반적으로 영상 내의 오브젝트들 및 경계(선, 곡선등)의 위치를 찾아내는데 사용된다. 보다 엄밀하게 말하면, 세그먼테이션은 동일한 레이블을 갖는 픽셀들이 특정한 시각적 특성을 공유하도록 영상 내의 모든 픽셀에 레이블을 할당하는 과정이다. 세그먼테이션의 결과는 총체적으로 전체 영상을 커버하는 영상들의 집합이거나 영상으로부터 추출된 경계선들의 집합(에지 검출)이다. 또한, 일반적으로 동일한 영역 내의 각각의 픽셀들은 색상, 강도 또는 질감과 같은 일부 특성이나 산출된 특징들이 유사하다. 인접한 영역들은 동일한 특성들이 명확하게 상이할 수 있다.
단계 120에서, 입체 영상 생성 장치는 세그먼테이션을 통하여 획득한 세그먼트의 특징점을 추출한다. 특징점의 개수에는 제한은 없다.
단계 130에서, 입체 영상 생성 장치는 추출된 특징점을 이용하여 오브젝트를 인식한다. 추출된 하나의 세그먼트에서 특징점을 연결하여 면을 특정한다. 즉, 적어도 세 개 이상의 특징점을 연결하여 면을 형성한다. 세그먼트의 특징점을 연결하여 면을 형성하지 못하는 경우에는 에지(edge)로 판단한다. 본 발명의 일 실시예에 있어서는, 면을 형성할 수 있는 최소의 특징점, 즉, 세 개의 특징점을 연결하여 삼각형을 형성한다. 그 후에, 인접한 삼각형들 RGB 레벨(Red Green Blue level)을 서로 비교한다. RGB 레벨 비교에 따라 인접한 삼각형들을 합쳐서 하나의 면으로 간주할 수 있다. 구체적으로, 하나의 삼각형에서 RGB 레벨에서 가장 큰 값을 선택하고, 다른 삼각형에서 RGB 레벨 중 선택된 하나의 값에 대응되는 RGB 레벨 중 하나의 값과 비교한다. 두 값이 비슷한 경우, 하나의 면으로 간주한다. 즉, 두 값 중 높은 값에서 낮은 값을 차감한 결과가 소정의 임계치보다 작은 경우, 인접한 삼각형들을 합쳐서 하나의 면으로 간주한다. 만약, 임계치보다 큰 경우에는 다른 오브젝트로 인식한다.
Figure 112010015687518-pat00001
수학식 1을 참조하면, 제 1 삼각형에서 각각의 RGB 레벨 값 중에서 가장 큰 값을 추출한다. 예를 들어, R1, G1, B1 레벨 값이 155, 50, 1인 경우, R1 레벨 값을 추출하고, 제 2 삼각형의 레벨 값 중에서 R1에 대응되는 R2 값을 추출한다. R1에서 R2 값을 차감한 값이 소정의 임계치보다 적은 경우, 즉, 두 레벨 값이 차이가 작은 경우, 두 삼각형을 하나의 면으로 인식한다. 임계치는 제조자에 의하여 임의로 정해질 수가 있다. 그 후, 하나의 면으로 인식된 면에 인접한 삼각형이 있는 경우, 위 절차를 반복한다. 더 이상, 합쳐진 면으로 인식될 수 없는 경우에는, 합쳐진 하나의 면을 하나의 오브젝트로 인식한다.
에지로 판단된 경우에는 오브젝트로 인식하지 않는다. 또한, 형성된 면 내부에서 인식되는 에지의 경우에도 오브젝트로 인식하지 않는다. 예를 들어, 면이 중첩되는 경우, 어느 하나의 면에 다른 면의 경계선이 삽입되게 된다. 이 경우, 삽입되는 다른 면의 경계선은 에지로 인식하여 오브젝트로 인식하지 않게 된다.
도 2a 및 도 2b는 오브젝트 인식에 관한 방법의 예를 나타내는 도면이다.
도 2a를 참조하면, 사각형이 영상에서 세그먼테이션된 세그먼트이다. 세그먼트로부터 특징점(201~204)이 추출된다. 특징점 201~203으로 이루어진 삼각형(210)과 특징점 202~204로 이루어진 삼각형(220)이 특정된다. 좌측에 위치한 삼각형(210)의 RGB 레벨을 검출한 후, 이 중 가장 큰 값을 추출한다. 예를 들어, R 레벨이 가장 높은 경우, 우측에 위치한 삼각형(220)의 R 레벨을 검출하여 비교한다. 양 값의 차이를 비교한 후, 그 차이가 소정의 임계치보다 작은 경우 두 삼각형을 하나의 면으로 특정한다. 따라서, 두 삼각형이 합쳐진 사각형이 오브젝트로 인식된다.
도 2b를 참조하면, 오각형이 영상에서 세그먼테이션된 세그먼트이다. 세그먼트로부터 특징점(205~209)이 추출된다. 특징점 205, 206, 208로 이루어진 삼각형(230)과 특징점 206~208로 이루어진 삼각형(240)과 특징점 207~209로 이루어진 삼각형(250)이 특정된다. 좌측 삼각형(230)의 RGB 레벨을 검출한 후, 이 중 가장 큰 값을 추출한다. 예를 들어, R 레벨이 가장 높은 경우, 중간에 위치한 삼각형(240)의 R 레벨을 검출하여 비교한다. 양 값의 차이를 비교한 후, 그 차이가 소정의 임계치보다 작은 경우 두 삼각형을 하나의 면으로 특정한다. 그 후에, 특정된 사각형에 인접한 우측에 위치한 삼각형(250)과의 RGB 레벨을 비교한다. 사각형의 RGB 레벨을 검출함에 있어서, 위의 예에서, R 레벨이 가장 높고, 두 삼각형(230, 240)의 R 레벨은 다를 수 있다. 이 경우, 사각형의 RGB 레벨 값을 어떻게 정하는 지는 제조자에 의하여 설정될 수 있다. 어느 하나의 삼각형의 RGB 레벨을 기준으로 할 수도 있으며, 두 삼각형의 RGB 레벨의 평균을 기준으로 할 수도 있다. 사각형의 RGB 레벨과 우측에 위치한 삼각형(250)과의 RGB 레벨을 비교한다. 비교 값이 소정의 임계치 미만인 경우, 사각형과 삼각형이 합쳐진 오각형이 오브젝트로 인식되고, 임계치 이상인 경우, 사각형만이 오브젝트로 인식된다.
단계 140에서, 입체 영상 생성 장치는 인식된 오브젝트에 깊이 값을 부여한다. 입체 영상 생성 장치는 인식된 오브젝트를 이용하여 깊이맵(depth map)을 생성한다. 소정의 기준에 따라 인식된 오브젝트에 깊이 값을 부여한다. 본 발명의 일 실시예에서는, 영상에서 오브젝트가 하단에 위치할 수록 높은 깊이 값을 부여한다.
일반적으로, 2D 영상에서 3D 효과를 생성하기 위해, 다른 가상 시점(view point)으로부터의 영상이 렌더링되어야 한다. 이 경우, 깊이 맵은 시청자에게 깊이 효과를 주기 위해 다른 가상 시점의 영상을 생성하여, 원시 영상을 렌더링하는데 사용된다.
도 3은 본 발명의 일 실시예에 따른 각각의 오브젝트에 대하여 부여된 깊이 값의 예를 나타내는 도면이다.
도 3을 참조하면, 세 개의 오브젝트(310, 320, 330)가 도시되어 있다. 본 발명의 일 실시예에 따라, 영상(300)의 제일 아래의 오브젝트(310)에는 가장 큰 깊이 값이 부여되고, 중간 오브젝트(320)에는 제일 아래의 오브젝트(310)에 부여된 깊이 값보다 낮은 깊이 값이 부여되고, 제일 위의 오브젝트(330)에는 중간 오브젝트(320)에 부여된 깊이 값보다 낮은 깊이 값이 부여된다. 또한 배경(340)에도 깊이 값이 부여된다. 배경(340)에는 가장 낮은 깊이 값이 부여된다. 예를 들어, 깊이 값은 0~255일 수 있는데, 제일 아래의 오브젝트(310)에는 255, 중간 오브젝트(320)에는 170, 제일 위의 오브젝트(330) 85, 배경(340)에는 0의 깊이 값이 부여될 수 있다. 깊이 값 또한 제조자에 의하여 미리 설정된다.
단계 140에서, 입체 영상 생성 장치는 오브젝트에 부여된 깊이 값에 따라, 오브젝트의 특징점을 이용하여 매칭점(matching point)를 획득한다.
매칭점은 특징점이 각각의 오브젝트에 부여된 깊이 값에 따라 이동된 점을 의미한다. 예를 들어, 어느 오브젝트의 특징점의 좌표가 (120, 50)이고, 깊이 값이 50이 주어진 경우, 매칭점의 좌표는 (170, 50)이다. 높이에 해당하는 y축의 좌표는 변화가 없다.
단계 150에서, 입체 영상 생성 장치는 입체영상을 생성하기 위하여, 특징점과 매칭점을 이용하여 원시 영상(예를 들어, 좌안 영상)에서 상대적으로 이동된 영상(예를 들어, 우안 영상)을 복원한다.
입체 영상을 생성하는 제 1 실시예에 대해서 설명하기로 한다. 제 1 실시예는 2D의 기하학적 정보를 이용하는 방법이다.
도 4는 2D의 기하학적 정보를 이용하여 입체 영상을 생성하는 방법에 관한 예를 나타낸다.
도 4를 참조하면, 원본 영상(410)의 특징점 a(411)과 특징점 a에 대응하는 매칭점 a'(421)의 관계는 수학식 2와 같다.
Figure 112010015687518-pat00002
Figure 112010015687518-pat00003
x'는 3×1 매트릭스로서 x', y'은 매칭점 a'의 x 좌표 및 y 좌표이고, x, y는 매칭점 a의 x 좌표 및 y 좌표이다. Hπ는 호모그래피(homography)로 3×3 매트릭스이다. 수학식 2를 참조하면, 특징점 또는 매칭점의 좌표를 8개 이상인 경우, Hπ가 구해진다. Hπ를 구한 후에, 원본 영상의 모든 픽셀 값에 Hπ를 대입하여 입체 영상인 좌영상 또는 우영상을 생성할 수 있다.
입체 영상을 생성하는 제 2 실시예에 대해서 설명하기로 한다. 제 2 실시예는 3D의 기하학적 정보를 이용하는 방법이다. 특징점과 매칭점을 이용하여 카메라 매트릭스를 추출하고, 추출된 카메라 매트릭스를 이용하여 입체 영상인 좌영상 또는 우영상을 생성할 수 있다.
도 5는 3D의 기하학적 정보를 이용하여 입체 영상을 생성하는 방법에 관한 예를 나타낸다.
도 5를 참조하면, 원본 영상(510)에 존재하는 특징점 a(511)에 대한 카메라 원점 C(531)와 a(511)의 매칭점 a'(532)에 대한 카메라 원점 C'(532)와 a(511)와 a'(521)를 각각 C(531)와 C'(532)를 기준으로 백 프로젝션(back projection)시켜 만나는 3D 공간 상의 점 X(533)는 에피폴라 평면(epipolar plane)을 구성한다. 매칭점에 대응하는 가상의 영상(520)의 에피폴 b'(522)은 C(531)와 C'(532)의 매칭점에 대응하는 가상의 영상(520)에서의 교차점을 의미한다. a'(521)과 b'(522)를 지나는 라인 l'(523)은 에피폴라 기하학적 관계에 의하여 아래의 수학식 3과 같이 구하여 진다.
Figure 112010015687518-pat00004
x는 a(511)의 좌표에 대한 3×1 매트릭스, x'는 a'(521)의 좌표에 대한 3×1 매트릭스, e'은 b'(522)의 좌표에 대한 3×1 매트릭스,에 x는 컬(curl) 연산자, F는 3×3 에피폴라 펀드멘탈 매트릭스(epipolar fundamental matrix)를 의미한다.
수학식 3에서 l'(523)의 라인 위에 x'(521)이 존재하므로 수학식 4 및 5와 같은 공식이 성립한다.
Figure 112010015687518-pat00005
Figure 112010015687518-pat00006
수학식 4에서 x'과 x에 대한 매트릭스가 주어져 있으므로, F를 구할 수 있으며, 수학식 4에서 구한 F로 인하여 수학식 5에서 e'을 구할 수 있다.
수학식 5에서 구한 e'으로 a'(521)에 대한 카메라 매트릭스 P'를 다음 수학식 6과 같이 구할 수 있다.
Figure 112010015687518-pat00007
P'을 구한 후에, 원본 영상의 모든 픽셀 값에 P'을 대입하여 입체 영상인 좌영상 또는 우영상을 생성할 수 있다.
또한, 다른 방법으로 P'을 구할 수가 있다.
일반적으로 카메라 매트릭스 P는 수학식 7과 같다.
Figure 112010015687518-pat00008
수학식 7에서 좌측의 매트릭스는 카메라 내부 고유값에 대한 매트릭스이고, 중간의 매트릭스는 프로젝션 매트릭스(projection matrix)를 의미한다. fx와 fy는 스케일 팩터(scale factor), s는 스큐(skew), x0와 y0는 주점(principal point), R3×3은 회전 매트릭스(rotation matrix), t는 실제 공간 좌표값을 의미한다.
R3×3은 수학식 8과 같다.
Figure 112010015687518-pat00009
본 발명의 일 실시예에서, 원본 영상(510)의 카메라 매트릭스는 다음 수학식 9와 같이 가정할 수 있다.
Figure 112010015687518-pat00010
또한, 다음 수학식 9와 같은 공식이 성립한다.
Figure 112010015687518-pat00011
P, x, x'은 이미 주어졌으므로, 수학식 10을 통하여 P'을 구할 수도 있다. 따라서, P'를 구한 후에, 원본 영상의 모든 픽셀 값에 P'를 대입하여 입체 영상인 좌영상 또는 우영상을 생성할 수 있다.
또한, 입체 영상 장치는 입체 영상 생성 시 생성되는 영상에 값을 가지고 있지 않은 영역(occlusion 영역)은 주변 값들을 이용하여 생성한다.
본 발명의 다른 실시예로 3D 자동 포커싱에 대한 실시예를 설명하기로 한다. 입체 영상 생성 시 좌영상 및 우영상 간의 카메라의 포커스가 동일하지 않아서, 사용자는 입체 영상 시청 시 많은 어지러움을 느끼거나, 영상이 왜곡되어 보일 수 있다.
도 6은 본 발명의 일 실시예에 따른 3D 자동 포커싱에 관한 방법의 예를 나타내는 도면이다.
도 6(a)은 원본 영상(610)이고, 도 6(b)는 한 쌍의 입체 영상에서 원본 영상(610)에 대응되는 다른 영상(620)이 도시되어 있다. 도 6(b)의 각각의 오브젝트에 깊이 값이 부여되어 있다. 도 6(b)의 각각의 오브젝트 안에 기재된 숫자는 깊이 값을 의미한다. 도 6(c)는 시청자가 시청하는 원본 영상(610)과 한 쌍의 입체 영상에서 원본 영상(610)에 대응되는 다른 영상(620)이 합쳐진 가상의 영상(630)이 도시되어 있다. 사람의 눈은 각각의 오브젝트 중에서 어떤 오브젝트를 보느냐에 따라 포커스가 달라진다. 포커스가 동일하지 않는 경우에는 시청자는 많은 어지러움을 느끼므로 본 발명의 일 실시예에서는 어느 하나의 오브젝트에 포커스를 맞춘다. 도 6(d)는 도 6(b)에 도시된 영상에서 중간의 오브젝트(삼각형)의 깊이 값을 0으로 하여, 중간의 오브젝트에 포커스를 맞춘다. 그러면, 도 6(e)와 같이 포커싱된 오브젝트에 대해서는 입체감을 느끼지 못하며, 이 오브젝트에 포커스가 맞추어 진다. 자동 포커싱의 방법으로는, 이미 생성된 한 쌍의 입체 영상 중에서 포커싱 대상이 되는 오브젝트에 대해서는 깊이 값을 0으로 복원하거나, 2D 영상을 3D 영상으로 만들기 위하여 원본 영상에 대응되는 영상 생성 시 포커싱 대상이 되는 오브젝트에 대해서 깊이 값을 0으로 설정한다. 또는, 좌우 영상의 수직 축이 다른 경우, 좌우 영상에서 매칭점을 추출하여 수직 축 오차를 제거하여 3D 자동 포커싱을 수행하고, 에지 윈도우(edge window) 크기에 관련하여, 소벨(sobel) 연산자를 이용하여 수직축 및 수평축의 에지 값 연산 및 에지 방향성을 이용하여 특징점으로 판결하여 3D 자동 포커싱을 수행한다. 또한, 입체 영상을 위하여 카메라 두 대로 촬영 시 미리 하나의 오브젝트 또는 사물에 포커스를 맞추어 촬영할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 입체 영상 생성 장치를 나타내는 흐름도이다.
도 7을 참조하면, 입체 영상 생성 장치(700)는 세그먼테이션부(710), 제어부(720), 깊이맵 생성부(730) 및 영상 복원부(740)를 포함한다.
세그먼테이션부(710)는 외부로부터 수신한 하나의 영상을 세그먼테이션(segmentation)한다.
제어부(720)는 세그먼테이션을 통하여 획득한 세그먼트의 특징점을 추출한다. 특징점의 개수에는 제한은 없다. 그 후, 제어부(720)는 추출된 특징점을 이용하여 오브젝트를 인식한다. 구체적으로, 제어부(720)는 추출된 하나의 세그먼트에서 특징점을 연결하여 면을 특정한다. 즉, 제어부(720)는 적어도 세 개 이상의 특징점을 연결하여 면을 형성한다. 제어부(720)는 세그먼트의 특징점을 연결하여 면을 형성하지 못하는 경우에는 에지(edge)로 판단한다. 본 발명의 일 실시예에 있어서는, 제어부(720)는 면을 형성할 수 있는 최소의 특징점, 즉, 세 개의 특징점을 연결하여 삼각형을 형성한다. 그 후에, 제어부(720)는 인접한 삼각형들 RGB 레벨(Red Green Blue level)을 서로 비교한다. RGB 레벨 비교에 따라 인접한 삼각형들을 합쳐서 하나의 면으로 간주할 수 있다. 구체적으로, 제어부(720)는 하나의 삼각형에서 RGB 레벨에서 가장 큰 값을 선택하고, 다른 삼각형에서 RGB 레벨 중 선택된 하나의 값에 대응되는 RGB 레벨 중 하나의 값과 비교한다. 제어부(720)는 두 값이 비슷한 경우, 하나의 면으로 간주한다. 즉, 제어부(720)는 두 값 중 높은 값에서 낮은 값을 차감한 결과가 소정의 임계치보다 작은 경우, 인접한 삼각형들을 합쳐서 하나의 면으로 간주한다. 만약, 임계치보다 큰 경우에는 다른 오브젝트로 인식한다. 또한, 제어부(720)는 에지로 판단된 경우에는 오브젝트로 인식하지 않는다. 또한, 형성된 면 내부에서 인식되는 에지의 경우에도 오브젝트로 인식하지 않는다. 예를 들어, 면이 중첩되는 경우, 어느 하나의 면에 다른 면의 경계선이 삽입되게 된다. 이 경우, 삽입되는 다른 면의 경계선은 에지로 인식하여 오브젝트로 인식하지 않게 된다.
깊이맵 생성부(730)는 인식된 오브젝트에 깊이 값을 부여한다. 깊이맵 생성부(730)는 인식된 오브젝트를 이용하여 깊이맵(depth map)을 생성하고, 소정의 기준에 따라 인식된 오브젝트에 깊이 값을 부여한다. 본 발명의 일 실시예에서는, 영상에서 오브젝트가 하단에 위치할 수록 높은 깊이 값을 부여한다.
제어부(720)는 오브젝트에 부여된 깊이 값에 따라, 오브젝트의 특징점을 이용하여 매칭점(matching point)를 획득한다. 매칭점은 특징점이 각각의 오브젝트에 부여된 깊이 값에 따라 이동된 점을 의미한다. 예를 들어, 어느 오브젝트의 특징점의 좌표가 (120, 50)이고, 깊이 값이 50이 주어진 경우, 매칭점의 좌표는 (170, 50)이다. 높이에 해당하는 y축의 좌표는 변화가 없다.
영상 복원부(740)는 입체영상을 생성하기 위하여, 특징점과 매칭점을 이용하여 원시 영상(예를 들어, 좌안 영상)에서 상대적으로 이동된 영상(예를 들어, 우안 영상)을 복원한다. 영상 복원 방법으로는 2D의 기하학적 정보를 이용하는 방법과 3D의 기하학적 정보를 이용하는 방법이 있다.
2D의 기하학적 정보를 이용하는 방법은 제어부(720)는 특징점 및 매칭점을 이용하여 3×3 매트릭스 호모그래피(homography) Hπ를 구하고, 영상 복원부(740)는 Hπ를 영상의 모든 픽셀 값에 대입하여 입체 영상인 좌영상 또는 우영상을 생성할 수 있다. 제어부(720)는 특징점 및 매칭점을 기초로 하여, 에피폴라 기하학적 관계를 이용하여 카메라 매트릭스를 추출하게 된다. 자세한 설명은 위에서 기술하였으므로 생략하기로 한다.
3D의 기하학적 정보를 이용하는 방법은 제어부(720)는 특징점과 매칭점을 이용하여 카메라 매트릭스를 추출하고, 영상 복원부(740)는 추출된 카메라 매트릭스를 이용하여 입체 영상인 좌영상 또는 우영상을 생성할 수 있다.
또한, 영상 복원부(740)는 입체 영상 생성 시 생성되는 영상에 값을 가지고 있지 않은 영역(occlusion 영역)은 주변 값들을 이용하여 생성한다.
다른 실시예로, 영상 복원부(740)는 좌영상 및 우영상 간의 카메라의 포커스가 동일하지 않아서, 사용자는 입체 영상 시청 시 많은 어지러움을 느끼거나, 영상이 왜곡되어 보일 수 있는 문제를 해결하기 위하여, 어느 하나의 오브젝트에 포커스를 맞춘다. 즉, 영상 복원부(740)는 대상이 되는 오브젝트의 깊이 값을 제거한다. 자동 포커싱의 방법으로는, 이미 생성된 한 쌍의 입체 영상 중에서 포커싱 대상이 되는 오브젝트에 대해서는 깊이 값을 0으로 복원하거나, 2D 영상을 3D 영상으로 만들기 위하여 원본 영상에 대응되는 영상 생성 시 포커싱 대상이 되는 오브젝트에 대해서 깊이 값을 0으로 설정한다. 또한, 입체 영상을 위하여 카메라 두 대로 촬영 시 미리 하나의 오브젝트 또는 사물에 포커스를 맞추어 촬영할 수도 있다.
이상 설명한 바와 같은 입체 영상 생성 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 디스크 관리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (4)

  1. 하나의 영상을 세그먼테이션(segmentation)하는 단계;
    상기 세그먼테이션된 세그먼트로부터 특징점을 추출하는 단계;
    상기 추출된 특징점을 이용하여 오브젝트를 인식하는 단계;
    상기 인식된 오브젝트에 깊이 값을 부여하는 단계;
    상기 깊이 값에 따라 매칭점을 획득하는 단계;
    상기 특징점 및 매칭점을 이용하여 상기 영상에 대한 좌영상 또는 우영상을 복원하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 오브젝트를 인식하는 단계는,
    상기 세그먼트에서 특징점을 연결하여 면으로 특정하는 단계;
    상기 세그먼트에서 인접한 면의 RGB 레벨을 비교하는 단계; 및
    상기 비교된 결과에 따라 상기 오브젝트를 인식하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.
  3. 제 1 항에 있어서,
    상기 영상을 복원하는 단계는,
    상기 특징점 및 매칭점을 이용하여 2D의 기하학적 정보인 호모그래피(homography)를 획득하는 단계; 및
    상기 획득된 호모그래피를 이용하여 상기 영상에 대한 좌영상 또는 우영상을 복원하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.
  4. 제 1 항에 있어서,
    상기 영상을 복원하는 단계는,
    상기 특징점 및 매칭점을 이용하여 3D의 기하학적 정보인 카메라 매트릭스를 획득하는 단계; 및
    상기 추출된 카메라 매트릭스 값을 이용하여 상기 영상에 대한 좌영상 또는 우영상을 복원하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.
KR1020100022085A 2010-03-12 2010-03-12 입체 영상 생성 방법 및 그 장치 KR101055411B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100022085A KR101055411B1 (ko) 2010-03-12 2010-03-12 입체 영상 생성 방법 및 그 장치
PCT/KR2011/001700 WO2011112028A2 (ko) 2010-03-12 2011-03-11 입체 영상 생성 방법 및 그 장치
CN2011800057502A CN102714748A (zh) 2010-03-12 2011-03-11 立体图像生成方法及其装置
US13/575,029 US20120320152A1 (en) 2010-03-12 2011-03-11 Stereoscopic image generation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100022085A KR101055411B1 (ko) 2010-03-12 2010-03-12 입체 영상 생성 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101055411B1 true KR101055411B1 (ko) 2011-08-09

Family

ID=44564017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100022085A KR101055411B1 (ko) 2010-03-12 2010-03-12 입체 영상 생성 방법 및 그 장치

Country Status (4)

Country Link
US (1) US20120320152A1 (ko)
KR (1) KR101055411B1 (ko)
CN (1) CN102714748A (ko)
WO (1) WO2011112028A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240497B1 (ko) 2012-12-03 2013-03-11 복선우 다시점 입체영상 제작방법 및 장치
KR20170052673A (ko) * 2014-09-22 2017-05-12 삼성전자주식회사 3 차원 비디오의 재구성
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
CN117409058A (zh) * 2023-12-14 2024-01-16 浙江优众新材料科技有限公司 一种基于自监督的深度估计匹配代价预估方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9100642B2 (en) * 2011-09-15 2015-08-04 Broadcom Corporation Adjustable depth layers for three-dimensional images
JP5858773B2 (ja) * 2011-12-22 2016-02-10 キヤノン株式会社 ３次元計測方法、３次元計測プログラム及びロボット装置
CN105143816B (zh) * 2013-04-19 2018-10-26 凸版印刷株式会社 三维形状计测装置、三维形状计测方法及三维形状计测程序
US9615081B2 (en) * 2013-10-28 2017-04-04 Lateral Reality Kft. Method and multi-camera portable device for producing stereo images
US9407896B2 (en) * 2014-03-24 2016-08-02 Hong Kong Applied Science and Technology Research Institute Company, Limited Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
CN105516579B (zh) * 2014-09-25 2019-02-05 联想(北京)有限公司 一种图像处理方法、装置和电子设备
EP3217355A1 (en) * 2016-03-07 2017-09-13 Lateral Reality Kft. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
EP3270356A1 (en) * 2016-07-12 2018-01-17 Alcatel Lucent Method and apparatus for displaying an image transition
EP3343506A1 (en) * 2016-12-28 2018-07-04 Thomson Licensing Method and device for joint segmentation and 3d reconstruction of a scene
CN107147894B (zh) * 2017-04-10 2019-07-30 四川大学 一种自由立体显示中的虚拟视点图像生成方法
CN107135397B (zh) * 2017-04-28 2018-07-06 中国科学技术大学 一种全景视频编码方法和装置
CN116597117B (zh) * 2023-07-18 2023-10-13 中国石油大学(华东) 一种基于物体对称性的六面体网格生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100496513B1 (ko) 1995-12-22 2005-10-14 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 영상변환방법및영상변환시스템과,부호화방법및부호화시스템
KR20050121080A (ko) * 2004-06-21 2005-12-26 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
KR20090129175A (ko) * 2008-06-12 2009-12-16 성영석 영상 변환 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR100679054B1 (ko) * 2006-02-15 2007-02-06 삼성전자주식회사 입체 영상을 디스플레이하는 장치 및 방법
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
EP2635034B1 (en) * 2010-10-27 2014-09-24 Dolby International AB 3d image interpolation device, 3d imaging device, and 3d image interpolation method
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100496513B1 (ko) 1995-12-22 2005-10-14 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 영상변환방법및영상변환시스템과,부호화방법및부호화시스템
KR20050121080A (ko) * 2004-06-21 2005-12-26 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
KR20090129175A (ko) * 2008-06-12 2009-12-16 성영석 영상 변환 방법 및 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240497B1 (ko) 2012-12-03 2013-03-11 복선우 다시점 입체영상 제작방법 및 장치
KR20170052673A (ko) * 2014-09-22 2017-05-12 삼성전자주식회사 3 차원 비디오의 재구성
KR101885777B1 (ko) 2014-09-22 2018-08-06 삼성전자주식회사 3 차원 비디오의 재구성
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN117409058A (zh) * 2023-12-14 2024-01-16 浙江优众新材料科技有限公司 一种基于自监督的深度估计匹配代价预估方法
CN117409058B (zh) * 2023-12-14 2024-03-26 浙江优众新材料科技有限公司 一种基于自监督的深度估计匹配代价预估方法

Also Published As

Publication number Publication date
WO2011112028A3 (ko) 2012-01-12
CN102714748A (zh) 2012-10-03
WO2011112028A2 (ko) 2011-09-15
US20120320152A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
US11727626B2 (en) Damage detection from multi-view visual data
US8976229B2 (en) Analysis of 3D video
US8611641B2 (en) Method and apparatus for detecting disparity
CN109660783B (zh) 虚拟现实视差校正
CN107750370B (zh) 用于确定图像的深度图的方法和装置
US20130127988A1 (en) Modifying the viewpoint of a digital image
US20130129192A1 (en) Range map determination for a video frame
WO2012071356A1 (en) Depth estimation based on global motion
JP2010522469A (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
US10535147B2 (en) Electronic apparatus and method for processing image thereof
US20130129193A1 (en) Forming a steroscopic image using range map
AU2020211387A1 (en) Damage detection from multi-view visual data
EP2650843A2 (en) Image processor, lighting processor and method therefor
US9639944B2 (en) Method and apparatus for determining a depth of a target object
US10210654B2 (en) Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof
US20120257816A1 (en) Analysis of 3d video
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
Wang et al. Stereoscopic image retargeting based on 3D saliency detection
Schenkel et al. Natural scenes datasets for exploration in 6DOF navigation
Schmeing et al. Depth image based rendering
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
US20130194254A1 (en) Image processing apparatus, image processing method and program
Lee et al. Estimating scene-oriented pseudo depth with pictorial depth cues
Azari et al. Stereo 3D mouse (S3D-Mouse): Measuring ground truth for medical data in a virtual 3D space

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
N231 Notification of change of applicant
LAPS Lapse due to unpaid annual fee