KR101451813B1 - 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치 - Google Patents

입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치 Download PDF

Info

Publication number
KR101451813B1
KR101451813B1 KR1020130014136A KR20130014136A KR101451813B1 KR 101451813 B1 KR101451813 B1 KR 101451813B1 KR 1020130014136 A KR1020130014136 A KR 1020130014136A KR 20130014136 A KR20130014136 A KR 20130014136A KR 101451813 B1 KR101451813 B1 KR 101451813B1
Authority
KR
South Korea
Prior art keywords
depth value
image
view matrix
objects
depth
Prior art date
Application number
KR1020130014136A
Other languages
English (en)
Other versions
KR20140100848A (ko
Inventor
이진영
Original Assignee
주식회사 로커스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로커스 filed Critical 주식회사 로커스
Priority to KR1020130014136A priority Critical patent/KR101451813B1/ko
Publication of KR20140100848A publication Critical patent/KR20140100848A/ko
Application granted granted Critical
Publication of KR101451813B1 publication Critical patent/KR101451813B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Abstract

입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법은 복수개의 이미지 내의 오브젝트들이 정의 되는 단계, 상기 오브젝트 중 일부에 대한 깊이 값이 할당되는 단계, 상기 오브젝트 및 상기 오브젝트에 대해 할당되는 깊이 값을 이용한 탑-뷰 매트릭스가 형성되는 단계, 상기 탑-뷰 매트릭스에 일부의 정의된 오브젝트들의 깊이 값을 따라 깊이 값이 지정되지 않은 오브젝트의 깊이 값을 계산하는 단계 및 상기 탑-뷰 매트릭스를 이용하여 상기 오브젝트들의 명암비를 조절하는 단계를 포함한다.
따라서, 깊이 값이 지정되지 않은 오브젝트에 자동적으로 깊이 값을 부여해 명암비를 조절할 수 있게 된다.

Description

입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치{METHOD FOR PROCESSING IMAGE USING TOP-VIEW MATRIX WHEN MAKING THREE-DIMENSIONAL IMAGE AND IMAGE PROCESSING DEVICE USING THE SAME AND RECORD MEDIUM HAVING THE SAME}
본 발명은 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치에 관한 것으로서, 보다 상세하게는 명암비를 조절하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치에 관한 것이다.
최근 들어 2차원 이미지를 이용하여 3차원 이미지를 생성하는 기술이 많이 도입되고 있다. 제작 단계에서부터 3차원을 고려한 영상이 아니기 때문에, 2차원 영상을 이용하여 3차원 영상을 제작하는 데에는 많은 이미지 처리 과정이 필요하다. 특히, 각 동영상을 프레임 당 이미지로 변환한 후 이렇게 추출된 이미지를 각각 2차원 처리하여, 다시 프레임에 맞추어 이미지들을 합하여 3차원 영상을 제작한다. 이미지를 처리하는 과정은 다양한 처리 과정이 도입된다.
제작 단계에서부터 3차원을 고려하지 않은 2차원 이미지이기 때문에, 이를 이용하여 3차원 이미지를 생성하기 위해서는 2차원 이미지들을 각각 대상 오브젝트로 분리하는 과정이 필요하다. 각각의 오브젝트들을 이미지에서 분리한 후 이에 따른 거리 등을 계산하여 3차원 영상을 제작한다. 이러한 과정에서도, 2차원 이미지를 바탕으로 모든 대상 오브젝트들에 대하여 관찰자 기준의 거리 값을 하나하나 부여하는 것은 공정상 너무 많은 자원과 시간이 소요된다. 따라서, 이를 보다 효율적으로 처리할 수 있는 이미지 처리 방법이 필요한 실정이다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 탑-뷰 매트릭스를 이용하여 명암비를 처리하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법을 제공하기 위한 것이다.
또한, 본 발명은 이러한 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법을 이용하는 이미지 처리 장치를 제공하는 것이다.
또한, 본 발명은 이러한 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법을 수행하기 위한 프로그램이 기록된 기록 매체를 제공하는 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법은 복수개의 이미지 내의 오브젝트들이 정의 되는 단계, 상기 오브젝트 중 일부에 대한 깊이 값이 할당되는 단계, 상기 오브젝트 및 상기 오브젝트에 대해 할당되는 깊이 값을 이용한 탑-뷰 매트릭스가 형성되는 단계, 상기 탑-뷰 매트릭스에 일부의 정의된 오브젝트들의 깊이 값을 따라 깊이 값이 지정되지 않은 오브젝트의 깊이 값을 계산하는 단계 및 상기 탑-뷰 매트릭스를 이용하여 상기 오브젝트들의 명암비를 조절하는 단계를 포함한다.
일 실시예에 따르면, 상기 이미지 내의 오브젝트들이 정의 되는 단계는 대상 오브젝트들의 아웃라인을 따라 이미지를 분할하는 단계를 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 깊이 값은 상기 오브젝트가 먼 거리에 있는 대상일수록 값이 증가하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 탑-뷰 매트릭스는 오브젝트들의 식별번호를 X축, 상기 오브젝트들의 깊이 값을 Y축 값을 가지는 이차원 매트릭스인 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 탑-뷰 매트릭스에 일부의 정의된 오브젝트들의 깊이 값을 따라 깊이 값이 지정되지 않은 오브젝트의 깊이 값을 계산하는 단계에서, 상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값을 이용하여 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값의 1차원적인 비례 관계로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값에 상기 오브젝트의 속도에 대한 가중치를 부여하여 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 명암비는 상기 깊이 값에 비례하여 지정되는 것을 특징으로 할 수 있다.
본 발명의 다른 측면에 따르면, 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방치는 이미지 내의 오브젝트를 정의 하는 오브젝트 정의부, 상기 오브젝트의 깊이 값을 할당하는 깊이 값 할당부, 상기 오브젝트 및 상기 깊이 값을 이용하여 탑-뷰 매트릭스를 형성하는 매트릭스 형성부, 깊이 값이 지정되지 않은 오브젝트들의 깊이 값을 계산하는 깊이 값 계산부 및 상기 탑-뷰 매트릭스를 이용하여 명암비를 조절하는 명암비 조절부를 포함한다.
일 실시예에 따르면, 상기 오브젝트는 대상 오브젝트들의 아웃라인을 따라 이미지를 분할하여 정의되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 깊이 값은 상기 오브젝트가 먼 거리에 있는 대상일수록 값이 증가하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 탑-뷰 매트릭스는 오브젝트들의 식별번호를 X축, 상기 오브젝트들의 깊이 값을 Y축 값을 가지는 이차원 매트릭스인 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 깊이 값 계산부는 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값을 이용하여 깊이 값을 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값의 1차원적인 비례 관계로 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값에 상기 오브젝트의 속도에 대한 가중치를 부여하여 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 명암비는 상기 깊이 값에 비례하여 지정되는 것을 특징으로 할 수 있다.
이와 같은 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치에 따르면, 일부 오브젝트에 대해 깊이 값을 지정하여도 탑-뷰 매트릭스를 이용하여 깊이 값이 지정되지 않은 오브젝트들도 자동적으로 깊이 값이 계산되므로, 보다 효율적으로 이미지 명암비 처리 작업이 진행 가능하게 된다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법의 순서도이다.
도 2는 도 1의 실시예에 따른 이미지 처리 방법을 이용하는 이미지 처리 장치의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하는 이미지를 나타내는 개념도다.
도 4는 도 3의 이미지에 대한 탑-뷰 매트릭스를 나타내는 개념도다.
도 5은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하는 이미지를 나타내는 개념도다.
도 6는 도 5의 이미지에 대한 탑-뷰 매트릭스를 나타내는 개념도다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하는 이미지를 나타내는 개념도다.
도 8는 도 7의 이미지에 대한 탑-뷰 매트릭스를 나타내는 개념도다.
도 9는 본 발명의 다른 실시예에 따른 탑-뷰 매트릭스를 나타내는 개념도다.
도 10은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하여 명암비가 처리된 이미지를 나타내는 개념도다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법의 순서도이다. 도 2는 도 1의 실시예에 따른 이미지 처리 방법을 이용하는 이미지 처리 장치의 개념도이다.
도 1 및 도 2를 참조하면, 본 실시예에 따른 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법은 복수개의 이미지 내의 오브젝트들이 정의 되는 단계(S100), 상기 오브젝트 중 일부에 대한 깊이 값이 할당되는 단계(S200), 상기 오브젝트 및 상기 오브젝트에 대해 할당되는 깊이 값을 이용한 탑-뷰 매트릭스가 형성되는 단계(S300), 상기 탑-뷰 매트릭스에 일부의 정의된 오브젝트들의 깊이 값을 따라 깊이 값이 지정되지 않은 오브젝트의 깊이 값을 계산하는 단계(S400) 및 상기 탑-뷰 매트릭스를 이용하여 상기 오브젝트들의 명암비를 조절하는 단계(S500)를 포함한다. 본 실시예에 따른 이미지 처리 방법을 이용하는 이미지 처리 장치(1000)는 이미지 내의 오브젝트를 정의 하는 오브젝트 정의부(110), 상기 오브젝트의 깊이 값을 할당하는 깊이 값 할당부(120), 상기 오브젝트 및 상기 깊이 값을 이용하여 탑-뷰 매트릭스를 형성하는 매트릭스 형성부(210), 깊이 값이 지정되지 않은 오브젝트들의 깊이 값을 계산하는 깊이 값 계산부(310) 및 상기 탑-뷰 매트릭스를 이용하여 명암비를 조절하는 명암비 조절부(410)를 포함한다.
본 실시예에 따른 이미지 처리 방법은 복수개의 이미지 프레임을 가지는 동영상 자료로부터 복수개의 이미지를 추출한 후 이렇게 추출된 이미지의 명암비를 조절하는 처리 방법이다. 상기 오브젝트 정의부(110)에 의해 먼저 오브젝트들을 정의하고(S100), 상기 깊이 값 할당부(120)에 대하여 일부 오브젝트에 대한 깊이 값을 결정 한다(S200). 하지만, 여기서 모든 오브젝트에 대한 깊이 값이 할당되지 않을 수 있다. 따라서, 깊이 값이 주어진 오브젝트를 이용하여 매트릭스 형성부(210)에서 탑-뷰 매트릭스를 형성하고(S300), 이러한 탑-뷰 매트릭스를 이용하여 깊이 값 계산부(310)에서는 깊이 값이 지정되지 않은 오브젝트들의 깊이 값을 계산한다. 따라서, 모든 오브젝트에 대하여 깊이 값이 할당되며, 이를 이용하여 명암비 조절부(410)에서는 주어진 이미지들에 대한 명암비를 조절하게 된다. 상기 이미지 처리 방법은 추가되는 도면을 참조하여 보다 상세히 기술한다.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하는 이미지를 나타내는 개념도다.
도 3을 참조하면, 본 실시예에 따른 이미지 처리 방법 중 복수개의 이미지 내의 오브젝트들이 정의 되는 단계(S100)에서는, 복수개의 이미지 프레임을 가지는 동영상으로부터 추출된 복수개의 이미지들로부터 이미지 내의 오브젝트들이 정의된다. 다시 말하면, 복수개의 이미지 내에서는 동일한 오브젝트들이 움직이는 과정이 순차적으로 이미지 내에서 도시될 수 있는데, 이러한 복수개의 이미지들에서 동일한 오브젝트들이 있는 경우 이를 정의 한다. 이러한 오브젝트들은 대상 오브젝트들의 아웃라인을 따라 이미지를 분할하고, 분할된 이미지 내의 영역에서 각각의 오브젝트들이 정의될 수 있다.
도 3을 다시 참조하면, 본 실시예에 따른 이미지 처리 방법을 이용하는 제1 이미지(I1)는 제1 오브젝트(O1), 제2 오브젝트(O2) 및 제3 오브젝트(O3)를 포함한다. 제1 오브젝트(O1) 및 제3 오브젝트(O3)는 원형의 형상으로 형성되며, 원형의 아웃라인을 따라 대상 오브젝트가 정의된다. 이에 반하여, 제2 오브젝트(O2)는 이미지의 절반 아래를 차지하는 사각형 형상에서 상기 제1 오브젝트(O1) 및 제3 오브젝트(O3)가 차지하는 공간을 제외한 대상 영역으로 정의 된다.
본 실시예에서는 제1 오브젝트 및 제2 오브젝트는 시간의 흐름에 대해 동일한 위치를 유지하고, 제3 오브젝트는 먼 곳에서 가까운 곳으로 다가오는 이동을 하는 것으로 가정하였다. 또한, 제1 오브젝트는 관찰자 시점에서 가까이 위치한 대상 오브젝트로 정의되며, 제2 오브젝트는 관찰자 시점에서 멀리 위치하고 이동이 거의 없는 배경에 해당하는 오브젝트로 정의되었다.
이러한 제1 내지 제3 오브젝트(O1, O2, O3)는 한 이미지 내에만 존재할 수도 있고, 여러 개의 이미지들에게 연속적으로 존재할 수 있다. 대상 오브젝트들은 이미지 내에서 움직이면서 이동하기 때문에, 제1 내지 제3 오브젝트들은 복수개의 이미지 내에서 서로 다른 거리 값을 가질 수 있다. 이와 같이 관찰자의 시점에서 대상 오브젝트들에게 부여되는 가상의 거리 값을 “깊이 값(depth value)”으로 정의할 수 있다. 상기 깊이 값은 관찰자를 기준으로 멀리 위치한 오브젝트일수록 그 값이 증가하도록 설정된다. 설정에 따라서 멀리 위치한 오브젝트일수록 그 값이 감소하도록 반대의 값으로 설정될 수 있으며, 후에 적용되는 계산과정에서 1차 또는 다중 함수를 적용하여 정의 되지 않은 오브젝트의 깊이 값을 찾기에 적합하다면 다양한 방식으로 정의될 수 있다. 이러한 오브젝트들에 대한 깊이 값은 깊이 값 할당부(120)에서 지정되며, 전부가 지정될 수도 있지만, 작업의 효율성을 위하여 일부만 지정할 수 있다(S200).
도 4는 도 3의 이미지에 대한 탑-뷰 매트릭스를 나타내는 개념도다.
도 4를 참조하면, 도 3의 이미지 내의 오브젝트들에 대한 깊이 값을 나타내는 탑-뷰(top-view) 매트릭스가 도시된다(S300). 탑-뷰 매트릭스는 오브젝트들의 식별번호를 X축, 상기 오브젝트들의 깊이 값을 Y축 값을 가지는 이차원 매트릭스로 형성된다. 오브젝트들의 식별번호는 제1 오브젝트, 제2 오브젝트 및 제3 오브젝트를 각각 “1”, “2” 및 “3”의 값이 대표하고, 깊이 값은 0부터 255의 값들이 정의될 수 있다. 필요에 따라서는 더욱 높은 단계의 깊이 값이 정의될 수 있다.
제1 이미지(I1)의 탑-뷰 매트릭스(M1)에는 각각 제1 이미지의 제1 오브젝트(T11), 제1 이미지의 제2 오브젝트(T12) 및 제1 이미지의 제3 오브젝트(T13)이 도시된다. 다른 이미지에 있더라도 동일한 오브젝트는 동일한 오브젝트 번호를 포함한다. 편의상 본 실시예에서는 탑-뷰 매트릭스 상의 오브젝트 번호를 “T” 및 이미지 번호 와 오브젝트 번호의 결합으로 정의하였다.
제1 이미지의 제1 오브젝트(T11)는 탑-뷰 매트릭스의 X축에서 가장 왼쪽에 위치하는 첫 번째 오브젝트 이고, 관찰자의 시점에서 가장 가까운 지점에 위치하므로, 가장 낮은 깊이 값을 가진다. 제1 이미지의 제2 오브젝트(T12)는 탑-뷰 매트릭스의 X축에서 두 번째 위치하는 제2 오브젝트이고, 관찰자의 시점에서 가장 먼 지점에 위치하므로, 가장 높은 깊이 값을 가진다. 제1 이미지의 제3 오브젝트(T13)는 탑-뷰 매트릭스의 X축에서 마지막에 위치하는 제3 오브젝트이고, 관찰자의 시점에서 중간 지점에 위치하므로, 제1 오브젝트보다는 크고, 제2 오브젝트보다는 작은 중간 정도의 깊이 값을 가진다.
도 5은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하는 이미지를 나타내는 개념도이다.
도 5을 참조하면, 본 실시예에 따른 이미지 처리 방법을 이용하는 제3 이미지(I3)는 역시 제1 이미지(I1)와 동일하게 제1 오브젝트(O1), 제2 오브젝트(O2) 및 제3 오브젝트(O3)를 포함한다. 제1 오브젝트(O1) 및 제3 오브젝트(O3)는 원형의 형상으로 형성되며, 원형의 아웃라인을 따라 대상 오브젝트가 정의된다. 이에 반하여, 제2 오브젝트(O2)는 이미지의 절반 아래를 차지하는 사각형 형상에서 상기 제1 오브젝트(O1) 및 제3 오브젝트(O3)가 차지하는 공간을 제외한 대상 영역으로 정의 된다. 본 실시예에서는 제1 이미지(I1)와 비교하여 제1 오브젝트 및 제2 오브젝트는 시간의 흐름에 대해 동일한 위치를 유지하고, 제3 오브젝트가 제1 이미지(I1)에 비하여 먼 곳에서 가까운 곳으로 다가오는 이동 하였다.
도 6는 도 5의 이미지에 대한 탑-뷰 매트릭스를 나타내는 개념도이다.
도 6을 참조하면, 도 5의 이미지 내의 오브젝트들에 대한 깊이 값을 나타내는 탑-뷰(top-view) 매트릭스가 도시된다. 오브젝트들의 식별번호는 제1 오브젝트, 제2 오브젝트 및 제3 오브젝트를 각각 “1”, “2” 및 “3”의 값이 대표하고, 깊이 값은 0부터 255의 값들이 정의될 수 있다. 제3 이미지(I3)의 탑-뷰 매트릭스(M3)에는 각각 제3 이미지의 제1 오브젝트(T31), 제3 이미지의 제2 오브젝트(T32) 및 제3 이미지의 제3 오브젝트(T33)이 도시된다. 다른 이미지에 있더라도 동일한 오브젝트는 동일한 오브젝트 번호를 포함한다. 앞서 설명한 바와 같이 편의상 본 실시예에서는 탑-뷰 매트릭스 상의 오브젝트 번호를 “T” 및 이미지 번호 와 오브젝트 번호의 결합으로 정의하였다.
제3 이미지의 제1 오브젝트(T31)는 탑-뷰 매트릭스의 x축에서 가장 왼쪽에 위치하는 첫 번째 오브젝트 이고, 관찰자의 시점에서 가장 가까운 지점에 위치하므로, 가장 낮은 깊이 값을 가지며 이것은 제1 이미지의 제1 오브젝트(T11)과 동일한 값을 가진다. 제3 이미지의 제2 오브젝트(312)는 탑-뷰 매트릭스의 x축에서 두 번째 위치하는 제2 오브젝트이고, 관찰자의 시점에서 가장 먼 지점에 위치하므로, 가장 높은 깊이 값을 가지며, 이것 역시 제1 이미지의 제2 오브젝트(T12)와 동일한 값을 가진다. 제3 이미지의 제3 오브젝트(T33)는 탑-뷰 매트릭스의 x축에서 마지막에 위치하는 제3 오브젝트이고, 제1 이미지와 비교할 때에 관찰자의 시점으로 더 가깝게 이동하였음을 알 수 있다. 따라서 탑-뷰 매트릭스 상에서도 도 5의 매트릭스와 비교할 때에 더 작은 깊이 값을 가지게 된다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하는 이미지를 나타내는 개념도이다.
도 7을 참조하면, 본 실시예에 따른 이미지 처리 방법을 이용하는 제2 이미지(I2)는 역시 제1 이미지(I1)와 동일하게 제1 오브젝트(O1), 제2 오브젝트(O2) 및 제3 오브젝트(O3)를 포함한다. 제1 오브젝트(O1) 및 제3 오브젝트(O3)는 원형의 형상으로 형성되며, 원형의 아웃라인을 따라 대상 오브젝트가 정의된다. 이에 반하여, 제2 오브젝트(O2)는 이미지의 절반 아래를 차지하는 사각형 형상에서 상기 제1 오브젝트(O1) 및 제3 오브젝트(O3)가 차지하는 공간을 제외한 대상 영역으로 정의 된다. 본 실시예에서는 제1 이미지(I1) 및 제3 이미지(I3)와 비교하여 제1 오브젝트 및 제2 오브젝트는 시간의 흐름에 대해 동일한 위치를 유지하고, 제3 오브젝트는 거리상의 변화를 가져왔으나, 실질적인 변화 값을 알지 못하는 것으로 가정하였다.
도 8는 도 7의 이미지에 대한 탑-뷰 매트릭스를 나타내는 개념도이다.
도 8을 참조하면, 도 7의 이미지 내의 오브젝트들에 대한 깊이 값을 나타내는 탑-뷰(top-view) 매트릭스가 도시된다. 오브젝트들의 식별번호는 제1 오브젝트, 제2 오브젝트 및 제3 오브젝트를 각각 “1”, “2” 및 “3”의 값이 대표하고, 깊이 값은 0부터 255의 값들이 정의될 수 있다. 제2 이미지(I2)의 탑-뷰 매트릭스(M2)에는 각각 제2 이미지의 제1 오브젝트(T21), 제2 이미지의 제2 오브젝트(T22)가 도시되나, 제2 이미지의 제3 오브젝트(T23)의 경우에는 제2 오브젝트에 대한 깊이 값이 구체적으로 정의되지 않았으므로, 이러한 탑-뷰 매트릭스를 완전히 그릴 수 없다. 이러한 경우에는 인접한 이미지에 존재하는 동일한 오브젝트의 깊이 값을 참조하여, 현재 이미지의 오브젝트의 깊이 값을 계산한다(S400).
점선으로 표시된 제1 이미지의 제3 오브젝트(T13) 및 제3 이미지의 제3 오브젝트(T33)의 위치를 참조하면, 시간적으로 상기 제1 이미지 및 제3 이미지의 사이에 존재하는 제3 오브젝트(T23)의 위치는 상기 제1 이미지의 제3 오브젝트(T13) 및 제3 이미지의 제3 오브젝트(T33)의 사이에 위치할 가능성이 매우 높다. 또한, 각 프레임은 매우 짧은 시간 내에 존재하기 때문에, 상기 오브젝트가 인지할 수 없는 속도로 움직이지 않는 한 상기 제3 오브젝트(T13, T23, T33)들은 순차적으로 움직이는 것이 예상된다. 따라서, 상기 제2 이미지의 제3 오브젝트(T23)의 깊이 값은 상기 제1 이미지의 제3 오브젝트(T13) 및 제3 이미지의 제3 오브젝트(T33)의 중간 값으로 계산할 수 있다.
본 실시예에서는 연속되는 세 개의 이미지 중 두 개에서 동일한 오브젝트의 깊이 값을 아는 경우 나머지의 이미지의 오브젝트의 깊이 값을 예상하고 계산하는 방법을 사용하였다. 임의의 두 점을 알게 되면, 임의의 두 점에 대한 1차원 함수가 성립되고, 상기 탑-뷰 매트릭스는 2차원 매트릭스 이므로, 상기 1차원 함수에 대한 직선의 방정식을 찾을 수 있다. 이를 이용하여 깊이 값이 지정되지 않은 다른 이미지의 동일한 오브젝트에 대한 깊이 값을 자동적으로 찾을 수 있게 된다.
도 9는 본 발명의 다른 실시예에 따른 탑-뷰 매트릭스를 나타내는 개념도다.
도 9를 참조하면, 본 실시예에 따른 탑-뷰 매트릭스는 도 8에 도시된 실시예에 따른 탑-뷰 매트릭스와 비교하여 상기 제2 이미지의 제3 오브젝트(T23)의 계산 방식을 제외하고는 다른 구성요소에 대해서는 실질적으로 동일하므로, 중복되는 설명은 생략한다.
먼 곳에서 가까이 다가오는 물체를 가정해 보자. 출발점이 되는 먼 곳에서 조금 덜 먼 곳으로 이동하는 동안에는 실제로 그 물체가 동일한 속도로 움직이더라도, 상대적으로 대상 물체의 크기 변화는 크게 인지되지 않는다. 반면에, 가까운 곳에서 매우 가까운 곳으로 이동하는 물체는 위의 먼 곳에서 조금 덜 먼 곳으로 이동하는 물체의 속도와 동일한 속도로 움직이더라도 매우 빠른 속도로 움직이는 것처럼 감지된다. 따라서 원근에 따른 물체의 이동을 감안할 때에, 먼 곳에서 조금 덜 먼 곳으로 이동하는 경우와 가까운 곳에서 매우 가까운 곳으로 이동하는 경우에는 다른 가중치를 부여하여, 대상 오브젝트의 깊이 값을 계산할 수 있다.
본 실시예에서는 도 8의 실시예와 비교하여, 제1 이미지의 제3 오브젝트(T13) 및 제3 이미지의 제3 오브젝트(T33) 사이에 존재하여 예측되는 제2 이미지의 제3 오브젝트(T23)가 먼 곳에서 조금 먼 곳으로 이동하고 있으므로, 1차 함수에 의한 이동보다 부(-)의 가중치를 부여하여 조금 더 낮은 깊이 값을 가지도록 보정하였다. 반대로 제3 오브젝트가 가까운 곳에서 매우 가까운 곳으로 이동하는 경우 1차 함수에 의한 이동보다 양(+)의 가중치를 부여하여 제3 이미지의 제3 오브젝트(T33)로 좀 더 가까이 위치하도록 보정할 수 있게 된다.
도 10은 본 발명의 일 실시예에 따른 이미지 처리 방법을 이용하여 명암비가 처리된 이미지를 나타내는 개념도이다.
도 10을 참조하면, 본 실시예에 따른 이미지 처리 방법 중 상기 탑-뷰 매트릭스를 이용하여 상기 오브젝트들의 명암비를 조절하는 단계(S500)가 도시 된다. 상기 명암비는 명암비 조절부(410)에서 진행되며, 상기 탑-뷰 매트릭스를 이용하여 해당하는 오브젝트에 대한 깊이 값을 계산하고, 이러한 깊이 값에 따라 오브젝트로 특정되는 대상의 명암비를 조절하여, 먼 곳에 위치한 오브젝트는 어둡게 가까운 곳에 위치한 오브젝트는 밝게 표시하는 보정을 실시 한다.
제2 명암비 보정 이미지(I2-G)는 제1 내지 제3 명암비 보정 오브젝트(O1', O2', O3')를 포함한다. 상기 명암비 보정은 도 8에 도시된 제2 이미지의 탑-뷰 매트릭스(M2)를 기준으로 이루어 진다. 상기 제1 명암비 보정 오브젝트(O1')는 가장 낮은 깊이 값을 가지므로, 가장 밝게 표시될 수 있다. 경우에 따라서는 제1 명암비 보정 오브젝트(O1')는 명암비 보정을 하지 않는 것으로 가장 밝게 표시될 수도 있다. 제2 명암비 보정 오브젝트(O2')는 가장 높은 깊이 값을 가지므로, 가장 어두운 명암비로 보정될 수 있다. 따라서 먼 곳에 위치하는 대상 물체인 것처럼 인지 될 수 있다. 제3 명암비 보정 오브젝트(O3')는 중간 정도의 깊이 값을 가지므로, 중간 정도의 명암비로 보정될 수 있다. 따라서, 관찰자는 가까운 오브젝트는 밝게, 먼 오브젝트는 어둡게 인지하게 되며, 이에 따른 거리감을 전달받게 된다.
이상에서 설명한 본 발명에 따른 이미지 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송과 같이 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
1000 : 이미지 처리 장치
110 : 오브젝트 정의부 120 : 깊이 값 할당부
210 : 매트릭스 형성부 310 : 깊이 값 계산부
410 : 명암비 조절부
I1, I2, I3 : 이미지 O1, O2, O3 : 오브젝트
M1, M2, M3 : 매트릭스
I2-G : 명암비 처리된 이미지

Claims (17)

  1. 복수개의 이미지 내의 오브젝트들이 정의 되는 단계;
    상기 오브젝트 중 일부에 대한 깊이 값이 할당되는 단계;
    상기 오브젝트 및 상기 오브젝트에 대해 할당되는 깊이 값을 이용한 탑-뷰 매트릭스가 형성되는 단계;
    상기 탑-뷰 매트릭스에 일부의 정의된 오브젝트들의 깊이 값을 따라 깊이 값이 지정되지 않은 오브젝트의 깊이 값을 계산하는 단계; 및
    상기 탑-뷰 매트릭스를 이용하여 상기 오브젝트들의 명암비를 조절하는 단계를 포함하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 이미지 내의 오브젝트들이 정의 되는 단계는
    대상 오브젝트들의 아웃라인을 따라 이미지를 분할하는 단계를 포함하는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 깊이 값은 관찰자를 기준으로 상기 오브젝트의 거리가 멀어질수록 증가하는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 탑-뷰 매트릭스는 오브젝트들의 식별번호를 X축, 상기 오브젝트들의 깊이 값을 Y축 값을 가지는 이차원 매트릭스인 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 탑-뷰 매트릭스에 일부의 정의된 오브젝트들의 깊이 값을 따라 깊이 값이 지정되지 않은 오브젝트의 깊이 값을 계산하는 단계에서,
    상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값을 이용하여 결정하는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값의 1차원적인 비례 관계로 결정하는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  7. 제5항에 있어서,
    상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값에 상기 오브젝트의 속도에 대한 가중치를 부여하여 결정되는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 명암비는 상기 깊이 값에 비례하여 지정되는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법.
  9. 이미지 내의 오브젝트를 정의 하는 오브젝트 정의부;
    상기 오브젝트의 깊이 값을 할당하는 깊이 값 할당부;
    상기 오브젝트 및 상기 깊이 값을 이용하여 탑-뷰 매트릭스를 형성하는 매트릭스 형성부;
    깊이 값이 지정되지 않은 오브젝트들의 깊이 값을 계산하는 깊이 값 계산부; 및
    상기 탑-뷰 매트릭스를 이용하여 명암비를 조절하는 명암비 조절부를 포함하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 오브젝트는 대상 오브젝트들의 아웃라인을 따라 이미지를 분할하여 정의되는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  11. 제9항에 있어서,
    상기 깊이 값은 관찰자를 기준으로 상기 오브젝트의 거리가 멀어질수록 증가하는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  12. 제9항에 있어서,
    상기 탑-뷰 매트릭스는 오브젝트들의 식별번호를 X축, 상기 오브젝트들의 깊이 값을 Y축 값을 가지는 이차원 매트릭스인 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  13. 제9항에 있어서,
    상기 깊이 값 계산부는 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값을 이용하여 깊이 값을 결정하는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값의 1차원적인 비례 관계로 결정하는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  15. 제13항에 있어서,
    상기 깊이 값은 동일한 오브젝트에 대하여 인접한 이미지들의 상기 탑-뷰 매트릭스 내의 깊이 값에 상기 오브젝트의 속도에 대한 가중치를 부여하여 결정되는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  16. 제9항에 있어서,
    상기 명암비는 상기 깊이 값에 비례하여 지정되는 것을 특징으로 하는 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 장치.
  17. 제1항 내지 제8항 중 어느 한 항의 방법을 수행하기 위한 명령어들의 조합이 유형적으로 구현되어 있으며 디지털 정보 처리 장치에 의해 판독 가능한 프로그램이 기록된 기록 매체.
KR1020130014136A 2013-02-07 2013-02-07 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치 KR101451813B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130014136A KR101451813B1 (ko) 2013-02-07 2013-02-07 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130014136A KR101451813B1 (ko) 2013-02-07 2013-02-07 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치

Publications (2)

Publication Number Publication Date
KR20140100848A KR20140100848A (ko) 2014-08-18
KR101451813B1 true KR101451813B1 (ko) 2014-10-16

Family

ID=51746532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130014136A KR101451813B1 (ko) 2013-02-07 2013-02-07 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치

Country Status (1)

Country Link
KR (1) KR101451813B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4111231B2 (ja) * 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
JP4521167B2 (ja) * 1995-08-04 2010-08-11 マイクロソフト コーポレーション グラフィックオブジェクトを画像チャンクにレンダリングして、画像層を表示画像に組み合わせる方法及びシステム
JP4624173B2 (ja) * 2004-05-18 2011-02-02 アグフア−ゲヴエルト，ナームローゼ・フエンノートシヤツプ 幾何学的オブジェクトをデジタルの医学的画像内に自動写像する方法
JP2013115467A (ja) * 2011-11-25 2013-06-10 Sharp Corp 立体撮影装置およびそれを用いた携帯端末装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4521167B2 (ja) * 1995-08-04 2010-08-11 マイクロソフト コーポレーション グラフィックオブジェクトを画像チャンクにレンダリングして、画像層を表示画像に組み合わせる方法及びシステム
JP4624173B2 (ja) * 2004-05-18 2011-02-02 アグフア−ゲヴエルト，ナームローゼ・フエンノートシヤツプ 幾何学的オブジェクトをデジタルの医学的画像内に自動写像する方法
JP4111231B2 (ja) * 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
JP2013115467A (ja) * 2011-11-25 2013-06-10 Sharp Corp 立体撮影装置およびそれを用いた携帯端末装置

Also Published As

Publication number Publication date
KR20140100848A (ko) 2014-08-18

Similar Documents

Publication Publication Date Title
US9300940B2 (en) Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image
EP3262640B1 (en) Video content assisted audio object extraction
US9153032B2 (en) Conversion method and apparatus with depth map generation
EP2618584B1 (en) Stereoscopic video creation device and stereoscopic video creation method
US8606043B2 (en) Method and apparatus for generating 3D image data
EP2389007A2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
EP3048787A1 (en) Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium
US20100118125A1 (en) Method and apparatus for generating three-dimensional (3d) image data
US20150103163A1 (en) Apparatus, method, and processor for measuring change in distance between a camera and an object
EP2887313A1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
KR20160022657A (ko) 디스플레이 장치 및 디스플레이 장치 동작 방법
US20130069932A1 (en) Adjustable depth layers for three-dimensional images
JP6322603B2 (ja) 画像処理装置および画像処理プログラムと、陳列状況判定装置
US20160078598A1 (en) Image processor and image processing method
JP2017527015A5 (ko)
JP2010152521A (ja) 画像立体化処理装置及び方法
US8744127B2 (en) Image processing apparatus and method for improving frame rate while maintaining natural movement of object on images
US8970670B2 (en) Method and apparatus for adjusting 3D depth of object and method for detecting 3D depth of object
JP6313725B2 (ja) 画像処理装置及びコンピュータ可読記憶媒体
US20150304573A1 (en) Image processing apparatus, method and program
KR101451813B1 (ko) 입체영상 제작 시 탑-뷰 매트릭스를 이용한 이미지 처리 방법 및 이를 이용하는 이미지 처리 장치
JP2020080047A (ja) 学習装置、推定装置、学習方法およびプログラム
JP2015207090A (ja) 画像処理装置、及びその制御方法
JP6351364B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2015197374A (ja) ３次元形状推定装置及び３次元形状推定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171010

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 6