KR100436904B1 - 2차원이미지에 대한 입체영상생성방법 - Google Patents

2차원이미지에 대한 입체영상생성방법 Download PDF

Info

Publication number
KR100436904B1
KR100436904B1 KR10-2002-0053937A KR20020053937A KR100436904B1 KR 100436904 B1 KR100436904 B1 KR 100436904B1 KR 20020053937 A KR20020053937 A KR 20020053937A KR 100436904 B1 KR100436904 B1 KR 100436904B1
Authority
KR
South Korea
Prior art keywords
image
interest
objects
dimensional
reference image
Prior art date
Application number
KR10-2002-0053937A
Other languages
English (en)
Other versions
KR20040022100A (ko
Inventor
임인성
강호석
Original Assignee
강호석
임인성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강호석, 임인성 filed Critical 강호석
Priority to KR10-2002-0053937A priority Critical patent/KR100436904B1/ko
Publication of KR20040022100A publication Critical patent/KR20040022100A/ko
Application granted granted Critical
Publication of KR100436904B1 publication Critical patent/KR100436904B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Abstract

본 발명은 2차원이미지에 대한 입체영상생성방법에 관한 것으로서, 외부에서 입력되는 한 장의 2차원 참조이미지를 디스플레이하는 과정과, 상기 과정에서 입력된 2차원 참조이미지에 대한 뷰잉인자를 설정하는 과정과, 상기 참조이미지에 포함된 관심물체들을 상기 참조이미지로부터 분리하고, 그 관심물체들이 분리되고 남은 배경이미지를 편집하여 상기 관심물체들이 분리된 빈 공간을 채우는 과정과, 사용자의 조작에 의해 설정된 상기 관심물체들의 위치정보를 판독한 후, 기 설정되어 디스플레이된 투영평면과 상기 관심물체들의 위치정보의 전후관계에 의거하여 해당 관심물체들 각각에 1차적인 입체감을 부여하고, 그 관심물체들을 상기 배경이미지 상에 표시하는 과정과, 기 설정된 소정의 기본 프리미티브들의 깊이값에 의해 상기 과정에서 배경이미지 상에 표시된 관심물체들 각각에 대한 깊이값을 설정하여 그 관심물체들에 대한 2차적인 입체감을 표현하는 과정과, 상기 과정에서 생성된 결과이미지에 대한 좌/우 이미지를 생성하는 과정과, 상기 좌/우 이미지를 합성하여 디스플레이하는 과정을 포함하는 것을 특징으로 한다. 따라서, 보다 빠른 시간에 한 장의 참조이미지에 대한 입체영상을 생성할 수 있다는 장점이 있다.

Description

2차원이미지에 대한 입체영상생성방법{Method for generating stereoscopic image from 2D images}
본 발명은 2차원이미지에 대한 입체영상생성방법에 관한 것으로서, 특히, 한 장의 참조이미지만을 가지고 영상기반 기법을 적용하여 2차원이미지에 대한 입체영상을 생성하는 방법에 관한 것이다.
최근 컴퓨터 기술의 발달에 따라 컴퓨터 그래픽을 이용하여 사진과 같은 사실적인 영상을 생성하고자 하는 3차원 그래픽스 기술이 다양하게 개발되고 있다.
이러한 3차원 그래픽스 기술은 기하기반기법과, 영상기반기법으로 분류할 수 있다.
기하기반기법은 소정의 데이터를 이용하여 3차원 이미지를 생성하는 방법으로서, 복잡한 전경(scene)에 대해 실제와 비슷한 이미지를 만들어내기 위해 복잡하고 방대한 양의 데이터를 이용한 '모델링'과정과, 시간을 많이 소모하는 '렌더링'과정을 거치게 된다. 이러한 기하기반기법은 전통적인 3차원 컴퓨터 그래픽스 기술로서 자리매김하고 있으며, 그 대표적인 예로는 '다각형기반렌더링(polygonal- based rendering)', '광선추적법(ray tracing)' 및 '레디오시티(radiosity)등이 있다. 하지만, 이러한 기하기반기법들은 3차원 전경 내에 있는 물체들에 대한 기하학적인 표현과 그 전경 내에서 빛이 미치는 영향 등 합성되는 이미지의 사실성을 높이기 위한 방법과, 복잡한 알고리즘의 속도를 개선하기 위한 방법 등 해결해야할많은 문제들을 안고 있다.
한편, 영상기반기법은 이러한 기하기반기법의 문제점들을 해결하기 위해 개발된 3차원 컴퓨터 그래픽스 기술로서, 영상기반기법은 미리 준비된 이미지로부터 그 이미지 속에 있는 물체나 환경의 기하학적인 정보가 없어도 그것들에 대한 새로운 시점에서의 뷰(view)를 제공함으로써 그 이미지에 대한 입체영상을 생성한다. 영상기반기법에서는 좌/우의 눈에 그려지는 영상의 차이로 2차원 영상을 3차원 영상처럼 보이게 하는 입체영상을 생성하는데, 이를 위해, 한 장 혹은 여러 장의 이미지를 이용하여 그 이미지 내에 있는 물체들의 깊이정보를 추출하고 와핑으로 인해 생기는 빈 공간을 처리해야 한다.
하지만, 한 장의 참조이미지만을 이용하여 입체영상을 생성하고자 할 경우, 그 이미지 내에 있는 물체들의 깊이정보를 추출하거나 빈 공간을 처리하는 것이 상당히 어렵다는 문제점이 있다.
따라서, 종래에는 이러한 문제점을 해결하기 위해, 사용자의 수작업을 통해 깊이를 부여하고 빈 공간을 채우는 방법이 제시되고 있지만, 이는 작업의 정확성에 비해 시간이 많이 걸리는 단점이 있다. 특히, 입체영상을 생성할 경우 정확한 깊이를 추출하기보다는 양/음의 시차를 이용하여 입체감을 표현하기 때문에 많은 시간을 들여서 깊이를 부여할 필요가 없다는 특징이 있다.
본 발명은 상기한 바와 같은 종래의 제반 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 한 장의 참조이미지에 포함된 관심물체들의 양/음의 시차에 의거하여 관심물체들의 깊이를 부여하고 주변 픽셀 정보를 이용하여 빈 공간을 채움으로써, 최소한의 수작업 시간을 통해 관심물체와 배경에 대한 깊이감 및 입체감을 부여하고 좌/우 이미지를 생성할 때 생기는 빈공간에 대한 문제를 해결함으로써 보다 빠른 시간에 한 장의 참조이미지에 대한 입체영상을 생성할 수 있도록 하는 것을 특징으로 하는 2차원이미지에 대한 입체영상생성방법을 제공하는 데에 있다.
도 1은 본 발명의 일 실시예에 따라 2차원이미지에 대한 입체영상을 생성하는 처리과정을 도시한 순서도,
도 2는 본 발명의 일 실시예에 따라 초기 2차원 참조이미지를 디스플레이한 결과를 나타낸 예시도,
도 3은 본 발명의 일 실시예에 따라 초기 2차원 참조이미지에 대한 소실점과 카메라의 시점을 설정한 결과를 나타낸 예시도,
도 4a 및 도 4b는 본 발명의 실시예에 따라 배경이미지의 빈 공간을 채운 결과를 나타낸 예시도들,
도 5a 및 도 5b는 본 발명의 실시예에 따라 투영평면을 기준으로 관심물체 및 배경이미지의 깊이를 설정하는 방법을 나타낸 예시도들,
도 6a 및 도 6b는 본 발명의 실시예에 따라 관심물체에 1차적인 입체감이 부여되는 원리를 설명하기 위한 설명도들,
도 7은 본 발명이 실시예에 따라 관심물체에 2차적인 입체감을 부여한 결과를 나타낸 예시도,
도 8a 내지 도 8c는 본 발명의 실시예에 따라 2차원참조이미지에 대한 입체영상을 생성한 결과를 나타낸 예시도들.
이와 같은 목적을 달성하기 위해 본 발명에서 제공하는 2차원이미지에 대한 입체영상생성방법은 외부에서 입력되는 한 장의 2차원 참조이미지와, 임의의 2차원 참조이미지에 대한 입체영상을 생성하기 위해 기 설정된 뷰잉인자들의 초기상태를 디스플레이하는 제1 과정과; 상기 뷰잉인자들을 상기 제1 과정에서 입력된 2차원 참조이미지에 대한 입체영상을 생성하기 위한 값으로 설정하는 제2 과정과; 상기 참조이미지에 포함된 관심물체들을 상기 참조이미지로부터 분리하고, 상기 관심물체들이 분리되고 남은 배경이미지를 편집하여 상기 관심물체들이 분리된 빈 공간을 채우는 제3 과정과; 사용자의 조작에 의해 설정된 상기 관심물체들의 위치정보를 판독한 후, 기 설정되어 상기 제1 과정에서 디스플레이된 투영평면과 상기 관심물체들의 위치정보의 전후관계에 의거하여 해당 관심물체들 각각에 1차적인 입체감을 부여하고, 그 관심물체들을 상기 제3 과정에서 생성된 배경이미지 상에 표시하는 제4 과정과; 기 설정된 소정의 기본 프리미티브들의 깊이값에 의해 상기 제4 과정에서 배경이미지 상에 표시된 관심물체들 각각에 대한 깊이값을 설정하여 그 관심물체들에 대한 2차적인 입체감을 표현하는 제5 과정과; 상기 제2 과정에서 설정된뷰잉인자들 중 하나인 시점을 좌/우로 이동하여 상기 제3 내지 제5 과정에서 생성된 결과이미지에 대한 좌/우 이미지를 생성하는 제6 과정과; 상기 제6 과정에서 생성된 좌/우 이미지를 합성하여 디스플레이하는 제7 과정;을 포함하는 것을 특징으로 한다.
이하, 본 발명에서 제공하는 2차원이미지에 대한 입체영상생성방법에 대한 바람직한 실시예를 첨부된 도면에 의거하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따라 2차원이미지에 대한 입체영상을 생성하는 처리과정을 도시한 순서도이다.
도 1을 참조하면, 본 발명의 실시예에 따라 2차원 참조이미지에 대한 입체영상을 생성하기 위한 처리 과정은 다음과 같다. 우선, 외부에서 한 장의 2차원 참조이미지가 입력되면(s110), 그 2차원 참조이미지와, 임의의 2차원 참조이미지에 대한 입체영상을 생성하기 위해 기 설정된 뷰잉인자들의 초기상태를 디스플레이한다(s120).
이 때, 2차원 참조이미지는 그 참조이미지에 포함된 관심물체들과 배경이미지를 나타내는 각각의 파일들(예컨대, bmp 또는 ppm)을 포함하는 파일형태(예컨대, info)로 제공되는데, 예를 들어, 임의의 프레임(frame)에 관심물체가 2개 포함된다면, 이 때의 참조이미지 파일(ex001.info)에는 전체이미지를 나타내는 파일(ex001.bmp)과, 제1 관심물체를 나타내는 파일(ex001_01.bmp)과, 제2 관심물체를 나타내는 파일(ex001_02.bmp)과, 배경이미지를 나타내는 파일(ex001_99.bmp)이 포함될 것이다.
한편, 도 2는 본 발명의 일 실시예에 따라 초기 2차원 참조이미지를 디스플레이한 결과를 나타낸 예시도로서, 상기 과정(s120)의 처리결과에 대한 예시도를 나타내었다. 도 2를 참조하면, 입체영상을 생성하기 위한 소정의 어플리케이션에서 디스플레이영역은 화면의 우측에 위치한 주 디스플레이영역(A)과, 화면의 좌측에 위치한 보조 디스플레이영역(B)을 포함하는데, 주 디스플레이영역(A)에는 상기 과정(s110)에서 입력된 2차원 참조이미지와, 그 참조이미지에 대한 소실점을 설정하기 위한 기준점들을 디스플레이하였고, 보조 디스플레이영역(B)에는 기 설정된 투영평면 및 카메라의 시점을 설정하기 위한 기준점을 디스플레이하였다. 주 디스플레이영역(A)의 중앙부에 디스플레이된 5개의 점 중 가운데 있는 점이 소실점을 나타내기 위한 점이고, 그 주변에 있는 점이 내부 직사각형을 나타내기 위한 점이다. 사용자는 마우스 또는 키보드 등과 같은 사용자 인터페이스를 이용하여 이러한 기준점들을 이동시킴으로써, 소실점을 설정할 수가 있다. 그러면, 보조 디스플레이영역(B)에 표시된 기준점들도 주 디스플레이 영역(A)에서 변동된 위치정보에 의해 연동하게 된다. 보조 디스플레이영역(B)에서 화면 중간 아래부분에 표시된 굵은 선(C)이 투영평면을 나타낸다.
이와 같이 2차원 참조이미지의 입력에 따라 그 참조이미지에 대한 입체영상을 생성하기 위한 초기화면을 디스플레이하였으면(s120), 사용자의 선택정보에 의해 상기 과정(s110)에서 입력된 2차원 참조이미지에 대한 뷰잉인자를 설정한다(s130).
이 때, 뷰잉인자는 도 2의 주 디스플레이영역(A)에 표시된 5개의 기준점을이용하여 설정되며, 그 종류는 소실점 및 내부 직사각형과, 그에 따른 3차원 입체공간인 직사각기둥의 좌표 및 카메라의 시점을 포함한다. 이러한 뷰잉인자의 종류 및 그들 각각의 특성은 이미지 처리 분야에서 이미 공지된 개념이므로, 구체적인 설명은 생략한다. 다만, 그 설정방법에 있어서, 소실점은 사용자의 선택정보에 의해 설정하고, 카메라의 시점은 상기 소실점과 평행하고 도 2의 보조 디스플레이영역(B)에 표시된 투영평면(C)에 수직인 위치에 설정한다.
도 3은 본 발명의 일 실시예에 따라 초기 2차원 참조이미지에 대한 소실점과 카메라의 시점을 설정한 결과를 나타낸 예시도로서, 상기 과정(s130)에서 설정된 뷰잉인자 중 소실점과 카메라의 시점을 나타내었다.
이와 같이 뷰잉인자에 대한 설정이 끝나면(s130), 상기 디스플레이된 참조이미지로부터 관심물체들을 분리한 후(s140), 나머지 배경이미지를 편집하여 상기 관심물체들이 분리된 빈 공간을 채운다(s150).
예를 들어, 해당 인포파일에 포함된 관심물체들과 배경이미지 각각의 파일들 중 분리하고자 하는 관심물체를 나타내는 파일을 선택하면, 해당 관심물체가 지워지고, 그 공간이 빈 공간으로 표시된다. 따라서, 상기 과정(s150)에서 그 빈공간을 채우는 것이다.
이 때, 빈 공간은 새로운 시점에서 이미지를 생성할 때 모두 나타나는 것이 아니라 관심물체 주위에서만 조금 보여지기 때문에, 빈 공간의 외곽에 대해서만 자연스럽게 채워지면 되는데, 이와 같이 빈 공간을 채우기 위해서는 다양한 방법들이 사용될 수 있다. 즉, 빈 공간의 좌/우에 인접한 픽셀의 색을 평균하여 빈 공간을채우는 방법, 빈 공간의 상/하에 인접한 픽셀의 색을 평균하여 빈 공간을 채우는 방법, 빈 공간의 주변에 인접한 8개의 픽셀의 색을 평균하여 빈 공간을 채우는 방법 및 빈 공간의 주변에 인접한 8개의 픽셀 중 임의의 한 픽셀을 선택하여 빈 공간을 채우고, 그 인접 픽셀들을 재배치하는 방법(랜덤 방법) 중 어느 하나의 방법을 선택하여 적용하는 것이 가능하다. 그런데, 일반적으로 랜덤 방법으로 빈 공간을 채우는 것이 가장 좋은 결과 이미지를 생성할 수 있다.
도 4a 및 도 4b는 본 발명의 실시예에 따라 배경이미지의 빈 공간을 채운 결과를 나타낸 예시도들로서, 도 4a는 상기 방법들 중 랜덤 방법으로 빈 공간을 채운 경우에 대한 예를 나타내고, 도 4b는 상기 방법들 중 빈 공간의 좌/우에 인접한 픽셀을 평균하여 빈 공간을 채운 경우에 대한 예를 나타낸다.
이와 같이 배경이미지를 재구성하였으면, 상기 과정(s140)에서 분리한 관심물체들 각각에 대하여 입체감을 부여한 후, 그 관심물체들을 배경이미지 상에 디스플레이 하는 과정을 수행한다. 즉, 관심물체들 각각에 1차적인 입체감을 부여하는 과정(s160)을 수행한다. 이 때, 관심물체들 각각에 1차적인 입체감을 부여하기 위해서는 도 2의 보조 디스플레이영역에 디스플레이된 투영평면을 활용한다. 즉, 사용자가 관심물체들 간의 전후관계를 고려하여 상기 관심물체들에 대응되는 가상이미지들을 상기 투영평면의 앞/뒤 소정위치에 배치하면, 그 위치정보에 의거하여 해당 관심물체들 각각에 1차적인 입체감을 부여한 후 그 관심물체들을 배경이미지 상에 표시한다.
도 5a 및 도 5b는 본 발명의 실시예에 따라 투영평면을 기준으로 관심물체및 배경이미지의 깊이를 설정하는 방법을 나타낸 예시도들로서, 도 5a는 관심물체 및 배경이미지의 초기 깊이를 나타내고, 도 5b는 사용자의 선택에 의해 각 관심물체 및 배경이미지의 깊이가 설정된 상태를 나타낸다. 즉, 초기에는 도 5a에 도시된 바와 같이 각 관심물체 및 배경이미지의 깊이가 일정하게 디스플레이되지만, 도 5b에 도시된 바와 같이 각 관심물체 및 배경이미지와 대응되는 가상이미지들(막대모양)을 사용자가 이동시키면, 그 위치정보에 의해 각 관심물체 및 배경이미지들에 1차적인 입체감이 부여된다. 예를 들어, 투영평면에 해당되는 가상이미지와, 각 관심물체 및 배경이미지에 대응되는 가상이미지들의 전/후 위치관계를 고려하여, 투영평면에 해당되는 가상이미지 보다 뒤에 위치한 관심물체 또는 배경이미지는 오목한 형태의 입체감이 부여되도록 하고, 투영평면에 해당되는 가상이미지 보다 앞에 위치한 관심물체 또는 배경이미지는 볼록한 형태의 입체감이 부여되도록 한다.
도 6a 및 도 6b는 본 발명의 실시예에 따라 관심물체에 1차적인 입체감이 부여되는 원리를 설명하기 위한 설명도들로서, 도 5b와 같이 관심물체 및 배경이미지의 깊이가 이동될 경우, 그 관심물체 및 배경이미지들 각각에 1차적인 입체감이 부여되는 원리를 설명하고 있다.
즉, 투영평면의 앞쪽에 위치한 관심물체는 양의 시차에 의해 입체영상 생성시 뒤로 들어가 보이고, 투영평면의 뒤쪽에 위치한 관심물체는 음의 시차에 의해 입체영상 생성시 앞으로 튀어나와 보이는 입체감이 부여되는데, 도 6a는 관심물체가 투영평면의 앞쪽에 위치하는 경우 발생되는 양의 시차의 원리를 나타내고, 도 6b는 관심물체가 투영평면의 뒤쪽에 위치하는 경우 발생되는 음의 시차의 원리를나타낸다. 도 6a 및 도 6b에서, 참조번호 61은 좌측시점을 나타내고, 참조번호 62는 우측 시점을 나타내고, 참조번호 63은 투영평면을 나타내고, 참조번호 64는 투영평면(63)의 앞쪽에 위치한 관심물체를 나타내고, 참조번호 65는 투영평면(63)의 뒤쪽에 위치한 관심물체를 나타낸다.
이 때, 지나친 깊이의 변화는 사람들로 하여금 관심물체가 배경보다 더 들어가 보이거나 너무 앞으로 튀어나와 허공에 떠 있는 듯한 어색함을 느끼게 할 수 있으므로, 관심물체간의 전/후 관계를 고려하여 조금씩 변화를 주는 것이 적당하다.
이와 같이 관심물체들 각각의 깊이 조절에 의해 각 관심물체들에 1차적인 입체감을 부여하였으면, 그 관심물체들을 좀 더 입체감 있게 표현하기 위해 기본 프리미티브를 활용하여 관심물체들에게 2차적인 입체감 부여하는 과정(s170)을 수행한다.
기본 프리미티브란 물체를 표현하는데 사용되는 기본도형, 모양들을 의미하는데, 여기서는 원뿔, 타원체, 평면 등 관심물체의 깊이값을 지정하는데 사용되는 기하 물체를 말하며, 예상되는 관심물체의 형태에 대한 기본 프리미티브를 미리 설정하여 사용한다.
따라서, 기 설정된 소정의 기본 프리미티브들 중 각 관심물체들에 적용하고자 하는 기본 프리미티브들을 사용자가 선택하면, 상기 과정(s170)에서는 그 기본 프리미티브의 깊이값을 해당 관심물체의 깊이값에 적용하여 각 관심물체들에 대한 2차적인 입체감을 표현하도록 한다.
도 7은 본 발명이 실시예에 따라 관심물체에 2차적인 입체감을 부여한 결과를 나타낸 예시도로서, 주 디스플레이영역(A)에 디스플레이된 3명의 사람들(관심물체들) 중 좌측에 위치한 사람에 대하여 2차적인 입체감을 부여한 결과를 보조 디스플레이영역(B)에 나타내었다.
그런데, 상기 과정(s170)과 같이 자동으로 기본 프리미티브의 값을 관심물체의 깊이 값에 적용할 경우, 그 관심물체의 자세한 부분에 대한 입체감 표현이 안되는 경우가 발생할 수 있다. 따라서, 본 발명에서는 이를 보완하기 위해, 사용자가 상기 과정(s170)에서 입체감이 표현된 관심물체의 소정영역을 직사각형 형태로 선택하면, 그 직사각형 형태의 소정영역에 최대의 크기로 접하는 타원의 모양으로 상기 소정 영역의 깊이를 가감하는 과정을 선택적으로 수행할 수 있도록 하였다.
이 때, 사용자에 의해 선택된 소정의 영역에 대하여 깊이를 가감하는 방법은 선택된 타원 위에서 사용자에 의해 조절되는 높이를 가지는 타원체를 정의하여 해당 화소에서의 높이를 사용하여 깊이 정보를 부여하도록 한다.
또한, 한 장의 2차원 참조이미지에 의해 소실점을 선택한 후, 그 소실점에 의해 입체영상을 생성함으로써 발생할 수 있는 오류를 최소화하기 위해, 상기 관심물체에 대한 이미지를 텍스쳐 형태로 생성한 후, 그 텍스쳐 형태의 이미지를 다면체 모델에 투영시켜서, 오차를 보정하는 과정을 선택적으로 수행할 수도 있다.
이 때, 이미지를 '텍스쳐 형태로 생성한다'는 것은 컴퓨터 그래픽스 분야에서 사용되는 렌더링 기법-3D 이미지를 생성하는 방법-에서 사용할 수 있는 형태로 저장하는 것을 의미한다. 이처럼 투영 텍스쳐 형태의 이미지를 다면체 모델에 투영시킬 경우 보다 자연스러운 이미지를 생성할 수 있다는 효과가 있다.
이와 같이 하여 상기 과정(s110)에서 입력된 2차원 참조이미지에 포함된 관심물체 및 배경 이미지들에 대한 편집이 끝나면, 상기 과정(s130)에서 설정된 뷰잉인자들 중 하나인 카메라의 시점을 좌/우로 이동하여 입체영상 생성을 위한 좌/우 이미지를 생성한다(s180). 이 때, 카메라의 시점을 좌측으로 옮기면, 투영평면을 기준으로 앞에 위치한 물체들은 상대적으로 우측으로 움직인 것처럼 보이고, 투영평면을 기준으로 뒤에 위치한 물체들은 좌측으로 움직인 것처럼 보인다. 카메라의 시점을 우측으로 옮기면 이와 반대 현상이 나타난다.
이처럼 좌/우 이미지를 생성하였으면, 그 좌/우 이미지를 각각 한줄씩 번갈아 스캔하여 상기 좌/우 이미지들을 합성한 후(s190), 그 합성 이미지를 입체안경이나 입체디스플레이에 적합한 형식으로 디스플레이한다(s200). 이 때, 좌/우 이미지를 합성하여 화면에 입체적으로 디스플레이하는 구체적인 방법 및 원리들은 일반적인 컴퓨터 그래픽스 교재(예컨대, D. Hearn and M. Baker, Computer Graphics: C Version, 2nd Ed., Prentice Hall, 1997.)에 게재되어 있는 보편적인 기술이다.
도 8a 내지 도 8c는 본 발명의 실시예에 따라 2차원참조이미지에 대한 입체영상을 생성한 결과를 나타낸 예시도들이다. 즉, 도 8a 내지 도 8c는 좌/우 이미지를 생성한 후 그 좌/우 이미지를 한 스캔라인 건너 도시한 이미지들로서, 특수 안경을 쓰고 보면 입체적으로 보인다. 도 8a는 양쪽 두 사람은 앞으로 튀어나오고 가운데 사람은 뒤로 들어가게 한 영상이고, 도 8b는 세 사람을 모두 뒤로 들어가게 한 영상이고, 도 8c는 세 사람을 모두 앞으로 나온 것처럼 보이게 한 영상이다.
이상의 설명은 하나의 실시예를 설명한 것에 불과한 것으로서, 본 발명은 상술한 실시예에 한정되지 않으며 첨부한 특허청구범위 내에서 다양하게 변경 가능하다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소들의 형상 및 구조는 변형하여 실시할 수 있는 것이다.
상기 본 발명에서 제공하는 2차원이미지에 대한 입체영상생성방법은 한 장의 참조이미지에 포함된 관심물체들의 양/음의 시차에 의거하여 관심물체들의 깊이를 부여하고, 그 관심물체들 각각에 프리미티브를 적용함으로써 관심물체들에 대한 입체감을 부여한 후, 그 관심물체가 빠진 배경이미지를 편집하는 과정을 수행한다. 따라서, 본 발명은 최소한의 수작업을 통해 이미지 왜곡을 최소화한 입체영상을 생성할 수 있다는 효과가 있다. 즉, 보다 빠른 시간에 한 장의 참조이미지에 대한 입체영상을 생성할 수 있으며, 이로 인해, 영화나 동영상에 대한 입체영상화를 위한 기술분야에서 유용하게 활용될 수 있다는 효과가 있다.

Claims (9)

  1. 외부에서 입력되는 한 장의 2차원 참조이미지와, 임의의 2차원 참조이미지에 대한 입체영상을 생성하기 위해 기 설정된 뷰잉인자들의 초기상태를 디스플레이하는 제1 과정과,
    상기 뷰잉인자들을 상기 제1 과정에서 입력된 2차원 참조이미지에 대한 입체영상을 생성하기 위한 값으로 설정하는 제2 과정과,
    상기 참조이미지에 포함된 관심물체들을 상기 참조이미지로부터 분리하고, 상기 관심물체들이 분리되고 남은 배경이미지를 편집하여 상기 관심물체들이 분리된 빈 공간을 채우는 제3 과정과,
    사용자의 조작에 의해 설정된 상기 관심물체들의 위치정보를 판독한 후, 기 설정되어 상기 제1 과정에서 디스플레이된 투영평면과 상기 관심물체들의 위치정보의 전후관계에 의거하여 해당 관심물체들 각각에 1차적인 입체감을 부여하고, 그 관심물체들을 상기 제3 과정에서 생성된 배경이미지 상에 표시하는 제4 과정과,
    기 설정된 소정의 기본 프리미티브들의 깊이값에 의해 상기 제4 과정에서 배경이미지 상에 표시된 관심물체들 각각에 대한 깊이값을 설정하여 그 관심물체들에 대한 2차적인 입체감을 표현하는 제5 과정과,
    상기 제2 과정에서 설정된 뷰잉인자들 중 하나인 시점을 좌/우로 이동하여 상기 제3 내지 제5 과정에서 생성된 결과이미지에 대한 좌/우 이미지를 생성하는 제6 과정을 포함하는 것을 특징으로 하는 2차원이미지에 대한 입체영상생성방법.
  2. 제1항에 있어서,
    상기 제5 과정 수행결과로 2차적인 입체감이 표현된 관심물체의 소정영역이 직사각형 형태로 선택되면, 그 직사각형 형태의 소정영역에 최대의 크기로 접하는 타원의 모양으로 상기 소정영역의 깊이를 가감하는 제5-1 과정을 더 포함하는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
  3. 제1항 또는 제2항에 있어서,
    상기 관심물체에 대한 이미지를 텍스쳐 형태로 생성한 후, 그 텍스쳐 형태의 이미지를 다면체 모델에 투영시켜서, 오차를 보정하는 제5-2 과정을 더 포함하는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
  4. 제1항에 있어서, 상기 제1 과정은
    주 디스플레이영역에 2차원 참조이미지와, 그 참조이미지에 대한 소실점을 설정하기 위한 기준점을 디스플레이하고,
    보조 디스플레이영역에 기 설정된 투영평면과, 카메라의 시점을 설정하기 위한 기준점을 디스플레이하는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
  5. 제1항에 있어서, 상기 제3 과정은
    상기 빈 공간의 좌/우에 인접한 픽셀의 색을 평균하여 상기 빈 공간을 채우는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
  6. 제1항에 있어서, 상기 제3 과정은
    상기 빈 공간의 상/하에 인접한 픽셀의 색을 평균하여 상기 빈 공간을 채우는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
  7. 제1항에 있어서, 상기 제3 과정은
    상기 빈 공간의 주변에 인접한 8개의 픽셀의 색을 평균하여 상기 빈 공간을 채우는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
  8. 제1항에 있어서, 상기 제3 과정은
    상기 빈 공간의 주변에 인접한 8개의 픽셀 중 임의의 한 픽셀을 선택하여 상기 빈 공간을 채우고, 그 인접 픽셀들을 재배치하는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
  9. 제5항 내지 제9항 중 어느 한 항에 있어서, 상기 제3 과정은
    상기 빈 공간의 외관에 대해서만 빈 공간을 자연스럽게 채우는 것을 특징으로 하는 2차원 이미지에 대한 입체영상생성방법.
KR10-2002-0053937A 2002-09-06 2002-09-06 2차원이미지에 대한 입체영상생성방법 KR100436904B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0053937A KR100436904B1 (ko) 2002-09-06 2002-09-06 2차원이미지에 대한 입체영상생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0053937A KR100436904B1 (ko) 2002-09-06 2002-09-06 2차원이미지에 대한 입체영상생성방법

Publications (2)

Publication Number Publication Date
KR20040022100A KR20040022100A (ko) 2004-03-11
KR100436904B1 true KR100436904B1 (ko) 2004-06-23

Family

ID=37326040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0053937A KR100436904B1 (ko) 2002-09-06 2002-09-06 2차원이미지에 대한 입체영상생성방법

Country Status (1)

Country Link
KR (1) KR100436904B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101005015B1 (ko) 2008-10-27 2010-12-30 한국전자통신연구원 관심 영역 깊이 정보 기반의 3차원 방송 서비스 방법 및 장치
KR101731113B1 (ko) * 2010-08-25 2017-04-28 엘지디스플레이 주식회사 2d-3d 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
US10515440B2 (en) 2017-08-30 2019-12-24 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
KR100711264B1 (ko) * 2005-05-03 2007-04-25 삼성전자주식회사 전자기기 및 그 제어방법
KR101288971B1 (ko) 2007-02-16 2013-07-24 삼성전자주식회사 모델링 방법 및 장치
KR100957129B1 (ko) * 2008-06-12 2010-05-11 성영석 영상 변환 방법 및 장치
KR101166719B1 (ko) 2008-12-22 2012-07-19 한국전자통신연구원 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법
KR101659576B1 (ko) 2009-02-17 2016-09-30 삼성전자주식회사 영상 처리 방법 및 장치
KR101539232B1 (ko) * 2009-02-20 2015-07-24 삼성전자주식회사 3차원 그래픽 생성 방법 및 장치
JP5789518B2 (ja) 2009-02-17 2015-10-07 サムスン エレクトロニクス カンパニー リミテッド グラフィック画面処理方法及び装置
WO2012020977A2 (ko) * 2010-08-10 2012-02-16 삼성전자주식회사 영상 처리 장치 및 방법
KR102286573B1 (ko) * 2015-02-27 2021-08-06 한국전자통신연구원 깊이 맵 생성 장치 및 방법
KR102013917B1 (ko) 2017-06-28 2019-08-23 (주)다이브코어 Vr에서의 깊이 계층 이미지 표시장치 및 방법
CN107680169B (zh) * 2017-09-28 2021-05-11 宝琳创展科技(佛山)有限公司 在深度图添加曲面制作vr立体影像的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997049067A1 (en) * 1996-06-19 1997-12-24 Object Technology Licensing Corporation Object oriented method and system to draw 2d and 3d shapes onto a projection plane
US6025847A (en) * 1997-12-23 2000-02-15 Auto Desk, Inc. Three dimensional modeling system with visual feedback
KR20000041329A (ko) * 1998-12-22 2000-07-15 박남은 입체 영상 이미지 변환방법 및 그 장치
KR20010107403A (ko) * 2000-05-27 2001-12-07 윤덕용 소실선을 이용한 이미지 변환방법
KR20010106535A (ko) * 2000-04-26 2001-12-07 이승현 2차원 영상을 3차원 영상으로 변환하는 방법
KR20020054243A (ko) * 2000-12-27 2002-07-06 오길록 다중 영상을 이용한 대화형 모델 생성 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997049067A1 (en) * 1996-06-19 1997-12-24 Object Technology Licensing Corporation Object oriented method and system to draw 2d and 3d shapes onto a projection plane
US6025847A (en) * 1997-12-23 2000-02-15 Auto Desk, Inc. Three dimensional modeling system with visual feedback
KR20000041329A (ko) * 1998-12-22 2000-07-15 박남은 입체 영상 이미지 변환방법 및 그 장치
KR20010106535A (ko) * 2000-04-26 2001-12-07 이승현 2차원 영상을 3차원 영상으로 변환하는 방법
KR20010107403A (ko) * 2000-05-27 2001-12-07 윤덕용 소실선을 이용한 이미지 변환방법
KR20020054243A (ko) * 2000-12-27 2002-07-06 오길록 다중 영상을 이용한 대화형 모델 생성 장치 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101005015B1 (ko) 2008-10-27 2010-12-30 한국전자통신연구원 관심 영역 깊이 정보 기반의 3차원 방송 서비스 방법 및 장치
KR101731113B1 (ko) * 2010-08-25 2017-04-28 엘지디스플레이 주식회사 2d-3d 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
US10515440B2 (en) 2017-08-30 2019-12-24 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
US11062430B2 (en) 2017-08-30 2021-07-13 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
US11532075B2 (en) 2017-08-30 2022-12-20 Samsung Electronics Co., Ltd. Display apparatus for restoring high-frequency component of input image and image processing method thereof

Also Published As

Publication number Publication date
KR20040022100A (ko) 2004-03-11

Similar Documents

Publication Publication Date Title
US10652522B2 (en) Varying display content based on viewpoint
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR100436904B1 (ko) 2차원이미지에 대한 입체영상생성방법
US6417850B1 (en) Depth painting for 3-D rendering applications
US7643025B2 (en) Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US8947422B2 (en) Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
Basha et al. Stereo seam carving a geometrically consistent approach
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US9485497B2 (en) Systems and methods for converting two-dimensional images into three-dimensional images
US8791941B2 (en) Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion
US20120182403A1 (en) Stereoscopic imaging
WO2004107764A1 (ja) 画像表示装置及びプログラム
CN106415667A (zh) 具有增强的深度效果的计算机图形
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
JPH11514118A (ja) 立体画像の発生
JP2005165614A (ja) 画像合成装置および画像合成方法
JP2003091745A (ja) 三次元シーンでイメージベースのレンダリング情報を表現するための方法
EP1668919B1 (en) Stereoscopic imaging
JPH06222899A (ja) マルチウィンドウ表示方式
CN110120089B (zh) 一种基于裁剪边界优化的无缝纹理自动生成方法
KR100893855B1 (ko) 3차원 포그라운드와 2차원 백그라운드 결합 방법 및 3차원어플리케이션 엔진
Feldman et al. Interactive 2D to 3D stereoscopic image synthesis
JP2005004341A (ja) 画像表示装置およびコンピュータに画像表示機能を付与するプログラム
Okuya et al. Reproduction of perspective in cel animation 2D composition for real-time 3D rendering
Taha Using Cohen Sutherland Line Clipping Algorithm to Generate 3D Models from 2D

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee