KR102013917B1 - Vr에서의 깊이 계층 이미지 표시장치 및 방법 - Google Patents

Vr에서의 깊이 계층 이미지 표시장치 및 방법 Download PDF

Info

Publication number
KR102013917B1
KR102013917B1 KR1020180015051A KR20180015051A KR102013917B1 KR 102013917 B1 KR102013917 B1 KR 102013917B1 KR 1020180015051 A KR1020180015051 A KR 1020180015051A KR 20180015051 A KR20180015051 A KR 20180015051A KR 102013917 B1 KR102013917 B1 KR 102013917B1
Authority
KR
South Korea
Prior art keywords
image
depth
divided
virtual space
hierarchical
Prior art date
Application number
KR1020180015051A
Other languages
English (en)
Other versions
KR20190001896A (ko
Inventor
이지훈
Original Assignee
(주)다이브코어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)다이브코어 filed Critical (주)다이브코어
Publication of KR20190001896A publication Critical patent/KR20190001896A/ko
Application granted granted Critical
Publication of KR102013917B1 publication Critical patent/KR102013917B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

본 발명의 일 실시예에 따른 VR에서의 깊이 계층 이미지 표시장치는, 노 패럴랙스 포인트에 맞춰 촬영된 2D 이미지 및 공간영상을 입력받는 입력부; 상기 공간영상으로부터 3D 가상공간을 생성하는 가상공간 획득부; 상기 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득하는 깊이 계층 이미지 획득부; 및 상기 3D 가상공간 내에 상기 깊이 계층 이미지의 각 분할된 객체들을 깊이 순서에 따라 계층화하여 투영시키는 3D 투영부를 포함한다.

Description

VR에서의 깊이 계층 이미지 표시장치 및 방법{APPARTUS AND METHOD FOR DISPLAYING HIERARCHICAL DEPTH IMAGE IN VIRTUAL REALILTY}
본 발명은 VR에서의 2D 이미지를 입체감 및 깊이감 있게 표현할 수 있는 VR에서의 깊이 계층 이미지 표시장치 및 방법에 관한 것이다.
입체영상 표시장치는 양안시차방식(Stereoscopic technique) 복합시차지각방식(auto Stereoscopic technique)으로 나뉜다.
입체 영상 표시장치의 시장 활성화를 위한 최대 과제는 절대적으로 부족한 3D 콘텐츠 문제를 해결한다는 데 있다. 3D 콘텐츠를 직접 획득하는 방법으로 스테레오 카메라 두 대 이상의 다수 카메라를 사용하는 방법, 이미지와 함께 깊이정보를 획득하는 깊이(depth) 카메라 등을 사용하는 방법이 알려져 있다.
이러한 방법은 큰 획득 비용이 투입되어야 하고, 짧은 시간 내에 충분한 3D 콘텐츠를 확보할 수 없다. 3D 콘텐츠를 직접 획득하는 방법에서 발생하는 획득 비용이 적고 콘텐츠 확보 시간을 해결할 수 있는 방법으로, 기존의 2D 콘텐츠를 3D 콘텐츠로 변환하는 방법이 있다.
이 방법은 비용이 저렴하고 짧은 시간 내에 3D 콘텐츠 확보 문제를 해결할 수 있으나, 3D 영상의 입체감이 3D 콘텐츠를 직접 획득하는 방법에 비하여 많은 문제가 있다.
공개특허공보 제10-2004-0022100호(2004.03.11.)
본 발명은 2D 이미지 내의 객체들 간에 계층적 깊이를 획득 및 부여하여 2D 이미지를 뎁스맵 이미지로 가공하는 VR에서의 깊이 계층 이미지 표시장치 및 방법을 제공하는 데 그 목적이 있다.
또한, 본 발명은 노패럴랙스-포인트로 2D 객체와 가상공간을 촬영하고, 깊이정보를 다양한 방법으로 획득하고, 2D 객체를 가상공간에 정확히 배치하여 실감나는 VR 깊이영상을 구현할 수 있고, 저비용 고효율로 VR에서 깊이 계층 이미지를 구현할 수 있는 VR에서의 깊이 계층 이미지 표시장치 및 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 VR에서의 깊이 계층 이미지 표시장치는, 노 패럴랙스 포인트에 맞춰 촬영된 2D 이미지 및 공간영상을 입력받는 입력부; 상기 공간영상으로부터 3D 가상공간을 생성하는 가상공간 획득부; 상기 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득하는 깊이 계층 이미지 획득부; 및 상기 3D 가상공간 내에 상기 깊이 계층 이미지의 각 분할된 객체들을 깊이 순서에 따라 계층화하여 투영시키는 3D 투영부를 포함하고, 상기 깊이 계층 이미지 획득부는 상기 2D 이미지 내의 영역별 밝기값에 기초하여 상기 2D 이미지를 복수 개의 영역으로 분할한 후, 분할된 영역들 간의 주변 밝기값에 따른 순위를 결정한 후, 순위에 따라 분할된 각 영역에 깊이정보를 부여하여 상기 깊이 계층 이미지를 획득한다.
바람직하게는, 상기 3D 투영부는, 상기 깊이 계층 이미지의 분할된 각 객체를 상기 3D 가상공간의 시점과 일치시켜 투영하되, 상기 깊이 계층 이미지의 분할된 각 객체를 깊이 범위에 따라 스케일링함으로써 분할된 각 객체의 경계부가 상기 3D 가상공간의 시점에서 보았을 때 서로 일치하도록 투영할 수 있다.
바람직하게는, 상기 3D 투영부는, 상기 깊이 계층 이미지의 분할된 각 객체의 경계부를 안티-알리아싱 처리하여 투영할 수 있다.
삭제
삭제
삭제
바람직하게는, 상기 깊이 계층 이미지 획득부는, 콘트라스트 감도 함수를 이용하여 분할된 영역들 간의 상대적 주변 밝기값을 판단하고, 상기 상대적 주변 밝기값에 기초하여 분할된 각 영역들 간의 주변 밝기값에 따른 순위를 결정할 수 있다.
삭제
삭제
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 VR에서의 깊이 계층 이미지 표시방법은, (a) 노 패럴랙스 포인트에 맞춰 촬영된 2D 이미지 및 공간영상을 입력받는 단계; (b) 상기 공간영상으로부터 3D 가상공간을 생성하는 단계; (c) 상기 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득하는 단계; 및 (d) 상기 3D 가상공간 내에 상기 깊이 계층 이미지의 각 분할된 객체들을 깊이 순서에 따라 계층화하여 투영시키는 단계를 포함하고, 상기 (c) 단계는, 상기 2D 이미지 내의 영역별 밝기값에 기초하여 상기 2D 이미지를 복수 개의 영역으로 분할한 후, 분할된 영역들 간의 주변 밝기값에 따른 순위를 결정한 후, 순위에 따라 분할된 각 영역에 깊이정보를 부여하여 상기 깊이 계층 이미지를 획득한다.
삭제
상기 과제의 해결 수단은 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
따라서, 본 발명의 일 실시예에 따른 VR에서의 깊이 계층 이미지 표시장치 및 방법은 3D 가상공간 내에 투영된 2D 이미지를 사용자의 관찰 시점에 맞게 2D 이미지 내의 객체 마다 깊이 및 크기를 조절할 수 있고, 또한, 사용자의 관찰 시점의 변화에 따라 2D 이미지 내의 객체 마다 깊이 및 크기를 조절할 수 있으므로, 2D 이미지의 공간적 입체감 및 원근감을 실감나게 표현할 수 있다는 이점을 제공한다.
따라서, 상술한 이점을 통해 VR 기기 내에 펼쳐지는 가상의 3D 공간 내에서 웹툰 및 사진들에 입체감 및 생동감을 불어넣을 수 있다는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 VR에서의 깊이 계층 이미지 표시장치의 장치 블록도이다.
도 2는 도 1에 도시된 깊이 계층 이미지 획득부를 보다 상세하게 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시방법을 나타낸 방법 흐름도이다.
도 4는 도 3에 도시된 깊이 계층 이미지 생성과정을 보다 상세하게 나타낸 흐름도이다.
도 5는 가상공간영상부에서 공간영상을 스티치 처리한 예를 나타낸 예시도이다.
도 6의 (a) 및 (b)는 객체 이미지의 경계부를 추출한 예를 나타낸 예시도이다.
도 7는 객체 이미지들의 계층화 과정을 설명하기 위한 예시도이다.
도 8은 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리 변화에 따라 객체 이미지들 깊이 및 크기가 보정되는 예를 설명하기 위한 예시도이다.
도 9 내지 도 10은 도 1에 도시된 장치를 이용하여 획득된 깊이 계층 이미지가 VR 공간에서 실행된 예를 나타낸 예시도이다.
도 11은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도이다.
다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다. 더불어, 본 명세서에서 사용되는 용어 "클라이언트", "유저" 및 "사용자"는 종종 상호교환가능하게 사용될 수 있다. 더불어, 본 명세서에서 사용되는 용어 "컴포넌트" 및 "엘리먼트" 또한 종종 상호교환가능하게 사용될 수 있다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 VR에서의 계층 깊이 이미지 표시장치 및 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 VR에서의 깊이 계층 이미지 표시장치의 장치 블록도이고, 도 2는 도 1에 도시된 깊이 계층 이미지 획득부를 보다 상세하게 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시장치(100)는 입력부(200), 깊이 계층 이미지 획득부(300), 3D 가상공간 획득부(400), 3D 투영부(500)를 포함한다.
상기 입력부(200)는 전자 기기 등의 촬영장치에 의해 획득된 2D 이미지 및 공간영상을 입력받는데, 2D 이미지 및 공간영상은 노 패럴랙스 포인트(No Parallax Point)에 맞춰 촬영된 영상이다. 여기서, 공간영상이란 3D 가상공간을 만드는데 기초가 되는 영상으로서, 2D 이미지가 배치되는 배경 영상을 의미한다. 그리고 2D 이미지란 3D 가상공간에 배치되는 대상 이미지로서, 사람이나 동물이나 사물들의 이미지를 의미한다. 예를 들어, 어느 한 사람이 방안에 있는 경우를 가정하면, 사람의 영상이 2D 이미지가 되고 방의 주변 영상이 공간영상이 된다.
상기 가상공간 획득부(400)는 입력부(200)를 통해 입력된 공간영상으로부터 3D 가상공간을 생성한다.
이때, 3D 가상공간은 i) 360 3D 카메라로 촬영된 1장의 이미지로 생성될 수도 있고, ii) 임의의 공간에 복수 개의 좌/우로 배치된 360 3D 카메라들로 촬영된 공간영상을 펼침 과정(Stiching processing)을 통해 equirectangular 형태의 포맷으로 만든 후 3D 가상공간인 sphere projection가 생성될 수도 있으며, iii) 어안렌즈로 촬영된 이미지를 스티칭하여 생성될 수도 있다. 다만, 3D 가상공간의 기초가 되는 공간영상과 전술한 2D 이미지는 노 패럴랙스 포인트에 맞춰 촬영되어야 한다.
여기서 사용된 equirectangular 형태의 포맷은 스피어 프로젝션(sphere projection)을 생성하기 위한 하나의 방법이며, 스티칭 처리과정(Stiching processing)에서 다양한 프로젝션 방법을 선택적으로 사용하여 스피어 프로젝션(sphere projection)을 생성할 수도 있다.
여기서, 가상공간 획득부(400)에서 공간영상을 스티칭 처리한 예를 나타낸 예시도인 도 5를 참조하면, 공간영상은 스티칭 처리과정(Stiching processing)을 통해 복수 개의 분할된 이미지로 표시될 수 있다.
참고로, 렌즈에 따라서 스티칭 처리과정에 필요한 이미지의 개수는 달라질 수 있다.
다시, 도 2를 참조하면, 상기 깊이 계층 이미지 획득부(300)는 입력부(200)에서 입력된 2D 이미지에서 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득(제작)한다.
깊이 계층 이미지를 획득하는 방식은 다양할 수 있다.
우선, i) 깊이정보가 포함되어 있는 2D 이미지를 입력받은 후, 입력받은 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득할 수 있다. 사물을 촬영할 때 쵤영한 이미지 내의 객체의 각 영역에서 깊이정보를 획득하여 이를 이미지와 함께 저장할 수 있는데, 깊이정보가 포함되어 있는 2D 이미지를 입력받으면, 그 2D 이미지에 포함되어 있는 깊이정보를 이용하여 손쉽게 깊이 계층 이미지를 획득할 수 있다.
ii) 깊이정보가 포함되어 있지 않은 2D 이미지를 입력받은 경우에는, 2D 이미지의 2D 이미지 내의 영역별 밝기값에 기초하여 상기 2D 이미지 내의 객체들의 경계부를 추출한 후, 추출된 객체 경계부들의 주변 밝기값에 따라 객체들 간 깊이를 계층화함으로써 깊이 계층 이미지를 획득할 수 있다.
iii) 그리고, 2D 이미지를 수동으로 깊이 범위에 따라 복수 개의 영역으로 분할한 후, 각 영역의 깊이를 직접 입력함으로써 깊이 계층 이미지를 획득할 수 있다.
본 발명에서 깊이 계층 이미지란 깊이를 여러 범위로 나누고, 깊이 범위에 따라 2D 이미지의 영역을 분할한 후, 분할된 영역을 깊이 순서에 따라 계층화한 이미를 의미한다. 위의 세가지 방식외에도 다른 방식으로 깊이 계층 이미지를 획득할 수도 있으므로, 본 발명에서는 어떠한 방식을 이용하던 분할된 영역이 깊이 순서에 따라 계층화된 깊이 계층 이미지를 획득하고, 이렇게 획득된 이미지를 3D 가상공간에 투영할 수 있다.
보다 구체적으로, 상기 깊이 계층 이미지 획득부(300)는 객체 추출부(310), 계층화부(320), 이미지 렌더링부(330) 및 깊이 계층 이미지 제작부(340)를 포함할 수 있다.
상기 객체 추출부(310)는 2D 이미지 내의 객체들을 깊이 범위에 따라 복수 개의 영역으로 분할한다.
2D 이미지에 깊이정보가 포함된 경우, 객체 추출부(310)는 2D 이미지 내의 각 영역을 깊이 범위 단계에 따라 분할할 수 있다. 예를 들어, 3개의 깊이 범위 단계로 나눈 경우, 객체 추출부(310)는 1단계 깊이, 2단계 깊이, 3단계 깊이를 가진 지점들을 각각 그룹핑하여 2D 이미지를 복수 개로 분할할 수 있다. 이러한 깊이 범위의 단계는 2개 이상으로 적절하게 결정될 수 있다. 도 7에서는 5 단계로 깊이 범위가 결정되었지만, 이에 한정되는 것은 아니며 적절한 개수의 단계로 결정될 수 있음은 물론이다.
한편, 다른 일예로, 2D 이미지에 깊이정보가 포함되지 않은 경우, 객체 추출부(310)는 2D 이미지에서 각 픽셀들의 색 성분 값등을 이용하여 2D 이미지 내의 객체들을 깊이 범위에 따라 분할할 수 있다.
예를 들어, 객체 추출부(310)는 2D 이미지를 복수 개의 영역으로 분할한 후, 분할 영역의 밝기값들 간의 상관관계를 이용하여 객체 경계부를 추출한 후, 추출한 객체 경계부에 상응하는 객체 이미지를 추출한다(도 6 참조).
참고로, 이미지의 엣지(edge) 성분은 픽셀의 색 성분 값(R, G, B)이 급격하게 바뀌는 부분으로, 로컬 코스트 값(Local Coast)에 의해 계산될 수 있다. 도 6의 (a)는 객체 이미지의 전체 경계부를 추출한 일 예이고, (b)는 객체 이미지 중 관심영역의 경계부를 추출한 일 예이다.
다른 일 예로, 객체 추출부(310)는 분할영역의 색상 유사도 및 픽셀 거리 등에 기초하여 각 픽셀간의 결합력을 계산한 다음, 결합력이 높은 픽셀끼리 그룹핑하여 객체 경계부를 추출한 후, 추출한 객체 경계부를 이용하여 객체 이미지들을 추출할 수 있다.
상기 '색상유사도'는 상기 픽셀 쌍 내의 대비되는 두 개 픽셀의 색상 값의 유사도를 나타내고, 상기 '픽셀간거리'는 결합력을 구하는 두 개 픽셀 간의 상대적 거리를 나타낸다.
다음으로, 계층화부(320)는, 도 7에서처럼, 분할된 복수 개의 영역(객체)을 깊이 순서에 따라 계층화한다.
2D 이미지 내에 깊이 정보가 포함된 경우, 계층화부(320)는 깊이 범위에 따라 분할된 복수 개의 객체들을 그 깊이 순서에 따라 계층화할 수 있다.
한편, 다른 일예로, 2D 이미지 내에 깊이 정보가 포함되지 않은 경우, 계층화부(320)는 객체 경계부를 이용하여 추출된 객체 이미지들 간의 주변 밝기값에 따른 순위를 결정한 후, 순위에 따라 임의의 깊이정보를 부여할 수 있다.
참고로, 상기 임의의 깊이정보는 자동 또는 수동(작업자의 입력값)으로 부여될 수 있다.
상기 깊이정보는 후술하는 이미지 렌더링부(330)에서 객체 이미지를 Z축 방향으로 이동하는 거리정보로 환산될 수 있다. 보다 상세한 설명은 후술하도록 한다.
여기서, 상기 계층화부(320)는 콘트라스트 감도 함수를 이용하여 객체 이미지들 간의 상대적 주변 밝기값을 판단할 수 있고, 상대적 주변 밝기값에 기초하여 객체 이미지들 주변 밝기값에 따른 순위(계층화)를 결정할 수 있다.
예컨대, 도 7을 참조하면, 2D 이미지 내에 12개의 객체 이미지들(m1~m12)이 존재할 경우, 12개의 객체 이미지들(m1~m12)의 상대적 주변 밝기값을 판단한다.
판단 결과, 12개의 객체 이미지들의 주변 밝기값이 제1 그룹(m4, m5, m6, m7, m12), 제2 그룹(m2, m3, m8, m10, m11) 및 제3 그룹(나머지 객체 이미지)로 나타낼 수 있다. 예컨대, 제1 그룹이 → 제2 그룹 → 제3 그룹의 순서로 주변 밝기값이 낮다면, 제1 그룹(m2, m3, m8, m10, m11)은 1순위로 선정되고, 제2 그룹(m2, m3, m8, m10, m11)은 2 순위로 선정되고, 제3 그룹은 제3 순위로 선정될 수 있다.
또한, 상기 계층화부(320)는 상대적 주변 밝기값(△C)의 크기에 따른 깊이정보(△Z)를 부여한다.
예를 들어, 제1 그룹에 속한 객체 이미지들의 상대적 주변 밝기값이 △C1이고, 제2 그룹에 속한 객체 이미지들의 상대적 주변 밝기값이 △C3이고, 제3 그룹에 속한 객체 이미지들의 상대적 주변 밝기값이 △C7이라고 가정하면, 제1 그룹을 기준으로, 제2 그룹의 객체 이미지들은 △C3 - △C1에 상응하는 깊이정보(△Z1)가 부여되고, 제3 그룹의 객체 이미지들은 △C7 - △C3에 상응하는 깊이정보(△Z2)가 부여되며, 여기서, 깊이정보는 후술하는 쉬프트 거리값일 수 있다.
다음으로, 이미지 렌더링부(330)는 분할된 객체들을 깊이 순서에 따라 3차원 맵핑 공간에서 Z축 방향으로 계층화되도록 렌더링(rendering) 작업을 수행한다.
또한, 이미지 렌더링부(330)는 객체 이미지의 주변 밝기값에 따른 순위 및 객체 이미지 별로 부여된 임의의 깊이정보(△Z)에 따라 객체 이미지들을 3차원 맵핑 공간에서 Z축 방향으로 계층화되도록 렌더링(rendering) 작업을 수행할 수 있다.
여기서, 깊이정보(△Z)는 Z축 방향으로 쉬프트되는 거리값을 나타내기 위한 정보일 수 있다.
상기 깊이 계층 이미지 제작부(340)는 이미지 렌더링부(330)에서 렌더링된 객체 이미지들을 포함하는 깊이 계층 이미지를 획득한다.
다음으로, 3D 투영부(500)는 가상공간 획득부(400)에서 생성된 3D 가상공간 내에 깊이 계층 이미의 각 분할된 객체들을 깊이 순서에 따라 투영시키는 기능을 한다.
이때, 3D 투영부(500)는 깊이 계층 이미지의 분할된 각 객체를 3D 가상공간의 시점과 일치시켜 투영하되, 깊이 계층 이미지의 분할된 각 객체를 깊이 범위에 따라 스케일링함으로써 분할된 각 객체의 경계부가 3D 가상공간의 시점에서 보았을 때 서로 일치하도록 투영할 수 있다.
이를 위해 3D 투영부(500)는 사용자의 관찰 시점을 검출한 후, 사용자의 관찰 시점과 상기 깊이 계층 이미지 간의 거리변화 또는 거리에 맞게 상기 객체들 간 깊이 및 상기 객체들의 크기를 스케일링할 수 있다.
또한, 3D 투영부(500)는 깊이정보에 따라 깊이 계층 이미지의 분할된 각 객체의 경계부를 안티-알리아싱(anti-alasing) 처리하거나 객체 이미지들 각각의 투명도를 조절하여 투영할 수 있다.
따라서, 3D 가상공간과 2D 이미지인 깊이 계층 이미지가 VR 상에서 실감나게 입체표현될 수 있다.
그 일 예로, 관찰자 시점과 깊이 계층 이미지 간의 거리 변화에 따라 객체 이미지들의 깊이 및 크기가 스케일링되는 예를 나타낸 도 8을 참조하면, 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리가 d1에서 d2로 가까워지면, 3D 투영부(500)는 깊이 계층 이미지 내의 객체 이미지들(m1, m2, m3, m4, m8, m9, m10, m11)의 깊이정보(△Z) 및 크기를 계층 순서에 맞게 조정하게 된다.
이때, 객체 이미지의 깊이정보(△Z) 및 크기의 보정값은 d1과 d2의 차(△d)에 비례할 수 있고, 계층과 계층 간의 깊이정보(△Z)는 서로 다른 값을 가질 수 있다.
예를 들어, 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리가 d1일 때, 제1 계층과 제2 계층 간의 깊이정보가 △Z1이고, 제2 계층과 제3 계층 간의 깊이정보가 △Z2라고 가정한다.
이후, 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리가 △d 만큼 짧아지면, 제1 계층과 제2 계층 간의 깊이정보는 △Z1→△Z3으로 보정되고, 제2 계층과 제3 계층 간의 깊이정보는 △Z2→△Z4로 보정된다. 또한, 깊이정보의 보정율 만큼 해당 계층의 객체의 이미지의 크기는 축소된다.
또한, 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리가 △d 만큼 짧아지면, 제1 계층에 위치한 객체 이미지들의 크기는 상대적으로 커질 수 있다.
상술한 보정과정을 통해 사용자는 관찰 시점에 맞는 원근감 및 입체감을 체감할 수 있고, 또한, 사용자의 관찰 시점에 따라 가변되는 원금감 및 입체감을 체감할 수 있다.
도 9 내지 도 10은 도 1에 도시된 장치를 이용하여 획득된 깊이 계층 이미지가 VR 공간에서 실행된 예를 나타낸 예시도이다.
도 9 내지 도 10을 참조하면, 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시장치(100)에서 획득된 깊이 계층 이미지는 3차원 입체 이미지가 아닌, 2D 이미지 내에서 분할된 각 객체 이미지마다 깊이를 부여함으로서, 관찰자의 관찰 시점에서 2D 이미지가 공간적 입체감 및 원근감을 갖도록 나타낸 이미지일 수 있다.
즉, 깊이 계층 이미지는 종래의 2D - 3D 가공장치와 같이, 복수 개의 2D 이미지를 이용하여 3D 이미지로 가공하는 것이 아니라, 1개의 2D 이미지 만을 이용하여 사용자 시점의 변화에 따라 2D 이미지의 분할된 영역을 깊이 범위의 순서에 맞게 배치하여 3D 가상공간에 투영함으로써 입체갑 및 원근감을 표현한 이미지이다.
한편, 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시장치(100)에서 생성된 깊이 계층 이미지는 안경방식이나 무안경 방식의 입체 영상 표시장치(VR 기기)에서 구현될 수 있다.
깊이 계층 이미지 표시장치(100)의 표시소자는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 및 유기발광다이오드소자(Organic Light Emitting Diode, OLED)와 같은 전계발광소자(Electroluminescence Device, EL), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다.
또한, 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시장치(100)는 VR(Virtual Reality) 기기와 연동되어, 깊이 계층 이미지를 가상의 3차원 공간에서 구현시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시장치(100)는 사용자 단말에서 수행될 수 있으며, 상기 사용자 단말은 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 또한, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시방법을 나타낸 방법 흐름도이다. 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시방법은 전술한 본 발명의 깊이 계층 이미지 표시 장치에서 수행되는 방법으로서 실질적으로 동일한 발명이므로 중복되는 설명은 생략하도록 한다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 깊이 계층 이미지 표시 방법(S700)은 입력부(200)에서 노 패럴랙스 포인트에 맞춰 촬영된 2D 이미지 및 공간영상을 입력받은 후, 3D 가상공간 획득부(400)에서 공간영상으로부터 3D 가상공간을 생성(S710)한다. 이후, 깊이 계층 이미지 획득부(300)에서 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득(S720)한다.
다음으로, 3D 투영부(500)에서 3D 가상공간 내에 깊이 계층 이미지의 각 분할된 객체들을 깊이 순서에 따라 계층화하여 투영(S730)한다.
도 4는 2D 이미지에 깊이정보가 포함되지 않은 경우의 깊이 계층 이미지를 획득하는 단계를 설명하는 흐름도이다.
도 4를 참조하면, 깊이 계층 이미지를 획득하는 방법(S720)은 먼저, 깊이 계층 이미지 획득부(300)에 2D 이미지가 입력(S721)되면, 객체 추출부(310)에서 2D 이미지를 복수 개의 영역으로 분할한 후, 분할 영역의 밝기값들 간의 상관관계를 이용하여 객체 경계부를 추출하거나 또는 분할영역의 색상 유사도 및 픽셀 거리 등에 기초하여 각 픽셀간의 결합력을 계산한 다음, 결합력이 높은 픽셀끼리 그룹핑하여 객체 경계부를 추출한 후, 추출한 객체 경계부를 이용하여 객체 이미지들을 추출(S722)한다.
이후, 깊이 계층 이미지 획득부(300)의 계층화부(320)에서 추출된 객체 이미지들 간의 주변 밝기값에 따른 순위를 결정한 후, 순위에 따라 임의의 깊이정보를 부여(S723)한다.
여기서, 상기 계층화부(320)는 콘트라스트 감도 함수를 이용하여 객체 이미지들 간의 상대적 주변 밝기값을 판단할 수 있고, 상대적 주변 밝기값에 기초하여 객체 이미지들 주변 밝기값에 따른 순위(계층화)를 결정할 수 있다.
예컨대, 도 7를 참조, 2D 이미지 내에 12개의 객체 이미지들(m1~m12)이 존재할 경우, 12개의 객체 이미지들(m1~m12)의 상대적 주변 밝기값을 판단한다.
판단 결과, 12개의 객체 이미지들의 주변 밝기값이 제1 그룹(m4, m5, m6, m7, m12), 제2 그룹(m2, m3, m8, m10, m11) 및 제3 그룹(나머지 객체 이미지)로 나타낼 수 있다. 예컨대, 제1 그룹이 → 제2 그룹 → 제3 그룹의 순서로 주변 밝기값이 낮다면, 제1 그룹(m2, m3, m8, m10, m11)은 1순위로 선정되고, 제2 그룹(m2, m3, m8, m10, m11)은 2 순위로 선정되고, 제3 그룹은 제3 순위로 선정될 수 있다.
또한, 상기 계층화부(320)는 상대적 주변 밝기값(△C)의 크기에 따른 깊이정보(△Z)를 부여한다.
예를 들어, 제1 그룹에 속한 객체 이미지들의 상대적 주변 밝기값이 △C1이고, 제2 그룹에 속한 객체 이미지들의 상대적 주변 밝기값이 △C3이고, 제3 그룹에 속한 객체 이미지들의 상대적 주변 밝기값이 △C7이라고 가정하면, 제1 그룹을 기준으로, 제2 그룹의 객체 이미지들은 △C3 - △C1에 상응하는 깊이정보(△Z1)가 부여되고, 제3 그룹의 객체 이미지들은 △C7 - △C3에 상응하는 깊이정보(△Z2)가 부여되며, 여기서, 깊이정보는 후술하는 쉬프트 거리값일 수 있다.
다음으로, 이미지 렌더링부(330)에서 객체 이미지의 주변 밝기값에 따른 순위 및 객체 이미지 별로 부여된 임의의 깊이정보(△Z)에 따라 객체 이미지들을 3차원 맵핑 공간에서 Z축 방향으로 계층화되도록 렌더링(rendering) 과정(S724)을 수행한다.
상기 깊이 계층 이미지 제작부(340)는 이미지 렌더링부(330)에서 렌더링(rendering)한 객체 이미지들을 포함하는 깊이 계층 이미지를 생성(획득)(S725)한다.
다음으로 S730 단계는 3D 투영부(500)에서 사용자의 관찰 시점을 검출한 후, 사용자의 관찰 시점과 상기 깊이 계층 이미지 간의 거리변화에 따라 상기 객체들 간 깊이 및 상기 객체들의 크기를 스케일링하는 단계일 수 있다.
또한, 상기 S730 단계는 3D 투영부(500)에서 깊이정보에 따라 각 객체의 경계부를 안티-알리아싱(anti-alasing) 처리하거나 객체 이미지들 각각의 투명도를 조절하는 단계를 포함할 수 있다.
그 일 예로, 사용자 시점과 깊이 계층 이미지 간의 거리 변화에 따라 객체 이미지들 깊이 및 크기가 보정되는 예를 나타낸 도 8을 참조하면, 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리가 d1에서 d2로 가까워지면, 3D 투영부(500)는 깊이 계층 이미지 내의 객체 이미지들(m1, m2, m3, m4, m8, m9, m10, m11)의 깊이정보(△Z) 및 크기를 계층 순서에 맞게 조정하게 된다.
이때, 객체 이미지의 깊이정보(△Z) 및 크기의 보정값은 d1과 d2의 차(△d)에 비례할 수 있고, 계층과 계층 간의 깊이정보(△Z)는 서로 다른 값을 가질 수 있다.
예를 들어, 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리가 d1일 때, 제1 계층과 제2 계층 간의 깊이정보가 △Z1이고, 제2 계층과 제3 계층 간의 깊이정보가 △Z2라고 가정한다.
이후, 사용자의 관찰 시점과 깊이 계층 이미지 간의 거리가 △d 만큼 짧아지면, 제1 계층과 제2 계층 간의 깊이정보는 △Z1→△Z3으로 보정되고, 제2 계층과 제3 계층 간의 깊이정보는 △Z2→△Z4로 보정된다. 또한, 깊이정보의 보정율 만큼 해당 계층의 객체의 이미지의 크기는 축소된다.
또한, 사용자 시점과 깊이 계층 이미지 간의 거리가 △d 만큼 짧아지면, 제1 계층에 위치한 객체 이미지들의 크기는 상대적으로 커질 수 있다.
상술한 스케일링 과정을 통해 사용자는 사용자의 관찰 시점 변화 및/또는 사용자의 관찰 시점에 맞게 깊이 계층 이미지의 공간적 입체감 및 원근감을 체감할 수 있다.
따라서, 본 발명의 일 실시예에 따른 VR에서의 깊이 계층 이미지 표시장치 및 방법은 3D 가상공간 내에 투영된 2D 이미지를 사용자의 관찰 시점에 맞게 2D 이미지 내의 객체 마다 깊이 및 크기를 조절할 수 있고, 또한, 사용자의 관찰 시점의 변화에 따라 2D 이미지 내의 객체 마다 깊이 및 크기를 조절할 수 있으므로, 2D 이미지의 공간적 입체감 및 원근감을 실감나게 표현할 수 있다는 이점을 제공한다.
따라서, 상술한 이점을 통해 VR 기기 내에 펼쳐지는 가상의 3D 공간 내에서 웹툰 및 사진들에 입체감 및 생동감을 불어넣을 수 있다는 이점이 있다.
도 11은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다.
메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.
여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다. 또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.
여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: VR에서의 깊이 계층 이미지 표시장치
200: 입력부
300: 깊이 계층 이미지 획득부
310: 객체 추출부
320: 계층화부
330: 이미지 렌더링부
340: 깊이 계층 이미지 제작부
400: 3D 가상공간 획득부
500: 3D 투영부

Claims (16)

  1. 노 패럴랙스 포인트에 맞춰 촬영된 2D 이미지 및 공간영상을 입력받는 입력부;
    상기 공간영상으로부터 3D 가상공간을 생성하는 가상공간 획득부;
    상기 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득하는 깊이 계층 이미지 획득부; 및
    상기 3D 가상공간 내에 상기 깊이 계층 이미지의 각 분할된 객체들을 깊이 순서에 따라 계층화하여 투영시키는 3D 투영부를 포함하고,
    상기 깊이 계층 이미지 획득부는,
    상기 2D 이미지 내의 영역별 밝기값에 기초하여 상기 2D 이미지를 복수 개의 영역으로 분할한 후, 분할된 영역들 간의 주변 밝기값에 따른 순위를 결정한 후, 순위에 따라 분할된 각 영역에 깊이정보를 부여하여 상기 깊이 계층 이미지를 획득하는 VR에서의 깊이 계층 이미지 표시장치.
  2. 제1항에 있어서, 상기 3D 투영부는,
    상기 깊이 계층 이미지의 분할된 각 객체를 상기 3D 가상공간의 시점과 일치시켜 투영하되, 상기 깊이 계층 이미지의 분할된 각 객체를 깊이 범위에 따라 스케일링함으로써 분할된 각 객체의 경계부가 상기 3D 가상공간의 시점에서 보았을 때 서로 일치하도록 투영하는 것을 특징으로 하는 VR에서의 깊이 계층 이미지 표시장치.
  3. 제1항 또는 제2항에 있어서, 상기 3D 투영부는,
    상기 깊이 계층 이미지의 분할된 각 객체의 경계부를 안티-알리아싱 처리하여 투영하는 것을 특징으로 하는 VR에서의 깊이 계층 이미지 표시장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 깊이 계층 이미지 획득부는,
    콘트라스트 감도 함수를 이용하여 분할된 영역들 간의 상대적 주변 밝기값을 판단하고, 상기 상대적 주변 밝기값에 기초하여 분할된 각 영역들 간의 주변 밝기값에 따른 순위를 결정하는 것을 특징으로 하는, VR에서의 깊이 계층 이미지 표시장치.
  8. 삭제
  9. (a) 노 패럴랙스 포인트에 맞춰 촬영된 2D 이미지 및 공간영상을 입력받는 단계;
    (b) 상기 공간영상으로부터 3D 가상공간을 생성하는 단계;
    (c) 상기 2D 이미지 내의 객체들을 깊이 범위에 따라 분할하고, 분할된 객체들을 깊이 순서에 따라 계층화한 깊이 계층 이미지를 획득하는 단계; 및
    (d) 상기 3D 가상공간 내에 상기 깊이 계층 이미지의 각 분할된 객체들을 깊이 순서에 따라 계층화하여 투영시키는 단계를 포함하고,
    상기 (c) 단계는,
    상기 2D 이미지 내의 영역별 밝기값에 기초하여 상기 2D 이미지를 복수 개의 영역으로 분할한 후, 분할된 영역들 간의 주변 밝기값에 따른 순위를 결정한 후, 순위에 따라 분할된 각 영역에 깊이정보를 부여하여 상기 깊이 계층 이미지를 획득하는, VR에서의 깊이 계층 이미지 표시방법.
  10. 제9항에 있어서, 상기 (d) 단계는,
    상기 깊이 계층 이미지의 분할된 각 객체를 상기 3D 가상공간의 시점과 일치시켜 투영하되, 상기 깊이 계층 이미지의 분할된 각 객체를 깊이 범위에 따라 스케일링함으로써 분할된 각 객체의 경계부가 상기 3D 가상공간의 시점에서 보았을 때 서로 일치하도록 투영하는 것을 특징으로 하는, VR에서의 깊이 계층 이미지 표시방법.
  11. 제9항 또는 제10항에 있어서, 상기 (d) 단계는,
    상기 깊이 계층 이미지의 분할된 각 객체의 경계부를 안티-알리아싱 처리하여 투영하는 것을 특징으로 하는, VR에서의 깊이 계층 이미지 표시방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제9항에 있어서, 상기 (c) 단계는,
    콘트라스트 감도 함수를 이용하여 분할된 영역들 간의 상대적 주변 밝기값을 판단하고, 상기 상대적 주변 밝기값에 기초하여 분할된 각 영역들 간의 주변 밝기값에 따른 순위를 결정하는 것을 특징으로 하는, VR에서의 깊이 계층 이미지 표시방법.

  16. 삭제
KR1020180015051A 2017-06-28 2018-02-07 Vr에서의 깊이 계층 이미지 표시장치 및 방법 KR102013917B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170081802 2017-06-28
KR1020170081802 2017-06-28

Publications (2)

Publication Number Publication Date
KR20190001896A KR20190001896A (ko) 2019-01-07
KR102013917B1 true KR102013917B1 (ko) 2019-08-23

Family

ID=65017019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180015051A KR102013917B1 (ko) 2017-06-28 2018-02-07 Vr에서의 깊이 계층 이미지 표시장치 및 방법

Country Status (1)

Country Link
KR (1) KR102013917B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102454167B1 (ko) 2019-06-27 2022-10-14 한국전자통신연구원 가상 시점 영상 생성 방법 및 장치
KR20220008118A (ko) * 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
CN117671476A (zh) * 2022-08-12 2024-03-08 北京字跳网络技术有限公司 图像分层方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074784A1 (en) * 2009-09-30 2011-03-31 Disney Enterprises, Inc Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-d images into stereoscopic 3-d images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377229B1 (en) * 1998-04-20 2002-04-23 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing
KR100436904B1 (ko) 2002-09-06 2004-06-23 강호석 2차원이미지에 대한 입체영상생성방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074784A1 (en) * 2009-09-30 2011-03-31 Disney Enterprises, Inc Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-d images into stereoscopic 3-d images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
네이버 블로그, "강좌 파노라마 촬영에 있어서 노 패럴랙스 포인트의 효과", 2016.02.05.*

Also Published As

Publication number Publication date
KR20190001896A (ko) 2019-01-07

Similar Documents

Publication Publication Date Title
KR20210047278A (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US9576183B2 (en) Fast initialization for monocular visual SLAM
US9659408B2 (en) Mesh reconstruction from heterogeneous sources of data
US11087479B1 (en) Artificial reality system with 3D environment reconstruction using planar constraints
KR20170122725A (ko) 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
KR20210113333A (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
KR102013917B1 (ko) Vr에서의 깊이 계층 이미지 표시장치 및 방법
US9607394B2 (en) Information processing method and electronic device
AU2014235427A1 (en) Content creation tool
US20190371072A1 (en) Static occluder
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
JP2023551727A (ja) 物理キーボード追跡
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
CN113228688B (zh) 在计算设备上创建壁纸图像的系统和方法
CN112882576B (zh) Ar交互方法、装置、电子设备及存储介质
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
WO2021263035A1 (en) Object recognition neural network for amodal center prediction
Selvam et al. Augmented reality for information retrieval aimed at museum exhibitions using smartphones
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
KR20190048506A (ko) 가상 공간 제공 방법 및 장치
CN110313021B (zh) 增强现实提供方法、装置以及计算机可读记录介质
JP5950701B2 (ja) 画像表示システム、パズルゲームシステム、画像表示方法、パズルゲーム方法、画像表示装置、パズルゲーム装置、画像表示プログラム、および、パズルゲームプログラム
CN114820980A (zh) 三维重建方法、装置、电子设备和可读存储介质
EP2962290B1 (en) Relaying 3d information by depth simulation using 2d pixel displacement
CN111652981A (zh) 一种太空舱特效生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant