KR20130112133A - 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법 - Google Patents

뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법 Download PDF

Info

Publication number
KR20130112133A
KR20130112133A KR1020120034288A KR20120034288A KR20130112133A KR 20130112133 A KR20130112133 A KR 20130112133A KR 1020120034288 A KR1020120034288 A KR 1020120034288A KR 20120034288 A KR20120034288 A KR 20120034288A KR 20130112133 A KR20130112133 A KR 20130112133A
Authority
KR
South Korea
Prior art keywords
depth map
image
map
line
depth
Prior art date
Application number
KR1020120034288A
Other languages
English (en)
Inventor
김철영
양우석
Original Assignee
주식회사 사이버메드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 사이버메드 filed Critical 주식회사 사이버메드
Priority to KR1020120034288A priority Critical patent/KR20130112133A/ko
Publication of KR20130112133A publication Critical patent/KR20130112133A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법에 있어서, 패턴 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; 이미지 교정 단계; 이미지 렉티피케이션 단계; 업스케일링 단계; 그리고, 교정 정보 추출 단계;를 포함하며, 리얼 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; Depth map 추출 단계; 업스케일링 단계; 그리고, Depth map 이미지 출력 단계;를 포함하는 것을 특징으로 하는 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법에 관한 것이다.

Description

뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법{DEPTH MAP EXTRACTION ACCURACY IMPROVEMENT METHOD USING STEREO ENDOSCOPE IN NEUROSURGERY ENVIRONMENT}
본 개시(Disclosure)는 전체적으로 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법에 관한 것이다.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).
최근에는 3차원 디스플레이 장치가 발전하여 일반 시청자에게 기존 영상보다 더욱 현실적인 입체감과 임장감이 있는 3차원 영상을 제공할 수 있게 되었으며, 그에 따라 3차원 컨텐츠에 대한 수요가 꾸준히 늘어나고 있다.
스테레오 3차원 디스플레이(Stereoscopic 3D Display) 상용화와 3차원 영화 등과 같은 3차원 컨텐츠 서비스의 증가 추세로 인하여 사용자의 경험 욕구는 높아지고 있다. 그러나, 현재 3차원 디스플레이(3D Display)가 시장에서 호소력을 갖는데 가장 큰 문제는 3차원 컨텐츠(3D Contents)의 부족에 있다. 일반적으로 3차원 영상을 제공하기 위해서는 여러 시점의 2차원 영상들이 필요하였으나, 이와 같은 방식은 과거에 제작된 단일시점 2차원 영상을 활용할 수 없었다.
따라서, 2차원 이미지/비디오(2D Image/Video)를 스테레오(Stereo)영상으로 변환하여 스테레오 3차원 디스플레이(Stereoscopic 3D Display)에서 렌더링하기 위한 기술이 요구되고 있다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).
본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법에 있어서, 패턴 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; 이미지 교정 단계; 이미지 렉티피케이션 단계; 업스케일링 단계; 그리고, 교정 정보 추출 단계;를 포함하며, 리얼 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; Depth map 추출 단계; 업스케일링 단계; 그리고, Depth map 이미지 출력 단계;를 포함하는 것을 특징으로 하는 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법이 제공된다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
도 1은 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치의 구성도이다.
도 2는 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다.
도 3은 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이다.
도 4는 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 그래프이다.
도 5는 제안되는 또 다른 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이다.
도 6은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 그래프이다.
도 7은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 도면이다.
도 8은 제안되는 또 다른 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다.
도 9 및 도 10은 본 개시에 따른 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법을 설명하는 도면이다.
이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).
도 1은 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치의 구성도이다. 도 1을 참조하여 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치를 설명하기로 한다.
도 1에 도시된 바와 같이, 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치는, 다운 스케일링부(110), 엣지 감지부(120), 라인 추적부(130), 깊이 생성부(140), 업 스케일링 및 스무딩부(150), 및 측면 이동부(160)를 포함한다.
엣지 감지부(120)는 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성한다.
이때, 엣지 감지부(120)는 상기 입력 이미지의 픽셀의 휘도 차이에 따른 엣지를 추출하여 엣지 맵을 생성할 수 있다.
다운 스케일링부(110)는 상기 입력 이미지를 다운 스케일링(down scaling)할 수 있다.
라인 추적부(130)는 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하여, 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성한다.
이때, 라인 추적부(130)는 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출할 수 있다. 라인 추적부(130)는 상기 추출된 엣지를 입력 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성할 수 있다.
상기 라인 추적부(130)는 상기 라인이 수직 방향(vertical direction)으로 급변하는 것을 방지하고, 상기 엣지 맵에 가장 가까운 라인을 선택하기 위하여 평활도 제약(Smoothness constraint)을 적용할 수 있다.
또한, 라인 추적부(130)는 상기 라인 중에서 하나의 라인이 기 설정된 값보다 수직 방향(vertical direction)으로 급변하는 것을 제한하기 위한 탄성 제약(Elasticity constraint)을 적용할 수 있다.
깊이 생성부(140)는 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성한다.
깊이 생성부(140)는 상기 라인과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성할 수 있다.
이때, 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가진다.
또한, 상기 라인(line)은 상호 교차되지 않으며 기 설정된 기울기 값을 초과하지 않는다.
또한, 제안되는 실시예에 따르면, 깊이 생성부(140)에서 생성된 깊이 맵(depth map)을 업 스케일링 하고, 상기 깊이 맵을 스무딩(smoothing)하는 업 스케일링 및 스무딩부(150)를 더 포함할 수 있다. 이때, 업 스케일링 및 스무딩부(150)는 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하는 업 스케일링부(미도시) 및 상기 깊이 맵(depth map)을 스무딩(smoothing)하는 스무딩부(미도시)로 각각 분리되어 구성될 수 있다.
측면 이동부(150)는 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성할 수 있다.
또한, 제안되는 실시예에 따르면, 상기 깊이 맵(depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하는 화상 깊이 큐 생성부(미도시), 및 상기 화상 깊이 큐(pictorial depth cue)를 이용하여 상기 깊이 맵을 재생성하는 깊이 맵 재생성부를 더 포함할 수 있다.
도 2는 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다. 도 2를 참조하여 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기로 한다.
제안되는 실시예에 따른 깊이 맵 생성 방법은 크게 초기 깊이 추정 단계(210)와, 스테레오 이미지(Stereo Image) 생성 단계(S220)로 구성된다.
제안되는 실시예에 따른 깊이 맵 생성 장치는, 입력되는 이미지(또는 영상)을 다운 스케일링(down scaling)할 수 있다(S211).
이때, 상기 입력되는 이미지(또는 영상)을 다운 스케일링(down scaling)하는 단계는 알고리즘의 복잡성(complexity)을 줄이기 위한 것이다.
깊이 맵 생성 장치는 입력되는 이미지(또는 영상) 상의 엣지(edge)를 감지하고, 감지된 엣지를 이용하여 엣지 맵(edge map)을 생성한다(S212).
이때, 깊이 맵 생성 장치는 상기 입력 이미지의 픽셀의 휘도(luminance) 차이에 따른 엣지를 추출하여, 엣지 맵을 생성할 수 있다.
깊이 맵 생성 장치는 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하고, 초기 라인 맵(Initial line map)을 입력 받는다. 깊이 맵 생성 장치는 추출된 엣지와 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성한다(S213).
이때, 깊이 맵 생성 장치는 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하고, 추출된 엣지를 입력 라인 맵(Initial line map)에 맵핑할 수 있다.
예를 들어, 엣지의 추출 시에 엣지 맵의 왼쪽 경계(left border)로부터 오른쪽 경계(right border)측으로 강한 엣지 위치를 추적(trace)하여 라인 맵(line map)을 생성할 수 있다.
깊이 맵 생성 장치는 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성한다(S214)
이때, 깊이 맵 생성 장치는 상기 라인(line)과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성할 수 있다. 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가질 수 있다.
예를 들어, 각 라인(line)과 라인 사이에 위치한 영역에 대하여 같은 깊이 값(depth order) 갖도록 하면서, 새로운 라인의 출현 시에 깊이 값을 기 설정된 값만큼 증가시킨다. 즉, 제일 아래에 위치한 라인과 라인 사이의 영역은 깊이 값 '0'이 할당되며, 제일 위에 위치한 라인과 라인 사이의 영역은 가장 큰 깊이 값(예: 50)을 가질 수 있다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하거나, 상기 깊이 맵(depth map)을 스무딩(smoothing)할 수 있다(S221). 또한, 3차원 영상을 보다 효과적으로 구현하기 위하여 상기와 같은 방법 이외의 다양한 후처리(postprocessing) 방법이 적용될 수 잇다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성(S222)한다.
따라서, 개시되는 실시예에 따르면, 입력 2차원 영상을 스테레오 3차원(stereoscopic 3D) 영상으로 변환하여 디스플레이 하므로, 기 재작된 2차원 영상을 이용하여 다양한 3차원 영상 콘텐츠를 제공할 수 있다.
또한, 개시되는 실시예에 따르면 2차원 영상의 3차원 영상 변환 칩(2D-to-3D conversion chip) 또는 소프트웨어(Software)에 적용하여, 스테레오 3차원 디스플레이/TV, DVD/BD 플레이어 등 다양한 디스플레이 및 영상 재생 장치에 활용이 가능하다.
도 3은 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이고, 도 4는 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 그래프이다.
도 3은 초기 라인 맵(Initial line map)과 상기 초기 라인 맵에 대한 깊이 맵(depth), 그리고 라인 맵(line map)과 상기 라인 맵에 따른 깊이 맵(depth map)을 도시하고 있다.
초기 라인 맵(Initial line map: 310)을 이용하여 각 라인(line)과 라인 사이에 위치한 영역에 대하여 같은 깊이 값(depth order) 갖도록 하면서, 새로운 라인의 출현 시에 깊이 값을 기 설정된 값만큼 증가시키면, 초기 깊이 맵(Initial depth map: 320)에서와 같은 형태의 깊이 맵이 생성된다.
따라서, 평행한 N개의 라인(line)을 포함하는 초기 라인 맵(310)을 이용하여, 입력 영상의 특성에 최적으로 어울리는 라인 맵(line map: 330)을 생성하고, 생성된 라인 맵(330)에 기초하여 깊이 맵(depth map: 340)을 생성할 수 있다.
이때, 도 4에 도시된 바와 같이, 상기 라인은 상호 교차되지 않으며 기 설정된 기울기 값을 초과하지 않는다.
또한, 도 4에 도시된 바와 같이, 생성된 깊이 맵(340)은 각 라인과 라인 사이에 위치한 영역이 같은 깊이 값(depth order)을 가지며, 새로운 라인이 출현할 때마다 일정한 값만큼 깊이 값이 증가하도록 구성된다. 즉, 도 4에 도시된 바와 같이, 5개의 라인(line)을 가지는 라인 맵(line map)의 경우에는, 상기 5개의 라인에 의해 생성되는 6개의 깊이(depth)를 가지는 깊이 맵(depth map)이 생성될 수 있다.
도 5는 제안되는 또 다른 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이고, 도 6은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 그래프이며, 도 7은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 도면이다.
깊이 맵 생성 장치는 입력 이미지(510) 상의 엣지(edge)를 이용하여 엣지 맵(edge map: 520)을 생성한다.
깊이 맵 생성 장치는 엣지 맵(520)에서 기 설정된 값보다 강한 엣지를 추출하여, 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map: 530)을 생성한다.
이후, 깊이 맵 생성 장치는 라인 맵(530)의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map: 540)을 생성한다.
이때, 제안되는 깊이 맵 생성 장치는 상기 강한 엣지 위치를 추적(trace)하여 라인 맵(line map)을 생성시에는, 다음과 같은 몇 가지 규칙이 적용될 수 있다.
즉, 생성되는 라인(line)의 개수는 일정하고, 라인은 상호간에 교차되지 않아야 하며, 어떤 지점에서도 라인의 기울기 값은 기 설정된 기울기 값보다 작아야 하고, 라인은 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로 생성되며, 라인에 의하여 구분되는 사이 영역의 깊이(depth) 값은 균일하게 구성될 수 있다.
도 6에 도시된 바와 같이, 각 라인(line)의 초기 좌측 지점(initial left point: 610)으로부터 시작하여, 우측 경계(right border)에 도달할 때까지, 다음의 우측 지점(right point: 620)을 선택해가는데 있어서, 첫째 엣지(Edge)가 강하고, 둘째 y축 방향으로 변화도 스무스(smooth)하도록 하면서, 셋째 초기 라인(initial line)에서 많이 벗어나지 않게 하는, 최적의 벡터 y를 선택한다.
따라서, 제시되는 실시예에 따른 깊이 맵 생성 장치는 라인 트래이싱(Line tracing) 시에 최적의 다음 픽셀을 추적(trace) 할 수 있다.
또한, 보다 최적의 라인 추적(optimal line trace)를 위해 다음과 같은 제약들이 적용될 수 있다.
이와 같은 제약에는, 강한 엣지(strong edge)를 추적(trace) 하기 위한 라인 추적 제약(line trace constraint), 라인(line)이 수직 방향(vertical direction)으로 급변 것을 방지하기(penalize)위한 평활도 제약(smoothness constraint), 그리고 도 7에 도시된 바와 같이 한 라인(line: 710)에 있어서 수직 방향의 위치(720, 730, 740)로 많은 양의 변화를 방지하기 위해, 시작점인 좌측 경계(left border)로부터 너무 멀어지는 위치를 피하는 탄성 제약(elasticity constraint) 등이 적용될 수 있으며, 상기와 같은 제약은
상기와 같은 제약들을 수학식으로 나타내면 다음의 수학식 1과 같다.
Figure pat00001
Figure pat00002
Figure pat00003

(단, Elt(x, y)는 라인 추적 제약 값, Es(x, y)는 평활도 제약 값, Ee(x, y)는 탄성 제약 값, 그리고 a, b, c는 에너지양을 조절하는 파라미터 값임.)
이때, a, b, c는 입력 영상 특성과 알고리즘에 따라 에너지(energy)양을 조절하는 파라미터 값이다.
따라서, 라인 트래이싱(Line tracing)은 상기와 같은 수학식 1에 의해 산출된 라인 추적 제약 값 Elt(x, y), 평활도 제약 값 Es(x, y), 탄성 제약 값 Ee(x, y)에 의하여, 결과적으로 다음의 수학식 2에서와 같이 정형화(formulate)된다.
Figure pat00004
(단,
Figure pat00005
는 가중 요소(weighting factor)임.)
상기와 같은 정형화된 라인 트래이싱(Line tracing)을 위해서는 최적화(optimization)방법이 적용되며, 이와 같은 최적화 기법으로는 글로벌 최적화(Global optimization) 방법 및 로컬 최적화(Local optimization)이 사용될 수 잇다.
상기 글로벌 최적화(Global optimization) 방법으로는, 대표적으로 모의 풀림(Simulated Annealing)방법이 사용될 수 있으며, 상기 모의 풀림 방법을 라인 트래이싱(line tracing)에 적용하면, 많은 경우의 수가 발생한다. 따라서, 모의 풀림 방법의 적용 과정에서 많은 반복(iteration)이 필요하게 되며, 이는 곧 알고리즘이 매우 복잡해짐(high complexity)을 의미하게 된다.
로컬 최적화(Local optimization) 방법으로는 대표적으로 그리디 알고리즘(Greedy Algorithm)이라고도 불리는 ICM(Iterated Conditional Modes) 방법이 이용될 수 있으며, 상기 ICM은 낮은 복잡성(low complexity) 알고리즘에 적합하다.
도 8은 제안되는 또 다른 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다. 도 8을 참조하여 제안되는 또 다른 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기로 한다.
제안되는 실시예에 따른 깊이 맵 생성 방법은 크게 초기 깊이 추정 단계(810), 깊이 맵 생성 단계(S820), 및 스테레오 이미지(Stereo Image) 생성 단계(S830)로 구성된다.
제안되는 실시예에 따른 깊이 맵 생성 장치는, 입력되는 이미지(또는 영상)을 다운 스케일링(down scaling)할 수 있다(S811).
이때, 상기 입력되는 이미지(또는 영상)을 다운 스케일링(down scaling)하는 단계는 알고리즘의 복잡성(complexity)을 줄이기 위한 것이다.
깊이 맵 생성 장치는 입력되는 이미지(또는 영상) 상의 엣지(edge)를 감지하고, 감지된 엣지를 이용하여 엣지 맵(edge map)을 생성한다(S812).
이때, 깊이 맵 생성 장치는 상기 입력 이미지의 픽셀의 휘도(luminance) 차이에 따른 엣지를 추출하여, 엣지 맵을 생성할 수 있다.
깊이 맵 생성 장치는 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하고, 초기 라인 맵(Initial line map)을 입력 받는다. 깊이 맵 생성 장치는 추출된 엣지와 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성한다(S813).
이때, 깊이 맵 생성 장치는 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하고, 추출된 엣지를 입력 라인 맵(Initial line map)에 맵핑할 수 있다.
깊이 맵 생성 장치는 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 초기 깊이 맵(Initial depth map)을 생성한다(S814).
이때, 깊이 맵 생성 장치는 상기 라인(line)과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 초기 깊이 맵(Initial depth map)을 생성할 수 있다. 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가질 수 있다.
이후, 상기 초기 깊이 맵(Initial depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하고(S821), 상기 생성된 화상 깊이 큐(pictorial depth cue)를 이용하여 깊이 맵(depth map)을 생성할 수 있다(S822).
즉, 이 실시예에 따르면, 라인 트래이싱(Line tracing)에 의해 구해진 깊이 맵(depth map)을 초기 깊이(initial depth) 정보로 사용하여, 영상 분석을 통해 추출된 다른 화상 깊이 큐(pictorial depth cue)를 사용해 깊이 개선(depth refinement) 과정을 거친 후, 최종적으로 깊이 맵(depth map)을 얻는다.
예를 들어, 영상 분석을 통해 선형 원근감(linear perspective), 영상 내의 객체 간의 중첩(overlapping), 또는 텍스처 그래디언트(texture gradient) 정보를 추출하고, 이러한 정보를 라인 맵(line map)에 의해 구한 깊이(depth) 정보를 기초로 하여, 병합/보완하여 3차원 효과(3D effect)를 증진 시킬 수 잇다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하거나, 상기 깊이 맵(depth map)을 스무딩(smoothing)할 수 있다(S831). 또한, 3차원 영상을 보다 효과적으로 구현하기 위하여 상기와 같은 방법 이외의 다양한 후처리(postprocessing) 방법이 적용될 수 잇다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성(S832)한다.
따라서, 이와 같은 깊이 맵 생성 방법 및 장치를 스테레오 3차원 TV(Stereoscopic 3D TV)에 적용할 수 있다.
시간 순차(Time sequential) 방식의 스테레오 디스플레이(stereoscopic display)를 통하여 좌안/우안 영상을 번갈아 가며 디스플레이 하고, 관찰자(viewer)는 셔터 글래스(shutter glass)를 착용하여 3차원 입체 영상을 시청할 수 있다.
또한, 이와 같은 깊이 맵 생성 방법 및 장치는 시간 순차(Time sequential) 방식뿐만 아니라, 다양한 방식의 스테레오 3차원 TV(Stereoscopic 3D TV)에 탑재되어, 입력 2차원 영상을 스테레오 3차원(stereoscopic 3D) 영상으로 변환하여 디스플레이 되도록 할 수 있다.
도 9 및 도 10은 본 개시에 따른 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법을 설명하는 도면으로서, 패턴 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; 이미지 교정 단계; 이미지 렉티피케이션 단계; 업스케일링 단계; 그리고, 교정 정보 추출 단계;를 포함한다. 리얼 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; Depth map 추출 단계; 업스케일링 단계; 그리고, Depth map 이미지 출력 단계;를 포함한다.
110: 다운 스케일링부

Claims (1)

  1. 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법에 있어서,
    패턴 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; 이미지 교정 단계; 이미지 렉티피케이션 단계; 업스케일링 단계; 그리고, 교정 정보 추출 단계;를 포함하며,
    리얼 이미지 단계; 스테레오 이미지 입력; 다운스케일링 단계; 특징 정보 추출 단계; Depth map 추출 단계; 업스케일링 단계; 그리고, Depth map 이미지 출력 단계;를 포함하는 것을 특징으로 하는 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법.
KR1020120034288A 2012-04-03 2012-04-03 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법 KR20130112133A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120034288A KR20130112133A (ko) 2012-04-03 2012-04-03 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120034288A KR20130112133A (ko) 2012-04-03 2012-04-03 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법

Publications (1)

Publication Number Publication Date
KR20130112133A true KR20130112133A (ko) 2013-10-14

Family

ID=49633184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120034288A KR20130112133A (ko) 2012-04-03 2012-04-03 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법

Country Status (1)

Country Link
KR (1) KR20130112133A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506213B2 (en) 2014-11-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for calibrating image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506213B2 (en) 2014-11-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for calibrating image
US11140374B2 (en) 2014-11-20 2021-10-05 Samsung Electronics Co., Ltd. Method and apparatus for calibrating image

Similar Documents

Publication Publication Date Title
KR101497503B1 (ko) 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
KR100894874B1 (ko) 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US9270977B2 (en) 3D photo creation system and method
WO2011033673A1 (ja) 画像処理装置
TWI496452B (zh) 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法
JP5673032B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
JPWO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
CN108885339B (zh) 用于使用自适应焦平面渲染虚拟现实的配置
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
US8094148B2 (en) Texture processing apparatus, method and program
JP2005353047A (ja) 立体画像処理方法および立体画像処理装置
TWI469088B (zh) 前景深度地圖產生模組及其方法
US10210654B2 (en) Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof
JPWO2011030399A1 (ja) 画像処理方法及び装置
US9082210B2 (en) Method and apparatus for adjusting image depth
KR102091860B1 (ko) 영상 부호화 방법 및 장치
KR20130112133A (ko) 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
CN104299258A (zh) 立体图形处理方法和设备
KR20120087867A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20120110804A (ko) 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 방법
KR20120072786A (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR101626679B1 (ko) 2ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination