KR20120110807A - 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법 - Google Patents

3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법 Download PDF

Info

Publication number
KR20120110807A
KR20120110807A KR1020110028922A KR20110028922A KR20120110807A KR 20120110807 A KR20120110807 A KR 20120110807A KR 1020110028922 A KR1020110028922 A KR 1020110028922A KR 20110028922 A KR20110028922 A KR 20110028922A KR 20120110807 A KR20120110807 A KR 20120110807A
Authority
KR
South Korea
Prior art keywords
depth
image
input image
depth value
present
Prior art date
Application number
KR1020110028922A
Other languages
English (en)
Inventor
김철영
곽효승
Original Assignee
주식회사 사이버메드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 사이버메드 filed Critical 주식회사 사이버메드
Priority to KR1020110028922A priority Critical patent/KR20120110807A/ko
Publication of KR20120110807A publication Critical patent/KR20120110807A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법에 있어서, 2차원 영상, 영상분석, 깊이 맵 생성, 시차 생성, 스테레오스코픽 영상 생성, 3차원 스테레오스코픽 영상의 순으로 행해지며, 비디오 영상으로부터 객체를 제외한 배경을 추출하고, 추추된 배경의 분포 값에 기초하여 비디오 영상을 원거리 영상과 비원거리 영상으로 분류하고, 분류된 비디오 영상이 원거리 영상인 경우 추출된 배경의 소정 방향을 따라 점진적으로 변화하는 깊이 값을 산출하고, 분류된 비디오 영상이 비원거리 영상인 경우 추출된 배경이 아닌 객체를 중심으로 깊이 값을 산출하는 것을 특징으로 하는 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법에 관한 것이다.

Description

3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법{Real-time baseline changing method for 3D vision}
본 개시(Disclosure)는 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법에 관한 것이다.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).
최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.
일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.
깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).
본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법에 있어서, 2차원 영상, 영상분석, 깊이 맵 생성, 시차 생성, 스테레오스코픽 영상 생성, 3차원 스테레오스코픽 영상의 순으로 행해지며, 비디오 영상으로부터 객체를 제외한 배경을 추출하고, 추추된 배경의 분포 값에 기초하여 비디오 영상을 원거리 영상과 비원거리 영상으로 분류하고, 분류된 비디오 영상이 원거리 영상인 경우 추출된 배경의 소정 방향을 따라 점진적으로 변화하는 깊이 값을 산출하고, 분류된 비디오 영상이 비원거리 영상인 경우 추출된 배경이 아닌 객체를 중심으로 깊이 값을 산출하는 것을 특징으로 하는 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법이 제공된다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 3은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 7은 본 개시에 따른 스테레오 엔도스코프를 이용한 가상 엔도스코프와의 정합 속도 향상 방법을 나타내는 도면,
도 8은 본 개시에 따른 가상 엔도스코프를 이용한 뇌수술 항법의 정확도 향상 방법을 나타내는 도면,
도 9 및 도 10은 본 개시에 따른 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 화면 가시화 방법을 나타내는 도면,
도 11 및 도 12는 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법을 나타내는 도면.
이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).
도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 깊이 추정 장치(120)가 도시되어 있다.
깊이 추정 장치(120)는 특성(feature) 정보 추출부(121) 및 깊이 설정부(122)를 포함할 수 있다.
깊이 추정 장치(120)에 입력 영상(110)이 입력되면, 특성 정보 추출부(121)는 입력 영상(110)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 설정부(122)로 제공한다.
본 발명의 일실시예에 따르면, 입력 영상(110)은 단안(monocular) 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 특성 정보 추출부(121)가 추출하는 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 등이 될 수 있다.
깊이 설정부(122)는 특성 정보 추출부(121)에서 제공되는 적어도 하나의 특성 정보를 기초로 입력 영상(110)에 대한 깊이(depth) 값을 설정한다.
결국, 본 일실시예에 따른 깊이 추정 장치(120)는 입력 영상(110)의 특성 정보를 바탕으로 입력 영상(110)에 대한 깊이 값을 설정함으로써, 2D의 입력 영상(110)을 3D 영상(Stereoscopic Video)으로 변환 할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(120)는 도 1에 도시된 실시예뿐만 아니라 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 2 내지 도 4를 참조하여 깊이 추정 장치(120)의 다양한 실시예에 대해 살펴보기로 한다.
도 2은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 깊이 추정 장치(220)가 도시되어 있다.
깊이 추정 장치(220)는 특성 정보 추출부(223) 및 깊이 설정부(226)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 설정부(226)는 깊이 맵(depth map) 초기화부(222) 및 깊이 갱신부(225)를 포함할 수 있다.
깊이 추정 장치(220)에 입력 영상(210)이 입력되면, 깊이 맵 초기화부(222)는 입력 영상(210)을 구성하는 적어도 하나의 화소(pixel)에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(224)에 저장한다.
본 발명의 일실시예에 따르면, 입력 영상(210)은 단안 영상일 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 입력 영상(210) 시퀀스(sequence)의 각 프레임(frame) 마다 상기 초기 깊이 값을 설정하여 깊이 맵(224)에 저장할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 상기 초기 깊이 값을 하기의 수학식 1을 이용하여 설정할 수 있다.
Figure pat00001
여기서, x와 y는 입력 영상(210)을 구성하는 이미지 좌표를 의미하고, z는 깊이 값을 의미한다. 이때, z는 입력 영상(210)에 표현되는 피사체의 거리에 따라, 0부터 1사이의 값이 될 수 있다. 예컨대, 상기 피사체가 관찰자로부터 멀리 떨어져 있다면, 상기 피사체의 깊이는 깊어지고, 이 경우, z 값은 1에 가까운 값이 될 수 있다. 반대로, 상기 피사체가 관찰자 가까이 위치해 있다면, 상기 피사체의 깊이는 얕아지고, 이 경우, z 값은 0에 가까운 값이 될 수 있다. 그리고, N은 입력 영상(210)을 구성하는 이미지의 수평 라인의 개수를 의미한다.
상기 수학식 1을 살펴보면, 상기 초기 깊이 값은 입력 영상(210)을 구성하는 이미지의 y좌표 값이 의존하는 것을 알 수 있다. 일반적으로, 입력 영상(210)에 표현되는 피사체의 경우, 입력 영상(210)의 상단에 위치하는 피사체는 입력 영상(210)의 하단에 위치하는 피사체 보다 먼 거리에 위치해 있다.
따라서, 이러한 특성을 이용하여 입력 영상(210)의 상단에 위치하는 피사체를 입력 영상(210)의 하단에 위치하는 피사체보다 깊이를 깊게 함으로써, 상기 초기 깊이 값을 설정할 수 있다.
이렇게, 깊이 추정 장치(220)가 깊이 맵 초기화부(222)를 통해 상기 초기 깊이 값을 설정하여 깊이 맵(224)에 저장하면, 사용자는 깊이 맵(224)에 저장되어 있는 상기 초기 깊이 값을 이용하여 2D의 입력 영상(210)을 3D 영상으로 변환하기 위한 렌더링 작업을 수행함으로써, 입력 영상(210)을 3D 영상으로 변환할 수 있다.
하지만, 깊이 맵 초기화부(222)가 설정한 초기 깊이 값은 입력 영상(210)을 구성하는 적어도 하나의 화소들 사이의 특성을 고려하여 평활화(smoothing)된 깊이 값이 아니라는 점에서, 상기 초기 깊이 값을 이용하여 변환된 3D 영상은 다소 부정확한 깊이를 가질 수 있다.
따라서, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 맵 초기화부(222)가 설정한 초기 깊이 값을 기초로, 입력 영상(210)을 구성하는 적어도 하나의 화소들 사이의 특성 정보를 이용하여 깊이 값을 적절히 조절함으로써, 깊이가 없는 입력 영상(210)에 비교적 정확한 깊이 정보를 부여할 수 있다.
이를 위해, 특성 정보 추출부(223)는 입력 영상(210)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(225)로 제공한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(222)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
그 후에, 깊이 갱신부(225)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 입력 영상(210)에 대한 최종적인 깊이 값을 연산하고, 이 연산된 깊이 값을 이용하여 깊이 맵(224)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(222)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(210)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치(weight)를 연산할 수 있다.
*이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(223)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(225)는 특성 정보 추출부(223)에서 연산된 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이와 관련하여, 특성 정보 추출부(223) 및 깊이 갱신부(225)의 동작을 예를 들어 상세히 설명하기로 한다.
먼저, 특성 정보 추출부(223)가 입력 영상(210)에 대한 휘도 정보를 추출하여 상기 가중치를 연산한다고 가정한다.
특성 정보 추출부(223)는 상기 휘도 정보의 유사도에 따라 입력 영상(210)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.
예컨대, 특성 정보 추출부(223)가 입력 영상(210)을 구성하는 a 화소와, 상기 a 화소와 인접한 x 화소, y 화소, z 화소 및 w 화소 사이의 가중치를 연산한다고 가정하자. 만약, x 화소, y 화소, z 화소 및 w 화소 순으로 상기 a 화소의 휘도와 유사하다고 하면, x 화소, y 화소, z 화소 및 w 화소 순으로 상기 가중치의 크기가 결정될 수 있다.
그리고 나서, 깊이 갱신부(225)는 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값을 특성 정보 추출부(223)에서 연산된 상기 가중치의 크기에 따라 반영하여 a 화소의 제1(a) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 a 화소의 초기 깊이 값을 상기 제1(a) 깊이 값으로 갱신할 수 있다.
이와 동시에, 깊이 갱신부(225)는 a 화소의 경우와 동일한 방법으로 x 화소, y 화소, z 화소 및 w 화소에 대해 각각의 인접 화소들과의 가중치를 고려하여 x 화소, y 화소, z 화소 및 w 화소 각각에 대한 제1(b) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값을 상기 제1(b) 깊이 값으로 갱신할 수 있다.
상기 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값이 상기 제1(b) 깊이 값으로 갱신되면, 깊이 갱신부(225)는 x 화소, y 화소, z 화소 및 w 화소의 제1(b) 깊이 값을 a 화소와, x 화소, y 화소, z 화소 및 w 화소 사이의 상기 가중치의 크기에 따라 반영하여 a 화소에 대한 새로운 제2(a) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 상기 a 화소의 제1(a) 깊이 값을 상기 제2(a) 깊이 값으로 갱신할 수 있다.
이 경우도 깊이 갱신부(225)는 a 화소의 경우와 동일한 방법으로, 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 제1(b) 깊이 값을 각각의 인접한 화소들과의 가중치를 고려하여, 제2(b) 깊이 값으로 갱신할 수 있다.
이와 같이, 깊이 갱신부(225)는 전술한 깊이 값 갱신 과정을 계속 반복 수행함으로써, 깊이 맵(224)에 저장되어 있는 깊이 값을 필터링할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 입력 영상(210)을 구성하는 적어도 하나의 화소에 대해, 상기 적어도 하나의 화소와, 인접한 화소들 사이의 특성 정보에 기초하여 깊이 값을 적절히 조절함으로써, 입력 영상(210)이 비교적 정확한 깊이를 갖는 3D 영상으로 변환되도록 할 수 있다.
이와 관련하여 본 발명의 일실시예에 따르면, 특성 정보 추출부(223)는 상기 가중치를 하기의 수학식 2를 이용하여 연산할 수 있다.
Figure pat00002
여기서, ω는 가중치, (x,y)는 입력 영상(210)을 구성하는 적어도 하나의 화소에 대한 좌표, (x',y')은 상기 적어도 하나의 화소에 인접한 화소에 대한 좌표, Y는 입력 영상(210)에 대한 적어도 하나의 특성 정보, σ는 필터 파라미터를 의미한다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(225)는 하기의 수학식 3을 이용하여 깊이 맵(224)에 저장되어 있는 깊이 값을 갱신할 수 있다.
Figure pat00003
여기서, z(x,y)는 입력 영상(210)을 구성하는 적어도 하나의 화소의 깊이, z(x',y')은 상기 적어도 하나의 화소에 인접한 화소의 깊이, ω는 가중치, k는 정규화 인자를 의미한다.
앞서 설명한 바와 같이, 깊이 갱신부(225)는 상기 수학식 3의 연산을 반복 수행함으로써, 깊이 맵(224)에 저장되어 있는 깊이 값을 갱신할 수 있다.
본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(224)에 저장할 수 있다.
이에 따라, 깊이 맵 초기화부(222)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 맵 초기화부(222)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(225)가 깊이 맵(224)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 특성 정보 추출부(223)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.
이 경우, 깊이 맵 초기화부(222)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 입력 영상(210)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 깊이 맵(224)을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 전처리부(221)를 더 포함할 수 있다.
전처리부(221)는 입력 영상(210)의 컬러 공간(color space)을 변환하거나, 입력 영상(210)이 기 설정된(predetermined) 비디오 스트림으로 인코딩된 영상인 경우 입력 영상(210)을 디코딩하여 입력 영상(210)의 모션 벡터를 추출할 수 있다.
만약, 전처리부(221)가 입력 영상(210)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(223)는 입력 영상(210)의 특성 정보를 더 정확히 추출할 수 있다.
예컨대, 입력 영상(210)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 전처리부(221)는 입력 영상(210)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(223)가 입력 영상(210)의 특성 정보를 더 정확히 추출하도록 할 수 있다.
또한, 전처리부(221)가 입력 영상(210)을 디코딩하여 입력 영상(210)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(223)는 상기 모션 벡터를 이용하여 입력 영상(210)의 특성 정보를 추출할 수 있다.
도 3는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 3을 참조하면, 깊이 추정 장치(320)가 도시되어 있다.
깊이 추정 장치(320)는 특성 정보 추출부(322), 업-스케일링부(325) 및 깊이 설정부(326)를 포함할 수 있다.
본 발명의 일실시예에 따르면, 깊이 설정부(326)는 깊이 맵 초기화부(321) 및 깊이 갱신부(324)를 포함할 수 있다.
깊이 맵 초기화부(321)는 입력 영상(310)을 구성하는 복수의 화소들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(323)에 저장한다.
예컨대, 입력 영상(310)을 구성하는 복수의 화소들을 a, b, c, d, e, f 화소라고 가정하면, 깊이 맵 초기화부(321)는 상기 복수의 화소들을 (a,b), (c,d), (e,f)와 같이 서로 인접한 화소들 끼리 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(323)에 저장할 수 있다.
본 발명의 일실시예에 따르면, 입력 영상(310)은 단안 영상이 될 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(321)는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.
특성 정보 추출부(322)는 입력 영상(310)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(324)로 제공한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(322)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 갱신부(324)는 특성 정보 추출부(322)에서 추출된 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 깊이 맵(323)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 적어도 하나의 블록과 상기 인접 블록들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(324)는 특성 정보 추출부(322)에서 연산된 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(324)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.
업-스케일링부(325)는 갱신된 깊이 맵(323)을 상기 복수의 화소 단위로 업-스케일링(up-scaling)한다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(320)는 입력 영상(310)을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분하여 깊이 맵(323)을 생성한 후 이를 업-스케일링함으로써, 비교적 단순한 연산을 통해, 입력 영상(310)을 3D 영상으로 변환하기 위한 깊이 맵을 생성할 수 있다.
본 발명의 일실시예에 따르면, 깊이 맵 초기화부(321)는 특성 정보 추출부(322)에서 추출된 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(323)에 저장할 수 있다.
이에 따라, 깊이 맵 초기화부(321)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(320)는 깊이 맵 초기화부(321)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(324)가 깊이 맵(323)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 특성 정보 추출부(322)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.
이 경우, 깊이 맵 초기화부(321)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.
본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 입력 영상(310)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 상기 업-스케일링된 깊이 맵을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 전처리부(미도시)를 더 포함할 수 있다.
*상기 전처리부는 입력 영상(320)의 컬러 공간을 변환하거나, 입력 영상(320)이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우, 입력 영상(320)을 디코딩하여 입력 영상(320)의 모션 벡터를 추출할 수 있다.
만약, 상기 전처리부가 입력 영상(320)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(322)는 입력 영상(310)의 특성 정보를 더 정확히 추출할 수 있다.
예컨대, 입력 영상(320)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 상기 전처리부는 입력 영상(320)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(322)가 입력 영상(310)의 특성 정보를 더 정확히 추출하도록 할 수 있다.
또한, 상기 전처리부가 입력 영상(310)을 디코딩하여 입력 영상(310)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(322)는 상기 모션 벡터를 이용하여 입력 영상(310)의 특성 정보를 추출할 수 있다.
도 4은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 4을 참조하면, 깊이 추정 장치(430)가 도시되어 있다.
깊이 추정 장치(430)는 특성 정보 추출부(438) 및 깊이 설정부(442)를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 설정부(442)는 깊이 맵 초기화부(437) 및 깊이 갱신부(440)를 포함할 수 있다.
깊이 맵 초기화부(437)는 입력 영상(410)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵(439)에 저장한다.
본 발명의 일실시예에 따르면, 입력 영상(410)은 단안 영상이 될 수 있다.
특성 정보 추출부(438)는 입력 영상(410)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(440)로 제공한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(438)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 갱신부(440)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 입력 영상(410)에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 깊이 맵(439)을 갱신한다.
본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(410)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 적어도 하나의 화소와 상기 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(440)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(440)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
본 발명의 일실시예에 따른 깊이 추정 장치(430)는 전술한 바와 같이, 깊이 맵 초기화부(437)가 상기 초기 깊이 값을 설정하면, 깊이 갱신부(440)가 상기 적어도 하나의 특성 정보를 이용하여 깊이 맵(439)을 갱신함으로써, 입력 영상(410)에 대한 깊이 값을 추정할 수 있다.
또한, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 입력 영상(410)을 다운-스케일링(down-scaling)하고, 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 추정한 후 상기 제2 깊이 값을 상기 초기 깊이 값으로 이용함으로써, 입력 영상(410)의 깊이 값 추정을 위한 연산 과정을 간소화할 수 있다.
이와 관련하여, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 다운-스케일링부(431), 제2 특성 정보 추출부(433), 제2 깊이 설정부(441) 및 업-스케일링부(436)를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 설정부(441)는 제2 깊이 맵 초기화부(432), 제2 깊이 갱신부(435)를 포함할 수 있다.
다운-스케일링부(431)는 깊이 추정 장치(430)로 입력되는 입력 영상(410)을 기 설정된 해상도로 다운-스케일링한다.
예컨대, 입력 영상(410)의 해상도가 1024x768이라면, 다운-스케일링부(431)는 입력 영상(410)을 800x600의 해상도로 다운-스케일링할 수 있다.
제2 깊이 맵 초기화부(432)는 다운-스케일링부(431)에 의해 다운-스케일링된 입력 영상(420)을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵(434)에 저장한다.
본 발명의 일실시예에 따르면, 제2 깊이 맵 초기화부(432)는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.
제2 특성 정보 추출부(433)는 다운-스케일링된 입력 영상(420)에 대한 적어도 하나의 제2 특성 정보를 추출하여 제2 깊이 갱신부(435)로 제공한다.
본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)가 추출하는 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
제2 깊이 갱신부(435)는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 다운-스케일링된 입력 영상(420)에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 제2 깊이 맵(434)을 갱신한다.
본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 적어도 하나의 제2 특성 정보를 기초로 다운-스케일링된 입력 영상(420)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 제2 가중치를 연산할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 수학식 2를 이용하여 상기 제2 가중치를 연산할 수 있다.
또한, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(435)는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(435)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.
업-스케일링부(436)는 갱신된 제2 깊이 맵(434)을 입력 영상(410)에 대한 해상도를 기반으로 업-스케일링하여 깊이 맵 초기화부(437)로 제공한다.
이때, 본 발명의 일실시예에 따르면, 업-스케일링부(436)는 상기 적어도 하나의 제2 특성 정보 및 상기 적어도 하나의 특성 정보를 이용하여 제2 깊이 맵(434)을 업-스케일링할 수 있다.
업-스케일링부(436)가 갱신된 제2 깊이 맵(434)을 업-스케일링하면, 깊이 맵 초기화부(437)는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 입력 영상(410)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵(439)에 저장한다.
이와 같이, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 어느 정도 필터링이 이루어진 깊이 값을 상기 초기 깊이 값으로 설정함으로써, 깊이 갱신부(440)가 입력 영상(410)에 대한 깊이 값을 필터링하여 깊이 맵(439)을 갱신하기 위해 수행해야 하는 연산의 복잡도를 줄일 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 입력 영상(410)을 다운-스케일링한 후, 초기 깊이 맵을 생성하는 복합적인 접근 방법을 이용하여 최종적으로 깊이 맵을 생성함으로써, 입력 영상(410)의 깊이를 추정하기 위한 전반적인 연산 과정을 줄일 수 있다.
여기서, 도 4에 도시된 깊이 추정 장치(430)는 입력 영상(410)을 1회 다운-스케일링하여 깊이 맵을 생성하는 것으로 도시되어 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다.
즉, 본 발명의 일실시예에 따르면, 깊이 추정 장치(430)는 입력 영상(410)을 n회 다운-스케일링하고, n번째 다운-스케일링된 입력 영상으로부터 깊이 맵을 생성하여 이를 업-스케일링함으로써, n-1번째 다운-스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다. 그리고, n-1번째 다운-스케일링된 입력 영상의 깊이 맵의 경우에도 이를 업-스케일링하여 n-2번째 다운 스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다.
결국, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 전술한 과정을 반복 수행하여 생성한 깊이 맵을 최종적으로 입력 영상(410)의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용함으로써, 입력 영상(410)의 깊이를 추정하기 위해 수행해야 하는 연산을 간소화할 수 있다.
이상으로, 도 1 내지 도 4를 참조하여 깊이 추정 장치에 대한 본 발명의 다양한 실시예에 대해 살펴보았다. 이하에서는 도 5 내지 도 8을 참조하여 상기 깊이 추정 장치를 이용하여 입력 영상을 3D 영상으로 변환하는 3D 영상 변환 장치에 대한 본 발명의 다양한 실시예에 대해 살펴보기로 한다.
도 5는 본 발명의 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 5을 참조하면, 3D 영상 변환 장치(520)가 도시되어 있다.
3D 영상 변환 장치(520)는 특성 정보 추출부(521), 깊이 설정부(522) 및 렌더링부(523)를 포함할 수 있다.
3D 영상 변환 장치(520)에 입력 영상(510)이 입력되면, 특성 정보 추출부(521)는 입력 영상(510)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 설정부(522)로 제공한다.
본 발명의 일실시예에 따르면, 입력 영상(510)은 단안 영상일 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
깊이 설정부(522)는 특성 정보 추출부(521)로부터 제공되는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(510)에 대한 깊이 값을 설정한다.
결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(520)는 입력 영상(510)의 특성 정보를 바탕으로 입력 영상(510)에 대한 깊이 값을 설정하고, 상기 깊이 값을 이용하여 2D의 입력 영상(510)을 3D 영상으로 렌더링함으로써, 입력 영상(510)이 3D 영상으로 변환되도록 할 수 있다.
본 발명의 일실시예에 따르면, 3D 영상 변환 장치(520)는 도 5에 도시된 실시예뿐만 아니라 다양한 실시예로 확장될 수 있다.
도 6은 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
단계(S910)에서는 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.
본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.
단계(S920)에서는 단계(S910)에서 추출한 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값을 설정한다.
도 7은 본 개시에 따른 스테레오 엔도스코프를 이용한 가상 엔도스코프와의 정합 속도 향상 방법을 나타내는 도면으로서, 먼저 스테레오 엔도스코프를 이용하여 스테레오 엔도스코프 이미지를 생성한다. 다음으로, 스테레오 엔도스코프로부터 다운 스케일 이미지를 형성한다. 다음으로, 다운 스케일 이미지로부터 다운 스케일 깊이 맵을 형성한다. 다음으로, 다운 스케일 깊이 맵으로부터 업 스케일 이미지를 형성한다. 다른 한편에서, CT 또는 MRI 이미지를 형성한다. CT 또는 MRI 상에서 가상 엔도스코픽을 행하고, 깊이 맵을 형성한다. 스테레오 엔도스코프 업 스케일 이미지와 가상 엔도스코프 깊이 맵을 결합하여 최종 이미지를 형성한다.
도 8은 본 개시에 따른 가상 엔도스코프를 이용한 뇌수술 항법의 정확도 향상 방법을 나타내는 도면으로서, 이미지들이 모두 뇌와 관련되어 있다. 이러한 이미지들을 사용함으로써, 뇌수술 항법의 정확도를 향상 시킬 수 있게 된다.
도 9 및 도 10은 본 개시에 따른 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 화면 가시화 방법을 나타내는 도면으로서, 실제 이미지, 스테레오 영상 입력, 이미지 다운 스케일링, 이미지 특정 정보 추출, 캘리브레이션 정보를 이용한 깊이 맵 추출, 이미지 업 스케일링, 깊이 맵 이미지 출력, 3차원 재구축, 3차원 실제 이미지 텍스쳐 랩핑, 스테레오 엔도스코프의 기초선에 의한 양안 시점 생성, 시분할 방식에 의한 왼쪽/오른쪽 영상 출력이 이루어진다.
도 11 및 도 12는 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법을 나타내는 도면으로서, 2차원 영상, 영상분석(110), 깊이 맵 생성(120), 시차 생성(130), 스테레오스코픽 영상 생성(140), 3차원 스테레오스코픽 영상의 순으로 행해지며, 비디오 영상으로부터 객체를 제외한 배경을 추출(310)하고, 추추된 배경의 분포 값에 기초하여 비디오 영상을 원거리 영상과 비원거리 영상으로 분류(320)하고, 분류된 비디오 영상이 원거리 영상인 경우 추출된 배경의 소정 방향을 따라 점진적으로 변화하는 깊이 값을 산출하고, 분류된 비디오 영상이 비원거리 영상인 경우 추출된 배경이 아닌 객체를 중심으로 깊이 값을 산출(330)한다.
121: 정보 추출부 122: 깊이 설정부

Claims (1)

  1. 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법에 있어서, 2차원 영상, 영상분석, 깊이 맵 생성, 시차 생성, 스테레오스코픽 영상 생성, 3차원 스테레오스코픽 영상의 순으로 행해지며, 비디오 영상으로부터 객체를 제외한 배경을 추출하고, 추추된 배경의 분포 값에 기초하여 비디오 영상을 원거리 영상과 비원거리 영상으로 분류하고, 분류된 비디오 영상이 원거리 영상인 경우 추출된 배경의 소정 방향을 따라 점진적으로 변화하는 깊이 값을 산출하고, 분류된 비디오 영상이 비원거리 영상인 경우 추출된 배경이 아닌 객체를 중심으로 깊이 값을 산출하는 것을 특징으로 하는 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법.
KR1020110028922A 2011-03-30 2011-03-30 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법 KR20120110807A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110028922A KR20120110807A (ko) 2011-03-30 2011-03-30 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110028922A KR20120110807A (ko) 2011-03-30 2011-03-30 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법

Publications (1)

Publication Number Publication Date
KR20120110807A true KR20120110807A (ko) 2012-10-10

Family

ID=47281588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110028922A KR20120110807A (ko) 2011-03-30 2011-03-30 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법

Country Status (1)

Country Link
KR (1) KR20120110807A (ko)

Similar Documents

Publication Publication Date Title
JP5579422B2 (ja) 深さ推定装置および方法、および３ｄビデオ変換装置および方法
JP4200979B2 (ja) 画像処理装置及び方法
EP2374107B1 (en) Devices and methods for processing images using scale space
WO2011033673A1 (ja) 画像処理装置
JP5587894B2 (ja) 深さマップを生成するための方法及び装置
KR101491556B1 (ko) 깊이 추정 장치 및 방법
EP2866201B1 (en) Information processing apparatus and method for controlling the same
EP2595116A1 (en) Method for generating depth maps for converting moving 2d images to 3d
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
CN109448136B (zh) 一种基于感兴趣区域的虚拟场景浏览方法
JP6215057B2 (ja) 可視化装置、可視化プログラムおよび可視化方法
CN106355552B (zh) 一种基于虚拟视点绘制质量的深度图上采样方法
WO2015188666A1 (zh) 三维视频滤波方法和装置
JP4885042B2 (ja) 画像処理方法および装置ならびにプログラム
JP2015050482A (ja) 画像処理装置、立体画像表示装置、画像処理方法およびプログラム
JP5736285B2 (ja) 被写体の３次元形状を復元する装置、方法およびプログラム
CN103945206A (zh) 一种基于相似帧比较的立体图像合成系统
KR20120110807A (ko) 3차원 화면으로 구성된 화면의 기초 라인 실시간 변경 방법
KR20120110805A (ko) 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 화면 가시화 방법
JP5457976B2 (ja) ３次元形状取得装置および３次元形状取得プログラム
KR20130112131A (ko) 스테레오 엔도스코프를 이용한 수술용 이미지와의 정합 속도 향상 방법
Stoppel et al. Visibility-driven depth determination of surface patches in direct volume rendering
KR20130112132A (ko) 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 가시화 속도 향상 방법
JP5711634B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination