KR100446414B1 - 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법 - Google Patents
계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법 Download PDFInfo
- Publication number
- KR100446414B1 KR100446414B1 KR10-2002-0041105A KR20020041105A KR100446414B1 KR 100446414 B1 KR100446414 B1 KR 100446414B1 KR 20020041105 A KR20020041105 A KR 20020041105A KR 100446414 B1 KR100446414 B1 KR 100446414B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- disparity
- variation
- hierarchical
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000015572 biosynthetic process Effects 0.000 title claims description 15
- 238000003786 synthesis reaction Methods 0.000 title claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 8
- 238000001308 synthesis method Methods 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000035772 mutation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오 혼합 현실 영상 합성 장치 및 그 방법에 관한 것이다. 본 발명의 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치는, 상기 스테레오 실사 영상에 대한 전처리를 수행하기 위한 전처리부; 상기 전처리 수단으로부터 수신한 영상에 대하여 계층적으로 변이 정보 추정을 수행하기 위한 상기 계층적 변이 추정부; 상기 가상 영상을 모델링하기 위한 가상 영상 처리부; 및 상기 전처리부 및 상기 가상 영상 처리부로부터 수신한 영상과 상기 계층적 변이 추정부로부터 수신한 실사 영상의 깊이 정보 및 상기 가상 영상 처리부로부터 수신한 가상 영상의 깊이 정보를 이용하여 영상 합성을 수행하기 위한 영상 합성부를 포함한다.
Description
본 발명은 계층적 변이 추정 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체와, 계층적 변이 추정 장치 및 그 방법을 이용한 스테레오 혼합 현실 영상 합성 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한것으로서, 특히 영상 매체 기술에서 사용되는 계층적 변이 추정 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체와, 계층적 변이 추정 장치 및 그 방법을 이용한 스테레오 혼합 현실 영상 합성 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
영상 기술의 발달에 따라, 오늘날의 세계는 기존의 2차원 정보 표현의 한계에서 벗어나 인간의 시각적 감각 및 인식의 3차원 표현, 기록, 재생을 위하여 보다 자연스럽고, 현실적으로 사용자 인터페이스가 고려된 영상 매체 기술에 관심을 가지게 되었다.
또한, 컴퓨터 그래픽스 기술의 발달은 우리가 접하는 컨텐츠를 더욱 풍성하게 만들었으며 이제는 현실 속에서 인간에게 직접적인 도움을 줄 수 있는 혼합 현실 기술에까지 이르게 되었다.
일반적으로, 혼합 현실은 사람이 생활하는 공간인 실세계 환경과 컴퓨터로 만들어진 가상 공간인 가상 환경이 동시에 존재한다는 것이다. 합성된 실세계와 가상 환경과는 서로 유기적인 관계가 존재하여야 된다. 즉, 실세계 환경과 가상 환경을 합성한 영상을 사용자가 보았을 때, 사용자는 합성된 흔적을 느끼지 못하도록 실세계 환경과 가상 세계 환경간에 3차원으로 정확한 정합이 이루어져야 한다.
그러나, 기존의 혼합 현실을 위한 영상 합성에는 물체간의 거리 차에 의한 가려짐 현상 등의 문제점이 있다.
한편, 혼합 현실 영상 합성을 위하여는 획득된 영상에 관한 분석이 있어야하며, 3차원 영상 획득을 위한 스테레오 카메라를 가정할 때 획득된 좌우 영상으로부터 영상내의 물체까지의 거리를 측정하는 깊이 추정 과정이 필수적이다.
상기 깊이 추정은 카메라의 초점 거리 λ와 베이스 라인의 크기B및 각 영상에서의 정합점의 위치차인 변이(Disparity) 정보d를 이용하여 하기 수학식 1에 의해 구할 수 있다.
상기 수학식 1에서 각 영상에서의 정합점의 위치차인 변이 정보d를 얻기 위하여 스테레오 영상 부호화 이론에서는 변이 추정(Disparity estimation)을 이용한다.
종래의 변이 추정 방식에는, 블록 기반(Block-based) 방식, 객체 기반(Object-based) 방식, 메쉬 기반(Mesh-based) 방식, 변이-공간 영상(DSI :Disparity-Space Image) 방식, 화소 기반(Pixel-based) 방식 등이 있다.
그러나, 상기와 같은 종래의 변이 추정 방식은 블록화 현상이나 지나친 계산상의 부하로 인해 영상합성을 위한 깊이 추정에는 적합하지 않은 문제점이 있다.
본 발명은 상기한 바와 같은 종래 기술의 제반 문제점을 해결하기 위해 제안된 것으로, 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정함으로써, 계산상의 부하를 줄이도록 하는 계층적 변이 추정부를 제공하는데 그 목적이 있다.
또한, 본 발명은 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정함으로써, 계산상의 부하를 줄이도록 하는 계층적 변이 추정 방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정함으로써, 계산상의 부하를 줄이도록 하는 계층적 변이 추정 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 스테레오 영상 내의 특징을 추출하고 이를 기반으로 영상내의 변이 정보를 추정함으로써, 컴퓨터로 만들어진 가상 영상과 자연스럽게 합성할 수 있도록 하는 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치를 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 스테레오 영상 내의 특징을 추출하고 이를 기반으로 영상내의 변이 정보를 추정함으로써, 컴퓨터로 만들어진 가상 영상과 자연스럽게 합성할 수 있도록 하는 계층적 변이 추정 방법을 이용한 스테레오 혼합 현실 영상 합성 방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 스테레오 영상 내의 특징을 추출하고 이를 기반으로 영상내의 변이 정보를 추정함으로써, 컴퓨터로 만들어진 가상 영상과 자연스럽게 합성할수 있도록 하는 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 또 다른 목적이 있다.
도 1은 본 발명에 따른 계층적 변이 추정부를 설명하기 위한 일실시예 구조도,
도 2a는 상기 도 1의 초기 변이 추정기의 변이 추정 결과를 설명하기 위한 일예시도,
도 2b는 상기 도 1의 블럭 변이 추정기의 후보 벡터를 설명하기 위한 일예시도,
도 2c는 상기 도 1의 미세 변이 할당기의 미세 변이 할당을 설명하기 위한 일예시도,
도 3은 본 발명에 따른 계층적 변이 추정 방법을 설명하기 위한 일실시예 흐름도,
도 4는 상기 도 3의 미세 변이 할당을 설명하기 위한 일실시예 상세 흐름도,
도 5는 본 발명에 따른 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치를 설명하기 위한 일실시예 구조도,
도 6은 본 발명에 따른 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 방법을 설명하기 위한 일실시예 흐름도,
도 7a 내지 도 7j는 본 발명에 따른 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치의 각 구성요소에 대한 결과를 설명하기 위한 일예시도.
*도면의 주요 부분에 대한 부호의 설명
100 : 계층적 변이 추정부 101 : 초기 변이 추정기
103 : 블록 변이 추정기 105 : 미세 변이 할당기
510 : 전처리기 511 : 잡음 제거기
513 : 밸런싱기 515 : 에지 추출기
520 : 영상 합성부 530 : 가상 영상 처리부
상기 목적을 달성하기 위한 본 발명은, 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정하고, 영상의 변이 정보를 얻기 위한 계층적 변이 추정부에 있어서, 입력된 영상을 1/2 다운 샘플링하여 초기 변이 추정을 수행하기 위한 초기 변이 추정 수단; 상기 초기 변이 추정 수단으로부터 수신한 초기 변이를 기반으로 블록 단위로 변이 추정을 수행하기 위한 블록 변위 추정 수단; 및 상기 영상의 에지 정보와 상기 블록 변위 추정 수단으로부터 추정된 블록 단위의 변이 정보를 이용하여, 각 화소에 미세 변이를 할당하는 미세 변이 할당 수단을 포함한다.
또한, 본 발명은 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정하고, 영상의 변이 정보를 얻기 위한 계층적 변이 추정 방법에 있어서, 입력된 영상을 1/2 다운 샘플링하여 초기 변이 추정을 수행하는 제 1단계; 상기 초기 변이를 기반으로 블록 단위로 변이 추정을 수행하는 제 2단계; 및 상기 영상의 에지 정보와 상기 블록 단위의 변이 정보를 이용하여, 각 화소에 미세 변이를 할당하는 제 3단계를 포함한다.
또한, 본 발명은 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서변이 추정하고, 영상의 변이 정보를 얻기 위한 계층적 변이 추정 방법을 제공하기 위하여 마이크로프로세서를 구비한 계층적 변이 추정 장치에, 입력된 영상을 1/2 다운 샘플링하여 초기 변이 추정을 수행하는 제 1기능; 상기 초기 변이를 기반으로 블록 단위로 변이 추정을 수행하는 제 2기능; 및 상기 영상의 에지 정보와 상기 블록 단위의 변이 정보를 이용하여, 각 화소에 미세 변이를 할당하는 제 3기능을 실현시키시기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
또한, 본 발명은 컴퓨터로 만들어진 가상 영상과 스테레오 실사 영상을 자연스럽게 합성하기 위하여 제 1항 내지 제 2항의 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치에 있어서, 상기 스테레오 실사 영상에 대한 전처리를 수행하기 위한 전처리부; 상기 전처리 수단으로부터 수신한 영상에 대하여 계층적으로 변이 정보 추정을 수행하기 위한 상기 계층적 변이 추정부; 상기 가상 영상을 모델링하기 위한 가상 영상 처리부; 및 상기 전처리부 및 상기 가상 영상 처리부로부터 수신한 영상과 상기 계층적 변이 추정부로부터 수신한 실사 영상의 깊이 정보 및 상기 가상 영상 처리부로부터 수신한 가상 영상의 깊이 정보를 이용하여 영상 합성을 수행하기 위한 영상 합성부를 포함한다.
또한, 본 발명은 컴퓨터로 만들어진 가상 영상과 스테레오 실사 영상을 자연스럽게 합성하기 위하여 제 3항 내지 제 6항의 계층적 변이 추정 방법을 이용한 스테레오 혼합 현실 영상 합성 방법에 있어서, 상기 스테레오 실사 영상에 대한 전처리를 수행하기 위한 제 1단계; 상기에서 전처리를 수행한 영상에 대하여 계층적으로 변이 정보 추정을 수행하기 위한 제 2단계; 상기 가상 영상을 모델링하기 위한제 3단계; 및 상기에서 전처리한 영상 및 모델링한 가상 영상과, 실사 영상의 깊이 정보 및 가상 영상의 깊이 정보를 이용하여 영상 합성을 수행하기 위한 제 4단계를 포함한다.
또한, 본 발명은 컴퓨터로 만들어진 가상 영상과 스테레오 실사 영상을 자연스럽게 합성하기 위하여 계층적 변이 추정 방법을 이용한 스테레오 혼합 현실 영상 합성 방법을 제공하기 위하여 마이크로프로세서를 구비한 혼합 현실 영상 합성 장치에, 상기 스테레오 실사 영상에 대한 전처리를 수행하기 위한 제 1기능; 상기에서 전처리를 수행한 영상에 대하여 계층적으로 변이 정보 추정을 수행하기 위한 제 2기능; 상기 가상 영상을 모델링하기 위한 제 3기능; 및 상기에서 전처리한 영상 및 모델링한 가상 영상과, 실사 영상의 깊이 정보 및 가상 영상의 깊이 정보를 이용하여 영상 합성을 수행하기 위한 제 4기능을 실현시키시기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명에 따른 계층적 변이 추정부를 설명하기 위한 일실시예 구조도이다.
도면에 도시된 바와 같이, 본 발명의 계층적 변이 추정부(100)는, 초기 변이추정기(101), 블록 변이 추정기(103) 및 미세 변이 할당기(105)를 포함하고 있다.
일반적인 블록 정합에서 블록의 크기가 클수록 블록 내에 많은 정보를 가지고 있으므로 변이 자체의 정확도는 증가하지만, 많은 화소에 대해 하나의 대표 벡터가 할당되므로 전체 변이의 정밀도는 떨어지게 된다.
이러한 문제점을 극복하고자, 상기 초기 변이 추정기(101)는 입력된 영상을 1/2 다운 샘플링(Down Sampling)하여 변이 추정을 수행하는 기능을 담당한다.
본 발명에서는, 초기 변이 추정에 있어 블록 단위의 영역 분할 및 양방향 추정 방식을 적용하기로 한다.
상기 영역 분할 방식은, 우선 가장 정합이 될 확률이 높은 화소부터 순서대로 정합을 수행하여 정합된 점들을 중심으로 영역을 분할해 나가면서 정합 과정을 수행하는 방식이다.
상기 양방향 추정 방식은, 좌영상에서의 변이 벡터와 이에 정합된 우영상으로부터의 변이 벡터가 절대값이 같고 방향이 반대가 되는 것을 이용하는 것으로서, 이 성질을 이용하면 정합과정의 신뢰도를 추정할 수 있고 신뢰도가 떨어지는 영역은 영역 분할 과정에서 제외시킴으로 전체적인 신뢰도를 높일 수 있다.
좌영상으로부터 우영상으로의 변이 벡터가이고에 대응하는 우영상의 점로부터 좌영상으로 동일한 과정으로 찾은 변이 벡터를라 할 때 양방향 정합은 다음의 수학식 2를 만족할 때 성립한다.
주어진 문턱값 ε에 대해 위 식을 만족하지 않는 화소는 가려진 영역으로 구별되며 상기 영역 분할 방식에서 제외되고, 위식을 만족하는 화소는 영역의 분할점이 되어 다음 화소들의 변이 추정시 탐색 범위를 제한하게 된다.
도 2a는 상기 도 1의 초기 변이 추정기의 변이 추정 결과를 설명하기 위한 일예시도이다.
도면에 도시된 바와 같이, 입력된 영상에 대하여 초기 변이들을 기반으로 원영상에서 좀 더 세밀하게 변이를 추정함으로써 변이의 정확도 및 수행 속도를 향상시킬 수 있다.
상기 초기 변이 추정기(101)에 의한 초기 변이는 상기 블록 변이 추정기(103)에 대하여 후보 벡터로 사용될 수 있다.
상기 블록 변이 추정기(103)는, 상기 초기 변이 추정기(101)로부터 수신한 초기 변이를 기반으로 원영상에서 블록 단위로 변이 추정을 수행하는 기능을 담당한다.
이때, 후보 벡터로 사용되는 벡터는 블록이 속한 초기 벡터과 그 주변 초기벡터들이다.
도 2b는 상기 도 1의 블록 변이 추정기의 후보 벡터를 설명하기 위한 일예시도이다.
도면에 도시된 바와 같이, 본 발명의 블록 변이 추정기의 변이 추정의 탐색범위는 후보 벡터 주변의 ±α로 설정된다.
단, 이 때 초기 변이 추정시에 분할된 영역에 따라 후보벡터가 자신이 속한 영역밖에 존재하면 후보에서 제외하여 잘못된 변이가 전파되어 들어오는 것을 막을 수 있다.
자연스러운 합성을 위해서는 화소 단위의 정밀한 변이 정보가 필요하며 특히 경계면에서의 명확한 변이 차이가 필수적이다. 그러나 추정된 블록 단위의 변이를 기반으로 다시 화소 단위의 변이를 추정하게 되면 시간도 많이 걸릴뿐더러, 가려진 영역에서는 정확한 변이가 추출되지 않으므로 경계부분이 매우 불명확한 변이 정보를 얻게 된다.
이에, 본 발명의 계층적 변이 추정부의 상기 미세 변이 할당기(105)는, 영상의 에지 정보와 상기 블록 변이 추정기(103)로부터 추정된 블록 단위의 변이 정보를 이용하여 각 화소마다 적절한 변이를 할당하는 기능을 담당한다.
상기 영상의 에지 정보에 대하여는 후에 설명하기로 한다.
도 2c는 상기 도 1의 미세 변이 할당기의 미세 변이 할당을 설명하기 위한 일예시도이다.
도면에 도시된 바와 같이, 본 발명의 미세 변이 할당기는 에지 정보에 따라 블록의 변이를 각 화소에 할당한다.
도 3은 본 발명에 따른 계층적 변이 추정 방법을 설명하기 위한 일실시예 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 변이 추정 방법은, 1/2 다운 샘플링하여 초기 변이 추정을 수행하고(S310), 상기에서 수신한 초기 변이를 기반으로 원영상에서 블록 단위로 변이 추정을 수행한다(S320).
그리고, 영상의 에지 정보와 상기 블록 변이 추정기(103)로부터 추정된 블록 단위의 변이 정보를 이용하여 각 화소마다 적절한 변이를 할당하여 변이를 추정한다(S330).
도 4는 상기 도 3의 미세 변이 할당을 설명하기 위한 일실시예 상세 흐름도이다.
본 발명의 변이 할당은 화소 단위로 수행되며, 도면에 도시된 바와 같이, 각 화소마다 그 위치에서 시작하여 상하좌우의 4방향으로 진행하여(S401), 4방향이 모두 에지가 있는지 판단한다(S403).
4방향에 모두 에지가 있지 않은 경우에는, 에지를 만나지 않고 다른 블록으로 넘어가는 방향이 있는지 판단하여(S405), 있는 경우에는 다시, 이웃하는 블록이 평활 영역인지를 판단한다(S407).
상기에서, 평활영역이란, 에지가 없는 부분이 넓게 분포하는 영역으로 정의하기로 한다.
판단결과, 이웃하는 블록이 평활영역일 경우에는, 블러링(blurring)을 막기 위해서 평균을 하지 않고 이웃 블록의 변이를 해당 화소의 미세 변이로 할당한다(S411). 판단결과, 이웃하는 영역이 평활영역이 아닐 경우에는 그 방향들의 이웃 블록의 변이를 평균하여 그 화소의 미세 변이로 할당한다(S411).
에지를 만나지 않고 다른 블록으로 넘어가는 방향이 없는 경우에는(S405), 4방향에 모두 있지가 있는 경우와 동일하게 취급한다.
한편, 4방향이 모두 에지로 막혔을 때는(S403), 블록 자체의 변이 정보가 있는지를 판단하여(S413), 있는 경우에는 블록 자체의 변이 정보를 그대로 미세 변이로 할당하고(S415), 블록 내에 변이가 존재하지 않는 경우에는 주변 블록과 자신이 속한 블록의 변이 정보를 거리에 따라 가중 평균하여 미세 변이로 할당한다(S417).
이하에서는, 상기 계층적 변이 추정부 및 그 방법을 이용한 스테레오 혼합 현실 영상 합성 장치 및 그 방법을 설명하기로 한다.
도 5는 본 발명에 따른 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치를 설명하기 위한 일실시예 구조도이다.
도면에 도시된 바와 같이, 본 발명의 스테레오 혼합 현실 영상 합성 장치는, 전처리부(510), 계층적 변이 추정부(100), 영상 합성부(520) 및 가상 영상 처리부(530)를 포함하고 있다.
또한, 상기 전처리부(510)는 잡음 제거기(511), 밸런싱기(513) 및 에지 추출기(515)를 포함하고 있으며, 주로 카메라로 획득한 실사 영상을 처리한다.
상기 잡음 제거기(511)는 카메라로부터 획득한 스테레오 영상의 잡음을 제거하는 기능을 담당한다.
영상 신호에 존재하는 잡음에는, 영상 신호에 독립적인 잡음과 의존적인 잡음으로 구분할 수 있는데, 양자 모두 심각한 화질의 열화의 근본적인 원인이 되므로, 이와 같은 잡음을 제거하는 것을 필수적이라 할 수 있다.
상기 밸런싱기(513)는 스테레오 영상을 획득하는 과정에서 카메라의 불일치등으로 발생하는 불일치(Imbalancing)를 해소하는 기능을 담당한다.
불일치의 문제는, 좌우 카메라의 파라미터들이 정확히 일치하지 않기 때문에 획득한 영상의 밝기 등에 차이가 나거나, 광원의 위치에 의해 물체와 카메라간의 거리등에 의해 획득된 영상의 밝기에 차이가 남으로 인해 발생하는 문제이다.
불일치는 변이 추정을 하는 과정에서 에러를 발생시킬 수 있기 때문에 전처리 과정에서 이를 해소하여야 한다.
상기 에지(edge) 추출기(515)는 상기 밸런싱기(513)로부터 수신한 영상에 대하여 상대적으로 다른 명암도를 가진 두 영역간의 경계인 에지를 추출하는 기능을 담당한다.
상기 계층적 변이 추정부(100)는 상기 전처리부(510)로부터 수신한 영상에 대하여 변이를 추정하는 기능을 담당한다.
상기 계층적 변이 추정부(100)는 상기 도 1 내지 도 2를 참조하여 설명한 바와 같다.
상기 가상 영상 처리부(530)는 스테레오 렌더링의 과정을 거쳐 좌우 카메라에서 얻은 것과 같은 동일한 영상을 모델링하는 기능을 담당한다.
상기 가상 영상 처리부의 출력인 가상 영상은 모델링을 하는 과정에서 깊이 정보를 추출하기 때문에 따로 깊이 추정 과정을 거칠 필요가 없다.
상기 영상 합성부(520)는 상기 전처리부(510)로부터 수신한 실사 영상과 상기 계층적 변이 추정부(100)로부터 수신한 실사 영상의 변이 정보 및 상기 가상 영상 처리부(530)로부터 수신한 가상 영상과 가상 영상의 깊이 정보를 이용하여 실사영상 및 가상 영상을 합성하는 기능을 담당한다.
상기 계층적 변이 추정부(100)로부터 수신한 미세 변이는 상기 수학식 1에 의해 깊이 정보로 변환된다.
상기 영상 합성부(520)는 가상 영상의 깊이 정보와 실사 영상의 깊이 정보를 각각 화소별로 비교하여, 깊이감이 큰 영상은 뒤쪽에, 깊이감이 작은 영상은 앞에 배치하여 영상을 합성한다.
도 6은 본 발명에 따른 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 방법을 설명하기 위한 일실시예 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 스테레오 혼합 현실 영상 합성 방법은, 우선, 스테레오 카메라로 실사 영상을 획득하고, 컴퓨터에 의해 가상 영상을 획득한다(S601). 이때, 이미 상기 가상 영상은 각 화소의 깊이 정보를 포함하고 있다.
상기 실사 영상에 대하여 잡음 제거, 밸런싱 및 에지 추출 등의 전처리를 수행하고(S603), 이에 대하여 계층적 변이 추정을 수행하여 각 화소에 대한 깊이 정보를 추출한다(S605).
이후, 상기 실사 영상의 화소의 깊이가 가상 영상 화소의 깊이보다 큰 경우에는 상기 가상 영상의 화소를 배치하고(S609), 실사 영상의 화소의 깊이가 가상 영상 화소의 깊이보다 큰 경우에는 상기 실사 영상의 화소를 배치한다(S611).
상기와 같은 화소의 배치를 영상의 전 화소에 대하여 수행한다(S613)
도 7a 내지 도 7k는 본 발명에 따른 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치의 각 구성요소에 대한 결과를 설명하기 위한 일예시도이다.
도 7a는 평행식 멀티 카메라로 획득한 640×480 RGB의 스테레오 실사영상으로서 각각 좌/우 영상을 나타내며, 도 7b는 상기 가상 영상 처리부(530)에 의해 3D MAX로 모델링되고 스테레오 렌더링된 "fish"와 "spot"을 나타낸다.
도 7c는 상기 가상 영상 처리부(530)가 저장하고 있는 상기 도 7b의 가상 영상의 깊이 정보를 나타낸다.
본 발명의 일실시예에서는, 상기 도 7a의 좌영상으로부터 우영상으로 변이를 추정해 좌영상의 깊이 정보를 구한 후 좌영상으로 합성하였다.
도 7d는 상기 잡음 제거기(511)를 거치기 전의 잡음이 삽입되어 있는 영상을 나타내며, 상기 도 7은 상기 잡음 제거기(511)로부터 출력되어 잡음이 제거된 영상을 나타낸다.
도 7f는 상기 에지 추출기(515)로부터 출력된 영상을 나타내며, 도 7g 내지 도 7i는 상기 초기 변이 추정기(101), 상기 블록 변이 추정기(103) 및 미세 변이 할당기(105)로부터 각각 출력된 영상을 나타낸다.
마지막으로, 도 7j는 상기 영상 합성부(530)로부터 출력된 영상으로서, 물체간의 상대적인 깊이감이 표현되는 것으로 나타내고 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기와 같은 본 발명은, 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정하여 깊이를 추정함으로써, 계산상의 부하를 줄일 수 있도록 하는 효과가 있다.
또한, 본 발명은 본 발명은 스테레오 영상 내의 특징을 추출하고 이를 기반으로 영상내의 변이 정보를 추정함으로써, 컴퓨터로 만들어진 가상 영상과 자연스럽게 합성할 수 있도록 하는 효과가 있다.
또한, 본 발명은 영상 합성에 소모되는 비용 및 시간을 절감할 수 있도록 하는 효과가 있다.
또한, 본 발명은 컴퓨터 그래픽스 분야 및 영상 신호처리 분야의 활발한 연구 교류에 기여할 수 있도록 하는 효과가 있다.
Claims (16)
- 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정하고, 영상의 변이 정보를 얻기 위한 계층적 변이 추정부에 있어서,입력된 영상을 1/2 다운 샘플링하여 초기 변이 추정을 수행하기 위한 초기 변이 추정 수단;상기 초기 변이 추정 수단으로부터 수신한 초기 변이를 기반으로 블록 단위로 변이 추정을 수행하기 위한 블록 변위 추정 수단; 및상기 영상의 에지 정보와 상기 블록 변위 추정 수단으로부터 추정된 블록 단위의 변이 정보를 이용하여, 각 화소에 미세 변이를 할당하는 미세 변이 할당 수단을 포함하는 계층적 변이 추정부.
- 제 1항에 있어서,상기 초기 변이 추정 수단은,블록 단위의 영역 분할 및 양방향 추정 방식을 이용하여 초기 변이 추정을 수행하는 것을 특징으로 하는 계층적 변이 추정부.
- 제 2항에 있어서,상기 초기 변이 추정 수단에 의하여 추정한 초기 변이는,상기 블록 변이 추정 수단의 후보벡터로 사용되는 것을 특징으로 하는 계층적 변이 추정부.
- 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정하고, 영상의 변이 정보를 얻기 위한 계층적 변이 추정 방법에 있어서,입력된 영상을 1/2 다운 샘플링하여 초기 변이 추정을 수행하는 제 1단계;상기 초기 변이를 기반으로 블록 단위로 변이 추정을 수행하는 제 2단계; 및상기 영상의 에지 정보와 상기 블록 단위의 변이 정보를 이용하여, 각 화소에 미세 변이를 할당하는 제 3단계를 포함하는 계층적 변이 추정 방법.
- 제 4항에 있어서,상기 제 3단계는,화소의 상하좌우의 4방향에 모두 에지가 있는지 판단하는 제 4단계;상기 제 4단계의 판단결과, 에지가 모두 있지 않은 경우에는, 다른 블록으로 넘어가는 방향이 있는지를 판단하는 제 5단계;상기 제 5단계의 판단결과, 다른 블록으로 넘어가는 부분이 있는 경우에는해당 부분이 평활영역인지를 판단하여, 그 결과에 따라 해당 화소의 미세 변이를 할당하는 제 6단계; 및상기 제 4단계의 판단결과, 에지가 모두 있는 경우에는, 블록 자체의 변이 정보가 있는지 여부에 따라 해당 화소의 미세 변이를 할당하는 제 7단계를 포함하는 것을 특징으로 하는 계층적 변이 추정 방법.
- 제 5항에 있어서,상기 제 5단계의 판단결과, 다른 블록으로 넘어가는 방향이 없는 경우에는 상기 제 7단계를 수행하는 제 8단계를 더 포함하는 것을 특징으로 하는 계층적 변이 추정 방법.
- 제 5항 또는 제 6항에 있어서,상기 제 6단계는,다른 블록으로 넘어가는 부분이 평활영역인지 판단하는 제 9단계;상기 제 9단계의 판단결과, 평활영역인 경우에는 이웃하는 블록의 변이를 해당 화소의 미세 변이로 할당하는 제 10단계; 및상기 제 9단계의 판단결과, 평활영역이 아닌 경우에는 이웃하는 블록의 변이를 평균하여 해당 화소의 미세 변이로 할당하는 제 11단계를 포함하는 것을 특징으로 하는 계층적 변이 추정 방법.
- 제 5항 또는 제 6항에 있어서,상기 제 7단계는,블록 자체의 변이 정보가 있는지를 판단하는 제 9단계;상기 제 9단계의 판단결과, 변이 정보가 있는 경우에는 블록 자체의 변이 정보를 미세 변이로 할당하는 제 10단계; 및상기 제 9단계의 판단결과, 변이 정보가 없는 경우에는 주변 블록과 자신이 속한 블록의 변이 정보를 거리에 따라 가중 평균하여 미세 변이로 할당하는 제 11단계를 포함하는 것을 특징으로 하는 계층적 변이 추정 방법.
- 낮은 해상도의 영상으로부터 순차적으로 해상도를 높이면서 변이 추정하고, 영상의 변이 정보를 얻기 위한 계층적 변이 추정 방법을 제공하기 위하여 마이크로프로세서를 구비한 계층적 변이 추정 장치에,입력된 영상을 1/2 다운 샘플링하여 초기 변이 추정을 수행하는 제 1기능;상기 초기 변이를 기반으로 블록 단위로 변이 추정을 수행하는 제 2기능; 및상기 영상의 에지 정보와 상기 블록 단위의 변이 정보를 이용하여, 각 화소에 미세 변이를 할당하는 제 3기능을 실현시키시기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 컴퓨터로 만들어진 가상 영상과 스테레오 실사 영상을 자연스럽게 합성하기 위하여 제 1항 내지 제 3항의 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치에 있어서,상기 스테레오 실사 영상에 대한 전처리를 수행하기 위한 전처리부;상기 전처리 수단으로부터 수신한 영상에 대하여 계층적으로 변이 정보 추정을 수행하기 위한 상기 계층적 변이 추정부;상기 가상 영상을 모델링하기 위한 가상 영상 처리부; 및상기 전처리부 및 상기 가상 영상 처리부로부터 수신한 영상과 상기 계층적 변이 추정부로부터 수신한 실사 영상의 깊이 정보 및 상기 가상 영상 처리부로부터 수신한 가상 영상의 깊이 정보를 이용하여 영상 합성을 수행하기 위한 영상 합성부를 포함하는 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치.
- 제 10항에 있어서,상기 전처리부는,상기 스테레오 실사 영상의 잡음을 제거하기 위한 잡음 제거 수단;상기 잡음 제거 수단으로부터 수신한 영상에 대하여 불일치를 제거하기 위한 밸런싱 수단; 및상기 밸런싱 수단으로부터 수신한 영상에 대하여 에지를 추출하기 위한 에지 추출 수단을 포함하는 것을 특징으로 하는 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치.
- 제 10항에 있어서,상기 가상 영상 처리부는,상기 가상 영상의 깊이 정보를 추출하는 것을 특징으로 하는 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치.
- 제 10항에 있어서,상기 영상 합성부는,상기 가상 영상의 깊이 정보와 상기 실사 영상의 깊이 정보를 비교하여 깊이감이 큰 영상은 뒤쪽에, 깊이감이 작은 영상은 앞쪽에 배치하는 것을 특징으로 하는 계층적 변이 추정부를 이용한 스테레오 혼합 현실 영상 합성 장치.
- 컴퓨터로 만들어진 가상 영상과 스테레오 실사 영상을 자연스럽게 합성하기 위하여 제 4항 내지 제 8항의 계층적 변이 추정 방법을 이용한 스테레오 혼합 현실 영상 합성 방법에 있어서,상기 스테레오 실사 영상에 대한 전처리를 수행하기 위한 제 1단계;상기에서 전처리를 수행한 영상에 대하여 계층적으로 변이 정보 추정을 수행하기 위한 제 2단계;상기 가상 영상을 모델링하기 위한 제 3단계; 및상기에서 전처리한 영상 및 모델링한 가상 영상과, 실사 영상의 깊이 정보 및 가상 영상의 깊이 정보를 이용하여 영상 합성을 수행하기 위한 제 4단계를 포함하는 계층적 변이 추정 방법을 이용한 스테레오 혼합 현실 영상 합성 방법.
- 제 14항에 있어서,상기 제 4단계는,상기 실사 영상의 깊이 정보와 상기 가상 영상의 깊이 정보를 비교하는 제 5단계;상기 제 5단계의 판단결과, 상기 실사 영상 깊이가 상기 가상 영상의 깊이보다 큰 경우에는 해당 화소에 상기 가상 영상의 화소를 배치하는 제 6단계; 및상기 제 5단계의 판단결과, 상기 실사 영상 깊이가 상기 가상 영상의 깊이보다 작은 경우에는 해당 화소에 상기 실사 영상의 화소를 배치하는 제 7단계를 포함하는 것을 특징으로 하는 계층적 변이 추정 방법을 이용한 스테레오 혼합 현실 영상 합성 방법.
- 컴퓨터로 만들어진 가상 영상과 스테레오 실사 영상을 자연스럽게 합성하기 위하여 계층적 변이 추정 방법을 이용한 스테레오 혼합 현실 영상 합성 방법을 제공하기 위하여 마이크로프로세서를 구비한 혼합 현실 영상 합성 장치에,상기 스테레오 실사 영상에 대한 전처리를 수행하기 위한 제 1기능;상기에서 전처리를 수행한 영상에 대하여 계층적으로 변이 정보 추정을 수행하기 위한 제 2기능;상기 가상 영상을 모델링하기 위한 제 3기능; 및상기에서 전처리한 영상 및 모델링한 가상 영상과, 실사 영상의 깊이 정보 및 가상 영상의 깊이 정보를 이용하여 영상 합성을 수행하기 위한 제 4기능을 실현시키시기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0041105A KR100446414B1 (ko) | 2002-07-15 | 2002-07-15 | 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0041105A KR100446414B1 (ko) | 2002-07-15 | 2002-07-15 | 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040006738A KR20040006738A (ko) | 2004-01-24 |
| KR100446414B1 true KR100446414B1 (ko) | 2004-08-30 |
Family
ID=37316603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0041105A KR100446414B1 (ko) | 2002-07-15 | 2002-07-15 | 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100446414B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101558805B1 (ko) | 2014-09-03 | 2015-10-07 | 현대자동차주식회사 | 스테레오 매칭용 보간 계수 보정 장치 |
| WO2024049110A1 (ko) * | 2022-08-29 | 2024-03-07 | 삼성전자 주식회사 | 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100899422B1 (ko) * | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
| KR100918480B1 (ko) | 2007-09-03 | 2009-09-28 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 처리 방법 |
| KR100947406B1 (ko) * | 2008-10-22 | 2010-03-15 | 서울대학교산학협력단 | 3차원 스캔데이터의 동시정합방법 |
| KR101352385B1 (ko) * | 2011-04-29 | 2014-01-16 | 주식회사 휴원 | ３ｄ 증강현실 포토 서비스 시스템 및 이를 이용한 서비스 방법. |
| KR101724360B1 (ko) * | 2016-06-30 | 2017-04-07 | 재단법인 실감교류인체감응솔루션연구단 | 혼합현실 디스플레이 장치 |
| KR200487369Y1 (ko) | 2018-02-20 | 2018-09-07 | 이태윤 | 다중 간편식 포장체 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05308631A (ja) * | 1992-03-03 | 1993-11-19 | Toshiba Corp | 動画像符号化装置 |
| JPH0795526A (ja) * | 1993-08-20 | 1995-04-07 | Texas Instr Inc <Ti> | 画像処理装置及びその処理方法 |
| KR960028481A (ko) * | 1994-12-29 | 1996-07-22 | 배순훈 | 움직임 추정 장치 |
| KR20000018311A (ko) * | 1998-09-01 | 2000-04-06 | 윤종용 | 영상 시스템의 움직임 추정방법 및 장치 |
| US6289051B1 (en) * | 1997-10-15 | 2001-09-11 | U.S. Philips Corporation | Motion estimation |
-
2002
- 2002-07-15 KR KR10-2002-0041105A patent/KR100446414B1/ko not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05308631A (ja) * | 1992-03-03 | 1993-11-19 | Toshiba Corp | 動画像符号化装置 |
| JPH0795526A (ja) * | 1993-08-20 | 1995-04-07 | Texas Instr Inc <Ti> | 画像処理装置及びその処理方法 |
| KR960028481A (ko) * | 1994-12-29 | 1996-07-22 | 배순훈 | 움직임 추정 장치 |
| US6289051B1 (en) * | 1997-10-15 | 2001-09-11 | U.S. Philips Corporation | Motion estimation |
| KR20000018311A (ko) * | 1998-09-01 | 2000-04-06 | 윤종용 | 영상 시스템의 움직임 추정방법 및 장치 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101558805B1 (ko) | 2014-09-03 | 2015-10-07 | 현대자동차주식회사 | 스테레오 매칭용 보간 계수 보정 장치 |
| US9465102B2 (en) | 2014-09-03 | 2016-10-11 | Hyundai Motor Company | Apparatus, method, and computer readable medium for correcting an interpolation coefficient for stereo matching |
| WO2024049110A1 (ko) * | 2022-08-29 | 2024-03-07 | 삼성전자 주식회사 | 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040006738A (ko) | 2004-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111066065B (zh) | 用于混合深度正则化的系统和方法 | |
| CN109360235B (zh) | 一种基于光场数据的混合深度估计方法 | |
| EP1588327B1 (en) | Full depth map acquisition | |
| RU2382406C1 (ru) | Способ улучшения карты диспарантности и устройство для реализации способа | |
| CN100514367C (zh) | 基于彩色分割的立体3d重构系统和方法 | |
| Zollmann et al. | Image-based ghostings for single layer occlusions in augmented reality | |
| KR100748719B1 (ko) | 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 | |
| KR100931311B1 (ko) | 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법 | |
| US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
| US8737769B2 (en) | Reconstruction of sparse data | |
| KR102464523B1 (ko) | 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치 | |
| KR20180087947A (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| US20100309292A1 (en) | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image | |
| KR20130112311A (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| KR100927734B1 (ko) | 다시점 영상 생성 장치 및 그 방법 | |
| KR100926520B1 (ko) | 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법 | |
| US20230401855A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| KR100446414B1 (ko) | 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법 | |
| KR20110021500A (ko) | 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치 | |
| Mori et al. | Good keyframes to inpaint | |
| US10504235B2 (en) | Method for generating three dimensional images | |
| KR101849696B1 (ko) | 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치 | |
| KR20120042323A (ko) | 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 | |
| Kim et al. | Real-time human segmentation from RGB-D video sequence based on adaptive geodesic distance computation | |
| Kruse | Scene segmentation from dense displacement vector fields using randomized Hough transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130712 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20140626 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20150922 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20160818 Year of fee payment: 13 |
|
| LAPS | Lapse due to unpaid annual fee |