KR102122523B1 - 3차원 입체 영상용 깊이지도 보정장치 및 보정방법 - Google Patents

3차원 입체 영상용 깊이지도 보정장치 및 보정방법 Download PDF

Info

Publication number
KR102122523B1
KR102122523B1 KR1020130116590A KR20130116590A KR102122523B1 KR 102122523 B1 KR102122523 B1 KR 102122523B1 KR 1020130116590 A KR1020130116590 A KR 1020130116590A KR 20130116590 A KR20130116590 A KR 20130116590A KR 102122523 B1 KR102122523 B1 KR 102122523B1
Authority
KR
South Korea
Prior art keywords
value
pixel
depth
block
reliability
Prior art date
Application number
KR1020130116590A
Other languages
English (en)
Other versions
KR20150037203A (ko
Inventor
임형섭
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020130116590A priority Critical patent/KR102122523B1/ko
Publication of KR20150037203A publication Critical patent/KR20150037203A/ko
Application granted granted Critical
Publication of KR102122523B1 publication Critical patent/KR102122523B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 우수한 품질의 깊이지도를 생성할 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법에 관한 것으로, 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하는 신뢰도산출부; 상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 화소깊이산출부; 전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 블록깊이산출부; 및, 상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 융합깊이산출부를 포함함을 특징으로 한다.

Description

3차원 입체 영상용 깊이지도 보정장치 및 보정방법{DEVICE FOR CORRECTING DEPTH MAP OF THREE DIMENSIONAL IMAGE AND METHOD FOR CORRECTING THE SAME}
본 발명은 3차원 입체 영상용 깊이지도 보정장치에 관한 것으로, 특히 우수한 품질의 깊이지도를 생성할 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법에 대한 것이다.
스테레오(stereo) 방식의 3차원 입체 영상은 2차원 영상인 좌안 영상과 우안 영상간의 조합으로 생성된다. 이러한 입체 영상을 생성하기 위해서는, 좌안 영상 및 우안 영상에 포함된 피사체들간의 입체적인 거리차(깊이차)에 대한 정보가 필요한 바, 이러한 정보는 깊이지도(depth map)에 담긴다.
이 3차원 영상의 화질은 이 깊이지도의 정확도에 영향을 받으므로, 3차원 입체 영상의 화질 향상을 위해서는 이 깊이지도내의 오류 및 노이즈를 제거하는 것이 중요하다.
그러나, 종래에는 화소의 깊이지도에 대한 신뢰도값에 상관없이 항상 일정한 비율로 화소깊이값과 블록깊이값을 연산하므로, 그 신뢰도가 낮을 경우 오히려 아티팩트(artifact)가 더욱 강조되어 그 깊이지도내에 오류 및 노이즈가 더욱 많이 발생되며, 결국 그러한 깊이지도를 근거로 생성된 3차원 영상의 화질이 저하되는 문제점이 있었다.
본 발명은 상술된 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 신뢰도값에 따라 화소깊이값과 블록깊이값간의 비율을 조절하고 융합깊이값을 산출함으로써 3차원 영상의 화질을 향상시킬 수 있는 3차원 입체 영상용 깊이지도 보정장치 및 보정방법을 제공하는데 그 목적이 있다.
상술된 목적을 달성하기 위한 본 발명에 따른 3차원 입체 영상용 깊이지도 보정장치는, 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하는 신뢰도산출부; 상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 화소깊이산출부; 전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 블록깊이산출부; 및, 상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 융합깊이산출부를 포함함을 특징으로 한다.
상기 융합깊이산출부는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.
융합깊이값은 아래의 수학식1로 정의되며; <수학식1> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 한다.
상기 융합깊이산출부는, 신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고, 신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.
융합깊이값은 아래의 수학식2로 정의되며; <수학식2> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며; <수학식3> 블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값}; 상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고, 상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 한다.
상기 신뢰도산출부는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고, 상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 한다.
상기 블록깊이산출부는, 상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 한다.
또한 상술된 목적을 달성하기 위한 본 발명에 따른 3차원 입체 영상용 깊이지도 보정방법은, 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하는 A단계; 상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 B단계; 전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 C단계; 및, 상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 D단계를 포함함을 특징으로 한다.
상기 D단계는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.
융합깊이값은 아래의 수학식1로 정의되며; <수학식1> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 한다.
상기 D단계는, 신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고, 신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 한다.
융합깊이값은 아래의 수학식2로 정의되며; <수학식2> 화소깊이값*화소 게인값+블록깊이값*블록 게인값; 상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며; 상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며; <수학식3> 블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값}; 상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고, 상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 하한다.
상기 A단계는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고, 상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 한다.
상기 C단계는, 상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 한다.
본 발명에 따른 3차원 입체 영상용 깊이지도 보정장치 및 보정방법에는 다음과 같은 효과가 있다.
본 발명은 신뢰도값에 따라 화소깊이값과 블록깊이값간의 비율을 조절하고 이들을 합산하여 융합깊이값을 산출한다. 즉, 본 발명은 신뢰도가 낮은 화소는 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 화소깊이값보다는 덜 강조된 값을 갖는 블록깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절하는 반면, 신뢰도가 높은 화소는 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 블록깊이값보다는 더욱 강조된 값을 갖는 화소깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절한다. 따라서, 본 발명은 그 신뢰도값에 상관없이 항상 일정한 비율로 화소깊이값과 블록깊이값을 합산하는 종래 방식에 비하여 더 우수한 품질의 깊이지도를 생성할 수 있다. 그러므로, 본 발명은 종래에 비하여3차원 영상의 화질을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 보정장치의 블록도
도 2는 도 1의 화소깊이산출부로부터 생성된 화소깊이지도(DP-mp)의 생성과정을 설명하기 위한 도면
도 3은 신뢰도값 산출 방법을 설명하기 위한 도면
도 4는 도 1의 화소깊이산출부 및 신뢰도산출부에 인가된 좌안 영상 데이터 및 우안 영상 데이터를 나타낸 도면
도 5는 도 4의 좌안 영상 데이터 및 우안 영상 데이터를 근거로 생성된 신뢰도지도를 나타낸 도면
도 6은 블록깊이지도의 생성 과정을 설명하기 위한 도면
도 7은 신뢰도값과 블록 게인값간의 관계를 나타낸 그래프
도 8은 신뢰도값과 블록 게인값간의 관계를 나타낸 또 다른 그래프
도 9는 종래의 융합깊이지도와 본 발명에 따른 융합깊이지도를 비교 설명하기 위한 도면
도 10은 종래의 융합깊이지도를 근거로 생성된 3차원 영상과 본 발명에 따른 융합깊이지도를 근거로 생성된 3차원 영상을 비교 설명하기 위한 도면
도 1은 본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 보정장치의 블록도이다.
본 발명의 실시예에 따른 3차원 입체 영상용 깊이지도 보정장치는, 도 1에 도시된 바와 같이, 신뢰도산출부(101), 화소깊이산출부(103), 블록깊이산출부(105) 및 융합깊이산출부(107)를 포함한다.
화소깊이산출부(103)는 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R), 그리고 신뢰도산출부(101)로부터의 신뢰도지도(CF_mp)(화소별 신뢰도값을 나타낸 지도)를 공급받아 화소깊이지도(PD-mp)를 생성한다. 여기서, 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)는 동일 영상을 서로 다른 각도에서 촬영하여 얻어진 영상들(좌안 영상, 우안 영상)에 대한 2차원 영상 데이터이다. 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R)는 모두 한 프레임의 영상 데이터이다. 화소깊이지도(DP-mp)는, 한 프레임의 영상에 포함된 다수 피사체들간의 상대적인 거리를 계조차로 표현하는 지도이다.
도 2를 참조하여, 전술된 화소깊이지도(PD-mp)에 대하여 좀 더 구체적으로 살펴본다.
도 2는 도 1의 화소깊이산출부(103)로부터 생성된 화소깊이지도(DP-mp)의 생성과정을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)는 모두 원(CC)과 삼각형(TA)을 포함하고 있다. 여기서, 원(CC)이 삼각형(TA)보다 상대적으로 더 앞으로 돌출되어 있다고 가정하고, 그리고 삼각형(TA)은 원(CC)보다 상당히 뒤에 위치하고 있다고 가정하자. 일반적으로, 피사체가 앞으로 더 돌출될수록 좌안 영상 데이터(Img_L)에서의 그 피사체와 우안 영상 데이터(Img_R)에서의 그 피사체간의 위치 변화량이 더 증가한다. 반면, 피사체가 더 뒤에 위치할수록 그 피사체의 위치 변화량은 감소한다. 예를 들어, 도 2에 도시된 바와 같이, 좌안 영상 데이터(Img_L)에 포함된 원(CC)의 위치와 우안 영상 데이터(Img_R)에 포함된 원(CC)의 위치가 확연하게 다름을 알 수 있다. 반면, 좌안 영상 데이터(Img_L)에 포함된 삼각형(TA)의 위치와 우안 영상 데이터(Img_R)에 포함된 삼각형(TA)의 위치는 거의 동일함을 알 수 있다.
화소깊이산출부(103)는 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)를 비교하여, 좌안 영상 데이터(Img_L)에 포함된 원(CC) 및 삼각형(TA)이 우안 영상 데이터(Img_R)에 포함된 원(CC) 및 삼각형(TA)이 자리한 위치로부터 얼마나 이동하였는지를 산출한다. 그리고 이 산출된 결과를 근거로 좌안 영상 데이터(Img_L)에서의 원(CC)을 구성하는 화소들의 계조값 및 삼각형(TA)을 구성하는 화소들의 계조값을 설정하고, 이 설정된 계조값을 화소깊이지도(PD-mp)에 반영한다.
도 2의 화소깊이지도(PD-mp)에 도시된 바와 같이, 상대적으로 이동 정도가 큰 피사체인 원(CC)은 밝은 계조값(즉, 높은 화소깊이값)들로 표시되는 반면, 이동 정도가 상당히 작은 피사체인 삼각형(TA)은 어두운 계조값(즉, 낮은 화소깊이값)들로 표시된다. 즉, 앞으로 더 돌출된 피사체일수록 밝은 계조값들로 표시되고, 반면 뒤에 위치한 피사체일수록 어두운 계조값들로 표시된다.
한편, 신뢰도산출부(101)는 전술된 바와 같은 좌안 영상과 우안 영상에 있어서, 이들간의 유사도를 화소 단위로 고려하여 각 화소의 화소깊이값에 대한 신뢰도값을 산출한다. 이를 위해, 이 신뢰도산출부(101)는 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하고, 그리고 화소별 신뢰도값을 포함하는 신뢰도지도(CF_mp)를 생성한다. 구체적으로, 이 신뢰도산출부(101)는 각 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 화소 및 그 화소에 인접한 몇 개의 주변 화소들 각각에 대한 우안 계조값을 그 좌안 영상 데이터로부터 찾고, 그 우안 계조값들 중 좌안 계조값과 가장 유사한 값을 갖는 하나의 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 각 화소에 대한 신뢰도값을 설정한다. 여기서, 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가한다. 이러한 신뢰도값 산출 방법을 도 3을 참조로 하여 좀 더 구체적으로 설명한다.
도 3은 신뢰도값 산출 방법을 설명하기 위한 도면이다.
도 3의 (a) 및 (b)에서의 좌안 영상 데이터(Img_L)와 우안 영상 데이터(Img_R)는 동일 영상을 서로 다른 각도에서 촬영하여 얻어진 영상들(좌안 영상, 우안 영상)에 대한 2차원 영상 데이터이다. 여기서, 화소들 표시된 숫자는 그 화소에 공급된 영상 데이터의 계조값을 의미하는 바, 숫자가 표시되지 않는 화소는 그 영상 데이터의 계조값이 0임을 의미한다.
여기서, 그 각도 차에 의해, 좌안 영상 데이터에서 보이는 영상 데이터, 예를 들어 12의 계조에 해당하는 영상 데이터 및 13의 계조에 해당하는 영상 데이터는 우안 영상 데이터로부터 보이지 않을 수 있다.
이러한 도 3에서, 예를 들어 어느 특정 화소(이하, 제 1 화소(PXL))에 대한 신뢰도값을 산출한다고 할 때, 그 신뢰도산출부(101)는 그 제 1 화소에 대한 좌안 계조값을 좌안 영상 데이터(Img_L)로부터 찾는다. 즉, 도 3의 (a)에 도시된 바와 같이 그 제 1 화소(PXL1)의 좌안 계조값은 3임을 알 수 있다. 이어서, 그 신뢰도산출부(101)는 그 제 1 화소(PXL1) 및 그 제 1 화소(PXL1)에 인접한 몇 개의 주변 화소들 각각에 대한 우안 계조값을 그 우안 영상 데이터(Img_R)로부터 찾는다. 즉, 신뢰도산출부(101)는, 도 3의 (b)에 도시된 바와 같이, 그 제 1 화소(PXL1)를 중심으로 제 1 블록(BL1)을 설정하고, 그 제 1 블록(BL1)내에 위치한 모든 화소들에 대한 우안 계조값들을 찾는 바, 그 우안 계조값들은 각각 2, 3, 5, 6 및 11개의 0임을 알 수 있다. 다음으로, 신뢰도산출부(101)는 그 우안 계조값들로부터 좌안 계조값과 가장 유사한 값을 갖는 하나의 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 각 화소에 대한 신뢰도값을 설정한다. 즉, 신뢰도산출부(101)는, 도 3의 (b)에 도시된 바와 같이, 그 제 1 블록(BL1)내의 우안 계조값들 중 전술된 3의 좌안 계조값과 가장 유사한 계조값을 선택하는 바, 이는 도 3의 (b)에서 알 수 있듯이 3임을 알 수 있다. 이때, 이들간의 계조값 차이가 0이므로, 제 1 화소(PXL1)는 상당히 높은 신뢰도값을 갖는다. 예를 들어, 신뢰도값이 0에서 255까지의 값을 가질 때, 제 1 화소(PXL1)는 255의 최고 신뢰도값을 갖게 된다.
한편, 제 2 화소(PXL2)의 우안 계조값은 13으로서, 그 제 2 화소(PXL2)를 중심으로 설정된 제 2 블록(BL2)내의 좌안 계조값들(7, 8, 9 및 12개의 0)들 중 이 우안 계조값에 가장 근접한 값은 9이다. 따라서, 제 2 화소는 낮은 신뢰도값을 나타내는 바, 이와 같은 제 2 화소(PXL2)는 실제 화면에서 노이즈와 같은 형태로 나타날 수 있다.
이와 같은 방식으로 모든 화소에 대하여 개별적으로 신뢰도값이 산출되면, 그 신뢰도값들로 구성된 신뢰도지도(CF_mp)가 만들어진다.
전술된 화소깊이산출부(103)는 화소깊이지도(PD-mp)를 생성하는 과정에서, 전술된 신뢰도지도(CF_map)를 활용하여 각 화소별 화소깊이값을 보정함으로써 화소깊이지도(PD-mp)의 신뢰도를 높인다.
도 4는 도 1의 화소깊이산출부(103) 및 신뢰도산출부(101)에 인가된 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R)를 나타낸 도면이며, 그리고 도 5는 도 4의 좌안 영상 데이터(Img_L) 및 우안 영상 데이터(Img_R)를 근거로 생성된 신뢰도지도(CF_mp)를 나타낸 도면이다. 여기서, 도 5에서 밝은 색으로 표시된 부분의 화소들일수록 그의 신뢰도값이 높은 것이며, 어두울수록 그의 신뢰도값이 낮은 것이다.
블록깊이산출부(105)는 전체 화소들을 이들의 공간적 위치를 근거로 n개(n은 1보다 큰 자연수)의 화소군 블록들(BLK)로 분류하고, 전술된 화소깊이지도(PD-mp)로부터의 화소깊이값들을 근거로 각 화소군 블록(BLK)에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출한다.
이 블록깊이산출부(105)는 화소깊이지도(DP-mp)에 포함된 화소별 화소깊이값들을 참조하여 각 화소군 블록(BLK)별로 평균깊이값을 산출하고, 그리고 그 n개의 평균깊이값들을 포함하는 블록깊이지도(BD_mp)를 생성한다. 예를 들어, 특정 화소군 블록(BLK)에 대한 평균깊이값은, 그 특정 화소군 블록(BLK)에 포함된 모든 화소들의 화소깊이값들을 더하고, 그리고 이 더한 값을 그 특정 화소군 블록(BLK)에 포함된 화소수로 나눔으로써 산출된다. 한편, 이 블록깊이산출부(105)는 화소군 블록(BLK)들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행할 수도 있다.
도 6은 블록깊이지도의 생성 과정을 설명하기 위한 도면으로, 도 6의 (a)에 도시된 화소깊이지도(DP-mp)를 810개(27*30)의 화소군 블록(BLK)들로 구획하고, 각 화소군 블록(BLK)별로 평균깊이값을 구하고, 그리고 각 화소의 블록깊이값을 그 화소가 속하는 화소군 블록(BLK)의 평균깊이값으로 설정함으로써 화소별 블록깊이값이 생성된다. 따라서, 하나의 화소군 블록(BLK)내에 포함된 화소들은 동일한 블록깊이값들을 갖는다. 다만, 그러한 평균깊이값 적용 작업 후 전술된 바와 같은 선형보간법(linear interpolation)에 의해 경계부 화소들의 블록깊이값이 보정되므로, 한 화소군 블록(BLK)에 포함된 화소들은 반드시 동일한 블록깊이값을 가지지 않을 수도 있다.
위와 같은 화소군 블록별 평균깊이값 산출 작업 및 선형보간법이 수행되면, 도 6의 (b)와 같은 블록깊이지도(BD-mp)가 완성된다.
융합깊이산출부(107)는 화소깊이산출부(103)로부터 화소깊이지도(PD-mp)를, 그리고 블록깊이산출부(105)로부터 블록깊이지도(BD-mp)를 공급받는다. 이후, 이 융합깊이산출부(107)는 화소깊이값들과 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인(gain)값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하고, 그 산출된 융합깊이값들을 포함하는 융합깊이지도(FD-mp)를 생성한다.
이때, 융합깊이산출부(107)는 다음의 2가지 방법으로 화소 게인값과 블록 게인(gain)값을 설정할 수 있는 바, 도 7 및 도 8을 참조로 하여 이를 설명하면 다음과 같다.
도 7은 신뢰도값과 블록 게인값간의 관계를 나타낸 그래프로서, 동 도면에 도시된 바와 같이, 신뢰도값이 높아질수록 이에 반비례하여 블록 게인값이 선형적으로 감소한다. 한편, 화소 게인값은 블록 게인값에 따라 결정되는 값으로, 이 화소 게인값은 그 신뢰도값이 증가함에 따라 이에 비례하여 선형적으로 증가한다.
이 도 7과 같은 그래프 및 다음과 같은 수학식1을 근거로, 융합깊이산출부(107)는 각 화소에 대한 융합깊이값을 아래와 같이 산출할 수 있다.
[수학식1]
FusionDepth = PixelDepth*(1-a) + BlockDepth*a
위의 수학식1에서, FusionDepth는 화소의 융합깊이값을, PixelDepth는 그 화소의 화소깊이값을, BlockDepth는 그 화소의 블록깊이값을, a는 그 화소의 신뢰도에 따른 블록 게인값을, 그리고 (1-a)는 그 화소의 신뢰도에 따른 화소 게인값을 의미한다. 여기서, 블록 게인값 a는 0과 1.0사이에서 선택되는 정수이다.
도 8은 신뢰도값과 블록 게인값간의 관계를 나타낸 또 다른 그래프로서, 동 도면에 도시된 바와 같이, 신뢰도값이 미리 설정된 신뢰 임계값(th2)보다 클 때 그 신뢰도값에 관계없이 블록 게인값이 일정한 값으로 유지되며, 신뢰도값이 그 신뢰 임계값(th2)으로부터 감소할수록 그에 비례하여 블록 게인값이 선형적으로 감소한다. 한편, 화소 게인값은 블록 게인값에 따라 결정되는 값으로, 이 화소 게인값은 전술된 신뢰 임계값(th2)보다 클 때 그 신뢰도값에 관계없이 일정한 값으로 유지되며, 신뢰도값이 그 신뢰 임계값(th2)으로부터 감소할수록 그에 비례하여 선형적으로 증가한다.
이 도 8과 같은 그래프 및 다음과 같은 수학식2를 근거로, 융합깊이산출부(107)는 각 화소에 대한 융합깊이값을 아래와 같이 산출할 수 있다.
[수학식2]
FusionDepth = PixelDepth*(1-a) + BlockDepth*a
위의 수학식2에서, FusionDepth는 화소의 융합깊이값을, PixelDepth는 그 화소의 화소깊이값을, BlockDepth는 그 화소의 블록깊이값을, a는 그 화소의 신뢰도에 따른 블록 게인값을, 그리고 (1-a)는 그 화소의 신뢰도에 따른 화소 게인값을 의미한다.
이때, 신뢰도값이 신뢰 임계값(th2)보다 작거나 같을 때, 전술된 블록 게인값 a는 아래의 수학식3으로 정의된다.
[수학식3]
a = th1+{(0.5-th1)/th2*Confidence_Level}
위의 수학식3에서, th1은 블록 임계값을, th2는 신뢰 임계값을, 그리고 Confidence_Level은 신뢰도값을 의미한다. 여기서, 블록 임계값(th1)은 0.5와 1.0사이에서 선택되는 정수이다.
한편, 신뢰도값이 신뢰 임계값(th2)보다 클 때, 전술된 블록 게인값 a는 일정한 값, 예를 들면 0.5로 유지된다.
이와 같이 본 발명에 따르면, 신뢰도값에 따라 화소깊이값과 블록깊이값간의 비율을 조절하고 이들을 합산하여 융합깊이값을 산출한다. 다시 말하여, 신뢰도가 낮은 화소는 그의 화소깊이값이 아티팩트(artifact)의 발생에 직접적인 영향을 줄 확률이 매우 높으므로, 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 화소깊이값보다는 덜 강조된 값을 갖는 블록깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절한다. 반대로, 신뢰도가 높은 화소는 그의 화소깊이값이 원 영상의 일부일 가능성이 매우 높으므로, 그 화소의 최종 깊이값(즉, 융합깊이값)이 그 블록깊이값보다는 더욱 강조된 값을 갖는 화소깊이값을 상대적으로 더 많이 포함하도록 그들간의 비율을 조절한다. 따라서, 본 발명은 그 신뢰도값에 상관없이 항상 일정한 비율로 화소깊이값과 블록깊이값을 합산하는 종래 방식에 비하여 더 우수한 품질의 깊이지도를 생성할 수 있다. 그러므로, 본 발명은 종래에 비하여3차원 영상의 화질을 향상시킬 수 있다.
도 9는 종래의 융합깊이지도(FD-mp)와 본 발명에 따른 융합깊이지도(FD-mp)를 비교 설명하기 위한 도면이다.
도 9의 (a)는 종래의 융합깊이지도(FD-mp)이고, 그리고 도 9의 (b)는 본 발명에 따른 융합깊이지도(FD-mp)를 나타낸 것으로, 이 두 개의 융합깊이지도(FD-mp)는 모두 동일한 화소깊이지도(PD-mp) 및 블록깊이지도(BD-mp)를 근거로 생성된 것이다. 여기서, 그 화소깊이지도(PD-mp)는 신뢰도값이 낮은 화소들을 상당히 많이 포함하고 있는 바, 도 9의 (a)와 같이 그 신뢰도값에 관계없이 고정된 비율로 융합깊이지도(FD-mp)를 생성할 경우 밝은 색으로 강조된 부분이 많아지게 되고 그로 인해 그 것들이 아티팩트로서 작용하게 되어 3차원 영상의 화질이 저하될 가능성이 높다. 그러나, 도 9의 (b)에 도시된 바와 같이 그 낮은 신뢰도값을 고려하여, 상대적으로 부드럽게(smoothingly) 처리된 블록깊이값의 비율을 더 높게 하여 융합깊이지도(FD-mp)를 작성하게 되면 아티팩트가 확연히 줄어들게 되어 3차원 영상의 화질이 향상될 수 있다.
도 10은 종래의 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상과 본 발명에 따른 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상을 비교 설명하기 위한 도면이다.
도 10의 (a)는 종래의 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상이고, 도 10의 (b)는 본 발명에 따른 융합깊이지도(FD-mp)를 근거로 생성된 3차원 영상으로서, 도 10의 (b)에 나타난 영상이 도 10의 (a)에 나타난 영상에 비하여 더 화질이 우수함을 알 수 있다.
이상에서 설명한 본 발명은 상술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
101: 신뢰도산출부 103: 화소깊이산출부
105: 블록깊이산출부 107: 융합깊이산출부
Img_L: 좌안 영상 데이터 Img_R: 우안 영상 데이터
CF-mp: 신뢰도지도 PD-mp: 화소깊이지도
BD-mp: 블록깊이지도 FD-mp: 융합깊이지도

Claims (14)

  1. 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하는 신뢰도산출부;
    상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 화소깊이산출부;
    전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 블록깊이산출부; 및,
    상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 융합깊이산출부를 포함하고,
    상기 융합깊이산출부는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
  2. 삭제
  3. 제 1 항에 있어서,
    융합깊이값은 아래의 수학식1로 정의되며;
    <수학식1>
    화소깊이값*화소 게인값+블록깊이값*블록 게인값;
    상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
    상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
  4. 제 1 항에 있어서,
    상기 융합깊이산출부는,
    신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고,
    신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
  5. 제 4 항에 있어서,
    융합깊이값은 아래의 수학식2로 정의되며;
    <수학식2>
    화소깊이값*화소 게인값+블록깊이값*블록 게인값;
    상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
    상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며;
    <수학식3>
    블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값};
    상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고,
    상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
  6. 제 1 항에 있어서,
    상기 신뢰도산출부는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고,
    상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
  7. 제 1 항에 있어서,
    상기 블록깊이산출부는,
    상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정장치.
  8. 좌안 영상 데이터 및 우안 영상 데이터를 근거로 각 화소에 대한 신뢰도값을 산출하는 A단계;
    상기 좌안 영상 데이터, 우안 영상 데이터 및 신뢰도값을 근거로 각 화소에 대한 화소깊이값을 산출하는 B단계;
    전체 화소들을 이들의 공간적 위치를 근거로 다수의 화소군 블록들로 분류하고, 상기 화소깊이값들을 근거로 각 화소군 블록에 대한 평균깊이값을 산출하고, 그리고 그 평균깊이값을 근거로 각 화소에 대한 블록깊이값을 산출하는 C단계; 및,
    상기 화소깊이값들과 상기 블록깊이값들을 동일 화소에 대응되는 것끼리 서로 연산하되, 그 연산 작업 수행시 그 화소에 대한 신뢰도값을 근거로 화소깊이값에 대한 화소 게인값과 블록깊이값에 대한 블록 게인값을 설정하고, 그리고 그 설정된 게인값들을 근거로 상기 연산을 수행함으로써 각 화소에 대한 융합깊이값을 산출하는 D단계를 포함하고,
    상기 D단계는 신뢰도값이 높을수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
  9. 삭제
  10. 제 8 항에 있어서,
    융합깊이값은 아래의 수학식1로 정의되며;
    <수학식1>
    화소깊이값*화소 게인값+블록깊이값*블록 게인값;
    상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
    상기 신뢰도값이 증가할수록 a의 값이 선형적으로 감소함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
  11. 제 8 항에 있어서,
    상기 D단계는,
    신뢰도값이 미리 설정된 신뢰 임계값보다 클 때 그 신뢰도값에 관계없이 화소 게인값 및 블록 게인값을 일정한 값으로 유지시키고; 그리고,
    신뢰도값이 그 신뢰 임계값으로부터 감소할수록 화소 게인값을 높이고 블록 게인값을 낮추는 것을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
  12. 제 11 항에 있어서,
    융합깊이값은 아래의 수학식2로 정의되며;
    <수학식2>
    화소깊이값*화소 게인값+블록깊이값*블록 게인값;
    상기 블록 게인값이 a(a는 0과 1.0사이의 정수)일 때 상기 화소 게인값은 1-a이며;
    상기 신뢰도값이 신뢰 임계값보다 작거나 같을 때, 상기 a는 아래의 수학식3로 정의되며;
    <수학식3>
    블록 임계값+{(0.5-블록 임계값)/신뢰 임계값*신뢰도값};
    상기 블록 임계값은 0.5와 1.0사이의 정수이며; 그리고,
    상기 신뢰도값이 신뢰 임계값보다 클 때, 상기 a는 0.5로 설정됨을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
  13. 제 8 항에 있어서,
    상기 A단계는, 어느 특정 화소에 대한 좌안 계조값을 상기 좌안 영상 데이터로부터 찾고, 그 특정 화소 및 그 특정 화소에 인접한 몇 개의 화소들 각각에 대한 우안 계조값을 상기 좌안 영상 데이터로부터 찾고, 상기 우안 계조값들 중 상기 좌안 계조값과 가장 유사한 값을 갖는 우안 계조값을 선택하고, 그리고 그 선택된 우안 계조값과 그 좌안 계조값간의 차이를 근거로 상기 특정 화소에 대한 신뢰도값을 설정하며; 그리고,
    상기 선택된 우안 계조값과 좌안 계조값간의 차이가 작을수록 신뢰도값이 증가함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
  14. 제 8 항에 있어서,
    상기 C단계는,
    상기 화소군 블록들간의 경계부에 위치한 화소들간의 계조차를 줄이기 위해, 선형보간법(linear interpolation)을 이용하여 그 경계부 인접하여 위치한 화소들의 블록깊이값을 보정하는 작업을 더 수행함을 특징으로 하는 3차원 입체 영상용 깊이지도 보정방법.
KR1020130116590A 2013-09-30 2013-09-30 3차원 입체 영상용 깊이지도 보정장치 및 보정방법 KR102122523B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130116590A KR102122523B1 (ko) 2013-09-30 2013-09-30 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130116590A KR102122523B1 (ko) 2013-09-30 2013-09-30 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Publications (2)

Publication Number Publication Date
KR20150037203A KR20150037203A (ko) 2015-04-08
KR102122523B1 true KR102122523B1 (ko) 2020-06-12

Family

ID=53033209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130116590A KR102122523B1 (ko) 2013-09-30 2013-09-30 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Country Status (1)

Country Link
KR (1) KR102122523B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337888B1 (ko) * 2017-03-16 2021-12-10 삼성디스플레이 주식회사 액정 표시 장치의 영상 처리 방법 및 장치
KR20220030007A (ko) * 2020-09-02 2022-03-10 삼성전자주식회사 이미지 생성 장치 및 방법
KR20230082230A (ko) 2021-12-01 2023-06-08 한국전자통신연구원 깊이지도 및 노말지도 정제 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078942A (ja) * 2010-09-30 2012-04-19 Toshiba Corp デプス補正装置及び方法
WO2013111552A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078942A (ja) * 2010-09-30 2012-04-19 Toshiba Corp デプス補正装置及び方法
WO2013111552A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法

Also Published As

Publication number Publication date
KR20150037203A (ko) 2015-04-08

Similar Documents

Publication Publication Date Title
KR101742120B1 (ko) 영상 처리 장치 및 방법
US9277207B2 (en) Image processing apparatus, image processing method, and program for generating multi-view point image
US9407896B2 (en) Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
KR101502362B1 (ko) 영상처리 장치 및 방법
US10115207B2 (en) Stereoscopic image processing method and apparatus thereof
US20140098089A1 (en) Image processing device, image processing method, and program
JP6717855B2 (ja) 画像の深度マップを決定する方法および装置
CN107578430B (zh) 一种基于自适应权值和局部熵的立体匹配方法
US20120249536A1 (en) Image processing device, image processing method, and program
KR101938205B1 (ko) 깊이 영상 필터링 방법 및 그 장치
JP5197683B2 (ja) 奥行き信号生成装置及び方法
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
US20130293533A1 (en) Image processing apparatus and image processing method
KR20130003135A (ko) 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
US20120206451A1 (en) Method for Enhancing Depth Images of Scenes Using Trellis Structures
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
US9113145B2 (en) Contrast matching for stereo image
KR102122523B1 (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
KR101970562B1 (ko) 3차원 입체 영상의 깊이지도 보정장치 및 보정방법
US20170148177A1 (en) Image processing apparatus, image processing method, and program
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP2020518058A (ja) 奥行きマップを処理するための装置及び方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant