KR101316196B1 - 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체 - Google Patents

입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체 Download PDF

Info

Publication number
KR101316196B1
KR101316196B1 KR1020110140709A KR20110140709A KR101316196B1 KR 101316196 B1 KR101316196 B1 KR 101316196B1 KR 1020110140709 A KR1020110140709 A KR 1020110140709A KR 20110140709 A KR20110140709 A KR 20110140709A KR 101316196 B1 KR101316196 B1 KR 101316196B1
Authority
KR
South Korea
Prior art keywords
color
coordinates
image
respect
color relationship
Prior art date
Application number
KR1020110140709A
Other languages
English (en)
Other versions
KR20130073060A (ko
Inventor
손광훈
신형철
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110140709A priority Critical patent/KR101316196B1/ko
Priority to US13/722,732 priority patent/US9098936B2/en
Publication of KR20130073060A publication Critical patent/KR20130073060A/ko
Application granted granted Critical
Publication of KR101316196B1 publication Critical patent/KR101316196B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체가 개시된다. 개시된 입체 영상 화질 향상 장치는 제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 제2 좌표 사이의 색상 관계를 추출하는 색상 관계 추출부; 상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 색상 관계 보정부; 및 상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 색상 값 변환부를 포함한다. 본 발명에 따르면, 입체 영상을 구성하는 좌영상과 우영상의 색 불균형이 정확하게 보정되어 입체 영상의 화질을 향상시킬 수 있으며, 입체 영상 시청자의 피로도를 감소시킬 수 있는 장점이 있다.

Description

입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체{APPARATUS AND METHOD FOR ENHANCING STEREOSCOPIC IMAGE, RECORDING MEDIUM THEREOF}
본 발명의 실시예들은 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체에 관한 것으로서, 더욱 상세하게는 입체 영상을 구성하는 좌영상과 우영상의 색 불균형을 정확하게 보정하여 입체 영상의 화질을 향상시킬 수 있는 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체에 관한 것이다.
스테레오 영상은 양안 카메라로부터 얻은 좌우 영상을 의미하며, 양안 카메라 각각의 radiometric 특성이나 조명 조건의 변화에 따라, 좌우 영상은 차이를 가질 수 있다.
좌우 영상의 차이는 스테레오 영상 시청자의 피로도를 유발하므로, 이러한 차이를 보상하기 위한 알고리즘으로서 스테레오 영상 색상 보정은 좌우 영상 사이의 휘도(luminance) 및 색차(chrominance)를 보상한다.
스테레오 영상의 색상 보정에 관한 연구는 크게 두 가지 방법으로 나뉠 수 있다.
첫 번째 방법은 각 카메라에 대해 기측정된 색상 응답 함수를 사용하여 색상 불일치를 해결한다. 이때, 색상 응답 함수는 보정 개체에 대한 알려진 색상 비교를 통해 독립적으로 각각의 카메라를 보정함으로써 얻어질 수 있다. 그러나, 이 방법은 조명 상태가 변경될 때마다 복잡한 보정 절차를 반복해야 한다는 점에서 사용자의 불편을 초래한다.
두 번째 방법은 영상 처리에 기반한 방법으로서, 보정을 위한 참조 개체를 필요로 하지 않으며, 이러한 방법은 다시 전역적인 방법과 지역적 방법으로 나뉠 수 있다.
전역적인 방법은 영상 전체의 색을 하나의 선형적인 변환을 통해 색 불균형을 보정한다. 이 방법은 부분적인 조명이나 각 색상의 특성을 고려하지 않기 때문에 변환된 영상의 색이 부분적으로 포화되거나 손실되는 단점이 존재한다.
지역적인 방법은 전역적인 방법의 단점을 보완하기 위하여 색 불균형을 보정할 때 영상 전체가 아닌 부분 영역에 따라 다른 변환을 적용한다. 이 방법은 전역적인 방법과는 다르게 영상의 색정합이 필요하며 색정합은 보통 특징점 정합 알고리즘을 이용하여 수행된다.
지역적 방법은 변환을 하려는 부분 영역에 충분한 색 정합 점이 추출되지 않았을 때 불안정한 성능을 보인다.
또한, 전역적 방법과 지역적 방법 모두 영상의 변환을 채널 별로 나누어 수행하는데, 영상의 각 채널들은 서로 연관되어 있기 때문에, 채널별로 독립적인 처리를 이용하면 기준 영상의 색으로 정확히 변환하기 어려운 단점을 갖는다.
또한, 다시점 영상의 색 불균형의 정도와 경향은 화소의 색, 즉 색 공간에서 화소 색의 위치에 따라 다르게 나타남에도 불구하고, 기존 방법은 다른 색을 가지는 화소를 하나의 변환으로 보정한다는 점에서, 색 불균형을 정확히 보정할 수 없는 문제점을 갖는다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 입체 영상을 구성하는 좌영상과 우영상의 색 불균형을 정확하게 보정하여 입체 영상의 화질을 향상시킬 수 있는 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 제2 좌표 사이의 색상 관계를 추출하는 색상 관계 추출부; 상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 색상 관계 보정부; 및 상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 색상 값 변환부를 포함하는 것을 특징으로 하는 입체 영상 화질 향상 장치가 제공된다.
상기 색상 관계 보정부는 상기 어느 하나의 제1 좌표에 관한 색상 관계가 상기 적어도 하나의 제1 좌표에 관한 색상 관계의 평균에 상응하도록 보정할 수 있다.
상기 복수의 제1 좌표는 상기 제1 영상을 구성하는 복수의 제1 픽셀 각각의 좌표이고, 상기 복수의 제2 좌표는 상기 제2 영상을 구성하는 복수의 제2 픽셀 각각의 좌표일 수 있다.
상기 색상 관계 보정부는 상기 복수의 제1 픽셀 중 어느 하나의 제1 픽셀을 포함하는 소정 영역 내에 존재하는 2 이상의 제1 픽셀을 선택하고, 상기 2 이상의 제1 픽셀 중에서 상기 어느 하나의 제1 픽셀의 제1 좌표로부터 상기 소정의 거리 내에 존재하는 제1 좌표를 갖는 하나 이상의 제1 픽셀을 선택하며, 상기 하나 이상의 제1 픽셀에 관한 색상 관계에 기초하여 상기 어느 하나의 제1 픽셀에 관한 색상 관계를 보정할 수 있다.
상기 제1 영상에 관한 3차원 색 공간에서의 좌표의 분포 및 상기 제2 영상에 관한 3차원 색 공간에서의 좌표의 분포에 기초하여 상기 제1 영상 및 제2 영상 중에서 어느 하나의 기준 영상을 선택하는 기준 영상 선택부를 더 포함할 수 있다.
상기 3차원 색 공간은 CIELab 색 공간일 수 있다.
상기 색상 관계 보정부는 하기의 수학식에 따라 상기 어느 하나의 제1 픽셀에 관한 색상 관계를 보정할 수 있다.
Figure 112011102573756-pat00001
Figure 112011102573756-pat00002
여기서, (p, q)는 상기 어느 하나의 제1 픽셀의 위치, W는 상기 소정 영역, (i, j)는 상기 소정 영역 내에 존재하는 상기 2 이상의 제1 픽셀 각각의 위치, Y(i, j)는 (i, j)에 위치하는 상기 2 이상의 제1 픽셀 각각에 대한 3차원 색 공간에서의 벡터, A(i, j)는 (i, j)에 위치하는 상기 2 이상의 제1 픽셀 각각에 관한 색상 관계, T d 는 상기 소정의 거리, D c 는 상기 소정의 거리 내 존재하는 제1 좌표를 갖는 하나 이상의 제1 픽셀을 선택하는 연산자, N T 는 상기 소정의 거리 내 존재하는 제1 좌표를 갖는 하나 이상의 제1 픽셀의 개수,
Figure 112011102573756-pat00003
(p, q)는 상기 보정된 어느 하나의 제1 픽셀에 관한 색상 관계를 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 제2 좌표 사이의 색상 관계를 추출하는 단계; 상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 단계; 및 상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 단계를 포함하는 것을 특징으로 하는 입체 영상 화질 향상 방법이 제공된다.
상기 보정하는 단계는 상기 어느 하나의 제1 좌표에 관한 색상 관계가 상기 적어도 하나의 제1 좌표에 관한 색상 관계의 평균에 상응하도록 보정할 수 있다.
상기 제1 영상에 관한 3차원 색 공간에서의 좌표의 분포 및 상기 제2 영상에 관한 3차원 색 공간에서의 좌표의 분포에 기초하여 상기 제1 영상 및 제2 영상 중에서 어느 하나의 기준 영상을 선택하는 단계를 더 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 영상의 화질을 향상시키기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서, 제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 제2 좌표 사이의 색상 관계를 추출하는 단계; 상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 단계; 및 상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 단계를 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 입체 영상을 구성하는 좌영상과 우영상의 색 불균형이 정확하게 보정되어 입체 영상의 화질을 향상시킬 수 있으며, 입체 영상 시청자의 피로도를 감소시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 화질 향상 장치의 동작에 관한 개략도를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 화질 향상 장치의 상세한 구성을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 좌영상 및 우영상의 3차원 색 공간에서의 좌표의 분포를 다양한 시점으로 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라, 좌영상 및 우영상의 색상 관계의 추출을 위해 3차원 점 정합 기법이 적용된 예를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 색상 관계 보정부가 색상 관계 추출부에 의해 추출된 색상 관계를 보정하는 동작을 도시하는 도면이다.
도 6은 본 발명에 따른 입체 영상 화질 향상 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명의 일 실시예에 따른 입체 영상 화질 향상 장치는 입체 영상을 구성하는 좌영상 및 우영상의 불균형을 보정하는 데 용이하게 사용될 수 있으므로, 아래에서는 입체 영상의 좌영상 및 우영상에 입체 영상 화질 향상 장치를 적용한 일례를 중심으로 설명하기로 한다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 화질 향상 장치(100)의 동작에 관한 개략도를 도시하는 도면이다.
도 1에 도시된 바와 같이, 입체 영상 화질 향상 장치(100)는 입력 받은 입체 영상을 구성하는 좌영상 및 우영상의 불균형을 보정하여 화질이 향상된 입체 영상을 출력한다.
이때, 입체 영상의 색 불균형의 정도와 경향은 픽셀의 색, 즉 색 공간(color space)에서 픽셀 색의 위치에 따라 다르게 나타날 수 있으므로, 입체 영상 화질 향상 장치(100)는 이하 설명하는 바와 같이, 3차원 색 공간상에서 좌영상 및 우영상의 불균형을 보정한다.
즉, 채널별로 색상 값을 보정하는 것이 아니라, 3차원 색 공간에서의 벡터로 색상 값을 보정하여 기존의 방법에 비해 보다 정확하게 좌영상 및 우영상의 불균형을 보정한다. 이를 위해, 입체 영상 화질 향상 장치(100)는 좌영상 및 우영상의 전체 픽셀에 대한 3차원 색 공간에서의 색상 색상 관계를 추출하며, 이때 추출된 색상 관계는 벡터로 표현될 수 있다.
또한, 입체 영상 화질 향상 장치(100)는 색 공간에서의 벡터로 색상 값을 보정함에 있어서, 픽셀이 위치하는 영상의 영역(image domain)을 추가적으로 고려한다. 즉, 전역적인 방법(global method)이 아닌 지역적인 방법(local method)으로 좌영상 및 우영상의 불균형을 보정한다.
이와 같이, 본 발명에 따른 입체 영상 화질 향상 장치(100)는 좌영상 및 우영상의 불균형을 보정함에 있어서, 픽셀이 위치하는 영상의 영역뿐만 아니라 3차원 색 공간에서의 위치를 고려함으로써 보다 정확하게 색 불균형을 보정할 수 있는 장점을 갖는다.
한편, 3차원 색 공간에는 인간의 시각에 가깝게 모델링된 CIELab 색 공간, 물리 장치의 출력에 적합하게 모델링된 RGB 색 공간 등이 있을 수 있으며, 본 발명에서는 CIELab 색 공간에서의 색상 관계에 기초하여 불균형을 보정하는 것으로 가정하여 설명하기로 한다. 그러나, 이에 한정되지 않으며, 3차원 색 공간에서 표현될 수 있는 다양한 색 공간이 사용될 수 있다.
이하 도 2 내지 도 5를 참조하여 본 발명에 따른 입체 영상 화질 향상 장치(100)를 보다 상세하게 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 화질 향상 장치(100)의 상세한 구성을 도시하는 도면이다.
도 2에 도시된 바와 같이, 입체 영상 화질 향상 장치(100)는 기준 영상 선택부(110), 색상 관계 추출부(120), 색상 관계 보정부(130) 및 색상 값 변환부(140)를 포함할 수 있다.
먼저, 기준 영상 선택부(110)는 입체 영상을 구성하는 좌영상 및 우영상에 관한 3차원 색 공간에서의 좌표의 분포(gamut)에 기초하여 좌영상 및 우영상 중에서 어느 하나의 기준 영상을 선택한다.
보다 상세하게, 기준 영상 선택부(110)는 도 3에 도시된 바와 같이, 좌영상을 구성하는 복수의 픽셀(이하, '복수의 제1 픽셀'이라 함) 각각에 관한 3차원 색 공간에서의 좌표 및 우영상을 구성하는 복수의 픽셀(이하, '복수의 제2 픽셀'이라 함) 각각에 관한 3차원 색 공간에서의 좌표 중에서 좌표의 분포가 보다 좁은 영상을 기준 영상으로 선택하여, 선택된 기준 영상을 기준으로 나머지 영상인 종속 영상의 색상이 이하 설명하는 바와 같이 보정되도록 한다.
이는 3차원 색 공간에서의 좌표의 분포가 상대적으로 좁은 영상이 넓은 영상보다 더 나은 품질을 가지므로, 기준 영상을 기준으로 종속 영상의 색상이 보정되도록 하기 위함이다.
이때, 본 발명의 일 실시예에 따르면, 좌영상 및 우영상의 좌표의 분포는 각각의 영상에서 독특한 색상 좌표의 개수를 카운트함으로써 산출될 수 있으며, 좀 더 작은 개수를 갖는 영상이 기준 영상이 된다.
요컨대, 기준 영상 선택부(110)는 하기의 수학식에 따라 좌영상 및 우영상 중에서 기준 영상을 선택할 수 있다.
Figure 112011102573756-pat00004
여기서, I ref 는 기준 영상, I L 은 좌영상, I R 은 우영상, C는 영상에서 독특한 색상 좌표의 개수를 카운트하는 연산자를 의미한다.
도 3은 본 발명의 일 실시예에 따른 좌영상 및 우영상의 3차원 색 공간에서의 좌표의 분포를 다양한 시점으로 도시하는 도면이다.
도 3에 도시된 바와 같이, 좌측에 도시된 좌영상에 관한 3차원 색 공간에서의 좌표의 분포가 우측에 도시된 우영상에 관한 3차원 색 공간에서의 좌표의 분포보다 더 크게 나타나므로, 기준 영상 선택부(110)는 우영상을 기준 영상으로 선택할 수 있다. 이때, 본 발명의 일 실시예에 따른 독특한 색상 좌표의 개수는 좌영상 120,788개, 우영상 100,753개일 수 있다.
본 발명에서는 설명의 편의를 위하여, 우영상이 기준 영상으로 선택되며, 좌영상이 기준 영상과 동일한 색상을 갖도록 보정되는 종속 영상인 것으로 가정하여 설명하기로 한다.
계속하여, 색상 관계 추출부(120)는 좌영상을 구성하는 복수의 픽셀 각각에 관한 3차원 색 공간에서의 좌표와 우영상을 구성하는 복수의 픽셀 각각에 관한 3차원 색 공간에서의 좌표 사이의 색상 관계를 추출한다.
스테레오 영상의 특성상, 좌영상에 관한 3차원 색 공간에서의 좌표와 우영상에 관한 3차원 색 공간에서의 좌표는 서로 유사한 기하학적 분포를 가지므로, 종속 영상의 기하학적 분포가 기준 영상의 기하학적 분포와 일치될 수 있도록 상호간의 색상 관계를 추출하면, 이에 기초하여 색의 불균형이 보정될 수 있다.
3차원 색 공간에서의 색상 관계의 추출을 위해, 본 발명의 일 실시예에 따른 색상 관계 추출부(120)는 3차원 점 정합 기법(3D point set registration technique)을 이용할 수 있으며, 일반적으로, Iterative Closest Point(ICP) 알고리즘, Coherent Point Drift(CPD) 알고리즘 등이 사용될 수 있다.
ICP는 좌영상에 관한 좌표와 우영상에 관한 좌표를 잇는 가장 가까운 거리에 기초하여 색상 관계를 정하는 방식이며, 하기의 수학식에 따라 색상 관계를 추출한다.
Figure 112011102573756-pat00005
여기서, R은 회전, t는 병진 이동을 각각 의미한다. ICP는 선형 회전과 선형 병진 이동으로 구성된 변환으로서 엄격한 변환에 해당한다.
일례로, ICP는 좌영상에 관한 좌표 X=(x 1 , ···, x N ) T , 우영상에 관한 좌표 Y=( y 1 , ···, y M ) T 가 주어진 경우, 상기의 수학식 2를 최소화하여 좌영상에 관한 좌표가 우영상에 관한 좌표로 변환될 수 있도록 한다.
그리고, CPD는 초기 위치에 변위 함수를 더하는 방식으로서, 하기의 수학식에 따라 색상 관계를 추출한다.
Figure 112011102573756-pat00006
Figure 112011102573756-pat00007
여기서, v는 변위 함수, φ(v)는 정규화 항, λ는 트레이드-오프 파라미터, σ 2 은 혼합 모델의 공분산을 각각 의미한다. CPD는 확률적인 유연한 알고리즘에 해당한다.
본 발명은 입체 영상의 화질 향상 장치에 관한 것이며, 3차원 색 공간에서의 좌표의 색상 관계를 추출하는 알고리즘은 널리 알려진 공지 기술이므로 본 실시예에서 색상 관계를 추출하는 알고리즘에 대해서 더 자세히 설명하지 않으며, 3차원 색 공간에서의 좌표의 색상 관계를 추출할 수 있는 다양한 알고리즘이 본 발명의 색상 관계 추출부(120)에 적용될 수 있을 것이다.
도 4는 본 발명의 일 실시예에 따라, 좌영상 및 우영상의 색상 관계의 추출을 위해 3차원 점 정합 기법이 적용된 예를 도시하는 도면이며, 도 4a는 정합 전의 상태를, 도 4b는 정합 후의 상태를 각각 도시한다.
도 4에 도시된 바와 같이, 색상 관계 추출부(120)는 3차원 색 공간에서 좌영상을 구성하는 복수의 제1 픽셀 각각에 관한 좌표와 우영상을 구성하는 복수의 제2 픽셀 각각에 관한 좌표 사이의 색상 관계를 추출할 수 있다.
본 발명의 일 실시예에 따르면, 복수의 제1 픽셀 각각에 관한 3차원 색 공간에서의 좌표와 복수의 제2 픽셀 각각에 관한 3차원 색 공간에서의 좌표의 색상 관계는 하기의 수학식과 같은 벡터로 표현될 수 있다.
Figure 112011102573756-pat00008
여기서, (p, q)는 종속 영상에서의 위치, Y(p, q)는 (p, q)에 존재하는 픽셀에 관한 3차원 색 공간에서의 벡터, X Y (p, q)는 Y(p, q)와 색상 관계를 갖는 기준 영상의 픽셀에 관한 3차원 색 공간에서의 벡터를 각각 의미한다.
한편, 색상 관계 추출부(120)에 의해 추출되는 복수의 제1 픽셀과 복수의 제2 픽셀 각각에 관한 3차원 색 공간에서의 색상 관계는 좌영상 및 우영상의 전체 픽셀에서 수행되며, 연산의 효율성을 위해, 좌영상 및 우영상의 픽셀 라인별로 수행될 수 있다. 일례로, 좌영상의 1열의 픽셀과 우영상의 1열의 픽셀의 색상 관계가 추출되고, 순차로 2열의 픽셀간의 색상 관계에서부터 마지막의 픽셀간의 색상 관계까지 추출될 수 있다.
또한, 색상 관계 추출부(120)에 의해 추출된 색상 관계는 저장매체에 저장되어 이하 설명하는 색상 관계 보정부(130) 및 색상 값 변환부(140)에 의해 활용될 수 있다.
다음으로, 색상 관계 보정부(130)는 좌영상을 구성하는 복수의 제1 픽셀 중 어느 하나의 제1 픽셀(이하, '대상 픽셀'이라 함)에 관한 3차원 색 공간에서의 좌표로부터 소정의 거리 내에 존재하는 좌표를 갖는 복수의 픽셀 각각에 대한 색상 관계에 기초하여 대상 픽셀에 대한 색상 관계를 보정한다. 이때, 소정의 거리는 대상 픽셀과 유사한 색상을 가질 수 있는 픽셀까지의 거리를 의미한다.
이는 색상 관계 추출부(120)에 의해 추출된 상기의 수학식 4와 같은 색상 관계만으로는 좌영상 및 우영상의 불균형이 정확하게 보정될 수 없음에 기인한다.
일반적으로 색상 관계 추출부(120)에 의해 추출된 색상 관계에는 3차원 점 정합 과정에서 발생할 수 있는 결점이나 오류 등이 포함되어 있으므로, 추출된 색상 관계를 그대로 대상 픽셀에 적용하는 경우 좌영상 및 우영상의 불균형이 제대로 보정되지 않게 된다. 이에, 본 발명에 따른 색상 관계 보정부는 추출된 색상 관계에 존재할 수 있는 결점이나 오류를 보상하기 위해, 대상 픽셀 주변의 색상에 관한 정보를 대상 픽셀에 관한 색상 관계에 반영한다.
이때, 본 발명의 일 실시예에 따른 색상 관계 보정부(130)는 대상 픽셀에 관한 3차원 색 공간에서의 좌표로부터 소정의 거리 내에 존재하는 좌표를 갖는 복수의 픽셀 각각에 대한 색상 관계의 평균을 연산하여, 연산된 색상 관계의 평균에 상응하도록 대상 픽셀에 관한 색상 관계를 보정할 수 있다.
즉, 색상 관계 보정부(130)는 색상 관계 추출부(120)에 의해 추출된 복수의 제1 픽셀 및 복수의 제2 픽셀간의 3차원 색 공간에서의 색상 관계를 3차원 색 공간상에서 대상 픽셀의 주변에 존재하는 복수의 픽셀의 색상 관계의 평균에 상응하도록 보정한다.
한편, 앞서 설명한 바와 같이, 3차원 색 공간에서의 좌표는 3차원 색 공간에서의 벡터로도 표현 가능하므로, 색상 관계 보정부(130)는 대상 픽셀에 관한 3차원 색 공간에서의 벡터로부터 소정의 거리 내에 존재하는 벡터로 표현되는 복수의 픽셀 각각에 대한 색상 관계의 평균에 기초하여 대상 픽셀에 대한 색상 관계를 보정할 수도 있다.
또한, 본 발명의 일 실시예에 따른 색상 관계 보정부(130)는 상기와 같이 색상 관계를 보정할 때, 대상 픽셀을 중심으로 소정의 영역 내에 존재하는 2 이상의 픽셀을 선택하고, 선택된 2 이상의 픽셀 중에서 소정의 거리 내에 존재하는 좌표를 갖는 하나 이상의 픽셀을 선택하며, 상기 선택된 하나 이상의 픽셀에 관한 색상 관계에 기초하여 대상 픽셀에 관한 색상 관계를 보정할 수 있다.
요컨대, 색상 관계 보정부(130)는 대상 픽셀이 색상 관계 추출부(120)에 의해 추출된 색상 관계에 기초하여 보정되도록 함에 있어서, 대상 픽셀 주변에 존재하는 복수의 픽셀 각각에 대한 색상 관계가 반영될 수 있도록, 대상 픽셀에 관한 3차원 색 공간(color space)에서의 위치뿐만 아니라, 대상 픽셀의 영상에서의 위치(image domain) 또한 고려한다.
도 5는 본 발명의 일 실시예에 따른 색상 관계 보정부(130)가 색상 관계 추출부(120)에 의해 추출된 색상 관계를 보정하는 동작을 도시하는 도면이다.
도 5에 도시된 바와 같이, 색상 관계 보정부(130)는 좌영상에서 대상 픽셀(target pixel)을 중심으로 소정의 영역 W를 설정하고, W내에 존재하는 복수의 픽셀 중에서 3차원 색 공간상 소정의 거리 내에 존재하는 복수의 픽셀 각각에 대한 색상 관계에 기초하여 대상 픽셀의 색상 관계를 보정한다.
본 발명의 일 실시예에 따르면, 색상 관계 보정부(130)는 하기의 수학식에 따라 색상 관계를 보정할 수 있다.
Figure 112011102573756-pat00009
Figure 112011102573756-pat00010
여기서, (p, q)는 대상 픽셀의 위치, W는 소정의 영역, (i, j)는 소정의 영역 내에 존재하는 복수의 픽셀 각각의 위치, Y(i, j)는 (i, j)에 위치하는 픽셀에 관한 3차원 색 공간에서의 벡터, A(i, j)는 (i, j)에 위치하는 픽셀에 관한 색상 관계, T d 는 소정의 거리, D c 는 소정의 거리 내 존재하는 좌표를 갖는 복수의 픽셀을 선택하는 연산자, N T 는 소정의 거리 내 존재하는 좌표를 갖는 복수의 픽셀의 개수,
Figure 112011102573756-pat00011
(p, q)는 색상 관계의 평균을 각각 의미한다.
상기한 수학식 5에 따르면, 종속 영상의 소정의 영역인 W내에서 (i, j)에 위치하는 픽셀에 관한 색 공간에서의 벡터와 종속 영상의 소정의 영역 W 내에서 중심인 (p, q)에 위치하는 픽셀에 관한 색 공간에서의 벡터 사이의 거리가 소정의 거리, 즉 임계값 T d 보다 가깝다면, D c = A(i, j)이 되고, 나머지는 D c = 0이 되므로, 최종적으로,
Figure 112011102573756-pat00012
(p, q)는 대상 픽셀을 중심으로 소정의 영역 W 내에 존재하는 복수의 픽셀 중에서 소정의 거리 내에 존재하는 좌표를 갖는 복수의 픽셀에 대한 색상 관계의 평균 값을 갖게 된다.
이와 같이, 본 발명에 따른 색상 관계 보정부(130)는 입체 영상에서 대상 픽셀이 위치하는 영상의 영역(W, 소정의 영역)과 3차원 색 공간에서 대상 픽셀이 위치하는 지역적 특성(D[Y(i, j)])을 함께 고려하여 대상 픽셀에 관한 색상 관계의 평균을 연산하며, 이하 설명하는 바와 같이 연산된 색상 관계의 평균에 기초하여 대응픽셀이 색상 값 변환부(140)에 의해 변환되도록 한다.
한편, 앞서 설명한 색상 관계 추출부(120)의 동작과 마찬가지로, 색상 관계 보정부(130)도 좌영상을 구성하는 복수의 제1 픽셀 전부에 대해 상기한 수학식 5에 따라 어느 하나의 픽셀을 중심으로 하는 색상 관계의 평균을 연산하며, 이는 저장매체에 저장되어 이하 설명하는 색상 값 변환부(140)에 의해 활용될 수 있다.
일례로, 색상 관계 보정부(130)는 좌영상을 구성하는 복수의 제1 픽셀 중 첫번째 픽셀을 중심으로 하는 색상 관계의 평균을 산출하고, 순차로 두번째 픽셀을 중심으로 하는 색상 관계의 평균을 산출하며, 계속하여 동일한 과정을 반복한다. 그리고, 색상 관계 보정부(130)에 의해 연산된 색상 관계의 평균은 저장매체에 저장되어 이하 설명하는 색상 값 변환부(140)에 의해 활용될 수 있다.
마지막으로, 색상 값 변환부(140)는 색상 관계 보정부(130)에 의해 보정된 색상 관계를 이용하여 대상 픽셀의 색상 값을 변환한다.
보다 상세하게, 색상 값 변환부(140)는 좌영상을 구성하는 복수의 제1 픽셀의 벡터에 색상 관계 보정부(130)에 의해 보정된 색상 관계를 적용함으로써 결과적으로 좌영상 및 우영상의 색 불균형이 보정되도록 한다.
본 발명의 일 실시예에 따르면, 색상 값 변환부(140)는 하기의 수학식에 따라 대상 픽셀의 색상 값을 변환할 수 있다.
Figure 112011102573756-pat00013
여기서, Y(p, q)는 대상 픽셀에 관한 3차원 색 공간에서의 벡터,
Figure 112011102573756-pat00014
(p, q)는 대상 픽셀을 중심으로 소정의 영역 내에 존재하는 복수의 픽셀 중에서 소정의 거리 내에 존재하는 좌표를 갖는 복수의 픽셀에 대한 색상 관계의 평균, Y(p, q)는 변환된 대상 픽셀에 관한 3차원 색 공간에서의 벡터를 각각 의미한다.
상기한 수학식 6에 따르면, 대상 픽셀에 관한 벡터 Y(p, q)는 대상 픽셀의 주변에 위치하는 픽셀에 관한 색상 관계의 평균
Figure 112011102573756-pat00015
(p, q)가 더해짐으로써, 기준 영상의 벡터와 동일하게 변환되게 된다. 즉, 좌영상의 대상 픽셀에 관한 벡터가 색상 관계에 있는 우영상의 픽셀에 관한 벡터와 동일한 벡터 성분을 갖도록 변환되게 된다.
색상 값 변환부(140)에 의해 대상 픽셀에 관한 벡터가 변환된 경우, 변환된 대상 픽셀에 관한 벡터는 3차원 색 공간에서의 좌표로 표현될 수도 있으므로, 변환된 대상 픽셀에 관한 벡터 또는 좌표로부터 변환된 색상 값이 직접 획득될 수 있다.
또한, 색상 값 변환부(140)는 앞서 설명한 색상 관계 추출부(120) 및 색상 관계 보정부(130)와 같이, 좌영상을 구성하는 복수의 제1 픽셀 각각에 대해 순차적으로 복수의 제1 픽셀 전부에 관한 벡터를 변환하여 좌영상 및 우영상의 불일치가 보정되도록 한다.
일례로, 색상 값 변환부(140)는 좌영상을 구성하는 복수의 제1 픽셀 중 첫번째 픽셀에 색상 관계 보정부(130)에 의해 연산된 첫번째 픽셀에 관한 색상 관계의 평균을 적용하여 변환하고, 순차적으로 두번째 픽셀에 색상 관계 보정부(130)에 의해 연산된 두번째 픽셀에 관한 색상 관계의 평균을 적용하여 변환한다. 계속하여 동일한 과정을 반복하여, 좌영상을 구성하는 복수의 제1 픽셀 전체에 대하여 변환한다.
이와 같이, 본 발명에 따른 입체 영상 화질 향상 장치(100)는 입체 영상의 불균형을 보정함에 있어서, 픽셀이 위치하는 영상의 영역(image domain)뿐만 아니라, 3차원 색 공간(color space)에서의 위치까지 고려하여, 보다 정확하게 색 불균형을 보정할 수 있는 장점이 있다.
도 6은 본 발명에 따른 입체 영상 화질 향상 방법을 시간의 흐름에 따라 상세하게 도시한 순서도이다.
도 6에 도시된 바와 같이, 입체 영상 화질 향상 방법은 색상 관계를 추출하는 단계(S610), 색상 관계를 보정하는 단계(S620) 및 색상 값을 변환하는 단계(S630)를 포함한다.
먼저, 단계(S610)에서는 제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 제2 좌표 사이의 색상 관계를 추출한다.
다음으로, 단계(S620)에서는 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정한다.
이때, 상기한 어느 하나의 제1 좌표에 관한 색상 관계는 상기 적어도 하나의 제1 좌표에 관한 색상 관계의 평균에 상응하도록 보정될 수 있다.
마지막으로, 단계(S630에서는 단계(S620에서 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환한다.
한편, 본 발명의 일 실시예에 따르면, 제1 영상에 관한 3차원 색 공간에서의 좌표의 분포 및 제2 영상에 관한 3차원 색 공간에서의 좌표의 분포에 기초하여 제1 영상 및 제2 영상 중에서 어느 하나의 기준 영상을 선택하는 단계를 더 포함할 수 있다.
지금까지 본 발명에 따른 입체 영상 화질 향상 방법의 실시예들에 대하여 설명하였고, 앞서 도 1 내지 도 5에서 설명한 입체 영상 화질 향상 장치(100)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 입체 영상 화질 향상 장치 110 : 기준 영상 선택부
120 : 색상 관계 추출부 130 : 색상 관계 보정부
140 : 색상 값 변환부

Claims (11)

  1. 제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 복수의 제2 좌표 사이의 색공간 벡터 차이값에 상응하는 색상 관계를 추출하는 색상 관계 추출부;
    상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 색상 관계 보정부; 및
    상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 색상 값 변환부
    를 포함하는 것을 특징으로 하는 입체 영상 화질 향상 장치.
  2. 제1항에 있어서,
    상기 색상 관계 보정부는
    상기 어느 하나의 제1 좌표에 관한 색상 관계가 상기 적어도 하나의 제1 좌표에 관한 색상 관계의 평균에 상응하도록 보정하는 것을 특징으로 하는 입체 영상 화질 향상 장치.
  3. 제1항에 있어서,
    상기 복수의 제1 좌표는 상기 제1 영상을 구성하는 복수의 제1 픽셀 각각의 좌표이고, 상기 복수의 제2 좌표는 상기 제2 영상을 구성하는 복수의 제2 픽셀 각각의 좌표인 것을 특징으로 하는 입체 영상 화질 향상 장치.
  4. 제3항에 있어서,
    상기 색상 관계 보정부는
    상기 복수의 제1 픽셀 중 어느 하나의 제1 픽셀을 포함하는 소정 영역 내에 존재하는 2 이상의 제1 픽셀을 선택하고,
    상기 2 이상의 제1 픽셀 중에서 상기 어느 하나의 제1 픽셀의 제1 좌표로부터 상기 소정의 거리 내에 존재하는 제1 좌표를 갖는 하나 이상의 제1 픽셀을 선택하며,
    상기 하나 이상의 제1 픽셀에 관한 색상 관계에 기초하여 상기 어느 하나의 제1 픽셀에 관한 색상 관계를 보정하는 것을 특징으로 하는 입체 영상 화질 향상 장치.
  5. 제1항에 있어서,
    상기 제1 영상에 관한 3차원 색 공간에서의 좌표의 분포 및 상기 제2 영상에 관한 3차원 색 공간에서의 좌표의 분포에 기초하여 상기 제1 영상 및 제2 영상 중에서 어느 하나의 기준 영상을 선택하는 기준 영상 선택부
    를 더 포함하는 것을 특징으로 하는 입체 영상 화질 향상 장치.
  6. 제1항에 있어서,
    상기 3차원 색 공간은 CIELab 색 공간인 것을 특징으로 하는 입체 영상 화질 향상 장치.
  7. 제4항에 있어서,
    상기 색상 관계 보정부는 하기의 수학식에 따라 상기 어느 하나의 제1 픽셀에 관한 색상 관계를 보정하는 것을 특징으로 하는 입체 영상 화질 향상 장치.

    Figure 112011102573756-pat00016

    Figure 112011102573756-pat00017

    여기서, (p, q)는 상기 어느 하나의 제1 픽셀의 위치, W는 상기 소정 영역, (i, j)는 상기 소정 영역 내에 존재하는 상기 2 이상의 제1 픽셀 각각의 위치, Y(i, j)는 (i, j)에 위치하는 상기 2 이상의 제1 픽셀 각각에 대한 3차원 색 공간에서의 벡터, A(i, j)는 (i, j)에 위치하는 상기 2 이상의 제1 픽셀 각각에 관한 색상 관계, T d 는 상기 소정의 거리, D c 는 상기 소정의 거리 내 존재하는 제1 좌표를 갖는 하나 이상의 제1 픽셀을 선택하는 연산자, N T 는 상기 소정의 거리 내 존재하는 제1 좌표를 갖는 하나 이상의 제1 픽셀의 개수,
    Figure 112011102573756-pat00018
    (p, q)는 상기 보정된 어느 하나의 제1 픽셀에 관한 색상 관계를 각각 의미함.
  8. 제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 복수의 제2 좌표 사이의 색공간 벡터 차이값에 상응하는 색상 관계를 추출하는 단계;
    상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 단계; 및
    상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 단계
    를 포함하는 것을 특징으로 하는 입체 영상 화질 향상 방법.
  9. 제8항에 있어서,
    상기 보정하는 단계는
    상기 어느 하나의 제1 좌표에 관한 색상 관계가 상기 적어도 하나의 제1 좌표에 관한 색상 관계의 평균에 상응하도록 보정하는 것을 특징으로 하는 입체 영상 화질 향상 방법.
  10. 제8항에 있어서,
    상기 제1 영상에 관한 3차원 색 공간에서의 좌표의 분포 및 상기 제2 영상에 관한 3차원 색 공간에서의 좌표의 분포에 기초하여 상기 제1 영상 및 제2 영상 중에서 어느 하나의 기준 영상을 선택하는 단계
    를 더 포함하는 것을 특징으로 하는 입체 영상 화질 향상 방법.
  11. 영상의 화질을 향상시키기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,
    제1 영상에 관한 3차원 색 공간에서의 복수의 제1 좌표 및 상기 복수의 제1 좌표와 각각 대응되는 제2 영상에 관한 3차원 색 공간에서의 제2 좌표 사이의 색상 관계를 추출하는 단계;
    상기 복수의 제1 좌표 중 어느 하나의 제1 좌표에 관한 색상 관계를 상기 어느 하나의 제1 좌표로부터 소정의 거리 내에 존재하는 적어도 하나의 제1 좌표에 관한 색상 관계에 기초하여 보정하는 단계; 및
    상기 보정된 어느 하나의 제1 좌표에 관한 색상 관계를 이용하여 상기 제1 영상의 색상 값을 변환하는 단계
    를 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020110140709A 2011-12-23 2011-12-23 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체 KR101316196B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110140709A KR101316196B1 (ko) 2011-12-23 2011-12-23 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체
US13/722,732 US9098936B2 (en) 2011-12-23 2012-12-20 Apparatus and method for enhancing stereoscopic image, recorded medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110140709A KR101316196B1 (ko) 2011-12-23 2011-12-23 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체

Publications (2)

Publication Number Publication Date
KR20130073060A KR20130073060A (ko) 2013-07-03
KR101316196B1 true KR101316196B1 (ko) 2013-10-08

Family

ID=48654610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110140709A KR101316196B1 (ko) 2011-12-23 2011-12-23 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체

Country Status (2)

Country Link
US (1) US9098936B2 (ko)
KR (1) KR101316196B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025967B1 (fr) 2014-09-12 2018-03-23 Thomson Licensing Procede d'obtention d'une face d'habillage d'un equipement electronique, habillage, equipement et dispositif correspondants
KR101676169B1 (ko) * 2015-05-15 2016-11-15 가톨릭대학교 산학협력단 3d 비디오 콘텐츠 시청시 피로감을 감소시키는 3d 비디오 콘텐츠 변환 방법
CN111915541B (zh) * 2020-07-31 2021-08-17 平安科技（深圳）有限公司 基于人工智能的图像增强处理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980080891A (ko) * 1997-04-01 1998-11-25 이데이노부유키 비디오 카메라의 컬러 보정 장치
KR20060063575A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
KR20090064243A (ko) * 2007-12-15 2009-06-18 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
JP2011146936A (ja) * 2010-01-14 2011-07-28 Nippon Hoso Kyokai <Nhk> 色特性補正装置およびカメラ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
WO2008063167A1 (en) * 2006-11-21 2008-05-29 Thomson Licensing Methods and systems for color correction of 3d images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980080891A (ko) * 1997-04-01 1998-11-25 이데이노부유키 비디오 카메라의 컬러 보정 장치
KR20060063575A (ko) * 2004-12-06 2006-06-12 한국전자통신연구원 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
KR20090064243A (ko) * 2007-12-15 2009-06-18 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
JP2011146936A (ja) * 2010-01-14 2011-07-28 Nippon Hoso Kyokai <Nhk> 色特性補正装置およびカメラ

Also Published As

Publication number Publication date
US20130163856A1 (en) 2013-06-27
KR20130073060A (ko) 2013-07-03
US9098936B2 (en) 2015-08-04

Similar Documents

Publication Publication Date Title
US9300946B2 (en) System and method for generating a depth map and fusing images from a camera array
US9210398B2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
JP5071104B2 (ja) 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
JP4958302B2 (ja) 多視点画像奥行値抽出装置、その方法およびそのプログラム
US20110150321A1 (en) Method and apparatus for editing depth image
JP6663652B2 (ja) ステレオソース映像の補正方法及びその装置
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
US20120169722A1 (en) Method and apparatus generating multi-view images for three-dimensional display
JP2012019513A (ja) ２ｄ画像を３ｄ画像に変換するための方法および装置
US20200288102A1 (en) Image processing method and apparatus
KR20130084850A (ko) 시차 값을 생성하는 영상 처리 방법 및 장치
US20110080463A1 (en) Image processing apparatus, method, and recording medium
US20170019654A1 (en) Image processing apparatus, image processing method, and storage medium
KR102083721B1 (ko) 딥 러닝을 이용한 양안기반 초해상 이미징 방법 및 그 장치
US20110090243A1 (en) Apparatus and method for inter-view crosstalk reduction
KR101316196B1 (ko) 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체
KR20110071854A (ko) 입체 영상 시스템에서 영상 데이터의 색상 보정 장치 및 방법
KR20130006246A (ko) 깊이 영상 변환 장치 및 방법
JP2014116012A (ja) 画像間の色転送を行う方法および装置
KR101784620B1 (ko) 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
US20120170841A1 (en) Image processing apparatus and method
WO2016129430A1 (ja) 奥行推定装置、奥行推定方法及び奥行推定プログラム
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 7