KR20080010223A - 영상 보간 방법 및 장치 - Google Patents

영상 보간 방법 및 장치 Download PDF

Info

Publication number
KR20080010223A
KR20080010223A KR20060070454A KR20060070454A KR20080010223A KR 20080010223 A KR20080010223 A KR 20080010223A KR 20060070454 A KR20060070454 A KR 20060070454A KR 20060070454 A KR20060070454 A KR 20060070454A KR 20080010223 A KR20080010223 A KR 20080010223A
Authority
KR
South Korea
Prior art keywords
image information
plane
information
point
image
Prior art date
Application number
KR20060070454A
Other languages
English (en)
Other versions
KR101228110B1 (ko
Inventor
민경준
강동수
김종면
류은진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060070454A priority Critical patent/KR101228110B1/ko
Priority to EP07104879A priority patent/EP1883046B1/en
Priority to DE602007002853T priority patent/DE602007002853D1/de
Priority to CNA2007100964420A priority patent/CN101114377A/zh
Priority to US11/802,227 priority patent/US8031977B2/en
Priority to JP2007182161A priority patent/JP5091570B2/ja
Publication of KR20080010223A publication Critical patent/KR20080010223A/ko
Application granted granted Critical
Publication of KR101228110B1 publication Critical patent/KR101228110B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

복수의 평면으로 구성된 입체상의 한 지점의 영상 정보를 보간하는 본 발명에 의한 영상 보간 방법은, 상기 지점에 가장 인접한 상기 평면을 검색하고, 상기 검색된 평면과 마주보는 상기 평면의 하나 이상의 정점의 영상 정보를 이용하여 대향면 정보를 구하고, 상기 검색된 평면의 하나 이상의 정점의 영상 정보 및 상기 구해진 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간함으로써, 신뢰할 수 있는 보간값을 신속히 획득하는 효과를 갖는다.

Description

영상 보간 방법 및 장치 {Method and apparatus for interpolating color image}
도 1은 본 발명의 적용 분야를 설명하기 위한 도면이다.
도 2는 1차 선형 보간(linear interpolation)을 설명하기 위한 도면이다.
도 3은 2차 선형 보간(bilinear interpolation)을 설명하기 위한 도면이다.
도 4는 3차 선형 보간(trilinear interpolation)을 설명하기 위한 도면이다.
도 5는 본 발명에 의한 영상 보간 장치를 설명하기 위한 블록도이다.
도 6은 도 5에 도시된 기저면 검색부(520)의 바람직한 일 실시예(520A)의 블록도이다.
도 7은 도 5에 도시된 저장부(530)를 설명하기 위한 도면이다.
도 8은 도 5에 도시된 보간부(550)를 설명하기 위한 도면이다.
도 9는 본 발명에 의한 영상 보간 방법을 설명하기 위한 플로우챠트이다.
본 발명은 보간(interpolation)에 관한 것으로, 특히, 3차원 공간 상의 한 지점의 영상 정보를 그 지점의 주변 정점의 영상 정보를 이용하여 보간하는 보간법 에 관한 것이다.
보간이란 어떤 값을 주변 값들을 이용하여 추정하는 것을 의미한다.
보간법은 보간된 값의 신뢰도를 개선할 수 있는 방향으로 발전될 수도 있고, 보간을 보다 신속히 수행할 수 있는 방향으로 발전될 수도 있다. 여기서, 보간된 값의 신뢰도 개선과 보간의 신속한 수행은 타협(trade-off)관계에 있다.
이에 따라, 적절한 신뢰도를 확보하면서도 어느 정도 신속한 수행을 담보할 수 있는 새로운 보간법이 절실히 요구되고 있다.
본 발명이 이루고자 하는 기술적 과제는, 신뢰할 수 있는 보간값을 신속히 획득할 수 있도록 하는 영상 보간 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 신뢰할 수 있는 보간값을 신속히 획득할 수 있도록 하는 영상 보간 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 신뢰할 수 있는 보간값을 신속히 획득할 수 있도록 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기 과제를 이루기 위해, 복수의 평면으로 구성된 입체상의 한 지점의 영상 정보를 보간하는 본 발명에 의한 영상 보간 방법은, 상기 지점에 가장 인접한 상기 평면을 검색하는 (a) 단계와, 상기 검색된 평면과 마주보는 상기 평면의 하나 이상의 정점의 영상 정보를 이용하여 대향면 정보를 구하는 (b) 단계 및 상기 검색된 평면의 하나 이상의 정점의 영상 정보 및 상기 구해진 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 (c) 단계를 포함하는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 복수의 평면으로 구성된 입체상의 한 지점의 영상 정보를 보간하는 본 발명에 의한 영상 보간 장치는, 상기 지점에 가장 인접한 상기 평면을 검색하는 기저면 검색부와, 상기 검색된 평면과 마주보는 상기 평면의 하나 이상의 정점의 영상 정보를 이용하여 대향면 정보를 연산하는 연산부; 및 상기 검색된 평면의 하나 이상의 정점의 영상 정보 및 상기 연산된 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 보간부를 포함하는 것이 바람직하다.
상기 또 다른 과제를 이루기 위해, 복수의 평면으로 구성된 입체상의 한 지점의 영상 정보를 보간하는 컴퓨터 프로그램을 저장하는 본 발명에 의한 컴퓨터로 읽을 수 있는 기록매체는, 상기 지점에 가장 인접한 상기 평면을 검색하는 (a) 단계와, 상기 검색된 평면과 마주보는 상기 평면의 하나 이상의 정점의 영상 정보를 이용하여 대향면 정보를 구하는 (b) 단계 및 상기 검색된 평면의 하나 이상의 정점의 영상 정보 및 상기 구해진 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 (c) 단계를 수행하는 컴퓨터 프로그램을 저장하는 것이 바람직하다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.
이하, 본 발명에 의한 영상 보간 방법 및 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명의 적용 분야를 설명하기 위한 도면이다.
저작(authoring)된 3차원 그래픽 데이터를 2차원 화면(screen)상에 표시하기 위해서는, 3차원 그래픽 데이터에 대해 렌더링(rendering) 즉, 시각화(visualization)를 수행해야 한다.
렌더링의 세부 과정들 중 텍스쳐 매핑(texture mapping)이 있다. 여기서, 텍스쳐 매핑이란 그 3차원 그래픽 데이터가 나타내는 3차원 모델에, 질감을 나타내는 2차원 이미지(이하, 질감 이미지)를 씌우는 것을 의미한다.
렌더링이 수행되기 위해서는, 그 3차원 모델과 시점간의 거리(이하, 시점 거리)가 정의되어야 한다. 이 때, 시점 거리가 길수록 그 3차원 모델에는 보다 낮은 해상도의 질감 이미지가 씌워지며, 시점 거리가 짧을수록 그 3차원 모델에는 보다 높은 해상도의 질감 이미지가 씌워진다.
이러한 텍스쳐 매핑을 위해, 렌더링 장치에는 다수의 시점 거리에 대한 다수의 질감 이미지들이 저장되어 있는 것이 바람직하다. 도시된 바에서, 렌더링 장치에는 3개의 시점 거리에 대한 3개의 질감 이미지(110, 120, 130)가 저장되어 있다. 여기서, 3개는 설명의 편의상 도입된 숫자이다.
도 1의 (a)에 도시된 바는 '시점 거리'와 '질감 이미지의 해상도'간의 관계를 개략적으로 나타낸다.
도 1의 (b)에 도시된 질감 이미지(110)의 해상도(예컨대, 가로, 세로 각각 512개의 픽셀로 구성됨)는 도 1의 (c)에 도시된 질감 이미지(120)의 해상도(예컨대, 가로, 세로 각각 256개의 픽셀로 구성됨)의 2배이고, 도 1의 (c)에 도시된 질 감 이미지(110)의 해상도는 도 1의 (d)에 도시된 질감 이미지(120)의 해상도(예컨대, 가로, 세로 각각 128개의 픽셀로 구성됨)의 2배이다.
현실적으로, 렌더링 장치가 모든 가능한 시점 거리에 대한 질감 이미지들을 저장하고 있기란 곤란하다. 그러므로, 그 3차원 모델에 씌우고자 하는 질감 이미지가 렌더링 장치에 저장되어 있지 않은 질감 이미지 예를 들어, 식별번호 140이 나타내는 질감 이미지라면, 그 씌우고자 하는 질감 이미지를 저장되어 있는 질감 이미지들을 이용하여 보간해야 한다.
결국, 각 종 보간법은 렌더링 분야 나아가, 각 종 영상 처리 분야에서 유용하게 사용될 수 있다. 본 발명에 의한 영상 보간 방법 및 장치도 예외가 아니다.
도 2는 1차 선형 보간(linear interpolation)을 설명하기 위한 도면이다. 여기서, 1차 선형 보간이란 1차원 상에서 수행되는 보간을 의미한다.
도시된 바에서, 제3 지점(214)의 값은 제1 지점(210)의 값(예를 들어, 색상 정보)(a)과 제2 지점(212)의 값(b)을 이용하여 보간될 수 있다. 구체적으로, 제3 지점(214)의 값은 다음의 수학식을 이용하여 보간될 수 있다.
제3 지점(214)의 보간값 = a * (1-p) + b* p
도 3은 2차 선형 보간(bilinear interpolation)을 설명하기 위한 도면이다. 여기서, 2차 선형 보간이란 2차원 상에서 수행되는 보간을 의미한다.
도시된 바에서, 제3 지점(370)의 값은 제1 정점(310)의 값(예를 들어, 색상 정보), 제2 정점(320)의 값, 제3 정점(330)의 값, 제4 정점(340)의 값을 이용하여 보간될 수 있다.
구체적으로, 제3 지점(370)의 값은 다음과 같은 수학식들을 이용하여 보간될 수 있다.
제1 지점(350)의 보간값 = 제1 정점(310)의 값 * (1-c) + 제2 정점(320)의 값 * c
제2 지점(360)의 보간값 = 제3 정점(330)의 값 * c + 제4 정점(340)의 값 * (1-c)
제3 지점(370)의 보간값 = 제1 지점(350)의 보간값 * (1-d) +제2 지점(360)의 보간값 * d
도 4는 3차 선형 보간(trilinear interpolation)을 설명하기 위한 도면이다. 여기서, 3차 선형 보간이란 3차원 상에서 수행되는 보간을 의미한다.
도시된 바에서, 지점(I)의 값은 제1 정점(P1)의 값(예를 들어, 색상 정보), 제2 정점(P2)의 값, 제3 정점(P3)의 값, 제4 정점(P4)의 값, 제5 정점(P5)의 값, 제6 정점(P6)의 값, 제7 정점(P7)의 값, 제8 정점(P8)의 값을 이용하여 보간될 수 있다.
구체적으로, 지점(I)의 값은 다음과 같은 수학식들을 이용하여 보간될 수 있다.
제1 지점(C1)의 보간값 = 제2 정점(P2)의 값 * (1-e) + 제3 정점(P3)의 값 * e
제2 지점(C2)의 보간값 = 제1 정점(P1)의 값 * (1-e) + 제4 정점(P4)의 값 * e
제3 지점(C3)의 보간값 = 제6 정점(P6)의 값 * (1-e) + 제7 정점(P7)의 값 * e
제4 지점(C4)의 보간값 = 제5 정점(P5)의 값 * (1-e) + 제8 정점(P8)의 값 * e
제5 지점(C5)의 보간값 = 제1 지점(C1)의 보간값 * f + 제2 지점(C2)의 보간값 * (1-f)
제6 지점(C6)의 보간값 = 제3 지점(C3)의 보간값 * f + 제4 지점(C4)의 보간값 * (1-f)
지점(I)의 보간값 = 제5 지점(C5)의 보간값 * g + 제6 지점(C6)의 보간값 * (1-g)
본 발명은 도 2 내지 도 4에서 언급된 보간법들에서 보다 개량된 보간법(이하, 피라미드형 선형 보간법(pyralinear interpolation method)이라 명명 가능함)을 다음과 같이 개시한다.
도 5는 본 발명에 의한 영상 보간 장치를 설명하기 위한 일 실시예의 블록도로서, 정규화부(510), 기저면 검색부(520), 저장부(530), 연산부(540), 및 보간부(550)로 이루어질 수 있다.
정규화부(510)는 입력단자 IN 1을 통해 입력된 정점(vertex)들 각각의 위치 정보를 정규화한다. 여기서, 위치 정보는 3차원 정보로서, x축, y축, z축 각각에 대해 존재하는 것이 바람직하다.
이하, 설명의 편의상, 입력단자 IN 1을 통해 입력된 정점들은 복수의 격자(cube)의 꼭지점들에 해당하고, 도 4에 도시된 바는 그 복수의 격자 중 영상 정보를 보간하고자 하는 지점(I)이 속한 격자를 나타낸다고 가정한다. 한편, 흰색을 0이라 표현하고 검은색을 255라 표현하고 회색을 1 내지 254 중의 한 값으로 표현하는 색상 정보는 본 명세서 상에 언급된 영상 정보의 일 례가 될 수 있다.
기저면 검색부(520)는 영상 정보를 보간하고자 하는 지점(I)이 속한 격자를 이루는 6개의 평면들(S1, S2, S3, S4, S5, S6) 중 지점(I)에 가장 인접한 평면을 검색한다. 이하, 설명의 편의상, 그 가장 인접한 평면은 S3이라 가정한다.
저장부(530)는 입력단자 IN 1을 통해 입력된 정점들 각각의 영상 정보를 저장한다.
본 발명의 제1 실시예에 의하면, 연산부(540)는 기저면 검색부(520)에서 검색된 평면(S3)과 마주보는 평면(S6)의 하나 이상의 정점들(P2, P3, P6, P7)의 영상 정보를 저장부(530)에서 독출한다.
또한, 연산부(540)는 그 독출된 영상 정보(P2, P3, P6, P7의 독출된 영상 정보)를 이용하여 대향면 정보를 연산한다. 본 명세서 상에서, 대향면 정보란 기저면 검색부(520)에서 검색된 평면의 마주보는(즉, 대향하는) 평면의 정점들의 영상 정보를 이용하여 연산 가능한 임의의 영상 정보를 의미한다. 예컨대, 연산부(540)는 그 독출된 영상 정보(P2, P3, P6, P7의 독출된 영상 정보)를 평균하여, 대향면 정 보를 연산할 수 있다.
한편, 본 발명의 제2 실시예에 의하면, 연산부(540)는 기저면 검색부(520)에서 검색된 평면(S3)의 하나 이상의 정점들(P1, P4, P5, P8)의 영상 정보를 저장부(530)에서 독출한다.
또한, 연산부(540)는 그 독출된 영상 정보(P1, P4, P5, P8의 독출된 영상 정보)를 이용하여, 그 마주보는 평면(S6)의 하나 이상의 정점들(P2, P3, P6, P7)의 영상 정보를 추측할 수 있다. 예컨대, 연산부(540)는 그 마주보는 평면(S6)의 하나 이상의 정점들(P2, P3, P6, P7) 각각의 영상 정보는 그 독출된 영상 정보(P1, P4, P5, P8의 독출된 영상 정보)를 평균한 결과라고 추측할 수 있다. 나아가, 연산부(540)는 그 추측된 영상 정보(P2, P3, P6, P7의 추측된 영상 정보)를 이용하여 대향면 정보를 연산한다. 예컨대, 연산부(540)는 그 추측된 영상 정보(P2, P3, P6, P7의 추측된 영상 정보)를 평균하여, 대향면 정보를 연산할 수 있다. 다만, 상기 예시한 바와 같이, 연산부(540)가 그 마주보는 평면(S6)의 하나 이상의 정점들(P2, P3, P6, P7) 각각의 영상 정보가 모두 동일하다고 추측한다면, 연산부(540)는 그 추측된 영상 정보(P2, P3, P6, P7의 추측된 영상 정보) 중 하나의 영상 정보(예를 들어, P6의 추측된 영상 정보)가 대향면 정보라고 결정할 수도 있다.
본 발명의 제1 실시예에 의하면, 보간부(550)는 기저면 검색부(520)에서 검색된 평면(S3)의 하나 이상의 정점들(P1, P4, P5, P8)의 영상 정보를 저장부(530)에서 독출한다. 한편, 본 발명의 제2 실시예에 의하면, 보간부(550)는 연산부(540)로부터 '그 독출된 영상 정보(P1, P4, P5, P8의 독출된 영상 정보)'를 전달받는다.
보간부(550)는 '그 독출된 영상 정보(P1, P4, P5, P8의 독출된 영상 정보)'와 '연산부(540)에서 연산된 대향면 정보'를 이용하여, 지점(I)의 영상 정보를 보간한다.
한편, 제1 실시예에 의하면, 저장부(530)로부터 독출해야 하는 영상 정보가 '평면(S3)의 정점들(P1, P4, P5, P8)의 영상 정보'와 '평면(S6)의 정점들(P2, P3, P6, P7)의 영상 정보'이다. 그에 반해, 제2 실시예에 의하면, 저장부(530)로부터 '평면(S6)의 정점들(P2, P3, P6, P7)의 영상 정보'를 독출하지 않는다. 이로써, 제2 실시예는, 지점(I)의 영상 정보를 보간하기 위해 저장부(530)와 소통하는 빈도수를 대폭 절감한다.
도 6은 도 5에 도시된 기저면 검색부(520)의 바람직한 일 실시예(520A)의 블록도로서, 제1 비교부(610), 감사부(620), 미러링정보 생성부(630), 제2 비교부(640), 미러링여부 검사부(650), 및 기저면 결정부(660)로 이루어질 수 있다.
제1 비교부(610)는 영상 정보를 보간하고자 하는 지점(I)의 좌표값(e, g, f)의 각 성분을 0.5와 비교한다. 정규화부(510)에서 모든 정점들의 위치 정보가 정규화되었으므로, 그 지점(I)의 좌표값(e, g, f)의 각 성분은 0 이상 1 이하의 값이다.
e, g, f 각각은 도 4에 도시된 바와 같이, 그 지점(I)과 평면(S3)간의 거리, 그 지점(I)과 평면(S2)간의 거리, 그 지점(I)과 평면(S3)간의 거리를 의미한다.
즉, x축 성분의 좌표값(e)이 0.5 이하라는 것은, 그 지점(I)이 평면(S4) 보다 평면(S1)에 가까이 위치하고 있음을 의미하고, y축 성분의 좌표값(g)이 이하라 는 것은, 그 지점(I)이 평면(S5) 보다 평면(S2)에 가까이 위치하고 있음을 의미하고, z축 성분의 좌표값(f)이 이하라는 것은, 그 지점(I)이 평면(S6) 보다 평면(S3)에 가까이 위치하고 있음을 의미한다. 이하, 설명의 편의상, (e, g, f)= (0.4, 0.7, 0.2)라고 가정한다.
구체적으로, 제1 비교부(610)는 x축 성분의 좌표값(e)이 0.5 이하라고 비교되면(0.4 < 0.5), 그 지점(I)이 평면(S4)보다 평면(S1)에 가까이 위치하고 있다고 결정하고, 그 좌표값(0.4)을 제2 비교부(640)로 출력한다.
마찬가지로, 제1 비교부(610)는 y축 성분의 좌표값(g)이 0.5 초과라고 비교되면(0.7 > 0.5), 그 지점(I)이 평면(S2)보다 평면(S5)에 가까이 위치하고 있다고 결정하고, 그 좌표값(0.7)을 감산부(620)로 출력한다.
이와 비슷하게, 제1 비교부(610)는 z축 성분의 좌표값(f)이 0.5 이하라고 비교되면(0.2 < 0.5), 그 지점(I)이 평면(S6)보다 평면(S3)에 가까이 위치하고 있다고 결정하고, 그 좌표값(0.2)을 제2 비교부(640)로 출력한다.
결국, 제1 비교부(510)는 그 지점(I)에 가장 인접한 평면이 될 수 있는 후보를, S1, S2, S3, S4, S5, S6에서 3개의 평면(S1, S5, S3)으로 압축한다.
한편, 후술하는 감산부(620) 내지 기저면 결정부(660)는 그렇게 압축된 3개의 평면 중에서 그 지점(I)에 가장 인접한 평면을 검색한다.
감산부(620)는 제1 비교부(610)에서 좌표값이 0.5 초과라고 비교된 경우에 한해 동작할 수 있다. 구체적으로, 제1 비교부(610)에서 좌표값이 0.5 초과라고 비교되면(0.7 > 0.5), 감산부(620)는 그 지점(I)의 좌표값(0.7)을 '1에서 그 지점(I) 의 좌표값(0.7)을 감산한 결과(0.3)'로 변경하고, 변경된 좌표값(0.3)을 제2 비교부(640)로 출력한다.
미러링정보 생성부(630)는 제1 비교부(610) 및 감산부(620)의 지시에 따라 미러링 정보를 생성할 수 있다. 여기서, 미러링 정보는 3비트로 구성될 수 있다. 예컨대, 제1 비교부(610)에서 좌표값이 0.5 이하라고 비교되면, 미러링정보 생성부(630)는 제1 비교부(610)의 지시에 따라 0이라는 비트를 생성한다. 또한, 제1 비교부(610)에서 좌표값이 0.5 초과라고 비교되어, 감산부(620)가 동작하면, 미러링정보 생성부(630)는 감산부(620)의 지시에 따라 1이라는 비트를 생성한다. 상기 가정 하에서, 미러링정보 생성부(630)는 010이라는 미러링 정보를 생성하게 된다.
제2 비교부(640)는 '제1 비교부(610)로부터 입력된 좌표값(들)(0.4, 0.2)', '감산부(620)로부터 입력된 좌표값(들)(0.3)'을 서로 비교한다. 그에 따라, 제2 비교부(640)는 '제1 비교부(610)로부터 입력된 좌표값(들)(0.4, 0.2)', '감산부(620)로부터 입력된 좌표값(들)(0.3)' 중 가장 작은 값을 찾고, 그 찾아진 좌표값(0.2)을 미러링여부 검사부(650)로 출력한다.
미러링여부 검사부(650)는 제2 비교부(640)로부터 입력된 좌표값(0.2)의 축 성분(z축 성분)과 관련된 미러링 정보(010의 마지막 '0')를 분석하여, 미러링(mirroring)을 수행해야 할지의 여부를 검사한다. 미러링 비트가 0이란 미러링을 수행할 필요가 없음을 의미하고, 미러링 비트가 1이란 미러링을 수행해야 함을 의미한다.
이 경우, 미러링을 수행할 필요가 없다고 검사되면, 기저면 결정부(660)는 제2 비교부(640)로부터 입력된 좌표값(0.2)이 '지점(I)에 보다 인접한 평면'이라고 나타내는 평면(S3)이, 기저면 검색부(510)가 검색하고자 하는 평면이라고 결정한다.
상기 가정한 바와는 다르나, 만일, 미러링을 수행해야 한다고 검사된다면, 기저면 결정부(660)는 제2 비교부(640)로부터 입력된 좌표값(0.2)이 '지점(I)에 보다 인접한 평면'이라고 나타내는 평면(S3)과 마주보는(즉, 미러링(mirroring)된) 평면(S6)이, 기저면 검색부(510)가 검색하고자 하는 평면이라고 결정한다.
도 7은 도 5에 도시된 저장부(530)를 설명하기 위한 도면이고, 도 8은 도 5에 도시된 보간부(550)를 설명하기 위한 도면이다. 구체적으로, 도 8은 기저면 검색부(520)에서 검색된 평면(S3)이 격자의 기저면(즉, 밑면)에 위치하도록 도 4를 다시 도시한 도면이다.
저장부(530)는 영상 정보를 저장할 뿐만 아니라, 도시된 바와 같이, 보간부(550)의 동작 규칙에 대해서도 룩업테이블(LUT: Look-Up Table)의 형태로 저장한다.
기저면 검색부(520)에서 검색된 평면이 S3이 경우, 저장부(530)에 저장된 동작 규칙은, "보간 순서는 x축과 평행하게 위치한 정점들(P1과 P4, 또는 P5와 P8)간의 보간을 수행한 뒤, y축과 평행하게 위치한 지점들(C2와 C4)간의 보간을 수행한 뒤, z축과 평행하게 위치한 지점들(C8과 A)간의 보간을 수행한다" 이다. 이 때, P1과 P4간의 보간과 P5와 P8간의 보간 중 어느 보간을 먼저 수행할지 문제되는데, 이와 관련하여, 저장부(530)에 저장된 동작 규칙은 "P1과 P4간의 보간을 먼저 수행한 다"라고 규정하고 있다. 더불어, 저장부(530)에 저장된 동작 규칙은 대향면 정보는 P2, P3, P6, P7의 영상 정보를 평균한 값임을 규정하고 있다.
보간부(550)는 그 저장된 동작 규칙을 독출하고, 독출된 동작 규칙에 따라 보간을 수행한다.
이미 설명한 바와 같이, 보간부(550)는 '기저면 검색부(520)에서 검색된 평면(S3)의 하나 이상의 정점(P1, P4, P5, P8)의 영상 정보'와 '연산부(540)에서 연산된 대향면 정보'를 이용하여, 지점(I)의 영상 정보를 보간한다.
결국, 보간부(550)는 지점(I)의 영상 정보를 다음과 같은 수학식들을 이용하여 보간할 수 있다.
제2 지점(C2)의 보간된 영상 정보 = 제1 정점(P1)의 영상 정보 * (1-e) + 제4 정점(P4)의 영상 정보 * e
제4 지점(C4)의 보간된 영상 정보 = 제5 정점(P5)의 영상 정보 * (1-e) + 제8 정점(P8)의 영상 정보 * e
제8 지점(C4)의 보간된 영상 정보 = 제2 지점(C2)의 보간된 영상 정보 * g + 제4 지점(C4)의 보간된 영상 정보 * (1-g)
지점(I)의 보간된 영상 정보 = 제8 지점(C8)의 보간된 영상 정보 * (1-f) + 대향면 정보 * f
수학식 4에서, 대향면 정보는 제8 지점(C8)과 지점(I)의 연장선과 평면(S6)의 교점(A)의 영상 정보인 것처럼 취급된다.
도 9는 본 발명에 의한 영상 보간 방법을 설명하기 위한 플로우챠트이다.
기저면 검색부(520)는 영상 정보를 보간하고자 하는 지점에 가장 인접한 평면을 그 지점을 감싸는 평면들 중에서 검색한다(제910 단계).
제910 단계 후에, 연산부(540)는 제910 단계에서 검색된 평면과 마주보는 평면의 하나 이상의 정점들의 영상 정보를 이용하여, 대향면 정보를 구한다(제920 단계).
제920 단계 후에, 보간부(550)는 제910 단계에서 검색된 평면의 하나 이상의 정점들의 영상 정보와 제920 단계에서 구해진 대향면 정보를 이용하여, 그 지점의 영상 정보를 보간한다(제930 단계).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것 은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
이상에서 설명한 바와 같이, 본 발명에 의한 영상 보간 방법 및 장치는, 신뢰할 수 있는 보간값을 신속히 획득하는 효과를 갖는다. 구체적으로, 본 발명에 의한 영상 보간 방법 즉, 피라미드형 선형 보간법에 의하면, 3차 선형 보간의 경우보다 신속히 보간을 수행할 수 있다. 보다 구체적으로, 3차 선형 보간을 한 번 수행하는 데 8번의 1차 선형 보간이 수행되는 데 비해, 피라미드형 선형 보간을 한 번 수행하는데 4번의 1차 선형 보간이 수행된다. 또한, 본 발명의 제1 실시예에 따른 피라미드형 선형 보간법에 의하면, 피라미드형 선형 보간을 한 번 수행하는 데 필요한 영상 정보가 8개의 정점들의 독출된 영상 정보인 것과 마찬가지로, 3차 선형 보간을 한 번 수행하는 데 필요한 영상 정보도 8개의 정점들의 독출된 영상 정보이므로, 피라미드형 선형 보간이 3차 선형 보간에 비해 훨씬 적은 횟수의 1차 선형 보간을 수행함에도 불구하고, 피라미드형 선형 보간에 의해 보간된 값은 3차 선형 보간에 의해 보간된 값과 어느 정도 근사할 수 있다. 한편, 본 발명에 의한 영상 보간 장치의 핵심 구성요소들 중의 하나라고 볼 수 있는 기저면 검색부(520)가, 승산기(multiplier)와 같이 비교적 고가의 연산기로 구현되지 않고 비교기(comparator)와 같이 비교적 저가의 연산기로 구현될 수 있음을 감안할 때, 본 발명에 의한 영상 보간 장치는 적은 비용으로도 구현될 수 있다.

Claims (12)

  1. 복수의 평면으로 구성된 입체상의 한 지점의 영상 정보를 보간하는 영상 보간 방법에 있어서,
    (a) 상기 지점에 가장 인접한 상기 평면을 검색하는 단계;
    (b) 상기 검색된 평면과 마주보는 상기 평면의 하나 이상의 정점의 영상 정보를 이용하여 대향면 정보를 구하는 단계; 및
    (c) 상기 검색된 평면의 하나 이상의 정점의 영상 정보 및 상기 구해진 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  2. 제1 항에 있어서, 상기 (b) 단계는 미리 저장된 영상 정보 중 상기 마주보는 평면의 하나 이상의 정점의 영상 정보를 독출하고, 독출된 영상 정보를 이용하여 상기 대향면 정보를 구하고,
    상기 (c) 단계는 상기 저장된 영상 정보 중 상기 검색된 평면의 하나 이상의 정점의 영상 정보를 독출하고, 독출된 영상 정보와 상기 구해진 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 것을 특징으로 하는 영상 보간 방법.
  3. 제1 항에 있어서, 상기 (b) 단계는 미리 저장된 영상 정보 중 상기 검색된 평면의 하나 이상의 정점의 영상 정보를 독출하고, 독출된 영상 정보를 이용하여 상기 마주보는 평면의 하나 이상의 정점의 영상 정보를 추측하고, 추측된 영상 정보를 이용하여 상기 대향면 정보를 구하고,
    상기 (c) 단계는 상기 독출된 영상 정보와 상기 구해진 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 것을 특징으로 하는 영상 보간 방법.
  4. 제1 항에 있어서, 상기 (b) 단계는 상기 마주보는 평면의 복수의 정점의 영상 정보를 평균하여 상기 대향면 정보를 구하는 것을 특징으로 하는 영상 보간 방법.
  5. 제1 항에 있어서, 상기 입체는 각각이 복수의 상기 평면을 갖는 복수의 격자로 구성되고, 상기 대향면 정보는 상기 마주보는 평면상의 한 지점의 추측된 영상 정보인 것을 특징으로 하는 영상 보간 방법.
  6. 복수의 평면으로 구성된 입체상의 한 지점의 영상 정보를 보간하는 영상 보간 장치에 있어서,
    상기 지점에 가장 인접한 상기 평면을 검색하는 기저면 검색부;
    상기 검색된 평면과 마주보는 상기 평면의 하나 이상의 정점의 영상 정보를 이용하여 대향면 정보를 연산하는 연산부; 및
    상기 검색된 평면의 하나 이상의 정점의 영상 정보 및 상기 연산된 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 보간부를 포함하는 것을 특징 으로 하는 영상 보간 장치.
  7. 제6 항에 있어서, 상기 영상 보간 장치는
    상기 복수의 평면의 복수의 정점의 영상 정보를 저장하는 저장부를 더 포함하고,
    상기 연산부는 상기 저장된 영상 정보 중 상기 마주보는 평면의 하나 이상의 정점의 영상 정보를 독출하고, 독출된 영상 정보를 이용하여 상기 대향면 정보를 연산하고,
    상기 보간부는 상기 저장된 영상 정보 중 상기 검색된 평면의 하나 이상의 정점의 영상 정보를 독출하고, 독출된 영상 정보와 상기 연산된 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 것을 특징으로 하는 영상 보간 장치.
  8. 제6 항에 있어서, 상기 영상 보간 장치는
    상기 복수의 평면의 복수의 정점의 영상 정보를 저장하는 저장부를 더 포함하고,
    상기 연산부는 상기 저장된 영상 정보 중 상기 검색된 평면의 하나 이상의 정점의 영상 정보를 독출하고, 독출된 영상 정보를 이용하여 상기 마주보는 평면의 하나 이상의 정점의 영상 정보를 추측하고, 추측된 영상 정보를 이용하여 상기 대향면 정보를 연산하고,
    상기 보간부는 상기 독출된 영상 정보와 상기 연산된 대향면 정보를 이용하 여 상기 지점의 영상 정보를 보간하는 것을 특징으로 하는 영상 보간 장치.
  9. 제6 항에 있어서, 상기 연산부는 상기 마주보는 평면의 복수의 정점의 영상 정보를 평균하여 상기 대향면 정보를 연산하는 것을 특징으로 하는 영상 보간 장치.
  10. 제6 항에 있어서, 상기 기저면 검색부는 각각의 축마다, 상기 축 방향과 수직하게 위치한 상기 평면 중 상기 지점에 가장 인접한 상기 평면을 검색하고, 검색된 상기 평면 중 상기 지점에 가장 인접한 상기 평면을 검색하는 것을 특징으로 하는 영상 보간 장치.
  11. 제6 항에 있어서, 상기 입체는 각각이 복수의 상기 평면을 갖는 복수의 격자로 구성되고, 상기 대향면 정보는 상기 마주보는 평면상의 한 지점의 추측된 영상 정보인 것을 특징으로 하는 영상 보간 장치.
  12. 복수의 평면으로 구성된 입체상의 한 지점의 영상 정보를 보간하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    (a) 상기 지점에 가장 인접한 상기 평면을 검색하는 단계;
    (b) 상기 검색된 평면과 마주보는 상기 평면의 하나 이상의 정점의 영상 정보를 이용하여 대향면 정보를 구하는 단계; 및
    (c) 상기 검색된 평면의 하나 이상의 정점의 영상 정보 및 상기 구해진 대향면 정보를 이용하여 상기 지점의 영상 정보를 보간하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
KR1020060070454A 2006-07-26 2006-07-26 영상 보간 방법 및 장치 KR101228110B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020060070454A KR101228110B1 (ko) 2006-07-26 2006-07-26 영상 보간 방법 및 장치
EP07104879A EP1883046B1 (en) 2006-07-26 2007-03-26 Image interpolation method and apparatus therefor
DE602007002853T DE602007002853D1 (de) 2006-07-26 2007-03-26 Bildinterpolationsverfahren und Vorrichtung dazu
CNA2007100964420A CN101114377A (zh) 2006-07-26 2007-04-17 图像内插方法及其装置
US11/802,227 US8031977B2 (en) 2006-07-26 2007-05-21 Image interpolation method, medium and system
JP2007182161A JP5091570B2 (ja) 2006-07-26 2007-07-11 映像補間方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060070454A KR101228110B1 (ko) 2006-07-26 2006-07-26 영상 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080010223A true KR20080010223A (ko) 2008-01-30
KR101228110B1 KR101228110B1 (ko) 2013-01-31

Family

ID=38091728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060070454A KR101228110B1 (ko) 2006-07-26 2006-07-26 영상 보간 방법 및 장치

Country Status (6)

Country Link
US (1) US8031977B2 (ko)
EP (1) EP1883046B1 (ko)
JP (1) JP5091570B2 (ko)
KR (1) KR101228110B1 (ko)
CN (1) CN101114377A (ko)
DE (1) DE602007002853D1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9530189B2 (en) 2009-12-31 2016-12-27 Nvidia Corporation Alternate reduction ratios and threshold mechanisms for framebuffer compression
US10043234B2 (en) 2012-12-31 2018-08-07 Nvidia Corporation System and method for frame buffer decompression and/or compression
US9607407B2 (en) 2012-12-31 2017-03-28 Nvidia Corporation Variable-width differential memory compression
US9591309B2 (en) 2012-12-31 2017-03-07 Nvidia Corporation Progressive lossy memory compression
EP2954495B1 (en) * 2013-02-06 2020-12-02 Square Enix Holdings Co., Ltd. Information processing apparatus, method of controlling the same, program, and storage medium
CN103729826B (zh) * 2013-12-23 2018-05-29 安徽理工大学 一种基于粗糙集约简的图像插值方法
US9832388B2 (en) 2014-08-04 2017-11-28 Nvidia Corporation Deinterleaving interleaved high dynamic range image by using YUV interpolation
US11587155B2 (en) * 2014-12-23 2023-02-21 Ebay Inc. Integrating a product model into a user supplied image
CN107560663B (zh) * 2017-07-21 2020-11-24 深圳市易成自动驾驶技术有限公司 环境参数检测方法及系统、存储介质
WO2019168765A1 (en) * 2018-02-27 2019-09-06 Portland State University Context-aware synthesis for video frame interpolation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3024459A1 (de) * 1979-07-03 1981-01-08 Crosfield Electronics Ltd Pyramideninterpolation
JPS57208765A (en) * 1981-06-18 1982-12-21 Dainippon Screen Mfg Co Ltd Signal interpolating method for memory device
KR940000158B1 (ko) * 1991-01-31 1994-01-07 삼성전자 주식회사 화상신호의 순차주사보간회로
JPH0723389A (ja) * 1993-06-28 1995-01-24 Toshiba Corp 画像処理装置
JPH08138030A (ja) * 1994-11-11 1996-05-31 Canon Inc データ変換装置およびデータ変換方法
JP3190545B2 (ja) * 1995-07-31 2001-07-23 キヤノン株式会社 補間演算方法およびデータ変換装置
US7053944B1 (en) * 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US6809740B1 (en) * 2000-07-26 2004-10-26 Lexmark International, Inc. Dithered quantization using neighborhood mask array to approximate interpolate
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
US6865246B2 (en) * 2001-09-26 2005-03-08 Massachusetts Institute Of Technology True 3D cone-beam imaging method and apparatus
US7079705B2 (en) * 2002-10-30 2006-07-18 Agilent Technologies, Inc. Color interpolation for image sensors using a local linear regression method
US7231076B2 (en) * 2004-06-30 2007-06-12 Accuray, Inc. ROI selection in image registration

Also Published As

Publication number Publication date
KR101228110B1 (ko) 2013-01-31
DE602007002853D1 (de) 2009-12-03
CN101114377A (zh) 2008-01-30
JP5091570B2 (ja) 2012-12-05
JP2008033926A (ja) 2008-02-14
EP1883046B1 (en) 2009-10-21
US8031977B2 (en) 2011-10-04
US20080025615A1 (en) 2008-01-31
EP1883046A1 (en) 2008-01-30

Similar Documents

Publication Publication Date Title
KR101228110B1 (ko) 영상 보간 방법 및 장치
US5577175A (en) 3-dimensional animation generating apparatus and a method for generating a 3-dimensional animation
JP5518967B2 (ja) グラフィック・パフォーマンス改善のための方法、装置およびコンピュータ・プログラム・プロダクト
US7414636B2 (en) Rendering apparatus, rendering processing method and computer program product
JP5182229B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4199170B2 (ja) 高次元テクスチャマッピング装置、方法及びプログラム
JP5351971B2 (ja) モーションベクトルを決定するための方法、装置及びソフトウエア
US20120162224A1 (en) Free view generation in ray-space
US20140035905A1 (en) Method for converting 2-dimensional images into 3-dimensional images and display apparatus thereof
JP2006526834A (ja) ボリューム・レンダリング用の適応画像補間
US9449120B2 (en) Computer product, data processing method, and data processing device
JPH11161819A (ja) 画像処理装置、画像処理方法、及び画像処理プログラムを記録した記録媒体
JP2001101419A (ja) 画像特徴追跡処理方法、画像特徴追跡処理装置、３次元データ作成方法
US11423618B2 (en) Image generation system and method
US9734579B1 (en) Three-dimensional models visual differential
Dong et al. Occlusion handling method for ubiquitous augmented reality using reality capture technology and GLSL
JP2010002273A (ja) 画像処理方法
JP2003271687A (ja) 干渉モデル検出装置、方法及び記憶媒体
Alshina et al. Discontinuity minimization for omnidirectional video projections
CN116612467A (zh) 一种基于Wireframe的图像平面检测方法、系统、电子装置及存储介质
JP3791546B2 (ja) 画像生成装置および画像生成方法
JPH09128564A (ja) 画像作成装置および方法
JP2006524384A (ja) 平行四辺形をフィル・インする方法及びシステム
Güvenç 3D visualization using data received from the processes of object recognition and object reconstruction
JPH1125294A (ja) 三次元形状指示装置、その方法および三次元形状指示プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181220

Year of fee payment: 7