KR100914312B1 - 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체 - Google Patents

그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체 Download PDF

Info

Publication number
KR100914312B1
KR100914312B1 KR1020080024118A KR20080024118A KR100914312B1 KR 100914312 B1 KR100914312 B1 KR 100914312B1 KR 1020080024118 A KR1020080024118 A KR 1020080024118A KR 20080024118 A KR20080024118 A KR 20080024118A KR 100914312 B1 KR100914312 B1 KR 100914312B1
Authority
KR
South Korea
Prior art keywords
image
graphics hardware
mipmap
depth
programmable shader
Prior art date
Application number
KR1020080024118A
Other languages
English (en)
Inventor
김정현
이성길
최승문
Original Assignee
고려대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020080024118A priority Critical patent/KR100914312B1/ko
Application granted granted Critical
Publication of KR100914312B1 publication Critical patent/KR100914312B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법에 관한 것이다.
본 발명은 (a) 원 이미지(raw image)로부터 상기 원 이미지가 가진 각 특징만을 반영한 각 이미지를 그래픽스 하드웨어 상의 프로그래머블 쉐이더를 이용하여 추출하는 단계; (b) 상기 추출된 각 이미지에 대응되는 각 밉맵 텍스쳐(mipmap texture)를 생성하는 단계; (c) 상기 생성된 각 밉맵 텍스처에 대해 중심주변차이(center-surround difference) 연산을 수행하여 상기 추출된 각 이미지에 대응되는 각 대조 이미지를 상기 프로그래머블 쉐이더를 이용하여 생성하는 단계; 및 (d) 상기 각 대조 이미지를 서로 선형 결합하여 상기 프로그래머블 쉐이더를 이용하여 돌출맵을 생성하는 단계를 포함하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법을 제공한다.
이미지, 특징 이미지, 밉맵, 대조 이미지, 돌출맵

Description

그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체{Method and System of generating saliency map using graphics hardware and programmable shader and Recording medium therewith}
본 발명은 돌출맵의 실시간 구현에 관한 것으로서, 보다 상세하게는 2차원 이미지, 비디오 및 3차원 이미지에서 그래픽스 하드웨어 상의 프로그래머블 쉐이더를 이용하여 돌출맵을 생성하고 이를 이용하여 픽셀이 시각적으로 눈에 띄는 정도를 찾아내는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체에 관한 것이다.
일반적으로 돌출맵은 2차원 이미지에서 색(color), 명도(luminance), 가장자리의 방향(edge orientation)과 같은 하달상향식(bottom-up)의 특징(feature)들을 이용하여, 이미지의 픽셀(pixel)들이 사용자의 눈에 띄는 정도를 정량화해서 나타내어 주는 이미지나 지도(map)를 지칭한다. 이러한 돌출맵은, 사람의 시각적인 지각(perception) 원리에 기반한 것으로서, 주변의 이미지 영역이나 객체에 비해 눈에 띄는 상태를 시각적으로 돌출(visually salient)하다고 지칭하고, 이를 나타내 는 이미지를 돌출맵이라 칭한다.
돌출맵은, 근래의 지각기반 렌더링에 있어 기반 기술로서 작용해 왔다. 가장 기본적인 이미지뿐만 아니라, 비디오 혹은 컴퓨터에 의해 생성되는 3차원 이미지에서 사용자의 관심을 받을만한 영역이 어디인지를 찾아내어 그에 맞는 적절한 처리를 해주어 사람의 지각에 기반을 둔 기술을 가능하게 해준다. 예를 들어, 이미지에서 사람의 눈에 먼저 띄어 시선이 갈만한 위치를 예측할 수 있고, 비디오에서는 사람의 눈에 띌만한 영역을 중심으로 압축 알고리즘을 적용할 수 있고, 3차원의 가상환경에서는 렌더링 비용(cost)을 감소시키기 위해 눈에 띄는 영역을 자세히 표시하고, 눈에 띄지 않는 영역을 덜 자세하게 표시하는 가상 객체의 상세도(LOD; Level Of Detail)를 실시간 혹은 실행 전에 조절할 수 있다. 또한 제한적이라고 알려져 있는 사람 지각의 정보 전달 폭(perceptual bandwidth)을 최대한으로 이용할 수 있도록, 전달하고자 하는 정보만을 강조시키거나, 전달하고자 하지 않는 정보를 감추어 줌으로써 사람의 지각에 기반한 효율적인 정보 전달이 가능하다.
일반적으로 눈동자 추적 장치(eye-tracker)를 이용한다면, 사용자가 현재 어디를 보고 있는지 알아낼 수 있다. 그러나, 이러한 장치는 고가의 가격과 번거로운 보정(calibration) 과정을 거쳐야 하고, 또한 사용자의 머리의 움직임을 일반적으로 허용하지 않기 때문에 그 실용성은 극히 미약하다. 이에 대한 대안으로서 사람의 시각적인 관심(visual attention)에 관한 원리를 이용하여 사용자의 관심 영역 및 객체를 계산적인 방법으로 알아낸다면, 특별한 장치없이 계산적인 방법을 자동으로 적용함으로써 상기한 이점을 살릴 수 있을 것이다.
본 발명은 상기와 같은 문제점을 해결하고 최근의 추세와 요청에 따라 제안된 것으로서, 2차원 이미지, 3차원 이미지 및 비디오에 대해 돌출맵을 실시간으로 생성하여 픽셀의 눈에 띄는 정도를 찾아낼 수 있는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 일 양상으로서, 본 발명에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법은,
(a) 원 이미지(raw image)로부터 상기 원 이미지가 가진 각 특징만을 반영한 각 이미지를 그래픽스 하드웨어 상의 프로그래머블 쉐이더를 이용하여 추출하는 단계; (b) 상기 추출된 각 이미지에 대응되는 각 밉맵 텍스쳐(mipmap texture)를 생성하는 단계; (c) 상기 생성된 각 밉맵 텍스처에 대해 중심주변차이(center-surround difference) 연산을 수행하여 상기 추출된 각 이미지에 대응되는 각 대조 이미지를 상기 프로그래머블 쉐이더를 이용하여 생성하는 단계; 및 (d) 상기 각 대조 이미지를 서로 선형 결합하여 상기 프로그래머블 쉐이더를 이용하여 돌출맵을 생성하는 단계를 포함하여 이루어진다.
삭제
상기 각 특징은 상기 원 이미지가 2차원 이미지인 경우에는 상기 원 이미지의 명도(luminance) 및 색상(hue)이고, 상기 원 이미지가 3차원 이미지인 경우에는 상기 원 이미지의 명도, 색상 및 깊이(depth)인 것을 기술적 특징으로 할 수 있다. 여기서, 상기 깊이는,
Figure 112009037673852-pat00001
(여기서, Bd는 상기 깊이, z는 픽셀에서의 깊이, znear는 가까운 잘림 깊이(near clipping depth), zfar는 먼 잘림 깊이(far clipping depth)임)에 의해 얻어질 수 있다.
상기 (a) 단계는, 상기 그래픽스 하드웨어를 이용하여 상기 추출된 각 이미지를 RGB(Red/Green/Blue) 채널에 저장하는 것을 기술적 특징으로 할 수 있다.
상기 (b) 단계는, 상기 그래픽스 하드웨어에 의해 제공되는 하드웨어 밉맵 생성 기능을 이용하여 수행되거나, 밉맵 레벨 0의 이미지를 입력으로 하여 이전 레벨보다 크기를 줄여나가면서 렌더링함으로써 수행되는 것을 기술적 특징으로 할 수 있다.
상기 (d) 단계는, 상기 각 대조 이미지에 대해 선형 결합 계수를 곱한 값을 더함으로써 상기 돌출맵을 생성하고, 상기 선형 결합 계수는 해당하는 대조 이미지 내 픽셀들의 최대값의 역수인 것을 기술적 특징으로 할 수 있다.
상기의 목적을 달성하기 위한 본 발명의 다른 양상으로서, 본 발명에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템은, 원 이미지(raw image)로부터 상기 원 이미지가 가진 각 특징만을 반영한 각 이미지를 그래픽스 하드웨어 상의 프로그래머블 쉐이더를 이용하여 추출하는 특징 추출부; 상기 추출된 각 이미지에 대응되는 각 밉맵 텍스쳐(mipmap texture)를 생성하는 밉맵 텍스쳐 생성부; 상기 프로그래머블 쉐이더를 이용하여, 상기 각 밉맵 텍스쳐에 대해 중심주변차이(center-surround difference) 연산을 수행하여 상기 추출된 각 이미지에 대응되는 각 대조 이미지를 생성하는 대조 이미지 생성부; 및 상기 프로그래머블 쉐이더를 이용하여, 상기 각 대조 이미지를 서로 선형 결합하여 돌출맵을 생성하는 돌출맵 생성부를 포함하여 이루어진다.
상기 각 특징은 상기 원 이미지가 2차원 이미지인 경우에는 상기 원 이미지의 명도(luminance) 및 색상(hue)이고, 상기 원 이미지가 3차원 이미지인 경우에는 상기 원 이미지의 명도, 색상 및 깊이(depth)인 것을 기술적 특징으로 할 수 있다.
상기 깊이는,
Figure 112008018910988-pat00002
(여기서, Bd는 상기 깊이, z는 픽셀에서의 깊이, znear는 가까운 잘림 깊이(near clipping depth), zfar는 먼 잘림 깊이(far clipping depth)임)에 의해 얻어질 수 있다.
상기 특징 이미지 추출부는, 상기 그래픽스 하드웨어를 이용하여 상기 추출된 각 이미지를 RGB(Red/Green/Blue) 채널에 저장하는 것을 기술적 특징으로 할 수 있다.
상기 밉맵 텍스쳐 생성부는, 상기 그래픽스 하드웨어에 의해 제공되는 하드웨어 밉맵 생성 기능을 이용하여 상기 각 밉맵 텍스쳐를 생성하거나, 밉맵 레벨 0의 이미지를 입력으로 하여 이전 레벨보다 크기를 줄여나가면서 렌더링함으로써 상기 각 밉맵 텍스쳐를 생성하는 것을 기술적 특징으로 할 수 있다.
상기 돌출맵 생성부는, 상기 각 대조 이미지에 대해 선형 결합 계수를 곱한 값을 더함으로써 상기 돌출맵을 생성하고, 상기 선형 결합 계수는 해당하는 대조 이미지 내 픽셀들의 최대값의 역수인 것을 기술적 특징으로 할 수 있다.
본 발명에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체에 의하면 다음과 같은 효과가 있다.
첫째, 본 발명에 의하면, 2차원 이미지, 3차원 이미지, 비디오 및 가상 환경 내에서 이미지의 각 픽셀이 사용자에게 눈에 띄는 정도를 실시간으로 찾아낼 수 있는 효과가 있다. 따라서, 이미지에 대해서, 사용자가 시각적으로 관심을 두고 있는 영역이나 객체들을 실시간으로 찾아낼 수 있다.
둘째, 본 발명에 의하면, 이미지 내에서 시각적인 관심을 주는 영역이 어딘지를 알아내어, 이미지를 어떻게 생성하는 것이 사용자의 관심을 더 끌 수 있는 것인지에 대한 평가 수단을 제공할 수 있다.
셋째, 본 발명에 의하면, 이미지, 비디오 및 3차원 환경에서의 영역 및 객체에 관해서 사용자가 관심을 두지 않는 영역에 대해서는, 그 상세도(LOD; Level of Detail)를 줄여서, 압축 및 실행시간(run-time)의 실행 부하를 줄일 수 있는 효과가 있다.
넷째, 본 발명에 의하면, 시각적으로 사용자가 관심을 두는 영역을 찾아 사용자의 지각에 기반한 렌더링 기술(예를 들어, 관심 영역에 초점을 두는 렌더링) 등을 적용할 수 있으므로, 가상 환경에서의 현실감 및 현장감의 향상에 도움이 될 수 있다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
사람의 시각적인 지각원리를 이용하는 계산방법 중 가장 널리 알려진 것은 1998년에 Itti 등에 의해 알려진 2차원 이미지에 대한 돌출맵(saliency map)에 의한 방법이다.
돌출맵의 계산은 중심주변차이(center-surround difference)의 원리에 기반하여 이미지의 각 특징들을 이용하여, 눈에 띄는 정도를 제시한다. 중심주변차이는, 본래 이미지를 흐릿하게 한(blurred or down-sampled) 이미지와 좀 더 또렷한 이미지의 차이를 찾아내는 작용을 의미한다. 각 특징들에 대한 중심주변의 차이의 결과에 따른 대조맵(contrast map or conspicuity map) 또는 대조 이미지들을 특별한 방법(주로, 비선형적인 방법을 이용하여)을 이용해 정규화(normalization)한 다음, 선형으로 결합한 이미지가 돌출맵이 된다. 이 돌출맵은 이미지 내에서 각 픽셀 이 그 주변에 비해서 눈에 띄는 정도를 알려준다.
이러한 돌출맵은 근래에까지 주로 컴퓨터의 중앙처리장치(CPU)를이용한 이미지 프로세싱 소프트웨어를 이용하여 구현되어 왔다. 일반적으로 작은 크기(예를 들어, 256×256)의 돌출맵에 대해서도 그 느린 처리 속도 때문에 실시간으로 처리를 해야 하는 곳에는 그 적용이 제한되어 왔다. 근래에 폭발적으로 증가하는 그래픽스 하드웨어(graphics hardware)에서의 처리 능력은 이러한 계산 속도를 증가시키고, 프로그래머블 쉐이더를 이용하여 하드웨어에서 필요한 연산들을 할 수 있도록 하여, 돌출맵을 실시간으로 구현할 수 있게 한다.
본 발명에서는 그래픽스 하드웨어 밉맵 생성 및 프로그래머블 쉐이더(programmable shader)를 이용하여 실시간으로 돌출맵을 생성하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체를 제안한다.
먼저 본 발명은 2차원 이미지나 3차원 이미지 모두에 적용할 수 있음을 밝혀둔다. 2차원 이미지의 경우에는 깊이에 대한 정보가 없으므로, 깊이를 제외한 명도와 색상에만 하기 설명이 적용된다. 3차원 이미지에서는 깊이 정보를 렌더링할 수 있으므로, 깊이 정보를 명도 및 색상과 함께 적용한다. 또한 2차원 비디오는 복수의 연속된 이미지들로 구성되어 있으므로, 후술하는 2차원 이미지의 경우와 동일한 과정이 연속적으로 적용되어 돌출맵을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐 이더를 이용한 돌출맵 생성 시스템의 블록 구성도이다. 도 1 및 필요한 도면들을 참조하여, 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템을 상세히 설명하기로 한다.
본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템(100)은, 특징 이미지 추출부(110), 밉맵 텍스쳐 생성부(120), 대조 이미지 생성부(130) 및 돌출맵 생성부(140)를 포함하여 구성될 수 있다.
상기 특징 이미지 추출부(110)는, 원 이미지(raw image 또는 original image)로부터 상기 원 이미지가 가진 각 특징만을 반영한 각 이미지(각 특징 이미지)를 추출한다.
이때, 상기 각 특징은 상기 원 이미지가 2차원 이미지인 경우에는, 원 이미지의 색상(hue) 및 밝기(luminance)이다. 그리고 상기 원 이미지가 3차원 이미지인 경우에는, 원 이미지의 색상, 밝기 및 깊이(depth)이다. 즉 상기 특징 이미지 추출부(110)에서 추출되는 각 특징 이미지는, 각각 색상 이미지, 밝기 이미지 및 깊이 이미지(3차원인 경우에만)가 될 수 있다.
삭제
한편 깊이(Bd) 특징은 3차원 장면(scene)이 있는 경우에 얻을 수 있고, 일반적인 Z-버퍼(Z-buffer)나 프로그래머블 쉐이더를 이용하여 하기 수학식 1에 의해 렌더링할 수 있다.
Figure 112008018910988-pat00003
여기서, Bd는 상기 깊이 특징을 나타내고, z는 해당하는 픽셀에서의 깊이를 나타낸다. znear, zfar는 3차원 렌더링에서 각각 가까운 잘림 깊이(near clipping depth), 먼 잘림 깊이(far clipping depth)를 나타낸다. 일반적인 Z-버퍼의 경우도 같은 원리를 이용하여 렌더링되고, Z-버퍼를 읽어와 0에서 1사이로 정규화(normalization)한 후 동일하게 이용할 수 있다.
도 2는 2차원 또는 3차원 이미지에서 렌더링된 컬러 이미지(210)로부터 추출되는 각 특징 이미지의 예를 도시한다. 상기 특징들은 그래픽스 하드웨어를 이용하여 적녹청(RGB)의 채널에 저장하는 텍스쳐 형식으로 렌더링된다. 예를 들어, 명도는 적색 채널(220), 색상은 녹색 채널(230), 깊이는 청색 채널(240)로 각각 렌더링될 수 있다. 2차원 이미지의 경우 깊이 특징이 사용될 수 없으므로, 적과 녹의 2채널만 사용된다. 명도와 색상은 일반적으로 사용되는 색상-명도-채도(HLS) 색상 모델에서 색상과 명도를 이용하여 얻어지고, 이 과정은 프로그래머블 쉐이더 안에서 실행될 수 있다. 깊이 특징의 경우에도 상기 수학식 1에 의해 프로그래머블 쉐이더 안에서 얻어질 수 있다. 텍스쳐의 크기는 본래 이미지보다 작게 렌더링된다. 예를 들어, 본래 이미지가 1024×768의 크기를 가진다면, 1/4나 1/8인 256×192, 128×96의 크기의 정도로 렌더링된다. 특징 이미지의 크기는 찾고자 하는 눈에 띄는 영역들의 크기를 감안하여 유동적으로 정해질 수 있다. 큰 객체를 위주로 찾을 때에는 작은 크기를 사용하고, 작은 이미지 영역을 찾기 위해서는 크기가 큰 이미지를 사용하면 된다.
상기 밉맵 텍스쳐 생성부(120)는, 상기 특징 이미지 추출부(110)에 의해 추출된 각 이미지에 대응되는 각 밉맵 텍스쳐(mipmap texture)를 생성한다.
상기 밉맵 텍스쳐 생성부(120)에서는, 상기 특징 추출부(110)에서 추출된 각 특징 이미지가 이미지 피라미드 형태의 텍스쳐(texture), 즉 밉맵(mipmap)으로 생성된다. 밉맵의 생성 과정은, 일반적으로 밉맵 레벨 0의 이미지를 입력으로 하여 이전 레벨의 1/4 크기로 줄여나가며 렌더링하며 생성하거나, 그래픽스 하드웨어에 존재하는 기능인 하드웨어 밉맵 생성 기능을 이용하여 자동으로 이루어질 수도 있다.
본 발명에서는, 상기 두 가지의 방법이 모두 적용될 수 있고, 각각의 방법은 비슷한 결과를 도출한다. 단 속도에 있어서, 하드웨어 밉맵 생성 기능은 하드웨어의 가속 기능을 이용하므로, 1/4 크기로 줄여나가며 렌더링하는 방법보다 훨씬 빠르다.
밉맵 생성을 위한 입력 이미지, 즉 레벨 0에 해당하는 이미지는, 색상, 명도 및 깊이의 세 가지 특징을 텍스쳐 형식의 적색, 녹색 및 청색의 세 가지 채널에 저장한 텍스쳐 이미지가 사용된다. 상기 텍스쳐 이미지로의 렌더링이 끝나고, 그래픽스 하드웨어에서 밉맵을 생성하게 된다. 통상적으로 이미지의 가장 큰 해상도(즉 밉맵 레벨 0)에서 1×1 크기의 이미지까지 1/4씩 줄여나간 여러 단계의 이미지 피라미드가 생성된다.
상기 밉맵 텍스쳐 생성부(120)에서 생성된 밉맵은 상기 대조 이미지 생성부(130)에서 대조맵을 구하는데 이용된다.
도 3은 밉맵 구조의 예를 도시한다. 레벨 1의 이미지(320)는 레벨 0의 이미지(310)의 1/4 크기이고, 레벨 2의 이미지(330)는 레벨 1의 이미지(320)의 1/4 크기이고, 그 이상의 레벨에 대하여 반복된다. 도 3에서는 예를 들기 위해 밉맵 레벨 0에서 3까지만 도시하였지만, 실제 실행 상에는 특징 이미지 크기에서 6레벨 이상의 밉맵 레벨을 생성할 수 있다. 특히, 하드웨어 밉맵 생성 기능에서는 최소 크기 1×1 이미지까지 자동으로 생성해 주므로, 이 부분에 대해서는 조절을 하지 않아도 된다.
상기 대조 이미지 생성부(130)는, 상기 밉맵 텍스쳐들에 대해 중심주변차이(center-surround difference) 연산을 수행하여 상기 특징 이미지 추출부(110)에 의해 추출된 각 이미지에 대응되는 각 대조 이미지를 생성한다.
중심주변차이의 원리는, 중심에 해당하는 높은 해상도의(center; 즉, 상세하게 표시된) 이미지에서 낮은 해상도의(surround; 즉, 덜 상세하게 된) 이미지의 차이를 구함으로써, 상세한 차이만을 남기는 것이다. 중심주변차이의 원리는, 사람 눈의 지각에 기반한 것으로 효율적으로 눈에 띄는 곳을 찾아낸다고 알려져 있다.
상기와 같이 남은 상세함의 차이가 한 특징에 대해서 눈에 잘 띄는 영역으로 남게 된다. 이러한 과정은 밉맵의 레벨 0, 1, 2를 중심 레벨로 하고, 각각에 대해 3과 4만큼 레벨의 차이가 있는 이미지를 주변 이미지로 보고 그 차이 값을 구하게 된다. 하기의 수학식 2는, 이와 같은 과정을 나타내는 수식이다.
Figure 112008018910988-pat00004
여기서, f는 명도(l), 색상(h), 깊이(d)에 해당하는 특징(feature)을 나타낸다. 수학식 2에서 i(중심)에 해당하는 밉맵 레벨에서 i+j(주변)에 해당하는 이미지의 차이의 절대값을 더한 후 6으로 나눈 것이 각 특징에 대한 대조(contrast) 값, Cf가 된다.
즉, 중심주변차이 연산은 중심에 해당하는 상세한 이미지(낮은 레벨)와 덜 상세한 이미지(높은 레벨) 간의 차이의 절대값을 구하는 것으로서, 그 결과 이미지는 어느 특징에 대한 눈에 띄는 정도를 나타내는 대조맵이 된다. 도 4는, 명도 특징에 대해, 중심 주변 차이에 대한 중심(밉맵 레벨 0)에 해당하는 이미지(410)와 주변(밉맵 레벨 3)에 해당하는 이미지(420)의 예를 도시한다. 주변에 해당하는 이미지는 작은 크기의 이미지이기 때문에, 밉맵 레벨 0의 이미지와 같은 크기로 확대가 필요하다. 이러한 확대는 그래픽스 하드웨어에서 높은 레벨의 이미지를 텍스쳐에서 읽어오는(look-up) 것만으로 실행되므로, 일반적인 중앙처리장치에서 확대를 위한 별도의 확대 과정이 필요한 것과는 달리 그 가속효과가 월등하다. 예를 들어, 도 3을 참조하면, 수학식 2에 의해 중심 레벨과 주변 레벨의 6가지 쌍 (0,3), (0,4), (1,4), (1,5), (2,5), (2,6)에 대하여 연산하고, 그 값을 모두 더하면 대조 이미지 Cl(430)을 얻을 수 있다. 이 과정은 세 가지의 특징 밉맵(명도, 색상, 깊이) 들에 대해서 적용되고, 역시 프로그래머블 쉐이더 상에서 수행될 수 있다. 최근의 그래픽스 하드웨어에서는 특정 밉맵 레벨에서 이미지를 가져오는 것이 가능하므로, 상기의 연산은 각 특징에 대해서 3개의 채널에 대해 동시에 하나의 프로그래머블 쉐이더에서 실행 가능하므로 매우 빠른 실시간의 실행 속도를 가지며, 이것이 소프트웨어로 구현되는 것과 가장 구별되는 차이점이 될 수 있다.
상기 돌출맵 생성부(140)는, 상기 각 대조 이미지를 서로 선형 결합하여 돌출맵을 생성한다.
최종 돌출의 정도, Sp는, 아래의 수학식 3에 나타낸 바와 같이 선형 결합의 형태로 나타낼 수 있다.
Figure 112008018910988-pat00005
수학식 3에서 Wf는 선형결합 계수(linear combination weight)를 가리킨다. 이러한 선형 결합 계수는 해당하는 이미지 내의 픽셀들의 최대값의 역수로서 결정된다. 이와 같이 최대값의 역수로서 계수를 가지면 각 특징의 대조 이미지들의 차이들은 0에서 1(또는 0에서 255) 사이의 동일한 범위로 정규화되고, 특징들의 높은 대조값이 많이 반영된 픽셀이 돌출 정도가 높은 픽셀이 된다. 최대값을 찾는 과정은 대조 이미지로의 처음부터 끝까지 픽셀 값들을 읽으면서 찾게 된다. 최대값을 찾는 과정은 그래픽스 하드웨어의 병렬적 처리를 이용할 수 없으므로, 상기 다른 과정들과 달리 중앙처리장치(CPU)를 이용하는 이미지 프로세싱 소프트웨어를 이용하게 된다. 이와 같이 선형결합 계수를 찾고, 이 값들은 최종 돌출값을 구하기 위해 선형 결합하는 프로그래밍 가능한 프로그래머블 쉐이더에서 반영된다.
이와 같이 찾아진 각 픽셀의 돌출 값은 각 픽셀이 그 주변 픽셀들에 비해서 얼마나 더 눈에 띄는지를 나타내어주는 정량적인 값으로서 이용되고, 여러 가지 응용분야에 사용될 수 있다.
도 5는 중심주변차이 연산의 결과인 대조맵들의 선형 결합을 통한 돌출맵의 생성 예시도이다. 도 5에 도시된 바와 같이, 대조 이미지들(510, 520, 530)을 선형 결합하면 돌출맵(540)이 생성된다. 선형 결합을 하기 전에 각 특징 간의 스케일(scale)의 차이를 없애기 위해, 정규화를 할 수 있도록 선형 결합 계수를 구하게 된다. 선형 결합의 계수는 각 이미지에서의 최대값의 역수를 취하도록 하면, 각 이미지에서의 최대값을 1로 두고 정규화가 가능하다.
도 6은 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법의 흐름도이다. 도 6을 참조하여 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법을 상세하게 설명하기로 한다. 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법은, 도 1 내지 도 5를 참조하여 설명한 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템에서 수행될 수 있다.
먼저 원 이미지로부터 각 특징 이미지를 추출한다[S620]. 상기 S620 단계는, 상기 특징 이미지 추출부(110)에서 수행될 수 있다.
그리고, 상기 추출된 각 특징 이미지에 대응되는 각 밉맵 텍스쳐(mipmap texture)를 생성한다[S630]. 상기 S630 단계는, 상기 밉맵 텍스쳐 생성부(120)에서 수행될 수 있다.
그리고, 상기 각 밉맵 텍스쳐에 대해 중심주변차이 연산을 수행하여 상기 추출된 각 특징 이미지에 대응되는 각 대조 이미지를 생성한다[S640]. 상기 S640 단계는, 상기 대조 이미지 생성부(130)에서 수행될 수 있다.
그리고, 상기 각 대조 이미지를 서로 선형 결합하여 돌출맵을 생성한다[S650]. 상기 S650 단계는, 상기 돌출맵 생성부(140)에서 수행될 수 있다.
그리고, 시뮬레이션을 수행할 이미지가 더 존재하는지를 판단하여[S660], 더 존재한다면 상기 S620 단계로 회귀한다. 예를 들어, 하나의 2차원 이미지나 3차원 이미지라면 상기 S620 단계 내지 상기 S650 단계가 한 번만 수행된다. 또한 예를 들어, 복수의 이미지들로 구성된 비디오 또는 3차원 가상 환경의 경우 상기 S620 단계 내지 상기 S650 단계가 반복적으로 수행된다.
상기에서 설명한 본 발명에 의한 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법은, 컴퓨터에서 실행시키기 위한 프로그램으로 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공될 수 있다.
본 발명에 의한 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템의 블록 구성도이다.
도 2는 2차원 또는 3차원 이미지에서 렌더링된 컬러 이미지(210)로부터 추출되는 특징 이미지들의 예를 도시한다.
도 3은 밉맵 구조의 예를 도시한다.
도 4는 명도 특징에 대해, 중심 주변 차이에 대한 중심(밉맵 레벨 0)에 해당하는 이미지(410)와 주변(밉맵 레벨 3)에 해당하는 이미지(420)의 예를 도시한다.
도 5는 중심주변차이 연산의 결과인 대조맵들의 선형 결합을 통한 돌출맵의 생성 예시도이다.
도 6은 본 발명의 일 실시예에 따른 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법의 흐름도이다.
삭제
삭제
삭제

Claims (13)

  1. (a) 원 이미지(raw image)로부터 상기 원 이미지가 가진 각 특징만을 반영한 각 이미지를 그래픽스 하드웨어 상의 프로그래머블 쉐이더를 이용하여 추출하는 단계;
    (b) 상기 추출된 각 이미지에 대응되는 각 밉맵 텍스쳐(mipmap texture)를 생성하는 단계;
    (c) 상기 생성된 각 밉맵 텍스처에 대해 중심주변차이(center-surround difference) 연산을 수행하여 상기 추출된 각 이미지에 대응되는 각 대조 이미지를 상기 프로그래머블 쉐이더를 이용하여 생성하는 단계; 및
    (d) 상기 각 대조 이미지를 서로 선형 결합하여 상기 프로그래머블 쉐이더를 이용하여 돌출맵을 생성하는 단계를 포함하고,
    상기 각 특징은 상기 원 이미지가 2차원 이미지인 경우에는 상기 원 이미지의 명도(luminance) 및 색상(hue)이고, 상기 원 이미지가 3차원 이미지인 경우에는 상기 원 이미지의 명도, 색상 및 깊이(depth)인 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 깊이는,
    아래의 수식에 의하는 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법.
    Figure 112009037673852-pat00006
    (여기서, Bd는 상기 깊이, z는 픽셀에서의 깊이, znear는 가까운 잘림 깊이(near clipping depth), zfar는 먼 잘림 깊이(far clipping depth)임).
  4. 제 1 항에 있어서, 상기 (a) 단계는,
    상기 그래픽스 하드웨어를 이용하여 상기 추출된 각 이미지를 RGB(Red/Green/Blue) 채널에 저장하는 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법.
  5. 제 1 항에 있어서, 상기 (b) 단계는,
    상기 그래픽스 하드웨어에 의해 제공되는 하드웨어 밉맵 생성 기능을 이용하여 수행되거나, 밉맵 레벨 0의 이미지를 입력으로 하여 이전 레벨보다 크기를 줄여나가면서 렌더링함으로써 수행되는 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법.
  6. 제 1 항에 있어서, 상기 (d) 단계는,
    상기 각 대조 이미지에 대해 선형 결합 계수를 곱한 값을 더함으로써 상기 돌출맵을 생성하고,
    상기 선형 결합 계수는 해당하는 대조 이미지 내 픽셀들의 최대값의 역수인 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 방법.
  7. 제 1 항, 제 3 항, 제 4 항, 제 5 항, 제 6 항 중 어느 한 항의 방법을 컴퓨터로 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  8. 원 이미지(raw image)로부터 상기 원 이미지가 가진 각 특징만을 반영한 각 이미지를 그래픽스 하드웨어 상의 프로그래머블 쉐이더를 이용하여 추출하는 특징 추출부;
    상기 추출된 각 이미지에 대응되는 각 밉맵 텍스쳐(mipmap texture)를 생성하는 밉맵 텍스쳐 생성부;
    상기 프로그래머블 쉐이더를 이용하여, 상기 각 밉맵 텍스쳐에 대해 중심주변차이(center-surround difference) 연산을 수행하여 상기 추출된 각 이미지에 대응되는 각 대조 이미지를 생성하는 대조 이미지 생성부; 및
    상기 프로그래머블 쉐이더를 이용하여, 상기 각 대조 이미지를 서로 선형 결합하여 돌출맵을 생성하는 돌출맵 생성부를 포함하고,
    상기 각 특징은 상기 원 이미지가 2차원 이미지인 경우에는 상기 원 이미지의 명도(luminance) 및 색상(hue)이고, 상기 원 이미지가 3차원 이미지인 경우에는 상기 원 이미지의 명도, 색상 및 깊이(depth)인 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템.
  9. 삭제
  10. 제 8 항에 있어서, 상기 깊이는 아래의 수식에 의하는 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템.
    Figure 112009037673852-pat00007
    (여기서, Bd는 상기 깊이, z는 픽셀에서의 깊이, znear는 가까운 잘림 깊이(near clipping depth), zfar는 먼 잘림 깊이(far clipping depth)임).
  11. 제 8 항에 있어서, 상기 특징 이미지 추출부는,
    상기 그래픽스 하드웨어를 이용하여 상기 추출된 각 이미지를 RGB(Red/Green/Blue) 채널에 저장하는 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템.
  12. 제 11 항에 있어서, 상기 밉맵 텍스쳐 생성부는,
    상기 그래픽스 하드웨어에 의해 제공되는 하드웨어 밉맵 생성 기능을 이용하여 상기 각 밉맵 텍스쳐를 생성하거나, 밉맵 레벨 0의 이미지를 입력으로 하여 이전 레벨보다 크기를 줄여나가면서 렌더링함으로써 상기 각 밉맵 텍스쳐를 생성하는 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템.
  13. 제 11 항에 있어서, 상기 돌출맵 생성부는,
    상기 각 대조 이미지에 대해 선형 결합 계수를 곱한 값을 더함으로써 상기 돌출맵을 생성하고,
    상기 선형 결합 계수는 해당하는 대조 이미지 내 픽셀들의 최대값의 역수인 것을 특징으로 하는 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한 돌출맵 생성 시스템.
KR1020080024118A 2008-03-15 2008-03-15 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체 KR100914312B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080024118A KR100914312B1 (ko) 2008-03-15 2008-03-15 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080024118A KR100914312B1 (ko) 2008-03-15 2008-03-15 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체

Publications (1)

Publication Number Publication Date
KR100914312B1 true KR100914312B1 (ko) 2009-08-27

Family

ID=41210321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080024118A KR100914312B1 (ko) 2008-03-15 2008-03-15 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR100914312B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311563B2 (en) 2013-11-01 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for generating hierarchical saliency images detection with selective refinement
WO2023177887A1 (en) * 2022-03-17 2023-09-21 Advanced Micro Devices, Inc. Super resolution upscaling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060047905A (ko) * 2004-05-14 2006-05-18 마이크로소프트 코포레이션 중첩된 규칙적인 그리드를 이용한 지형 렌더링 방법
KR100684558B1 (ko) 2005-10-13 2007-02-20 엠텍비젼 주식회사 텍스쳐 밉매핑 장치 및 방법
KR100809522B1 (ko) 2005-12-08 2008-03-04 한국전자통신연구원 지형의 효율적인 뷰-의존 lod 렌더링 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060047905A (ko) * 2004-05-14 2006-05-18 마이크로소프트 코포레이션 중첩된 규칙적인 그리드를 이용한 지형 렌더링 방법
KR100684558B1 (ko) 2005-10-13 2007-02-20 엠텍비젼 주식회사 텍스쳐 밉매핑 장치 및 방법
KR100809522B1 (ko) 2005-12-08 2008-03-04 한국전자통신연구원 지형의 효율적인 뷰-의존 lod 렌더링 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311563B2 (en) 2013-11-01 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for generating hierarchical saliency images detection with selective refinement
WO2023177887A1 (en) * 2022-03-17 2023-09-21 Advanced Micro Devices, Inc. Super resolution upscaling

Similar Documents

Publication Publication Date Title
CN111508052B (zh) 三维网格体的渲染方法和装置
US7348989B2 (en) Preparing digital images for display utilizing view-dependent texturing
JP6611837B2 (ja) 映像呈示装置、その方法、プログラム
US6281903B1 (en) Methods and apparatus for embedding 2D image content into 3D models
US9661296B2 (en) Image processing apparatus and method
US7982733B2 (en) Rendering 3D video images on a stereo-enabled display
CN110140151B (zh) 用于生成光强度图像的装置和方法
US20080246760A1 (en) Method and apparatus for mapping texture onto 3-dimensional object model
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
JP2012205168A (ja) 映像処理装置、映像処理方法及び映像処理プログラム
US20120256906A1 (en) System and method to render 3d images from a 2d source
US11908051B2 (en) Image processing system and method for generating image content
EP2618586A1 (en) 2D to 3D image conversion
KR100914312B1 (ko) 그래픽스 하드웨어 및 프로그래머블 쉐이더를 이용한돌출맵 생성 방법, 그 시스템 및 이를 기록한 기록매체
CN111260767B (zh) 游戏中的渲染方法、渲染装置、电子设备及可读存储介质
US6864889B2 (en) System for previewing a photorealistic rendering of a synthetic scene in real-time
US6781583B2 (en) System for generating a synthetic scene
KR102395370B1 (ko) 투명 oled 디스플레이를 이용한 ar 쇼케이스
KR20060114708A (ko) 3차원 모델을 스케일링하는 스케일링 유닛 및 방법
EP3948790A1 (en) Depth-compressed representation for 3d virtual scene
KR101978176B1 (ko) 영상 처리 장치 및 방법
Chen et al. A quality controllable multi-view object reconstruction method for 3D imaging systems
US11928757B2 (en) Partially texturizing color images for color accessibility
Barsky et al. Investigating occlusion and discretization problems in image space blurring techniques
CN116112716B (zh) 基于单指令流多数据流的虚拟人直播方法、装置及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120615

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee