KR100740879B1 - 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법 - Google Patents

영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법 Download PDF

Info

Publication number
KR100740879B1
KR100740879B1 KR1020040093712A KR20040093712A KR100740879B1 KR 100740879 B1 KR100740879 B1 KR 100740879B1 KR 1020040093712 A KR1020040093712 A KR 1020040093712A KR 20040093712 A KR20040093712 A KR 20040093712A KR 100740879 B1 KR100740879 B1 KR 100740879B1
Authority
KR
South Korea
Prior art keywords
image
sensing device
characteristic
image sensing
property
Prior art date
Application number
KR1020040093712A
Other languages
English (en)
Other versions
KR20060054874A (ko
Inventor
김해동
김진서
김성예
조맹섭
김현빈
최병태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040093712A priority Critical patent/KR100740879B1/ko
Priority to US11/222,589 priority patent/US20060104539A1/en
Publication of KR20060054874A publication Critical patent/KR20060054874A/ko
Application granted granted Critical
Publication of KR100740879B1 publication Critical patent/KR100740879B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은, 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 실존 물체의 원본 이미지(또는 영상)들로부터 그 물체의 표현 특성을 획득하고, 그 특성을 이용하여 그 물체에 대한 사실적인 합성 영상을 생성하는 실존 물체 이미지 재현 시스템 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 영상을 이용한 실존 물체 이미지 재현 시스템에 있어서, 원본 실사 영상 획득에 이용될 장치의 특성을 추출하기 위한 이미지 센싱 장치 특성 추출수단; 상기 이미지 센싱 장치 특성 추출수단을 통해 특성이 구해진 장치를 이용하여 실존 물체의 원본 실사 영상을 획득하고, 상기 획득한 원본 실사 영상으로부터 물체의 특성을 추출하기 위한 물체 특성 추출수단; 및 상기 물체 특성 추출수단을 통해 추출된 결과를 이용하여 영상을 재현하기 위한 이미지 재현수단을 포함함.
4. 발명의 중요한 용도
본 발명은 주로 디지털 콘텐츠 생성에 이용될 수 있으며, 예로써 문화재의 재현, 모델 하우스 재현, 영화 및 광고상의 실존 물체 재현 등에 이용됨.
양방향 반사율 분포 함수(BRDF), 분광정보(spectral information), 텍스쳐 맵핑(texture mapping), 실사 영상(photographic image), 사실적인 영상(photorealistic image)

Description

영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법{System for image representation of real objects using their photographic images and its method}
도 1 은 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템의 일실시예 구성도,
도 2 는 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 방법에 대한 일실시예 설명도,
도 3a 및 도 3b 는 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템에서 영상 생성의 기본 과정을 나타낸 일실시예 설명도,
도 4 는 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 방법 중 이미지 센싱 장치 특성 추출 과정에 대한 일실시예 흐름도,
도 5 는 상기 도 4의 이미지 센싱 장치 특성 추출 과정 중 이미지 센싱 장치의 특성화 과정에 대한 일실시예 상세 흐름도,
도 6 은 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 방법 중 물체 특성 추출 과정에 대한 일실시예 흐름도,
도 7 은 상기 도 6의 물체 특성 추출 과정 중 물체 이미지 해석, 물체 특성 추출 및 정보 저장 과정에 대한 일실시예 상세 흐름도,
도 8 은 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템 중 물체 이미지 재현 과정에 대한 일실시예 흐름도,
도 9 는 상기 도 8의 물체 이미지 재현 과정에 대한 일실시예 상세 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명
10 : 이미지 센싱 장치 특성 추출부 20 : 물체 특성 추출부
30 : 이미지 재현부 100 : 표준광원
200 : 표준 광학 측정 장치 210 : 표준 물체
300 : 이미지 센싱 장치 310 : 노출 조절 장치
400 : 장치 특성 추출 모듈 410 : 장치 특성 추출 장치
500 : 물체 특성 추출 모듈 510 : 물체 특성 추출 장치
600 : 표현할 물체 610 : 물체의 3D 데이터
700 : 디스플레이 장치 800 : 이미지 재현 모듈
본 발명은 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 물체 특성 데이터를 수집하는 장치의 특성을 추출하고, 그 특성화된 장치를 이용해 물체 원본 이미지의 획득 및 해석을 통한 물체의 특성을 추출하며, 그 추출 결과를 필요한 환경에 맞게 사실적인 합성 영상을 생성하기 위한 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법에 관한 것이다.
본 발명에 언급되는 영상은 디지털 영상 또는 이미지 데이터(간략히 이미지라 칭함)를 의미하며, 이미지 센싱 장치에 의해 만들어지는 원본 실사 영상(photograph)과, 시뮬레이션 결과에 의해 만들어진 사실적인 영상(photorealistic image)으로 구분한다.
즉, 원본 영상은 이미지 센싱 장치에 의해 빛 에너지를 인간이 지각해 볼 수 있는 형태로 바꾸어 데이터화한 것으로서, 광원으로부터 방출된 빛 에너지가 물체에 반사되고, 최종적으로 이미지 센싱 장치에 의해 변환되어 표현된 것이고, 사실적인 영상은 본 발명 시스템 결과로 생성되는 것이다(도 3 참조). 즉, 본 발명은 원본 영상들로부터 새로운 환경에 맞는 사실적인 영상을 만들 수 있는 시스템 구성과 방법론에 관한 것이다.
종래, 사실적인 영상을 생성하기 위해서는 경험이 풍부한 사람이 페인팅 시스템을 이용하여 수작업에 의해 그리거나, 합성 영상 생성 시스템을 이용해 그 시스템에서 제공하는 물체 반사 특성 규정 방식에 의하여 반복적인 작업을 거치게 되므로 많은 시간이 소요됐다. 많은 시간이 소요되는 원인은 물체의 색에 영향을 주는 광원이 포함된 환경을 정확히 알지 못하고, 물체의 반사 특성을 또한 알지 못하므로 사실적인 영상을 생성하는 사람의 경험과 미적 감각에 의하여 임의로 반복적인 수정에 의해 생성되고 있기 때문이다.
그러나, 광원이 어떤 분포로 어떻게 환경으로 퍼져나가는가를 알고, 각각의 물체가 입사되는 빛을 어떻게 반사하는가 하는 특성을 안다면 새롭게 주어진 광원환경에서의 물체의 색을 추정할 수 있다.
일반적으로, 광원 에너지 분포는 분광 에너지 분포함수(Spectral Power Distribution Function)로 표현하고, 물체 반사 특성은 양방향의 반사 분포 함수(BRDF: Bi-directional Reflectance Distribution Function)로 표현한다. 실제 광원은 시간과 전압 또는 환경에 따라 불규칙적인 빛을 발산하지만, 이러한 빛의 변화는 일반적인 상황에서 물체의 색의 변화를 지각할 만큼 크지 않다. 즉, 일반적인 영화나 광고와 같은 사실적인 영상에 이용되는 경우엔 일회 측정으로 빛의 분광 특성을 규정할 수 있다. 그리고, 물체의 반사 특성은 수학적으로 반구상의 임의의 방향에서 입사하는 광원에 대한 임의의 방향으로 반사하는 에너지의 비로 표현되는 4차원 함수(BRDF(θi,φi, θr,φr))인데, 이것을 포인트 기반으로 측정할 경우는 측정 횟수가 5도 단위로 측정한다고 하더라도 대략 1,679,616(={90/5 * 360/5}2)를 측정해야 한다. 즉, 각도를 1/2로 줄이더라도 16배로 측정횟수가 증가한다.
그러나, 영역 기반의 이미지 센싱 장치를 이용하면 센싱 장치의 해상도에 따라 5도보다 작은 각도의 세밀한 측정결과를 얻을 수 있고, 일반적인 이론과 간단한 측정에 의해 물체의 측정 횟수를 조정함으로써 측정 정밀도를 높이면서 물체 반사 특성 계산의 정확성을 저하시키지 않게 측정할 수 있다.
종래의 기술 중 반사 특성 획득 기술에서는 광각거울 또는 광각렌즈를 이용하여 한꺼번에 모든 방향의 반사 에너지를 측정하여 물체 반사 특성을 계산하지만, 빛을 이루고 있는 다양한 분광 특성에 대한 고려가 부족했고, 물체 표면상의 위치에 따른 굴곡과 흠집과 같은 다양한 기하학적 특성 재현에서 정확하게 반영하지 못하는 단점이 있다.
그리고, 종래의 기술 중 물체 재현 기술에서는 물체의 표면 특성을 텍스처 맵으로 저장하여 재현하려고 하였으나, 물체 표면의 전반적인 반사특성에 대한 고려 부분이 미약하여 사실적인 이미지 재현에는 한계가 있어 왔다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 실존 물체의 원본 영상들로부터 그 물체의 표현 특성을 획득하고, 그 특성을 이용하여 그 물체에 대한 사실적인 영상을 생성하는 실존 물체 이미지 재현 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 영상을 이용한 실존 물체 이미지 재현 시스템에 있어서, 원본 실사 영상 획득에 이용될 장치의 특성을 추출하기 위한 이미지 센싱 장치 특성 추출수단; 상기 이미지 센싱 장치 특성 추출수단을 통해 특성이 구해진 장치를 이용하여 실존 물체의 원본 실사 영상을 획득하고, 상기 획득한 원본 실사 영상으로부터 물체의 특성을 추출하기 위한 물체 특성 추출수단; 및 상기 물체 특성 추출수단을 통해 추출된 결과를 이용하여 영상을 재현하기 위한 이미지 재현수단을 포함한다.
또한, 본 발명은, 영상을 이용한 실존 물체 이미지 재현 방법에 있어서, 물체 특성 추출을 위한 원본 데이터를 획득하는 이미지 센싱 장치의 특성을 추출하는 장치 특성 추출단계; 상기 이미지 센싱 장치로 획득된 영상을 장치 특성 결과 및 획득 환경 정보와 함께 해석하여 물체의 특성을 추출하는 물체 특성 추출단계; 및 상기 추출한 물체 특성을 이용하여 물체 영상을 재현하는 이미지 재현단계를 포함한다.
한편, 본 발명은 미리 설정된 장치들을 이용하여 체계적 절차에 의해 장치 및 물체 특성을 효율적이면서 정확하게 추출하고, 새로운 상황에 맞게 물체를 사실적으로 표현한다. 특히, 현재 이미지 센싱 장치에서 많이 사용되는 RGB 시스템 구조에 적용할 수 있고, 향후 확장된 채널(channel)에 대해서도 활용이 가능하다. 그리고, 본 발명에 의한 시뮬레이션 결과로 생성된 사실적인 영상과 이미지 센싱 장치에 의해 획득된 실사 영상을 비교할 수 있을 뿐 아니라, 디스플레이 장치에 대한 특성을 고려함으로써 사람의 눈에 의한 관찰과 유사하게 디스플레이 장치에도 물체를 사실적으로 재현할 수 있다.
따라서, 본 발명에서는 기존에 광학적 특성이 알려진 소량(지정 포인트 부분)의 데이터를 획득할 수 있는 표준 장치를 이용하여, 다량(지정 영역 부분)의 데이터를 획득할 수 있는 장치의 특성을 추출하여 사용함으로써 데이터 획득의 효율성을 높이고, 다채널 분광 정보(multi-spectral information)를 이용하여 계산함으로써 물체 반사특성(BRDF) 값 계산에 대한 정확성을 높일 수 있는 특징이 있다.
부가적으로, 본 발명은 기존 RGB(Red Green Blue) 시스템에 맞추어 적용될 수 있을 뿐 아니라, 더 많은 데이터를 확보함으로써 보다 넓은 채널로 확장이 가능하다. 그리고, 본 발명에서는 반사 특성 데이터 획득시 확보된 텍스처 데이터를 난반사(diffuse)와 정반사(specular) 맵 데이터로 분리/저장하고, 그 데이터를 활용하여 사실적인 영상을 재현할 수 있다. 그리고, 사람의 눈에 의한 관찰과 유사하게, 디스플레이 장치에서 물체가 사실적으로 재현될 수 있도록 디스플레이 장치에 대한 장치 특성화를 수행하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실 시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템으로, 원본 실사 영상 획득에 이용될 장치의 특성을 추출하기 위한 이미지 센싱 장치 특성 추출부(10)와, 이미지 센싱 장치 특성 추출부(10)를 통해 특성이 구해진 장치를 이용하여 실존 물체의 원본 실사 영상들을 획득하고, 그 영상으로부터 물체의 특성을 추출하기 위한 물체 특성 추출부(20)와, 물체 특성 추출부(20)를 통해 추출된 결과를 이용하여, 표현하고자 하는 상황에 맞게 정확히 해석하여 사실적인 영상을 재현하기 위한 이미지 재현부(30)를 포함한다.
여기서, 표현하고자 하는 상황이란, 광원, 물체, 이미지 센싱 장치(예, 카메라)의 위치 및 방향 정보를 의미한다.
또한, 정확히 해석한다고 함은, 표현하고자 하는 상황이 주어지고, 광원의 강도(L(λ)), 이미지 센싱 장치의 분광민감도(si(λ)), 물체의 반사율(r(λ))을 하기의 [수학식 1]에 적용하여 물체의 재현 영상(ti)을 산출함을 의미한다.
상기한 바와 같은 구조를 갖으며 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템에 대하여 상세하게 설명하면 다음과 같다.
즉, 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템은, 물체에 조명을 제공하는 표준 광원(100), 광학 측정의 기준이 되는 표준 광학 측정 장치(200)와 반사율 및 표준색 값이 알려진 표준물체(210), 다량의 실존 물체의 실사 영상을 획득하는 이미지 센싱 장치(300)와 노출 조절 장치(310), 규격화된 장치 특성 추출이 가능하도록 부가적으로 제공되는 장치 특성 추출 장치(410)와 장치 특성을 추출하기 위한 장치 특성 추출 모듈(400), 규격화된 물체 특성 추출이 가능하도록 부가적으로 제공되는 물체 특성 추출 장치(510)와 물체 특성을 추출하기 위한 물체 특성 추출 모듈(500), 실존하며 표현 대상이 되는 표현할 물체(600)와 그 물 체의 3D 데이터(610), 그리고 재현된 이미지를 출력하기 위한 디스플레이 장치(700)와 이미지 재현 모듈(800)로 구성된다.
도 2 는 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 방법에 대한 일실시예 설명도이다.
도 2에 도시된 바와 같이, 먼저 물체의 특성 추출의 원본 실사 영상을 획득하기 위해 이미지 센싱 장치의 특성을 추출하고(201), 상기 이미지 센싱 장치로 획득된 영상을 장치 특성 결과 및 획득 환경 정보를 해석하여 물체의 특성을 추출하며(202), 새로운 물체 표현 환경이 주어지면 추출된 상기 물체의 특성 결과를 이용하여 사실적인 영상으로 실존 물체를 디스플레이 장치에 재현한다(203).
단, 이미지 센싱 장치의 특성 추출 과정(201)에서 실험 측정 중 표준 광학 측정 장치(200)와 이미지 센싱 장치(300)의 위치가 변동되지 않게 하여 차후 측정에도 동일한 환경을 제공할 수 있도록 한다.
또한, 물체의 특성 추출 과정(202)에서 반구 상에 표준 광원(100)과 이미지 센싱 장치(300)를 규격화 형태로 배치할 수 있도록 한다.
또한, 물체 이미지 재현 과정(203)에서 재현된 이미지가 사람의 눈에 의한 관찰과 유사하게, 디스플레이 장치 특성화를 통해 사실적인 영상 재현이 가능하도록 구성한다.
도 3a 및 도 3b 는 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템에서 영상 생성의 기본 과정을 나타낸 일실시예 설명도이다.
도 3a에 도시된 바와 같이, 광원으로부터 분광 에너지가 복사되어 주위환경 으로 퍼져 나가고, 그 중 일부가 물체에 부딪히면 물체 고유 반사 특성 및 기하학적 구성에 의해 분광 반사가 발생하고, 그 반사된 빛 중 일부가 이미지 센싱 장치에 의해 획득되어 디지털 영상화되어 디스플레이 장치에 출력된다.
도 3b는 상기 도 3a를 시각적으로 표현한 것으로, 임의의 입사각(θi,φi)의 빛이 물체에 부딪혀 임의의 반사각(θr,φr)으로 반사된 결과가 이미지 센싱 장치에 획득되어 디스플레이 장치에 출력됨을 보인 것이다.
상기한 바와 같은 구조를 갖으며 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 방법의 동작 과정을 상세하게 설명하면 다음과 같다.
도 4 는 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 방법 중 이미지 센싱 장치 특성 추출 과정에 대한 일실시예 흐름도로서, 이미지 센싱 장치 특성 추출부(10)의 동작 과정을 나타낸 것이다.
도 4에 도시된 바와 같이, 먼저 표준 광원(100)의 분광정보를 초기 획득하고, 장치 특성 추출 장치(410)를 이용하여 표준 광원(100)으로부터 표준 물체(210)가 최적으로 보이도록 표준 광학 측정 장치(200)와 이미지 센싱 장치(300)를 위치시키는 실험환경 설정을 한다(401). 여기서, 장치 특성 추출 장치(410)는 실험 측정 중 표준 광학 측정 장치(200)와 이미지 센싱 장치(300)의 위치가 변동되지 않게 하고 차후 측정에도 동일한 환경을 제공하기 위한 부가적인 편이 장치로, 이미지 센싱 장치 특성 추출의 필수적인 장치는 아니다.
이어서, 실험환경 설정 후(401), 표준 광학 측정 장치로 표준물체를 측정하 여(402) 기준을 삼고, 표준 물체 이미지를 획득하는 이미지 센싱 장치 측정을 거친 후(403), 획득된 이미지를 해석하여 이미지 센싱 장치의 모델링 특성화를 통해 이미지 센싱 장치(300)의 출력 데이터 값과 시뮬레이션된 결과의 오차가 최소가 되도록 하여 이미지 센싱 장치(300)의 특성을 구한다(404).
따라서, 이미지 센싱 장치 특성 추출부(10)는 기존에 광학적 특성이 알려진 포인트 기반의 데이터를 획득할 수 있는 표준 장치를 이용하여 영역 기반 데이터를 획득할 수 있는 장치의 특성을 추출하여 사용함으로써, 데이터 획득의 효율성을 높일 수 있고, 기존 RGB 시스템에 적용될 수 있으며, 더 많은 데이터를 확보함으로써, 보다 넓은 채널로 확장이 가능하며, 다채널 분광 정보(multi-spectral information)를 이용하여 계산함으로써 물체 반사특성(BRDF) 값 계산의 정확성을 높일 수 있다.
도 5 는 상기 도 4의 이미지 센싱 장치 특성 추출 과정 중 이미지 센싱 장치의 특성화 과정에 대한 일실시예 상세 흐름도이다.
먼저, 가장 일반적인 이미지 센싱 장치 모델은 하기의 [수학식 1]과 같다.
Figure 112004053219110-pat00001
상기 [수학식 1]에서 이미지 센싱 장치의 특성은 si(λ)로 모델링된다. 즉, 이미지 센싱 장치(300)의 결과값(ti)과, 시뮬레이션된 결과(
Figure 112004053219110-pat00002
)의 오차가 최소가 되도록 하여 si(λ) 값을 찾는 것이다.
따라서, 우선 시뮬레이션된 결과가 비선형성(non-linearity)을 갖도록 하는 감마 보정(gamma correction)을 계산하여 비선형성을 제거한다(501).
즉, 이미지 센싱 장치(300)의 비선형 특성인 감마보정 값에 대한 역함수를 상기 [수학식1] 좌우에 취하여 계산한다. 결국, F(*)의 역함수(F-1(*))를 좌우 수식 ti와
Figure 112007013766554-pat00019
에 취하여 선형화된 값으로 계산한다.
이후, 광원(L(λ))과 표준물체의 반사율(r(λ))를 이용하여 표준물체의 분광 방사휘도(spectral radiance) L(λ)을 파장별로 계산한 후(502), 그 오차를 최소화하도록 하여 이미지 센싱 장치의 분광 민감도(spectral sensitivity) si(λ)를 계산한다(503).
도 6 은 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 방법 중 물체 특성 추출 과정에 대한 일실시예 흐름도로서, 물체 특성 추출부(20)의 동작 과정을 나타낸 것이다.
도 6에 도시된 바와 같이, 먼저 표현할 물체(600)를 중심으로 표준 광원(100)과 이미지 센싱 장치(300)를 반구상의 임의의 위치에 설정하는 실험환경 설정을 한다(601). 여기서, 물체 특성 추출 장치(510)는 반구 상에 표준광원(100)과 이미지 센싱 장치(300)를 규격화 형태로 배치할 수 있는 부가적인 편이 장치로, 물체 특성 추출의 필수적인 장치는 아니다.
이어서, 실험환경 설정 후(601), 이미지 센싱 장치(300)로 물체의 실사 영상을 획득하는데, 이미지 센싱 장치(300)의 노출 속도를 조절하는 노출 조절 장치(310)를 활용하면 필요한 데이터를 획득할 수 있다(602).
이렇게, 물체 이미지 획득 과정(602)을 거쳐 획득된 영상은, 물체의 반사 특성(BRDF) 값을 계산하고, 이미지를 난반사 속성과 정반사 속성으로 분리하여 맵 데이터가 형성되도록 물체 영상을 해석하고(603), 그 해석 결과는 물체 특성 추출 및 정보 저장 과정에 의해 물체 특성 데이터베이스가 구축된다(604). 여기서, 물체 특성 데이터베이스는 계산 정보를 그대로 저장하는 BRDF 데이터 값과, 물체 특성과 유사한 BRDF 모델(Phong, Blinn, Torrance-Sparrow 등)을 선정하여 그 BRDF 모델의 매개변수(parameter) 값들을 추정하여 저장할 수 있다.
이를 좀 더 상세히 살펴보면, 먼저 물체 특성 추출부(20)의 물체특성 추출 모듈(500)은, 이미지 센싱 장치(300)를 통해 획득한 물체의 실사 영상에서 물체의 반사 특성(BRDF)을 추출, 즉 상기 [수학식 1]에서 물체의 반사 특성인 r(λ)을 산출한다.
이후, 상기 추출한 반사 특성에 상응하는 모델(일예로 Phong, Blinn, Torrance-Sparrow 등)을 선정한 후 상기 선정한 BRDF 모델의 매개변수(parameter) 값들(난반사 속성(rd)과 정반사 속성(rs)을 포함하는 값들로 구성됨)을 추정한다.
이때, 추정하는 과정은 이미 널리 알려진 공지의 기술로, 모델에 따라 다양한 방식이 적용될 수 있다.
"Phong" 모델을 예로 들어 설명하면 하기와 같다.
"Phong" 모델은, 일반적으로 r=rd+rs(RㆍV)n와 같이 표현된다.
여기서, rd는 난반사율로서, 난반사 속성을 결정하며, rs는 정반사율, n은 정반사의 날카로운 정도, R은 빛이 물체에 반사되는 벡터, V는 시선벡터로서, rs(RㆍV)n은 정반사 속성을 결정한다. 아울러, "ㆍ"는 벡터 내적으로 두 벡터 사이의 각이 코사인 법칙을 따른다.
우선, 난반사 속성은 (RㆍV)값이 가장 작은 데이터 값들의 평균으로 정하고, 나머지를 정반사 속성으로 생각하여 가장 근사한 rs와 n을 구한다.
따라서, [수학식 1]을 변형한 "ti = L(λ)*si(λ)*r(λ)"에서, (L(λ)*si(λ))-1*ti = r(λ)로 여러 데이터에 대한 각각의 r(λ)을 구할 수 있다.
다음으로, 구해진 반사율 r(λ) 데이터들 중 (RㆍV)값이 가장 작은 데이터들의 평균으로 정한 rd를 구하고, r(λ)-rd = rs(RㆍV)n를 가장 만족하는 rs와 n을 구함으로써, Phong 모델에 필요한 매개변수(parameter) 값들을 구할 수 있다.
이후, 상기 추정한 매개변수 값들에서 난반사 속성과 정반사 속성을 분리한다.
이후, 물체의 반사 특성인 r(λ)과 추정된 결과인 난반사 속성과 정반사 속성(BRDF 모델 매개변수) 값들로 물체 특성 데이터베이스를 구축한다.
도 7 은 상기 도 6의 물체 특성 추출 과정 중 물체 이미지 해석, 물체 특성 추출 및 정보 저장 과정에 대한 일실시예 상세 흐름도로서, 물체 이미지 해석(603)과 물체 특성 추출 및 정보 저장(604)의 동작 과정을 나타낸 것이다.
도 7에 도시된 바와 같이, 상기의 [수학식 1]에서 이미 알고 있는 이미지 센싱 장치(300)의 감마 보정 부분을 출력 이미지에서 제거하여 이미지 데이터를 선형 화시키고(701), 노출 조절에 따라 출력 이미지 변화 관계를 정립하고(702), 이미지 센싱 장치 특성 추출부(10)를 통해 추출된 특성값 si(λ)를 이용하여 입사광의 조도(illuminance)를 계산하고(703), 독립적인 여러 이미지 데이터를 적용하여 물체의 반사율(r(λ))를 계산/저장하고(704), 이미지를 난반사 속성과 정반사 속성으로 분리하여 텍스쳐 맵의 형태로 저장한다.
일반적인 RGB 시스템의 경우는 이미지 센싱 장치(300)의 출력값(ti)을, 장치의 분광 민감도(device's spectral sensitivity)를 고려해 계산된 조도 값으로 나눔으로서 RGB 반사율(rr,rg,rb)을 구할 수 있다.
도 8 은 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템 중 물체 이미지 재현 과정에 대한 일실시예 흐름도로서, 이미지 재현부(30)의 동작 과정을 나타낸 것이다.
도 8에 도시된 바와 같이, 먼저 새롭게 주어진 가상 광원 정보와 획득하고자 하는 이미지 센싱 장치(300)의 조건(노출정도, 위치 방향 등)의 가상 설정을 통해 표현할 물체(600)의 재현환경 설정을 한다(801).
이어서, 재현환경 설정 후(801), 변화된 환경에 맞게 물체 특성 정보를 추출 해석하면(802) 물체가 표현된다(803). 만약, 표현하고자 하는 물체에 대한 시뮬레이션 결과와 실제 이미지 센싱 장치(300)에 의해 획득된 결과를 알고 싶으면 그 결과를 비교하면 된다(804).
도 9 는 상기 도 8의 물체 이미지 재현 과정에 대한 일실시예 상세 흐름도이 다.
도 9에 도시된 바와 같이, 먼저 재현환경 설정 과정(801)에 해당하는 새로운 광원 및 시점(view) 설정 과정(901)을 거쳐, 광원-물체-시점간의 기하학적 관계를 계산하는 기하학적인 규정화(geometric calibration) 과정 수행 후(902), 물체 반사율을 해당 렌더링 환경에 맞게 추출한다(903).
여기서, 기하학적 규정화 과정(geometric calibration)은 일반적으로 컴퓨터 비젼이나 컴퓨터그래픽스에서 이용되는, 물체의 위치에 대해 광원의 위치, 시점의 위치 관계를 규정하는 과정으로, 물체의 법선 방향을 중심으로 광원의 방향 벡터, 시점의 방향 벡터를 계산하는 과정이다.
보통, 로봇팔을 이용하여 광원과 시점을 이동하는 경우는 로봇 이동 경로에 의해 구할 수 있고, 광원과 시점(이미지 센싱 장치)이 물체를 중심으로 일정한 거리에서 정확한 각도로 구면 좌표상을 이동하는 틀을 만들어 수행할 수도 있다. 또는, 레이저를 이용하여 방향과 거리를 구하여 기하학적인 규정화 과정을 취할 수 있다.
이어서, 해당 텍스처 맵을 추출한 후(904), 일반적인 그래픽 렌더링과정에 따라 물체를 재현한다(905).
부가적인 과정으로, 재현된 이미지가 사람의 눈에 의한 관찰과 유사하게, 디스플레이 장치에도 사실적으로 재현될 수 있게 제공한다. 즉, 디스플레이 장치 특성화(906)와 비교할 이미지들의 표준 CIE 좌표계로의 변환(907)을 통해 표준 CIE 좌표계 내에서 그 이미지들의 오차
Figure 112004053219110-pat00003
를 구한다(908).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 일정 영역의 데이터를 한꺼번에 원본 데이터로 확보하여 처리하므로 포인트 방식의 광학 장치를 이용하는 것보다 빠르게 처리될 수 있고, 규격화된 측정 장치를 이용함으로써 실험 오차를 줄일 수 있으며, 광원에 불변한 물체 고유의 반사 속성을 획득함으로써, 새롭게 부여된 광원의 특성만 알면 실제와 같은 물체의 합성 영상을 생성할 수 있는 효과가 있다.
따라서, 본 발명에 따른 영상을 이용한 실존 물체 이미지 재현 시스템을 활용하면, 촬영하기 힘든 조명 조건이나 구성하기 힘든 조명 환경내에서 물체에 대한 다양한 변화를 실제와 유사하게 생성할 수 있으므로, 여러 상황에서 사실적 재현을 요구하는 영화나 광고 등에서 사용할 수 있는 효과가 있다.

Claims (14)

  1. 영상을 이용한 실존 물체 이미지 재현 시스템에 있어서,
    원본 실사 영상 획득에 이용될 장치의 특성을 추출하기 위한 이미지 센싱 장치 특성 추출수단;
    상기 이미지 센싱 장치 특성 추출수단을 통해 특성이 구해진 장치를 이용하여 실존 물체의 원본 실사 영상을 획득하고, 상기 획득한 원본 실사 영상으로부터 물체의 특성을 추출하기 위한 물체 특성 추출수단; 및
    상기 물체 특성 추출수단을 통해 추출된 결과를 이용하여 영상을 재현하기 위한 이미지 재현수단
    을 포함하는 영상을 이용한 실존 물체 이미지 재현 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 센싱 장치 특성 추출수단은,
    이미지 센싱 장치의 비선형 특성인 감마보정 값에 대한 역함수를 하기의 [수학식1] 좌우에 취하여 비선형성을 제거하고, 광원 L(λ)과 표준물체의 반사율 r(λ)을 이용하여 표준물체의 분광 방사 휘도를 계산한 후, 하기의 [수학식 1]을 바탕으로 하여 상기 이미지 센싱 장치의 결과값(ti)과, 시뮬레이션된 결과(
    Figure 112007013766554-pat00004
    )의 오차가 최소가 되도록 하여 상기 이미지 센싱 장치의 분광 민감도(si(λ))를 계산하는 것을 특징으로 하는 영상을 이용한 실존 물체 이미지 재현 시스템.
    [수학식 1]
    Figure 112007013766554-pat00005
  3. 제 1 항에 있어서,
    상기 물체 특성 추출수단은,
    이미지 센싱 장치를 통해 획득한 물체의 실사 영상에서 물체의 반사 특성(BRDF)인 r(λ)을 산출하고, 상기 산출한 반사 특성에 상응하는 모델을 선정한 후 상기 선정한 BRDF 모델의 매개변수(parameter) 값들을 추정하며, 상기 추정한 매개변수 값들에서 난반사 속성과 정반사 속성을 분리한 후, 상기 물체의 반사 특성인 r(λ)와 상기 추정된 결과인 난반사 속성과 정반사 속성값들로 물체 특성 데이터베이스를 구축하는 것을 특징으로 하는 영상을 이용한 실존 물체 이미지 재현 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 이미지 재현수단은,
    재현 환경 설정에 해당하는 새로운 광원 및 시점 설정 기능, 물체의 법선 방향을 중심으로 광원의 방향 벡터 및 시점의 방향 벡터를 계산하는 기하학적인 규정화(geometric calibration) 기능, 물체 반사율을 해당 렌더링 환경에 맞게 추출하는 기능, 해당 텍스처 맵 추출 후, 물체를 사실적으로 재현하는 기능을 포함하는 영상을 이용한 실존 물체 이미지 재현 시스템.
  5. 영상을 이용한 실존 물체 이미지 재현 방법에 있어서,
    물체 특성 추출을 위한 원본 데이터를 획득하는 이미지 센싱 장치의 특성을 추출하는 장치 특성 추출단계;
    상기 이미지 센싱 장치로 획득된 영상을 장치 특성 결과 및 획득 환경 정보와 함께 해석하여 물체의 특성을 추출하는 물체 특성 추출단계; 및
    상기 추출한 물체 특성을 이용하여 물체 영상을 재현하는 이미지 재현단계
    를 포함하는 영상을 이용한 실존 물체 이미지 재현 방법.
  6. 제 5 항에 있어서,
    상기 장치 특성 추출단계는,
    표준 광원의 분광정보를 초기 획득하고, 장치 특성 추출 장치를 이용하여 상기 표준 광원으로부터 표준 물체가 최적으로 보이도록 표준 광학 측정 장치와 상기 이미지 센싱 장치를 위치시키는 실험환경 설정단계;
    상기 표준 광학 측정 장치를 이용하여 상기 표준물체를 측정하는 표준물체 측정단계;
    상기 측정된 표준물체를 기준으로 하여 표준 물체 이미지를 획득하는 이미지 획득 단계; 및
    상기 획득된 이미지를 해석하여 상기 이미지 센싱 장치의 모델링 특성화를 통해 상기 이미지 센싱 장치의 출력 데이터 값과 시뮬레이션된 결과의 오차가 최소가 되도록 하여 상기 이미지 센싱 장치의 특성을 구하는 이미지 센싱 장치 특성화 단계
    를 포함하는 영상을 이용한 실존 물체 이미지 재현 방법.
  7. 제 6 항에 있어서,
    상기 이미지 센싱 장치 특성화 단계는,
    상기 이미지 센싱 장치의 비선형 특성인 감마보정 값에 대한 역함수를 하기의 [수학식2] 좌우에 취하여 비선형성을 제거하고, 광원 L(λ)과 상기 표준물체의 반사율 r(λ)을 이용하여 상기 표준물체의 분광 방사 휘도를 계산한 후, 하기의 [수학식 2]를 바탕으로 하여 상기 이미지 센싱 장치의 결과값(ti)과, 시뮬레이션된 결과(
    Figure 112007013766554-pat00006
    )의 오차가 최소가 되도록 하여 상기 이미지 센싱 장치의 분광 민감도(si(λ))를 계산하는 것을 특징으로 하는 영상을 이용한 실존 물체 이미지 재현 방법.
    [수학식 2]
    Figure 112007013766554-pat00007
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 장치 특성 추출단계는,
    실험 측정 중 상기 표준 광학 측정 장치와 상기 이미지 센싱 장치의 위치가 변동되지 않게 하고, 차후 측정에도 동일한 환경을 제공하도록 하는 것을 특징으로 하는 영상을 이용한 실존 물체 이미지 재현 방법.
  9. 제 8 항에 있어서,
    상기 물체 특성 추출단계는,
    상기 이미지 센싱 장치를 통해 획득한 물체의 실사 영상에서 물체의 반사 특성(BRDF)인 r(λ)을 추출하는 단계;
    상기 추출한 반사 특성에 상응하는 모델을 선정한 후 상기 선정한 모델의 매개변수(parameter) 값들을 추정하는 단계;
    상기 추정한 매개변수 값들에서 난반사 속성과 정반사 속성을 분리하는 단계; 및
    상기 추출한 물체의 반사 특성인 r(λ)과 상기 추정된 결과인 난반사 속성과 정반사 속성값들로 물체 특성 데이터베이스를 구축하는 단계
    를 포함하는 영상을 이용한 실존 물체 이미지 재현 방법.
  10. 제 9 항에 있어서,
    상기 이미지 재현단계는,
    재현 환경 설정에 해당하는 새로운 광원 및 시점 설정 단계;
    물체의 법선 방향을 중심으로 광원의 방향 벡터 및 시점의 방향 벡터를 계산하는 기하학적인 규정화(geometric calibration) 단계;
    물체 반사율을 해당 렌더링 환경에 맞게 추출하는 단계; 및
    해당 텍스처 맵 추출 후, 물체를 사실적으로 재현하는 단계
    를 포함하는 영상을 이용한 실존 물체 이미지 재현 방법.
  11. 제 10 항에 있어서,
    상기 이미지 재현단계는,
    재현된 이미지가 사람의 눈에 의한 관찰과 유사하게 디스플레이 장치 특성화를 통해 사실적인 이미지 재현이 가능하도록, 디스플레이 장치 특성화와 비교할 이미지들의 표준 CIE 좌표계로의 변환을 통해 상기 표준 CIE 좌표계 내에서 그 이미지들의 오차
    Figure 112007013766554-pat00008
    를 구하는 단계
    를 더 포함하는 영상을 이용한 실존 물체 이미지 재현 방법.
  12. 삭제
  13. 삭제
  14. 삭제
KR1020040093712A 2004-11-16 2004-11-16 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법 KR100740879B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040093712A KR100740879B1 (ko) 2004-11-16 2004-11-16 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법
US11/222,589 US20060104539A1 (en) 2004-11-16 2005-09-08 System for representing image of real object by using photographic images and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040093712A KR100740879B1 (ko) 2004-11-16 2004-11-16 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20060054874A KR20060054874A (ko) 2006-05-23
KR100740879B1 true KR100740879B1 (ko) 2007-07-19

Family

ID=36386352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040093712A KR100740879B1 (ko) 2004-11-16 2004-11-16 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US20060104539A1 (ko)
KR (1) KR100740879B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100983877B1 (ko) 2008-08-07 2010-09-27 광주과학기술원 물체의 반사율을 측정하는 시스템 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100917755B1 (ko) * 2007-12-10 2009-09-15 한국전자통신연구원 가상 객체의 물리적 특성 변경 장치 및 방법
US8391601B2 (en) * 2009-04-30 2013-03-05 Tandent Vision Science, Inc. Method for image modification
JP5469527B2 (ja) * 2010-05-10 2014-04-16 パナソニック株式会社 撮像装置
KR101500798B1 (ko) * 2010-07-06 2015-03-10 한국전자통신연구원 아바타 생성 방법 및 장치
KR101845231B1 (ko) 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
US10636125B2 (en) * 2015-05-08 2020-04-28 Sony Corporation Image processing apparatus and method
KR102392080B1 (ko) * 2020-09-09 2022-04-28 최준현 문화재 파단면 재현 시스템
CN115615938B (zh) * 2022-12-14 2023-03-28 天津中科谱光信息技术有限公司 基于反射光谱的水体水质分析方法、装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
null

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100983877B1 (ko) 2008-08-07 2010-09-27 광주과학기술원 물체의 반사율을 측정하는 시스템 및 방법

Also Published As

Publication number Publication date
KR20060054874A (ko) 2006-05-23
US20060104539A1 (en) 2006-05-18

Similar Documents

Publication Publication Date Title
Gardner et al. Deep parametric indoor lighting estimation
US11263808B2 (en) Systems and methods for rapid three-dimensional modeling with real façade texture
JP3962588B2 (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
US11516412B2 (en) Image processing method, image processing apparatus and electronic device
Gardner et al. Linear light source reflectometry
US20200057831A1 (en) Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
CN114174783B (zh) 用于创建具有改进的图像捕获的局部制剂的系统和方法
US20060104539A1 (en) System for representing image of real object by using photographic images and method thereof
CN111861632B (zh) 虚拟试妆方法、装置、电子设备及可读存储介质
De Paolis et al. Photogrammetric 3D reconstruction of small objects for a real-time fruition
Song et al. Deep sea robotic imaging simulator
EP3794910B1 (en) A method of measuring illumination, corresponding system, computer program product and use
CN116075859A (zh) 从多个源质地生成目标质地
JP2004252603A (ja) 三次元データ処理方法
TANAKA et al. A digital archive method based on multispectral imaging with goniometric multiband camera
KR101071952B1 (ko) 3차원 렌더링 이미지의 인터랙티브 조명 효과 편집 방법 및 장치
JP4615430B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
Shinozaki et al. Correction of color information of a 3D model using a range intensity image
Sitnik et al. Processing paths from integrating multimodal 3D measurement of shape, color and BRDF
US11380048B2 (en) Method and system for determining a spectral representation of a color
Madden et al. Utilising E-on Vue and Unity 3D scenes to generate synthetic images and videos for visible signature analysis
KR100682978B1 (ko) 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그방법
Van Den Hengely et al. SecondSkin: An interactive method for appearance transfer
WO2023036730A1 (en) Information processing device, information processing method and time-of-flight system
CN118525303A (zh) 用于修改纹理图像的方法、计算机和计算机程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee