KR20020031027A - 3차원 영상 자동 생성 장치 및 그 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 3차원 영상 자동 생성 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 입력된 2차원 영상 정보로부터 3차원 영상을 자동 생성하여, 여러가지 형태로 사용자에게 제공하거나, 또는 인터넷망을 통한 부가 서비스에 응용하기 위한 3차원 영상 자동 생성 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 3차원 영상 자동 생성 장치에 있어서, 2차원 영상을 입력받기 위한 영상 입력 수단; 상기 영상 입력 수단으로부터 입력받은 2차원 영상의 특징을 추출하기 위한 특징 추출 수단; 기본 3차원 영상 모델 및 부가 정보를 저장하기 위한 저장 수단; 상기 특징 추출 수단에 의해 추출된 입력 영상의 특징을 이용하여 상기 저장 수단에 저장된 기본 3차원 영상 모델을 변형하기 위한 3D 변형 수단; 사용자로부터 필요한 사항을 입력받기 위한 사용자 입력 수단; 상기 사용자 입력 수단을 통해 입력된 내용에 따라 상기 저장 수단에 저장된 부가 정보와 상기 3D 변형 수단에 의해 변형된 영상을 합성하여 3차원 영상을 생성하기 위한 합성 수단; 및 상기 합성 수단에 의해 생성된 3차원 영상을 출력하기 위한 출력 수단을 포함함.

4. 발명의 중요한 용도

본 발명은 영상 생성 시스템 등에 이용됨.

Description

3차원 영상 자동 생성 장치 및 그 방법{The Apparatus and Method for Creating Three-Dimensional Image Automatically}

본 발명은, 3차원 영상 자동 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 입력된 2차원 영상 정보로부터 3차원 영상을 자동 생성하여, 여러가지 형태로 사용자에게 제공하거나, 또는 인터넷망을 통한 부가 서비스에 응용하기 위한 3차원 영상 자동 생성 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

가상현실(Virtual Reality)의 정의는 학자마다 다르지만, 대체로 '컴퓨터로 창조된 인조의 공간(Cyberspace)에서 인간이 현실감을 느끼는 것'이라고 할 수 있다. 이러한 가상현실을 구현하기 위해서는 여러 가지 환경이 갖추어져야 하는데, 그 중 하나가 사물의 3차원적 표현이다.

하지만, 종래의 3차원 영상 생성 기술은 많은 비용과 많은 시간을 필요로 함으로써 널리 사용되지 못했으며, 또한 이로 인해, 다양한 활용성에도 불구하고 그 응용 분야에 있어 제약을 받아왔다는 문제점이 있었다.

상기한 바와 같은 문제점을 해결하기 위하여 제안된 본 발명은, 입력된 2차원 영상 정보로부터 3차원 영상을 자동 생성하여, 여러가지 형태로 사용자에게 제공하거나, 또는 인터넷망을 통한 부가 서비스에 응용하기 위한 3차원 영상 자동 생성 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

도 1a 는 본 발명에 따른 3차원 영상 자동 생성 장치의 일실시예 구성도.

도 1b 는 본 발명에 따른 인터넷망을 이용한 3차원 영상 자동 생성 시스템의 일실시예 구성도.

도 2 는 본 발명에 따른 3차원 영상 자동 생성 방법의 일실시예 흐름도.

도 3a 는 본 발명에 따른 3차원 영상 자동 생성을 위한 2차원 영상 특징 추출부의 일실시예 구성도.

도 3b 는 본 발명에 따른 3차원 영상 자동 생성을 위한 2차원 영상 특징 추출 방법의 일실시예 흐름도.

도 3c 는 본 발명에 따른 3차원 영상 자동 생성을 위한 2차원 영상 특징 추출 방법의 일실시예 설명도.

*도면의 주요 부분에 대한 부호의 설명

101 : 영상 입력부 102 : 특징 추출부

103 : 사용자 입력부 104 : 보정부

105 : 3D 변형부 106 : 데이터베이스

107 : 합성부 108 : 출력부

상기 목적을 달성하기 위한 본 발명의 장치는, 3차원 영상 자동 생성 장치에 있어서, 2차원 영상을 입력받기 위한 영상 입력 수단; 상기 영상 입력 수단으로부터 입력받은 2차원 영상의 특징을 추출하기 위한 특징 추출 수단; 기본 3차원 영상 모델 및 부가 정보를 저장하기 위한 저장 수단; 상기 특징 추출 수단에 의해 추출된 입력 영상의 특징을 이용하여 상기 저장 수단에 저장된 기본 3차원 영상 모델을 변형하기 위한 3D 변형 수단; 사용자로부터 필요한 사항을 입력받기 위한 사용자 입력 수단; 상기 사용자 입력 수단을 통해 입력된 내용에 따라 상기 저장 수단에 저장된 부가 정보와 상기 3D 변형 수단에 의해 변형된 영상을 합성하여 3차원 영상을 생성하기 위한 합성 수단; 및 상기 합성 수단에 의해 생성된 3차원 영상을 출력하기 위한 출력 수단을 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명의 방법은, 영상 생성 시스템에 적용되는 3차원 영상 자동 생성 방법에 있어서, 2차원 영상을 입력받아, 상기 입력받은 2차원 영상의 특징을 추출하는 제 1 단계; 상기 추출된 입력 영상의 특징 정보를 이용하여, 기 저장된 기본 3차원 영상 모델을 변형하는 제 2 단계; 및 사용자로부터 입력된 필요 사항에 따라, 기 저장된 부가 정보와 상기 변형된 영상을 합성하여 3차원 영상을 생성하고 출력하는 제 3 단계를 포함한다.

또한, 본 발명은, 프로세서를 구비한 영상 생성 시스템에, 프로세서를 구비한 영상 생성 시스템에, 2차원 영상을 입력받아, 상기 입력받은 2차원 영상의 특징을 추출하는 제 1 기능; 상기 추출된 입력 영상의 특징 정보를 이용하여, 기 저장된 기본 3차원 영상 모델을 변형하는 제 2 기능; 및 사용자로부터 입력된 필요 사항에 따라, 기 저장된 부가 정보와 상기 변형된 영상을 합성하여 3차원 영상을 생성하고 출력하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

이하, 본 발명의 설명을 위한 실시예에 있어서는, 사람의 얼굴 영상만을 일례로 들어 설명하였으나, 본 발명이 사람의 얼굴 영상 뿐만 아니라 3차원 영상으로 변형하여 생성하고자 하는 모든 2차원 영상에 적용될 수 있음은 자명할 것이다.

도 1a 는 본 발명에 따른 3차원 영상 자동 생성 장치의 일실시예 구성도이다.

도 1a 에 도시된 바와 같이, 본 발명에 따른 3차원 영상 자동 생성 장치는, 2차원 영상을 입력받기 위한 영상 입력부(101), 상기 영상 입력부(101)로부터 입력받은 2차원 영상의 특징을 추출하기 위한 특징 추출부(102), 사용자로부터 필요한 사항을 입력받기 위한 사용자 입력부(103), 상기 사용자 입력부(103)를 통해 입력된 내용에 따라 상기 특징 추출부(102)에 의해 추출된 특징 정보를 보정하기 위한 보정부(104), 기본 3차원 영상 모델 및 부가 정보를 저장하기 위한 데이터베이스(DB, 106), 상기 보정부(104)에 의해 보정된 입력 영상의 특징을 이용하여 상기 데이터베이스(106)에 저장된 기본 3차원 영상 모델을 변형하기 위한 3D 변형부(105), 상기 사용자 입력부(103)를 통해 입력된 내용에 따라 상기 데이터베이스(106)에 저장된 부가 정보와 상기 3D 변형부(105)에 의해 변형된 영상을 합성하여 3차원 영상을 생성하기 위한 합성부(107) 및 상기 합성부(107)에 의해 생성된 3차원 영상을 출력하기 위한 출력부(108)를 포함한다.

상기 각 구성부의 상세 구성 및 동작을 살펴보면 다음과 같다.

먼저, 영상 입력부(101)는, 3차원 영상으로의 변형을 원하는 2차원 영상을 입력받기 위한 구성부로서, 일반적으로는 디지털 카메라가 사용되나, 만일 디지털 영상이 아닌 일반 영상을 변형하고자 할 경우에는 스캐너 등을 이용하여 디지털 영상으로 변환 후 입력할 수 있다.

다음으로, 특징 추출부(102)는, 상기 영상 입력부(101)를 통해 입력받은 2차원 영상을 3차원 영상으로 변환하기 위해 입력된 2차원 영상의 특징을 추출하는 구성부로서, 단 하나의 영상으로부터 얻은 특징 정보만으로도 3차원 영상을 생성하는 것이 가능하다. 즉, 필요한 특징 정보를 추출할 수 있는 2차원 영상이라면, 단 하나의 영상만으로도 3차원 영상의 생성을 가능하게 함으로써, 종래의 3차원 영상 생성에 요구되던 많은 시간과 비용을 크게 절감할 수 있게 되었다.

상기 특징 추출부(102)에서 수행되는 특징 추출의 상세 과정은, 아래의 도 3a 내지 도 3c 를 통해 살펴보기로 한다.

상기 특징 추출부(102)를 통해 추출된 입력 2차원 영상의 특징은 보정부(104)에서 보정된다. 즉, 사용자는 표시된 특징점의 위치가 적절한지를 판단하여, 적절하지 못할 경우, 사용자 입력부(103)를 통해, 추출된 특징점의 위치를 직접 수정할 수 있다.

다음, 상기 보정부(104)를 통해 보정된 특징 정보는 3D 변형부(105)로 입력되는데, 이때, 상기 3D 변형부(105)는, 상기 보정된 특징 정보를 이용하여, 데이터베이스(106)에 기 저장되어 있는 기본 3차원 영상 모델을 변형시키는 방법으로 3차원 영상을 얻는다.

그리고 이렇게 얻어진 3차원 영상은, 다시 상기 데이터베이스(106)에 저장되어 있는 부가 정보와 합성됨으로써 완전한 3차원 영상으로 생성되게 되는데, 이때, 부가 정보는, 배경 화면 등의 기타 부가 영상 정보 외에 배경 음악과 같은 정보도 포함하며, 또한, 이 경우, 선택할 수 있는 부가 정보가 다수이면, 상기 사용자 입력부(103)를 통해 직접 사용자의 선택을 입력받을 수도 있다.

즉, 사람 얼굴 영상이 입력되었을 경우, 얼굴 정보 이외에 헤어 스타일이나 옷차림, 체형 등을 직접 사용자가 선택할 수 있도록 하여, 선택된 부가 정보와 생성된 3차원 얼굴 영상을 합성함으로써 완전한 3차원 캐릭터가 생성되게 된다.

마지막으로, 상기의 과정을 통해 생성된 3차원 영상은 출력부(108)를 통해출력되게 되는데, 이때, 상기 출력부(108)는, 컴퓨터 모니터나 프린터와 같은 기본적인 출력 수단 뿐만 아니라, 상기 생성된 3차원 영상 정보를 저장시키기 위한 디스크 드라이브나 씨디롬 라이터(CD-ROM Writer)기와 같은 기록매체 제작 수단이나, 통신망을 통해 전송할 수 있는 통신 중계 수단을 포함하는 개념이다.

즉, 실시예와 같이, 사람 얼굴 영상이 입력되어, 사람의 3차원 영상이 생성되었을 경우, 사용자는 그 정보를 모니터나 프린터를 통해 확인 할 수 있음은 물론, 디스켓이나 씨디롬 같은 기록매체에 저장하여 제공받을 수도 있고, 또한 인터넷 망을 통해 전송함으로써 웹(Web) 상에서 다양한 형태로 이용할 수도 있다.

따라서, 상기의 장치는 자동판매기 형태로 제작되어, 제작된 디스켓이나 씨디롬을 판매하는 형태나, 캐릭터를 이용한 인터넷 콘텐츠(contents) 형태로 이용될 수 있을 것이다.

도 1b 는 본 발명에 따른 인터넷망을 이용한 3차원 영상 자동 생성 시스템의 일실시예 구성도이다.

도 1b 에 도시된 바와 같이, 본 발명에 따른 인터넷망을 이용한 3차원 영상 자동 생성 시스템은, 인터넷 망(140)을 통해 다수의 영상 생성 장치(110)가 데이터베이스(130)가 연결된 서버(120)와 연결되어 구성된다.

따라서 이러한 시스템은, 도 1a 를 통해 간략하게 설명했던 바와 같이, 영상 생성 장치(110)를 통해 생성된 영상 데이터를, 인터넷 망(140)을 통해 전송함으로써, 웹(Web) 상에서 다양한 형태로 활용할 수 있도록 한다.

도 2 는 본 발명에 따른 3차원 영상 자동 생성 방법의 일실시예 흐름도이다.

도 2 에 도시된 바와 같이, 본 발명에 따른 3차원 영상 자동 생성 방법은, 2차원 영상이 입력되면(210), 입력된 영상의 특징을 추출한 후(220), 상기 추출된 특징이 적절한지를 판단하여(230) 적절하지 못할 경우 이를 보정하며(240), 만일 추출된 특징이 적절하다면, 이를 이용하여 3차원 변형을 수행한다(250).

이때, 상기 입력된 영상의 특징을 추출하는 과정(220)은, 아래의 도 3a 내지 도 3c 를 통해 상세히 살펴보기로 하며, 상기 3차원 변형을 수행하는 방법(250)은, 상기 추출된 2차원 영상의 특징을 이용하여, 이미 저장되어 있는 기본 3차원 영상 모델을 변형시키는 방법으로 수행된다.

다음, 상기 3차원 변형된(250) 기본 영상에, 부가적인 정보를 합성하여 완전한 3차원 영상을 생성한 후(260), 이를 출력한다(270).

여기서, 합성되는(260) 부가적인 정보는, 배경 화면 등의 기타 부가 영상 정보 외에 배경 음악과 같은 정보도 포함하며, 또한, 이 경우, 선택할 수 있는 부가 정보가 다수이면, 사용자의 직접 입력을 통해 선택하도록 할 수도 있다.

또한, 상기 출력 과정(270)은, 컴퓨터 모니터나 프린터와 같은 기본적인 출력 수단을 이용한 출력 뿐만 아니라, 상기 생성된 3차원 영상 정보를 저장시키기 위한 디스크 드라이브나 씨디롬 라이터(CD-ROM Writer)기 등을 통한 기록매체 제작이나, 통신망을 통한 전송 등을 모두 포함하는 개념이다.

도 3a 는 본 발명에 따른 3차원 영상 자동 생성을 위한 2차원 영상 특징 추출부의 일실시예 구성도이며, 도 3b 는 그에 따른 흐름도이고, 도 3c 는 그 각각의 과정의 결과로써 생성되는 영상의 예시도이다.

전술한 바와 같이, 이하 도 3a 내지 도 3c 의 설명을 통해, 도 1a 의 특징 추출부(102)와 도 2 의 특징 추출 과정(220)을 상세히 살펴보기로 한다.

3차원 영상으로 변형하여 생성하고자 하는 2차원 영상이 무엇인지에 따라 추출하여야 하는 특징은 각각 달라질 것이나, 본 발명의 일실시예에서는 사람의 얼굴 영상을 그 예로 하였으며, 그에 따라, 2차원 영상으로부터 추출하여야 하는 특징들은, 얼굴의 외곽선, 눈의 크기 및 위치, 코의 크기 및 위치, 입의 크기 및 위치로 한정하였다.

상기한 특징들 이외에 광대뼈의 돌출이나 눈썹의 모양 등 여러 가지 요소들이 사람의 인상을 결정짓는데 요소로써 작용될 것이나, 가장 큰 특징적인 것은 위와 같은 4가지 요소라고 한정지었으며, 이는 광대뼈의 경우 현재의 이미지 프로세싱 기술로는 정확한 검출에 어려움이 따르기 때문이며, 눈썹의 경우는 돌출의 크기가 미미함으로써 단순 텍스처 매핑만으로 유사하게 처리할 수 있기 때문이다.

하지만, 위의 4가지 요소 뿐만 아니라, 그 외에 특징이 될만한 요소의 추가와 삭제는 얼마든지 가능할 것이다.

일단 특징점이 결정되면, 도 3a 내지 도 3c 에 도시된 바와 같이, 본 발명에 따른 3차원 영상의 생성을 위한 2차원 영상의 특징을 추출하기 위해서는 먼저 영역 검출부(301)를 통해 얼굴 영역을 검출하여야 하는데(310), 본 발명에서는 이를 위하여 블루스크린을 이용하였다.

물론, 배경이 복잡하거나 단순한 경우에도 종래의 여러 가지 방법을 사용하여 특징점을 검출할 수는 있으나, 최근의 연구에서 조차도 그 인식률이 떨어져 한정된 조건을 이용하는 경우가 많으며, 따라서 본 발명에서는 얼굴의 특징점을 검출하는데 중점을 두기 보다는 한 장의 정면 영상을 이용해 입력 영상과 유사한 3차원 모델링을 하는 것에 중점을 두었기 때문에 블루스크린을 이용한 얼굴 영역 검출 방법을 택하였다.

블루스크린을 사용하기 위해서는 컬러 이미지 프로세싱을 해야 한다.

종래에 널리 사용되고 있는 컬러 스페이스(Color Space)는 RGB 좌표계이지만, RGB 좌표계는 색상 성분과 밝기 성분이 함께 혼용되어 있음으로 인해, 이미지 프로세싱을 수행할 경우, 밝기의 변화가 오인식의 주요 원인이 되고 있다. 그러므로 밝기 성분을 분리하여 사용하는 것이 보다 효과적인데, 밝기 성분과 색상 성분이 분리되어 있는 좌표계로는 YIQ, YUV, HSI가 주로 사용되며, 본 발명의 일실시예에서는 HSI 좌표계를 사용하였다.

다음으로는, 흑백화부(302)에서 상기 얼굴 영역이 검출된 2차원 영상(311)에 대해 흑백화를 수행한다(320).

본 발명에서 사용되는 입력 영상은, 차후 3차원 텍스처 매핑을 위하여 컬러 영상을 입력받지만, 특징점 검출 방법에 있어서는 흑백 영상을 대상으로 하여도 무방하기 때문이다.

그리고, 상기의 흑백화 과정이 완료된 2차원 영상(321)에 대해, 가우시안 스무딩 필터(Gaussian smoothing filter, 303)를 이용해 가우시안 스무딩(Gaussian Smoothing) 과정을 수행한다(330).

상기 가우시안 스무딩 필터(303)는 분산되어 있는 잡음을 제거하는데 있어매우 효율적인 필터로써, 각 픽셀(pixel)에 각각 다른 웨이트(weight)를 가지고 곱한 다음, 웨이트(weight) 값 전체의 합을 나누는 처리를 수행하여, 일반적으로 흑백값으로 튀는 값을 부드럽게 만들어 준다.

이때, 본 발명에서는, 5*5 크기의 필터를 사용함으로써, 계산 시간과 잡음 제거의 효율성이라는 두 가지 문제를 동시에 해결하고자 하였다.

상기 가우시안 스무딩(Gaussian Smoothing) 과정을 통해 일차 잡음이 제거된 영상(331)은, 다시 콘트라스트(Contrast) 조절부(304)에 의한 콘트라스트 조절 과정을 통해(340) 이차 잡음이 제거된다.

화면의 밝은 부분과 어두운 부분의 밝기 비율을 콘트라스트(Contrast)라 하는데, 콘트라스트가 높은 화상은 피사체의 윤곽이 선명하여 보기 쉬운 화상으로 되는데 콘트라스트가 낮은 화상은 윤곽이 또렷하지 않으므로 보기 쉬운 화상으로 되지 않는다. 즉, 콘트라스트가 낮은 화상은 밝은 부분을 더 밝게, 어두운 부분을 더 어둡게 하는 식으로 변환을 함으로써 콘트라스트를 강조하여 보다 처리하기 쉬운 영상으로 변환시킬 수 있다.

다시말해, 얼굴의 특징적인 부분과 특징적이지 않는 부분들은 흑백 영상에서 명확한 대비가 생기므로, 이를 좀 더 강조시켜 인식을 용이하게 할 수 있다.

일반적인 콘트라스트는 다음의 <수학식 1>과 같이 표현된다.

g(x, y) = nf(x, y)

원화상의 위치 (x, y)에 있어 화소의 농도 f(x, y)를 n배하여, 처리 화상의 (x, y)에 있어 농도 g(x, y)로 하고 있다.

화상 데이터는 1화소 8비트의 크기로 다루기 때문에 표현할 수 있는 농도의 범위는 0에서 255까지이다. 그래서 계산의 결과가 255를 넘을 경우에는 계산의 결과에 관계없이 255로 제한하게 된다.

본 발명에서는 이를 약간 변형 시켜 다음의 <수학식 2>와 같은 식을 사용하고 있다.

(x, y) = f(x, y)+( f(x, y)-128)* Cv/128

이는 이진화 시 경계값을 강조시키기 위한 방법으로, 기본적인 처리에서 명암 대비가 낮은 영상은 본 명암보다 어둡게하고 밝은 영상은 더욱 밝게 만들어 주기 위함이다.

즉, 각 픽셀(pixel)의 최대 명암값이 255이므로, 여기에서 중간값인 128을 빼어 원래의 값에 더하게 함으로써, 128일 경우 원래 값을, 128보다 클 경우 가중값을 플러스(+)로, 128보다 작을 경우 가중값을 마이너스(-)로 함으로써 이러한 역할을 하게 된다.

그리고 여기에 Cv라는 파라메터(parameter)를 두어 유동적인 처리를 고려하였으나, 본 발명에서는 이 값을 실험적으로, 90으로 하였다.

상기한 바와 같이, 흑백화 된 영상(321)의 잡음을 줄이기 위하여 본 발명에서는 두가지의 처리를 하였는데, 그 첫번째가 상기 가우시안 스무딩(Gaussian Smoothing) 과정(330)이며, 두번째가 콘트라스트 조절 과정(340)이다.

본 실시예와 같은 사람 얼굴의 영상에서는, 주위 피부와 명암도 면에서 큰 차이가 나며 그 영역이 얼굴의 부분에서 꽤 큰 영역을 차지하므로 전체적으로 스무딩(Smoothing) 처리를 하게 되면 작은 잡음들은 사라지게 되고, 다시 그 영상에 대해 콘트라스트 과정을 수행하면 경계가 부드러워진 각 특징점들을 강조 시켜 주게 된다.

다음, 상기 콘트라스트(Contrast) 과정이 수행된 2차원 영상(341)에 대해, 블록 이진화(Block Binary)부(305)에서는 블록 이진화 과정을 수행한다(350).

이진화(Binary)는, 256 단계의 명도 값을 가지고 있는 흑백 영상에서 임계값을 기준으로 검정색과 흰색을 구분하는 기법으로써, 일반적으로 명암값이 고르게 분포되어 있고 화질이 좋은 영상이라면 문제가 없지만, 영상 자체에 손상이 많이 있고 명암 분포가 불규칙한 영상이라면 하나의 임계값으로는 그 영상에 대한 최적의 이진화 영상을 얻을 수 없게 된다.

즉, 기본적인 이진화 기법은 전체의 영상에 대해 하나의 임계값을 사용하므로 그늘진 부분(예를 들어, 턱 밑)의 명암값이 전체 영상의 명암값과 차이가 많이 난다면, 원하는 결과 영상을 얻을 수 없게 된다.

따라서, 부분적인 특징이 강한 영상에 대해서는 각 부분 마다의 임계값을 설정해주어야 하는데, 이를 위해 본 발명의 실시예에서는, 종래의 여러 가지의 개선된 알고리즘 중 블록 이진화(Block Binary) 기법을 사용하였다.

상기 블록 이진화(Block Binary) 기법은, 원하는 크기의 블록을 설정하고 그 블록 마다의 명암값을 고려하여 임계값을 설정하는 방법으로, 각 블록마다 특정한 임계값을 가질 수 있게 함으로써, 사람 얼굴 영상의 경우, 턱 이나 코 아래 등에서 나타나는 그림자 부분을 효과적으로 처리할 수 있다. 즉, 그림자 부분이 자체 블록으로 처리됨으로 전체적인 명암의 영향을 덜 받게 된다.

하지만, 본 발명의 실시예와 같은, 사람 얼굴 영상의 특징점 추출 과정은, 물체의 덩어리를 인지하여 처리하므로 블록 이진화 처리된 영상만으로는 오류가 있을 확률이 많다. 왜냐하면, 이미지 프로세싱의 특성상 1 픽셀(pixel) 정도만 떨어져 있어도, 프로세서는 서로 다른 부분이라고 인식하기 때문이다.

이를 위하여, 상기 블록 이진화된 영상(351)에 대해, 라인 세그멘트(Line Segment)부(306)를 통해 라인 세그멘트 과정을 수행한다(360).

라인 세그멘트(Line Segment) 과정은, 수평적으로 서로 떨어진 라인(Line) A와 B에 대하여, 상기 두 라인의 간격이 정해진 세그멘트 값(Segment Value) 이하일 때 상기 두 라인을 연결하도록 하는 과정으로써, 본 발명에서는 실험상으로 상기 세그멘트 값(Segment Value)을 5로 하였다. 즉, 서로 5 픽셀(pixel) 이하의 거리 차이가 있는 직선들은 서로 연결시키도록 하였다.

이는, 입력영상이 640*480 정도이며, 촬영 거리의 제약을 두었기 때문에 흔히 떨어져 처리되기 쉬운 눈, 코 ,입 등의 주요 특징점들의 최대 거리가 5픽셀(pixel)을 넘지 않는다는 실험상의 결과 때문이나, 입력영상과 촬영 거리 등의 제반 조건에 따라, 상기 세그멘트 값(Segment Value)은 적당히 조절되어질 수 있을 것이다.

상기 라인 세그멘트 과정이 수행된 영상(361)에 대해, 레이블링 및 크기 검증(Verify Size)부(307)에서는 서로 상하좌우로 떨어져 있는 영역들에 레이블을 매겨 순서화 한 후, 각 레이블의 크기를 검증(Verify Size)하는 기능을 수행한다(370).

상기의 과정을 수행하기 위해서는, 각 레이블에 대한 높이의 최대, 최소값, 길이의 최대, 최소값 등을 정해야 하는데, 본 발명의 실시예에서는 실험에 의해 다음과 같은 조건을 사용하였다.

레이블의 최대 넓이(Max Width) : 20 픽셀(pixel)

레이블의 최소 높이(Min Height) : 5 픽셀(pixel)

레이블의 최대 높이(Max Height) : 100 픽셀(pixel)

레이블의 넓이(길이와 높이를 곱한 값)의 최소값 : 50

레이블의 넓이(길이와 높이를 곱한 값)의 최대값 : 800

상기의 수치들은 640*480의 정면 정지 영상을, 카메라로부터 80cm 떨어진 거리를 기준으로 10cm 이내의 오차를 인정하고 촬영하였을 때, 100명의 실험 대상의 통계치를 구하여 평균적으로 수치화한 것으로, 이러한 과정을 통하여 얻어진 영상이 도 3c 의 371 이다.

상기 영상에 대한 레이블 크기의 검증(Verify Size) 과정(370)을 마치면, 특징점 추출부(308)에 의해, 기하학적인 위치 특징을 이용한 눈, 코, 입의 검출 과정을 수행하게 된다(380).

일반적으로 눈, 코, 입의 검출에 있어서는, 눈을 먼저 찾은 후, 기하학적인 위치 특징을 이용하여 다른 부분을 찾는 방식을 많이 사용하게 되는데, 이는 사람의 얼굴이라는 특수한 환경에서 가장 검출하기 쉬운 부분이 좌우로 대칭을 이루고 있는 눈이며, 이를 찾은 후에는 코, 입의 경우 그 아래에 있다는 위치적인 정보를 이용할 수 있기 때문이다.

눈은 얼굴 상에서 항상 쌍을 이루게 된다는 점을 이용하여, 먼저 하나의 레이블을 선택한 후, 수평 방향으로 크기의 변화가 크게 다르지 않은 레이블의 쌍이 있는지를 검사하여, 있을 경우 이를 눈의 후보로 채택한다.

이러한 방식을 이용할 경우 눈썹과 눈이 구별되지 않기 때문에, 본 발명의 일실시예에서는 이렇게 쌍이 되는 부분들의 가장 최상을 눈썹으로 두었으며, 그 아래쪽 쌍을 눈으로 두었고, 단지 하나의 쌍만이 존재할 경우에는 그것을 눈으로 검출하도록 하였다.

상기의 방법이 가능한 까닭은, 이미 크기 검증(Verify Size) 처리 후 제거된 영상 중, 위에서부터 이러한 쌍을 이루고 있는 부분은 눈썹과 눈일 확률이 가장 높기 때문이다.

이렇게 검출된 눈을 기본으로 하여, 양 눈의 중앙에 위치하며 눈의 아래부분에 위치되는 것을 코라고 인지하도록 하였으며, 그 아래부분에 나타나는 영역을 입으로 검출하였다. 지금과 같은 처리방식에 의할 경우, 눈과 코, 입 사이에 다른 특징적인 부분이 나타날 경우가 거의 없기 때문이다.

상기의 과정을 통하여 얻어진 영상이, 도 3c 의 381, 382 이다.

다음, 마지막으로 얼굴 외곽을 검출하게 되는데(390), 본 발명의 일실시예에서 사용하는 얼굴 외곽 정보는, 크게 사람의 인상을 결정짓는 턱 선 등의 얼굴 외곽이 급격히 변화되는 부분에 대한 정보만 있으면 충분하므로, 검출된 눈의 위치부분에서 수평으로 직선(391의 1)을 그은 후 얼굴 영역의 끝점과 만나는 점(391의 a)으로 그 사람의 전체적인 얼굴 좌우 길이를 알 수 있으며, 검출된 입의 위치 부분에서 수평으로 직선(391의 2)을 그어 얼굴 영역의 끝점과 만나는 점(391의 b), 그리고 입술의 중앙에서 수직으로 직선(391의 3)을 그은 후, 가장 명암도가 높은 부분의 점(391의 c)을 이용하여 얼굴 외곽의 특징을 구할 수 있다.

도 3c 의 391 영상에서, (a)점과 (b)점을 알아내는 것에는 큰 어려움이 없다. 왜냐하면, 이미 블루 스크린을 이용한 전처리 과정에서 얼굴 영역만이 추출되어 있는 상태에서 상기의 각 과정을 수행하므로, 눈과 입의 위치만 검출된다면 그 수평 좌표와 얼굴 영역의 끝점의 교점을 찾는 것은 용이하기 때문이다.

하지만 턱선을 찾는 과정에서, 턱과 목 사이의 구분이 잘 안되는 경우가 종종 있기 때문에, 본 발명의 실시예에서는 다음과 같은 처리 과정을 거쳤다.

먼저, 입 영역의 중점을 기준으로 좌우 5 픽셀(pixel)씩, 즉 가로 방향 10 픽셀(pixel)과, 상기 입 영역의 아래부분과 수직으로 얼굴 영역이 끝나는 점을 세로축으로 하는 직사각형 후보 영역을 정한다.

다음, 상기 후보 영역에 대해, 위에서 아래로 가로 축의 합을 구하여 아래와같은 두가지 조건이 만족될 때, 이를 턱선으로 추정한다.

1) 연결되는 가로축의 합의 차가 2배 이상인 가로축이 존재할 때

2) 이 가로축의 영역이 5 픽셀(pixel) 이상 계속될 때

그리고 머리 위 부분의 끝은 블루 스크린 제거 후 블루 스크린 영역을 검정으로 채운 후 전처리를 하기 때문에, 기본적인 얼굴 영역은 머리를 제외한 부분이 된다. 따라서 이마와 머리카락이 만나는 부분이 머리 위 끝부분으로 지정되는 것이다.

이를 위하여 똑같은 방법으로, 눈 영역 위쪽의 중점에서 좌우로 가로 10 픽셀(pixel)의 가로 축의 합을 구해, 이 값이 이전 값보다 3배 이상 커지는 영역이 5 픽셀(pixel) 이상 계속될 때, 그 첫 가로축을 머리 위 끝부분으로 추정하였다.

도 3c 의 392 영상이, 본 발명의 일실시예에서 사용된 특징점 검출 방법을 이용하여 (a)점과 (b)점을 나타내는 수직선 2개와 (c)점을 나타내는 수평축 1개로 이루어진 사각형으로 나타내어진 얼굴 영역이다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상기한 바와 같은 본 발명은, 2차원 영상으로부터 3차원 영상을 생성함에 있어, 필요한 특징 정보를 추출할 수 있는 2차원 영상이라면, 단 하나의 영상만으로 3차원 영상을 자동 생성하는 것을 가능하게 함으로써, 보다 저렴한 비용과 빠른 속도로 3차원 영상을 생성할 수 있게 하는 효과가 있다.

또한, 본 발명은, 생성된 3차원 영상을 인터넷망을 통해 전송할 수 있도록 함으로써, 게임이나 이메일(E-mail)을 포함하는 미디어(media) 산업뿐만 아니라 TV 나 가상현실 등의 분야에서 폭넓게 활용할 수 있는 효과가 있다.

Claims (12)

1. 3차원 영상 자동 생성 장치에 있어서,

   2차원 영상을 입력받기 위한 영상 입력 수단;

   상기 영상 입력 수단으로부터 입력받은 2차원 영상의 특징을 추출하기 위한 특징 추출 수단;

   기본 3차원 영상 모델 및 부가 정보를 저장하기 위한 저장 수단;

   상기 특징 추출 수단에 의해 추출된 입력 영상의 특징을 이용하여 상기 저장 수단에 저장된 기본 3차원 영상 모델을 변형하기 위한 3D 변형 수단;

   사용자로부터 필요한 사항을 입력받기 위한 사용자 입력 수단;

   상기 사용자 입력 수단을 통해 입력된 내용에 따라, 상기 저장 수단에 저장된 부가 정보와 상기 3D 변형 수단에 의해 변형된 영상을 합성하여 3차원 영상을 생성하기 위한 합성 수단; 및

   상기 합성 수단에 의해 생성된 3차원 영상을 출력하기 위한 출력 수단

   을 포함하는 3차원 영상 자동 생성 장치.
2. 제 1 항에 있어서,

   상기 사용자 입력 수단을 통해 입력된 내용에 따라, 상기 특징 추출 수단에 의해 추출된 특징 정보를 보정하기 위한 보정 수단

   을 더 포함하는 3차원 영상 자동 생성 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 특징 추출 수단은,

   2차원 영상을 입력받아 필요한 영역을 검출하기 위한 영역 검출 수단;

   상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하기 위한 잡음 제거 수단;

   상기 잡음이 제거된 2차원 영상을 이진화(Binary)하기 위한 이진화 수단;

   상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하기 위한 라인 세그멘트 수단;

   상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하기 위한 레이블링 및 크기 검증 수단; 및

   상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하기 위한 특징점 추출 수단을 포함하는 것을 특징으로 하는 3차원 영상 자동 생성 장치.
4. 제 3 항에 있어서,

   상기 특징 추출 수단은,

   상기 입력받은 2차원 영상이 컬러(Color) 영상일 경우, 상기 입력받은 2차원 영상에 대한 흑백화를 수행하기 위한 흑백화 수단을 더 포함하는 것을 특징으로 하는 3차원 영상 자동 생성 장치.
5. 제 1 항 또는 제 2 항에 있어서,

   상기 저장 수단은,

   기본 3차원 영상 모델 외에 사용자의 취향에 따라 선택 가능한 부가적인 영상 정보뿐만 아니라, 음악 정보 등의 필요한 부가 정보를 저장하는 것을 특징으로 하는 3차원 영상 자동 생성 장치.
6. 제 1 항 또는 제 2 항에 있어서,

   상기 출력 수단은,

   컴퓨터 모니터나 프린터와 같은 기본적인 출력 수단 뿐만 아니라, 상기 생성된 3차원 영상 정보를 저장시키기 위한 디스크 드라이브나 씨디롬 라이터(CD-ROM Writer)기와 같은 기록매체 제작 수단이나, 통신망을 통해 전송할 수 있는 통신 중계 수단 등을 포함하는 것을 특징으로 하는 3차원 영상 자동 생성 장치.
7. 영상 생성 시스템에 적용되는 3차원 영상 자동 생성 방법에 있어서,

   2차원 영상을 입력받아, 상기 입력받은 2차원 영상의 특징을 추출하는 제 1 단계;

   상기 추출된 입력 영상의 특징 정보를 이용하여, 기 저장된 기본 3차원 영상 모델을 변형하는 제 2 단계; 및

   사용자로부터 입력된 필요 사항에 따라, 기 저장된 부가 정보와 상기 변형된 영상을 합성하여 3차원 영상을 생성하고 출력하는 제 3 단계

   를 포함하는 3차원 영상 자동 생성 방법.
8. 제 7 항에 있어서,

   사용자로부터 입력된 필요 사항에 따라, 상기 추출된 특징 정보를 보정하는 제 4 단계

   를 더 포함하는 3차원 영상 자동 생성 방법.
9. 제 7 항 또는 제 8 항에 있어서,

   상기 제 1 단계는,

   2차원 영상을 입력받아 필요한 영역을 검출하는 제 5 단계;

   상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하는 제 6 단계;

   상기 잡음이 제거된 2차원 영상을 이진화(Binary)하는 제 7 단계;

   상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하는 제 8 단계;

   상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하는 제 9 단계; 및

   상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하는 제 10 단계를 포함하는 것을 특징으로 하는 3차원 영상 자동 생성 방법.
10. 제 9 항에 있어서,

    상기 제 1 단계는,

    상기 입력받은 2차원 영상이 컬러(Color) 영상일 경우, 상기 입력받은 2차원 영상에 대한 흑백화를 수행하는 제 11 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 자동 생성 방법.
11. 프로세서를 구비한 영상 생성 시스템에,

    2차원 영상을 입력받아, 상기 입력받은 2차원 영상의 특징을 추출하는 제 1 기능;

    상기 추출된 입력 영상의 특징 정보를 이용하여, 기 저장된 기본 3차원 영상 모델을 변형하는 제 2 기능; 및

    사용자로부터 입력된 필요 사항에 따라, 기 저장된 부가 정보와 상기 변형된 영상을 합성하여 3차원 영상을 생성하고 출력하는 제 3 기능

    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
12. 제 11 항에 있어서,

    사용자로부터 입력된 필요 사항에 따라, 상기 추출된 특징 정보를 보정하는 제 4 기능

    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.