KR20010102873A - 정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템 - Google Patents

정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템 Download PDF

Info

Publication number
KR20010102873A
KR20010102873A KR1020010056477A KR20010056477A KR20010102873A KR 20010102873 A KR20010102873 A KR 20010102873A KR 1020010056477 A KR1020010056477 A KR 1020010056477A KR 20010056477 A KR20010056477 A KR 20010056477A KR 20010102873 A KR20010102873 A KR 20010102873A
Authority
KR
South Korea
Prior art keywords
image
face
region
template
real
Prior art date
Application number
KR1020010056477A
Other languages
English (en)
Inventor
이동광
황영호
Original Assignee
이동광
주식회사 시텍케이알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이동광, 주식회사 시텍케이알 filed Critical 이동광
Publication of KR20010102873A publication Critical patent/KR20010102873A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/80Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 실사 아바타 생성에 적용할 수 있도록 사용자가 간단하게 사용할 수 있고, 자연스럽고 부드러운 합성 결과를 냄과 동시에 빠른 이미지 합성을 할 수 있는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 및 시스템에 관한 것이다. 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은 비정형 이미지를 읽어들이고, 사용자로부터 비정형 얼굴 이미지에서 얼굴 영역을 선택받고, 읽어들인 비정형 얼굴 이미지로부터 선택된 얼굴 영역을 추출하고, 정형 이미지 템플릿을 읽어들이고, 정형 이미지의 샘플 영역의 색상 값을 이용하여 비정형 이미지의 추출된 얼굴 영역의 색상을 보정하고, 색상 보정된 얼굴 영역의 경계선을 자연스럽게 보이도록 블러링(blurring) 처리하고, 블러링(blurring) 처리된 얼굴 영역을 정형 이미지의 얼굴 크기로 표준화하고, 표준화된 얼굴 영역을 정형 이미지에 결합시켜 합성 이미지를 생성하는 단계를 포함한다. 여기서, 추출된 얼굴 영역의 색상 보정은 원본 RGB 값과 모델 평균 RGB 값의 차이 값(offset)을 이용하여 추출된 얼굴 영역 내 각각의 픽셀 RGB 값을 자동으로 가감시켜 보정한다.

Description

정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING AN AVATAR OF REAL-PICTURE USING FINITE IMAGE TEMPLATES}
본 발명은 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 및 시스템에 관한 것이다.
컴퓨터 시스템과 소프트웨어 기술의 눈부신 발전으로 최근 들어 갈수록 획일화되어 가는 현대사회에서 현대인들은 남들과 구별되는 자신만의 독특한 개성을 표출하기 위한 소프트웨어들이 개발되고 있다.
헤어스타일, 액세서리, 메이크업 등을 직접 하기보다는 사전에 자신의 실사 이미지를 스캐너나 디지털 카메라 등의 매개체를 통하여 자신의 모습을 컴퓨터 상에 디지털 화상형태로 디스플레이 하도록 하고, 자신에게 가장 잘 어울리는 헤어스타일, 액세서리, 메이크업 등의 작업을 통하여 자신만의 독창적인 이미지를 창조할 수 있도록 도움을 주는 2차원 영상이미지를 편집할 수 있는 영상편집 저작도구 프로그램이 개발되어 사용되고 있다.
상기 컴퓨터용 영상편집 저작도구 프로그램으로 상용화되고 있는 것으로는 'Adobe'사가 개발한 매킨토시용 및 IBM용으로 사용되는 'Photo-Shop'이나 'Aldus'사가 IBM용으로 개발한 'Photo-styler'이나 'Fractal Design'사에서 개발하여 사용하는 'Color-Studio' 등과 같은 프로그램들이 있다.
기존의 영상편집 저작도구 프로그램에서 스캐닝이나 디지털 카메라를 이용하여 사용자가 작업을 하기 위해서는 제작 툴 사용방법에 어려움이 있다. 이로 인해 고품질의 합성사진을 제조하기 위해서는 통상적으로 상기의 이미지 프로세싱 프로그램에 숙달된 전문가를 통해 사진 합성 작업이 이루어져 왔다.
즉, 이러한 이미지 프로세싱 프로그램을 통한 합성작업은 일반 개인들이 사용하기에는 전문기술이 요구되어 곤란하므로 일반 개인들에게 널리 사용될 수 있게 되기까지에는 많은 시간과 비용이 소요된다는 문제점이 있었다.
또한, 상기 프로그램에 숙달된 전문가라 할지라도 일일이 필터링을 통한 작업이 해야하므로 많은 시간이 소요된다는 문제점을 안고 있었다.
한편, 상기의 영상편집 저작도구인 이미지 프로세싱 프로그램을 사용하여 합성작업을 통하여 다양한 이미지연출을 하기 위해서는 합성대상인 모델사진이나 합성할 특정요소 즉, 헤어스타일, 액세서리, 메이크업 등의 다양한 콘텐츠가 구비되어야 한다.
종래에는 사용자가 필요한 콘텐츠를 별도로 구비해야 함으로 인해 많은 시간과 비용이 소요하게 되고, 콘텐츠가 다양하게 확보되지 않아 실제적으로 사용자가 원하는 다양한 이미지 연출을 하기에는 현실적인 제약이 따르게 된다는 문제점이 있었다.
이러한 문제점으로 인해 일반 사용자들도 모니터 상에 디스플레이 되는 디지털 화상사진을 합성함에 있어 별도의 전문지식이나 기술이 없이도 용이하게 조작하여 합성작업을 할 수 있는 소프트웨어가 요구되고 있다.
또한, 사용자가 작업을 하는 컴퓨터 등이 인터넷에 연결되어 있어 언제든지필요한 모델링 콘텐츠를 제공받을 수 있고, 실시간으로 합성작업이 진행되어 사용하기 편리하고 즉석에서 자신의 모습을 모의 실험할 수 있는 시스템이 요구되고 있다.
따라서, 본 발명은 종래 기술의 제반 문제점을 해결하기 위하여 안출한 것으로서, 다양한 콘텐츠가 저장되어 있는 모델 이미지 템플릿 데이터베이스와 연동하여 모니터 상에 디스플레이 되는 디지털 화상 이미지를 사용자가 별도의 전문지식이나 기술이 없이도 용이하게 조작하여 인물 이미지 합성 작업을 실시간으로 할 수 있는 편리한 사용자 인터페이스를 제공하는 실시간 인물 합성 방법 및 시스템을 제공함에 그 목적이 있다.
또한, 본 발명의 목적은 다양한 콘텐츠의 확보를 위해서 클라이언트 컴퓨터와 인터넷 등으로 연결된 실시간 인물 합성 서비스를 제공하는 서버에서 온라인으로 클라이언트 컴퓨터에 인체합성에 요구되는 다양한 콘텐츠를 제공하도록 하여 사용자로 하여금 인물 합성 작업시 다양한 이미지를 연출할 수 있는 실시간 인물 합성 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 목적은 영상 처리 기법, 그래픽 기법을 적용하여 원본 이미지와 모델 이미지의 합성 결과 이미지가 자연스럽게 연출될 수 있는 실시간 인물 합성 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 목적은 이미지 합성 속도를 빠르게 할 수 있는 실시간 인물합성 방법 및 시스템을 제공함에 있다.
또한, 본 발명의 목적은 상기 실시간 인물 합성 방법 및 시스템을 사용하여 실제 사진으로 된 아바타(avatar)를 생성할 수 있도록 함에 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 시스템의 개략적 구성 블록도.
도 2는 본 발명의 바람직한 일 실시예에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법의 전체적 과정을 설명하는 순서도.
도 3은 본 발명의 바람직한 일 실시예에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 중 원본 이미지의 색상을 보정하는 과정을 설명하는 순서도.
도 4는 본 발명의 바람직한 일 실시예에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 중 원본 이미지의 얼굴 영역을 모델 이미지의 얼굴 크기로 표준화하여 합성 이미지를 생성하는 과정을 설명하는 순서도.
도 5a는 본 발명의 바람직한 일 실시예에 따른 원본 이미지를 나타내는 도면.
도 5b는 본 발명의 바람직한 일 실시예에 따른 원본 이미지에 사용자로부터 얼굴 영역을 선택받은 상태를 나타낸 도면.
도 6a 내지 도 6d는 각각 본 발명의 바람직한 일 실시예에 따른 영역별 필터링을 거친 모델 이미지의 몸체(body) 부분 영역, 얼굴 경계선 부분 영역, 얼굴 부분 영역, 머리카락 부분 영역을 나타내는 도면.
도 7a는 본 발명의 바람직한 일 실시예에 따른 인물 합성을 위한 모델 이미지를 나타내는 도면.
도 7b는 본 발명의 바람직한 일 실시예에 따른 인물 합성을 위해 3가지 영역으로 구분된 모델 이미지를 나타내는 도면.
도 7c는 본 발명의 바람직한 일 실시예에 따른 인물 합성을 위해 모델 이미지에서 구분된 3가지 영역을 별도로 나타내는 도면.
도 7d는 본 발명의 바람직한 일 실시예에 따른 원본 이미지의 얼굴 영역을 모델 이미지에 덧붙여 합성한 이미지를 나타낸 도면.
도 8a 내지 도 8f는 본 발명의 바람직한 일 실시예에 따른 합성 이미지에 머리카락, 의상, 안경, 배경을 덧붙여 최종 합성한 이미지를 나타낸 도면.
<도면의 주요부분에 대한 부호의 설명>
100 : 이미지 합성 서버
110-1, 110-2, 110-3 : 디지털 카메라, 스캐너, CCD 카메라
112 : 정형 이미지 템플릿 데이터베이스
114 : 회원 정보 데이터베이스 120: 클라이언트 컴퓨터
122 : 원본 이미지 데이터베이스
상술한 목적들을 달성하기 위하여 본 발명의 제1 측면에 따르면, 이미지 합성 서버와 네트워크를 통하여 결합된 클라이언트 데이터 처리 장치에서 수행되는 인물 합성 방법에 있어서, 비정형 이미지를 읽어들이는 단계, 사용자로부터 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 단계, 상기 읽어들인 비정형 얼굴 이미지로부터 상기 선택된 얼굴 영역을 추출하는 단계, 정형 이미지의 신체 부위 경계선 내외의 소정 범위의 영역에 미리 투명도 조절이 된 신체 부위별 템플릿을 읽어들이는 단계, 상기 정형 이미지의 샘플 영역의 색상 값을 이용하여 상기 비정형 이미지의 추출된 얼굴 영역의 색상을 보정하는 단계, 상기 색상 보정된 얼굴 영역의 경계선에 블러링(blurring) 처리를 하는 단계, 상기 블러링(blurring) 처리를 거친 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 단계 및 상기 표준화된 얼굴 영역을 상기 정형 이미지에 결합시켜 합성 이미지를 생성하는 단계를 포함하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법, 상기 방법에 상응하는 시스템 및 이러한 방법을 수행할 수 있는 프로그램이 수록되어 있는 기록 매체가 제공된다.
상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은 상기 합성 이미지에 미리 준비된 부가 이미지-여기서 상기 부가 이미지는 적어도 액세서리, 머리카락, 안경, 의상, 배경 이미지 중 적어도 하나를 포함함-를 덧붙여 최종 합성 이미지를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은 상기 합성 이미지 또는 최종 합성 이미지를 출력하는 단계를 더 포함할 수 있다.
상기 추출된 얼굴 영역의 색상을 보정하는 단계는 상기 추출된 얼굴 영역에 대한 원본 평균 RGB 값을 산출하는 단계, 상기 정형 이미지의 샘플 영역으로부터 모델 평균 RGB 값을 산출하는 단계, 상기 원본 RGB 값과 모델 평균 RGB 값의 차이 값(offset)을 산출하는 단계 및 상기 차이 값(offset)을 이용하여 상기 추출된 얼굴 영역 내 각각의 픽셀의 RGB 값을 가감시켜 상기 추출된 얼굴 영역 내 각각의 픽셀의 RGB 값을 보정하는 단계를 포함 할 수 있다.
정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은 상기 비정형 이미지의 얼굴 영역 중 검정 계열 영역-여기서 상기 검정 계열 영역은 눈썹, 입술, 코 및 눈 중의 적어도 하나를 포함함-의 색상을 상기 모델 평균 RGB 값으로 보정하는 단계를 더 포함할 수 있다.
상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 단계에서는 상기 블러링(blurring) 처리된 얼굴 영역에 대한 비정형 얼굴 사각 영역을 설정하고, 상기 정형 이미지의 미리 설정된 정형 얼굴 사각 영역의 크기에 맞도록 비정형 얼굴 사각 영역 및 상기 추출된 얼굴 영역의 크기를 조절하여 상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화할 수 있다.
정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은 상기 얼굴 영역과 정형 얼굴 사각 영역 사이 영역에 블루(blue) 칼라에 상응하는 RGB 값을 설정하는 단계를 더 포함할 수 있다.
상기 사용자로부터 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 단계에서는 상기 사용자로부터 소정 개수의 추출점을 이용하여 생성되는 타원형 영역으로 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받을 수 있다.
비정형 이미지를 읽어들이는 단계에서는 디지털 카메라, 스캐너 및 CCD 카메라 중 적어도 하나로부터 상기 비정형 이미지를 입력받아 읽어들일 수 있다.
정형 이미지를 읽어들이는 단계는 사용자로부터 복수의 정형 이미지 중에서 적어도 하나의 정형 이미지를 선택받고, 상기 네트워크를 통하여 상기 이미지 합성 서버로부터 상기 선택된 정형 이미지를 수신할 수 있다.
상기 신체 부위별 템플릿은 경계선 부근에서 자연스러운 변화를 보이도록 미리 투명도 조정을 위한 알파 값이 조절된 바디(BODY) 영역 템플릿, 얼굴 경계선 영역 템플릿, 얼굴 영역 템플릿 및 머리카락 영역 템플릿 중 적어도 하나를 포함할 수 있다. 상기 각각의 정형 이미지 템플릿은 서로 다른 레이어로 구성될 수 있다.
본 발명의 다른 실시예에 따르면, 네트워크를 통하여 클라이언트 데이터 처리 장치와 결합된 이미지 합성 서버에서 수행되는 인물 합성 방법에 있어서, 비정형 이미지를 읽어들이는 단계, 사용자로부터 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 단계, 복수의 정형 이미지 중에서 사용자로부터 선택받은 정형 이미지를 읽어들이는 단계, 상기 정형 이미지 중에서 사용자에 의해 선택된 샘플 영역의 색상 평균값으로 상기 비정형 이미지의 얼굴 영역의 색상 값을 변경하여 보정하는 단계, 상기 선택된 얼굴 영역에 대응되는 영역의 색상 값을 이용하여 상기 색상 보정된 얼굴 영역의 경계선을 블러링(blurring) 처리하는 단계, 상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 단계 및 상기 표준화된 얼굴 영역을 상기 정형 이미지에 결합시켜 합성 이미지를 생성하는 단계를 포함하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법, 상기 방법에 상응하는 시스템 및 이러한 방법을 수행할 수 있는 프로그램이 수록되어 있는 기록 매체가 제공된다.
상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법을 이용하여 상기 정형 이미지와 복수의 정형 이미지 템플릿을 조합함으로써 사용자의 얼굴을 그대로 반영한 사용자 자신의 아바타(avatar)를 생성할 수 있다.
이하, 본 발명에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 및 시스템의 바람직한 실시예를 첨부도면을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 시스템의 개략적 구성 블록도이다.
실시간 인물 합성 시스템은 이미지 합성 서버(100), 정형 이미지 템플릿 데이터베이스(112), 회원 정보 데이터베이스(114), 상기 이미지 합성 서버(100)와 네트워크로 결합된 클라이언트 컴퓨터(120), 원본 이미지 데이터베이스(122), 원본이미지를 입력받기 위한 입력 수단으로서의 디지털 카메라(110-1), 스캐너(110-2), CCD 카메라(110-3)를 포함한다.
이미지 합성 서버(100)에서는 회원으로 인증이 된 사용자로부터 원본 얼굴 등의 이미지를 입력받아 미리 준비된 모델들의 얼굴 등의 이미지와 액세서리, 안경, 의상 등의 이미지를 이용하여 실시간으로 인물 합성 처리를 수행한다.
이미지 합성 서버(100)에서는 모델들의 다양한 이미지를 계속하여 추가하여 이를 정형 이미지 템플릿 데이터베이스(112)에 저장할 수 있다.
정형 이미지 템플릿 데이터베이스(112)에는 미리 소정 크기로 맞춰진 모델 이미지가 얼굴, 머리카락, 몸통 영역 별로 나뉘어져 각각의 영역별로 알파 값(alpha channel)(반투명 정도를 나타내는 값)을 조절하여 필터링을 거친 이미지들이 저장된다. 여기서, 알파 값은 이미지 합성시 각각의 영역마다 영역의 경계선(또는 테두리) 부분 즉, 경계선 안쪽과 바깥쪽에서 급격하게 합성된 이미지의 부조화가 발생되지 않도록 매끄럽고 자연스럽게 처리하기 위한 것이다. 즉, 디자이너가 감각적으로 경계선 부분에서 알파 값을 조절하여 필터링한 영역별 이미지를 정형 이미지 템플릿 데이터베이스(112)에 저장한다.
또한, 정형 이미지 템플릿 데이터베이스(112)에는 이미지 합성시에 사용되는 머리카락, 의상, 안경 등의 다양한 액세서리 이미지가 저장되어 있다.
원본 이미지는 사용자마다 달라지므로 이를 비정형 이미지라고도 하며, 모델 이미지는 미리 정해진 정형화된 이미지이므로 정형 이미지라고도 한다.
여기서, 상기 모델 이미지, 모델의 각 영역별 이미지, 액세서리 이미지들을템플릿이라고 하며, 이것은 몇 개의 레이어(layer)로 구성되어 있다.
템플릿은 영역 템플릿과 합성 템플릿으로 구성된다. 영역 템플릿은 합성 대상인 모델 얼굴의 윤곽을 나타낼 수 있도록 가상적인 타원형 선-바깥 얼굴 경계선(606, 도 7c 참조)-으로 둘러싸인 영역, 모델 얼굴의 눈, 눈썹, 코, 입술 등을 포함하도록 상기 바깥 얼굴 경계선(606)보다 작은 반경으로 그려진 타원형 선-안쪽 얼굴 경계선(604)-으로 둘러싸인 영역, 모델의 얼굴 피부색의 샘플을 취하기 위한 샘플 영역(708)의 3가지 영역으로 구분할 때 각각의 영역을 의미한다(도 7참조).
합성 템플릿은 모델 이미지에서 바디(BODY) 영역(602), 얼굴 경계선 영역(도 6B의 604), 얼굴 영역(606), 머리카락 영역(608)과 합성된 이미지에 덧씌워져 최종 합성 이미지를 만들기 위해 사용되어지는 의상(804), 머리카락(802), 안경(806), 배경(808) 등을 의미한다. 여기서 의상(804), 머리카락(802), 안경(806), 배경(808) 등의 이미지를 부가 이미지라고 정의한다.
이러한 각각의 템플릿은 예를 들어 알파 값 속성 정보를 포함하고 있는지 여부에 따라 알파 값 속성 정보를 포함하고 있지 않은 JPEG 파일, 알파 값 속성을 포함하고 있는 PNG 이미지 파일로 저장될 수 있다.
이와 같이 각 부분이 정형 이미지 템플릿 데이터베이스(112)에 저장되어 있고, 원본 얼굴 이미지의 소정의 선택 영역에 이러한 템플릿을 모두 실시간으로 합성하여 자연스럽게 전체적인 최종 합성 이미지를 얻을 수 있다. 자세한 설명은 후술한다.
실시간 인물 합성 처리는 이미지 합성 서버(100)에서 이루어질 수도 있지만, 상기 이미지 합성 서버(100)와 네트워크를 통하여 연결된 사용자의 클라이언트 컴퓨터(120)에서 수행될 수도 있다.
클라이언트 컴퓨터(120)의 원본 이미지 데이터베이스(122)에는 디지털 카메라(110-1), 스캐너(110-2)를 사용하여 미리 읽어들이거나 CCD 카메라(110-3)를 사용하여 입력된 합성하고자하는 사용자의 얼굴 이미지(이하 원본 이미지라고 한다)가 저장되어 있다.
CCD 카메라를 사용하여 인물 이미지를 입력할 경우에는 대상 인물이 움직이지 않을 때에 캡쳐(capture)해야 선명한 이미지를 얻을 수 있으며, 보통은 몇 개의 이미지를 캡쳐하여서 그 중에서 가장 좋은 이미지를 사용한다.
클라이언트 컴퓨터(120)에서 실시간 이미지 합성 처리를 수행할 경우 다양한 모델 이미지, 액세서리 이미지 등이 필요한데, 이러한 이미지들은 네트워크를 통하여 이미지 합성 서버(100)로부터 다운로드받을 수 있다. 또는, 클라이언트 컴퓨터(120)에 미리 정형 이미지 템플릿 데이터베이스(112)를 구비해 놓고, 추가되는 모델 이미지, 액세서리 이미지만을 이미지 합성 서버(100)로부터 다운로드받음으로써 이미지 합성 서버(100)의 정형 이미지 템플릿 데이터베이스(112)와 연동하여 다양한 이미지 합성이 실시간으로 처리되도록 할 수도 있다.
클라이언트 컴퓨터(120)에서는 상기와 같은 실시간 인물 합성 처리를 수행하는 프로그램을 이미지 합성 서버(100)로부터 처음 시작시 다운로드받아 실행시켜 인물 합성 작업을 할 수도 있고, 직접 클라이언트 컴퓨터(120)에 실시간 인물 합성처리를 수행하는 프로그램을 설치하여 작업을 할 수도 있다.
회원 정보 데이터베이스(114)에는 실시간 이미지 합성 서비스를 이용하는 사용자들의 이름, 아이디(ID), 비밀 번호 등의 회원 정보가 저장되어 있다.
이하, 도 2 내지 도8f를 참조하여 실시간 인물 합성 방법을 설명한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법의 전체적 과정을 설명하는 순서도이다.
도 5a는 본 발명의 바람직한 일 실시예에 따른 원본 이미지를 나타내며, 도 5b는 본 발명의 바람직한 일 실시예에 따른 원본 이미지에서 사용자로부터 얼굴 영역을 선택받은 상태를 나타낸다.
도 6a 내지 도 6d는 각각 본 발명의 바람직한 일 실시예에 따른 영역별 필터링을 거친 모델 이미지의 몸체(body) 부분 영역, 얼굴 경계선 부분 영역, 얼굴 부분 영역, 머리카락 부분 영역을 나타낸다.
도 7a는 본 발명의 바람직한 일 실시예에 따른 인물 합성을 위한 모델 이미지를 나타내고, 도 7b는 인물 합성을 위해 3가지 영역으로 구분된 모델 이미지를 나타내고, 도 7c는 인물 합성을 위해 모델 이미지에서 구분된 3가지 영역을 나타내고, 도 7d는 원본 이미지의 얼굴 영역을 모델 이미지에 덧붙여 합성한 이미지를 나타낸다.
도 8a 내지 도 8f는 본 발명의 바람직한 일 실시예에 따른 합성 이미지에 머리카락, 의상, 안경, 배경을 덧붙여 최종 합성한 이미지를 나타낸다.
개략적으로 실시간 인물 합성 방법은 첫째, 사용자의 얼굴 이미지를 다른 사람의 얼굴인 모델 얼굴에 크기 및 경계선 부근을 매끄럽게 조절하여 결합시키는 과정, 둘째, 모델 얼굴과 사용자의 얼굴 이미지와의 색상 및 밝기의 차이를 보정하는 과정으로 이루어진다.
도 2를 참조하면, 먼저 이미지 합성 서버(100) 또는 클라이언트 컴퓨터(120)에서는 원본 이미지(비정형 이미지)(도 5a 참조)를 읽어들인다(단계 201).
그 다음, 사용자로부터 원본 이미지에서 얼굴 영역(504)을 선택받아 추출한다(단계 203). 본 발명에서는 종래의 인물 사진 합성 시스템에서 사용하는 방법, 즉, 원하는 영역을 남기거나 지우거나 잘라내는 방법을 사용하지 않고, 합성하고자하는 사용자의 얼굴 영역(504)만 추출하는 방법을 사용한다.
도5b를 참조하면, 사용자는 바람직하게는 소정 개수의 추출점, 예를 들어 4개의 추출점(502a, 502b, 502c 및 502d)을 상하좌우로 이동시켜가면서 타원형의 영역을 설정하여 얼굴 영역(504)을 선택한다. 그러나, 얼굴 영역 선택을 하기 위한 틀로는 상기의 타원형 형태만 가능한 것이 아니라 다양한 형태의 도형 형태로도 가능함은 물론이다.
그 다음, 경계선 부근에 미리 투명도를 조절하기 위한 알파 값 처리가 된 신체 부위별 모델 이미지 템플릿들을 읽어들인다(단계 205).
여기서, 신체부위별 모델 이미지 템플릿(도 7a, 도 6a 내지 도 6d 참조)은 원본 이미지와의 합성시 그 경계선 부근에서 자연스러운 변화를 보이도록 그 경계선 부분의 투명도 조정을 위한 알파 값이 사전에 디자이너 등에 의해 조절되어 처리된다. 신체 부위별 모델 이미지 템플릿은 예를 들어, 바디(BODY) 영역(602) 템플릿, 얼굴 경계선 영역(도 6B의 604 및 606) 템플릿, 얼굴 영역(도 6c) 템플릿, 머리카락 영역(608) 템플릿을 포함한다(도 6a 내지 도 6d 참조).
도 6a를 예로 들어 설명하면, 실선으로 나타난 바디 영역(602)을 제외한 영역은 도면에서는 도시되어 있지 않지만 알파 값을 조절하여 투명화시킴으로서 바디 영역(602)을 제외한 영역을 인체의 다른 부분과 합성할 수 있다. 즉, 인체 전체를 부위별로 모듈화하여 합성을 할 수 있다.
도 6a에서 얼굴의 턱 부분과 실선으로 된 바디 영역(602)의 경계선은 디자이너 등이 알파 값을 조절함으로써 서로 다른 부위의 이질적인 인체 모듈이 각각 합성될 경우에 경계선 부분에서 자연스러움을 보여주도록 한다.
도 6b에서 타원형의 실선으로 된 바깥 얼굴 경계선(604)과 안쪽 얼굴 경계선(604)의 각각의 소정 범위의 주변 영역에도 디자이너 등이 알파 값을 조절하여 처리하도록 한다. 또한, 도 6c에서 얼굴 부분(606)과 그 주변과의 경계 영역, 도 6d에서 머리카락과 얼굴 일부분(608)과 주변과의 경계 영역 등에서도 알파 값을 조절하여 같은 처리를 한다.
모델 이미지의 샘플 영역(702)의 색상 값(예를 들어 RGB 값) 등을 이용하여 상기 원본 이미지의 얼굴 피부 색상을 상기 샘플 영역의 색상 값으로 보정한다(단계 207).
상기 원본 이미지(비정형 이미지)를 모델 이미지(정형 이미지)와 합성하기 전에 상기 추출된 얼굴 영역의 경계선 부근을 부드럽고 자연스럽게 보이도록 블러링(blurring) 처리를 통해 보정한다(단계 209).
상기 블러링(blurring) 처리의 일예로 안티 앨리어싱(anti-aliasing)처리를 할 수 있다.
즉, 원본 이미지로부터 사용자에 의해 선택된 얼굴 영역(504)은 안티 앨리아싱 처리를 하여 얼굴 영역의 경계선의 바깥 영역을 경계선의 픽셀 색상으로 경계선을 따라 돌아가면서 채워준다.
합성시 상위 레이어(layer)인 얼굴 부분 템플릿의 경계선 영역을 미리 전술한 알파 값 조절 처리를 해두고 위의 안티 앨리어싱 처리된 하위 레이어인 원본 이미지의 얼굴 영역(504)과 합성함으로써 2개의 레이어 이미지가 합성될 경우 자연스럽게 보이도록 처리할 수 있다.
이렇게 함으로서 모델 이미지의 얼굴 부분 템플릿과 원본 이미지의 사용자에 의해 선택된 얼굴 영역(504)이 겹쳐졌을 때 양 레이어의 경계선 부분이 부자연스럽게 보이지 않도록 할 수 있다.
상기 추출된 얼굴 영역의 크기는 모델 이미지의 얼굴 영역의 크기와 서로 다르므로 상기 추출된 얼굴 영역의 크기를 상기 모델 이미지의 얼굴과 같은 크기로 표준화한 후, 상기 읽어들인 모델 이미지와 결합하여 합성 이미지를 생성한다(단계 211).
상기 합성 이미지에 액세서리, 머리카락, 안경, 배경 등의 템플릿을 입혀 최종 합성 이미지를 생성한 후(단계 213) 최종 합성 이미지를 출력한다(단계 215).
도 8a 내지 도 8f를 참조하면, 도 8a의 합성 이미지에 머리카락 템플릿(802), 의상 템플릿(804), 안경 템플릿(806), 배경 템플릿(808)을 입히고,상기 템플릿들을 모두 합쳐서 생성된 최종 이미지가 도 8f에 나타나 있다.
앞의 합성된 이미지가 사용자의 마음에 들지 않으면 앞의 단계를 다시 반복하여 원하는 이미지가 나올 때까지 반복한다.
상기 생성된 합성 이미지 또는 최종 합성 이미지는 출력 장치를 이용하여 출력하거나 저장하여 다시 활용할 수 있도록 데이터베이스를 구축할 수 도 있다. 출력 장치로는 예를 들어, 포토 프린터나 스티커 프린터를 사용할 수 있다. 저장 방법은 예를 들어, 클라이언트 컴퓨터의 하드디스크, CD-ROM 등에 저장할 수 있을 뿐만 아니라 이미지 합성 서버(100)에 데이터베이스화하여 저장할 수도 있다.
이와 같이 함으로써, 사용자 자신의 얼굴 이미지를 다른 사람(정형화된 모델)의 얼굴 모델에 합성시킬 수 있다. 즉, 사용자 자신의 얼굴 영역에 모델의 얼굴 영역을 제외한 다른 부분(헤어스타일, 의상 등)을 결합시켜 모델의 의상과 헤어스타일이 자신의 얼굴과 잘 어울리는지를 비교함으로써 가상적 체험을 통해 모의 실험을 할 수도 있다.
또한, 사용자 자신의 얼굴 모습이 씌워진 합성 이미지를 포토 프린터로 출력하여 다양한 형태의 출력 폼(예를 들어, 증명 사진용, 뒷 배경이 바다인 전신 사진 등)을 즉석에서 합성할 수 있다.
또한, 상기와 같은 실시간 인물 합성 방법을 이용하여 다양한 모델 템플릿과 조합함으로써 자신의 얼굴을 그대로 반영한 자신의 아바타(avatar)를 생성할 수 있다.
도 3은 본 발명의 바람직한 일 실시예에 따른 실시간 인물 합성 방법 중 원본 이미지의 색상을 보정하는 과정을 설명하는 순서도이다.
도 3을 참조하면, 먼저 얼굴 영역의 크기를 나타내기 위해 모델 이미지의 바깥 얼굴 경계선(606, 도 7c 참조)을 따라서 미리 설정된 정형 얼굴 사각 영역(506) 크기에 해당되는 버퍼 영역을 설정한다(단계 301).
모델 이미지(도 7a)에는 모델 얼굴의 외곽을 따라서 바깥 얼굴 경계선(606)이 설정되어 있고, 모델의 눈, 눈썹, 코, 입술을 포함할 수 있도록 바깥 얼굴 경계선(606) 내부에 설정된 안쪽 얼굴 경계선(604), 상기 모델 얼굴 피부색을 대표하는 부위를 나타내는 샘플 영역(708)이 미리 디자이너 등에 의해 정해져 있다. 상기 샘플 영역(708)은 도면에는 눈썹 위의 특정 부분으로 도시되어 있지만 모델 이미지에 따라 다른 부분이 될 수도 있고, 2 군데 이상이 될 수도 있다.
원본 이미지로부터 추출된 얼굴 영역의 각각의 픽셀들의 색상 값의 평균값(이하 원본 평균 색상 값이라고 한다)을 산출한다(단계 303). 상기 색상 값은 예를 들어 RGB 값이 될 있고, 이 경우 상기 원본 색상 평균값은 원본 평균 RGB 값이 될 수 있다.
상기 모델 이미지의 샘플 영역(708)의 각각의 픽셀들의 색상 값(예를 들어 RGB 값)의 평균 값(이하 모델 평균 색상 값 또는 모델 평균 RGB 값이라고 한다)을 산출한다(단계 305).
상기 원본 평균 RGB 값과 모델 평균 RGB 값의 차이 값(offset)을 산출한다(단계 307).
상기 원본 이미지의 얼굴 영역(504) 중에서 얼굴 피부색과 현격한 차이를 나타내는 검정 계열의 색을 띠는 눈썹, 입술 등의 부분을 이웃 영역의 얼굴 피부의 평균 RGB 값 또는 얼굴 전체 영역의 평균 RGB 값으로 대체한다(단계 309). 예를 들어 디지털 필터의 일종인 가우시안(gaussian) 마스크(또는 가우시안 필터)를 사용하여 위 검정 계열의 색을 띠는 영역에서 검정 계열의 노이즈(noise)를 제거함으로써 영상의 질을 개선할 수 있다. 즉, 가우시안 마스크는 흑백 값으로 튀는 값을 부드럽게 만들어 주며, 눈썹, 눈, 코, 입술 등의 색깔이 급변하는 부분(고역)을 제거해주는 저역 통과 필터이다.
상기 얼굴 영역(504)과 비정형 얼굴 사각 영역(506)과의 사이 부분을 크로마키 기법을 적용하여 RGB 값을 (0,0,255)로 주어 블루 칼라로 처리한다(단계 311).
상기 차이 값(offset)을 이용하여 상기 추출된 얼굴 영역(504) 내 각각의 픽셀의 RGB 값을 더하거나 빼어 상기 버퍼 영역에 저장한다. 상기 버퍼 영역은 클라이언트 컴퓨터(120) 또는 이미지 합성 서버(100)의 메모리 영역이며 이미지 합성을 위해 추출된 얼굴 영역(504)의 각 픽셀의 변경된 RGB 값을 저장한다.
도 4는 본 발명의 바람직한 일 실시예에 따른 실시간 인물 합성 방법 중 원본 이미지의 얼굴 영역을 모델 이미지의 얼굴 크기로 표준화하여 합성 이미지를 생성하는 과정을 설명하는 순서도이다.
도 4를 참조하면, 먼저 상기 추출된 얼굴 영역(504)에 대한 비정형 얼굴 사각 영역(506)이 상기 사용자가 설정한 얼굴 영역(504)에 상응하여 자동적으로 설정된다(단계 401).
원본 이미지의 얼굴 크기와 미리 정해진 모델 이미지의 얼굴 크기를 맞추는과정이 단계 403이다. 단계 403에서는 모델 이미지의 미리 설정된 정형 얼굴 사각 영역(706)의 크기에 맞도록 비정형 얼굴 사각 영역(506)의 크기를 조절하고, 비정형 얼굴 사각 영역의 크기가 감소(또는 증가)됨에 따라 그에 상응하여 추출된 얼굴 영역(504)의 크기가 감소(또는 증가)된다.
상기 크기 조절된 얼굴 영역(504)을 상기 모델 이미지에 덧씌워 합성 이미지(도 7d)를 생성한다(단계 405). 즉, 상기 크기 조절된 얼굴 영역(504)을 도 6b의 모델 이미지의 얼굴 경계선 부분 영역(604) 템플릿, 몸체(body) 부분 영역(602) 템플릿, 얼굴 부분 영역(606) 템플릿, 머리카락 부분 영역(608) 템플릿과 결합하여 합성 이미지를 생성한다. 여기서, 얼굴 부분 영역(608) 템플릿은 합성 이미지(도 7d)에서 모델 이미지의 귀 부분 등의 머리 외곽을 표현하기 위한 것이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명에 따른 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 및 시스템은 디지털 화상 이미지를 사용자가 별도의 전문지식이나 기술이 없이도 용이하게 조작하여 인물 이미지 합성 작업을 실시간으로 할 수 있는 편리한 사용자 인터페이스를 제공할 수 있는 효과가 있다.
또한, 본 발명은 모델 이미지 및 원본 이미지에 대해 소정의 영상 처리 기법, 그래픽 기법을 적용함으로써 원본 이미지와 모델 이미지의 합성 결과 이미지가 자연스럽게 연출될 수 있는 효과도 있다.
또한, 본 발명은 모델 이미지와 다양한 액세서리 이미지에 대한 정보를 저장하고 있는 템플릿이라는 데이터베이스형의 컨텐츠를 이용함으로써 이미지 합성 속도를 빠르게 할 수 있는 효과도 있다.
또한, 본 발명은 다양한 콘텐츠의 확보를 위해서 클라이언트 컴퓨터와 인터넷 등으로 연결된 실시간 인물 합성 서비스를 제공하는 서버에서 온라인으로 클라이언트 컴퓨터에 인체합성에 요구되는 다양한 콘텐츠를 제공하도록 하여 사용자로 하여금 인물 합성 작업시 다양한 이미지를 연출할 수 있는 효과도 있다.
또한, 본 발명은 인터넷 상에서 사용자가 자신의 얼굴을 정확히 반영한 실제 사진으로 된 아바타(avatar)를 생성함으로써 인터넷 상에서 사용자가 자신만의 아바타를 쉽고 빠르고 간편하게 제작할 수 있는 효과도 있다.
또한, 본 발명은 사용자 자신의 얼굴 모습이 씌워진 합성 이미지를 포토 프린터 등으로 출력하여 다양한 형태의 출력 폼(예를 들어, 증명 사진용, 뒷 배경이 바다인 전신 사진 등)을 즉석에서 합성할 수 있는 효과도 있다.

Claims (25)

  1. 이미지 합성 서버와 네트워크를 통하여 결합된 클라이언트 데이터 처리 장치에서 수행되는 인물 합성 방법에 있어서,
    비정형 이미지를 읽어들이는 단계;
    사용자로부터 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 단계;
    상기 읽어들인 비정형 얼굴 이미지로부터 상기 선택된 얼굴 영역을 추출하는 단계;
    정형 이미지의 신체 부위 경계선 내외의 소정 범위의 영역에 미리 투명도 조절이 된 신체 부위별 템플릿을 읽어들이는 단계;
    상기 정형 이미지의 샘플 영역의 색상 값을 이용하여 상기 비정형 이미지의 추출된 얼굴 영역의 색상을 보정하는 단계;
    상기 색상 보정된 얼굴 영역의 경계선에 블러링(blurring) 처리를 하는 단계;
    상기 블러링(blurring) 처리를 거친 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 단계; 및
    상기 표준화된 얼굴 영역을 상기 정형 이미지에 결합시켜 합성 이미지를 생성하는 단계
    를 포함하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  2. 제1항에 있어서,
    상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 합성 이미지에 미리 준비된 부가 이미지-여기서 상기 부가 이미지는 적어도 액세서리, 머리카락, 안경, 의상, 배경 이미지 중 적어도 하나를 포함함-를 덧붙여 최종 합성 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  3. 제3항에 있어서,
    상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 합성 이미지 또는 최종 합성 이미지를 출력하는 단계를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  4. 제1항에 있어서,
    상기 추출된 얼굴 영역의 색상을 보정하는 단계는
    상기 추출된 얼굴 영역에 대한 원본 평균 RGB 값을 산출하는 단계;
    상기 정형 이미지의 샘플 영역으로부터 모델 평균 RGB 값을 산출하는 단계;
    상기 원본 RGB 값과 모델 평균 RGB 값의 차이 값(offset)을 산출하는 단계;및
    상기 차이 값(offset)을 이용하여 상기 추출된 얼굴 영역 내 각각의 픽셀의 RGB 값을 가감시켜 상기 추출된 얼굴 영역 내 각각의 픽셀의 RGB 값을 보정하는 단계
    를 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  5. 제4항에 있어서,
    정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 비정형 이미지의 얼굴 영역 중 검정 계열 영역-여기서 상기 검정 계열 영역은 눈썹, 입술, 코 및 눈 중의 적어도 하나를 포함함-의 색상을 상기 모델 평균 RGB 값으로 보정하는 단계를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  6. 제1항에 있어서,
    상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 단계에서는
    상기 블러링(blurring) 처리된 얼굴 영역에 대한 비정형 얼굴 사각 영역을설정하고, 상기 정형 이미지의 미리 설정된 정형 얼굴 사각 영역의 크기에 맞도록 비정형 얼굴 사각 영역 및 상기 추출된 얼굴 영역의 크기를 조절하여 상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  7. 제6항에 있어서,
    정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 얼굴 영역과 정형 얼굴 사각 영역 사이 영역에 블루(blue) 칼라에 상응하는 RGB 값을 설정하는 단계를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  8. 제1항에 있어서,
    상기 사용자로부터 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 단계에서는
    상기 사용자로부터 소정 개수의 추출점을 이용하여 생성되는 타원형 영역으로 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  9. 제1항에 있어서,
    비정형 이미지를 읽어들이는 단계는
    디지털 카메라, 스캐너 및 CCD 카메라 중 적어도 하나로부터 상기 비정형 이미지를 입력받아 읽어들이는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  10. 제1항에 있어서,
    정형 이미지를 읽어들이는 단계는
    사용자로부터 복수의 정형 이미지 중에서 적어도 하나의 정형 이미지를 선택받고, 상기 네트워크를 통하여 상기 이미지 합성 서버로부터 상기 선택된 정형 이미지를 수신하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  11. 제1항에 있어서,
    상기 신체 부위별 템플릿은
    경계선 부근에서 자연스러운 변화를 보이도록 미리 투명도 조정을 위한 알파 값이 조절된 바디(BODY) 영역 템플릿, 얼굴 경계선 영역 템플릿, 얼굴 영역 템플릿및 머리카락 영역 템플릿 중 적어도 하나를 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  12. 제11항에 있어서,
    상기 각각의 정형 이미지 템플릿은 서로 다른 레이어로 구성되는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  13. 네트워크를 통하여 클라이언트 데이터 처리 장치와 결합된 이미지 합성 서버에서 수행되는 인물 합성 방법에 있어서,
    비정형 이미지를 읽어들이는 단계;
    사용자로부터 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 단계;
    복수의 정형 이미지 중에서 사용자로부터 선택받은 정형 이미지를 읽어들이는 단계;
    상기 정형 이미지 중에서 사용자에 의해 선택된 샘플 영역의 색상 평균값으로 상기 비정형 이미지의 얼굴 영역의 색상 값을 변경하여 보정하는 단계;
    상기 선택된 얼굴 영역에 대응되는 영역의 색상 값을 이용하여 상기 색상 보정된 얼굴 영역의 경계선을 블러링(blurring) 처리하는 단계;
    상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로표준화하는 단계; 및
    상기 표준화된 얼굴 영역을 상기 정형 이미지에 결합시켜 합성 이미지를 생성하는 단계
    를 포함하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  14. 제13항에 있어서,
    상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 합성 이미지에 미리 준비된 부가 이미지-여기서 상기 부가 이미지는 적어도 액세서리, 머리카락, 안경, 의상, 배경 이미지 중 적어도 하나를 포함함-를 덧붙여 최종 합성 이미지를 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  15. 제14항에 있어서,
    상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 합성 이미지 또는 최종 합성 이미지를 출력하는 단계를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  16. 제13항에 있어서,
    상기 추출된 얼굴 영역의 색상을 보정하는 단계는
    상기 추출된 얼굴 영역에 대한 원본 평균 RGB 값을 산출하는 단계;
    상기 정형 이미지의 샘플 영역으로부터 모델 평균 RGB 값을 산출하는 단계;
    상기 원본 RGB 값과 모델 평균 RGB 값의 차이 값(offset)을 산출하는 단계; 및
    상기 차이 값(offset)을 이용하여 상기 추출된 얼굴 영역 내 각각의 픽셀의 RGB 값을 가감시켜 상기 추출된 얼굴 영역 내 각각의 픽셀의 RGB 값을 보정하는 단계
    를 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  17. 제16항에 있어서,
    상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 비정형 이미지의 얼굴 영역 중 검정 계열 영역-여기서 상기 검정 계열 영역은 눈썹, 입술, 코 및 눈 중의 적어도 하나를 포함함-의 색상을 상기 모델 평균 RGB 값으로 보정하는 단계를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  18. 제13항에 있어서,
    상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 단계에서는
    상기 블러링(blurring) 처리된 얼굴 영역에 대한 정형 얼굴 사각 영역을 설정하고, 상기 정형 이미지의 미리 설정된 비정형 얼굴 사각 영역의 크기에 맞도록 정형 얼굴 사각 영역 및 상기 추출된 얼굴 영역의 크기를 조절하여 상기 블러링(blurring) 처리된 얼굴 영역을 상기 정형 이미지의 얼굴 크기로 표준화하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  19. 제18항에 있어서,
    정형 이미지 템플릿을 이용한 실시간 인물 합성 방법은
    상기 얼굴 영역과 정형 얼굴 사각 영역 사이 영역에 블루(blue) 칼라에 상응하는 RGB 값을 설정하는 단계를 더 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  20. 제13항에 있어서,
    상기 사용자로부터 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 단계에서는
    상기 사용자로부터 소정 개수의 추출점을 이용하여 생성되는 타원형 영역으로 상기 비정형 얼굴 이미지에서 얼굴 영역을 선택받는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  21. 제13항에 있어서,
    비정형 이미지를 읽어들이는 단계는
    디지털 카메라, 스캐너 및 CCD 카메라 중 적어도 하나로부터 입력받은 상기 비정형 이미지를 상기 클라이언트 데이터 처리장치로부터 상기 네트워크를 통하여 읽어들이는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  22. 제13항에 있어서,
    상기 정형 이미지는
    경계선 부근에서 자연스러운 변화를 보이도록 미리 투명도 조정을 위한 알파 값이 조절된 바디(BODY) 영역 템플릿, 얼굴 경계선 영역 템플릿, 얼굴 영역 템플릿 및 머리카락 영역 템플릿 중 적어도 하나를 포함하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  23. 제1항 내지 제22항에 있어서,
    상기와 같은 실시간 인물 합성 방법을 이용하여 상기 정형 이미지와 복수의 정형 이미지 템플릿을 조합함으로써 사용자의 얼굴을 그대로 반영한 사용자 자신의 아바타(avatar)를 생성하는 것을 특징으로 하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법.
  24. 프로그램이 저장되어있는 메모리;
    상기 메모리에 결합되어 상기 프로그램을 실행하는 프로세서
    를 포함하되,
    상기 프로세서는 상기 프로그램에 의해 제1항 내지 제22항 중 어느 한 항에 기재된 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 중 어느 하나를 실행하는 정형 이미지 템플릿을 이용한 실시간 인물 합성 시스템.
  25. 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리장치에 의해 판독될 수 있는 기록 매체에 있어서,
    상기 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법이 제1항 내지 제22항에 기재된 정형 이미지 템플릿을 이용한 실시간 인물 합성 방법 중 어느 하나를 포함하는 것을 특징으로 하는 기록 매체.
KR1020010056477A 2001-04-23 2001-09-13 정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템 KR20010102873A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020010021684 2001-04-23
KR1020010022684A KR20020084321A (ko) 2001-04-26 2001-04-26 템플릿을 이용한 실시간 인물합성방법

Publications (1)

Publication Number Publication Date
KR20010102873A true KR20010102873A (ko) 2001-11-17

Family

ID=27702705

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020010022684A KR20020084321A (ko) 2001-04-23 2001-04-26 템플릿을 이용한 실시간 인물합성방법
KR1020010056477A KR20010102873A (ko) 2001-04-23 2001-09-13 정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020010022684A KR20020084321A (ko) 2001-04-23 2001-04-26 템플릿을 이용한 실시간 인물합성방법

Country Status (1)

Country Link
KR (2) KR20020084321A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101126492B1 (ko) * 2004-02-19 2012-03-30 소니 주식회사 화상 처리 장치 및 화상 처리 방법
KR101445263B1 (ko) * 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
KR20160044044A (ko) * 2013-10-04 2016-04-22 구글 인코포레이티드 상세를 유지하는 이미지 블러
KR20190028893A (ko) * 2017-09-11 2019-03-20 주식회사 비투엔 이미지 분석을 통한 객체정보 제공시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158816A (zh) * 2010-12-10 2011-08-17 上海合合信息科技发展有限公司 建立通话时将设定图像在对方电子设备上显示的方法
KR101388965B1 (ko) * 2012-02-10 2014-04-25 박수조 디지털 사진의 드로잉 변환 방법
KR101663042B1 (ko) * 2015-06-10 2016-10-07 주식회사 아이오로라 포토 합성 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101126492B1 (ko) * 2004-02-19 2012-03-30 소니 주식회사 화상 처리 장치 및 화상 처리 방법
KR101445263B1 (ko) * 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
KR20160044044A (ko) * 2013-10-04 2016-04-22 구글 인코포레이티드 상세를 유지하는 이미지 블러
KR20190028893A (ko) * 2017-09-11 2019-03-20 주식회사 비투엔 이미지 분석을 통한 객체정보 제공시스템

Also Published As

Publication number Publication date
KR20020084321A (ko) 2002-11-07

Similar Documents

Publication Publication Date Title
JP4449723B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20100189357A1 (en) Method and device for the virtual simulation of a sequence of video images
JP4461789B2 (ja) 画像処理装置
US8437514B2 (en) Cartoon face generation
JP4753025B2 (ja) メイクアップシミュレーション方法
EP1453002A2 (en) Enhancing portrait images that are processed in a batch mode
US20030234871A1 (en) Apparatus and method of modifying a portrait image
JP4368513B2 (ja) 画像処理方法および装置並びに記録媒体
JP2007193824A (ja) 画像処理方法
JP4219521B2 (ja) マッチング方法および装置並びに記録媒体
US7212674B1 (en) Method, apparatus and recording medium for face extraction
JP2000151985A (ja) 画像処理方法及び記録媒体
JP5896204B2 (ja) 画像処理装置及びプログラム
US9092889B2 (en) Image processing apparatus, image processing method, and program storage medium
KR20010102873A (ko) 정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템
KR100376112B1 (ko) 인터넷을 기반으로 하는 인체 합성 모델링 시스템 및제공방법
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
JP4372494B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体
JP4795988B2 (ja) 画像処理方法
JP2000155836A (ja) 似顔絵画像形成システム及び形成方法
JP2010073222A (ja) メイクアップシミュレーション方法
KR20070096621A (ko) 음영판을 이용한 캐리커쳐 생성 시스템 및 방법
JP6969622B2 (ja) 撮影遊戯装置およびプログラム
JP2002251635A (ja) 3次元cgキャラクタ生成方法、その装置、その方法の実現するためのプログラム、及びそのプログラムを記憶した記憶媒体
JP2005031990A (ja) 画像補正装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application