KR20130120175A - 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20130120175A
KR20130120175A KR1020120043233A KR20120043233A KR20130120175A KR 20130120175 A KR20130120175 A KR 20130120175A KR 1020120043233 A KR1020120043233 A KR 1020120043233A KR 20120043233 A KR20120043233 A KR 20120043233A KR 20130120175 A KR20130120175 A KR 20130120175A
Authority
KR
South Korea
Prior art keywords
image
caricature
face
original image
synthesized
Prior art date
Application number
KR1020120043233A
Other languages
English (en)
Inventor
양재건
Original Assignee
양재건
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양재건 filed Critical 양재건
Priority to KR1020120043233A priority Critical patent/KR20130120175A/ko
Publication of KR20130120175A publication Critical patent/KR20130120175A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • G06T3/04
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사용자 단말에서 촬영 또는 저장된 사진 이미지로 사용자의 편집 작업 없이 캐리커처 이미지를 생성할 수 있는 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 특히 원본 이미지를 촬영하여 원본 이미지 데이터베이스에 저장하는 카메라부; 상기 원본 이미지 데이터베이스에 저장된 이미지들 중에서 캐리커처하고자 하는 하나의 이미지를 사용자로부터 선택받는 원본 이미지 선택부; 상기 사용자에 의해 선택된 원본 이미지에서 얼굴 부분을 추출하는 얼굴 부분 추출부; 상기 얼굴 부분 추출부에 의해 추출된 얼굴 부분을 캐리커처 변환시키는 캐리커처 변환부; 상기 캐리커처 변환부에 의해 변환된 얼굴 부분을 합성할 대상 이미지의 특정 위치에 합성하는 이미지 합성 처리부; 및 상기 합성된 이미지를 합성 이미지 데이터베이스에 저장하는 합성 이미지 저장부를 포함함을 특징으로 한다.

Description

캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체{APPARATUS, METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR GENERATING A CARICATURE AUTOMATICALLY}
본 발명은 캐리커처(caricature) 생성 장치에 관한 것으로, 보다 상세하게는 사용자 단말에서 촬영 또는 저장된 사진 이미지로 사용자의 편집 작업 없이 캐리커처 이미지를 생성할 수 있는 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
인터넷이 등장하고 생활 영역이 다양해지면서 대중 매체를 통해 알려진 인물을 풍자하는 캐리커처(caricature)가 종종 등장하고 있다. 이와 같은 캐리커처는 대통령의 것에서부터 유명 연예인의 것에까지 점점 다양해져 가고 있다.
캐리커처는 전체적으로 인물의 이미지를 살리면서 인물의 부분적인 요소를 조금씩 바꾼 것으로, 변형의 정도 또는 방식에 따라 해당 인물을 풍자하거나 비하시키는 내용이 되기도 한다. 최근 들어 캐리커처가 매우 다양한 용도로 이용되고 있는데, 특정 인터넷 업체의 경우, 특정 인물의 캐리커처를 배경 이미지로 사용하여 카드 메일 서비스를 제공하고 있다.
현재 만들어지는 캐리커처는 대부분이 그 분야의 전문가의 손을 빌어서 인물의 각 부분을 직접 확대하거나 변형하는 방법으로 만들어지고 있다. 이렇게 하다 보니 하나의 캐리커처를 제작하는데 많은 시간이 소요되고, 일반인이 원하는 캐리커처보다는 제작자의 의도에 맞춘 캐리커처가 만들어져서 캐리커처에 대한 일반인의 선택 폭이 매우 좁아진다.
한편, 최근에는 영상 처리 기술이 발전함에 따라, 영상을 촬영 및 이용하는 다양한 기술이 개발되었고 또한 개발 중에 있다. 이러한 영상 처리 기술은 입력되는 얼굴 영상을 검출 및 분석함으로써 사용자를 확인 및 인증하는 시스템 및 얼굴 이미지를 합성하는 시스템에 이용되고 있는데, 종래와 같이 단순히 촬영된 영상을 그대로 표현하는 기술뿐만 아니라, 입력된 영상 데이터를 토대로 과장되거나 단순화된 얼굴 영상을 생성하는 영상 기술이 개발되었다.
따라서, 전문가의 손을 거치지 않고서도 영상 처리 기술에 의해 일반인의 사진으로부터 캐리커처를 생성하는 방법들이 개발되고 있다.
예컨대, 컴퓨터를 이용한 기존의 캐리커처 제작 방법으로, 얼굴 윤곽선의 좌표들의 통계적인 차이값을 이용하여 캐리커처 이미지를 생성하는 피카소 시스템(PICASSO System)을 이용하는 방법, 여러 번의 복잡한 벡터 필드 변환을 통하여 캐리커처 이미지를 생성하는 방법, 제작자가 캐리커처 대상으로부터 느끼는 애매한 느낌을 퍼지 논리로 구현하여 미리 준비된 템플릿들을 조합하여 캐리커처 이미지를 생성하는 방법, 그리고 CCD 카메라에서 사람의 얼굴을 검출 및 인식하여 단순한 와핑 기법을 이용하여 캐리커처 이미지를 생성하는 방법, 와핑 및 모핑을 통한 이미지 왜곡으로 캐리커처 이미지를 생성하는 방법 등이 있다
또한, 이러한 컴퓨터를 이용한 캐리커처 제작 방법에 관한 기술로서, 대한민국 등록특허공보 제10-0545479호 "캐리커처 제작 방법(김왕신)"(문헌 1)에는 로컬 와핑 기법을 이용하여 캐리커처를 생성하는 방법이 개시된다.
그러나, 이러한 방법을 포함하여 종래의 방법들은 얼굴 이미지만으로 최종 캐리커처 이미지를 생성하기 때문에 최종 생성물도 다양하지 못하다는 한계가 있다. 한편, 생성된 캐리커처 얼굴 이미지를 다른 이미지와 합성하고자 할 경우, 별도의 포토샵 프로그램을 이용한 전문가의 작업이 필요하기 때문에 일반인이 작업하기에는 상당한 불편함이 따른다.
아울러, 최근 스마트폰 또는 디지털 카메라의 성능이 다양해지면서 촬영된 사진에 각종 기법의 효과를 줄 수 있는 편집 기능을 제공하고 있으나, 다양한 종류의 이미지를 생성할 수 있는 캐리커처 편집 방법은 아직 제공되지 못하고 있다.
따라서, 별도의 이미지 편집 프로그램의 설치와 사용자의 편집 능력 없이도 직접 촬영한 이미지에 대해 자동으로 원하는 캐리커처를 생성할 수 있는 방법의 필요성이 요구되고 있는 실정이다.
[문헌 1] 대한민국 등록특허공보 제10-0545479호 캐리커처 제작방법(김왕신) 2006.01.17
본 발명의 목적은 사용자 단말에서 촬영 또는 저장된 이미지로부터 얼굴 이미지를 추출하여 캐리커처 처리하고, 이를 대상 이미지와 합성하여 캐리커처 이미지를 생성하는 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
또한, 본 발명의 다른 목적은 원본 이미지에서의 얼굴 크기를 합성 대상 이미지에서의 얼굴 크기로부터 연산하여 리사이징함으로써 캐리커처 이미지의 합성이 가능한 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
본 발명의 상기 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특유의 효과를 달성하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 측면에 따르면, 캐리커처 자동 생성 장치는, 원본 이미지를 촬영하여 원본 이미지 데이터베이스에 저장하는 카메라부; 상기 원본 이미지 데이터베이스에 저장된 이미지들 중에서 캐리커처하고자 하는 하나의 이미지를 사용자로부터 선택받는 원본 이미지 선택부; 상기 사용자에 의해 선택된 원본 이미지에서 얼굴 부분을 추출하는 얼굴 부분 추출부; 상기 얼굴 부분 추출부에 의해 추출된 얼굴 부분을 캐리커처 변환시키는 캐리커처 변환부; 상기 캐리커처 변환부에 의해 변환된 얼굴 부분을 합성할 대상 이미지의 특정 위치에 합성하는 이미지 합성 처리부; 및 상기 합성된 이미지를 합성 이미지 데이터베이스에 저장하는 합성 이미지 저장부를 포함한다.
바람직하게는, 상기 장치는, 합성할 대상 이미지를 저장하는 대상 이미지 데이터베이스; 상기 대상 이미지 데이터베이스에 저장된 상기 합성할 대상 이미지에서 얼굴 영역의 크기를 산출하는 얼굴 크기 산출부; 및 상기 얼굴 크기 산출부에서 산출한 값에 의해 상기 캐리커처 변환부에서 변환시킨 얼굴 이미지의 크기를 상기 대상 이미지의 얼굴 크기에 맞도록 리사이징 처리하는 리사이징부를 더 포함한다.
바람직하게는, 상기 장치는, 상기 대상 이미지 데이터베이스에 저장된 이미지들 중에서 원본 이미지와 합성하고자 하는 하나의 이미지를 사용자로부터 선택받는 대상 이미지 선택부를 더 포함한다.
본 발명의 다른 측면에 따르면, 캐리커처 자동 생성 방법은, 사용자 단말에 구비된 카메라부를 통해 원본 이미지를 촬영하여 원본 이미지 데이터베이스에 저장하는 단계; 상기 원본 이미지 데이터베이스에 저장된 이미지들 중에서 캐리커처하고자 하는 하나의 이미지를 사용자로부터 선택받는 단계; 상기 사용자에 의해 선택된 원본 이미지에서 얼굴 부분을 추출하는 단계; 상기 얼굴 부분 추출부에 의해 추출된 얼굴 부분을 캐리커처 변환시키는 단계; 상기 캐리커처 변환부에 의해 변환된 얼굴 부분을 합성할 대상 이미지의 특정 위치에 합성하는 단계; 및 상기 합성된 이미지를 합성 이미지 데이터베이스에 저장하는 단계를 포함한다.
바람직하게는, 상기 방법은, 합성할 대상 이미지를 대상 이미지 데이터베이스에 저장하는 단계; 상기 대상 이미지 데이터베이스에 저장된 상기 합성할 대상 이미지에서 얼굴 영역의 크기를 산출하는 단계; 및 상기 산출한 값에 의해 상기 캐리커처 변환부에서 변환시킨 얼굴 이미지의 크기를 상기 대상 이미지의 얼굴 크기에 맞도록 리사이징 처리하는 단계를 더 포함한다.
바람직하게는, 상기 리사이징 처리하는 단계는, 합성 대상 이미지에서 제거된 얼굴 영역과 원본 이미지에서 추출된 얼굴 영역의 비를 산출하고, 산출 결과에 따라 캐리커처 변환된 얼굴 이미지를 합성 대상 이미지의 얼굴 크기에 맞게 리사이징하는 것을 특징으로 한다.
바람직하게는, 상기 방법은, 상기 대상 이미지 데이터베이스에 저장된 이미지들 중에서 원본 이미지와 합성하고자 하는 하나의 이미지를 사용자로부터 선택받는 단계를 더 포함한다.
한편, 상기 캐리커처 자동 생성 방법을 제공받기 위한 정보는 서버 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상술한 바와 같이, 본 발명에 따르면, 원본 이미지에서 추출된 얼굴 이미지를 캐리커처 처리한 후 자동으로 리사이징함으로써 사용자의 편집 과정 없이도 대상 이미지와의 합성이 가능한 장점이 있다.
특히, 스마트폰 또는 카메라 등으로 촬영한 영상을 PC 등에 복사하여 일일이 편집하는 과정을 거치지 않아도 자동으로 캐리커처 편집이 가능한 장점이 있다.
또한, 상술한 바와 같이, 본 발명에 따르면, 원본 이미지로부터 합성할 대상이미지를 자유롭게 선택하거나 추천해 줌으로써 합성된 캐리커처 이미지를 용이하게 생성할 수 있는 장점이 있다.
도 1은 본 발명에 따른 캐리커처 자동 생성의 개념을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 캐리커처 생성의 각 단계를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 이미지 합성 애플리케이션이 설치된 사용자 단말의 세부 구조를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 이미지 합성 애플리케이션의 세부 구성을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 캐리커처 자동 생성 절차를 나타내는 흐름도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성 요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명은 사용자 단말(예컨대, 스마트폰 또는 디지털 카메라)에서 촬영 또는 저장된 이미지로부터 얼굴 이미지를 추출하여 캐리커처 처리하고, 이를 대상 이미지와 합성하여 캐리커처 이미지를 생성하는 장치 및 방법을 개시한다.
즉, 본 발명에서는 원본 이미지로부터 캐리커처 처리할 얼굴 이미지를 자동으로 인식하여 추출하고, 추출된 얼굴 이미지를 다양한 방법에 의해 캐리커처 변환 처리한다. 이와 같이, 캐리커처 변환 처리된 얼굴 이미지는 그대로 사용할 수도 있으며, 본 발명의 실시예에 따라 데이터베이스에 저장된 다른 이미지와 합성하여 최종 이미지를 생성할 수도 있다.
이를 위해, 본 발명에서는 합성할 대상 이미지에서 얼굴 영역을 제거하고, 상기 제거된 얼굴 영역의 크기 정보를 데이터베이스에 저장한다.
한편, 사용자가 촬영 또는 저장한 이미지들 중 캐리커처 변환시킬 하나의 이미지를 선택하면 선택된 이미지로부터 얼굴 부분을 추출하고, 추출된 얼굴 부분을 다양한 이미지 프로세싱 방법에 의해 캐리커처 변환시킨다.
상기 캐리커처 변환된 얼굴 이미지는 상기 데이터베이스에 저장된 합성할 대상 이미지와 합성하기 위해 리사이징(resizing)한다. 따라서, 합성 대상 이미지에서 제거된 얼굴 영역과 원본 이미지에서 추출된 얼굴 영역의 비를 산출하고, 산출 결과에 따라 캐리커처 변환된 얼굴 이미지를 합성 대상 이미지의 얼굴 크기에 맞게 리사이징한다.
마지막으로, 상기 리사이징된 얼굴 이미지를 합성 대상 이미지의 제거된 얼굴 영역에 합성함으로써 최종적으로 합성된 캐리커처 이미지가 생성된다.
또한, 후술하는 설명에서의 '사용자 단말'은 스마트폰 또는 디지털 카메라를 의미하며, 이동 통신 단말기, 데스크톱 컴퓨터, 노트북 컴퓨터, 워크스테이션, 팜톱(palmtop) 컴퓨터, 개인 휴대 정보 단말기(personal digital assistant: PDA), 웹 패드 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 사용자 단말로서 채택될 수 있다. 이하, 설명에서는 발명의 이해를 위해 사용자 단말을 스마트폰으로 예를 들어 설명하기로 한다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 캐리커처 자동 생성의 개념을 나타내는 도면이다. 도 1을 참조하면, 사용자 단말(110)(예컨대, 스마트폰 또는 디지털 카메라 등)에서 촬영된 원본 이미지(100)는 메모리(130)에 저장된다. 한편, 본 발명은 이와 같이 촬영된 이미지를 원본 이미지로 사용할 수도 있으며, 다른 매체를 통해 다운로드하여 저장된 이미지를 원본 이미지로 사용할 수도 있다.
또한, 본 발명의 실시예에 따라 캐리커처된 이미지와 합성할 적어도 하나의 합성 대상 이미지를 메모리(130)에 더 저장하며, 상기 합성 대상 이미지는 사용자의 선택의 폭을 넓히기 위해 다양한 종류로 저장할 수 있다. 이때, 상기 합성 대상 이미지는 사진 이미지일 수도 있으며, 만화 캐릭터 등의 그림 이미지일 수도 있다.
한편, 본 발명의 실시예에 따라 상기 합성 대상 이미지에서 캐리커처 이미지와 합성하게 될 얼굴 영역은 제거하는 것이 바람직하며, 상기 얼굴 영역의 크기를 산출하여 저장한다. 이때, 상기 얼굴 영역의 크기 정보는 다양한 포맷으로 저장될 수 있다. 예컨대, 얼굴 영역의 가로 길이, 세로 길이, 곡률 반경 등 다양한 값으로 설정할 수 있다.
사용자 단말(110)에 설치된 캐리커처 변환 애플리케이션을 실행하면, 사용자는 변환할 원본 이미지를 저장된 복수의 이미지들 중에서 선택하며, 선택된 이미지에 대해 캐리커처 변환을 실행하면, 상기 선택된 이미지로부터 자동으로 얼굴 영역을 검색하여 추출한다. 상기 얼굴 영역의 검색 및 추출 방법은 다양한 방법으로 구현할 수 있으며, 상세한 설명은 후술하기로 한다.
이와 같이, 원본 이미지에서 추출된 얼굴 영역은 다양한 이미지 변환 알고리즘에 의해 캐리커처 변환되며, 상기 캐리커처 변환된 얼굴 영역은 상기 메모리(130)에 기저장된 합성 대상 이미지의 얼굴 영역에 합성된다.
이때, 본 발명의 실시예에 따라 상기 원본 이미지에서 추출된 얼굴 영역의 크기와 합성 대상 이미지의 얼굴 영역의 크기는 서로 상이할 수 있기 때문에, 상기 캐리커쳐된 얼굴 영역 이미지를 합성 대상 이미지의 얼굴 영역의 크기에 맞게 리사이징한다.
상기 리사이징 방법은 다양하게 구현할 수 있으며, 상기 원본 이미지에서 얼굴 영역을 식별하여 추출할 때, 추출된 영역의 크기 정보를 저장하고, 상기 합성 대상 이미지의 기저장된 얼굴 영역의 크기 정보와 연산하여 크기 비를 산출한다. 이와 같이 산출된 얼굴 영역의 크기 비를 이용하여 상기 캐리커처된 얼굴 영역을 합성 대상 이미지의 얼굴 크기에 맞게 확대 또는 축소한다. 한편, 상기 리사이징 과정에서 원본 이미지의 캐리커처된 얼굴 이미지의 가로대 세로비가 합성 대상 이미지의 가로대 세로비와 다를 경우 동일한 가로대 세로비율로 리사이징되지 않을 수도 있다. 즉, 상기 캐리커처된 이미지가 원본 이미지로부터 왜곡된 이미지이기 때문에 상기 리사이징 과정에서 가로대 세로비의 왜곡이 더 수행될 수도 있다.
이와 같이, 상기 합성 완료된 이미지는 사용자 단말(110)에 다시 저장되며, 유무선 통신 수단에 의해 외부 장치로 전송되거나, 사용자가 이미지 디스플레이 애플레케이션 등을 사용하여 확인할 수 있다.
도 2는 본 발명의 실시예에 따른 캐리커처 생성의 각 단계를 나타내는 도면이다. 도 2를 참조하면, 상기 도 1에서 상술한 바와 같이 캐리커처 변환할 원본 이미지(200)를 사용자가 선택하면, 사용자 단말에 설치된 캐리커처 변환 애플리케이션의 실행에 따라 상기 선택된 원본 이미지(200)로부터 얼굴 부분(210)을 추출한다.
이때, 상기 얼굴 부분(210)은 원본 이미지(200)를 이미지 프로세싱하여 검출할 수 있다. 예컨대, 상기 원본 이미지(200)를 이미지 프로세싱하여 배경 이미지와 물체 등으로 구분하고, 물체 중에서 특정한 기하학적 형태를 가지는 영역을 얼굴 부분으로 결정할 수 있다. 이때, 상기 검출된 얼굴 부분을 화면 상에서 표시하고 사용자로 하여금 검출이 정상적으로 이루어졌는지 여부를 확인하도록 할 수도 있다.
상기 얼굴 영역의 추출 방법의 일 예를 설명하면 다음과 같다.
먼저, 최적화된 얼굴 후보 영역을 얻은 다음, 최종적으로 얼굴 영역을 얻는다.
한편, 상기 최적화된 얼굴 후보 영역을 얻기 위해 많은 보완 알고리즘이 필요하다. 즉, 얼굴 후보 영역을 선택할 때, 정규화 수단을 거친 R-G, G-B, R-B의 확률 이미지들을 조합하여 빛의 세기 또는 빛의 방향에 민감하지 않도록 하고, 상기 확률 이미지들을 이용하여 이진 이미지를 생성시킨 후, 이에 침식(erosion), 확장(dilation), 라벨링(labeling) 등의 모폴로지(morphology) 기법을 적용하여 최적화된 얼굴 후보 영역을 추출해낸다. 상기 정규화 수단에서는 피부색 정보와 가우시안 확률 이미지를 이용한다.
구체적으로, 실사 이미지에서 얼굴과 관련된 정보를 추출하기 위해 R,G,B 컬러 모델을 사용하여 R-G 확률 이미지와 R-B 확률 이미지와 G-B 확률 이미지를 조합함으로써, 얼굴 후보 영역의 확률 이미지를 얻을 수 있다.
이때, R-G 확률 이미지와 R-B 확률 이미지와 G-B 확률 이미지의 그레이 성분에 대해서 빛의 세기와 방향을 다양하게 변화시키면서 추출한 색차값을, 가우시안 확률 밀도 함수를 이용한 정규화(normalized) 과정을 거쳐 확률 이미지가 조명 변화에 민감하지 않도록 한다.
다음으로, 확률 이미지들을 조합해서 만든 이진 이미지에 대해서 침식과 확장을 사용하여 잡음을 제거하고, 라벨링 과정을 수행하여 원하는 넓이와 가로축 및 세로축의 크기비를 가지는 최적의 얼굴 후보 영역을 추출한다.
이때, 상기 침식 연산은 모폴로지 기법의 한 종류로써 물체와 배경 사이의 노이즈(noise)를 제거하는 것과 같이, 전체 영상에서 아주 작은 물체를 제거하거나 또는 전체 영상에서 배경 확장에 따른 물체를 축소하는 역할 즉, 이미지에서 물체의 최외각 픽셀을 벗겨내는 역할을 하고, 상기 확장 연산은 물체 안의 빈 공간을 메우는 역할을 하거나 끊어진 짧은 거리를 연결시켜 주는 역할 즉, 물체의 최외각 픽셀들을 더해 주는 역할을 한다. 그리고, 상기 라벨링 연산은 침식과 확장 연산을 거친 바이너리 이미지에 라벨링 알고리즘을 적용하여, 원하는 크기와 원하는 가로축 및 세로축의 크기비를 가지는 영역을 제외한 나머지 영역을 노이즈로 간주하고 지정하여 도 3c에서와 같은, 최적의 얼굴 후보 영역을 추출시켜 주는 역할을 한다.
이외에도, 얼굴 후보 영역을 선정하는 방법으로, 피부색 정보를 기반으로 빛의 변화에 둔감한 컬러 공간(YCbCr, HSV)으로 변환하여 추출하는 방법과, 얼굴 공간 상에 얼굴 이미지와 비(非) 얼굴 이미지를 투영 후 클러스터링을 하여 추출하는 방법과, 얼굴 공간 상의 DFFS와 DIFS 정보를 이용하는 방법과, 특징 정보를 기반으로 2차원 가우시안 확률 함수를 이용하여 추출하는 방법과, 피부색 정보와 눈의 위치 정보를 이용하여 추출하는 방법 등 다양하다.
이후, 탬플릿 매칭 과정(template matching method)을 적용하여 상기 최적화된 얼굴 후보 영역에서 얼굴 이미지의 위치를 찾아서 추출해낸다. 이때, 다수명의 정면 얼굴을 합쳐 만든 평균 이미지를 탬플릿 이미지로 하여, 상기 탬플릿 이미지(T/I :template image)를 소스 이미지(S/I :source image)인 최적화된 얼굴 후보 영역을 따라 이동시키면서 해당 영역에서 잘 매칭되는지 수치를 출력하여 얼굴 이미지의 위치를 추적한다.
한편, 본 발명은 상술한 얼굴 추출 방법에 한정되지 않으며, 전체 이미지로부터 얼굴 영역을 추출할 수 있는 어떠한 방법도 본 발명에 적용이 가능하다.
이와 같이, 추출된 얼굴 영역은 본 발명의 실시예에 따라 다양한 방법에 의해 캐리커처 변환된다.
캐리커처 변환 방법으로는, 얼굴 윤곽선의 좌표들의 통계적인 차이값을 이용하여 캐리커처 이미지를 생성하는 피카소 시스템(PICASSO System)을 이용하는 방법, 여러 번의 복잡한 벡터 필드 변환을 통하여 캐리커처 이미지를 생성하는 방법, 제작자가 캐리커처 대상으로부터 느끼는 애매한 느낌을 퍼지 논리로 구현하여 미리 준비된 템플릿들을 조합하여 캐리커처 이미지를 생성하는 방법, 그리고 CCD 카메라에서 사람의 얼굴을 검출 및 인식하여 단순한 와핑 기법을 이용하여 캐리커처 이미지를 생성하는 방법, 와핑 및 모핑을 통한 이미지 왜곡으로 캐리커처 이미지를 생성하는 방법 등 다양한 방법이 본 발명에 적용될 수 있다.
이와 같이, 캐리커처 변환된 얼굴 영역은 본 발명의 실시예에 따라 사용자에 의해 선택된 대상 이미지(230)의 얼굴 영역(231) 크기에 맞게 리사이징될 수 있다.
상기 리사이징된 캐리커처 얼굴 이미지는 상기 대상 이미지(230)의 얼굴 영역(231)에 합성되어 최종 캐리커처 이미지가 생성된다.
도 3은 본 발명의 실시예에 따른 캐리커처 자동 생성 애플리케이션이 설치된 사용자 단말의 세부 구조를 나타내는 도면이다. 도 3을 참조하면, 본 발명의 실시예에 따른 사용자 단말(110)은 입력부(311)와 표시부(312)를 포함하는 터치 스크린(310), 카메라부(320), 제어부(330), 무선 통신부(340), 저장부(350) 등을 포함하여 구성될 수 있다. 또한, 상기 저장부(350)는 이미지 합성 애플리케이션(351), 원본 이미지 데이터베이스(352), 대상 이미지 데이터베이스(353), 합성 이미지 데이터베이스(354) 등을 포함할 수 있다.
입력부(311)는 사용자의 원본 이미지 선택 또는 대상 이미지 선택을 위한 선택 신호를 입력받는다. 또한, 최종 합성된 합성 이미지를 열람 또는 전송하기 위해 사용자 입력을 받아들인다. 표시부(312)는 사용자가 선택한 이미지와 캐리커처된 합성 이미지 등을 표시하는 기능을 수행한다.
한편, 카메라부(320)를 통해 촬영된 이미지는 저장부(353)에 저장될 수 있으며, 상기 저장된 이미지는 캐리커처의 원본 이미지 또는 합성할 대상 이미지로 사용될 수 있다. 무선 통신부(340)는 캐리커처된 합성 이미지를 서버 또는 다른 외부 단말들로 전송하는 기능을 수행한다.
저장부(350)에 저장된 이미지 합성 애플리케이션(351)은 사용자의 실행에 따라 본 발명에 따른 캐리커처 합성 이미지를 자동으로 생성하는 기능을 수행한다. 이에 따라, 원본 이미지 데이터베이스(352)에 저장된 이미지들 중에서 사용자에 의해 선택된 특정 이미지는 대상 이미지 데이터베이스(353)에 저장된 이미지들 중에서 사용자에 의해 선택된 특정 이미지와 합성 처리되어 합성 이미지 데이터베이스(354)에 저장된다. 이때, 상기 도 3에는 각 이미지가 데이터베이스로 구분되어 표시되었으나, 실제로는 메모리 공간에 폴더로 구분되어 저장될 수 있다.
제어부(330)는 상기 각 기능부들을 제어하는 기능을 수행한다. 예컨대, 상기 저장부(350)의 이미지 합성 애플리케이션(351)이 실행되어 카메라 구동을 지시하면, 카메라부(320)를 제어하여 원본 이미지를 촬영하도록 제어하고, 촬영된 이미지를 저장부(350)에 저장한다.
도 4는 본 발명의 실시예에 따른 이미지 합성 애플리케이션의 세부 구성을 나타내는 도면이다. 도 4를 참조하면, 본 발명의 실시예에 따른 이미지 합성 애플리케이션(캐리커처 자동 생성 애플리케이션)(351)은 원본 이미지 선택부(410), 얼굴 부분 추출부(420), 캐리커처 변환부(430), 리사이징부(440), 이미지 합성 처리부(450), 합성 dlawll 저장부(460), 대상 dlawll 선택부(470), 얼굴 크기 산출부(480) 등을 포함하여 구성될 수 있다.
사용자가 이미지 합성 애플리케이션을 실행시키면, 원본 이미지 선택부(410)에서는 원본 이미지 데이터베이스(352)에 저장된 이미지들 중에서 캐리커처하고자 하는 하나의 이미지를 사용자로부터 선택받는다.
얼굴 부분 추출부(420)는 상기 사용자에 의해 선택된 원본 이미지에서 얼굴 부분을 추출한다. 이때, 상기 원본 이미지로부터 얼굴 이미지를 추출하는 방법은 다양하게 구현될 수 있다. 예컨대, 상기 도 2에서 설명한 방법에 의해 얼굴 이미지를 추출하는 것이 가능하다.
캐리커처 변환부(430)는 상기 얼굴 부분 추출부(420)에 의해 추출된 얼굴 부분을 다양한 방법으로 캐리커처 변환시킨다.
한편, 사용자는 상기 선택한 원본 이미지를 합성할 대상 이미지를 대상 이미지 데이터베이스(353)로부터 선택한다. 즉, 대상 이미지 선택부(470)에서는 대상 이미지 데이터베이스(353)에 저장된 이미지들 중에서 원본 이미지와 합성하고자 하는 하나의 이미지를 사용자로부터 선택받는다.
이때, 얼굴 크기 산출부(480)에서는 상기 선택된 대상 이미지에서 얼굴 영역의 크기를 산출한다.
리사이징부(440)에서는 상기 얼굴 크기 산출부(480)에서 산출한 값에 의해 상기 캐리커처 변환부(430)에서 변환시킨 얼굴 이미지의 크기를 상기 대상 이미지의 얼굴 크기에 맞도록 리사이징한다.
이미지 합성 처리부(450)는 상기 리사이징부(440)를 통해 리사이징된 캐리커처 얼굴 이미지를 상기 대상 이미지의 얼굴 영역에 합성 처리한다.
합성 이미지 저장부(460)는 상기 합성된 이미지를 합성 이미지 데이터베이스(354)에 저장한다.
도 5는 본 발명의 실시예에 따른 캐리커처 자동 생성 절차를 나타내는 흐름도이다. 더 5를 참조하면, 먼저 촬영 또는 저장된 이미지 중에서 캐리커처할 원본 이미지를 선택(S501)한다. 이때, 애플리케이션의 실행에 따라 상기 선택된 이미지로부터 얼굴 이미지를 자동 추출(S502)한다. 그런 다음, 상기 추출된 얼굴 이미지를 캐리커처 변환 프로세싱(S503)한다.
다음으로, 사용자는 합성할 대상 이미지를 선택(S507)하고, 대상 이미지와 캐리커처된 원본 얼굴 이미지를 합성한다.
한편, 사용자가 캐리커처된 얼굴 이미지만을 사용(S505)하고자 할 경우에는 상기 합성 과정 없이 캐리커처된 얼굴 이미지를 그대로 저장 또는 출력(S506)한다.
반면, 본 발명의 실시예에 따라 상기 캐리커쳐된 얼굴 이미지를 대상 이미지와 합성하고자 할 경우, 합성할 대상 이미지를 선택(S507)하고, 합성 대상 이미지에서 얼굴 크기를 산출(S508)한다.
그런 다음, 캐리커처된 얼굴 이미지를 상기 합성 대상 이미지의 얼굴 크기에 맞도록 리사이징(S509)한 다음, 상기 리사이징된 이미지를 합성 대상 이미지에 합성(S510)한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 원본 이미지 110 : 사용자 단말
120 : 합성 이미지 130 : 메모리
200 : 원본 이미지 210 : 원본 얼굴
220 : 캐리커처 변환 얼굴 230 : 대상 이미지
231 : 리사이징 얼굴 310 : 터치 스크린
311 : 입력부 312 : 표시부
320 : 카메라부 330 : 제어부
340 : 무선 통신부 350 : 저장부
351 : 이미지 합성 애플리케이션 352 : 원본 이미지 데이터베이스
353 : 대상 이미지 데이터베이스 354 : 합성 이미지 데이터베이스
410 : 원본 이미지 선택부 420 : 얼굴 부분 추출부
430 : 캐리커처 변환부 440 : 리사이징부
450 : 이미지 합성 처리부 460 : 합성 이미지 저장부
470 : 대상 이미지 선택부 480 : 얼굴 크기 산출부

Claims (8)

  1. 원본 이미지를 촬영하여 원본 이미지 데이터베이스에 저장하는 카메라부;
    상기 원본 이미지 데이터베이스에 저장된 이미지들 중에서 캐리커처하고자 하는 하나의 이미지를 사용자로부터 선택받는 원본 이미지 선택부;
    상기 사용자에 의해 선택된 원본 이미지에서 얼굴 부분을 추출하는 얼굴 부분 추출부;
    상기 얼굴 부분 추출부에 의해 추출된 얼굴 부분을 캐리커처 변환시키는 캐리커처 변환부;
    상기 캐리커처 변환부에 의해 변환된 얼굴 부분을 합성할 대상 이미지의 특정 위치에 합성하는 이미지 합성 처리부; 및
    상기 합성된 이미지를 합성 이미지 데이터베이스에 저장하는 합성 이미지 저장부를 포함하는, 캐리커처 자동 생성 장치.
  2. 청구항 1에 있어서, 상기 장치는,
    합성할 대상 이미지를 저장하는 대상 이미지 데이터베이스;
    상기 대상 이미지 데이터베이스에 저장된 상기 합성할 대상 이미지에서 얼굴 영역의 크기를 산출하는 얼굴 크기 산출부; 및
    상기 얼굴 크기 산출부에서 산출한 값에 의해 상기 캐리커처 변환부에서 변환시킨 얼굴 이미지의 크기를 상기 대상 이미지의 얼굴 크기에 맞도록 리사이징 처리하는 리사이징부를 더 포함하는, 캐리커처 자동 생성 장치.
  3. 청구항 1에 있어서, 상기 장치는,
    상기 대상 이미지 데이터베이스에 저장된 이미지들 중에서 원본 이미지와 합성하고자 하는 하나의 이미지를 사용자로부터 선택받는 대상 이미지 선택부를 더 포함하는, 캐리커처 자동 생성 장치.
  4. 사용자 단말에 구비된 카메라부를 통해 원본 이미지를 촬영하여 원본 이미지 데이터베이스에 저장하는 단계;
    상기 원본 이미지 데이터베이스에 저장된 이미지들 중에서 캐리커처하고자 하는 하나의 이미지를 사용자로부터 선택받는 단계;
    상기 사용자에 의해 선택된 원본 이미지에서 얼굴 부분을 추출하는 단계;
    상기 얼굴 부분 추출부에 의해 추출된 얼굴 부분을 캐리커처 변환시키는 단계;
    상기 캐리커처 변환부에 의해 변환된 얼굴 부분을 합성할 대상 이미지의 특정 위치에 합성하는 단계; 및
    상기 합성된 이미지를 합성 이미지 데이터베이스에 저장하는 단계를 포함하는, 캐리커처 자동 생성 방법.
  5. 청구항 4에 있어서, 상기 방법은,
    합성할 대상 이미지를 대상 이미지 데이터베이스에 저장하는 단계;
    상기 대상 이미지 데이터베이스에 저장된 상기 합성할 대상 이미지에서 얼굴 영역의 크기를 산출하는 단계; 및
    상기 산출한 값에 의해 상기 캐리커처 변환부에서 변환시킨 얼굴 이미지의 크기를 상기 대상 이미지의 얼굴 크기에 맞도록 리사이징 처리하는 단계를 더 포함하는, 캐리커처 자동 생성 방법.
  6. 청구항 4에 있어서, 상기 리사이징 처리하는 단계는,
    합성 대상 이미지에서 제거된 얼굴 영역과 원본 이미지에서 추출된 얼굴 영역의 비를 산출하고, 산출 결과에 따라 캐리커처 변환된 얼굴 이미지를 합성 대상 이미지의 얼굴 크기에 맞게 리사이징하는 것을 특징으로 하는, 캐리커처 자동 생성 방법.
  7. 청구항 4에 있어서, 상기 방법은,
    상기 대상 이미지 데이터베이스에 저장된 이미지들 중에서 원본 이미지와 합성하고자 하는 하나의 이미지를 사용자로부터 선택받는 단계를 더 포함하는, 캐리커처 자동 생성 방법.
  8. 청구항 4 내지 청구항 7 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020120043233A 2012-04-25 2012-04-25 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 KR20130120175A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120043233A KR20130120175A (ko) 2012-04-25 2012-04-25 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120043233A KR20130120175A (ko) 2012-04-25 2012-04-25 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
KR20130120175A true KR20130120175A (ko) 2013-11-04

Family

ID=49850928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120043233A KR20130120175A (ko) 2012-04-25 2012-04-25 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR20130120175A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208183A (zh) * 2014-06-27 2015-12-30 上海玄霆娱乐信息科技有限公司 电子设备显示漫画的方法
KR20160041431A (ko) * 2014-10-07 2016-04-18 이재천 캐리커처 주문 시스템 및 이의 실행 방법
KR20180031655A (ko) * 2018-03-16 2018-03-28 네이버웹툰 주식회사 컷 단위로 구성된 컨텐츠를 제어하는 컨텐츠 제공 시스템
CN109191545A (zh) * 2018-08-27 2019-01-11 北京奇虎科技有限公司 一种制作漫画的方法及装置
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
WO2019124850A1 (ko) * 2017-12-20 2019-06-27 네이버랩스 주식회사 사물 의인화 및 인터랙션을 위한 방법 및 시스템
KR20190074558A (ko) * 2017-12-20 2019-06-28 네이버랩스 주식회사 사물 의인화 및 사물 컨텍스트를 이용한 인공지능 대화 방법 및 시스템
KR20190074560A (ko) * 2017-12-20 2019-06-28 네이버랩스 주식회사 사물 의인화 및 인터랙션을 위한 방법 및 시스템
KR102417425B1 (ko) * 2021-06-07 2022-07-06 주식회사 클레온 얼굴형을 고려하며 딥러닝 네트워크를 이용하는 배경 및 얼굴 합성 방법 및 장치
US11908237B2 (en) 2020-04-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd. Image processing method and apparatus, electronic device, and computer-readable storage medium

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208183A (zh) * 2014-06-27 2015-12-30 上海玄霆娱乐信息科技有限公司 电子设备显示漫画的方法
KR20160041431A (ko) * 2014-10-07 2016-04-18 이재천 캐리커처 주문 시스템 및 이의 실행 방법
WO2019124850A1 (ko) * 2017-12-20 2019-06-27 네이버랩스 주식회사 사물 의인화 및 인터랙션을 위한 방법 및 시스템
KR20190074558A (ko) * 2017-12-20 2019-06-28 네이버랩스 주식회사 사물 의인화 및 사물 컨텍스트를 이용한 인공지능 대화 방법 및 시스템
KR20190074560A (ko) * 2017-12-20 2019-06-28 네이버랩스 주식회사 사물 의인화 및 인터랙션을 위한 방법 및 시스템
KR20180031655A (ko) * 2018-03-16 2018-03-28 네이버웹툰 주식회사 컷 단위로 구성된 컨텐츠를 제어하는 컨텐츠 제공 시스템
CN109191545A (zh) * 2018-08-27 2019-01-11 北京奇虎科技有限公司 一种制作漫画的方法及装置
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
US11908237B2 (en) 2020-04-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd. Image processing method and apparatus, electronic device, and computer-readable storage medium
KR102417425B1 (ko) * 2021-06-07 2022-07-06 주식회사 클레온 얼굴형을 고려하며 딥러닝 네트워크를 이용하는 배경 및 얼굴 합성 방법 및 장치
WO2022260385A1 (ko) * 2021-06-07 2022-12-15 주식회사 클레온 얼굴형을 고려하며 딥러닝 네트워크를 이용하는 배경 및 얼굴 합성 방법 및 장치

Similar Documents

Publication Publication Date Title
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US11132578B2 (en) System and method for creating navigable views
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
Setlur et al. Automatic image retargeting
KR101605983B1 (ko) 얼굴 검출을 이용한 이미지 재구성
KR20230013243A (ko) 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지
US11393200B2 (en) Hybrid feature point/watermark-based augmented reality
JP3753722B2 (ja) 歯牙映像からの歯牙領域の抽出方法及び歯牙映像を利用した身元確認方法及び装置
US20120183238A1 (en) Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
JP2006012062A (ja) 画像処理装置及びその方法、プログラム、撮像装置
TW201433160A (zh) 電子裝置及其影像合成方法
US20100250588A1 (en) Image searching system and image searching method
WO2014074959A1 (en) Real-time face detection using pixel pairs
KR20100025862A (ko) 얼굴인식을 이용한 얼굴관상정보 및 얼굴 아바타 생성시스템
JP2009169925A (ja) 画像検索装置および画像検索方法
KR101812103B1 (ko) 썸네일이미지 설정방법 및 설정프로그램
JP2012203823A (ja) 画像認識装置
US11647294B2 (en) Panoramic video data process
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
JP2016197302A (ja) 画像処理装置、画像処理方法、及びプログラム
CN114627211A (zh) 视频名片生成方法、装置、计算机设备和存储介质
JP2018147019A (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
CN112819016A (zh) 图像处理方法、装置、电子设备及存储介质
JP6717769B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application