KR101335755B1

KR101335755B1 - 화상 변형 장치, 전자 기기, 화상 변형 방법, 화상 변형 프로그램, 및 그 프로그램을 기록한 기록 매체

Info

Publication number: KR101335755B1
Application number: KR1020127030629A
Authority: KR
Inventors: 히로마츠 아오키; 엔웨이 첸; 마사타카 세오; 미즈호 오무라
Original assignee: 더 리츠메이칸 트러스트; 오므론 가부시키가이샤
Priority date: 2010-04-30
Filing date: 2011-04-01
Publication date: 2013-12-12
Also published as: WO2011135977A1; EP2565847A1; KR20130020684A; CN102971769A; EP2565847A4; EP2565847B1; US8831378B2; CN102971769B; JP2011233073A; JP5240795B2; US20130039599A1

Abstract

디지털 카메라(10)의 제어부(11)는, 얼굴의 촬영 화상의 적어도 일부를, 소정의 변형의 종류에 의거하여 변형하는 것이다. 제어부(11)는, 얼굴의 촬영 화상을 취득하는 화상 취득부(20)와, 취득된 얼굴의 촬영 화상으로부터, 얼굴을 특징짓는 특징점을 검출하는 특징점 검출부(22)와, 검출된 특징점과, 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 촬영 화상에 제어점 및 그 이동량 벡터를 설정하는 제어점 설정부(23)와, 촬영 화상에 격자점을 설정하고, 설정한 격자점의 이동량 벡터를, 설정된 제어점 및 그 이동량 벡터에 의거하여 설정하는 격자점 설정부(24)와, 설정된 격자점의 이동량에 의거하여 격자점을 이동시켜서, 격자점을 정점으로 하는 사각형의 화상 영역을 변형하는 화상 변형부(25)를 구비한다. 이에 의해, 화상 변형에서의 처리 부담을 경감할 수 있다.

Description

화상 변형 장치, 전자 기기, 화상 변형 방법, 화상 변형 프로그램, 및 그 프로그램을 기록한 기록 매체{IMAGE TRANSFORMING DEVICE, ELECTRONIC DEVICE, IMAGE TRANSFORMING METHOD, IMAGE TRANSFORMING PROGRAM, AND RECORDING MEDIUM WHEREUPON THE PROGRAM IS RECORDED}

본 발명은, 대상이 되는 물체인 대상물의 촬영 화상의 적어도 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 장치, 전자 기기, 화상 변형 방법, 화상 변형 프로그램, 및 그 프로그램을 기록한 기록 매체에 관한 것이다.

근래, 디지털 카메라, 카메라 부착 휴대 전화기 등의 디지털 촬영 장치에서, 하드웨어의 다기능화 및 고기능화가 진행됨에 의해, 소프트웨어의 다기능화 및 고기능화에 의해 상품의 차별화를 도모하는 경향에 있다. 이 소프트웨어의 다기능화 및 고기능화의 한 예로서는, 또한, 촬영한 얼굴 화상에서의 얼굴의 일부의 형상을 확대 또는 축소함에 의해, 작은얼굴(小顔)로 하거나, 익살스런 얼굴로 하거나 하는 얼굴 변형 기능을 들 수 있다.

이 얼굴 변형 기능의 종래 기술로서는, 특허 문헌 1 내지 3을 들 수 있다. 특허 문헌 1에 기재된 화상 처리 장치에서는, 대상 화상으로부터 얼굴 화상을 검출하고, 검출한 얼굴 화상에 대해, 변형의 종류에 대응지어진 소정의 배치 패턴에 따라, 복수의 분할점을 배치하고, 분할점을 이동함에 의해, 분할점으로 둘러싸인 영역을 변형함에 의해 상기 얼굴 화상을 변형하고 있다.

또한, 특허 문헌 2에 기재된 화상 처리 장치에서는, 인물의 화상으로부터 얼굴 영역을 추출하고, 추출된 얼굴 영역으로부터 상기 인물의 윤곽을 검출하고, 검출된 상기 인물의 얼굴의 윤곽에 의거하여 상기 인물의 얼굴의 형태를 분류하고, 분류된 상기 인물의 얼굴의 형(形)의 종류에 의거하여, 상기 인물의 얼굴의 윤곽을 보정하고 있다. 또한, 특허 문헌 3에 기재된 얼굴 화상 변형 장치에서는, 사람의 얼굴 및 목의 화상상(上)에 점을 배치하고, 상기 점으로부터 메시를 생성하여 중첩하고, 상기점의 각각에 대해, 왜곡 벡터를 적용하여 재배치함에 의해, 상기 메시가 변형되어 얼굴 화상이 변형된다.

이상과 같이, 종래의 얼굴 변형 기능에서는, 대상 화상으로부터 얼굴 화상을 검출하고, 검출한 얼굴 화상에 응하여, 분할점 또는 얼굴의 윤곽을 배치하고, 이것을 변형의 종류에 응하여 이동시킴에 의해, 상기 분할점 또는 얼굴의 윤곽으로 둘러싸인 영역을 변형하고 있다.

특허 문헌 1 : 일본국 공개특허공보 「특개2008-242807호 공보(2008년 10월 09일 공개)」 특허 문헌 2 : 일본국 공개특허공보 「특개2004-264893호 공보(2004년 09월 24일 공개) 특허 문헌 3 : 미국 특허출원 공개 제2008/0174795호 명세서(2008년 07월 24일 공개)

그렇지만, 상기 종래 기술에서는, 검출된 얼굴 화상에 응하여 분할점 또는 얼굴의 윤곽을 배치하기 때문에, 얼굴 화상에서의 얼굴이 기울어져 있는 경우, 그 얼굴의 기울기에 응하여, 상기 분할점 또는 얼굴의 윤곽을 회전시킬 필요가 있다. 이 때문에, 상기 분할점 또는 얼굴의 윤곽으로 둘러싸인 영역의 경계를 산출하고, 화상의 픽셀이 어느 쪽의 영역에 포함되는지를 픽셀마다 판정할 필요가 있다. 그 결과, 처리하여야 할 양이 많아져 버려, 특히, 디지털 카메라나 카메라 부착 휴대 전화기 등의 소형 기기로 상기 얼굴 변형 기능을 실행시키려고 한 경우에는, 처리 시간이 문제가 되어 버린다.

본 발명은, 상기한 문제점을 감안하여 이루어진 것이고, 그 목적은, 처리 부담을 경감할 수 있는 화상 변형 장치 등을 제공하는 것에 있다.

본 발명에 관한 화상 변형 장치는, 대상이 되는 물체인 대상물의 촬영 화상의 적어도 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 장치로서, 상기 과제를 해결하기 위해, 상기 대상물의 촬영 화상을 취득하는 취득 수단과, 그 취득 수단이 취득한 대상물의 촬영 화상으로부터, 상기 대상물을 특징짓는 특징 정보를 검출하는 검출 수단과, 그 검출 수단이 검출한 특징 정보와, 상기 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정하는 제어점 설정 수단과, 상기 촬영 화상에 격자점을 설정하고, 설정한 격자점의 이동 정보를, 상기 제어점 설정 수단이 설정한 제어점 및 그 이동 정보에 의거하여 설정하는 격자점 설정 수단과, 그 격자점 설정 수단이 설정한 격자점의 이동 정보에 의거하여 격자점을 이동시켜서, 격자점을 정점(頂点)으로 하는 사각형의 화상 영역을 변형하는 화상 변형 수단을 구비하는 것을 특징으로 하고 있다.

또한, 본 발명에 관한 화상 변형 방법은, 대상이 되는 물체인 대상물의 촬영 화상의 적어도 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 방법으로서, 상기 과제를 해결하기 위해, 상기 대상물의 촬영 화상을 취득하는 취득 스텝과, 그 취득 스텝에서 취득된 대상물의 촬영 화상으로부터, 상기 대상물을 특징짓는 특징 정보를 검출하는 검출 스텝과, 그 검출 스텝에서 검출된 특징 정보와, 상기 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정하는 제어점 설정 스텝과, 상기 촬영 화상에 격자점을 설정하고, 설정한 격자점의 이동 정보를, 상기 제어점 설정 스텝에서 설정된 제어점 및 그 이동 정보에 의거하여 설정하는 격자점 설정 스텝과, 그 격자점 설정 스텝에서 설정된 격자점의 이동 정보에 의거하여 격자점을 이동시켜서, 격자점을 정점으로 하는 사각형의 화상 영역을 변형하는 화상 변형 스텝을 포함하는 것을 특징으로 하고 있다.

여기서, 변형의 종류의 예로서는, 작은얼굴 변형 등을 들 수 있다. 또한, 특징 정보의 예로서는, 얼굴 화상이라면, 눈꼬리(目尾), 눈구석(目頭), 입끝점(口端点), 얼굴 중심점, 턱끝점, 관자놀이 등을 들 수 있다.

상기 구성 및 방법에 의하면, 대상물의 촬영 화상을 취득하면, 취득된 대상물의 촬영 화상으로부터, 그 대상물을 특징짓는 특징 정보를 검출하고, 검출된 특징 정보와, 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정한다. 한편, 제어점에 관계없이, 촬영 화상에 격자점을 설정한다. 다음에, 설정된 격자점의 이동 정보를, 상기 제어점 및 그 이동 정보에 의거하여 설정한다. 그리고, 설정된 격자점의 이동 정보에 의거하여, 격자점을 정점으로 하는 사각형의 화상 영역을 변형한다. 이에 의해, 대상물의 화상이 변형된다.

이와 같이, 본 발명에서는, 화상 변형에 이용되는 격자점은, 화상의 특징 정보에 응하여 배치되는 제어점에 관계없이 설정되어 있다. 이에 의해, 촬영 화상에서의 대상물의 기울기에 응하여 제어점을 기울여서 배치하여도, 격자점은 기울여서 배치할 필요가 없고, 상기 격자점을 정점으로 하는 사각형의 화상 영역도 기울여서 배치할 필요가 없다. 따라서, 화상의 픽셀이 상기 화상 영역의 어느 쪽에 포함되는지를 용이하게 판정할 수 있고, 처리 부담을 경감할 수 있다.

또한, 상기 변형을 위한 제어점의 이동량은, 예를 들면, 각 제어점에 관해 어느 정도 이동시키는 것이 바람직한지를 미리 학습함에 의해, 대상물의 이동량 벡터 분포 모델을 생성하고, 생성한 모델을, 상기 대상물의 특징점에 피팅시켜서 결정하면 좋다. 또한, 유저가 각 제어점의 이동량을 수동(手動)으로 설정하여 기억하여도 좋다.

또한, 상기 변형을 위한 격자점의 이동량은, 상기 제어점의 이동량의 정보를 이용하여, 예를 들면, 3차의 B스플라인 함수를 이용하는 등, 일반적으로 이용되는 보간 처리에 의해 구하면 좋다. 통상은, 고차 보간을 이용하는 것이 바람직하지만, 상술한 제어점과 마찬가지로, 이동량 벡터 분포 모델을 생성하여 두면, 제어점의 이동량과 모델의 이동량과의 관계로부터 선형적으로 산출할 수 있다.

이상과 같이, 본 발명에 관한 화상 변형 장치는, 화상 변형에 이용되는 격자점이, 화상의 특징 정보에 응하여 배치되는 제어점에 관계없이 설정되기 때문에, 촬영 화상에서의 대상물의 기울기에 응하여 제어점을 기울여서 배치하여도, 격자점을 기울여서 배치할 필요가 없고, 상기 격자점을 정점으로 하는 사각형의 화상 영역도 기울여서 배치할 필요가 없고, 그 결과, 화상의 픽셀이 상기 화상 영역의 어디에 포함되는지를 용이하게 판정할 수 있고, 처리 부담을 경감할 수 있다는 효과를 이룬다.

도 1은 본 발명의 한 실시 형태인 디지털 카메라의 개략 구성을 도시하는 블록도.
도 2는 상기 실시 형태에서의 작은얼굴 변형의 개요를 도시하는 도면.
도 3은 상기 작은얼굴 변형의 개요를 도시하는 도면.
도 4는 상기 작은얼굴 변형의 개요를 도시하는 도면.
도 5는 상기 작은얼굴 변형의 개요를 도시하는 도면.
도 6은 상기 작은얼굴 변형의 개요를 도시하는 도면.
도 7은 상기 작은얼굴 변형의 개요를 도시하는 도면.
도 8은 상기 디지털 카메라의 기억부에 기억되는 이동량 벡터 분포 테이블의 얼굴 화상에 대한 유무를 도시하는 도면.
도 9는 상기 이동량 벡터 분포 테이블의 x축방향의 이동량을 나타내는 테이블의 한 예를 도시하는 도면.
도 10은 상기 x축방향의 이동량을 나타내는 테이블의 한 예를 도시하는 도면.
도 11은 상기 x축방향의 이동량을 나타내는 테이블의 한 예를 도시하는 도면.
도 12는 상기 디지털 카메라에서의 화상 변형의 처리 동작을 도시하는 플로 차트.

본 발명의 한 실시 형태에 관해 도 1 내지 도 12를 참조하여 설명한다. 도 1은, 본 실시 형태인 디지털 카메라의 개략 구성을 도시하고 있다. 도시하는 바와 같이, 디지털 카메라(전자 기기)(10)는, 제어부(화상 변형 장치)(11), 기억부(12), 촬영부(13), 조작부(14), 및 표시부(15)를 구비하는 구성이다.

제어부(11)는, 디지털 카메라(10) 내에서의 각종 구성의 동작을 통괄적으로 제어한다. 제어부(11)는, 예를 들면 CPU(Central Processing Unit) 및 메모리를 포함하는 컴퓨터에 의해 구성된다. 그리고, 각종 구성의 동작 제어는, 제어 프로그램을 컴퓨터에 실행시킴에 의해 행하여진다. 이 프로그램은, 예를 들면 플래시 메모리 등의 리무버블 미디어에 기록되어 있는 것을 판독하여 사용하는 형태라도 좋고, 하드 디스크 등에 인스톨된 것을 판독하여 사용하는 형태라도 좋다. 또한, 상기 프로그램을 다운로드하여 하드 디스크 등에 인스톨하여 실행하는 형태 등도 생각된다. 그리고, 제어부(11)의 상세에 관해는 후술한다.

기억부(12)는, 플래시 메모리, ROM(Read Only Memory) 등의 불휘발성의 기억 장치와, RAM(Random Access Memory) 등의 휘발성의 기억 장치에 의해 구성되는 것이다. 불휘발성의 기억 장치에 기억되는 내용으로서는, 상기한 제어 프로그램, OS(operating system) 프로그램, 그 밖의 각종 프로그램, 후술하는 촬영 화상의 데이터, 등을 들 수 있다. 한편, 휘발성의 기억 장치에 기억되는 내용으로서는, 작업용 파일, 템퍼러리 파일 등을 들 수 있다. 그리고, 기억부(12)의 상세에 관해는 후술한다.

촬영부(13)는, 피사체의 촬영을 행하는 것이고, 예를 들면 렌즈군, 조리개, 촬상 소자 등의 광학계와, 앰프, A/D 컨버터 등의 회로계를 구비하고 있다. 촬상 소자의 예로서는, CCD, CMOS(Complementary Metal-oxide Semiconductor) 이미지 센서 등을 들 수 있다. 촬영부(13)는, 상기 촬영에 의해 촬영 화상을 생성하고, 촬영 화상의 데이터로 변환하여 제어부(11)에 송신한다.

조작부(14)는, 유저의 조작에 의해 유저로부터 각종의 입력을 접수하는 것이고, 입력용 버튼, 터치 패널, 그 밖의 입력 디바이스에 의해 구성되어 있다. 조작부(14)는, 유저가 조작한 정보를 조작 데이터로 변환하여 제어부(11)에 송신한다. 또한, 입력 디바이스의 다른 예로서는, 키보드와, 텐 키와, 마우스 등의 포인팅 디바이스를 들 수 있다.

표시부(15)는, 제어부(11)로부터의 화상 데이터에 의거하여, 문자나 화상 등의 각종의 정보를 표시 출력하는 것이다. 표시부(15)는, LCD(액정 표시 소자), CRT(음극선관), 플라즈마 디스플레이 등의 표시 디바이스에 의해 구성되어 있다.

본 실시 형태에서는, 정면을 향한 얼굴 화상의 얼굴이 말끔하게 작게 보이도록, 얼굴의 윤곽, 특히 턱 부근을 변형시키는, 이른바 작은얼굴 변형을 실행하고 있다. 도 2 내지 도 7은, 본 실시 형태에서의 작은얼굴 변형의 개요를 도시하고 있다.

우선, 촬영부(13) 또는 기억부(12)로부터 촬영 화상(CI)의 데이터를 취득하면, 도 2의 (a)에 도시하는 바와 같이, 촬영 화상(CI)에서의 얼굴의 영역(FA)을 검출한다. 도시한 예에서는, 얼굴의 영역(FA)은, 검은테두리로 둘러싸인 영역이다.

다음에, 검출된 얼굴의 영역(FA)으로부터, 도 2의 (b)에 도시하는 바와 같이, 얼굴의 특징점(특징 정보)(FP)을 검출한다. 그리고, 얼굴의 특징점(FP)에는, 눈(目), 임(口), 코(鼻) 등, 얼굴의 기관을 특징짓는 얼굴 기관점(器官点)도 포함된다. 눈의 얼굴 기관점으로서는, 눈구석, 눈꼬리, 눈의 중심점 등을 들 수 있고, 입의 얼굴 기관점으로서는, 입의 끝점, 입의 중심점 등을 들 수 있고, 코의 얼굴 기관점으로서는, 코의 중심점 등을 들 수 있다. 그리고, 모든 특징점을 검출할 필요는 없고, 작은얼굴 변형에 관계가 있는 얼굴의 특징점(FP)을 검출하면 좋다. 도 2의 (b)에 도시하는 예에서는, 특징점(FP)으로서, 눈꼬리, 눈구석, 입의 끝점, 얼굴의 중심점, 턱의 끝점, 관자놀이를 검출하고 있다.

다음에, 검출된 얼굴의 특징점(FP)에 의거하여, 도 2의 (c)에 도시하는 바와 같이, 제어점(CP)이 촬영 화상(CI)에 배치된다. 구체적으로는, 제어점(CP)은, 촬영 화상(CI)에서 변형 대상이 되는 영역(예를 들면, 얼굴, 코, 눈 등)의 윤곽상(上)에 배치된다. 작은얼굴 변형의 예에서는, 턱의 하단, 관자놀이, 및 턱의 하관 등을 제어점(CP)으로 하면 좋다. 또한, 특징점(FP)의 몇개를 제어점(CP)으로 하여도 좋다. 도시한 예에서는, 제어점(CP)은, 작은 얼굴 변형의 대상이 되는, 턱부터 관자놀이에 걸쳐서의 얼굴의 윤곽상에 배치된다. 또한, 턱의 끝점의 특징점(FP)을 제어점(CP)으로 하고 있다.

또한, 제어점(CP)의 배치의 패턴은, 변형의 종류에 의해 미리 정하여져 있다. 또한, 제어점(CP)의 배치 방법은, 대상이 되는 윤곽선을 검출함에 의해 행하는 방법, 윤곽선 모델을 생성하는 방법 등의 중에서 선택된다.

다음에, 도 3에 도시하는 바와 같이, 배치된 제어점(CP)마다, 작은얼굴 변형으로 이동하여야 할 이동량 및 이동 방향을 결정한다. 예를 들면, 배치된 제어점(CP)에 대해 이동량 테이블을 피팅함에 의해, 상기 이동량 및 이동 방향을 결정할 수 있다.

도 3에 도시하는 예에서는, 결정된 이동량 및 이동 방향을 이동량 벡터(제어점의 이동 정보)(MV)로 나타내고 있다. 각 제어점(CP)에서의 이동량 벡터(MV)는, 당해 제어점(CP)으로부터 얼굴의 중심점(코의 정점)의 특징점(FP)까지의 벡터에 비례하고 있고, 비례 정수는, 작은얼굴 변형에 적합하도록, 제어점(CP)마다 설정되어 있다. 도시한 예에서는, 양측의 제어점(CP)에서의 비례 정수가 크고, 즉 이동량이 많이 설정되고, 하측의 제어점(CP)에서의 비례 정수가 작고, 즉 이동량이 적게 설정되어 있다.

다음에, 제어점(CP)과는 별도로, 도 4에 도시하는 바와 같이, 변형 대상이 되는 영역을 적어도 포함하는 영역에 격자점(GD)을 설정한다. 그리고, 격자점(GD)은, 격자점(GD)으로 구성되는 격자의 각 변이 픽셀의 위치를 나타내기 위한 2개의 좌표축중의 어느 한쪽과 평행한 관계가 되도록 설정되는 것이 바람직하다(상기 2개의 좌표축이란, 화상에 포함되는 각 픽셀의 위치를 나타내기 위한 좌표에서의 종축과 횡축을 의미한다). 이 경우, 4개의 격자점(GD)을 정점으로 하는 화상 영역의 각각중, 어느 화상 영역에 각 픽셀이 포함되어 있는지를 용이하게 판정할 수 있다.

다음에, 제어점(CP)의 이동량 벡터(MV)에 의거하여, 도 5에 도시하는 바와 같이, 격자점(GD)에서의 이동량 및 이동 방향을 산출한다. 도시한 예에서는, 산출된 이동량 및 이동 방향을 이동량 벡터(격자점의 이동 정보)(MVg)로 나타내고 있다.

각 격자점(GD)에서의 이동 방향은, 각 제어점(CP)에서의 이동 방향과 마찬가지로, 당해 격자점(GD)으로부터 얼굴의 중심점의 특징점(FP)을 향하는 방향이 된다. 또한, 각 격자점(GD)에서의 이동량은, 당해 격자점(GD) 부근의 제어점(CP)의 이동량 벡터(MV)의 분포로부터, 3차 B-스플라인 함수 등의 고차 보간을 이용하여 산출된다. 예를 들면, 인접하는 격자점(GD) 사이의 거리를 1로 하여, 당해 격자점(GD)부터 제어점(CP)까지의 거리에 의거하여 이동량을 산출한다.

다음에, 도 6의 (a)에 도시하는 바와 같이, 4개의 격자점(GD)을 정점으로 하는 화상 영역을, 동도의 (b)에 도시하는 바와 같이, 당해 4개의 격자점(GD)에서의 이동량 및 이동 방향에 의거하여 변형한다. 그 결과, 도 7에 도시하는 바와 같이, 작은얼굴 변형이 행하여진 촬영 화상(CI')이 작성되고, 표시부(15)를 통하여 표시 출력된다. 또한, 상기 화상 영역 내의 각 픽셀의 이동량 및 이동 방향은, 상기 4개의 격자점(GD)에서의 이동량 및 이동 방향에 의거하여 보간을 이용하여 산출할 수 있다.

또한, 상기 4개의 격자점(GD)에서의 이동량이 소정치 이하인 경우, 상기 4개의 격자점(GD)을 정점으로 하는 화상 영역의 변형을 생략하는 것이 바람직하다. 이 경우, 변형 처리가 행하여지는 화상 영역을 줄일 수 있기 때문에, 처리를 고속화할 수 있다.

또한, 상기 4개의 격자점(GD)의 어느 하나의 이동량 또는 휘도차가 소정치 이상인 경우, 고차원의 보간을 이용하여, 상기 화상 영역 내의 각 픽셀의 이동량 및 이동 방향을 산출하는 것이 바람직하다. 이 경우, 상기 화상 영역의 화상을 정밀도 좋게 변형함에 의해, 화상의 변형에 의한 화질의 저하를 억제할 수 있다.

이에 의해, 본 실시 형태의 디지털 카메라(10)는, 화상 변형에 이용되는 격자점(GD)은, 화상의 특징 정보에 응하여 배치되는 제어점(CP)에 관계없이 설정되어 있다. 이에 의해, 촬영 화상(CI)에서의 얼굴의 기울기에 응하여 제어점(CP)을 기울여서 배치하여도, 격자점(GD)은 기울여서 배치할 필요가 없고, 상기 격자점(GD)을 정점으로 하는 사각형의 화상 영역도 기울여서 배치할 필요가 없다. 따라서, 화상의 픽셀이 상기 화상 영역의 어느 쪽에 포함되는지를 용이하게 판정할 수 있고, 처리 부담을 경감할 수 있다.

다음에, 제어부(11) 및 기억부(12)의 상세에 대해 설명한다. 도 1에 도시하는 바와 같이, 제어부(11)는, 화상 취득부(취득 수단)(20), 얼굴 검출부(21), 특징점 검출부(검출 수단)(22), 제어점 설정부(제어점 설정 수단)(23), 격자점 설정부(격자점 설정 수단)(24), 및 화상 변형부(화상 변형 수단)(25)를 구비하는 구성이다. 또한, 기억부(12)는, 촬영 화상의 데이터를 기억하는 화상 기억부(30), 및, 이동량 벡터 분포 테이블(배치 패턴, 이동 패턴)을 기억하는 테이블 기억부(31)를 구비하는 구성이다.

화상 취득부(20)는, 촬영부(13)로부터의 촬영 화상(CI)의 데이터를 취득하는 것이다. 화상 취득부(20)는, 취득한 촬영 화상(CI)의 데이터를 화상 기억부(30)에 기억한다. 본 실시 형태에서는, 화상 취득부(20)는, 촬영부(13) 또는 화상 기억부(30)로부터 취득한 촬영 화상(CI)의 데이터를 얼굴 검출부(21) 및 특징점 검출부(22)에 송신한다.

얼굴 검출부(21)는, 화상 취득부(20)로부터의 촬영 화상(CI)의 데이터를 이용하여, 촬영 화상(CI)으로부터 얼굴의 영역(FA)을 검출하는 것이다(도 2의 (a)). 얼굴 검출부(21)는, 검출한 얼굴의 영역(FA)의 위치 정보를 특징점 검출부(22)에 송신한다. 그리고, 얼굴의 영역(FA)의 검출 수법으로서는, 템플릿 매칭을 이용하거나, 살색 영역을 검출하거나, 얼굴의 윤곽을 검출하거나 하는 등, 공지의 기술을 이용할 수 있다.

특징점 검출부(22)는, 화상 취득부(20)로부터의 촬영 화상(CI)의 데이터와, 얼굴 검출부(21)로부터의 얼굴의 영역(FA)의 위치 정보를 이용하여, 얼굴의 특징점(FP)을 검출하는 것이다(도 2의 (b)). 특징점 검출부(22)는, 검출한 얼굴의 특징점(FP)의 위치 정보를 제어점 설정부(23)에 송신한다. 그리고, 얼굴의 특징점(FP)의 검출 수법으로서는, 에지를 추출하는 등, 공지의 기술을 이용할 수 있다.

제어점 설정부(23)는, 특징점 검출부(22)로부터의 얼굴의 특징점(FP)의 위치 정보에 의거하여, 제어점(CP)을 설정하는 것이다(도 2의 (c)). 또한, 제어점 설정부(23)는, 설정된 제어점(CP)마다, 작은얼굴 변형으로 이동하여야 할 이동량 및 이동 방향을 설정하는 것이다(도 3). 제어점 설정부(23)는, 설정된 제어점(CP)의 위치 정보와, 설정된 이동량 및 이동 방향을 격자점 설정부(24)에 송신한다.

여기서, 상기 이동량 및 이동 방향의 설정의 상세에 관해, 도 8 내지 도 11을 참조하여 설명한다. 본 실시 형태에서는, 제어점 설정부(23)는, 테이블 기억부(31)에 기억된 이동량 벡터 분포 테이블을 이용하여, 상기 이동량 및 이동 방향을 설정하고 있다.

이동량 벡터 분포 테이블은, 각 제어점(CP)을 어느 정도 이동시키는 것이 바람직한지를 미리 정의한 대상물의 이동량 벡터 분포 모델로부터 생성된다. 이동량 벡터 분포 테이블은, 얼굴 윤곽이 얼굴의 중심을 향하여 이동하도록 이동 방향이 미리 설정되어 있다.

도 8은, 얼굴 화상에 대한 이동량 벡터 분포 테이블의 유무를 나타내는 것이다. 도시에 있어서, 흑색의 영역은, 이동량이 제로이고, 이동량 벡터가 존재하지 않는 영역을 나타내고 있고, 백색의 영역은, 이동량이 비(非)제로이고, 이동량 벡터가 존재하는 영역을 나타내고 있다. 도시하는 바와 같이, 이동량 벡터는 얼굴 화상의 턱 부근에 존재하고 있다. 따라서, 이동량 벡터 분포 테이블은, 얼굴 화상의 턱 부근의 변형 정도를 정의하는 것으로 되어 있다.

이동량 벡터 분포 테이블은, 얼굴 화상의 특징점(예를 들면, 관자놀이 및 턱의 하단점(下端点) 등)의 위치 관계가 결정되어 있고, 검출된 얼굴의 영역(FA)에 적합하도록, 리사이즈(resize) 및 회전을 행한다. 이 리사이즈는 이하와 같이 행하여진다. 또한, 이동량 벡터 분포 테이블은, x축방향의 이동량을 나타내는 테이블과, y축방향의 이동량을 나타내는 테이블을 갖고 있다. 이하에서는, x축방향의 이동량을 나타내는 테이블에 관해 설명하지만, y축방향의 이동량을 나타내는 테이블도 마찬가지이다.

도 9 내지 도 11은, 이동량 벡터 분포 테이블의 x축방향의 이동량을 나타내는 테이블의 한 예를 도시하고 있다. 도 9 내지 도 11에서, 좌상측에는 리사이즈 전의 테이블(MTx)을 기재하고 있고, 하측에는 리사이즈 후의 테이블(MTx')을 기재하고 있다. 또한, x좌표는 좌우 대칭축을 0으로 하는 상대좌표(相對座標)를 이용하고 있다.

그런데, 얼굴은 거의 좌우 대칭이다. 따라서, 도시하는 바와 같이, 실제의 테이블(MTx)은, 도 8에 도시하는 흰 영역중, 좌우 어느 하나의 영역에만 데이터를 갖고 있고, 실제로 이용될 때에, 나머지 영역의 데이터가 산출된다.

우선, 테이블(MTx)의 1행째로부터 하나씩 차례로 데이터값을 판독하고 리사이즈 후의 테이블(MTx)에 데이터값을 기록한다. 이 때, 리사이즈 후의 좌표는, 원래의 MTx의 좌표의 n배(n≠0)의 값을 정수화(整數化)한 값으로 한다. 또한, 좌우로 대칭인 좌표에도 같은 값을 카피한다. 단, 도 9에 도시하는 바와 같은 x축방향의 이동량이라면 부호를 역전시킨다. x축방향으로 n배의 리사이즈라면 데이터값도 n배한다.

테이블(MTx)을 확대하는 경우, 1행째의 데이터값의 기록이 끝난 후, 데이터값이 기록되지 않은 좌표가 존재한다. 이 경우, 기록되어 있는 좌표의 데이터값을 이용하여 선형 보간에 의해 데이터값을 메우면 좋다. 도 10은, 테이블(MTx')에서의 1행째의 데이터값의 기록이 완료된 상태를 나타내고 있다.

테이블(MTx)의 2행째 이후에 대해서도 동일한 처리를 반복하면 좋다. 또한, 테이블(MTx)을 확대하는 경우, 데이터값이 기록되지 않은 라인이 발생한다. 이 경우, 데이터값이 기록되지 않은 라인에 관해서는, 상하의 데이터값이 기록되어 있는 라인의 데이터값을 이용하여 선형 보간에 의해 데이터값을 메우면 좋다. 도 11은, 테이블(MTx)의 1·2행째의 데이터값을 이용하여, 테이블(MTx')의 1 내지 3행째의 데이터값의 기록이 완료된 상태를 나타내고 있다. 이와 같이 하여, 각 제어점(CP)에서의 이동량 벡터를 산출하면 좋다.

도 1로 되돌아와, 격자점 설정부(24)는, 제어점(CP)에 관계없이, 얼굴 화상의 영역을 격자형상으로 분할하여, 격자점(GD)을 설정한다. 예를 들면, 얼굴의 중심을 원점으로 하고, (2N+1)개의 y축에 평행한 직선(x=l×M)(l는 -N 내지 N의 정수)과, (2N+1)개의 x축에 평행한 직선(y=m×M)(m는 -N 내지 N의 정수)에 의해 얼굴 화상의 영역을 분할하면 좋다. 또한, M은 이웃하는 직선끼리의 화소부가 된다.

또한, 격자점 설정부(24)는, 제어점 설정부(23)로부터의 각 제어점(CP)의 위치 정보, 및, 이동량 및 이동 방향(실제로는 x축방향의 이동량과 y축방향의 이동량)에 의거하여, 각 격자점(GD)의 이동량 및 이동 방향을 산출하는 것이다. 격자점 설정부(24)는, 각 격자점(GD)의 위치 정보, 및 이동량 및 이동 방향을 화상 변형부(25)에 송신한다.

화상 변형부(25)는, 격자점 설정부(24)로부터의 각 격자점(GD)의 위치 정보, 및 이동량 및 이동 방향에 의거하여, 격자형상으로 분할된 화상 영역, 즉 4개의 격자점(GD)을 정점으로 하는 화상 영역을 변형함에 의해, 촬영 화상을 변형하는 것이다. 화상 변형부(25)는, 변형된 촬영 화상을 표시하도록 표시부(15)를 제어한다.

또한, 화상 변형부(25)는, 하기한 3개의 조건을 설정하고, 어느 조건을 충족시키는지에 의해 처리를 전환하는 것이 바람직하다. 즉,

제1의 조건 : 화상 영역에서의 4개의 격자점(GD)의 이동량 벡터의 크기의 최대치가, 제1의 소정치 미만인 경우,

제2의 조건 : 상기 4개의 격자점(GD)의 이동량 벡터의 크기의 최대치가, 제1의 소정치 이상이고, 또한 제2의 소정치 미만인 경우,

제3의 조건 : 상기 4개의 격자점(GD)의 이동량 벡터의 크기의 최대치가, 제2의 소정치 이상인 경우.

제1의 조건을 충족시키는 화상 영역은, 각 격자점(GD)의 이동량이 작고, 얼굴의 윤곽으로부터 떨어져 있다고 생각되고, 픽셀의 이동량도 전부 작기 때문에, 변형전의 화상과 변형 후의 화상의 차는 거의 없다고 생각된다. 이 때문에, 제1의 조건을 충족시키는 화상 영역에서는 화상 변형의 처리를 스킵한다. 이에 의해, 처리의 고속화를 도모할 수 있다.

다음에, 제2의 조건을 충족시키는 화상 영역은, 얼굴의 윤곽으로부터 조금 떨어져 있지만, 변형 후의 화상에 대한 위화감을 없애기 위해, 화상 변형을 행하는 것이 바람직하다고 생각된다. 단, 변형 후의 화상의 화질에의 영향은 작다고 생각되기 때문에, 선형 보간에 의해 화상 변형을 행한다.

그리고, 제3의 조건을 충족시키는 화상 영역은, 얼굴의 윤곽 부근이고, 변형의 정도가 가장 크다고 생각된다. 따라서, 선형 보간에 의해 화상 변형을 행한 경우, 변형 후의 화상이 부자연스러운 것으로 될 우려가 있기 때문에, 고차(高次) 보간에 의해 화상 변형을 행한다. 이들의 처리를 행함에 의해, 화상 변형에 의한 화질의 저하를 억제하면서, 화상 변형의 처리의 고속화를 도모할 수 있다.

또한, 본 실시 형태에서는, 상기 3개의 조건에서, 4개의 격자점(GD)의 이동량 벡터의 크기의 최대치가 이용되고 있지만, 최소치, 평균치 등, 임의의 통계치를 이용할 수 있다.

도 12는, 상기 구성의 디지털 카메라(10)에서의 화상 변형의 처리 동작을 도시하고 있다. 도시하는 바와 같이, 우선, 화상 취득부(20)가 취득한 촬영 화상(CI)을 이용하여, 얼굴 검출부(21)가 얼굴(대상물)의 영역(FA)을 검출하고(S10), 검출된 얼굴의 영역(FA)에 의거하여, 특징점 검출부(22)가 얼굴의 특징점(FP)을 검출한다(S11).

다음에, 검출된 얼굴의 특징점(FP)에 의거하여, 제어점 설정부(23)가, 제어점(CP)을 설정하고(S12), 각 제어점(CP)의 이동량(벡터)을 설정한다(S13). 다음에, 격자점 설정부(24)가, 얼굴 화상의 영역을 격자형상의 소영역으로 분할하고(S14), 설정된 제어점(CP)과 그 이동량에 의거하여, 각 격자점(GD)의 이동량(벡터)을 산출한다(S15).

다음에, 화상 변형부(25)는, 정수(i)를 0으로 초기화하고(S16), 정수(i)가 소영역의 수(Ns)을 초과할 때까지 이하의 처리를 반복한다(S17). 즉, 화상 변형부(25)는, i번째의 소영역에서의 4개의 격자점(GD)의 이동량(벡터)을 취득하고(S18), 취득된 이동량(벡터)의 절대치의 최대치가 제1의 소정치 미만인 경우(S19에서 YES), 화상 변형부(25)는, 화상 변형의 처리를 생략하고, S23으로 진행한다.

한편, 취득된 이동량(벡터)의 절대치의 최대치가 제1의 소정치 이상이고, 또한, 제2의 소정치 미만인 경우(S19에서 NO, S20에서 YES), 화상 변형부(25)는, 선형 보간에 의한 화상 변형을 행하고(S21), 그 후, S23으로 진행한다. 한편, 취득된 이동량(벡터)의 절대치의 최대치가 제2의 소정치 이상인 경우(S19에서 NO, S20에서 NO), 화상 변형부(25)는, 고차 보간에 의한 화상 변형을 행하고(S22), 그 후, S23으로 진행한다. S23에서는, 정수(i)를 1개 증분하고, S17로 되돌아온다.

본 발명은 상술한 실시 형태로 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러가지의 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜서 얻어지는 실시 형태에 대해서도 본 발명의 기술적 범위에 포함된다.

예를 들면, 상기 실시 형태에서는, 본 발명을 사람의 얼굴 화상의 변형에 적용하고 있지만, 사람의 눈?비?입 등의 기관, 사람의 전신, 동물, 항아리 등, 특유한 형상을 가지며, 그 형상을 특징짓는 특징점을 추출 가능한 물체라면, 임의의 물체의 화상의 변형에 적용할 수 있다.

또한, 상기 실시 형태에서는, 본 발명을 디지털 카메라에 적용하고 있지만, 카메라 부착 휴대 전화기, 카메라를 부착한 PC 등, 촬영 기능을 갖는 임의의 전자 기기에 적용할 수 있다. 또한, 촬영 기능을 갖지 않아도, 촬영 화상의 데이터를, 유선 통신, 무선 통신, 통신 네트워크, 착탈 가능한 기록 매체 등을 통하여 취득하는 기능을 갖는 임의의 전자 기기에 적용할 수 있다. 특히, 본 발명은, 종래 기술에 비하여, 처리 부담이 경감되기 때문에, 소형의 전자 기기에 알맞다.

또한, 디지털 카메라(10)의 각 블록, 특히 제어부(11)는, 하드웨어 로직에 의해 구성하여도 좋고, 다음과 같게 CPU를 이용하여 소프트웨어에 의해 실현하여도 좋다.

즉, 디지털 카메라(10)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM, 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억 장치(기록 매체) 등을 구비하고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 디지털 카메라(10)의 제어 프로그램의 프로그램 코드(실행 형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터에서 판독 가능하게 기록한 기록 매체를, 디지털 카메라(10)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록 매체에 기록되어 있는 프로그램 코드를 판독하고 실행함에 의해서도, 달성 가능하다.

상기 기록 매체로서는, 예를 들면, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피디스크(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함한다)/광카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM/플래시 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또한, 디지털 카메라(10)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급하여도 좋다. 이 통신 네트워크로서는, 특히 한정되지 않고, 예를 들면, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상 전용망(virtual private network), 전화 회선망, 이동체 통신망, 위성 통신망 등이 이용 가능하다. 또한, 통신 네트워크를 구성하는 전송 매체로서는, 특히 한정되지 않고, 예를 들면, IEEE1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선이라도, IrDA나 리모트 콘트롤과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR, 휴대 전화망, 위성 회선, 지상파 디지털망 등의 무선이라도 이용 가능하다.

이상과 같이, 본 실시 형태에 관한 화상 변형 장치는, 대상이 되는 물체인 대상물의 촬영 화상의 적어도 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 장치로서, 상기 과제를 해결하기 위해, 상기 대상물의 촬영 화상을 취득하는 취득 수단과, 그 취득 수단이 취득한 대상물의 촬영 화상으로부터, 상기 대상물을 특징짓는 특징 정보를 검출하는 검출 수단과, 그 검출 수단이 검출한 특징 정보와, 상기 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정하는 제어점 설정 수단과, 상기 촬영 화상에 격자점을 설정하고, 설정한 격자점의 이동 정보를, 상기 제어점 설정 수단이 설정한 제어점 및 그 이동 정보에 의거하여 설정하는 격자점 설정 수단과, 그 격자점 설정 수단이 설정한 격자점의 이동 정보에 의거하여 격자점을 이동시켜서, 격자점을 정점으로 하는 사각형의 화상 영역을 변형하는 화상 변형 수단을 구비하는 것을 특징으로 하고 있다.

또한, 본 실시 형태에 관한 화상 변형 방법은, 대상이 되는 물체인 대상물의 촬영 화상의 적어도 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 방법으로서, 상기 과제를 해결하기 위해, 상기 대상물의 촬영 화상을 취득하는 취득 스텝과, 그 취득 스텝에서 취득된 대상물의 촬영 화상으로부터, 상기 대상물을 특징짓는 특징 정보를 검출하는 검출 스텝과, 그 검출 스텝에서 검출된 특징 정보와, 상기 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정하는 제어점 설정 스텝과, 상기 촬영 화상에 격자점을 설정하고, 설정한 격자점의 이동 정보를, 상기 제어점 설정 스텝에서 설정된 제어점 및 그 이동 정보에 의거하여 설정하는 격자점 설정 스텝과, 그 격자점 설정 스텝에서 설정된 격자점의 이동 정보에 의거하여 격자점을 이동시켜서, 격자점을 정점으로 하는 사각형의 화상 영역을 변형하는 화상 변형 스텝을 포함하는 것을 특징으로 하고 있다.

여기서, 변형의 종류의 예로서는, 작은얼굴 변형 등을 들 수 있다. 또한, 특징 정보의 예로서는, 얼굴 화상이라면, 눈꼬리, 눈구석, 입끝점, 얼굴 중심점, 턱끝점, 관자놀이 등을 들 수 있다.

상기 구성 및 방법에 의하면, 대상물의 촬영 화상을 취득하면, 취득된 대상물의 촬영 화상으로부터, 그 대상물을 특징짓는 특징 정보를 검출하고, 검출된 특징 정보와, 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정한다. 한편, 제어점에 관계없이, 촬영 화상에 격자점을 설정한다. 다음에, 설정되는 격자점의 이동 정보를, 상기 제어점 및 그 이동 정보에 의거하여 설정한다. 그리고, 설정된 격자점의 이동 정보에 의거하여, 격자점을 정점으로 하는 사각형의 화상 영역을 변형한다. 이에 의해, 대상물의 화상이 변형된다.

이와 같이, 본 실시 형태에서는, 화상 변형에 이용되는 격자점은, 화상의 특징 정보에 응하여 배치되는 제어점에 관계없이 설정되어 있다. 이에 의해, 촬영 화상에서의 대상물의 기울기에 응하여 제어점을 기울여서 배치하여도, 격자점은 기울여서 배치할 필요가 없고, 상기 격자점을 정점으로 하는 사각형의 화상 영역도 기울여서 배치할 필요가 없다. 따라서, 화상의 픽셀이 상기 화상 영역의 어느 쪽에 포함되는지를 용이하게 판정할 수 있고, 처리 부담을 경감할 수 있다.

또한, 상기 변형을 위한 제어점의 이동량은, 예를 들면, 각 제어점에 관해 어느 정도 이동시키는 것이 바람직한지를 미리 학습함에 의해, 대상물의 이동량 벡터 분포 모델을 생성하고, 생성한 모델을, 상기 대상물의 특징점에 피팅시켜서 결정하면 좋다. 또한, 유저가 각 제어점의 이동량을 수동으로 설정하여 기억하여도 좋다.

그런데, 일반적으로, 화상중의 대상물을 변형하는 처리는, 변형의 대상 영역 모든 픽셀이 이동 대상으로 되기 때문에, 변형의 대상 영역의 픽셀 수에 비례하여 처리 시간도 증가하게 된다. 예를 들면, 30만화소(640픽셀×480라인)의 화상에서의 처리 시간이 1초라고 하면, 200만화소(1600픽셀×1200라인)의 화상에서는 처리 시간이 6.25초가 되고, 500만화소(2560픽셀×1920라인)의 화상에서는 처리 시간이 16초가 되고, 1200만화소(4000픽셀×3000라인)의 화상에서는 처리 시간이 39초가 되어, 실용적인 처리 시간이 아니게 되어 버린다고 생각된다. 따라서, 픽셀 수가 증가하여도 실용적인 처리 시간을 유지할 수 있는 것이 바람직하다.

그래서, 본 실시 형태에 관한 화상 변형 장치에서는, 상기 화상 변형 수단은, 대상이 되는 화상 영역에 포함되는 격자점의 이동하여야 할 양의 통계치가 제1의 소정치보다도 적은 경우, 당해 화상 영역의 변형을 생략하는 것이 바람직하다.

이 경우, 처리의 고속화 및 처리 시간의 단축을 도모할 수 있다. 또한, 제1의 소정치로서는, 당해 화상 영역을 변형하였다고 하여도, 변형 전의 화상과 변형 후의 화상의 차를 거의 시인할 수 없는 경우의 상기 통계치의 상한으로 설정하는 것이 바람직하다. 이 경우, 당해 화상 영역의 변형을 생략하여도, 처리 후의 화상의 화질에 거의 영향을 주는 일이 없다. 또한, 통계치로서는, 최대치, 최소치, 평균치 등을 들 수 있다.

또한, 본 실시 형태에 관한 화상 변형 장치에서는, 상기 화상 변형 수단은, 대상이 되는 화상 영역에 포함된 격자점의 이동하여야 할 양의 통계치가 제1의 소정치 이상이고, 또한 제2의 소정치보다도 적은 경우, 당해 화상 영역의 변형을 선형 보간에 의해 행하는 한편, 상기 격자점의 이동하여야 할 양이 제2의 소정치 이상인 경우, 당해 화상 영역의 변형을 고차 보간에 의해 행하는 것이 바람직하다.

이 경우, 고차 보간 대신에 선형 보간을 이용함에 의해, 처리의 고속화 및 처리 시간의 단축을 더욱 도모할 수 있다. 또한, 제2의 소정치로서는, 변형 전의 화상과 변형 후의 화상의 차를 시인할 수 있지만, 화질에의 영향이 작은 경우의 상기 통계치의 상한으로 설정하는 것이 바람직하다. 이 경우, 당해 화상 영역의 변형을 선형 보간에 의해 행하여도, 처리 후의 화상의 화질에 거의 영향을 주는 일이 없다.

또한, 상기 구성의 화상 변형 장치를 구비한 전자 기기라도, 상술한 작용 효과를 이루는 것을 할 수 있다. 또한, 상기 화상 변형 방법에서의 각 스텝을, 화상 변형 프로그램에 의해 컴퓨터에 실행시킬 수 있다. 또한, 상기 화상 변형 프로그램을 컴퓨터 판독 가능한 기록 매체에 기억시킴에 의해, 임의의 컴퓨터상에서 상기 화상 변형 프로그램을 실행시킬 수 있다.

산업상의 이용 가능성

이상과 같이, 본 발명에 관한 화상 변형 장치는, 화상 변형에 이용되는 격자점이, 화상의 특징 정보에 응하여 배치되는 제어점에 관계없이 설정되기 때문에, 촬영 화상에서의 대상물의 기울기에 응하여 제어점을 기울여서 배치하여도, 격자점을 기울여서 배치할 필요가 없고, 상기 격자점을 정점으로 하는 사각형의 화상 영역도 기울여서 배치할 필요가 없어지기 때문에, 촬영 화상을 취득 가능한 임의의 전자 기기에 적용할 수 있다.

10 : 디지털 카메라(전자 기기)
11 : 제어부(화상 변형 장치)
12 : 기억부
13 : 촬영부
14 : 조작부
15 : 표시부
20 : 화상 취득부(취득 수단)
21 : 얼굴 검출부
22 : 특징점 검출부(검출 수단)
23 : 제어점 설정부(제어점 설정 수단)
24 : 격자점 설정부(격자점 설정 수단)
25 : 화상 변형부(화상 변형 수단)
30 : 화상 기억부
31 : 테이블 기억부
CI : 촬영 화상
FP : 특징점(특징 정보)
CP : 제어점
MV : 이동량 벡터(제어점의 이동 정보)
GD : 격자점
MVg : 이동량 벡터(격자점의 이동 정보)
MTx : 테이블

Claims

대상물의 촬영 화상의 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 장치로서,
상기 대상물의 촬영 화상을 취득하는 취득 수단과,
상기 대상물의 촬영 화상으로부터, 상기 대상물을 특징짓는 특징 정보를 검출하는 검출 수단과,
상기 특징 정보와, 상기 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정하는 제어점 설정 수단과,
상기 촬영 화상에 격자점을 설정하고, 그 격자점의 이동 정보를, 상기 제어점 및 그 이동 정보에 의거하여 설정하는 격자점 설정 수단과,
상기 격자점의 이동 정보에 의거하여 상기 격자점을 이동시켜서, 상기 격자점을 정점으로 하는 사각형의 화상 영역을 변형하는 화상 변형 수단을 구비하는 것을 특징으로 하는 화상 변형 장치.
제1항에 있어서,
상기 화상 변형 수단은, 대상이 되는 화상 영역에 포함되는 격자점의 이동하여야 할 양의 통계치가 제1의 소정치보다도 적은 경우, 당해 화상 영역의 변형을 행하지 않는 것을 특징으로 하는 화상 변형 장치.
제2항에 있어서,
상기 화상 변형 수단은, 상기 격자점의 이동하여야 할 양의 통계치가 제1의 소정치 이상이고, 또한 제2의 소정치보다도 적은 경우, 당해 화상 영역의 변형을 선형 보간에 의해 행하는 한편, 상기 격자점의 이동하여야 할 양의 통계치가 제2의 소정치 이상인 경우, 당해 화상 영역의 변형을 고차 보간에 의해 행하는 것을 특징으로 하는 화상 변형 장치.
제1항 내지 제3항 중 어느 한 항에 기재된 화상 변형 장치를 구비한 것을 특징으로 하는 전자 기기.
대상물의 촬영 화상의 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 방법으로서,
상기 대상물의 촬영 화상을 취득하는 취득 스텝과,
상기 대상물의 촬영 화상으로부터, 상기 대상물을 특징짓는 특징 정보를 검출하는 검출 스텝과,
상기 특징 정보와, 상기 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정하는 제어점 설정 스텝과,
상기 촬영 화상에 격자점을 설정하고, 그 격자점의 이동 정보를, 상기 제어점 및 그 이동 정보에 의거하여 설정하는 격자점 설정 스텝과,
상기 격자점의 이동 정보에 의거하여 상기 격자점을 이동시켜서, 상기 격자점을 정점으로 하는 사각형의 화상 영역을 변형하는 화상 변형 스텝을 포함하는 것을 특징으로 하는 화상 변형 방법.
대상이 되는 물체인 대상물의 촬영 화상의 적어도 일부를, 소정의 변형의 종류에 의거하여 변형하는 화상 변형 장치를 동작시키기 위한 화상 변형 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 있어서,
상기 대상물의 촬영 화상을 취득하는 취득 스텝과,
그 취득 스텝에서 취득된 대상물의 촬영 화상으로부터, 상기 대상물을 특징짓는 특징 정보를 검출하는 검출 스텝과,
그 검출 스텝에서 검출된 특징 정보와, 상기 변형의 종류에 대응하는 배치 패턴 및 이동 패턴에 의거하여, 상기 촬영 화상에 제어점 및 그 이동 정보를 설정하는 제어점 설정 스텝과,
상기 촬영 화상에 격자점을 설정하고, 설정한 격자점의 이동 정보를, 상기 제어점 설정 스텝에서 설정된 제어점 및 그 이동 정보에 의거하여 설정하는 격자점 설정 스텝과,
그 격자점 설정 스텝에서 설정된 격자점의 이동 정보에 의거하여 격자점을 이동시켜서, 격자점을 정점으로 하는 사각형의 화상 영역을 변형하는 화상 변형 스텝을 컴퓨터에 실행시키기 위한 화상 변형 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
삭제