KR20110034958A

KR20110034958A - 디지털 촬영 장치 및 촬영 방법

Info

Publication number: KR20110034958A
Application number: KR1020090092468A
Authority: KR
Inventors: 장성규
Original assignee: 삼성전자주식회사
Priority date: 2009-09-29
Filing date: 2009-09-29
Publication date: 2011-04-06
Also published as: US20110074982A1; US8334919B2; KR101599885B1

Abstract

본 발명에 관한 디지털 촬영 장치는, 영상광을 통과시키는 렌즈 유닛과, 렌즈 유닛을 통과한 영상광을 화상 신호로 변환하는 촬상부와, 촬영부의 화상 신호로부터 피사체를 검출하여 피사체 영역을 지정하는 피사체 검출부와, 피사체 검출부가 피사체를 검출한 후에 렌즈 유닛에 의한 영상광의 왜곡을 보정하기 위해 화상 신호를 보정 화상 신호로 변환하는 왜곡 보정부와, 보정 화상 신호에서 피사체 영역에 대응하는 보정 피사체 영역을 지정하는 피사체 영역 변환부를 구비한다.

Description

디지털 촬영 장치 및 촬영 방법{Digital photographing apparatus and method}

본 발명은 디지털 촬영 장치 및 촬영 방법에 관한 것으로, 보다 상세하게는 촬상부가 생성한 화상 신호로부터 인물의 얼굴이나 피사체의 움직임을 검출하는 기능과 렌즈 유닛에 의한 왜곡 보정 기능이 고속으로 실행되는 디지털 촬영 장치 및 촬영 방법에 관한 것이다.

최근의 디지털 카메라에는 사용자의 욕구를 충족시키기 위한 다양한 기능들이 장착된다. 예를 들어 넓은 풍경을 한 화면에 담거나 좁은 실내에서 많은 사람을 촬영할 수 있도록 광각 렌즈의 장착이 일반화되었으며, 인물의 얼굴을 자동적으로 감지하여 표시하는 얼굴 검출 기능이나 피사체의 움직임을 자동으로 검출하는 기능 등이 많이 사용되고 있다.

광각 렌즈를 채용한 카메라에서는 렌즈에 의해 발생하는 영상의 왜곡(image distortion)의 보정이 이루어져야 한다. 그런데 렌즈에 의한 영상 왜곡의 보정 기능과 얼굴 검출 기능이 동시에 실행될 때에는 처리 시간이 많이 소요되는 문제점이 있었다. 즉 종래에는 영상 왜곡을 보정한 후 보정된 데이터로부터 얼굴이 나 피사체의 움직임 등을 검출하는 과정에서 소프트웨어의 동작이 매우 복잡해지고 데이터 처리량이 크게 증가하여 메인 메모리의 용량을 많이 사용하므로 제어 시스템의 동작이 원활하지 못한 문제점이 있었다.

본 발명의 목적은 렌즈 왜곡 보정 기능과 함께 얼굴 검출이나 피사체 움직임 검출 기능이 고속으로 실행될 수 있는 디지털 촬영 장치 및 촬영 방법을 제공하는 데 있다.

본 발명의 다른 목적은 렌즈 왜곡 보정 기능과 함께 얼굴 검출이나 피사체 움직임 검출 기능을 실행할 때에 필요한 데이터 처리량을 최소화하여 시스템의 부하를 줄일 수 있는 디지털 촬영 장치 및 촬영 방법을 제공하는 데 있다.

본 발명은 촬상부가 생성한 화상 신호로부터 인물의 얼굴이나 피사체의 움직임을 검출하여 피사체 영역을 지정한 후에 렌즈 유닛에 의한 왜곡 보정을 실행하는 디지털 촬영 장치 및 촬영 방법을 제공한다.

본 발명에 있어서, 피사체 검출부는 얼굴을 인식하는 얼굴 검출부를 구비할 수 있고, 인식된 얼굴을 포함하도록 피사체 영역을 지정할 수 있다.

본 발명에 있어서,

피사체 검출부는 피사체의 움직임을 인식하는 움직임 검출부를 구비할 수 있고, 인식된 피사체를 포함하도록 피사체 영역을 지정할 수 있다.

본 발명에 있어서, 피사체 영역은 직사각형일 수 있고, 피사체 영역 변환부는 왜곡 보정부의 왜곡 보정에 기초하여 피사체 영역의 대각선에 위치하는 두 개의 꼭지점의 위치를 변환하고, 변환된 두 개의 꼭지점을 포함하는 직사각형 영역을 보정 피사체 영역으로 지정할 수 있다.

본 발명에 있어서, 피사체 영역은 직사각형일 수 있고, 피사체 영역 변환부는 왜곡 보정부의 왜곡 보정에 기초하여 피사체 영역의 네 개의 꼭지점의 위치를 변환하고, 변환된 네 개의 위치를 모두 포함하는 직사각형 영역을 보정 피사체 영역으로 지정할 수 있다.

본 발명에 있어서, 디지털 촬영 장치는 피사체 검출부에 의해 피사체 영역이 지정된 이후에 화상 신호를 저장하는 저장부를 더 구비할 수 있고, 왜곡 보정부는 저장부에 저장된 화상 신호를 읽어 왜곡 보정을 실행할 수 있다.

본 발명에 관한 촬영 방법은, 렌즈 유닛을 통과한 영상광을 화상 신호로 변환하는 촬상 단계와, 화상 신호로부터 피사체를 검출하여 피사체 영역을 지정하는 피사체 검출 단계와, 렌즈 유닛에 의한 영상광의 왜곡을 보정하기 위해 화상 신호를 보정 화상 신호로 변환하는 왜곡 보정 단계와, 보정 화상 신호에서 피사체 영역에 대응하는 보정 피사체 영역을 지정하는 피사체 영역 변환 단계를 포함한다.

상술한 바와 같은 본 발명의 디지털 촬영 장치 및 촬영 방법은, 촬상부가 생성한 화상 신호로부터 인물의 얼굴이나 피사체의 움직임을 검출하여 피사체 영역을 지정한 후에 렌즈 유닛에 의한 왜곡 보정이 실행되므로 피사체의 검출 기능과 왜곡 보정 기능이 동시에 고속으로 실행될 수 있다.

또한 얼굴 검출이나 피사체의 움직임을 검출하여 지정된 피사체 영역의 일부 데이터만을 왜곡 보정에 기초하여 변환함으로써 왜곡 보정된 화상에서의 보정 피사체 영역을 빠르게 지정할 수 있으므로, 데이터 처리량이 크게 줄어들어 시스템의 부하를 줄일 수 있다.

이하, 첨부 도면의 실시예들을 통하여, 본 발명에 관한 디지털 촬영 장치 및 촬영 방법의 구성과 작용을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 관한 디지털 촬영 장치의 구성 요소들의 관계를 나타낸 블록도이다.

도 1에 나타난 실시예에 관한 디지털 촬영 장치는, 영상광을 통과시키는 렌즈 유닛(10)과, 영상광을 화상 신호로 변환하는 촬상부(3)와, 피사체를 검출하는 피사체 검출부(48)와, 렌즈 유닛(10)의 왜곡을 보정하는 왜곡 보정부(45)와, 보정 피사체 영역을 지정하는 피사체 영역 변환부(49)를 구비한다.

이러한 구성을 갖는 디지털 촬영 장치를 이용하면, 왜곡 보정부(45)에 의한 왜곡 보정을 실행하기 전에 피사체 검출부(48)가 촬상부(3)의 화상 신호로부터 곧 바로 피사체를 검출할 수 있으므로, 왜곡 보정 기능과 함께 얼굴 검출이나 피사 체 움직임 검출 기능이 고속으로 실행될 수 있다.

촬상부(3)는 피사체의 영상을 촬상하여 전기적 신호로 변환하는 촬상소자(20)와, 촬상소자(20)의 전기적 신호를 화상 신호로 변환하는 화상 변환부(41)를 구비한다.

촬상소자(20)는 씨씨디(CCD; charge coupled device) 또는 씨모스(CMOS; complementary metal oxide semiconductor)와 같은 광전 변환 소자를 포함하여, 렌즈 유닛(10)을 통해 입사된 영상광을 전기적 신호로 변환한다. 촬상소자(20)는 촬상 제어부(47)로부터 인가되는 제어 신호에 의해 구동된다.

렌즈 유닛(10)은 복수 개의 렌즈들(12)을 포함하여, 외부의 영상광을 통과시켜 촬상소자(20)의 촬상면에 결상시키는 기능을 수행한다. 렌즈들(12)은 서로의 간격이 변동 가능하게 배치된다. 렌즈들(12)의 간격이 변동되면 렌즈 유닛(10)에 의한 확대 배율이 변경된다.

렌즈들(12)은 줌모터(zoom motor)와 같은 구동수단을 갖는 줌 구동부(11)에 의해 구동됨으로써 서로에 대한 위치가 변동될 수 있다. 줌 구동부(11)는 제어부(40)의 구동 회로부(42)로부터 제어 신호를 인가 받아 작동된다. 따라서 줌 구동부(11)는 렌즈 유닛(10)이 복수 개의 확대 배율들 중 어느 하나를 갖도록 렌즈 유닛(10)을 구동할 수 있다.

화상 변환부(41)는 촬상소자(20)의 전기적 신호에 화상 처리를 행하거나, 저장 매체에 저장할 수 있는 원시 데이터(raw data) 형태인 화상 신호로 변환한다. 화상 변환부(41)는 예를 들어, 촬상소자(20)의 전기적 신호를 RGB 데이터로 변환한 후, RGB 데이터를 휘도(Y) 신호 및 색차(UV) 신호를 포함하는 YUV 신호와 같은 원시 데이터 형태인 화상 신호로 변환할 수 있다.

제어부(40)는 촬상소자(20), 줌 구동부(11), 저장부(15), 터치 스크린(50) 등과 전기적으로 연결되며, 각각의 구성 요소의 작동을 제어하기 위해 이들 구성 요소와 제어 신호를 주고받거나, 데이터를 처리하는 등의 기능을 수행한다. 제어부(40)는 화상 변환부(41)와, 구동 회로부(42)와, 저장 제어부(43)와, 터치 스크린 제어부(44)와, 왜곡 보정부(45)와, 라이브뷰 생성부(46)와, 촬상 제어부(47)와, 피사체 검출부(48)와, 피사체 영역 변환부(49) 등을 구비한다.

제어부(40)는 마이크로 칩이나, 마이크로 칩을 구비하는 회로보드로 구현될 수 있으며, 제어부(40)에 포함되는 각 구성 요소들은 제어부(40)에 내장되는 소프트웨어나 회로나 마이크로 칩 등에 의해 구현될 수 있다.

화상 변환부(41)에 의해 촬상소자(20)의 전기적 신호가 화상 신호로 변환되는 과정은, 예를 들어 상관 이중 샘플링 회로(CDS 회로)를 이용하여 전기적 신호에 포함된 촬상소자(20)의 구동 노이즈를 감소시키는 단계와, 자동이득제어회로(AGC회로)에 의해 노이즈 저감 후의 신호의 게인을 조정하는 단계와, A/D 변환기를 이용해 아날로그 신호를 디지털 신호로 변환하는 단계와, 디지털 신호에 대한 픽셀 결함 보정, 게인 보정, 화이트 밸런스 보정, 감마 보정 등의 신호 처리와 같은 세부 단계들을 포함할 수 있다. 여기에서 설명된 상관 이중 샘플링 회로(CDS 회로)나, 자동이득제어회로(AGC회로)나, A/D 변환기 등은 별도의 회로로 구성될 수도 있다.

피사체 검출부(48)는 화상 신호로부터 피사체를 검출하여 피사체 영역을 지정하는 기능을 수행한다. 피사체 검출부(48)는 촬상소자(20)의 전기적 신호(아날로그 신호도 화상을 나타내므로 '화상 신호'로 부를 수 있다)를 바로 이용하거나, 화상 변환부(41)를 통해 생성된 화상 신호(디지털 신호, RGB 데이터, YUV 신호 등)를 이용할 수 있다.

피사체 검출부(48)는 인물의 얼굴을 검출하는 얼굴 검출부(48a)와, 피사체의 움직임을 검출하는 움직임 검출부(48b)를 구비할 수 있다.

얼굴 검출부(48a)는 화상 신호로부터 인물의 얼굴들에 해당하는 얼굴 영역들을 검출하고, 검출된 얼굴을 포함하는 피사체 영역을 지정하는 기능을 수행한다.

인물의 얼굴을 검출하는 데에는 공지된 다양한 방법들이 사용될 수 있다. 예를 들어, 얼굴의 기하학적인 특징들을 이용한 얼굴 인식 기술이 사용될 수 있다. 기하학적인 특징들을 이용한 얼굴 인식은, 눈, 코, 입과 같은 얼굴의 특징점들의 위치, 크기 및 이들 사이의 거리와 같은 기하학적 인자들을 사용하여 개인들 각각의 얼굴을 인식하는 기술이다.

움직임 검출부(48b)는 피사체의 움직임을 감지하고, 움직이는 피사체를 포함하는 영역을 피사체 영역으로 지정하는 기능을 수행한다.

데이터 베이스(60)에는 피사체 검출부(48)가 피사체를 검출할 때에 사용되는 표준 데이터가 미리 저장될 수 있다. 표준 데이터는 예를 들어 얼굴의 특징점들의 위치, 크기 및 이들 사이의 거리와 같은 기학학적인 인자들의 데이터와, 피사체의 움직임 검출과 관련된 데이터를 포함할 수 있다. 피사체 검출부(48)는 데이터 베이스(60)에 기록된 표준 데이터를 기초로, 얼굴이나 피사체의 움직임을 인식할 수 있다.

피사체 검출부(48)가 지정하는 피사체 영역은 촬영 대상이 되는 영상에서 검출된 인물의 얼굴이나 움직이는 피사체 영역을 포함하는 부분이다. 피사체 검출부(48)에 의해 지정된 피사체 영역은 화상 신호 중의 픽셀 위치로 지정될 수 있으며, 피사체 영역에 대한 정보는 저장부(15)에 저장되거나 또는 피사체 영역 변환부(49)에 의해 바로 이용될 수 있다.

화상 변환부(41)에 의해 생성된 화상 신호는 저장 제어부(43)에 의해 저장부(15)에 저장될 수 있다. 저장 제어부(43)는 저장부(15)로의 화상 신호의 기록과, 저장부(15)에 기록된 화상 신호나 설정 정보 등의 독출을 제어한다.

저장부(15)는 휘발성 내장 메모리일 수 있으며, 예를 들면, SDRAM(synchronous DRAM) 등의 반도체 기억 소자로 이루어져 촬상된 화상 신호를 저장할 수 있다. 저장부(15)는 화상 변환부(41)에 의해 생성된 화상 신호를 임시적으로 저장하는 버퍼 메모리 기능 및 화상 변환부(41)의 데이터 처리 작업을 위해 사용되는 작업 메모리의 기능을 수행할 수 있다.

도면에 도시하지는 않았으나 디지털 촬영 장치는, 내장 메모리로 구현되는 저장부(15) 이외에 별도로 설치되는 외장 메모리를 구비할 수 있다. 외장 메모리는 메모리 스틱, SD/MMC 와 같은 플래시 메모리나, HDD 와 같은 저장 장치나 DVD 또는 CD 와 같은 광 저장 장치일 수 있다. 외장 메모리에는 디지털 촬영 장치에 의해 촬영된 JPEG 파일, TIF 파일, GIF 파일, PCX 파일 등과 같은 형태의 이미지 파일이 저장될 수 있다.

터치 스크린(50)은 키보드와 마우스를 대체하는 입력 장치이며, 디스플레이의 표면을 직접 손으로 터치하거나 펜으로 터치하여 원하는 작업을 수행할 수 있으므로 GUI(graphic user interface) 환경 하에서 직관적인 업무 수행을 가능하게 하는 장치이다. 터치 스크린(50)의 표시부(51)에는 액정 표시 장치(LCD; liquid crystal display)나 유기전계 발광장치(OLED) 등의 표시 장치가 이용될 수 있다.

입력부(52)는 표시부(51)의 표면에 설치되어 표면의 터치를 감지할 수 있다. 입력부(52)에는 저항성 감지 수단, 용량성 감지 수단, 표면 음향파 이용 감지 수단, 적외선(IR) 이용 감지 수단, 및 광학 이용 감지 수단 등 여러 가지 형태의 기술이 이용될 수 있다. 사용자는 터치 스크린(50)의 입력부(52)를 접촉함으로써 표시부(51)에 표시된 영상의 일부분에서 메뉴를 선택하여 실행하거나, 확인 영역을 지정하는 작업을 할 수 있다.

왜곡 보정부(45)는 피사체 검출부(48)가 피사체를 검출한 후에 렌즈 유닛(10)에 의한 영상광의 왜곡을 보정하기 위해 화상 신호를 보정 화상 신호로 변환한다. 왜곡 보정부(45)가 왜곡을 보정하는 처리는, 렌즈 유닛(10)에 의해 발생한 왜곡의 형태를 결정한 후, 발생한 왜곡을 저감하기 위해 영상을 변경하는 단계를 포함할 수 있다.

렌즈들(12)의 상대적인 위치에 연관되어 렌즈 유닛(10)에 의해 발생할 수 있는 왜곡과 관련된 데이터들이 데이터 베이스(60)에 미리 저장될 수 있다. 왜곡 보정부(45)는 데이터 베이스(60)에 저장된 왜곡 정보들을 참조하여 화상 신호에 의 해 표현되는 화상을 변경한다. 화상 신호는 왜곡 보정부(45)에 의해 보정 화상 신호로 변환한다. 보정 화상 신호에 의해 표현되는 보정 화상은 렌즈 유닛(10)에 의해 발생한 왜곡을 저감한 화상이다.

피사체 영역 변환부(49)는 보정 화상 신호가 나타내는 보정 화상에서 피사체 영역에 대응하는 보정 피사체 영역을 지정하는 기능을 수행한다. 피사체 검출부(48)에 의해 지정된 피사체 영역은 검출된 피사체를 포함하는 영역이지만, 왜곡 보정부(45)에 의해 발생한 보정 화상 신호가 나타낸 보정 화상에서는 피사체 영역이 변형된다. 따라서 피사체 영역 변환부(49)가 변환된 보정 화상에 맞추어 피사체를 포함하는 새로운 보정 피사체 영역을 지정한다.

피사체 영역 변환부(49)는 왜곡 보정부(45)가 왜곡을 보정할 때에 사용한 단계들을 동일하게 거침으로써 피사체 영역을 보정 피사체 영역으로 변형할 수 있다. 그러나 본 실시예에서는 데이터 처리에 소요되는 시간을 단축하기 위해, 피사체 영역 변환부(49)는 피사체 영역의 일부 데이터만을 변경함으로써 보정 피사체 영역을 지정한다.

피사체 영역 변환부(49)에 의해 지정된 보정 피사체 영역은 보정 화상 신호에 의해 나타나는 보정 화상에서 검출된 피사체가 존재하는 영역을 포함한다. 보정 피사체 영역을 나타내는 위치 데이터는 저장부(15)에 저장되거나, 라이브뷰 생성부(46)에 의해 바로 이용될 수 있다.

라이브뷰 생성부(46)는 보정 화상 신호가 나타내는 보정 화상과 피사체 영역 변환부(49)에 의해 생성된 보정 피사체 영역을 나타내는 보조 화상을 합성하여 라이브뷰 화상을 생성한다.

디지털 촬영 장치는 촬영의 대상이 되는 피사체의 모습을 사용자에게 실시간으로 보여주는 라이브뷰(live view) 기능을 갖는다. 라이브뷰 기능은 촬영을 실시할 화상의 화질 상태를 촬영 직전에 확인하게 하는 기능이다. 이하에서는 라이브뷰 기능에 의해 출력되는 화상을 라이브뷰 화상이라고 부른다.

라이브뷰 생성부(46)에 생성되는 라이브뷰 화상에 표시되는 보조 화상은 예를 들어 인식된 얼굴의 영역에 표시되는 사각형 박스를 포함할 수 있다.

도 2는 도 1의 디지털 촬영 장치를 이용해 촬영하는 동작을 나타낸 작동 상태도이다.

사용자는 라이브뷰 표시 모드를 실행 중인 디지털 촬영 장치(1)의 터치 스크린(50)에 표시된 전체 이미지(95)를 통해, 촬영을 위한 전체 구도를 설정할 수 있다. 전체 이미지(95)로 촬영을 실행하고자 할 때에 사용자는 셔터 버튼(5)을 반절 정도 누르는 반누름 조작을 할 수 있다.

반누름 조작이 실행되었을 때, 예를 들어 디지털 촬영 장치(1)가 얼굴 인식 모드로 설정된 경우에는 전체 이미지(95)에서 인물의 얼굴이 인식되어 터치 스크린(50)에 얼굴을 표시하는 사각형 박스가 표시될 수 있다. 이러한 라이브뷰 표시 기능은 촬상부(3)가 영상광을 촬상하여 화상 신호로 변환하고, 화상 신호로부터 피사체 검출부(48)가 피사체를 검출하여 피사체 영역을 지정한 후, 왜곡 보정부(45)가 왜곡을 보정하여 보정 화상 신호를 생성하고, 피사체 영역 변환부(49)가 보정 피사체 영역을 지정하는 일련의 단계들을 포함할 수 있다.

도 3은 도 1의 디지털 촬영 장치를 이용한 촬영 중에 실행되는 왜곡 보정을 나타낸 설명도이다.

촬상부(3)가 촬상을 실행하여 생성한 화상 신호가 나타내는 원화상(raw image)은 도 3에 도시된 것과 같이 렌즈 유닛(10)에 의해 발생한 왜곡을 갖는 왜곡 화상(80)이다. 피사체 검출부(48)는 이러한 왜곡 화상(80)으로부터 얼굴 영역을 검출하고 검출된 얼굴을 포함하는 피사체 영역(81, 82)을 지정한다.

왜곡 화상(80)은 왜곡 보정부(45)에 의해 왜곡이 저감된 보정 화상(90)으로 변환된다. 보정 화상(90)은 왜곡 보정부(45)에 의해 생성된 보정 화상 신호가 나타내는 화상이다. 보정 화상(90)에는 피사체 영역 변환부(49)에 의해 생성된 보정 피사체 영역(91, 92)이 사각형 박스로 표시된다.

도 4는 도 3의 왜곡 보정 기능과 함께 실행되는 피사체 영역의 변환을 나타낸 설명도이다. 도 4에서는 피사체 영역의 변환되는 개념을 설명하기 위해 피사체 영역을 제외한 화상의 다른 부분들의 도시를 생략하였다.

피사체 검출부(48)가 왜곡 화상(80)에서 피사체를 검출하여 지정한 피사체 영역(81, 82)은 사각형을 갖지만, 왜곡 보정부(45)에 의해 생성된 보정 화상(90)에서는 피사체 영역(81, 82)에 대한 대응 영역들(81a, 82a)이 사각형이 아닌 왜곡된 모양을 갖는다. 피사체 영역 변환부(49)는 이와 같이 왜곡된 모양의 대응 영역들(81a, 82a)을 포함하도록 보정 피사체 영역(91, 92)을 새롭게 지정할 수 있다.

도 5는 도 1의 디지털 촬영 장치에 의한 촬영 중에 이루어지는 피사체 영역 변환의 일 예를 설명한 개념도이다.

도 5의 좌측의 화상은 촬상부(3)가 생성한 화상 신호가 나타내는 왜곡 화상(180)이다. 왜곡 화상(180)에 표시된 네 개의 포인트들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))이 이루는 직사각형은 피사체 검출부(48)가 피사체를 검출한 후 지정한 피사체 영역(181)이다.

도 5의 우측의 화상은 왜곡 보정부(45)에 의해 생성된 보정 화상 신호가 나타내는 보정 화상(190)이다. 보정 화상(190)에는 대각선에 위치하는 두 개의 꼭지점((X1', Y1'), (X2', Y2'))이 형성하는 직사각형 모양의 보정 피사체 영역(191)이 표시된다.

피사체 영역 변환부(49)는, 왜곡 화상(180)에 포함된 피사체 영역의 대각선에 위치하는 두 개의 꼭지점((X1, Y1), (X2, Y2))의 위치를, 왜곡 보정부(45)의 보정에 기초하여 변환함으로써 보정 피사체 영역을 이루는 두 개의 변환 꼭지점((X1', Y1'), (X2', Y2'))을 생성한다. 구체적으로 변환 꼭지점((X1', Y1'), (X2', Y2'))은 다음과 같은 변환 함수 f를 이용하여 생성될 수 있다.

(X1', Y1') = f(X1, Y1, Pc)

(X2', Y2') = f(X2, Y2, Pc)

수학식 1에서 변환 함수 f 에 입력되는 변수 Pc 는 렌즈들의 상대적인 위치나, 렌즈 유닛(10)의 종류에 따라 미리 정해지는 렌즈 왜곡 파라미터이다.

이와 같이 피사체 영역 변환부(49)가 보정 화상(190)에서의 피사체의 위치를 나타내는 보정 피사체 영역(191)을 생성할 때에는 왜곡 화상(180)에서의 피사체 영역(181)의 전체 픽셀들을 변환할 필요가 없이 단 두 개의 포인트((X1, Y1), (X2, Y2))만을 변환하면 된다.

도 6은 도 1의 디지털 촬영 장치에 의한 촬영 중에 이루어지는 피사체 영역 변환의 다른 예를 설명한 개념도이다.

도 6의 좌측의 화상은 촬상부(3)가 생성한 화상 신호가 나타내는 왜곡 화상(280)이다. 왜곡 화상(280)에 표시된 네 개의 포인트들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))이 이루는 직사각형은 피사체 검출부(48)가 피사체를 검출한 후 지정한 피사체 영역(281)을 나타낸다.

도 6의 우측의 화상은 왜곡 보정부(45)에 의해 생성된 보정 화상 신호가 나타내는 보정 화상(290)이다. 보정 화상(290)에는 대각선에 위치하는 두 개의 꼭지점((X1'', Y1''), (X4'', Y4''))이 형성하는 직사각형 모양의 보정 피사체 영역(191)이 표시된다.

피사체 영역 변환부(49)는, 왜곡 화상(280)에 포함된 피사체 영역(281)의 대각선에 위치하는 네 개의 꼭지점((X1, Y1), (X2, Y2))의 위치를, 왜곡 보정부(45)의 보정에 기초하여 변환함으로써 네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))을 생성한다. 구체적으로 네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))은 상술한 수학식 1에 의해 표현된 변환 함수 f를 이용하여 생성될 수 있다.

네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))을 보정 화상(290)에 표시하여 연결하면, 도 6에 도시된 것과 같이 직사각형이 아닌 왜곡된 다각형 영역(281a)이 완성된다. 피사체 영역 변환부(49)는 이와 같이 왜곡된 다각형 영역(281a)을 모두 포함하도록 보정 피사체 영역(291)을 지정할 수 있다.

보정 피사체 영역(291)은 네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))을 모두 포함하는 직사각형 영역으로 지정된다. 네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))을 모두 포함하는 보정 피사체 영역(291)을 지정하기 위해, 수학식 2에 의해 나타난 변환 함수 Cmax, Cmin 를 이용하여 두 개의 포인트((X1'', Y1''), (X4'', Y4''))를 구한다.

(X1'', Y1'') = Cmin((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))

(X4'', Y4'') = Cmax((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))

Cmin 함수에 변환되는 첫 번째 포인트(X1'', Y1'')는 보정 화상(290)에서 네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))의 가장 좌측 및 하측에 위치하는 한계 지점을 계산한다.

Cmax 함수에 변환되는 두 번째 포인트(X4'', Y4'')는 보정 화상(290)에서 네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))의 가장 우측 및 상측에 위치하는 한계 지점을 계산한다.

수학식 2에 의해 결정되는 두 개의 포인트((X1'', Y1''), (X4'', Y4''))는 네 개의 변환 꼭지점((X1', Y1'), (X2', Y2'), (X3', Y3'), (X4', Y4'))을 모두 포함하는 직사각형 모양의 보정 피사체 영역(291)의 대각선에 위치하는 꼭지점이다.

이와 같이 피사체 영역 변환부(49)가 보정 화상(290)에서의 피사체의 위치를 나타내는 보정 피사체 영역(291)을 생성할 때에는 왜곡 화상(280)에서의 피사체 영역(281)의 전체 픽셀들을 변환할 필요가 없이 단 네 개의 포인트((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))만을 변환하면 된다.

도 7은 도 1의 디지털 촬영 장치를 이용한 촬영에서 실행되는 피사체의 움직임 검출 동작의 설명도이고, 도 8은 도 7의 촬영 화상의 왜곡 보정과 함께 피사체 영역의 변환을 설명하는 개념도이다.

도 7에 도시된 화상은 촬상부(3)가 생성한 화상 신호가 나타내는 왜곡 화상(380)이다. 왜곡 화상(380)에는 피사체 검출부(48)가 움직이는 피사체를 검출한 후 지정한 피사체 영역(381)이 직사각형 박스로 표시되었다.

도 8에 도시된 화상은 왜곡 보정부(45)에 의해 생성된 보정 화상 신호가 나타내는 보정 화상(390)이다. 보정 화상(390)에서는 도 7의 피사체 영역(381)에 대응하는 대응 영역(381a)이 직사각형 아닌 왜곡된 모양을 갖는다. 피사체 영역 변환부(49)는 왜곡 화상(380)에서의 피사체 영역(381)의 네 개의 꼭지점의 위치를 왜곡 보정부(45)의 보정에 기초하여 변환한 후, 변환된 네 개의 위치를 모두 포함하는 직사각형 영역을 보정 피사체 영역(391)으로 지정한다.

도 9는 본 발명의 일 실시예에 관한 촬영 방법의 단계들을 나타낸 순서도이다.

도 9에 나타난 촬영 방법은, 렌즈 유닛을 통과한 영상광을 화상 신호로 변환하는 촬상 단계(S110)와, 화상 신호로부터 피사체를 검출하여 피사체 영역을 지 정하는 피사체 검출 단계(S120, S130, S140)와, 화상 신호를 보정 화상 신호로 변환하여 영상광의 왜곡을 보정하는 왜곡 보정 단계(S160)와, 보정 화상 신호에서 피사체 영역에 대응하는 보정 피사체 영역을 지정하는 피사체 영역 변환 단계(S180)를 포함한다.

촬상 단계(S110)에서는 촬상소자를 이용하여 렌즈 유닛을 통과한 영상광을 화상 신호로 변환한다. 촬상 단계(S110)에서 생성된 화상 신호가 나타내는 원화상(raw image)은 렌즈 유닛에 의해 발생한 왜곡을 갖는 왜곡 화상이다.

피사체 검출 단계(S120, S130, S140)는 미리 정해진 기능 모드에 따라 다른 방식으로 실행된다. 즉 사용자가 디지털 촬영 장치를 조작하여 얼굴 인식 모두 도는 움직임 인식 모드의 어느 하나의 기능을 선택하였을 때에는 피사체를 인식하는 모드의 종류를 판단한 후(S120), 얼굴 인식 모드인 경우에 얼굴 검출 단계(S130)를 실행하고, 피사체의 움직임 인식 모드인 경우에 움직임 검출 단계(S140)를 실행한다.

얼굴 검출 단계(S130)는 화상 신호가 나타내는 왜곡 화상에서 인물의 얼굴을 인식하여, 인식된 얼굴을 포함하도록 피사체 영역을 지정하는 단계이다.

움직임 검출 단계(S140)는 화상 신호가 나타내는 왜곡 화상에서 피사체의 움직임을 인식하여, 움직이는 것으로 인식된 피사체를 포함하도록 피사체 영역을 지정하는 단계이다.

피사체 검출 단계(S120, S130, S140)의 이후에는 생성된 화상 신호를 저장부에 저장하는 화상 신호 저장 단계(S150)가 실행될 수 있다. 화상 신호 저장 단 계(S150)에서 이용되는 저장부는 휘발성 내장 메모리일 수 있으며, 예를 들면, SDRAM(synchronous DRAM) 등의 반도체 기억 소자로 이루어져 촬상된 화상 신호를 저장할 수 있다.

왜곡 보정 단계(S160)는 저장부에 저장된 화상 신호를 읽어와 렌즈 유닛에 의해 발생한 왜곡을 보정하는 단계이다. 피사체 영역 변환 단계(S170)는 보정 화상 신호가 나타내는 보정 화상에서 피사체 영역에 대응하는 보정 피사체 영역을 지정하는 단계이다.

피사체 검출 단계(S120, S130, S140)에서 지정된 피사체 영역은 직사각형일 수 있으며, 피사체 영역 변환 단계(S170)는 왜곡 보정 단계(S160)의 왜곡 보정에 기초하여 피사체 영역의 대각선에 위치하는 두 개의 꼭지점의 위치를 변환하고, 변환된 두 개의 꼭지점을 포함하는 직사각형 영역을 보정 피사체 영역으로 지정할 수 있다.

또한 이를 변형하여 피사체 영역 변환 단계(S170)는 왜곡 보정 단계(S160)의 왜곡 보정에 기초하여 피사체 영역의 네 개의 꼭지점의 위치를 변환하고, 변환된 네 개의 위치를 모두 포함하는 직사각형 영역을 상기 보정 피사체 영역으로 지정할 수 있다.

피사체 영역 변환 단계(S170)의 이후에는 보정 화상 신호가 나타내는 보정 화상과 피사체 영역 변환 단계(S170)에서 생성된 보정 피사체 영역을 나타내는 보조 화상을 합성하여 라이브뷰 화상을 표시하는 라이브뷰 표시 단계(S180)가 실행된다. 라이브뷰 화상에 표시되는 보조 화상은 예를 들어 인식된 얼굴의 영역에 표시 되는 사각형 박스를 포함할 수 있다.

디지털 촬영 장치는 라이브뷰 화상을 표시함과 동시에 피사체 영역을 중심으로 초점을 조정하거나 노출을 조정하는 단계(S190)를 실행할 수 있다.

본 발명은 상술한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

도 4는 도 3의 왜곡 보정 기능과 함께 실행되는 피사체 영역의 변환을 나타낸 설명도이다.

도 7은 도 1의 디지털 촬영 장치를 이용한 촬영에서 실행되는 피사체의 움직임 검출 동작의 설명도이다.

도 8은 도 7의 촬영 화상의 왜곡 보정과 함께 피사체 영역의 변환을 설명하는 개념도이다.

* 도면의 주요부분에 대한 부호의 설명

1: 디지털 촬영 장치 48a: 얼굴 검출부

3: 촬상부 48b: 움직임 검출부

5: 셔터 버튼 48: 피사체 검출부

10: 렌즈 유닛 49: 영역 변환부

11: 줌 구동부 49: 피사체 영역 변환부

12: 렌즈들 50: 터치 스크린

15: 저장부 51: 표시부

20: 촬상소자 52: 입력부

40: 제어부 60: 데이터 베이스

41: 화상 변환부 95: 전체 이미지

42: 구동 회로부 281a: 다각형 영역

43: 저장 제어부 81a, 82a, 381a: 대응 영역들

44: 터치 스크린 제어부 80, 180, 280, 380: 왜곡 화상

45: 왜곡 보정부 81, 82, 181, 281, 381: 피사체 영역

46: 라이브뷰 생성부 91, 92, 191, 291, 391: 보정 피사체 영역

47: 촬상 제어부 90, 190, 290, 290, 390: 보정 화상

Claims

영상광을 통과시키는 렌즈 유닛;

상기 렌즈 유닛을 통과한 영상광을 화상 신호로 변환하는 촬상부;

상기 촬영부의 상기 화상 신호로부터 피사체를 검출하여 피사체 영역을 지정하는 피사체 검출부;

상기 피사체 검출부가 상기 피사체를 검출한 후에, 상기 렌즈 유닛에 의한 영상광의 왜곡을 보정하기 위해 상기 화상 신호를 보정 화상 신호로 변환하는 왜곡 보정부; 및

상기 보정 화상 신호에서 상기 피사체 영역에 대응하는 보정 피사체 영역을 지정하는 피사체 영역 변환부;를 구비하는, 디지털 촬영 장치.
제1항에 있어서,

상기 피사체 검출부는 얼굴을 인식하는 얼굴 검출부를 구비하고, 인식된 상기 얼굴을 포함하도록 상기 피사체 영역을 지정하는, 디지털 촬영 장치.
제1항에 있어서,

상기 피사체 검출부는 상기 피사체의 움직임을 인식하는 움직임 검출부를 구비하고, 인식된 상기 피사체를 포함하도록 상기 피사체 영역을 지정하는, 디지털 촬영 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 피사체 영역은 직사각형이고, 상기 피사체 영역 변환부는 상기 왜곡 보정부의 왜곡 보정에 기초하여 상기 피사체 영역의 대각선에 위치하는 두 개의 꼭지점의 위치를 변환하고, 변환된 두 개의 상기 꼭지점을 포함하는 직사각형 영역을 상기 보정 피사체 영역으로 지정하는, 디지털 촬영 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 피사체 영역은 직사각형이고, 상기 피사체 영역 변환부는 상기 왜곡 보정부의 왜곡 보정에 기초하여 상기 피사체 영역의 네 개의 꼭지점의 위치를 변환하고, 변환된 네 개의 위치를 모두 포함하는 직사각형 영역을 상기 보정 피사체 영역으로 지정하는, 디지털 촬영 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 피사체 검출부에 의해 상기 피사체 영역이 지정된 이후에 상기 화상 신호를 저장하는 저장부를 더 구비하고, 상기 왜곡 보정부는 상기 저장부에 저장된 상기 화상 신호를 읽어 왜곡 보정을 실행하는, 디지털 촬영 장치.
렌즈 유닛을 통과한 영상광을 화상 신호로 변환하는 촬상 단계;

화상 신호로부터 피사체를 검출하여 피사체 영역을 지정하는 피사체 검출 단계;

상기 렌즈 유닛에 의한 영상광의 왜곡을 보정하기 위해 상기 화상 신호를 보정 화상 신호로 변환하는 왜곡 보정 단계; 및

상기 보정 화상 신호에서 상기 피사체 영역에 대응하는 보정 피사체 영역을 지정하는 피사체 영역 변환 단계;를 포함하는, 촬영 방법.
제7항에 있어서,

상기 피사체 검출 단계는 얼굴을 인식하는 얼굴 검출 단계를 포함하고, 상기 피사체 영역은 인식된 상기 얼굴을 포함하는, 촬영 방법.
제7항에 있어서,

상기 피사체 검출 단계는 상기 피사체의 움직임을 인식하는 움직임 검출 단계를 포함하고, 상기 피사체 영역은 인식된 상기 피사체를 포함하는, 촬영 방법.
제7항 내지 제9항 중 어느 한 항에 있어서,

상기 피사체 영역은 직사각형이고, 상기 피사체 영역 변환 단계는 상기 왜곡 보정 단계의 왜곡 보정에 기초하여 상기 피사체 영역의 대각선에 위치하는 두 개의 꼭지점의 위치를 변환하고, 변환된 두 개의 상기 꼭지점을 포함하는 직사각형 영역을 상기 보정 피사체 영역으로 지정하는, 촬영 방법.
제7항 내지 제9항 중 어느 한 항에 있어서,

상기 피사체 영역은 직사각형이고, 상기 피사체 영역 변환 단계는 상기 왜곡 보정 단계의 왜곡 보정에 기초하여 상기 피사체 영역의 네 개의 꼭지점의 위치를 변환하고, 변환된 네 개의 위치를 모두 포함하는 직사각형 영역을 상기 보정 피사체 영역으로 지정하는, 촬영 방법.
제7항 내지 제9항 중 어느 한 항에 있어서,

상기 피사체 검출 단계 이후에 상기 화상 신호를 저장하는 저장 단계를 더 포함하고, 상기 왜곡 보정 단계는 상기 저장 단계에서 저장된 상기 화상 신호를 읽어 왜곡 보정을 실행하는, 촬영 방법.