KR101336239B1 - 촬영한 영상에서 오토 포커스 영역의 변경이 가능한 디지털영상 처리 장치 및 그의 동작 방법 - Google Patents

Abstract

본 발명은 본 발명은 촬영한 영상에서 포커스 영역이 변경된 새로운 영상을 생성하여 저장하는 디지털 영상 처리 장치 및 그의 동작 방법에 관한 것이다. 이를 위한 디지털 영상 처리 장치는 프리뷰 영상으로부터 제1 셔터-릴리즈 버튼의 입력에 의해 AF 위치가 변경된 복수의 RAW 데이터 영상 및 제2 셔터-릴리즈 버튼의 입력에 의해 캡쳐된 영상을 저장하는 저장부 및 저장부에 저장된 복수의 RAW 데이터 영상들을 재생하고, 재생되는 복수의 RAW 데이터 영상들 중 임의의 어느 한 RAW 영상이 선택되면, 선택된 RAW 데이터 영상을 새로운 캡쳐 영상으로 재 생성하는 제어부를 포함한다.

Description

촬영한 영상에서 오토 포커스 영역의 변경이 가능한 디지털 영상 처리 장치 및 그의 동작 방법{Digital image processing apparatus for being capblie of chaning auto focus area in captured image and method thereof}

도 1은 디지털 영상 처리장치의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.

도 2는 도 1에 도시된 디지털 영상 처리 장치의 뒤쪽 외형을 보여주는 배면도 이다.

도 3은 본 발명에 따른 촬영한 영상에서 포커스 영역의 변경이 가능한 디지털 영상 처리 장치의 구성을 보이는 블록도 이다.

도 4는 도 3을 설명하기 위한 영상들을 보이는 도면이다.

도 5는 발명에 따른 촬영한 영상에서 포커스 영역의 변경이 가능한 디지털 영상 처리 장치의 동작 방법을 보이는 흐름도 이다.

본 발명은 촬영한 영상에서 포커스 영역이 변경된 새로운 영상을 생성하여 저장하는 디지털 영상 처리 장치 및 그의 동작 방법에 관한 것이다.

디지털 영상 처리 장치로서의 디지털 카메라가 필름 카메라에 비해 편리한 점 중의 하나는 촬영한 영상을 현장에서 바로 확인하고 재 촬영 여부를 결정할 수 있다는 것이다.

사용자는 디지털 영상 처리 장치로 촬영한 영상 확인 시에, 영상의 밝기나 명암, 색상 등은 디지털 사진의 특징상 후 보정을 통해 어느 정도의 가용 범위 안에서 사용자가 조절이 가능하기 때문에 큰 문제가 되지는 않지만, 포커스의 경우 후 보정으로 수정할 수 없는 부분이기 때문에 특히 주의해야 한다.

AF(Auto focus, 자동 포커스)로 사진을 촬영하여 재생 모드에서 영상 확인 시에, 사용자가 원하는 부분에 AF가 맞지 않은 영상이면 재 촬영을 하여야 하기 때문에 불편하다.

이와 같이 종래의 디지털 영상 처리 장치에서는 촬영된 영상에서 AF 동작을 수행하는 기술이 없기 때문에 포커스가 의도대로 맺히지 않았을 경우 재 촬영을 수행해야 하는 불편한 문제점이 있다. 이로 인하여 많은 사용자들이 동일 씬을 연사로 여러 장 촬영하거나, 어떤 디지털 영상 처리 장치의 경우 동일 씬에 대해 초점을 달리하여 여러 장 촬영하는 AF 브라켓팅 기능을 제공하기도 한다. 결국 촬영하는 씬의 종류보다 훨씬 많은 영상을 촬영해야 하고 촬영된 영상 중에서 원하는 영상을 골라내야 하는 후 작업이 발생하여 불편한 문제점이 있다.

본 발명이 이루고자 하는 기술적인 과제는 프리뷰 화면상에서 얼굴인식을 통하여 AF가 각각 다르게 수행된 복수의 Raw 데이터 영상을 생성하고, 영상 재생 시에 상기 복수의 Raw 데이터 중 사용자의 의도대로 AF가 수행된 Raw 데이터를 선택 하여 새로운 캡쳐 영상으로 생성하는 촬영한 영상에서 포커스 영역의 변경이 가능한 디지털 영상 처리 장치 및 그의 동작 방법을 제공하는데 있다.

본 발명이 이루고자 하는 상기 기술적인 과제를 해결하기 위한 촬영한 영상에서 포커스 영역의 변경이 가능한 디지털 영상 처리 장치는

프리뷰 영상으로부터 제1 셔터-릴리즈 버튼의 입력에 의해 AF 위치가 변경된 복수의 RAW 데이터 영상 및 제2 셔터-릴리즈 버튼의 입력에 의해 캡쳐된 영상을 저장하는 저장부; 및

상기 저장부에 저장된 복수의 RAW 데이터 영상들을 재생하고, 재생되는 상기 복수의 RAW 데이터 영상들 중 임의의 어느 한 RAW 영상이 선택되면, 상기 선택된 RAW 데이터 영상을 새로운 캡쳐 영상으로 재 생성하는 제어부를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 제어부는 상기 선택된 RAW 데이터 영상에 상기 저장부에 저장된 캡쳐된 영상의 노출정보 및 화이트밸런스 정보를 합성하여 새로운 캡쳐 영상을 재 생성하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어부는 일정 시간이 경과되면, 상기 저장부로부터 복수의 RAW 데이터들을 삭제하는 것을 특징으로 한다.

본 발명이 이루고자 하는 상기 기술적인 과제를 해결하기 위한 촬영한 영상에서 포커스 영역의 변경이 가능한 디지털 영상 처리 장치의 동작 방법은

(a) 프리뷰 영상으로부터 제1 셔터-릴리즈 버튼 입력에 의해 AF의 위치가 변 경된 복수의 RAW 데이터 영상을 생성하여 저장하는 단계;

(b) 제2 셔터-릴리즈 버튼의 입력에 의해 캡쳐된 영상을 생성하여 저장하는 단계;

(c) 상기 저장된 영상들을 재생하는 단계; 및

(d) 상기 재생되는 복수의 RAW 데이터 영상으로부터 임의의 어느 한 RAW 영상이 선택되면, 상기 선택된 RAW 영상에 상기 캡쳐된 영상의 노출정보 및 화이트밸런스 정보를 합성하여 새로운 캡쳐 영상을 재 생성하는 단계를 포함하는 것이 바람직하다.

본 발명에 있어서, (e) 일정 시간이 경과되면, 상기 복수의 RAW 데이터들을 삭제하는 단계를 더 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 영상 재생 장치로써 디지털 영상 처리장치의 앞쪽 및 위쪽 외형을 보여주는 사시도 이다.

도 1을 참조하면, 셔터-릴리즈 버튼(11), 전원 버튼(13), 플래시(15), 보조광(17), 렌즈부(19)가 있다.

셔터-릴리즈 버튼(11)은 정해진 시간 동안 CCD나 필름을 빛에 노출시키기 위해 열리고 닫히며, 조리개(미도시)와 연동하여 피사체를 적정하게 노출시켜 CCD에 영상을 기록한다.

셔터-릴리즈 버튼(11)은 촬영자 입력에 의해 제1 및 제2 영상 촬영 신호를 생성한다. 반셔터 신호로써의 제1 셔터-릴리즈 버튼(11)이 입력되면, 디지털 영상 처리 장치는 초점을 잡고 빛의 양을 조절하며, 이때 초점이 맞은 경우 디스플레이부(25)에 녹색 불이 켜지게 된다. 제1 셔터-릴리즈 버튼(11)의 입력으로 초점이 잡히고 빛의 양이 조절되면, 비로소 완전셔터 신호로써의 제2 셔터-릴리즈 버튼(11)을 입력하여 영상을 촬영 즉 캡쳐한다.

전원 버튼(13)은 디지털 영상 처리 장치에 전원을 공급하여 동작시키기 위해 입력된다.

플래시(15)는 어두운 곳에서 촬영할 경우 밝은 빛을 순간적으로 비추어 밝게 해주는 것으로 플래시 모드에는 자동플래시, 강제발광, 발광금지, 적목감소, 슬로우 싱크로 등이 있다.

보조광(17)은 광량이 부족하거나 야간 촬영 시에 디지털 영상 처리 장치가 자동으로 초점을 빠르고 정확하게 잡을 수 있도록 피사체에 광을 공급한다.

렌즈부(19)는 외부 광원으로부터 빛을 받아 영상을 처리한다.

도 2는 도 1에 도시된 디지털 영상 처리 장치의 뒤쪽 외형을 보여주는 배면도 이다.

도 2를 참조하면, 디지털 영상 처리 장치의 뒤쪽에는 광각(wide angle)-줌(zoom) 버튼(21w), 망원(telephoto)-줌 버튼(21t), 기능버튼(23) 및 디스플레이부(25)가 있다.

광각-줌 버튼(21w) 또는 망원-줌 버튼(21t)은 입력에 따라 화각이 넓어지거나, 화각이 좁아지는데, 특히, 선택된 노출영역의 크기를 변경시키고자 할 때 입력한다. 광각-줌 버튼(21w)이 입력되면, 선택된 노출영역의 크기가 작아지고, 망원- 줌 버튼(21t)이 입력되면, 선택된 노출영역의 크기가 커진다.

기능버튼(23)은 상향버튼, 하향 버튼, 좌향버튼, 우향버튼 및 메뉴/OK버튼을 포함하여 총 5개의 버튼을 포함한다. 기능버튼(23)은 디지털 영상 처리 장치의 동작에 관한 각종 메뉴를 실행시키기 위해 입력되며, 상기 각 키들은 단축키로써도 이용될 수 있다.

도 3은 도 1 및 도 2에 도시된 디지털 영상 처리 장치의 구성을 보이는 블록도로서, 디스플레이부(25), 사용자 입력부(31), 촬상부(33), 영상 처리부(35), 저장부(37) 및 제어부(39)를 포함한다.

사용자 입력부(31)는 도 1 및 도 2를 참조하면, 정해진 시간 동안 CCD나 필름을 빛에 노출시키기 위해 열리고 닫히는 셔터-릴리즈 버튼(11), 디지털 영상 처리 장치의 동작을 온/오프 시키는 전원버튼(13), 입력에 따라 화각을 넓어지게 하거나, 화각을 좁아지게 하는 광각-줌 버튼(21w) 또는 망원-줌 버튼(21t) 및 디지털 영상 처리 장치의 동작에 관한 각종 메뉴를 실행시키기 위해 입력하는 기능 버튼(23)이 있다.

촬상부(33)는 셔터-릴리즈 버튼(11), 도면에 도시되지 않은 렌즈부, 조리개 및 CCD(Charge Coupled Device) 및 ADC를 포함한다.

셔터-릴리즈 버튼(11)은 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이 때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. 조리개의 개폐 정도는 제어부(39)에 의해 제어된다.

CCD는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기신호에 맞추어 출력한다. 디지털 영상 처리 장치의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD에 의해 이루어진다. CCD를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터(미도시)를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다. 여기서 CCD로부터 출력된 아날로그 영상신호를 디지털 신호로 변환한 데이터를 RAW 데이터가 된다.

영상 처리부(35)는 디지털 변환된 RAW 데이터를 디스플레이 가능하도록 신호처리 한다.

영상 처리부(35)는 온도변화에 만감한 CCD 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다.

영상 처리부(35)는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다.

영상 처리부(35)는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다.

영상 처리부(35)는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌 표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다.

영상 처리부(35)는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이부(25)에 디스플레이 되고, 저장부(37)에 저장된다.

또한 영상 처리부(35)는 얼굴 인식을 수행한다. 영상 처리부(35)는 프리뷰 상태에서 얼굴 인식 기법을 이용해 영상 데이터로부터 에지(Edge) 정보를 추출하고, 추출된 에지 정보내의 이미지 영역으로부터 눈, 코, 입을 포함하는 특징 요소를 검출하고, 검출된 특징 요소에 따라 얼굴 영역을 산출한다.

또는 영상 처리부(35)는 얼굴 인식을 위해 획득된 영상의 색깔 정보를 추출하고, 그 추출된 색깔 정보를 사람의 피부색과 비교하여 사람의 얼굴을 검출하여, 상기 획득된 영상에 사람 얼굴이 포함되어 있는가 여부를 판단할 수 도 있다.

이와 같이 얼굴 인식 기법을 이용해 얼굴 영역을 추출하는 기술에 관련해서는 이 출원 이전에 이미 다양하게 공지되어 시행되는 통상의 기술이므로, 이에 대한 자세한 설명은 생략하기로 한다.

제어부(39)는 장치 전체의 동작을 제어하며, 특히, 촬영한 영상에서 오토 포커스 영역의 변경이 가능하도록 다음과 같은 동작을 수행한다. 이를 위한 제어부(39)의 동작이 도 5의 촬영한 영상에서 오토 포커스 영역의 변경이 가능한 디지털 영상 처리 장치의 동작 방법으로 개시되어 있으며, 도 3 내지 도 5를 참조하여 상세히 설명한다.

제어부(39)는 사용자로부터 제1 셔터-릴리즈 버튼(11) 입력신호를 수신하여(501단계), 해당 프리뷰 영상으로부터 AF 위치가 변경된 복수의 RAW 데이터 영상을 생성하여 저장부(37)에 저장한다(503단계).

AF 위치 변경은 영상 처리부(35)의 얼굴 인식에 결과에 의해 제어부(39)에서 수행된다. 예를 들어, 도 4a와 같은 외부 영상이 프리뷰 화면으로 디스플레이 되는 경우, 제1 셔터-릴리즈 버튼(11)이 입력되면, 제어부(39)는 앞 사람으로 AF를 맞춘 RAW 데이터 영상을 저장부(37)에 저장하고, 뒷 사람으로 AF를 맞춘 RAW 데이터 영상을 저장부(37)에 저장한다. 도 4a에서는 설명의 편의 상 두 사람의 얼굴 인식을 통하여 AF 위치가 변경된 두 개의 RAW 데이터 영상을 저장하고 있으나, 단체 사진의 경우 얼굴 인식을 통하여 AF 위치가 변경된 복수개 즉, 사람의 얼굴 수 만큼의 RAW 데이터 영상을 저장할 수도 있다.

제어부(39)는 제2 셔터-릴리즈 버튼(11) 입력신호를 수신하여, 해당 프리뷰 영상을 캡쳐하고, 영상 처리부(35)에서 신호 처리 과정을 거친 JPEG 파일을 저장부(37)에 저장한다(505단계). 이때 캡쳐된 영상은 적어도 자동 노출 조정 및 자동 화이트 밸런스 보정된 영상이다.

자동 노출은 영상의 밝기를 카메라가 판단하여 자동적으로 노출을 정해 주는 기능으로, CCD 감도(ISO), 조리개 값, 셔터 속도를 모두 고려해서 결정된다.

디지털 영상 장치를 사용하여 동일한 피사체를 촬영하는 경우, 여러가지 광원의 조건에 따라 촬영된 색의 겉보기가 달라진다. 따라서 무채색의 피사체에서는 RGB의 비율이 언제나 일정한 값이 되도록 하거나, 또는 색차신호 R-Y, B-Y가 항상 제로가 되도록 제어하는 자동 화이트 밸런스를 수행한다. 즉, 푸르름이 있는 화이트에서는 B(blue)의 이득보다 R(red)의 이득을 더 올리고, 붉음이 있는 화이트에서는 R의 이득보다 B의 이득을 더 올리도록 하는 것이다.

제1 및 제2 셔터-릴리즈 버튼(11) 입력에 의해, 복수의 RAW 데이터 및 캡쳐 영상(JPEG 파일)이 저장부(37)에 저장된 후, 사용자 입력부(31)를 통하여 입력된 재생 신호에 의해 저장부(37)에 저장된 영상들을 디스플레이부(25)에 재생한다(507단계). 디스플레이부(25)에 디스플레이되는 영상들은 저장부(37)에 저장된 복수의 RAW 데이터 영상들이다.

제어부(39)는 이들 RAW 데이터 영상들을 기능버튼(23) 입력신호 수신에 의해 순차적으로 디스플레이 한다(509단계).

도 4를 참조하면, 저장부(37)에는 도 4b와 같이 앞 사람으로 AF를 맞춘 RAW 데이터 영상 및 뒷 사람으로 AF를 맞춘 RAW 데이터 영상이 저장되어 있으며, 제어부(39)는 기능버튼(23) 입력신호 수신에 의해 복수의 RAW 데이터 영상을 순차적으로 디스플레이부(25)에 디스플레이한다.

사용자가 의도한대로 AF가 수행된 RAW 데이터 영상이 검색되면, 제어부(39)는 해당 RAW 데이터 영상 선택 신호를 수신한다(511단계).

이후, 제어부(39)는 선택된 RAW 영상에 캡쳐된 영상의 자동 노출 정보 및 자동 화이트 밸런스 정보를 합성하여 새로운 캡쳐 영상을 재 생성하고 저장부(37)에 저장한다(513단계).

도 4를 예로 들어, 기능버튼(23)에 의한 RAW 데이터 영상 검색으로 도 4b와 같이 앞 사람으로 AF를 맞춘 RAW 데이터 영상이 선택되면, 제2 셔터-릴리즈 버튼(11)입력으로 생성된 캡쳐 영상(도 4a라고 가정) 시에 생성되었던 자동 노출 정보 및 자동 화이트 밸런스 정보를 도 4b의 영상에 합성하여 새로운 캡쳐 영상을 재 생성하고 이를 저장부(37)에 저장한다.

도면에 도시되지는 않았지만, 제어부(39)는 일정 시간이 경과되면, 재 생성되어 저장부(37)에 저장된 새로운 캡쳐 영상을 제외하고, 복수의 RAW 데이터 영상 및 제2 셔터-릴리즈 버튼(11) 입력에 의해 캡쳐된 영상을 삭제할 수 있다.

그리고, 본 발명에서는 새로운 캡쳐 영상이 한 개가 생성되는 것으로 설명되어 있으나, 이는 사용자의 선택에 따라 복수 개로 생성될 수 있다.

상술한 바와 같이 본 발명에 따르면, 재 촬영 없이 한 번 촬영한 영상에서 사용자의 의도대로 AF가 수행된 영상을 선택 및 생성함으로써 사용자의 편의성을 극대화 할 수 있는 효과를 창출한다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (5)

1. 프리뷰 영상으로부터 제1 셔터-릴리즈 버튼의 입력에 의해 AF 위치가 변경된 복수의 RAW 데이터 영상 및 제2 셔터-릴리즈 버튼의 입력에 의해 캡쳐된 영상을 저장하는 저장부; 및

   상기 저장부에 저장된 복수의 RAW 데이터 영상들을 재생하고, 재생되는 상기 복수의 RAW 데이터 영상들 중 임의의 어느 한 RAW 데이터 영상이 선택되면, 상기 선택된 임의의 어느 한 RAW 데이터 영상을 새로운 캡쳐 영상으로 재 생성하는 제어부를 포함하는 디지털 영상 처리 장치.
2. 제 1항에 있어서, 상기 제어부는

   상기 선택된 임의의 어느 한 RAW 데이터 영상에 상기 저장부에 저장된 캡쳐된 영상의 노출정보 및 화이트밸런스 정보를 합성하여 새로운 캡쳐 영상을 재 생성하는 것을 특징으로 하는 디지털 영상 처리 장치.
3. 제 1항에 있어서, 상기 제어부는

   일정 시간이 경과되면, 상기 저장부로부터 상기 복수의 RAW 데이터 영상들을 삭제하는 것을 특징으로 하는 디지털 영상 처리 장치.
4. (a) 프리뷰 영상으로부터 제1 셔터-릴리즈 버튼 입력에 의해 AF의 위치가 변경된 복수의 RAW 데이터 영상을 생성하여 저장하는 단계;

   (b) 제2 셔터-릴리즈 버튼의 입력에 의해 캡쳐된 영상을 생성하여 저장하는 단계;

   (c) 상기 저장된 복수의 RAW 데이터 영상들을 재생하는 단계; 및

   (d) 상기 재생되는 복수의 RAW 데이터 영상으로부터 임의의 어느 한 RAW 데이터 영상이 선택되면, 상기 선택된 임의의 어느 한 RAW 데이터 영상에 상기 캡쳐된 영상의 노출정보 및 화이트밸런스 정보를 합성하여 새로운 캡쳐 영상을 재 생성하는 단계를 포함하는 디지털 영상 처리 장치의 동작 방법.
5. 제 4항에 있어서,

   (e) 일정 시간이 경과되면, 상기 복수의 RAW 데이터들 영상을 삭제하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 장치의 동작 방법.

Images