KR20140032318A - 노출 조건을 주기적으로 변화시키는 촬상장치, 촬상장치의 제어방법, 및 기억매체 - Google Patents

Abstract

노출 조건을 변화시켜서 동영상을 촬영할 때에 적절한 화상 평가를 행할 수 있는 촬상장치. 촬상 유닛은 피사체를 촬상하고, 구동 유닛은 포커스 렌즈를 광축방향으로 구동한다. 제어회로는, 상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시킴으로써, 피사체의 포커스 상태를 제어한다. 포커스 평가값은 각 화상으로부터 취득된다. 상기 제어회로는, 상기 촬상 유닛에 의해 노광 시간을 변화시켜 다단 노출 화상군의 화상을 촬상하고, 노광 시간에 따라 화상을 선택하며, 선택된 화상으로부터 취득된 상기 포커스 평가값을 사용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시킨다.

Description

노출 조건을 주기적으로 변화시키는 촬상장치, 촬상장치의 제어방법, 및 기억매체{IMAGE PICKUP APPARATUS THAT PERIODICALLY CHANGES EXPOSURE CONDITION, A METHOD OF CONTROLLING IMAGE PICKUP APPARATUS, AND STORAGE MEDIUM}

본 발명은, 콘트라스트 검출 포커스 제어를 행하는 디지털 카메라 등의 촬상장치, 촬상장치의 제어방법, 및 기억매체에 관한 것이다.

옥외 등에서 디지털 카메라를 사용하고 있는 씬을 촬영할 때, 촬영가능한 휘도 레인지보다도 씬의 휘도 레인지가 넓은 경우가 있다. 이 경우, 촬영가능한 휘도 레인지 외의 피사체의 계조 정보가 기록될 수 없기 때문에, 촬영된 화상 내에는 블로운 아웃(blown-out) 하이라이트 또는 블록트 업(blocked-up) 그림자가 형성되어 있다. 예를 들면, 맑은 날에 옥외에서 인물을 촬영할 경우, 인물에의 노출을 조절하면, 촬영된 화상에서 배경으로서의 하늘이나 구름에 블로운 아웃 하이라이트가 있거나, 배경으로서의 나무 그늘에 블록트 업 그림자가 있는 경우가 있다. 이 때문에, 씬을 실제로 봤을 때의 인상과 촬영 화상을 봤을 때의 인상이 서로 다른 경우가 있다.

이러한 문제를 해결하는 기술의 하나로서, HDR(Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ) 처리가 알려져 있다. HDR 처리는, 기본적으로 다이나믹 레인지 확대 처리와 계조 압축 처리로 구성되어 있다.

다이나믹 레인지 확대 처리는, 촬영가능한 다이나믹 레인지를 확대하고, 블로운 아웃 하이라이트나 블록트 업 그림자가 발생했던 휘도 레인지의 계조 정보를 기록한다. 그것의 일반적인 방법에 의하면, 같은 콘텐츠에 대하여 노출을 변경해서 촬영한 화상군(다단 노출 화상군)이 합성된다(이하, 이 다이나믹 레인지 확대 처리에 의해 생성되는 화상을 HDR 화상이라고 부른다).

이에 대하여, 계조 압축 처리는, 다이나믹 레인지가 넓은 HDR 화상을 다이나믹 레인지가 좁은 표시/출력 기기를 이용해서 바람직하게 재현하기 위한 화상처리이며, HDR 화상의 휘도의 저주파 성분에 대해서, 그 진폭을 압축하는 등의 방법이 이용되고 있다. 이렇게 HDR 처리를 행하면, 블로운 아웃 하이라이트/블록트 업 그림자를 경감하는 바람직한 화상을 표시 또는 프린트 출력할 수 있다(일본국 공개특허공보 특개2007-215073호).

한편, 디지털 카메라의 대부분은 동영상 촬영시에, 촬영 화상의 콘트라스트를 평가해서 AF(Ａｕｔｏ Ｆｏｃｕｓ) 제어를 행한다. 그러나, 노광 시간을 길게 해서, 즉 느린 셔터 속도로 촬상된 프레임 화상에서는, 예를 들면 카메라 흔들림 등에 의해 화상의 초점이 맞지 않을 수 있어(out-of-focus), 고주파성분이 손실될 수 있기 때문에, 항상 정밀하게 콘트라스트를 평가할 수 없다.

이 문제를 해결하기 위해서, 짧은 노광 시간에서의 촬영과, 긴 노광 시간에서의 촬영을 교대로 연속해서 행하고, 긴 노광 시간에서 촬상된 프레임을 표시와 기록에 사용하고, 짧은 노광 시간에서 촬상된 프레임을 AF 등의 화상 평가에 사용하는 기술이 있다(일본국 공개특허공보 특개2009-141538호).

그렇지만, 전술한 일본국 공개특허공보 특개 2007-215073호, 및 일본국 공개특허공보 특개 2009-141538호에 있어서는, 다이나믹 레인지가 넓은 HDR 동영상을 생성할 목적으로 행해지는 동영상 촬영에 있어서, 화상 합성을 위해서 노출 조건을 변화시켜서 화상을 촬영하는 각 노출 조건 하에 촬영된 화상을 이용하는 화상 평가에 대해서 기재되어 있는 것이 없었다.

본 발명은, 노출 조건을 변화시켜서 동영상을 촬영할 때에, 적절한 화상평가를 행할 수 있는 촬상장치 및 촬상장치의 제어방법을 제공한다.

본 발명의 제1 측면에 있어서는, 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛과, 상기 구동 유닛에 의해 상기 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 제어 유닛과, 상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 평가값 취득 유닛을 구비하고, 상기 제어 유닛은, 상기 촬상 유닛에 의해 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 상기 다단 노출 화상군의 화상들의 각 노광 시간에 의거해서 상기 다단 노출 화상군으로부터 화상을 선택하며, 선택된 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동유닛에 의해 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키도록 동작가능한, 촬상장치가 제공된다.

본 발명의 제2 측면에 있어서는, 피사체를 촬상하는 촬상 유닛과, 상기 촬상 유닛의 움직임량을 검출하는 움직임 검출 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛과, 상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 제어 유닛과, 상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 평가값 취득 유닛을 구비하고, 상기 제어 유닛은, 상기 촬상 유닛에 의해 노광 시간을 주기적으로 변화시켜서 다단 노출 화상군의 화상들을 촬상하고, 상기 움직임 검출 유닛에 의해 취득된 노광 중의 움직임량이, 상기 다단 노출 화상군의 다른 화상들에 대하여 상기 움직임 검출부에 의해 취득된 움직임량에 비해서 작은 다단 노출 화상군의 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하며, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는, 촬상장치가 제공된다.

본 발명의 제3 측면에 있어서는, 노광 시간을 변화시켜서 다단 노출 화상군의 화상들을 촬상하는 촬상장치로서, 피사체를 촬상하는 촬상 유닛과, 상기 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 평가값 취득 유닛과, 상기 촬상 유닛에 의해 취득된 다단 노출 화상군에서, 노광 시간이 가장 짧은 화상과, 기준값보다 노광 시간이 짧은 화상 중의 적어도 하나의 화상으로부터 취득된 평가값을 이용해서 피사체를 평가하는 평가 유닛을 구비하는, 촬상장치가 제공된다.

본 발명의 제4 측면에 있어서는, 통상 동영상 촬영 모드와 노광 시간이 서로 다른 다단 노출 화상군을 촬상하는 하이 다이나믹 레인지의 동영상 촬영 모드를 갖는 촬상장치로서, 피사체를 촬상하는 촬상 유닛과, 상기 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 산출하고, 복수의 화상의 평가값을 비교함으로써 피사체를 평가하는 평가 유닛과, 상기 다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상을 생성하는 합성 유닛을 구비하고, 상기 평가 유닛은, 촬상장치가 상기 하이 다이나믹 레인지의 동영상 촬영 모드로 설정되는 경우에, 상기 평가값을 취득하는 화상의 밝기로 각 평가값을 정규화해서 비교를 행하는, 촬상장치가 제공된다.

본 발명의 제5 측면에 있어서는, 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치의 제어방법으로서, 상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 단계와, 상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고, 상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 다단 노출 화상군의 화상들의 각 노광 시간에 의거해 상기 다단 노출 화상군으로부터 화상을 선택하며, 선택된 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 제어방법이 제공된다.

본 발명의 제6 측면에 있어서는, 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치의 제어방법으로서, 상기 촬상 유닛의 움직임량을 검출하는 단계와, 상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 단계와, 상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고, 상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 주기적으로 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 화상의 노광 중에 상기 움직임량 검출에 의해 취득된 움직임량이 상기 다단 노출 화상군의 다른 화상들에 대해서 상기 검출에 의해 취득된 움직임량에 비해 작은 다단 노출 화상군의 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하며, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 제어방법이 제공된다.

본 발명의 제7 측면에 있어서는, 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하는 촬상장치의 제어방법으로서, 피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 단계와, 상기 촬상 유닛에 의해 취득된 다단 노출 화상군 중에서, 노광 시간이 가장 짧은 화상과, 기준값보다 노광 시간이 짧은 화상 중의 적어도 하나의 화상으로부터 취득된 평가값을 이용해서 피사체를 평가하는 단계를 포함하는 제어방법이 제공된다.

본 발명의 제8 측면에 있어서는, 통상 동영상 촬영 모드와 노광 시간이 서로 다른 다단 노출 화상군을 촬상하는 하이 다이나믹 레인지의 동영상 촬영 모드를 갖는 촬상장치의 제어방법으로서, 피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 산출하고, 복수의 화상의 평가값을 비교함으로써 피사체를 평가하는 단계와, 다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상을 생성하는 단계를 포함하고, 상기 촬상장치가, 하이 다이나믹 레인지의 동영상 촬영 모드로 설정되는 경우에, 상기 평가값을 취득하는 화상의 밝기를 이용하여 각 평가값을 정규화해서 피사체를 평가하기 위한 비교를 행하는, 제어방법이 제공된다.

본 발명의 제9 측면에 있어서는, 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시(non-transisory) 컴퓨터 판독가능한 기억매체로서, 상기 제어방법은, 상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시켜서 촬상하는 피사체의 포커스 상태를 제어하는 단계와, 상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고, 상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 상기 다단 노출 화상군의 화상들의 각 노광 시간에 근거해서 상기 다단 노출 화상군으로부터 화상을 선택하며, 상기 선택된 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 기억매체가 제공된다.

본 발명의 제10 측면에 있어서는, 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시 컴퓨터 판독가능한 기억매체로서, 상기 제어방법은, 상기 촬상 유닛의 움직임량을 검출하는 단계와, 상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시켜서 촬상하는 피사체의 포커스 상태를 제어하는 단계와, 상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고, 상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 주기적으로 변화시켜서 다단 노출 화상군의 화상들을 촬상하고, 화상의 노광 중에 상기 움직임 검출에 의해 취득된 움직임량이 상기 다단 노출 화상군의 다른 화상들에 대하여 상기 검출에 의해 취득된 움직임량에 비해서 작은, 다단 노출 화상군의 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 기억매체가 제공된다.

본 발명의 제11 측면에 있어서는, 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시 컴퓨터 판독가능한 기억매체로서, 상기 제어방법은, 피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 단계와, 상기 촬상 유닛에 의해 취득된 다단 노출 화상군 중에서, 노광 시간이 가장 짧은 화상과, 기준값보다 노광 시간이 짧은 화상 중의 적어도 하나의 화상으로부터 취득된 평가값을 이용해서 피사체를 평가하는 단계를 포함하는, 기억매체가 제공된다.

본 발명의 제12 측면에 있어서는, 통상 동영상 촬영 모드와 노광 시간이 서로 다른 다단 노출 화상군을 촬상하는 하이 다이나믹 레인지의 동영상 촬영 모드를 갖는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시 컴퓨터 판독가능한 기억매체로서, 상기 제어방법은, 피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 단계와, 피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 산출하고, 복수의 화상의 평가값을 비교함으로써 피사체를 평가하는 단계와, 상기 다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상을 생성하는 단계를 포함하고, 상기 촬상장치가 상기 하이 다이나믹 레인지의 동영상 촬영 모드로 설정되는 경우에, 상기 평가값을 취득하는 화상의 밝기를 이용하여 각 평가값을 정규화해서 상기 피사체를 평가하기 위한 비교를 행하는, 기억매체가 제공된다.

본 발명에 의하면, 노출 조건을 변화시켜서 동영상을 촬영할 때에, 적절한 화상평가를 행할 수 있다.

본 발명의 또 다른 특징은 첨부도면을 참조하면서 이하의 예시적인 실시예의 설명으로부터 분명해질 것이다.

도 1은, 본 발명의 제1실시예에 따른 촬상장치로서의 디지털 카메라의 블럭도다.
도 2a∼2g는, 디지털 카메라에 있어서의 HDR 처리의 예와, 노출 제어의 예에 관하여 설명하기 위한 도면이다.
도 3은, 다단 노출 화상군의 촬영과, 다단 노출 화상군에 대한 노광 중의 움직임량 검출 예에 관하여 설명하기 위한 타이밍도이다.
도 4는, 도 3에서 나타낸 제1∼ 제6 프레임의 촬영 화상에 대해서, 노광 시간과 노광 중의 카메라 흔들림량과의 관계를 나타내는 그래프다.
도 5는, 제어회로가 1프레임의 촬영마다 행하는 오토 포커스 제어 처리의 플로차트이다.
도 6은, 본 발명의 제2 실시예에 따른 촬상장치로서의 디지털 카메라에 있어서, 촬상소자로부터의 촬영 화상의 노광과, 촬상소자로부터 촬영 화상을 캡처하는 처리의 타이밍을 나타내는 타이밍도이다.
도 7은, 본 발명의 제3 실시예에 따른 촬상장치로서의 디지털 카메라에 있어서, 촬영의 전제가 되는 콘트라스트 검출 포커스 제어에 있어서의 등산(hill climbing) 방법에 의거한 포커스 제어를 설명하는 그래프다.
도 8은, 프레임을 처리하는 직전의 포커스 평가값과 노광 중의 카메라 흔들림량과의 관계를 나타내는 그래프다.

이하, 본 발명의 실시예를 나타내는 첨부도면을 참조하면서 본 발명에 대해서 상세히 설명한다. 우선, 노출 조건을 변화시켜서 복수의 화상을 촬상하고, 이와 같이 촬영된 화상으로부터 HDR 동영상을 생성하는 경우에 있어서, 화상 평가값을 취득하기 위한 본 발명의 제1 실시예에 따른 촬상장치를 설명한다.

노출이 서로 다른 화상군을 촬영하기 위해서는, 노광 시간, 애퍼처(aperture), ＮＤ(Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ) 필터, 및 화상신호에 대한 게인 중의 적어도 하나를 변화시킬 필요가 있다. 그러나, 애퍼처와 ND 필터를 동영상의 프레임 레이트(프레임 레이트)(예를 들면 30 fps, 60 fps)에 맞는 고속으로 정밀하게 제어하는 것은 곤란하다.

또한, 화상신호에 대한 게인을 상승시키는 것에 따라, 화상신호의 S/N비가 악화되어서, 화상에 노이즈가 중첩되어 버린다. 상기에서, 동영상의 HDR 처리에서는, 노광 시간을 변경시킴으로써 노출이 서로 다른 화상군을 촬영하는 것이 유력한 선택사항이 된다. 다만, 전술한 화질의 저하 등을 허용하는 것이라면, 노광 시간(전하 축적 시간), F값(애퍼처, ND 필터), 및 화상신호에 대한 게인(ＩＳＯ 감도) 중 하나를 변화시켜서 노출 조건을 주기적으로 변화시키는 촬영을 행해도 된다.

노광 시간을 길게 해서 촬영된 프레임에 대하여는, 카메라 흔들림과 피사체 모션 블러(motion blur)의 영향이 커져, 정밀하게 화상 평가를 행할 수 없는 경우가 있다. 전술한 일본국 공개특허공보 특개 2009-141538호와 같이, 노광 시간을 짧게 해서 촬영된 프레임만을 사용해서 화상 평가를 행하는 것을 고려할 수 있다. 그렇지만, 그 경우에는, 노광 시간을 길게해서 촬영된 프레임을 화상 평가에 사용하지 않기 때문에, 화상 평가의 샘플링 레이트가 떨어져, 예를 들면 포커싱의 평가값을 취득하는 경우, 포커싱 동작이 늦어지는 문제가 있다.

노광 시간을 짧게 해서 취득된 프레임만이 화상 평가에 사용되는 경우에는, 센서의 구동방식을 화소 가산이나 화소 선별(pixel thinning)로 전환함으로써 화질을 저하시키는 댓가로 화상신호를 짧은 시간 내에 판독함으로써 샘플링 레이트(sampling rate)의 저하를 방지하는 것도 고려할 수 있다. 그러나, HDR 처리에는 짧은 노광 시간으로 촬영된 프레임도 사용하기 때문에, 화소 가산이나 화소 선별에 의한 화질의 저하가, 표시와 기록에 사용된 화상의 화질에 악영향을 미치게 된다. 이 때문에, 센서 구동방식의 변경은 피하는 것이 바람직하다.

상술한 문제를 방지하기 위해서, 본 실시예에서는, 촬영 조건에 따라 화상 평가를 행하는 화상을 선택한다.

도 1은, 제1 실시예에 따른 촬상장치로서의 디지털 카메라의 블럭도다.

도 1에 나타나 있는 바와 같이, 본 실시예에 따른 디지털 카메라에는, 카메라 본체(100)의 정면측에 배치된 렌즈 경통(101)이 설치되어 있다. 렌즈 경통(101)은, 줌 렌즈군, 줌 기구, 조리개(diaphragm), ND 필터, 포커스 렌즈(102), 및 포커스 렌즈(102)를 광축방향으로 이동시키는 렌즈 구동부(120) 등을 포함한다. 렌즈 구동부(120)에 의해 포커스 렌즈(102)를 광축방향으로 이동시킴으로써 촬상하는 피사체 의 포커스 상태가 조정된다.

카메라 본체(100)는, 촬상부(103), 신호 처리부(104), 표시 및 기록부(108), 표시부(113), 조작부(112), 기억매체(109), 움직임 검출부(110), 및 제어회로(111) 등을 포함한다. 또한, 신호 처리부(104)는, 휘도 취득부(105), 포커스 평가값 취득부(106), 및 화상 합성부(107)를 포함한다.

촬상부(103)는, 촬상소자, 샘플 및 홀드 회로(S/H 회로), 프리프로세스 회로 등으로 구성되고, 지정된 노광 시간에 따라 피사체를 촬상한다. 기억매체(109)는, 플래시 메모리 등으로 구성되고, 움직임 검출부(110)는, 자이로(gyro) 센서 등으로 구성되고, 조작부(112)는, 터치패널 등으로 구성되고, 표시부(113)는, ＬＣＤ(Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ) 등으로 구성된다. 제어회로(111)는, 디지털 카메라 전체의 동작을 제어한다.

렌즈 경통(101)의 광학계를 통해서 수광한 피사체광은, 조리개 및 ND 필터에 의해 조절되는 광량을 갖는다. 촬상부(103)에서는, 피사체광이 촬상소자의 수광면 위에 결상되고, 광전변환에 의해 영상 신호 전하로 변환된다. 영상 신호 전하는 지정된 노광 시간에 따라 축적된다.

촬상소자로부터 출력된 영상신호는, 샘플 및 홀드 회로로 샘플 및 홀드 처리된 후, 프리프로세스 회로에 공급되고, 여기서 영상신호는 ＡＧＣ(Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ) 처리에 따라 게인을 인가한 후에 아날로그에서 디지털로 변환된다. 그 결과의 디지털 영상신호는 신호 처리부(104)에 공급된다. 신호 처리부(104)는, 제어회로(111)로부터의 지시에 의거하여 영상신호에 대한 평가, 보정, 가공 등을 행하고, 보정 및 가공된 영상신호를 표시 및 기록부(108)에 출력한다.

표시 및 기록부(108)는, 제어회로(111)로부터의 지시에 의거하여, 입력된 영상신호를 표시부(113)에 표시하고, 영상신호를 프레임내 부호화(intra-frame coding) 또는 프레임간 부호화(inter-frame coding)하고나서, 기억매체(109)에 기록한다. 또한, 표시 및 기록부(108)는, 영상신호를 소정의 신호 형식으로 변환하고나서, 그 결과의 영상신호를 외부장치로 출력해도 된다.

움직임 검출부(110)는, 카메라 본체(100)의 움직임량을 검출하고, 검출한 움직임량을 제어회로(111)에 전달한다.

조작부(112)는, 사용자의 지시 내용을 제어회로(111)에 전달한다. 제어회로(111)는, 조작부(112)로부터 전달되는 사용자의 지시 내용에 따라 디지털 카메라 전체의 동작을 제어한다. 또한, 본 실시예에서는, 조작부(112)를 이용해서, 일반적인 동영상을 촬영 및 기록하는 통상 동영상 촬영 모드와, HDR 화상의 동영상을 촬영하기 위해서 주기적으로 노출을 다르게 해서 HDR 동영상 촬영 모드 중의 적어도 2개의 촬영 모드의 선택이 가능하다.

휘도 취득부(105)는, 영상신호의 휘도 평가값을 취득한다. 본 실시예에서는, 휘도 취득부(105)는 휘도 평가값으로서 휘도분포를 취득한다. 이것은 영상신호의 전체 화소를 휘도마다 카운트함으로써 생성된 히스토그램이며, 제어회로(111)는, 이 휘도분포를 기초로 현재의 노출이 적정한지 아닌지를 평가한다.

또한, 제어회로(111)는, 평가의 결과에 근거하여, 촬상부(103)의 노광 시간, 애퍼처값, 게인, 및 ND 필터 등의 노출 파라미터(노출 조건)를 산출하고, 산출한 노출 파라미터에 따라 구성되도록 촬상부(103)와 렌즈 경통(101)에 지시함으로써 촬상되는 피사체에 대하여 적정한 노출을 얻는다.

포커스 평가값 취득부(106)는, 영상신호의 콘트라스트를 평가하는 평가값을 취득한다. 콘트라스트 취득 방식에 따른 초점 조절은, 소정의 함수에 따른 영상신호를 평가함으로써 렌즈 경통(101)에 의해 형성된 피사체상의 첨예도(degree of sharpness)를 결정하도록 행해지고, 선예도가 극값을 취하도록 포커스 렌즈(102)의 광축상의 위치를 조절한다. 소정의 평가 함수로서는, 인접하는 화소 간의 휘도신호의 각 차의 절대치를 초점 검출 영역 내에서 가산하는 것과, 인접하는 화소 간의 휘도신호의 각 차의 제곱을 초점 검출 영역 내에서 가산하는 것이 있다.

포커스 평가값 취득부(106)는, 이러한 검출 방법을 사용하여 포커스 상태를 평가한 결과를 포커스 평가값으로서 제어회로(111)에 전달한다. 제어회로(111)는, 포커스 평가값 취득부(106)로부터 수신된 포커스 평가값에 근거하여 포커스 렌즈(102)의 구동량을 산출하고, 산출한 구동량으로 포커스 렌즈(102)를 구동하도록 렌즈 경통(101)의 렌즈 구동부(120)에 지시한다.

화상 합성부(107)는, N단계로 노출을 변경시켜 연속 촬영되는 Ｎ단계 노출 화상군에 대하여 위치 조절을 행함으로써, 화상군에 포함되는 1프레임을 기준으로 해서, 카메라 흔들림이나 피사체의 움직임에 의한 해당 1프레임으로부터의 다른 프레임의 어긋남을 보정한다.

또한, 화상 합성부(107)는, 그들 Ｎ프레임의 화상군을 합성함으로써, 다이나믹 레인지가 확대된 1프레임의 HDR 화상을 얻는다. 한층 더, 화상 합성부(107)는, 화상을 표시 및 기록하는 표시 및 기록부(108)가 출력하는 것이 가능한 좁은 다이나믹 레인지에의 계조를 압축하는 처리를 행하여, 취득된 화상을 표시 및 기록부(108)에 출력한다.

본 실시예에서는, N프레임의 화상군을 가중 가산함으로써 HDR 화상을 생성한다는 점에 유념한다. 그러나, HDR 화상을 생성하기 위한 합성 처리는 이것에 한정되지 않고, 또 합성 처리는 단순하게 1화상의 영역마다의 신호에 의거하여 선택적으로 사용하는 화상을 출력해서 HDR 화상을 생성하는 합성 처리도 포함한다.

또한, 촬영과 출력(표시 및 기록) 사이의 프레임 레이트는 N:1로 설정되어도 되지만, 본 실시예에서는, 합성에 사용되는 촬영된 화상을 각각 입력한 Ｎ개의 프레임의 범위를, 1프레임씩 시프트시켜 놓고 N단계 노출 화상군을 합성함으로써 프레임 레이트를 1:1로 설정한다.

다음에,도 2a∼2g을 참조하여, HDR 동영상 촬영 모드에 있어서의 노출 제어 예에 관하여 설명한다.

이 예에 있어서는, 기준 노출에 대하여, 노출을 2단계로 변화시켜서 촬영한 도 2a에 나타낸 명화상(bright image)(201)과 도 2b에 나타낸 암화상(dark image)(202)의 2프레임으로부터 도 2c에 나타낸 1프레임의 합성 화상(203)을 얻는 것으로 한다.

도 2d는 명화상(201)을 휘도 취득부(105)로 평가해서 얻은 히스토그램이고, 도 2e는 암화상(202)을 휘도 취득부(105)로 평가해서 얻은 히스토그램이며, 도 2f는 합성 화상(203)의 히스토그램이다. 도 2g는, 촬영한 2프레임의 노광 시간을 나타내는 그래프이며, 기준이 되는 노광 시간 Tmid에 대하여, 명화상(201)의 노광 시간은 Thigh, 암화상(202)의 노광 시간은 Tlow다.

제어회로(111)는, 도 2d에 나타낸, 명화상(201)의 히스토그램에 있어서, 휘도가 소정의 휘도값 Llow이하인 영역 207의 면적의 적분값이 소정값이상이었을 경우에는, 이 화상에 대해서 HDR 처리를 행해도 블록트 업 그림자가 발생한다고 판단한다. 그 경우에는, 제어회로(111)는, 다음에 촬영하는 명화상의 노광 시간을 1단계 길게 설정한다.

여기에서, "1단계"란, 도 2g에 있어서, 마크 사이의 간격에 해당하는 1Tv(time value)보다도 작은, 노광 시간의 증감에 해당하는 소정의 시간이다.

한편, 제어회로(111)는, 블록트 업 그림자가 발생하지 않는다고 판단했을 경우, 휘도가 소정의 휘도값 Lhigh 이상인 영역 208의 면적의 적분값이 소정값이상이면, 노광 시간이 필요이상으로 길다고 판단하고, 다음에 촬영하는 명화상의 노광 시간을, 기준 노광 시간에 1단계 가까워지도록 설정한다. 또한, 제어회로(111)는, 기준 노광 시간과 차이가 없을 경우에는, 그 노광 시간을 유지한다.

마찬가지에, 제어회로(111)는, 도 2e에 나타낸 암화상(202)의 히스토그램에 있어서, 휘도가 소정의 휘도값 Lhigh이상인 영역 210의 면적의 적분값이 소정값이상이었을 경우에는, 이 화상에 대해서 HDR 처리를 행하면 블로운 아웃 하이라이트가 발생한다고 판단한다. 그 경우에는, 제어회로(111)는, 다음에 촬영하는 암화상의 노광 시간을 1단계 짧게 설정한다.

한편, 제어회로(111)는, 블로운 아웃 하이라이트가 발생하지 않는다고 판단했을 경우, 휘도가 소정의 휘도값 Llow이하인 영역 209의 면적의 적분값이 소정값이상이면, 노광시간이 필요이상으로 짧다고 판단하고, 다음에 촬영하는 암화상의 노광 시간을 기준 노광 시간에 1단계 가까워지도록 설정한다. 또한, 제어회로(111)는, 기준 노광 시간과 차가 없는 경우에는, 그 노광 시간을 유지한다.

다음에, 도 3에 나타낸 타이밍도를 참조하여, 다단 노출 화상군의 촬영과, 그 다단 노출 화상군에 대한 노광 중의 움직임량의 검출 예에 관하여 설명한다.

도 3에 있어서, 캡처 펄스 신호(301)는, 촬상부(103)가 촬상소자로부터의 화상 캡처를 시작하는 트리거로서 사용되는 신호다. 또한, 셔터 펄스 신호(302)는, 촬상소자의 노광 시간을 결정하는 신호다.

예를 들면, 제1 프레임은 셔터 펄스 S1로부터 캡처 펄스 C1까지의 시간 Tlow 중에 노광되고, 암화상을 캡처한다. 제2 프레임은 셔터 펄스 S2로부터 캡처 펄스 C2까지의 시간 Thigh 중에 노광되고, 명화상을 캡처한다. 마찬가지로, 제3 프레임이 암화상, 제4 프레임이 명화상, 제5 프레임이 암화상, 제6 프레임이 명화상을 순차적으로 캡처한다.

도 3에 있어서, 카메라 흔들림량(303)은, 상기의 촬영과 병행하여, 움직임 검출부(110)에 의해 연속적으로 검출된, 카메라 본체(100)의 움직임량이다.

60Hz의 촬영 프레임 레이트에 대하여, 카메라 본체(100)의 움직임량이, 예를 들면 1.2kHz의 샘플 레이트로 검출되고, 제어회로(111)는, 검출된 움직임량을 보간 해서 연속적인 움직임량의 변화로서 사용한다. 도 3에 나타나 있는 바와 같이, 제1 프레임의 암화상의 노광 중에 카메라 흔들림량 M1이 검출되고, 제2 프레임의 명화상의 노광 중에 카메라 흔들림량 M2이 검출된다. 이하 같은 방법으로, 제3∼제6 프레임의 노광 중에, 카메라 흔들림량 M3∼M6이 검출된다.

도 3에 있어서, 노광 중에 검출된 카메라 흔들림량에 있어서, 파선 304은, 암화상의 카메라 흔들림량의 변화를 나타내고, 파선 305은, 명화상의 카메라 흔들림량의 변화를 나타낸다. 명화상이 암화상보다 노광 시간이 길기 때문에, 노광 중에 검출된 카메라 흔들림량이 커지는 경향이 있다.

다음에, 도 4을 참조하여, 촬영된 프레임으로부터 취득된 포커스 평가값을 포커스 제어에 사용할 것인지 아닌지를 판정하는 기준에 관하여 설명한다.

도 4는, 도 3에서 나타내는 제1∼제6 프레임의 촬영 화상에 대해서, 노광 시간과 노광 중의 카메라 흔들림량과의 관계를 나타내는 그래프다. 도 4에 나타나 있는 바와 같이, 제1, 제3, 제5 프레임의 암화상에 대해서는, 노광 시간 Tlow에 대한 노광 중에 검출된 카메라 흔들림량 M1, M3, M5이 표시되어 있다. 또한, 제2, 제4, 제6 프레임의 명화상에 대해서는, 노광 시간 Thigh에 대한 노광 중에 검출된 카메라 흔들림량 M2, M4, M6이 표시되어 있다.

도 4에 있어서, 곡선 400은, 포커스 평가값 취득부(106)에 의해 촬영된 화상으로부터 얻은 포커스 평가값을, 제어회로(111)가 포커스 제어에 사용할 것인지 아닌지를 판정할 때 사용하는 기준값의 변화를 나타낸다.

기준값은, 노광 시간 T에 대한 함수 Mlimit(T)로 표현되고, 제어회로(111)는, 기준값보다 아래에 나타나 있는 프레임으로부터 취득한 포커스 평가값만을 포커스 제어에 사용한다. 다만, 화상 합성에 사용하는 다단 노출 화상군 중에서, 가장 노광 시간이 짧은 프레임으로부터 취득된 포커스 평가값은, 항상 포커스 제어에 사용된다(도시한 예에서는, 제1, 제3, 제5 프레임이 모두 기준값을 밑돌고 있다.).

기준값 함수 Mlimit(T)은, 노광 시간 T가 충분히 짧은 경우에는 노광 중에 검출된 카메라 흔들림량에 관계없이 포커스 평가값을 포커스 제어에 사용하고, 노광 시간 T가 긴 경우에는, 노광 중에 검출된 카메라 흔들림량이 작은 경우에만 포커스 평가에 포커스 평가값을 사용하도록 설정되어 있다. 이것은, 노광 시간이 긴 경우에는, 카메라 흔들림의 영향에 의해, 촬영된 피사체상의 첨예도가 감소하므로, 포커스 제어를 정밀하게 행할 수 없기 때문이다. 기준값 함수는, 예를 들면 노광 시간 T를 3군데 정도의 영역으로 나눠서, 기준값 함수를 각각의 영역에 대한 노광 시간 T의 2차 함수로서 설정할 수 있다.

이러한 판정 기준에 의해, 적어도 어느 정도까지는 포커스 평가값의 정밀도를 기대할 수 있는 범위 내에서, 많은 프레임을 포커스 평가에 이용하여, 샘플 레이트를 상승시키는 것으로, 피사체에 대한 카메라 포커스 동작의 속도를 상승시킬 수 있다. 또한, 카메라 본체(100)가 움직이고 있는 경우에는, 포커스 평가에 이용하는 프레임의 수가 줄어들기 때문에 포커싱 동작의 속도가 감소한다. 그렇지만, 카메라 본체(100)가 정지하면, 재빠르게 카메라를 피사체에 포커스할 수 있다.

다음에, 도 5을 참조하여, 제어회로(111)가 1프레임의 촬영마다 행하는 오토 포커스 제어 처리에 관하여 설명한다. 도 5의 오토 포커스 제어 처리는, ＲＯＭ 등에 기억된 프로그램을 ＲＡＭ으로 로드(load)해서, 제어회로(111)의 ＣＰＵ 등에 의해 실행된다.

스텝 S501에서는, 제어회로(111)는, 촬영된 프레임의 휘도의 히스토그램을 휘도 취득부(105)로부터 취득하고, 노출 평가를 행하며, 스텝 S502로 진행된다.

스텝 S502에서는, 제어회로(111)는, 적정 노출에 가까운 노출을 행할 때 노광 시간, 애퍼처, 게인, 및 ND 필터 등의 노출 파라미터를 연산한다. 또한, 제어회로(111)는, 도 2a∼2g를 참조하여 설명한 바와 같이, HDR 처리를 행한 후에 블록트 업 그림자 및 블로운 아웃 하이라이트가 발생하지 않도록 다단 노출의 노광 시간을 조정하고, 다음에 노광하는 프레임의 셔터 펄스의 발생 타이밍을 촬상부(103)에 지시한다. 또한, 제어회로(111)는, 애퍼처, 게인, 및 ND 필터 등, 그 외의 파라미터에 지시를 렌즈 경통(101)과 촬상부(103)에 보내고, 스텝 S503으로 진행된다.

스텝 S503에서는, 제어회로(111)는, 움직임 검출부(110)로부터 1프레임분의 카메라 본체(100)의 움직임의 검출량을 취득하고, 도 3을 참조하여 설명한 바와 같이, 촬영된 프레임의 노광 시간 Ｔ 중의 움직임량 M을 연산하고, 스텝 S504으로 진행된다.

스텝 S504에서는, 제어회로(111)는, 촬영된 프레임에 있어서의 포커스 평가값 F를 포커스 평가값 취득부(106)로부터 취득하고, 스텝 S505로 진행된다.

스텝 S505에서는, 제어회로(111)는, 노광 시간 T와 움직임량 M에 근거해서, 도 4를 참조하여 설명한 바와 같이, 포커스 평가값을 포커스 제어에 이용할 것인지 아닌지를 판정하고, 이 포커스 평가값을 포커스 제어에 이용하는 경우에는, 제어회로(111)는 스텝 S506으로 진행되고, 이 포커스 평가값을 포커스 제어에 이용하지 않는 경우에는, 제어회로(111)는 스텝 S507으로 진행된다.

스텝 S506에서는, 제어회로(111)는, 전회 이용한다고 판정된 포커스 평가값과 이번에 이용한다고 판정된 포커스 평가값과의 비교에 의거하여 포커스 렌즈(102)의 구동방향을 갱신하고, 스텝 S507으로 진행된다.

HDR 동영상 촬영 모드에서는, 노광 시간이 서로 다른 화상들 사이에서의 포커스 평가값을 비교하는 것도 고려되기 때문에, 각 포커스 평가값을 밝기로 정규화해서 비교를 행한다. 정규화 시에 고려하는 밝기는 노광 시간이여도 되고, 실제로 취측되는 화상의 휘도여도 된다. 이에 대하여, 보통 동영상 촬영 모드에서는, 순차 촬상되어 취득되는 화상의 밝기는 대부분의 경우 부드럽게 변화되므로 정규화를 기본적으로는 행하지 않더라도 비교를 할 수 있게 되어 있다.

스텝 S507에서는, 제어회로(111)는, 포커스 렌즈(102)의 구동을 렌즈 경통(101)의 렌즈 구동부(120)에 지시해서 본 처리를 종료한다.

이상에서 설명한 바와 같이, 본 실시예에서는, 노광 시간을 주기적으로 변화시켜서 동영상을 촬영할 때에, 피사체의 상태에 따라 적절한 AF 제어를 행할 수 있다.

또한, 본 실시예에서는, 노광 시간을 2단계로 변화시켜서 화상을 촬영하는 경우를 예시했지만, 노광 시간을 3단계 이상으로 변화시켜서 화상을 촬영하는 경우여도 된다. 또한, 본 실시예에서는, 노광 시간 및 카메라 본체(100)의 움직임량에 의거해서, 포커스 제어를 위한 포커스 평가값을 이용할 것인지 아닌지를 판정하고 있지만, 노광 시간 또는 카메라 본체(100)의 움직임량에 의거해서, 포커스 평가값을 이용할 것인지 아닌지를 판정해도, 동일한 효과를 얻을 수 있다.

또한, 본 실시예에서는, 화상의 평가값으로서, 포커스 평가값을 이용하지만 이에 한정하지 않고, AE 제어를 위한 화상의 휘도 평가값, 피사체 추미를 위한 평가값 등을 사용해도 된다.

다음에, 도 6을 참조하여, 본 발명의 제2 실시예에 따른 촬상장치로서의 디지털 카메라에 관하여 설명한다. 또한, 본 실시예에서는 포커스 제어를 위한 화상으로부터 취득된 포커스 평가값을 이용할 것인지 아닌지를 판정하는 기준에 있어서만 상기 제1 실시예와 구별된다. 따라서, 제1 실시예와 같은 구성요소에는 동일한 참조부호를 부착하고, 차이점에 관하여만 설명한다.

상술한 제1 실시예에서는, 노광 시간에 대한 노광 중에 검출된 카메라 흔들림량에 관계없이, 다단 노출 화상군 중의 노광 시간이 가장 짧은 프레임으로부터 취득된 포커스 평가값은 항상 포커스 제어에 사용된다. 이에 대하여, 본 실시예에서는, 다단 노출 화상군 중의 노광 시간에서 검출된 움직임량이 가장 작은 프레임으로부터 취득된 포커스 평가값을 포커스 제어에 사용한다.

도 6은, 촬상소자로 촬영되는 각 화상을 노광하는 처리와 촬상소자로부터의 촬영 화상을 캡처하는 처리의 타이밍을 나타내는 타이밍도이다. 제어회로(111)에 의해 촬영되는 각 프레임의 노광 중에 검출된 움직임량을 취득하고, 또 포커스 평가값을 취득하는 타이밍에 관하여 설명한다. 또한, 상기한 바와 같이, 각 프레임의 노광 중에 검출된 움직임량 및 포커스 평가값은, 각각 움직임 검출부(110) 및 포커스 평가값 취득부(106)로부터 취득한다.

도 6에 있어서, 제1 프레임은, 셔터 펄스 S1과 캡처 펄스 C1(엄밀하게는, 그 약간 앞) 사이의 기간 동안에 노광되고, 노광 종료 전에 노광 중의 움직임량 M1이 취득된다. 또한, 제1 프레임은, 캡처 펄스 C1과 캡처 펄스 C2 사이의 기간 중에 캡처되고, 캡처 종료 전에 포커스 평가값 F1이 취득된다. 또한, 본 실시예에 있어서는, 제1 실시예와는 다르게, 노광 중의 움직임량(M1∼M6을 포함한다)은, 노광 종료 전에 움직임 검출부(110)에 의해 각각 검출된다.

마찬가지로, 제2 프레임은, 셔터 펄스 S2와 캡처 펄스 C2(엄밀하게는 그 약간 앞) 사이의 기간 중에 노광되고, 노광 종료 전에 노광 중의 움직임량 M2이 취득된다.

즉, 제1 프레임의 포커스 평가값 F1을 취득하기 전에, 제1 프레임의 움직임량 M1뿐만 아니라, 다음에 갭처되는 제2 프레임의 움직임량 M2도 검출 할 수 있다. 이 때문에, 제어회로(111)는, 다단 노출 화상군을 2단계의 노출로 취득하는 경우에는, 어느쪽의 포커스 평가값을 이용할지를, 양쪽의 카메라 흔들림량을 검출한 후에, 이전에 촬영된 프레임의 갭처 중에 판정할 수 있다.

이러한 판정기준에 의해, 노광 시간을 주기적으로 변화시켜서 촬영을 행할 때에, 노광 시간이 긴 프레임쪽이 상대적으로 카메라 흔들림량이 작은 상황이 일어났을 경우에도, 정밀하게 포커스 제어를 행할 수 있다. 그 밖의 구성은, 상기 제1실시예와 같다.

다음에, 도 7 및 도 8을 참조하여, 본 발명의 제3 실시예에 따른 촬상장치인 디지털 카메라에 관하여 설명한다. 또한, 본 실시예는 화상으로부터 취득된 포커스 평가값을 포커스 제어에 이용할 것인지 아닌지를 판정하기 위해 사용되는 기준값 함수에 있어서만, 상기 제1 실시예와 구별된다. 따라서, 제1 실시예와 같은 구성요소에는 동일한 부호를 부착하고, 차이점만 설명한다.

우선, 도 7을 참조하여, 본 제3 실시예에서 촬영이 행해지는 것에 근거해, 콘트라스트 검출 포커스 제어에 있어서의 등산 방법에 의거한 포커스 제어에 관하여 설명한다.

도 7에 있어서, 특성곡선 600은, 포커스 렌즈(102)의 광축 상의 각 위치와 관련된 포커스 평가값을 나타낸다. 제어회로(111)는, 렌즈 경통(101)의 렌즈 구동부(120)에의 지시에 의해 포커스 렌즈(102)를 미소 구동시킨다.

그리고나서, 제어회로(111)는, 포커스 평가값 취득부(106)로부터 포커스 평가값을 취득함으로써 피사체가 초점이 맞는(in focus)지 초점이 맞지 않는(out of focus)지 판정하고, 피사체가 초점이 맞지 않으면, 제어회로(111)는 포커스 렌즈(102)의 포커스 위치가 현재 위치의 어느 쪽에 있는지를 판단한다.

제어회로(111)는, 포커스 평가값이 낮은 경우에는, 포커스 평가값이 높아지는 방향으로 포커스 렌즈(102)을 가능한 한 고속으로 구동시키고, 포커스 평가값이 높아짐에 따라 속도를 감속시키며, 최종적으로 정밀하게 포커스 평가값의 곡선의 정상(합초(in-focus; 초점이 맞는) 상태를 나타내는 값)에 대응하는 위치에서 포커스 렌즈(102)를 정지시킨다.

예를 들면, 정지한 피사체를 촬영하는 경우에, 포커스 렌즈(102)의 위치 A와 관련된 포커스 평가값이 참조부호 601로 나타낸, 피사체의 초점이 많이 맞지 않는 상태에 있으면, 제어회로(111)는 미소 구동에 의해 포커스 위치가 도 7에서 봤을 때 현재 위치(A)의 오른쪽에 있다고 판단한다.

그리고나서, 제어회로(111)는, 포커스 렌즈(102)를 고속으로 구동시켜, 참조부호 602로 나타내는 상태에 대응하는 위치 B을 경유하고, 포커스 위치가 참조부호 603로 나타낸 상태에 대응하는 포커스 위치 C에 가까이 감에 따라 속도를 감속시켜서, 피사체가 최종적으로 포커스에 이른다.

그런데, 카메라 본체(100)가 이동하고 있을 경우에는, 피사체가 정지하고 있어도, 노광 시간에 의존하고 있는 화상 블러(blur)가 발생하기 때문에, 피사체상의 엣지가 흐려져서, 포커스 평가값이 낮아진다. 반대로, 카메라 본체(100)가 여전히 정지하고 있어도, 피사체가 움직이고 있는 경우에는, 마찬가지로 포커스 평가값이 낮아진다.

본 실시예에 따른 디지털 카메라는, HDR 처리를 위해서 노광 시간을 주기적으로 변화시켜서 촬영을 행하므로, 노광 시간에 의존해서 포커스 평가값이 변동해버린다. 이에 따라, 포커스 렌즈(102)가 그것의 위치의 정밀도가 요청되는 포커스 위치 부근에 있는 경우에는, 노광 시간이 짧고, 노광 중에 검출된 카메라 흔들림량이 작은 프레임으로부터 취득된 포커스 평가값만을 포커스 제어에 사용한다.

한편, 포커스 렌즈(102)의 위치의 정밀도보다는 고속의 포커스 렌즈(102)의 구동이 요청되는 초점이 맞이 않는(out-of-focus) 상태에 있어서는, 노광 시간과 노광 중에 검출된 카메라 흔들림량의 변화를 허용하고, 될수 있는 한 많은 프레임으로부터의 포커스 평가값을 포커스 제어에 사용할 수 있도록, 기준값 함수를 설정한다.

도 8을 참조하여, 본 실시예에서 사용하는 기준값 함수에 관하여 설명한다. 도 8은, 프레임을 처리하기 직전의 포커스 평가값과 노광 중에 검출된 카메라 흔들림량과의 관계를 나타내는 그래프다. 도 8에 있어서, 도 3에서 나타낸 제1∼ 제6 프레임의 촬영 화상 중, 명화상을 갖는 제2, 제4, 제6 프레임의 노광 중의 카메라 흔들림량 M2, M4, M6에 대하여, 직전의 포커스 평가값이 낮아서 피사체의 초점이 많이 맞지 않는 경우에 취득된 카메라 흔들림량을, 각각 참조부호 701, 702, 703로 나타낸다.

이에 대하여, 곡선 700은, 포커스 평가값을 제어회로(111)가 포커스 제어에 사용할 것인지 아닌지를 판정하는 기준의 기준값의 변화를 나타내고 있다. 이 기준값은, 노광 시간 T와 직전의 포커스 평가값 F'에 대한 함수 Mlimit(T, F')로 표현되고, 곡선 700보다 아래에 나타나 있는 프레임으로부터 취득된 포커스 평가값만을 제어회로(111)가 포커스 제어에 사용한다.

이 예에 있어서, 명화상을 각각 갖는 제2, 제4, 제6 프레임의 노광 시간은 T=Thigh으로 표현되기 때문에, 곡선 700은, 함수 Mlimit(Thigh, F')로 표현된다. 다시 말해, 직전의 포커스 평가값이 초점이 많이 맞지 않는 상태에 있는 경우에는, 제2, 제4, 제6 프레임의 모든 포커스 평가값이 포커스 제어에 사용된다.

또한, 도 3에 나타낸 암화상을 각각 갖는 제1, 제3, 제5 프레임은, 화상 합성에 사용하는 다단 노출 화상군 중에서 가장 노광 시간이 짧은 프레임이며, 본 실시예에서는, 이들 포커스 평가값을 항상 포커스 제어에 사용하므로, 이들 프레임의 카메라 흔들림량에 의거한 판정은 행하지 않는다.

직전의 포커스 평가값이 초점이 많이 맞지 않는 상태에 있는 경우와 마찬가지로, 직전의 포커스 평가값이 중간레벨에 있는 경우에는, 제4, 제6 프레임의 카메라 흔들림량 M2, M4, M6은 참조번호 704, 705, 706로 표시된다. 이 경우, 곡선 700 아래에 있는 제6 프레임으로부터 취득된 포커스 평가값만이 포커스 제어에 사용된다.

마찬가지로, 직전의 포커스 평가값이 높아서 합초 상태의 근방에서는, 제2, 제4, 제6 프레임의 카메라 흔들림량 M2, M4, M6이 참조번호 707, 708, 709로 표시되고, 곡선 700 아래에는 카메라 흔들림량이 존재하지 않는다. 이 때문에, 어느 쪽의 포커스 평가값도 포커스 제어에는 사용되지 않는다.

이러한 판정기준에 의해, 노광 시간을 주기적으로 변화시켜서 촬영을 행할 때에, 초점이 맞지 않는 상태로부터 고속으로 포커스 동작을 행하고, 초점이 맞는 위치 부근에서는 정밀하게 포커싱 동작을 행할 수 있다. 그 밖의 구성은, 상기 제1 실시예와 같다.

또한, 본 실시예에서는, 촬상부(103)가 노광 시간을 주기적으로 변화시켜서 연속적으로 촬영을 행하여, 다단 노출 화상군을 취득하는 예를 게시했지만 이에 한정하지 않고, 본 실시예는 촬상부(103)가 1개의 촬상소자의 소정 라인마다 노광 시간을 변화시킴으로써 1개의 촬영으로 다단 노출 화상군을 취득하는 경우에도 적용가능하다.

본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

본 발명의 국면들은, 상술한 실시 예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시 예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.

본 출원은 명세서에 참고로 첨부되는 2012년 9월 6일자로 출원된 일본 특허 출원 제2012-196076로부터 우선권을 주장한다.

Claims (16)

1. 피사체를 촬상하는 촬상 유닛과,
   포커스 렌즈를 광축방향으로 구동하는 구동 유닛과,
   상기 구동 유닛에 의해 상기 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 제어 유닛과,
   상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 평가값 취득 유닛을 구비하고,
   상기 제어 유닛은, 상기 촬상 유닛에 의해 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 상기 다단 노출 화상군의 화상들의 각 노광 시간에 의거해서 상기 다단 노출 화상군으로부터 화상을 선택하며, 선택된 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동유닛에 의해 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키도록 동작가능한, 촬상장치.
   
2. 제 1 항에 있어서,
   상기 제어 유닛은, 상기 다단 노출 화상군 중에서 가장 노광 시간이 짧은 화상과, 기준값보다 노광 시간이 짧은 화상 중의 적어도 하나의 화상을 선택해서 상기 포커스 평가값을 산출하는, 촬상장치.
   
3. 제 1 항에 있어서,
   상기 제어 유닛은, 상기 포커스 평가값이 합초(in-focus) 상태를 나타내는 값에 가까워짐에 따라 상기 기준값이 작아지도록 상기 기준값을 변화시키는, 촬상장치.
   
4. 제 1 항에 있어서,
   상기 다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상(high dynamic range image)을 생성하는 합성 유닛을 더 구비하는, 촬상장치.
   
5. 피사체를 촬상하는 촬상 유닛과,
   상기 촬상 유닛의 움직임량을 검출하는 움직임 검출 유닛과,
   포커스 렌즈를 광축방향으로 구동하는 구동 유닛과,
   상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 제어 유닛과,
   상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 평가값 취득 유닛을 구비하고,
   상기 제어 유닛은, 상기 촬상 유닛에 의해 노광 시간을 주기적으로 변화시켜서 다단 노출 화상군의 화상들을 촬상하고, 상기 움직임 검출 유닛에 의해 취득된 노광 중의 움직임량이, 상기 다단 노출 화상군의 다른 화상들에 대하여 상기 움직임 검출부에 의해 취득된 움직임량에 비해서 작은 다단 노출 화상군의 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하며, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는, 촬상장치.
   
6. 제 5 항에 있어서,
   상기 다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상을 생성하는 합성 유닛을 더 구비하는, 촬상장치.
   
7. 노광 시간을 변화시켜서 다단 노출 화상군의 화상들을 촬상하는 촬상장치로서,
   피사체를 촬상하는 촬상 유닛과,
   상기 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 평가값 취득 유닛과,
   상기 촬상 유닛에 의해 취득된 다단 노출 화상군에서, 노광 시간이 가장 짧은 화상과, 기준값보다 노광 시간이 짧은 화상 중의 적어도 하나의 화상으로부터 취득된 평가값을 이용해서 피사체를 평가하는 평가 유닛을 구비하는, 촬상장치.
   
8. 통상 동영상 촬영 모드와 노광 시간이 서로 다른 다단 노출 화상군을 촬상하는 하이 다이나믹 레인지의 동영상 촬영 모드를 갖는 촬상장치로서,
   피사체를 촬상하는 촬상 유닛과,
   상기 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 산출하고, 복수의 화상의 평가값을 비교함으로써 피사체를 평가하는 평가 유닛과,
   상기 다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상을 생성하는 합성 유닛을 구비하고,
   상기 평가 유닛은, 촬상장치가 상기 하이 다이나믹 레인지의 동영상 촬영 모드로 설정되는 경우에, 상기 평가값을 취득하는 화상의 밝기로 각 평가값을 정규화해서 비교를 행하는, 촬상장치.
   
9. 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치의 제어방법으로서,
   상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 단계와,
   상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고,
   상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 다단 노출 화상군의 화상들의 각 노광 시간에 의거해 상기 다단 노출 화상군으로부터 화상을 선택하며, 선택된 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 제어방법.
   
10. 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치의 제어방법으로서,
    상기 촬상 유닛의 움직임량을 검출하는 단계와,
    상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시킴으로써, 촬상하는 피사체의 포커스 상태를 제어하는 단계와,
    상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고,
    상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 주기적으로 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 화상의 노광 중에 상기 움직임량 검출에 의해 취득된 움직임량이 상기 다단 노출 화상군의 다른 화상들에 대해서 상기 검출에 의해 취득된 움직임량에 비해 작은 다단 노출 화상군의 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하며, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 제어방법.
    
11. 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하는 촬상장치의 제어방법으로서,
    피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 단계와,
    상기 촬상 유닛에 의해 취득된 다단 노출 화상군 중에서, 노광 시간이 가장 짧은 화상과, 기준값보다 노광 시간이 짧은 화상 중의 적어도 하나의 화상으로부터 취득된 평가값을 이용해서 피사체를 평가하는 단계를 포함하는 제어방법.
    
12. 통상 동영상 촬영 모드와 노광 시간이 서로 다른 다단 노출 화상군을 촬상하는 하이 다이나믹 레인지의 동영상 촬영 모드를 갖는 촬상장치의 제어방법으로서,
    피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 산출하고, 복수의 화상의 평가값을 비교함으로써 피사체를 평가하는 단계와,
    다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상을 생성하는 단계를 포함하고,
    상기 촬상장치가, 하이 다이나믹 레인지의 동영상 촬영 모드로 설정되는 경우에, 상기 평가값을 취득하는 화상의 밝기를 이용하여 각 평가값을 정규화해서 피사체를 평가하기 위한 비교를 행하는, 제어방법.
    
13. 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시(non-transisory) 컴퓨터 판독가능한 기억매체로서,
    상기 제어방법은,
    상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시켜서 촬상하는 피사체의 포커스 상태를 제어하는 단계와,
    상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고,
    상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하고, 상기 다단 노출 화상군의 화상들의 각 노광 시간에 근거해서 상기 다단 노출 화상군으로부터 화상을 선택하며, 상기 선택된 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 기억매체.
    
14. 피사체를 촬상하는 촬상 유닛과, 포커스 렌즈를 광축방향으로 구동하는 구동 유닛을 구비하는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시 컴퓨터 판독가능한 기억매체로서,
    상기 제어방법은,
    상기 촬상 유닛의 움직임량을 검출하는 단계와,
    상기 구동 유닛에 의해 포커스 렌즈를 광축방향으로 이동시켜서 촬상하는 피사체의 포커스 상태를 제어하는 단계와,
    상기 촬상 유닛으로부터 출력되는 화상으로부터 포커스 평가값을 취득하는 단계를 포함하고,
    상기 제어하는 단계는, 상기 촬상 유닛에 의해 노광 시간을 주기적으로 변화시켜서 다단 노출 화상군의 화상들을 촬상하고, 화상의 노광 중에 상기 움직임 검출에 의해 취득된 움직임량이 상기 다단 노출 화상군의 다른 화상들에 대하여 상기 검출에 의해 취득된 움직임량에 비해서 작은, 다단 노출 화상군의 화상으로부터 취득된 포커스 평가값을 이용해서 상기 포커스 렌즈의 구동방향을 갱신하고, 상기 구동 유닛에 의해 상기 갱신한 구동방향으로 상기 포커스 렌즈를 이동시키는 것을 포함하는, 기억매체.
    
15. 노광 시간을 변화시켜 다단 노출 화상군의 화상들을 촬상하는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시 컴퓨터 판독가능한 기억매체로서,
    상기 제어방법은,
    피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 단계와,
    상기 촬상 유닛에 의해 취득된 다단 노출 화상군 중에서, 노광 시간이 가장 짧은 화상과, 기준값보다 노광 시간이 짧은 화상 중의 적어도 하나의 화상으로부터 취득된 평가값을 이용해서 피사체를 평가하는 단계를 포함하는, 기억매체.
    
16. 통상 동영상 촬영 모드와 노광 시간이 서로 다른 다단 노출 화상군을 촬상하는 하이 다이나믹 레인지의 동영상 촬영 모드를 갖는 촬상장치를 제어하는 방법을 컴퓨터에 실행시키기 위한 제어 프로그램을 기억한 비일시 컴퓨터 판독가능한 기억매체로서,
    상기 제어방법은,
    피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 취득하는 단계와,
    피사체를 촬상하는 촬상 유닛으로부터 출력되는 화상으로부터 평가값을 산출하고, 복수의 화상의 평가값을 비교함으로써 피사체를 평가하는 단계와,
    상기 다단 노출 화상군을 합성해서 다이나믹 레인지가 넓은 하이 다이나믹 레인지 화상을 생성하는 단계를 포함하고,
    상기 촬상장치가 상기 하이 다이나믹 레인지의 동영상 촬영 모드로 설정되는 경우에, 상기 평가값을 취득하는 화상의 밝기를 이용하여 각 평가값을 정규화해서 상기 피사체를 평가하기 위한 비교를 행하는, 기억매체.

Images