KR20120066611A

KR20120066611A - 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위한 방법 및 디지털 비디오 카메라

Info

Publication number: KR20120066611A
Application number: KR1020110134896A
Authority: KR
Inventors: 조나스 헬름스트롬; 잔 손비크
Original assignee: 엑시스 에이비
Priority date: 2010-12-14
Filing date: 2011-12-14
Publication date: 2012-06-22
Also published as: KR101687356B1; EP2466872A1; US20120147197A1; EP2466872B1; CN102572506B; TW201230788A; JP2012130000A; TWI514868B; US8754975B2; JP5812835B2; CN102572506A

Abstract

본 발명은 디지털 비디오 카메라(5, 5')에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법에 관한 것이다. 이 방법은 상기 디지털 비디오 카메라(5, 5')에 의해 이미지들의 제 1 서브세트를 포착하는 단계와; 상기 이미지들의 제 1 서브세트의 이미지들을 상기 비디오 이미지 스트림으로서 출력하는 단계와; 이미지들의 제 2 서브세트의 이미지를 포착하기 전에, 상기 디지털 비디오 카메라(5, 5')의 이미지 센서(14, 14') 및/또는 렌즈(12, 12')를 각각의 정상(normal) 위치로부터 각각의 테스트 위치로 이동시키는 단계와; 상기 디지털 비디오 카메라(5, 5')를 이용하여 상기 이미지들의 제 2 서브세트를 포착하는 단계와, 여기서 상기 이미지들의 제 2 서브세트를 포착하는 단계는 상기 이미지들의 제 1 서브세트를 포착하는 단계와 인터스퍼싱(interspersing)되며; 상기 이미지들의 제 1 서브세트의 이미지와 상기 이미지들의 제 2 서브세트의 이미지를 비교하는 단계와; 상기 비교에 기초하여, 상기 이미지들의 제 2 서브세트의 이미지가 상기 이미지들의 제 1 서브세트의 이미지와 비교하여 개선된 이미지 품질을 나타내는 지를 결정하는 단계와; 그리고 상기 이미지들의 제 2 서브세트의 이미지가 상기 이미지들의 제 1 서브세트의 이미지와 비교하여 개선된 이미지 품질을 나타내는 경우, 상기 디지털 비디오 카메라(5, 5') 상에서 이미지 품질 개선 동작을 개시하는 단계를 포함한다. 본 발명은 또한 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위한 디지털 비디오 카메라(5, 5')에 관한 것이다.

Description

비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위한 방법 및 디지털 비디오 카메라{METHOD AND DIGITAL VIDEO CAMERA FOR IMPROVING THE IMAGE QUALITY OF IMAGES IN A VIDEO IMAGE STREAM}

본 발명은 디지털 비디오 카메라에 의해 포착(capture)되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 것에 관한 것이다.

디지털 비디오 카메라들은 움직이는 이미지들을 포착할 수 있는 바, 이러한 이미지들은 비디오 이미지 스트림으로서 연속적으로 표시(show), 기록 또는 전송될 수 있다. 많은 디지털 비디오 카메라들은 다양한 설정들(settings)을 변경함으로써 아미지 특성을 변경하거나, 이미지 품질을 높일 수 있는 능력을 갖는다. 이러한 설정들은 보통 이미지 품질 또는 이미지 특성과 직접적으로 관련된다. 이미지 품질 또는 이미지 특성에 영향을 미칠 수 있는 설정들의 예들로는, 리포커싱(refocusing), 게인(gain) 변경, 노출 시간 변경, 노이즈 필터링의 레벨 및/또는 타입 변경, 화이트 밸런스(white balance) 변경, 색 공간(color space) 변경, 비네팅(Vignetting) 등에 의한 문제를 줄이기 위해 광축에 대해 수직으로 이미지 센서를 조정하는 것이 있다. 따라서, 이미지 품질은, 예를 들어 포커스를 변경하고, 게인을 변경하고, 노출 시간을 변경하고, 노이즈 필터링의 레벨 및/또는 타입을 변경하고, 화이트 밸런스를 변경하고, 색 공간을 변경하고, 광축에 대해 이미지 센서를 수직으로 조정함으로써 개선될 수 있다.

하지만, 디지털 비디오 카메라들에 의해 포착되는 이미지들에 대한 이미지 품질을 개선하거나 이미지 특성을 조정하는 데에 이용되는 더 나은 기술들이 여전히 필요하다.

본 발명의 목적은 포착되는 이미지들의 품질을 개선할 수 있도록 하는 것이다.

이러한 목적은 제 1 항에 따른 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위한 방법 및 제 11 항에 따른 비디오 이미지 스트림 내의 이미지들을 이미지 품질을 개선하기 위한 디지털 카메라에 의해 달성된다.

특히, 본 발명의 제 1 양상에 따르면, 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법이 제공된다. 이 방법은 디지털 비디오 카메라에 의해 이미지들의 제 1 서브세트를 포착하는 단계와; 상기 이미지들의 제 1 서브세트의 이미지들을 상기 비디오 이미지 스트림으로서 출력하는 단계와; 이미지들의 제 2 서브세트의 이미지를 포착하기 전에, 상기 디지털 비디오 카메라의 이미지 센서 및/또는 렌즈를 각각의 정상(normal) 위치로부터 각각의 테스트 위치로 이동시키는 단계와; 상기 디지털 카메라를 이용하여 상기 이미지들의 제 2 서브세트를 포착하는 단계와, 여기서 상기 이미지들의 제 2 서브세트를 포착하는 단계는 상기 이미지들의 제 1 서브세트를 포착하는 단계와 인터스퍼싱(interspersing)되며; 상기 이미지들의 제 1 서브세트의 이미지와 상기 이미지들의 제 2 서브세트의 이미지를 비교하는 단계와; 상기 비교에 기초하여, 상기 이미지들의 제 2 서브세트의 이미지가 상기 이미지들의 제 1 서브세트의 이미지와 비교하여 개선된 이미지 품질을 나타내는 지를 결정하는 단계와; 그리고 상기 이미지들의 제 2 서브세트의 이미지가 상기 이미지들의 제 1 서브세트의 이미지와 비교하여 개선된 이미지 품질을 나타내는 경우, 상기 디지털 비디오 카메라 상에서 이미지 품질 개선 동작을 개시하는 단계를 포함한다.

본 발명의 환경에서, 이미지들의 인터스퍼싱된 포착과 관련된 용어는 이미지들의 제 1 서브세트로부터의 이미지들 간의 간격들에서 이미지들의 제 2 서브세트로부터 이미지들을 포착하는 것으로서 이해되어야 한다. 이는 이미지들의 제 2 서브세트로부터의 제 1 이미지 다음에 이미지들의 제 1 서브세트로부터의 제 1 이미지가 오고, 그 다음에 제 2 서브세트로부터의 제 2 이미지, 및 이미지들의 제 1 서브세트 및 이미지들의 제 2 서브세트 각각으로부터의 교대 이미지들(alternate images)이 옴을 의미한다. 인터스퍼싱된다는 것은 또한 이미지들의 제 1 서브세트로부터의 2개 이상의 이미지들 다음에 이미지들의 제 2 서브세트로부터의 1개의 이미지가 온다는 것을 의미할 수 있다. 본 발명의 범위 내에서 다양한 인터스퍼싱 결합들이 이용될 수 있음이 이해될 것이다. 이에 따라, 인터스퍼싱은 소정의 시간 간격들에서 또는 동적으로 정의된 시간 간격들에서 포착되는 이미지들에 대해 이용될 수 있다.

이미지들의 제 1 또는 제 2 서브세트의 이미지들을 포착할 때, 디지털 비디오 카메라의 이미지 센서들 및/또는 렌즈의 서로 다른 위치들을 이용하여, 이미지들의 제 1 및 제 2 서브세트의 이미지들의 포착을 인터스퍼싱함으로써, 이미지들의 제 2 서브세트로부터의 이미지의 이미지 품질과 이미지들의 제 1 서브세트로부터의 이미지의 이미지 품질을 비교함으로써, 이미지 센서 및/또는 렌즈의 이동 후에 이미지 품질이 개선되었는 지의 여부를 결정할 수 있다. 이후, 이미지 품질 개선 동작이 개시될 수 있다. 비교가능한 이미지 품질 피쳐들의 예들로는, 비디오 이미지 스트림의 이미지의 전체 포커스, 이미지의 관심 영역(area of interest)이 포커스가 맞는 지의 여부, 또는 서로 다른 픽셀들의 광 감도(light sensibility)가 있다. 따라서, 본 발명은 프리임간 처리(inter frame processing), 예를 들어 2개의 이미지들의 비교를 가능하게 함으로써, 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선할 수 있게 한다. 프레임간 처리는 비디오 이미지 스트림 내의 2개의 이미지들/프레임들의 포착 사이에서 포착되는 이미지(하지만, 반드시 나타나는 것은 아니다)에 대해 수행되거나, 또는 이러한 이미지로부터의 정보를 이용하여 수행된다. 비디오 이미지 스트림 내의 이미지들의 포착 사이에서 포착되는 이미지들은, 비디오 이미지 스트림의 이미지들과 비교하여, 디지털 비디오 카메라의 이미지 센서 및/또는 렌즈의 다른 위치를 이용하여 포착된다. 따라서, 이미지들의 제 1 서브세트는 각각의 정상 위치에 위치되는 디지털 비디오 카메라의 이미지 센서 및/또는 렌즈를 갖는 디지털 비디오 카메라에 의해 포착되고, 이미지들의 제 2 서브세트는 각각의 테스트 위치에 위치되는 디지털 비디오 카메라의 이미지 센서 및/또는 렌즈를 갖는 디지털 비디오 카메라에 의해 포착되며, 이미지들의 제 2 서브세트의 포착은 이미지들의 제 1 서브세트의 포착과 인터스퍼싱된다. 전형적으로, 디지털 비디오 카메라의 이미지 센서는 디스플레이되는 이미지들의 더블 프레임 레이트로 동작하는 바, 즉 매 두번째 이미지는 프레임간 처리에 이용될 것이며, 매 두 번째 이미지는 비디오 이미지 스트림으로서 디스플레이 또는 기록될 것이다. 일 예에 따르면, 디지털 비디오 카메라의 이미지 센서는 초당 60 프레임을 포착하며, 비디오 이미지 스트림은 초당 30개의 프레임들을 포함한다. 이에 따라, 제 1 이미지(비디오 이미지 스트림 내에서 이용되는 이미지)는 디지털 비디오 카메라에 의해 포착될 것이며, 디지털 비디오 카메라의 이미지 센서 및/또는 렌즈는 각각의 정상 위치에 위치되고; 이미지 센서 또는 렌즈중 어느 하나의 위치가 테스트 위치로 이동하고, 대안적으로는 이미지 센서와 렌즈 모두가 각각의 테스트 위치로 이동하며; 제 2 이미지(보통 비디오 이미지 스트림 내에서 이용되는 이미지가 아니다)가 포착될 것이며; 제 2 및 제 1 이미지들 간의 비교가 수행될 것이며; 이미지 센서 및/또는 렌즈가 각각의 테스트 위치로 이동할 때, 이미지 품질과 관련된 특정 파라미터가 개선되었는 지가 결정될 것이다. 만일 이미지 센서 및/또는 렌즈의 이동 이후 이미지 품질이 개선되었다면, 이미지 품질 개선 동작이 개시될 수 있다. 이미지 품질 개선 동작의 예들로는, 리포커스 동작, 비네팅과 관련된 문제들을 개선하기 위해 광축에 대해 수직으로 이미지 센서를 이동시키는 것, 또는 모니터되는 펜스(fence)의 더 나은 시야(view)를 얻기 위해 이미지 센서를 기울이는 것이 있다.

이미지들의 제 2 서브세트의 포착은 소정의 레이트로 이미지들의 제 1 서브세트의 포착과 인터스퍼싱될 수 있다. 예를 들어, 이미지들의 제 1 서브세트의 매 이미지, 매 2번째 이미지, 매 3번째 이미지, 매 4번째 이미지, 매 5번째 이미지, 매 6번째 이미지, 매 7번째 이미지, 매 8번째 이미지, 매 9번째 이미지, 또는 매 10번째(또는 심지어 더 드물게) 이미지 사이에서 이미지들의 제 2 서브세트의 이미지가 포착될 수 있다.

본 발명의 일 실시예에 따르면, 이미지들의 제 2 서브세트의 이미지들은 이미지들의 제 1 서브세트의 매 이미지 사이에서 포착된다. 이러한 구성의 장점은, 제 1 서브세트 내의 이미지들의 이미지 품질 감소 이후 신속하게 이미지 품질 개선 동작이 개시될 수 있다는 것이다.

이미지들의 제 2 서브세트의 포착은, 가용 대역폭 및/또는 시스템 부하에 의존하는 동적 레이트(dynamic rate)로, 이미지들의 제 1 서브세트의 포착과 인터스퍼싱될 수 있다. 따라서, 높은 시스템 부하에서, 또는 낮은 대역폭에서, 이미지들의 제 2 서브세트의 이미지들은 더 드물게 포착될 수 있다.

상기 이미지들의 제 1 서브세트의 이미지들을 상기 비디오 이미지 스트림으로서 출력하는 단계는 소정의 프레임 레이트로 이루어질 수 있다. 비 한정적인 예로서, 비디오 이미지 스트림은 초당 30 프레임들을 포함할 수 있다.

본 방법은 이미지들의 제 1 서브세트의 이미지의 선명도(sharpness) 및 이미지들의 제 2 서브세트의 이미지의 선명도를 분석하는 단계 및 이미지들의 제 1 서브세트의 이미지의 선명도와 이미지들의 제 2 서브세트의 이미지의 선명도를 비교하는 단계를 포함할 수 있다.

본 방법은 상기 비교에 기초하여, 제 2 서브세트의 이미지의 선명도가 제 1 서브세트의 이전에 포착된 이미지와 관련하여 개선되었는 지를 결정하는 단계를 포함할 수 있다. 제 2 서브세트로부터의 이미지와 제 1 서브세트의 이전에 포착된 이미지 간의 선명도 비교에 의해, 비디오 이미지 스트림 내에서 프레임으로서 표시, 기록 또는 전송되는 이미지들의 제 1 서브세트의 이미지가 포커스가 맞는지(in focus), 아니면 포커스가 맞지 않는 지(out of focus)를 결정할 수 있다.

본 방법은 선명도가 개선된 것으로 결정되는 경우, 오토포커스(autofocus)를 개시하는 단계를 더 포함할 수 있다. 선명도가 개선된 것으로 결정되는 경우에만 오토포커스를 개시하는 것이 유익한데, 왜냐하면 이는 오토포커스 모터의 수명을 세이브(save)하기 때문이다. 이러한 오토포커스 모터는 리포커스가 필요할 때에만 이용될 것이다.

이미지의 선명도는 공간적인 고주파수 분석(spatial high frequency analysis)을 이용하여 결정될 수 있다. 공간적인 고주파수 분석은 포커스가 맞거나 또는 포커스가 맞지 않은 이미지의 다양한 부분들이 얼마나 많은 지를 보여준다. 이미지의 선명도는 당업자에게 알려져있는 다양한 방법들로 결정될 수 있다. 선명도를 결정하는 하나의 예는, 이미지 내의 에지들을 검출할 수 있는 소벨 필터(Sobel filter)를 이용한 다음, 이미지를 평활(smoothen)시키기 위한 가우션 필터(Gaussian filter)를 적용함으로써, 선명도에 대한 값으로서 이용될 수 있는 수(number)를 발생시키는 것이다. 대안적으로, 고주파수 콘텐츠(high frequency content)가 계산되어, 결정점(decision point)의 역할을 할 수 있다. 다른 옵션들은 SQF(Subjective Quality Factor)가 될 수 있는데, 여기에서는 눈(eye)의 주파수 감도 및 다른 요인들 이후 결정점이 가중화(weight)된다.

본 방법은 또한, 제 1 서브세트의 이미지를 포착하기 전에, 이미지 센서 및/또는 렌즈를 각각의 정상 위치로 이동시키는 단계를 포함할 수 있다. 정상 위치로부터 테스트 위치로 이동시키고, 다시 돌아오고, 이를 반복적으로 행하게 되면, 중간의(in-between) 분석 또는 처리를 가능하게 하는 바, 여기서 중간의(in-between) 라는 것은 이미지들이 교대로 표시, 기록 또는 전송되고, 교대로 분석됨을 의미한다.

상기 디지털 비디오 카메라의 이미지 센서를 정상 위치로부터 테스트 위치로 이동시키는 단계는, 이미지 센서를 광학 입력(optical input)을 향하여(towrad) 제 1 테스트 위치로 이동시키고, 이미지 센서를 광학 입력으로부터 멀리(away) 제 2 테스트 위치로 이동시키는 단계를 더 포함할 수 있다. 광학 입력은 광학 경로를 포착하는 이미지의 부분이다. 정상 위치 앞에서 그리고 정상 위치 뒤에서 테스트하기 위해 이미지 센서를 이동시키는 것의 장점은, 일단 오토포커스가 개시되면 오토포커스 모터의 방향을 결정할 수 있다는 것이다. 이는, 리포커싱할 때 모터를 정확한 방향에서 동작시킴으로써, 오토포커스 모터의 수명을 더욱 더 높인다.

상기 디지털 비디오 카메라의 렌즈를 정상 위치로부터 테스트 위치로 이동시키는 단계는, 렌즈를 광학 입력을 향하여 제 1 테스트 위치로 이동시키고, 렌즈를 광학 입력으로부터 멀리 제 2 테스트 위치로 이동시키는 단계를 더 포함할 수 있다. 광학 입력은 광학 경로를 포착하는 이미지의 부분이다. 정상 위치 앞에서 그리고 정상 위치 뒤에서 테스트하기 위해 렌즈를 이동시키는 것의 장점은, 일단 오토포커스가 개시되면 오토포커스 모터의 방향을 결정할 수 있다는 것이다. 이는, 리포커싱할 때 모터를 정확한 방향에서 동작시킴으로써, 오토포커스 모터의 수명을 더욱 더 높인다.

본 방법은 이미지들의 제 1 서브세트의 이미지 내의 특별한 관심 영역을 식별하는 단계를 더 포함할 수 있다. 결과적으로, 이미지들의 제 1 서브세트의 이미지를 이미지들의 제 2 서브세트의 이미지와 비교하는 단계는, 이미지들의 제 1 서브세트의 이미지의 특별한 관심 영역을 포함하는 서브섹션(subsection)을 이미지들의 제 1 서브세트의 이미지의 관심 영역에 해당하는 이미지들의 제 2 서브세트의 이미지의 서브섹션과 비교함으로써 수행될 수 있다. 예를 들어, 특별한 관심 영역은 특별한 관심 물체(예를 들어, 디지털 카메라의 시야에 들어오는 사람)를 포함할 수 있다. 특별한 관심 물체는, 예를 들어 이미지 내의 관심있는 물체들을 발견하도록 된 이미지 분석 프로세스(image analysis process)에 의해 발견될 수 있다. 이미지 분석 프로세스들의 예들은 움직임 검출, 얼굴 인식(face recognition) 또는 번호판 인식(number plate recognition)이 될 수 있다. 특별한 관심 물체가 이미지 내에서 발견되면, 리포커스 개시가 언제 시작될 지를 이후 테스트하는 것은 특별한 관심 물체가 포커스가 맞는 지의 여부에 기초할 수 있다. 즉, 포커스가 맞는지 또는 맞지 않는 지의 분석은 이미지 센서에 의해 포착되는 이미지들을 나타내는 이미지 데이터의 (관심 영역에 해당하는) 서브섹션 상에서 수행될 수 있다. 이후 특별한 관심 물체가 더 이상 존재하지 않는 것으로 발견되면, 포커스가 맞는지 또는 맞지 않는 지의 테스트는 전체 이미지를 이용하여 수행될 수 있다.

본 발명이 다른 양상에 따르면, 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위한 디지털 비디오 카메라가 제공된다. 이 디지털 비디오 카메라는 이미지 데이터를 포착하도록 된 이미지 센서와; 이미지 센서에 의해 포착되는 상기 이미지 데이터를 이미지들로 처리하고, 비디오 이미지 스트림으로서 이미지들을 출력하도록 된 이미지 처리 수단과; 그리고 이미지 센서 및/또는 렌즈를 각각의 정상 위치로부터 각각의 테스트 위치로 이동시키도록 된 이동 수단을 포함하며; 상기 이미지 처리 수단은 또한, 이미지 센서 및/또는 렌즈가 각각의 정상 위치에 있을 때에 포착되는 이미지 데이터로부터 처리되는 제 1 이미지의 이미지 품질과 이미지 센서 및/또는 렌즈가 각각의 테스트 위치에 있을 때에 포착되는 이미지 데이터로부터 처리되는 제 2 이미지를 비교하고; 상기 이미지 처리 수단은 또한, 상기 비교에 기초하여, 상기 제 2 이미지가 상기 제 1 이미지와 비교하여 개선된 이미지 품질을 나타내는 지의 여부를 결정하며; 그리고 상기 이미지 처리 수단은 또한, 상기 제 2 이미지가 상기 제 1 이미지와 비교하여 개선된 이미지 품질을 나타내는 경우 상기 디지털 비디오 카메라에 대해 이미지 품질 개선 동작을 개시한다.

상기 이미지 처리 수단은 또한, 상기 제 1, 2 이미지들의 선명도를 분석한 다음, 상기 제 1, 2 이미지들의 선명도를 비교함으로써, 상기 제 1, 2 이미지들의 이미지 품질을 비교한다.

상기 이미지 처리 수단은 또한, 상기 제 2 이미지의 선명도가 이전에 포착된 제 1 이미지와 관련하여 개선되었는 지를 체크함으로써, 상기 제 2 이미지가 상기 제 1 이미지와 비교하여 개선된 이미지 품질을 나타내는 지를 결정한다.

또한, 상기 이미지 처리 수단은 디지털 비디오 카메라의 리포커스를 개시함으로써 이미지 품질 개선 동작을 개시한다.

상기 이미지 처리 수단은 공간적인 고주파수 분석을 이용하여 이미지의 선명도를 결정할 수 있다.

상기 이동 수단은 또한 이미지 센서 및/또는 렌즈를 각각의 테스트 위치로부터 다시 각각의 정상 위치로 다시 이동시킬 수 있다.

본 발명에 따르면, 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선할 수 있다.

이제, 본 발명의 실시예들을 나타내는 첨부된 도면들을 참조하여, 본 발명의 상기 및 기타 양상들이 보다 상세히 설명될 것이다. 도면들은 본 발명을 특정의 실시예로 한정하는 것으로 고려되서는 안된다. 대신에, 도면들은 본 발명을 설명하고 이해하는 데에 이용된다.
도 1은 본 발명의 일 실시예에 따른 디지털 비디오 카메라의 개략도이다.
도 2a는 본 발명의 일 실시예에 따른 방법을 나타내는 개략적인 흐름도이다.
도 2b는 본 발명의 다른 실시예에 따른 방법을 나타내는 개략적인 흐름도이다.
도 2c는 본 발명의 또 다른 실시예에 따른 방법을 나타내는 개략적인 흐름도이다.
도 3a는 본 발명의 일 실시예에 따른, 포착되는 이미지들, 및 표시, 기록 또는 전송되는 이미지들을 나타내는 개략도이다.
도 3b는 본 발명의 다른 실시예에 따른, 포착되는 이미지들, 및 표시, 기록 또는 전송되는 이미지들을 나타내는 개략도이다.
도 3c는 본 발명의 또 다른 실시예에 따른, 포착되는 이미지들, 및 표시, 기록 또는 전송되는 이미지들을 나타내는 개략도이다.
도 4는 본 발명의 제 2 실시예에 따른, 네트워크에 연결된 디지털 카메라의 개략도이다.
도 5a는 본 발명의 일 실시예에 따른 방법을 나타내는 개략적인 흐름도이다.
도 5b는 본 발명의 다른 실시예에 따른 방법을 나타내는 개략적인 흐름도이다.
도 5c는 본 발명의 또 다른 실시예에 따른 방법을 나타내는 개략적인 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 방법을 나타내는 개략도이다.

본 발명의 일반적인 양상은 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위해 프레임간 처리를 이용하는 것이다. 프레임간 처리는 비디오 이미지 스트림 내의 2개의 이미지들/프레임들의 포착 사이에서 포착되는 이미지(하지만, 반드시 나타나는 것은 아니다)에 대해 수행되거나, 또는 이러한 이미지로부터의 정보를 이용하여 수행된다. 비디오 이미지 스트림 내의 이미지들의 포착 사이에서 포착되는 이미지들은, 비디오 이미지 스트림의 이미지들과 비교하여, 디지털 비디오 카메라의 다른 카메라 설정을 이용하여 포착된다. 따라서, 이미지들의 제 1 서브세트는 디지털 비디오 카메라의 제 1 카메라 설정을 이용하여 디지털 비디오 카메라에 의해 포착되고, 이미지들의 제 2 서브세트는 디지털 비디오 카메라의 제 2 카메라 설정을 이용하여 디지털 비디오 카메라에 의해 포착되며, 이미지들의 제 2 서브세트의 포착은 이미지들의 제 1 서브세트의 포착과 인터스퍼싱된다. 전형적으로, 디지털 비디오 카메라의 이미지 센서는 디스플레이되는 이미지들의 더블 프레임 레이트에서 동작하는 바, 즉 매 두번째 이미지는 프레임간 처리에 이용될 것이며, 매 두 번째 이미지는 비디오 이미지 스트림으로서 디스플레이 또는 기록될 것이다. 일 예에 따르면, 디지털 비디오 카메라의 이미지 센서는 초당 60 프레임을 포착하도록 구성되며, 비디오 이미지 스트림은 초당 30개의 프레임들을 포함한다.

비디오 이미지 스트림의 2개의 이미지들/프레임들의 포착 사이에서 변경될 수 있는 카메라 설정들의 예들로는, 카메라의 이미지 센서를 다양한 방향들로 이동시키는 것 뿐 아니라, 이미지 센서를 기울이는 것, 또는 카메라의 렌즈를 다양한 방향들로 이동시키는 것이 있다.

이에 따라, 본 발명에 따르면, (비디오 이미지 스트림에서 이용되는 이미지인) 제 1 이미지가 디지털 비디오 카메라에 의해 포착될 것이며, 여기서 카메라 설정은 제 1 상태이고; 카메라 설정이 제 2 상태로 변경되고; (일반적으로 비디오 이미지 스트림 내에서 이용되는 이미지가 아닌) 제 2 이미지가 포착될 것이며; 제 2 이미지로부터의 정보를 이용하는 (또는, 일부 경우들에서는, 제 1 및 제 2 이미지 모두로부터의 정보를 이용하는) 처리가 수행될 것이며; 카메라 설정은 (제 1 이미지를 포착할 때에 이용되는) 제 1 (최초) 상태로 다시 변경될 것이며; 제 3 이미지가 포착될 것이며; 카메라 설정이 다시 변경될 것이며(반드시 제 2 이미지를 포착하는 데에 이용되는 위치로 변경되는 것은 아니다); 제 4 이미지가 포착되는 등등이 이어진다.

또한, 주목할 사항으로서, 프레임간 처리가 반드시 비디오 이미지 스트림의 각 프레임 간에서 수행될 필요는 없다. 예를 들어, 프레임간 처리는 디지털 비디오 카메라의 이미지 센서에 의해 포착되는 매 3번째 이미지, 매 4번째 이미지, 매 5번째 이미지, 매 6번째 이미지, 매 7번째 이미지, 매 8번째 이미지, 매 9번째 이미지, 또는 매 10번째(또는 심지어 더 드물게) 이미지를 이용하여 수행될 수 있다. 또한, 대안적으로, 프레임간 처리는, 예를 들어 가용 대역폭 및/또는 시스템 부하에 의존하는 동적 레이트를 이용하여 행해질 수 있다.

이하, 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위해 프레임간 처리를 이용하는 몇 개의 다른 실시예들이 설명된다.

리포커스 개시

본 발명의 일 양상에 따르면, 디지털 비디오 카메라의 리포커스가 언제 개시되어야 하는지, 그리고 개시되어야 하는 지의 여부를 결정하기 위해, 프레임간 처리가 이용된다.

디지털 비디오 카메라에서 리포커스를 처리하기 위해, 이미지 또는 이미지의 일부 내에 고주파수 콘텐츠를 제공하는 포커스 위치에 도달하기 위한 힐 크라이밍 방법들(hill climbing methods)이 보통 이용된다. 하지만, 디지털 비디오 카메라의 포커스 모터는 제한된 수명(이는 종종 모터가 이용될 수 있는 최대수의 사이클로서 표현된다)을 갖는다. 전형적인 포커스 모터는 2백만 사이클 동안 지속(last)하도록 특정된다. 이는 디지털 비디오 카메라에 대해 요구되는 수명인 100.000 시간 동안 동작가능한 디지털 카메라에 대해 매 3분 마다 단지 한번의 포커스 변경이 있음을 의미한다. 이에 따라, 포커스 모터를 유지하기 위해서는, 불필요한 리포커스 개시들을 피하기 위해 디지털 비디오 카메라의 리포커스를 언제 개시할 지에 대한 방법을 찾을 필요가 있다. 포커스 모터들의 비 한정적인 예들로는 DC-타입 모터들 또는 스테퍼 타입(stepper-type) 모터들이 있다.

이미지 센서의 이동에 의한 리포커스 개시

본 발명의 일 실시예에 따르면, 리포커스가 언제 개시되어야하는지, 그리고 리포커스가 개시되어야 하는 지의 여부를 결정하기 위해, 디지털 비디오 카메라의 이미지 센서가 비디오 이미지 스트림의 이미지들/프레임들을 포착하는 것 사이에서 이동할 때에 포착되는 이미지들에 대해 프레임간 처리가 수행된다.

도 1은 본 실시예에 따른 디지털 비디오 카메라(5)를 개략적으로 나타낸다. 디지털 비디오 카메라(5)는 하우징(10), 포커싱 렌즈(12), 포커스 모터(11), 이미지 센서(14), 액츄에이터(actuator)(13), 제어기(15), 이미지 처리 수단(16), 메모리(17) 및 I/O 포트(18)를 포함한다. 렌즈(12)는 포커스 모터(11)에 연결되고, 이 포커스 모터(11)는 제어기(15)에 연결되며 이 제어기(15)에 의해 제어된다. 이미지 센서(14)는 액츄에이터(13)에 연결되며, 이 액츄에이터(13)는 제어기(15)에 연결되며 이 제어기(15)에 의해 제어된다. 이미지 처리 수단(16)은 이미지 센서(14)로부터 이미지 데이터를 수신하고, 제어기(15) 및 I/O 포트(18)와 통신하도록 구성된다. 디지털 카메라(5)는 I/O 포트(18)를 통해 네트워크(20)에 연결될 수 있다.

이미지 센서(14)는 소정의 프레임 레이트로 이미지들을 포착하도록 구성된다. 이미지 센서(14)는 CMOS-기반의 센서 또는 CCD 센서가 될 수 있지만, 다른 타입들의 센서들도 가능하다. 소정의 프레임 레이트는 전형적으로 초당 30 내지 60 프레임이지만, 다른 프레임 레이트들도 가능하다. 이미지 센서(14)는 움직일 수 있게 장착되며, 액츄에이터(13) 또는 유사한 장치에 의해 움직일 수 있다. 본 실시예에 따르면, 액츄에이터(13)는 카메라 설정 변경 부재(member)이다. 액츄에이터들의 비 한정적인 예들로는, 전기 모터들, 선형 액츄에이터들 또는 압전기(piezoelectric) 액츄에이터들이 있다.

이미지 센서(14)는 정상 위치에 위치될 수 있고, 액츄에이터(13)를 이용하여 테스트 위치로 이동될 수 있다. 정상 위치는, 카메라의 정규 동작 동안 이미지 센서가 위치되는 시작 위치로서 이해되어야 한다. 본 실시예에 따르면, 정상 위치는 카메라 설정의 제 1 상태이고, 테스트 위치는 카메라 설정의 제 2 상태이다.

테스트 위치는 제 1 테스트 위치 및 제 2 테스트 위치로 더 분할될 수 있다. 제 1 테스트 위치는, 정상 위치와 비교하여, 디지털 카메라(5)의 광학 입력을 향해 위치되는 광축을 따른 위치이다. 제 2 테스트 위치는, 정상 위치와 비교하여, 디지털 카메라(5)의 광학 입력으로부터 멀리 위치되는 광축을 따른 위치이다. 따라서, 이 경우, 정상 위치는 제 1 테스트 위치와 제 2 테스트 위치 사이에 있는 위치이다.

이미지 센서(14)에 의해 포착되는 이미지 데이터는 이미지 처리 수단(16)에 전송된다. 이미지 센서(14)로부터 이미지 처리 수단(16)으로의 이미지 데이터의 전송은 당업자에게 알려진 임의의 전송 방식에 따라 수행될 수 있다.

이미지 처리 수단(16)은 소정의 프레임 레이트로 이미지 센서(14)로부터 포착된 이미지 데이터를 수신한다. 이미지 처리 수단(16)은 포착된 이미지 데이터를 준비 및/또는 분석하도록 구성된다. 이미지 처리 수단(16)은 2개의 출력들을 구비하는 바, 제 1 출력은 I/O 포트(18)에 연결되고, 제 2 출력은 제어기(15)에 연결된다. I/O 포트(18)에 연결되는 출력은 표시, 기록 또는 전송될 이미지들을 모니터, 리코더(recorder), 서버 등에 전송하는 데에 이용된다. 제어기(15)에 연결되는 출력은 제어기(15)에 명령들을 전송하는 데에 이용된다. 이미지 처리 수단(16)은 I/O 포트(18) 및 제어기(15)에 이미지들/명령들을 병렬 또는 직렬로 전송할 수 있다.

이미지 처리 수단(16)은 또한, 포착된 이미지들에 대한 선명도 값을 결정하고, 이러한 값들 각각을 메모리(17)에 저장하도록 구성된다. 이미지 처리 수단(16)은 또한, 메모리(17)에 저장된 선명도 값들을 비교하여, 하나의 이미지와 다른 이미지 간에 선명도가 변경되었는 지를 결정한다.

이미지의 선명도는 공간적인 고주파수 분석을 이용하여 결정될 수 있는 바, 이러한 분석은 포커스가 맞거나 또는 포커스가 맞지 않은 이미지의 다양한 부분들이 얼마나 많은 지를 보여준다. 이미지의 선명도는 당업자에게 알려져있는 다양한 방법들로 결정될 수 있다. 선명도를 결정하는 하나의 예는, 이미지 내의 에지들을 검출할 수 있는 소벨 필터를 이용한 다음, 이미지를 평활시키기 위한 가우션 필터를 적용함으로써, 선명도에 대한 값으로서 이용될 수 있는 수를 발생시키는 것이다. 대안적으로, 고주파수 콘텐츠가 계산되어, 결정점의 역할을 할 수 있다. 다른 옵션들은 SQF(Subjective Quality Factor)가 될 수 있는데, 여기에서는 눈의 주파수 감도 및 다른 요인들 이후 결정점이 가중화된다.

제어기(15)는 액츄에이터(13)에 연결된다. 제어기(15)는 액츄에이터(13)를 제어하여 이미지 센서(14)를 이동시키도록 구성된다. 제어기(15)는 또한 포커스 모터(11)에 연결된다. 제어기(15)는, 포착될 이미지들을 리포커스하기 위하여, 디지털 카메라(5) 내의 렌즈(12)를 이동시키도록 포커스 모터(11)를 제어하도록 구성된다.

나타낸 실시예에 따르면, I/O 포트(18)는 디지털 카메라(5)를 네트워크(20)에 연결하는 데에 이용된다. 하지만, 디지털 카메라(5)는 또한 이미지들을 표시하기 위해 모니터에 직접 연결되거나, 또는 이미지들을 세이브하기 위해 리코더에 직접 연결될 수도 있다.

본 발명의 일 실시예에 따르면, 상기 설명한 디지털 비디오 카메라(5)는, 디지털 비디오 카메라(5)를 리포커스하기 위하여 포커스 모터(11)를 언제 개시할 지를 결정하기 위해, 다음의 방식으로 동작할 수 있다. 이러한 동작은 도 2a의 흐름도에서 요약되며, 도 3a는 본 실시예에 따라 포착되는 이미지들을 도시한다.

제 1 이미지(31)를 나타내는 이미지 데이터가 이미지 센서(14)에 의해 포착되며(210), 여기서 이미지 센서(14)는 정상 위치에 배치된다. 제 1 이미지(31)를 나타내는 이미지 데이터는 이미지 처리 수단(16)에 전송된다. 포착되는 제 1 이미지(31)의 선명도 값이 이미지 처리 수단(16)에 의해 결정된다(220). 제 1 이미지(31)는 표시, 기록 또는 전송을 위해 I/O 포트(18)에 전송된다(230). 제 1 이미지(31)의 선명도 값은 메모리(17)에 저장된다. 이러한 선명도 값은 메모리(17)에 일시적으로 저장될 수 있다.

이미지 센서(14)는 액츄에이터(13)에 의해 테스트 위치로 이동한다(240). 이미지 센서(14)가 테스트 위치로 이동한 후 또는 이동하는 동안, 제 2 이미지(32)를 나타내는 이미지 데이터가 포착된다(250). 제 2 이미지(32)를 나타내는 이미지 데이터는 이미지 처리 수단(16)에 전송된다. 포착된 제 2 이미지(32)의 선명도 값이 이미지 처리 수단(16)에 의해 결정된다(260). 그런 다음, 제 2 이미지(32)의 선명도 값이 메모리(17)에 저장된다. 이러한 선명도 값은 메모리(17)에 일시적으로 저장될 수 있다. 일반적으로, 제 2 이미지(32)는 I/O 포트(18)에 대해 표시, 기록 또는 전송되지 않는다.

제 1 이미지(31) 및 제 2 이미지(32)의 선명도 값들을 서로 비교하여, 비디오 이미지 스트림 내에서 이용되는 이미지인 제 1 이미지(31)가 포커스가 맞는지, 아니면 포커스가 맞지 않는 지를 결정한다(270). 제 1 이미지(31)의 선명도 값은, 제 2 이미지(32)의 선명도 값과 비교되기 전에, 메모리(17)로부터 검색될 수 있다 만일 제 2 이미지(32)가 제 1 이미지(31)와 비교하여 덜 선명한 것으로 결정되면, 제 1 이미지(31)는 포커스가 맞는 것으로 결정된다. 하지만, 제 2 이미지(32)가 제 1 이미지(31)와 비교하여 더 선명한 것으로 결정되면, 제 1 이미지(31)는 포커스가 맞지 않는 것으로 결정된다. 제 1, 2 이미지들(31 및 32)의 선명도 값들 간의 비교 이후 또는 비교 동안, 이미지 센서는 다시 정상 위치로 이동할 수 있다(280).

제 1 이미지(31)가 포커스가 맞지 않는 것으로 결정되는 때의 경우, 이미지 처리 수단(16)은 제어기(15)에 신호를 전송하며, 제어기(15)는 렌즈(12)를 이동시켜 리포커스를 시작하기 위해 포커스 모터(11)를 시동시키고, 예를 들어 상기에 따른 힐 크라이밍 방법들을 시동시켜 렌즈(12)의 포커스 위치를 찾음으로써, 리포커스를 개시한다(290).

이러한 프로세스는, 이미지 센서(14)에 의해 제 3 이미지(33)를 나타내는 이미지 데이터 등을 포착함으로써 반복된다.

본 실시예에서, 홀수 번호 이미지들(31, 33, 35)은 비디오 이미지 스트림으로서 표시, 기록 또는 전송되는 한편, 짝수 번호 이미지들(32, 34, 36)은 비교 및 테스팅을 위해서만 이용된다.

본 실시예에서, 표시, 기록 또는 전송되는 홀수 번호 이미지들(31, 33, 35)은 프레임간 처리되는 짝수 번호 이미지들(32, 34, 36)과 인터스퍼싱된다.

본 발명의 다른 실시예에 따르면, 상기 설명한 디지털 비디오 카메라(5)는, 디지털 비디오 카메라(5)의 리포커스를 개시하기 위하여 포커스 모터(11)를 언제 개시할 지를 결정하기 위해, 다음의 방식으로 동작할 수 있다. 이러한 동작은 도 2b의 흐름도에서 요약되며, 도 3b는 본 실시예에 따라 포착되는 이미지들을 도시한다. 본 실시예에 따르면, 비디오 이미지 스트림의 각 이미지를 포착하는 것 사이에서 2개의 테스트 이미지들이 포착된다.

제 1 이미지(41)를 나타내는 이미지 데이터가 이미지 센서(14)에 의해 포착되며(305), 여기서 이미지 센서(14)는 정상 위치에 배치된다. 제 1 이미지(41)를 나타내는 제 1 이미지 데이터는 이미지 처리 수단(16)에 전송되며, 그리고 제 1 이미지(41)를 또한 제 1 이미지(41)의 표시, 기록 또는 전송을 위해(315) I/O 포트(18)에 전송하기 전에, 제 1 이미지(31)의 선명도 값이 결정된다(310).

본 실시예에 따르면, 이미지 세서(14)는 이제 제 1 테스트 위치로 이동한다(320). 이미지 센서(14)가 제 1 테스트 위치로 이동한 후 또는 이동하는 동안, 제 2 이미지(42)를 나타내는 이미지 데이터가 이미지 센서(14)에 의해 포착된다(325). 제 2 이미지(42)를 나타내는 이미지 데이터는 이미지 처리 수단(16)에 전송되며, 선명도 값이 결정된다(330). 제 2 이미지 센서(14)는 제 2 테스트 위치로 이동한다(335). 이미지 센서(14)가 제 2 테스트 위치로 이동한 이후 또는 이동하는 동안, 제 3 이미지(43)를 나타내는 이미지 데이터가 이미지 센서(14)에 의해 포착된다(340). 그런 다음, 제 3 이미지(43)를 나타내는 이미지 데이터 역시 이미지 처리 수단(16)에 전송되며, 이러한 제 3 이미지(43)에 대해서 또한 선명도 값이 결정된다(345).

이미지 센서(14)가 정상 위치에 위치할 때에 포착된 제 1 이미지(41)의 선명도 값은, 이미지 처리 수단(16)에 의해, 이미지 센서(14)가 각각 제 1 테스트 위치 및 제 2 테스트 위치에 위치할 때에 포착된 제 2, 3 이미지들(42, 43)의 선명도 값들과 비교된다(350). 제 1, 2 및 3 이미지들(41, 42, 43)의 선명도 값들 간의 비교 이후 또는 비교 동안, 이미지 센서는 다시 정상 위치로 이동한다(355). 만일 제 2 이미지(42) 또는 제 3 이미지(43)가 제 1 이미지(41) 보다 더 선명한 것으로 결정되면(350), 리포커스가 개시된다(360).

다양한 이미지 센서(14) 위치들에서 포착되는 제 1, 2 및 3 이미지들(41, 42, 43)로부터의 선명도에 대한 정보는 또한, 포커스 모터(11)의 방향을 결정하는 데에도 이용될 수 있다. 예를 들어, 디지털 카메라(5)로부터 멀리 이미지 센서(14)의 정상 위치 뒤에 위치되는 제 2 테스트 위치에서 포착되는 제 3 이미지(43)에서의 선명도와 비교하여, 디지털 카메라(5)의 광학 입력을 향하는 이미지 센서(14)의 정상 위치 앞에 위치되는 제 1 테스트 위치에서 포착되는 제 2 이미지(42)에서의 선명도가 더 낫다면, 포커스 모터(11)는 렌즈(12)가 이미지 센서(14)에 더 가깝게 이동할 수 있도록 하기 위해, 포커싱 렌즈(12)를 디지털 카메라(5)의 광학 입력으로부터 멀어지는 위치로 구동시킬 수 있다. 포커스 모터(11)의 방향의 결정은 포커스 모터(11) 자체의 수명을 훨씬 더 증가시킬 수 있다. 이는, 포커스 모터(11)를 다양한 방향들에서 구동시키고자 시도하지 않고 정확한 방향에서만 직접 구동시킴으로써, 포커스 모터(11)의 이용을 줄이고, 그에 따라 포커스 모터(11)의 수명을 증가시킬 수 있기 때문이다.

이러한 프로세스는 이미지 센서(14)에 의해 제 4 이미지(44) 등을 나타내는 이미지 데이터를 포착함으로써 반복된다.

본 발명의 제 1 양상의 이러한 대안적인 실시예에 따르면, 매 세번째 이미지(41, 44, 47)가 비디오 이미지 스트림으로서 표시, 기록 또는 전송되는 한편, 나머지 이미지들(42, 43, 45, 46, 48, 49)은 비교 및 테스팅을 위해서만 이용된다.

본 발명의 또 다른 실시예에 따르면, 상기 설명한 디지털 비디오 카메라(5)는 디지털 비디오 카메라(5)를 리포커스하기 위하여 포커스 모터(11)를 언제 개시할 지를 결정하기 위해, 다음의 방식으로 동작할 수 있다. 이러한 동작은 도 2c의 흐름도에서 요약되며, 도 3c는 본 실시예에 따라 포착되는 이미지들을 도시한다.

제 1 이미지(51)를 나타내는 이미지 데이터가 이미지 센서(14)에 의해 포착되며, 여기서 이미지 센서(14)는 정상 위치에 배치된다. 제 1 이미지(51)를 나타내는 이미지 데이터는 이미지 처리 수단(16)에 전송되며, 그리고 제 1 이미지(51)를 또한 표시, 기록 또는 전송되도록 전송하기 전에, 선명도 값이 결정된다(415). 이미지 세서(14)는 제 1 테스트 위치로 이동한다(425). 이미지 센서(14)가 제 1 테스트 위치로 이동한 후 또는 이동하는 동안, 제 2 이미지(52)를 나타내는 이미지 데이터가 포착된다(430). 그런 다음, 제 2 이미지(52)를 나타내는 이미지 데이터는 이미지 처리 수단(16)에 전송되며, 선명도 값이 결정된다(435).

제 2 이미지 센서(14)는 다시 정상 위치로 이동하며(440), 제 3 이미지(53)를 나타내는 이미지 데이터가 포착된다(445). 제 3 이미지(53)를 나타내는 이미지 데이터는 이미지 처리 수단(16)에 전송되며, 그리고 제 3 이미지(53)를 또한 표시, 기록 또는 전송되도록 전송하기 전에(455), 제 3 이미지(53)에 대한 선명도 값이 결정된다(450).

이미지 센서(14)는 제 2 테스트 위치로 이동한다(460). 이미지 센서(14)가 제 2 테스트 위치로 이동한 후 또는 이동하는 동안, 제 4 이미지(54)를 나타내는 이미지 데이터가 포착된다(465). 그런 다음, 제 4 이미지(54)를 나타내는 이미지 데이터는 이미지 처리 수단(16)에 전송되며, 제 4 이미지(54)의 선명도 값이 결정된다(470).

이미지 센서(14)가 정상 위치에 위치할 때에 포착된 제 1 및 제 3 이미지들(51, 53)의 선명도 값은, 이미지 처리 수단(16)에 의해, 이미지 센서(14)가 각각 제 1 테스트 위치 및 제 2 테스트 위치에 위치할 때에 포착된 제 2, 4 이미지들(52, 54)의 선명도 값들과 비교된다(350). 제 1, 2, 3 및 4 이미지들(51, 52, 53, 54)의 선명도 값들 간의 비교 이후 또는 비교 동안, 이미지 센서는 다시 정상 위치로 이동한다(480). 만일 제 2 이미지(52) 또는 제 4 이미지(54)가 제 1 이미지(51) 또는 제 3 이미지(53) 보다 더 선명한 것으로 결정되면(475), 리포커스가 개시된다(485).

다양한 이미지 센서(14) 위치들에서 포착되는 제 1, 2, 3 및 4 이미지들(51, 52, 53, 54)로부터의 선명도에 대한 정보는 또한, 포커스 모터(11)의 방향을 결정하는 데에도 이용될 수 있다. 예를 들어, 디지털 카메라(5)로부터 멀리 이미지 센서(14)의 정상 위치 뒤에 위치되는 제 2 테스트 위치에서 포착되는 제 4 이미지(54)에서의 선명도와 비교하여, 디지털 카메라(5)의 광학 입력을 향하는 이미지 센서(14)의 정상 위치 앞에 위치되는 제 1 테스트 위치에서 포착되는 제 2 이미지(52)에서의 선명도가 더 낫다면, 포커스 모터(11)는 렌즈(12)가 이미지 센서(14)에 더 가깝게 이동할 수 있도록 하기 위해, 포커싱 렌즈(12)를 디지털 카메라(5)의 광학 입력으로부터 멀어지는 위치로 구동시킬 수 있다. 포커스 모터(11)의 방향의 결정은 포커스 모터(11) 자체의 수명을 훨씬 더 증가시킬 수 있다. 이는, 포커스 모터(11)를 다양한 방향들에서 구동시키고자 시도하지 않고 정확한 방향에서만 직접 구동시킴으로써, 포커스 모터(11)의 이용을 줄이고, 그에 따라 포커스 모터(11)의 수명을 증가시킬 수 있기 때문이다.

이후, 도 2c에 도시된 단계들이 반복된다. 제 5 이미지(55) 등이 이미지 센서(14)에 의해 포착된다.

본 실시예에 따르면, 모든 홀수 번호 이미지들(51, 53, 55)은 비디오 이미지 스트림으로서 표시, 기록 또는 전송되는 한편, 짝수 번호 이미지들(52, 54, 56)은 비교 및 테스팅을 위해서만 이용된다.

상기 모든 실시예들에 대해 유효한 바와 같이, 이미지 스트림 내의 이미지들의 모든 포착 사이에서 리포커스가 언제 개시되어야 하는지, 그리고 리포커스가 개시되어야 하는 지의 여부를 결정하기 위해 테스트를 반복할 필요가 없음이 이해된다. 예를 들어, 이미지 스트림 내의 매 10번째 이미지 이후 테스트가 이루어질 수 있다. 즉, 도 2a, 3a 및 2b, 3b에 나타낸 실시예들에 따르면, 테스트는 이미지들의 스트림 내의 이미지들의 이미지 10과 이미지 11 사이에서, 이미지들의 스트림 내의 이미지들의 이미지 20과 이미지 21 사이 등에서 수행되며, 그리고 도 2c, 3c에 나타낸 실시예에 따르면, 테스트는 이미지들의 스트림 내의 이미지들의 이미지 10-12 사이에서, 이미지들의 스트림 내의 이미지들의 20-22 사이 등에서 수행된다.

렌즈의 이동에 의한 리포커스 개시

본 발명의 제 1 양상의 다른 실시예에 따르면, 포착된 이미지들이 포커스가 맞는지, 아니면 포커스가 맞지 않는 지의 여부를 체크하기 위해, 렌즈 자체가 이동된다. 도 4a 및 4b는 포착된 이미지들이 포커스가 맞는지, 아니면 포커스가 맞지 않는 지의 여부를 체크하기 위해 렌즈를 이동시키도록 구성되는 디지털 비디오 카메라의 대안적인 실시예들을 개략적으로 나타낸다.

도 4a의 실시예에 따르면, 디지털 비디오 카메라(5')는 하우징(10'), 포커싱 렌즈(12'), 포커스 모터(11'), 액츄에이터(13'), 이미지 센서(14'), 제어기(15'), 이미지 처리 수단(16'), 메모리(17') 및 I/O 포트(18')를 포함한다. 포커싱 렌즈(12')는 액츄에이터(13') 및 포커스 모터(11') 양자 모두에 연결된다. 액츄에이터(13') 및 포커스 모터(11') 양자 모두는 제어기(15')에 연결되며, 이 제어기(15')에 의해 제어된다. 이미지 처리 수단(16')은 이미지 센서(14')로부터 이미지 데이터를 수신하고, 제어기(15') 및 I/O 포트(18')와 통신하도록 구성된다. 디지털 카메라(5')는 I/O 포트(18')를 통해 네트워크(20)에 연결될 수 있다.

이미지 센서(14')는 소정의 프레임 레이트로 이미지들을 포착하도록 구성된다. 이미지 센서(14')는 CMOS-기반의 센서 또는 CCD 센서가 될 수 있지만, 다른 타입들의 센서들도 가능하다. 소정의 프레임 레이트는 전형적으로 초당 30 내지 60 프레임이지만, 다른 프레임 레이트들도 가능하다.

도 4a에 나타낸 실시예에 따르면, 액츄에이터(13')는 렌즈(12') 및 포커스 모터(11') 양자 모두를 이동시키도록 구성된다. 하지만, 액츄에이터(13')는 또한 렌즈(12')와 포커스 모터(11') 사이에도 배치될 수 있음이 이해될 것이며, 이 경우, 포커스 모터(11')는 렌즈(12') 및 액츄에이터(13') 모두를 이동시키도록 구성된다.

렌즈(12')는 정상 위치에 위치될 수 있으며, 액츄에이터(13')를 이용하여 테스트 위치로 이동될 수 있다. 정상 위치는, 카메라의 정규 동작 동안 렌즈(12')가 위치되는 시작 위치로서 이해되어야 한다. 본 실시예에 따르면, 정상 위치는 카메라 설정의 제 1 상태이고, 테스트 위치는 카메라 설정의 제 2 상태이다.

테스트 위치는 제 1 테스트 위치 및 제 2 테스트 위치로 더 분할될 수 있다. 일 실시예에 따르면, 제 1 테스트 위치는, 정상 위치와 비교하여, 디지털 카메라(5')의 광학 입력을 향해 위치되는 광축을 따른 위치이다. 일 실시예에 따르면, 제 2 테스트 위치는, 정상 위치와 비교하여, 디지털 카메라(5')의 광학 입력으로부터 멀리 위치되는 광축을 따른 위치이다. 이 경우, 정상 위치는 제 1 테스트 위치와 제 2 테스트 위치 사이에 있는 위치이다.

이미지 센서(14')에 의해 포착되는 이미지 데이터는 이미지 처리 수단(16')에 전송된다. 이미지 센서(14')로부터 이미지 처리 수단(16')으로의 이미지 데이터의 전송은 당업자에게 알려진 임의의 전송 방식에 따라 수행될 수 있다.

이미지 처리 수단(16')은 소정의 프레임 레이트로 이미지 센서(14')로부터 포착된 이미지 데이터를 수신한다. 이미지 처리 수단(16')은 포착된 이미지 데이터를 준비 및/또는 분석하도록 구성된다. 이미지 처리 수단(16')은 2개의 출력들을 구비하는 바, 제 1 출력은 I/O 포트(18')에 연결되고, 제 2 출력은 제어기(15')에 연결된다. I/O 포트(18')에 연결되는 출력은 표시, 기록 또는 전송될 이미지들을 모니터, 리코더, 서버 등에 전송하는 데에 이용된다. 제어기(15')에 연결되는 출력은 제어기(15')에 명령들을 전송하는 데에 이용된다. 이미지 처리 수단(16')은 I/O 포트(18') 및 제어기(15')에 이미지들/명령들을 병렬 또는 직렬로 전송할 수 있다.

이미지 처리 수단(16')은 또한, 포착된 이미지들에 대한 선명도 값을 결정하고, 이러한 값들 각각을 메모리(17')에 저장하도록 구성된다. 이미지 처리 수단(16')은 또한, 메모리(17')에 저장된 선명도 값들을 비교하여, 하나의 이미지와 다른 이미지 간에 선명도가 변경되었는 지를 결정한다.

제어기(15')는 액츄에이터(13')를 통해 렌즈(12')의 이동을 제어할 뿐 아니라, 포커스 모터(11')를 통해 디지털 비디오 카메라의 리포커싱을 제어하도록 구성된다.

도 4a에 나타낸 실시예에 따르면, I/O 포트(18')는 디지털 카메라(5')를 네트워크(20)에 연결하는 데에 이용된다. 하지만, 디지털 카메라(5')는 또한 이미지들을 표시하기 위해 모니터에 직접 연결되거나, 또는 이미지들을 세이브하기 위해 리코더에 직접 연결될 수도 있다.

도 4b에 도시된 바와 같이, 포커스 모터(11')가 개선됨으로써, 2백만 보다 많은 사이클 동안 동작할 수 있는 경우, 포커스 모터 자체는 포착된 이미지들이 포커스가 맞는지, 아니면 맞지 않는 지를 체크하기 위해 렌즈를 이동시키기 위한 액츄에이터의 함수로서 이용될 수 있으며, 그리고 필요할 때 디지털 비디오 카메라(5')를 리포커싱하기 위한 포커스 모터로서 이용될 수 있다는 것을 또한 이해할 것이다. 따라서, 액츄에이터 및 포커스 모터의 함수는 모두 포커스 모터에 의해 처리된다. 본 실시예에 따르면, 포커스 모터(11')는 카메라 설정 변경 부재이다.

도 4b의 실시예에 따르면, 디지털 비디오 카메라(5')는 하우징(10'), 포커싱 렌즈(12'), 포커스 모터(11'), 이미지 센서(14'), 제어기(15'), 이미지 처리 수단(16'), 메모리(17') 및 I/O 포트(18')를 포함한다. 포커싱 렌즈(12')는 포커스 모터(11')에 연결된다. 포커스 모터(11')는 제어기(15')에 연결되며, 이 제어기(15')에 의해 제어된다. 제어기(15')는 포커스 모터(11')를 통해 렌즈(12')의 이동을 제어할 뿐 아니라, 포커스 모터(11')를 통해 디지털 비디오 카메라의 리포커싱을 제어하도록 구성된다.

하기의 설명에서는, 정상 위치와 테스트 위치(들) 간에 렌즈(12')를 이동시키는 데에 액츄에이터(13')가 이용되는 것으로서 설명되지만, 도 4b에 나타낸 실시예에 따르면, 렌즈(12')는 포커스 모터(11') 자체에 의해서도 이동될 수 있다는 것이 이해된다.

본 발명의 일 실시예에 따르면, 도 4a 및 4b에서 다른 실시예들로서 도시된 상기 설명한 디지털 비디오 카메라(5')는, 디지털 비디오 카메라(5')를 리포커스하기 위하여 포커스 모터(11')를 언제 개시할지를 결정하기 위해 다음의 방식으로 동작할 수 있다. 이러한 동작은 도 5a의 흐름도에서 요약되며, 도 3a는 이러한 실시예에 따라 포착되는 이미지들을 도시한다.

제 1 이미지(31)를 나타내는 이미지 데이터가 이미지 센서(14')에 의해 포착되며(500), 여기서 이미지 센서(12')는 정상 위치에 배치된다. 제 1 이미지(31)를 나타내는 이미지 데이터는 이미지 처리 수단(16')에 전송된다. 포착되는 제 1 이미지(31)의 선명도 값이 이미지 처리 수단(16')에 의해 결정된다(502). 제 1 이미지(31)는 표시, 기록 또는 전송을 위해 I/O 포트(18')에 전송된다(504). 제 1 이미지(31)의 선명도 값은 메모리(17')에 저장된다. 이러한 선명도 값은 메모리(17')에 일시적으로 저장될 수 있다.

렌즈(12')는 액츄에이터(13')에 의해 테스트 위치로 이동한다(506). 렌즈(12')가 테스트 위치로 이동한 후 또는 이동하는 동안, 제 2 이미지(32)를 나타내는 이미지 데이터가 포착된다(508). 제 2 이미지(32)를 나타내는 이미지 데이터는 이미지 처리 수단(16')에 전송된다. 포착된 제 2 이미지(32)의 선명도 값이 이미지 처리 수단(16')에 의해 결정된다(510). 그런 다음, 제 2 이미지(32)의 선명도 값이 메모리(17')에 저장된다. 이러한 선명도 값은 메모리(17')에 일시적으로 저장될 수 있다. 일반적으로, 제 2 이미지(32)는 I/O 포트(18')에 대해 표시, 기록 또는 전송되지 않는다.

제 1 이미지(31) 및 제 2 이미지(32)의 선명도 값들을 서로 비교하여, 비디오 이미지 스트림 내에서 이용되는 이미지인 제 1 이미지(31)가 포커스가 맞는지, 아니면 포커스가 맞지 않는 지를 결정한다(512). 제 1 이미지(31)의 선명도 값은, 제 2 이미지(32)의 선명도 값과 비교되기 전에, 메모리(17')로부터 검색될 수 있다 만일 제 2 이미지(32)가 제 1 이미지(31)와 비교하여 덜 선명한 것으로 결정되면, 제 1 이미지(31)는 포커스가 맞는 것으로 결정된다. 하지만, 제 2 이미지(32)가 제 1 이미지(31)와 비교하여 더 선명한 것으로 결정되면, 제 1 이미지(31)는 포커스가 맞지 않는 것으로 결정된다. 제 1, 2 이미지들(31 및 32)의 선명도 값들 간의 비교 이후 또는 비교 동안, 렌즈(12')는 다시 정상 위치로 이동할 수 있다(514).

제 1 이미지(31)가 포커스가 맞지 않는 것으로 결정되는 때의 경우, 이미지 처리 수단(16')은 제어기(15')에 신호를 전송하며, 제어기(15')는 렌즈(12')를 이동시켜 리포커스를 시작하기 위해 포커스 모터(11')를 시동시키고, 예를 들어 상기에 따른 힐 크라이밍 방법들을 시동시켜 렌즈(12')의 포커스 위치를 찾음으로써, 리포커스를 개시한다(516).

이러한 프로세스는, 이미지 센서(14')에 의해 제 3 이미지(33)를 나타내는 이미지 데이터 등을 포착함으로써 반복된다.

본 발명의 다른 실시예에 따르면, 도 4에 도시된 상기 설명한 디지털 비디오 카메라(5')는, 디지털 비디오 카메라의 리포커스를 개시하기 위하여 포커스 모터(11')를 언제 개시할 지를 결정하기 위해, 다음의 방식으로 동작할 수 있다. 이러한 동작은 도 5b의 흐름도에서 요약되며, 도 3b는 본 실시예에 따라 포착되는 이미지들을 도시한다. 본 실시예에 따르면, 비디오 이미지 스트림의 각 이미지를 포착하는 것 사이에서 2개의 테스트 이미지들이 포착된다.

제 1 이미지(41)를 나타내는 이미지 데이터가 이미지 센서(14')에 의해 포착되며(518), 여기서 렌즈(12')는 정상 위치에 배치된다. 제 1 이미지(41)를 나타내는 제 1 이미지 데이터는 이미지 처리 수단(16')에 전송되며, 그리고 제 1 이미지(41)를 또한 제 1 이미지(41)의 표시, 기록 또는 전송을 위해 I/O 포트(18')에 전송하기 전에, 제 1 이미지(41)의 선명도 값이 결정된다(520).

본 실시예에 따르면, 렌즈(12')는 이제 제 1 테스트 위치로 이동한다(524). 렌즈(12')가 제 1 테스트 위치로 이동한 후 또는 이동하는 동안, 제 2 이미지(42)를 나타내는 이미지 데이터가 이미지 센서(14')에 의해 포착된다(526). 제 2 이미지(42)를 나타내는 이미지 데이터는 이미지 처리 수단(16')에 전송되며, 선명도 값이 결정된다(528). 렌즈(12')는 제 2 테스트 위치로 이동한다(530). 렌즈(12')가 제 2 테스트 위치로 이동한 이후 또는 이동하는 동안, 제 3 이미지(43)를 나타내는 이미지 데이터가 이미지 센서(14')에 의해 포착된다(532). 그런 다음, 제 3 이미지(43)를 나타내는 이미지 데이터 역시 이미지 처리 수단(16')에 전송되며, 이러한 제 3 이미지(43)에 대해서 또한 선명도 값이 결정된다(534).

렌즈(12')가 정상 위치에 위치할 때에 포착된 제 1 이미지(41)의 선명도 값은, 이미지 처리 수단(16')에 의해, 렌즈(12')가 각각 제 1 테스트 위치 및 제 2 테스트 위치에 위치할 때에 포착된 제 2, 3 이미지들(42, 43)의 선명도 값들과 비교된다(536). 제 1, 2 및 3 이미지들(41, 42, 43)의 선명도 값들 간의 비교 이후 또는 비교 동안, 렌즈(12')는 다시 정상 위치로 이동한다(538). 만일 제 2 이미지(42) 또는 제 3 이미지(43)가 제 1 이미지(41) 보다 더 선명한 것으로 결정되면, 리포커스가 개시된다(540).

다양한 렌즈(12') 위치들에서 포착되는 제 1, 2 및 3 이미지들(41, 42, 43)로부터의 선명도에 대한 정보는 또한, 포커스 모터(11')의 방향을 결정하는 데에도 이용될 수 있다. 예를 들어, 디지털 카메라(5')의 광학 입력으로부터 멀리 렌즈(12')의 정상 위치 뒤에 위치되는 제 2 테스트 위치에서 포착되는 이미지(43)에서의 선명도와 비교하여, 디지털 카메라(5')의 광학 입력을 향하는 렌즈(12')의 정상 위치 앞에 위치되는 제 1 테스트 위치에서 포착되는 이미지(42)에서의 선명도가 더 낫다면, 포커스 모터(11')는 렌즈(12')가 이미지 센서(14')로부터 멀리 이동할 수 있도록 하기 위해, 렌즈(12')를 디지털 카메라(5')의 광학 입력을 향하는 위치로 최적으로 구동시킬 수 있다. 포커스 모터(11')의 방향의 결정은 포커스 모터(11') 자체의 수명을 훨씬 더 증가시킬 수 있다. 이는, 포커스 모터(11')를 다양한 방향들에서 구동시키고자 시도하지 않고 정확한 방향에서만 직접 구동시킴으로써, 포커스 모터(11')의 이용을 줄이고, 그에 따라 포커스 모터(11')의 수명을 증가시킬 수 있기 때문이다.

이러한 프로세스는 이미지 센서(14')에 의해 제 4 이미지(44) 등을 나타내는 이미지 데이터를 포착함으로써 반복된다.

본 발명의 또 다른 실시예에 따르면, 도 4에 도시된 상기 설명한 디지털 비디오 카메라(5')는 디지털 비디오 카메라를 리포커스하기 위하여 포커스 모터(11')를 언제 개시할 지를 결정하기 위해, 다음의 방식으로 동작할 수 있다. 이러한 동작은 도 5c의 흐름도에서 요약되며, 도 3c는 본 실시예에 따라 포착되는 이미지들을 도시한다.

제 1 이미지(51)를 나타내는 이미지 데이터가 이미지 센서(14')에 의해 포착되며(552), 여기서 렌즈(12')는 정상 위치에 배치된다. 제 1 이미지(51)를 나타내는 이미지 데이터는 이미지 처리 수단(16')에 전송되며, 그리고 제 1 이미지(51)를 또한 표시, 기록 또는 전송되도록 전송(556)하기 전에, 선명도 값이 결정된다(554). 렌즈(12')는 제 1 테스트 위치로 이동한다(558). 렌즈(12')가 제 1 테스트 위치로 이동한 후 또는 이동하는 동안, 제 2 이미지(52)를 나타내는 이미지 데이터가 포착된다(560). 그런 다음, 제 2 이미지(52)를 나타내는 이미지 데이터는 이미지 처리 수단(16')에 전송되며, 선명도 값이 결정된다(562).

렌즈(12')는 다시 정상 위치로 이동하며(564), 제 3 이미지(53)를 나타내는 이미지 데이터가 포착된다(566). 제 3 이미지(53)를 나타내는 이미지 데이터는 이미지 처리 수단(16')에 전송되며, 그리고 제 3 이미지(53)를 또한 표시, 기록 또는 전송되도록 전송(570)하기 전에, 제 3 이미지(53)에 대한 선명도 값이 결정된다(568).

렌즈(12')는 제 2 테스트 위치로 이동한다(572). 렌즈(12')가 제 2 테스트 위치로 이동한 후 또는 이동하는 동안, 제 4 이미지(54)를 나타내는 이미지 데이터가 포착된다(574). 그런 다음, 제 4 이미지(54)를 나타내는 이미지 데이터는 이미지 처리 수단(16')에 전송되며, 제 4 이미지(54)의 선명도 값이 결정된다(576).

렌즈(12')가 정상 위치에 위치할 때에 포착된 제 1, 3 이미지들(51, 53)의 선명도 값은, 이미지 처리 수단(16')에 의해, 렌즈(12')가 각각 제 1 테스트 위치 및 제 2 테스트 위치에 위치할 때에 포착된 제 2, 4 이미지들(52, 54)의 선명도 값들과 비교된다(578). 제 1, 2, 3 및 4 이미지들(51, 52, 53, 54)의 선명도 값들 간의 비교 이후 또는 비교 동안, 렌즈(12')는 다시 정상 위치로 이동한다(580). 만일 제 2 이미지(52) 또는 제 4 이미지(54)가 제 1 이미지(51) 또는 제 3 이미지(53) 보다 더 선명한 것으로 결정되면, 리포커스가 개시된다(582).

다양한 렌즈(12') 위치들에서 포착되는 제 1, 2, 3 및 4 이미지들(51, 52, 53, 54)로부터의 선명도에 대한 정보는 또한, 포커스 모터(11')의 방향을 결정하는 데에도 이용될 수 있다. 예를 들어, 디지털 카메라(5')의 광학 입력으로부터 멀리 렌즈(12')의 정상 위치 뒤에 위치되는 제 2 테스트 위치에서 포착되는 제 4 이미지(54)에서의 선명도와 비교하여, 디지털 카메라(5')의 광학 입력을 향하는 렌즈(12')의 정상 위치 앞에 위치되는 제 1 테스트 위치에서 포착되는 제 2 이미지(52)에서의 선명도가 더 낫다면, 포커스 모터(11')는 렌즈(12')가 이미지 센서(14')로부터 멀리 이동할 수 있도록 하기 위해, 포커싱 렌즈(12')를 디지털 카메라(5')의 광학 입력을 향하는 위치로 구동시킬 수 있다. 포커스 모터(11')의 방향의 결정은 포커스 모터(11') 자체의 수명을 훨씬 더 증가시킬 수 있다. 이는, 포커스 모터(11')를 다양한 방향들에서 구동시키고자 시도하지 않고 정확한 방향에서만 직접 구동시킴으로써, 포커스 모터(11')의 이용을 줄이고, 그에 따라 포커스 모터(11')의 수명을 증가시킬 수 있기 때문이다.

이후, 도 5c에 도시된 단계들이 반복된다. 제 5 이미지(55) 등이 이미지 센서(14')에 의해 포착된다.

본 실시예에 따르면, 모든 홀수 번호 이미지들(51, 53, 55)이 비디오 이미지 스트림으로서 표시, 기록 또는 전송되는 한편, 짝수 번호 이미지들(52, 54, 56)은 비교 및 테스팅을 위해서만 이용된다.

비디오 이미지 스트림 내의 이미지들의 모든 포착 사이에서 리포커스가 언제 개시되어야 하는지, 그리고 리포커스가 개시되어야 하는 지의 여부를 결정하기 위해 테스트를 반복할 필요가 없음이 이해된다. 예를 들어, 비디오 이미지 스트림 내의 매 10번째 이미지 이후 테스트가 이루어질 수 있다. 즉, 도 5a, 3a 및 5b, 3b에 나타낸 실시예들에 따르면, 테스트는 비디오 이미지 스트림 내의 이미지들의 이미지 10과 이미지 11 사이에서, 비디오 이미지 스트림 내의 이미지들의 이미지 20과 이미지 21 사이 등에서 수행되며, 그리고 도 5c, 3c에 나타낸 실시예에 따르면, 테스트는 비디오 이미지 스트림 내의 이미지들의 이미지 10-12 사이에서, 비디오 이미지 스트림 내의 이미지들의 20-22 사이 등에서 수행된다.

관심 영역으로부터의 정보에 기초한 리포커스 개시

본 발명의 일 양상의 일 실시예에 따르면, 리포커스 개시는 이미지의 일부로부터의 정보에 기초하는 바, 이러한 이미지의 일부는 이미지 내의 특별한 관심 영역이다. 이러한 특별한 관심 영역은, 예를 들어 특별한 관심 물체, 예를 들어 디지털 카메라(5, 5')의 시야에 들어오는 사람을 포함할 수 있다. 특별한 관심 물체는, 예를 들어 이미지 내의 관심있는 물체들을 찾도록 된 이미지 분석 프로세스에 의해 발견될 수 있다. 이미지 분석 프로세스들의 예들로는 움직임 검출, 얼굴 인식 또는 번호판 인식이 될 수 있다.

특별한 관심 물체가 이미지 내에서 발견되면, 리포커스 개시가 언제 시작될 지를 이후 테스트하는 것은 이러한 특별한 관심 물체가 포커스가 맞는 지의 여부에 기초할 수 있다. 즉, 포커스가 맞는지 또는 맞지 않는 지의 분석은 이미지 센서(14, 14')에 의해 포착되는 이미지들을 나타내는 이미지 데이터의 (관심 영역에 해당하는) 서브섹션 상에서 수행될 수 있다. 이후 특별한 관심 물체가 더 이상 존재하지 않는 것으로 발견되면, 포커스가 맞는지 또는 맞지 않는 지의 테스트는 전체 이미지를 이용하여 수행될 수 있다.

정상 위치와 테스트 위치 사이에서 이미지 센서(14)를 이동시키도록 구성되는 디지털 비디오 카메라(5)의 실시예와 정상 위치와 테스트 위치 사이에서 렌즈(12')를 이동시키도록 구성되는 디지털 비디오 카메라(5')의 실시예 모두 본 실시예에 따라 이용될 수 있음이 이해된다. 또한, 당업자라면, 디지털 비디오 카메라(5)의 이미지 센서(14) 또는 디지털 비디오 카메라(5')의 렌즈(12')는 제 1, 2 테스트 위치들중 하나 또는 둘 모두로 이동될 수 있으며, 상기 개시한 것을 비교할 수 있다는 것을 이해할 것이다.

도 6은 이미지의 일부로부터의 정보에 기초한 리포커스 개시의 실시예를 도시하는 바, 이미지의 일부는 이미지 내의 특별한 관심 영역이다. 제 1 이미지를 나타내는 이미지 데이터가 디지털 카메라(5, 5') 내의 이미지 센서(14, 14')에 의해 포착된다(600). 제 1 이미지를 나타내는 이미지 데이터는 이미지 처리 수단(16, 16')에 전송된다. 예를 들어, 제 1 이미지의 이미지 데이터 표현 내에서 관심있는 물체 또는 영역을 식별하기 위해 포착된 이미지에 대해 이미지 분석을 수행함으로써, 관심 영역이 결정된다(602). 제 1 이미지 내의 관심 영역에 대한 선명도 값이 이미지 처리 수단(16, 16')에 의해 결정된다(602). 제 1 이미지 내의 관심 영역의 선명도 값은 메모리(17, 17')에 저장된다. 제 1 이미지는 표시, 기록 또는 전송을 위해 I/O 포트(18, 18')에 전송된다(604). 이미지 센서/렌즈(14/12')는 테스트 위치로 이동된다(606). 이미지 센서/렌즈(14/12')가 테스트 위치로 이동한 후 또는 이동하는 동안, 제 2 이미지를 나타내는 이미지 데이터가 디지털 카메라(5, 5') 내의 이미지 센서(14, 14')에 의해 포착된다(608). 포착되는 제 2 이미지 내의 관심 영역의 선명도 값이 이미지 처리 수단(16, 16')에 의해 결정된다(610). 이러한 선명도 값은 메모리(17, 17')에 저장된다. 일반적으로, 제 2 이미지는 I/O 포트(18, 18')에 대해 표시, 기록 또는 전송되지 않는다.

제 1 이미지 내의 관심 영역의 선명도 값은 제 2 이미지 내의 관심 영역의 선명도 값과 비교되어, 제 1 이미지 내의 관심 영역이 포커스가 맞는지, 아니면 포커스가 맞지 않는 지를 결정한다. 제 1 이미지 내의 관심 영역의 선명도 값은, 제 2 이미지 내의 관심 영역으로부터의 선명도 값과 비교되기 전에, 메모리(17, 17')로부터 검색될 수 있다. 선명도 값들의 비교 이후 또는 비교 동안, 이미지 센서/렌즈(14/12')는 정상 위치로 다시 이동할 수 있다(612).

제 2 이미지 내의 관심 영역이 제 1 이미지 내의 관심 영역과 비교하여 덜 선명한 것으로 결정되면, 제 1 이미지는 포커스가 맞는 것으로 결정된다. 하지만, 제 2 이미지 내의 관심 영역이 더 선명한 것으로 결정되면, 제 1 이미지는 포커스가 맞지 않는 것으로 결정된다.

제 1 이미지가 포커스가 맞지 않는 것으로 결정되는 때의 경우, 이미지 처리 수단(16, 16')은 제어기(15, 15')에 신호를 전송하며, 제어기(15, 15')는 렌즈(12, 12')를 이동시켜 리포커스를 시작하기 위해 포커스 모터(11, 11')를 시동시키고, 예를 들어 상기에 따른 힐 크라이밍 방법들을 시동시켜 렌즈(12, 12')의 포커스 위치를 찾음으로써, 리포커스를 개시한다(616).

당업자라면 본 발명이 상기 설명한 양상들 및 실시예들로 결코 제한되지 않는다는 것을 이해할 것이다. 예를 들어, 이미지 센서는 2개의 이미지들을 포착하는 것 사이에서 광축으로부터 평면에서 90도 수직으로 이동될 수 있다. 세이킹(shaking)을 줄이기 위해, 제 2 서브세트를 이용하여 이미지가 이동했는 지를 체크하고, 제 1 서브세트에 속하는 다음 이미지가 포착되기 전에 추가의 움직임을 수직으로 보상하거나 또는 예상한다. 2개의 이미지들을 포착하는 것 사이에서 이미지 센서를 광축으로부터 평면에서 90도 수직으로 이동시키는 다른 응용은, 2개의 비디오 이미지 프레임들을 포착하는 것의 사이 동안, 이미지 센서 표면으로부터 먼지를 제거하고자 하는 목적으로 이미지 센서를 이동시키는 것이다. 또한, 비네팅에 대한 문제, 즉 렌즈의 주변에 가까울수록 렌즈의 광 감도가 떨어진다는 사실은 수직 정렬에 의해 개선될 수 있다. 제 2 서브세트의 이미지 분석을 통해, 센서의 각 코너에서 동일한 양의 "결함들"을 보증함으로써, 센서(14, 14')의 최적의 수직 위치를 찾을 수 있다.

다른 예에 따르면, 2개의 이미지들을 포착하는 것 사이에서 이미지 센서의 (변경된) 경사(tilt)를 야기하는 움직임이 수행될 수 있다. 이는, "펜스 모니터링(fence monitoring)"의 응용에 특히 유용하다. 경사가 약간 증가 또는 감소하게 되면, 최초 경사가 여전히 적절한 지를 결정할 수 있다. 만일 포커스 조정이 필요하면, 리포커스 프로세스가 최초 경사에 의해 시작되며, 그 결과에 의해, 개선된 경사를 찾을 수 있다. 대안적으로, "모니터되는 펜스"가 이동했거나 사라졌으면, 센서를 수직(straight)으로 하면서 리포커스 프로세스가 재시작될 수 있으며, 결과에 기초하여 최상의 경사를 계산한다. 이는, 시야가 변할 수 있는 팬/틸트 카메라(Pan/Tilt camera)에서 그러하다. 센서의 경사 변경은 이미지 내에서의 시각(perspective)을 변경시킬 것이다. 센서의 경사는 센서가 어떻게 경사되었는 지에 의존하여 이미지의 일부들의 확대를 야기할 것이다. 응용은 "펜스 모니터링"이 될 수 있는 바, 여기서 센서는 수평 방향으로 경사지거나, 또는 센서는 수직 방향으로 경사짐으로써, 이를 테면 고층 빌딩의 시야를 똑바르게 하여, 그 측면들이 수직으로 똑바로 서게 된다.

또 다른 예에 따르면, 이미지 분석을 수행하여, 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림 내의 관심있는 물체를 찾는 경우, 찾는 물체에 따라 노출 또는 게인과 같은 이미지 파라미터에 있어서의 변경인 다른 카메라 설정들에 의해 제 2 서브세트가 포착될 수 있다. 이를 테면, 더 낮은 게인은 포커스 분석에 있어서 더 적은 노이즈 및 더 나은 결과를 가져온다. 만일 물체가 과도하게(over) 노출된다면, 유효한 포커스 분석에 대해 너무 적은 고주파수 데이터가 있을 수 있다. 변경된 노출 시간에 의해, 포커스 분석이 개선될 수 있다. 즉, 제 2 서브세트에 대한 이미지 센서(14) 또는 렌즈(12')의 이동과 함께, 변경된 이미지 파라미터들이 툴로서 이용됨으로써, 리포커스 프로세스를 언제 재시작할 지를 더 잘 결정할 수 있다.

또 다른 예에 따르면, 일부 응용들에서는, 디지털 비디오 카메라에 의해 포착되는 비디오 이미지 스트림의 이미지들 내에서, 큰 심도(depth of field)를 갖는 것으로부터, 즉 포커스가 맞는 하나 보다 많은 물체를 동시에 가짐으로써, 이득을 얻을 것이다. 본 발명에 따르면, 이미지들의 제 1 서브세트와 이미지들의 제 2 서브세트를 포착하는 것 사이에서 변경되는 카메라 설정은 포커스이다. 이미지들의 제 1 서브세트의 이미지는 이미지들의 제 2 서브세트로부터의 이미지와 결합되어, 더 나은 심도를 갖는 비디오 이미지 스트림 내의 프레임을 생성할 수 있다. 비록 실제로는 이미지 내의 다양한 물체들 사이에서 큰 거리가 있기는 하지만, 결과적인 이미지는 포커스가 맞는 다양한 부분들을 가지며 더 나은 심도를 갖는 이미지이다.

또한, 상기 설명된 실시예들은 결합될 수 있다는 것을 이해할 것이다. 따라서, 첨부된 청구범위의 범주 내에서 많은 수정들 및 변형들이 가능하다.

5: 디지털 비디오 카메라
11: 포커스 모터
12: 포커싱 렌즈
13: 액츄에이터
14: 이미지 센서
15: 제어기
16: 이미지 처리 수단
17: 메모리
18: I/O 포트
20: 네트워크

Claims

디지털 비디오 카메라(5, 5')에 의해 포착되는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법으로서,
상기 디지털 비디오 카메라(5, 5')에 의해 이미지들의 제 1 서브세트를 포착하는 단계와;
상기 이미지들의 제 1 서브세트의 이미지들을 상기 비디오 이미지 스트림으로서 출력하는 단계와;
상기 디지털 비디오 카메라(5, 5')의 이미지 센서(14, 14') 및/또는 렌즈(12, 12')를 각각의 정상(normal) 위치로부터 각각의 테스트 위치로 이동시키는 단계와, 여기서 상기 테스트 위치는 상기 정상 위치와 다르며;
상기 디지털 비디오 카메라(5, 5')의 상기 이미지 센서(14, 14') 및/또는 상기 렌즈(12, 12')가 상기 테스트 위치에 있는 동안, 이미지들의 제 2 서브세트를 포착하는 단계와;
상기 디지털 카메라(5, 5')를 이용하여 이미지들의 제 2 서브세트를 포착하는 단계와, 여기서 상기 이미지들의 제 2 서브세트를 포착하는 단계는 상기 이미지들의 제 1 서브세트를 포착하는 단계와 인터스퍼싱(interspersing)되며;
선명도(sharpness)를 분석함으로써, 상기 이미지들의 제 1 서브세트의 이미지와 상기 이미지들의 제 2 서브세트의 이미지를 비교하는 단계와;
상기 비교에 기초하여, 상기 이미지들의 제 2 서브세트의 이미지가 상기 이미지들의 제 1 서브세트의 이미지와 비교하여 개선된 이미지 품질을 나타내는 지를 결정하는 단계와; 그리고
상기 이미지들의 제 2 서브세트의 이미지가 상기 이미지들의 제 1 서브세트의 이미지와 비교하여 개선된 이미지 품질을 나타내는 경우, 상기 디지털 비디오 카메라(5, 5') 상에서 리포커스(refocus) 동작을 개시하는 단계를 포함하는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항에 있어서,
상기 이미지들의 제 2 서브세트를 포착하는 단계는, 소정의 레이트로, 상기 이미지들의 제 1 서브세트를 포착하는 단계와 인터스퍼싱되는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항에 있어서,
상기 이미지들의 제 2 서브세트를 포착하는 단계는, 가용 대역폭 및/또는 시스템 부하에 의존하는 동적 레이트로, 상기 이미지들의 제 1 서브세트를 포착하는 단계와 인터스퍼싱되는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항 내지 제 3 항 중의 어느 한 항에 있어서,
상기 이미지들의 제 1 서브세트의 이미지들을 상기 비디오 이미지 스트림으로서 출력하는 단계는 소정의 프레임 레이트로 이루어지는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항에 있어서,
이미지의 선명도는 공간적인 고주파수 분석(spatial high frequency analysis)을 이용하여 결정되는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항 내지 제 5 항 중의 어느 한 항에 있어서,
상기 제 1 서브세트의 이미지를 포착하기 전에, 상기 이미지 센서(14, 14') 및/또는 상기 렌즈(12, 12')를 각각의 정상 위치로 이동시키는 단계를 더 포함하는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항 내지 제 6 항 중의 어느 한 항에 있어서,
상기 디지털 비디오 카메라(5, 5')의 상기 이미지 센서(14, 14')를 상기 정상 위치로부터 상기 테스트 위치로 이동시키는 단계는,
상기 이미지 센서를 상기 디지털 비디오 카메라(5, 5')의 광학 입력을 향하는 제 1 테스트 위치로 이동시키는 단계와; 그리고
상기 이미지 센서(14, 14')를 상기 디지털 비디오 카메라(5, 5')의 광학 입력으로부터 멀리 제 2 테스트 위치로 이동시키는 단계를 더 포함하는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항 내지 제 7 항 중의 어느 한 항에 있어서,
상기 디지털 비디오 카메라(5, 5')의 상기 렌즈(12, 12')를 상기 정상 위치로부터 상기 테스트 위치로 이동시키는 단계는,
상기 렌즈(12, 12')를 상기 디지털 비디오 카메라(5, 5')의 광학 입력을 향하는 제 1 테스트 위치로 이동시키는 단계와; 그리고
상기 렌즈(12, 12')를 상기 디지털 비디오 카메라(5, 5')의 광학 입력으로부터 멀리 제 2 테스트 위치로 이동시키는 단계를 더 포함하는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
제 1 항 내지 제 8 항 중의 어느 한 항에 있어서,
상기 이미지들의 제 1 서브세트의 이미지 내의 특별한 관심 영역을 식별하는 단계를 더 포함하며, 그리고
상기 이미지들의 제 1 서브세트의 이미지와 상기 이미지들의 제 2 서브세트의 이미지를 비교하는 단계는, 상기 이미지들의 제 1 서브세트의 이미지의 특별한 관심 영역을 포함하는 서브섹션(subsection)을 상기 이미지들의 제 1 서브세트의 이미지의 관심 영역에 해당하는 상기 이미지들의 제 2 서브세트의 이미지의 서브섹션과 비교함으로써 수행되는 것을 특징으로 하는 비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하는 방법.
비디오 이미지 스트림 내의 이미지들의 이미지 품질을 개선하기 위한 디지털 비디오 카메라(5, 5')로서,
이미지 데이터를 포착하도록 된 이미지 센서(14, 14')와;
상기 이미지 센서(14, 14')에 의해 포착되는 상기 이미지 데이터를 이미지들로 처리하고, 상기 이미지들을 상기 비디오 이미지 스트림으로서 출력하도록 된 이미지 처리 수단(16, 16')과; 그리고
상기 이미지 센서(14, 14') 및/또는 렌즈(12, 12')를 각각의 정상 위치로부터 각각의 테스트 위치로 이동시키도록 된 이동 수단을 포함하며, 상기 테스트 위치는 상기 정상 위치와 다르며;
상기 이미지 처리 수단(16, 16')은 또한, 선명도를 분석함으로써, 상기 이미지 센서(14, 14') 및/또는 상기 렌즈(12, 12')가 각각의 정상 위치에 있을 때에 포착되는 이미지 데이터로부터 처리되는 제 1 이미지의 이미지 품질과 상기 이미지 센서(14, 14') 및/또는 상기 렌즈(12, 12')가 각각의 테스트 위치에 있을 때에 포착되는 이미지 데이터로부터 처리되는 제 2 이미지를 비교하고;
상기 이미지 처리 수단(16, 16')은 또한, 상기 비교에 기초하여, 상기 제 2 이미지가 상기 제 1 이미지와 비교하여 개선된 이미지 품질을 나타내는 지의 여부를 결정하며; 그리고
상기 이미지 처리 수단(16, 16')은 또한, 상기 제 2 이미지가 상기 제 1 이미지와 비교하여 개선된 이미지 품질을 나타내는 경우, 상기 디지털 비디오 카메라(5, 5')에 대해 리포커스 동작을 개시하는 것을 특징으로 하는 디지털 비디오 카메라.
제 10 항에 있어서,
상기 이미지 처리 수단은 공간적인 고주파수 분석을 이용하여 이미지의 선명도를 결정하는 것을 특징으로 하는 디지털 비디오 카메라.
제 10 항 또는 제 11 항에 있어서,
상기 이동 수단은 또한 상기 이미지 센서(14, 14') 및/또는 렌즈(12, 12')를 상기 각각의 테스트 위치로부터 상기 각각의 정상 위치로 다시 이동시키는 것을 특징으로 하는 디지털 비디오 카메라.