KR20210055849A - 전자 장치 및 그 제어 방법 - Google Patents

Abstract

입사광을 광전 변환하여 검출 신호를 생성하는 카메라; 및 상기 카메라의 동작을 제어하고, 상기 검출 신호를 처리하는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는, 상기 검출 신호로부터 복수의 입력 영상을 생성하고, 상기 복수의 입력 영상 각각의 밝기에 관련된 정보에 기초하여, 상기 카메라에 적용되는 제1 파라미터를 결정하고, 상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처(feature)를 검출하고, 상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하고, 상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 제1 파라미터를 조절하는, 전자 장치가 제공된다.

Description

전자 장치 및 그 제어 방법 {Electronic device and method for controlling the same}

본 개시의 실시예들은 전자 장치, 전자 장치 제어 방법, 및 전자 장치 제어 방법을 실행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체에 관한 것이다.

카메라를 구비하는 전자 장치는, 카메라의 이미지 센서로부터 검출된 신호로부터 입력 영상을 생성하고 처리한다. 이미지 센서의 검출 신호는 촬영 환경에 따라 그 세기 및 특성이 달라진다. 예를 들면, 영상의 촬영은 태양광, 실내, 저조도 조건 등 다양한 환경 조건 하에서 수행될 수 있으며, 촬영 환경에 따라 카메라의 노출을 보정하는 자동 노출(AE, auto exposure) 처리가 수행된다. 카메라의 노출 제어가 적절하지 않은 경우, 촬영 영상이 과포화되거나, 낮은 밝기 값으로 인해 영상의 대상체가 구별되지 않는 등의 문제가 발생될 수 있다.

본 개시의 실시예들은, 촬영된 입력 영상에 기초하여 카메라의 노출 파라미터를 조절하여, 카메라의 노출 제어 성능을 향상시키기 위한 것이다.

본 개시의 일 실시예의 일 측면에 따르면, 입사광을 광전 변환하여 검출 신호를 생성하는 카메라; 및 상기 카메라의 동작을 제어하고, 상기 검출 신호를 처리하는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는, 상기 검출 신호로부터 복수의 입력 영상을 생성하고, 상기 복수의 입력 영상 각각의 밝기에 관련된 정보에 기초하여, 상기 카메라에 적용되는 제1 파라미터를 결정하고, 상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처(feature)를 검출하고, 상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하고, 상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 제1 파라미터를 조절하는, 전자 장치가 제공된다.

본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 입력 영상 각각으로부터 텍스처(texture) 정보를 생성하고, 상기 텍스처 정보에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하고, 상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 텍스처 정보에 기초하여 상기 제1 파라미터를 조절할 수 있다.

본 개시의 일 실시예에 따르면, 상기 텍스처 정보는 텍스처의 사이즈를 포함하고, 상기 하나 이상의 프로세서는, 상기 복수의 입력 영상 각각에서 2차원 자기 상관(2D autocorrelation)을 이용하여 상기 텍스처의 사이즈를 산출할 수 있다.

본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 입력 영상 각각의 밝기에 관련된 정보에 기초하여, 상기 복수의 입력 영상 각각을 생성할 때 적용되는 다이나믹 레인지(dynamic range)를 결정하고, 상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 다이나믹 레인지의 갱신 여부를 결정하고, 상기 다이나믹 레인지를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 다이나믹 레인지를 조절할 수 있다.

본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처를 검출하여, 상기 적어도 하나의 피처의 개수를 산출하고, 미리 저장된 밝기에 관련된 정보와 피처 수의 관계에 기초하여, 상기 제1 파라미터를 조절할 수 있다.

본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 입력 영상 각각의 밝기 값의 제1 히스토그램을 산출하고, 상기 제1 히스토그램에 기초하여 상기 제1 파라미터를 결정하고, 상기 제1 히스토그램에 기초하여, 상기 검출 신호로부터 해당 입력 영상을 생성할 때 적용되는 다이나믹 레인지를 결정할 수 있다.

본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 제1 히스토그램으로부터 상기 입력 영상의 최대 밝기 값 및 최소 밝기 값을 결정하고, 상기 최대 밝기 값 및 상기 최소 밝기 값에 기초하여, 상기 다이나믹 레인지를 결정할 수 있다.

본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 제1 히스토그램에 기초하여, 입력 영상의 밝기 값의 적어도 하나의 구간을 정의하고, 상기 밝기 값의 적어도 하나의 구간 각각에 대해 상기 다이나믹 레인지를 결정할 수 있다.

본 개시의 일 실시예에 따르면, 상기 하나 이상의 프로세서는, 상기 복수의 입력 영상 각각에서 검출된 텍스처, 장면(scene) 변화, 밝기 값의 변화, 또는 상기 전자 장치의 움직임 정보 중 적어도 하나 또는 이들의 조합에 기초하여 상기 제1 파라미터의 갱신 여부를 결정할 수 있다.

본 개시의 일 실시예에 따르면, 상기 제1 파라미터는, 상기 카메라의 이미지 센서의 출력 신호의 증폭에 이용되는 게인 값일 수 있다.

본 개시의 일 실시예의 다른 측면에 따르면, 카메라의 검출 신호로부터 복수의 입력 영상을 생성하는 단계; 상기 복수의 입력 영상 각각의 밝기에 관련된 정보에 기초하여, 상기 카메라에 적용되는 제1 파라미터를 결정하는 단계; 상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처(feature)를 검출하는 단계; 상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하는 단계; 및 상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 제1 파라미터를 조절하는 단계를 포함하는, 전자 장치 제어 방법이 제공된다.

본 개시의 일 실시예의 또 다른 측면에 따르면, 전자 장치 제어 방법을 수행하는 컴퓨터 프로그램 인스트럭션을 포함하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체가 제공된다.

본 개시의 실시예들에 따르면, 촬영된 입력 영상에 기초하여 카메라의 노출 파라미터를 조절하여, 카메라의 노출 제어 성능을 향상시킬 수 있는 효과가 있다.

도 1은 본 개시의 일 실시예에 따른 전자 장치의 구조를 도시한 블록도이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치 제어 방법의 동작을 나타낸 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 카메라와 프로세서의 구조를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따른 프로세서의 동작을 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따라 복수의 프레임들 각각으로부터 추출되는 정보의 일례를 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따라 복수의 프레임들 각각으로부터 추출되는 정보의 일례를 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따라 피처 검출 및 텍스처 검출을 수행하는 과정을 설명하는 도면이다.
도 8은 본 개시의 일 실시예에 따라 텍스처 사이즈를 산출하는 과정을 나타낸 도면이다.
도 9는 본 개시의 일 실시예에 따라 프레임 시퀀스로부터 노출 관련 파라미터를 보정하는 과정을 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따른 감마 커브를 나타낸 도면이다.
도 11은 본 개시의 일 실시예에 따른 입력 영상의 히스토그램을 도시한 도면이다.
도 12는 본 개시의 일 실시예에 따른 피처 수와 평균 밝기 사이의 관계를 나타낸 도면이다.
도 13은 본 개시의 일 실시예에 따른 노출 제어 스텝 결정 과정을 나타낸 도면이다.
도 14는 본 개시의 일 실시예에 따른 결과 영상과 비교예를 나타낸 도면이다.
도 15는 본 개시의 일 실시예에 따른 전자 장치의 구성을 나타낸 도면이다.

본 명세서는 청구항의 권리범위를 명확히 하고, 본 개시의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자가 청구항에 기재된 실시예를 실시할 수 있도록, 실시예들의 원리를 설명하고 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시예들이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 "모듈" 또는 "부"(unit)라는 용어는 소프트웨어, 하드웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합으로 구현될 수 있으며, 실시예들에 따라 복수의 "모듈" 또는 "부"가 하나의 요소(element)로 구현되거나, 하나의 "모듈" 또는 "부"가 복수의 요소들을 포함하는 것도 가능하다.

실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

본 개시에서 프로세서(120, 120a, 및 120b) 내의 블록들 및 각종 처리 블록들은 적어도 하나의 소프트웨어 처리 블록 또는 적어도 하나의 전용 하드웨어 프로세서, 및 이들의 조합에 대응될 수 있다. 본 개시에서 프로세서(120, 120a, 및 120b) 내에 정의한 블록들은 본 개시의 실시예들을 수행하기 위한 소프트웨어 처리 단위의 일례일 뿐이고, 본 개시에서 개시된 처리 단위 이외에도 다양한 방식으로 본 개시의 실시예들을 수행하는 처리 단위가 정의될 수 있다.

이하 첨부된 도면들을 참고하여 본 개시의 실시예들의 작용 원리 및 다양한 실시예들에 대해 설명한다.

또한, 본 명세서에서, '영상(image)'은 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오에 대응될 수 있다.

도 1은 본 개시의 일 실시예에 따른 전자 장치의 구조를 도시한 블록도이다.

본 개시의 일 실시예에 따른 전자 장치(100)는 다양한 종류의 전자 장치로 구현될 수 있다. 전자 장치(100)는 예를 들면, 스마트폰, 태블릿 PC, 랩톱 PC, 헤드 마운트 디스플레이, 웨어러블 장치, 카메라, 텔레비전, 게임용 장치, 또는 CCTV(closed-circuit television)용 카메라 등의 형태로 구현될 수 있다. 전자 장치(100)는 내장된 카메라를 구비하여 촬영 기능을 갖는 전자 장치이거나, 탈착식 카메라 또는 외장 카메라로부터 촬영 신호를 수신하여 촬영 신호로부터 촬영된 입력 영상을 생성하는 전자 장치일 수 있다.

전자 장치(100)는 카메라(110) 및 프로세서(120)를 포함할 수 있다.

카메라(110)는 입사광을 광전 변환하여 검출 신호를 생성한다. 카메라(110)는 입사광을 광전 변환하는 이미지 센서를 구비하고, 이미지 센서에서 생성된 검출 신호에 소정의 처리를 수행한 후, 프로세서(120)로 출력한다. 일례로, 카메라(110)는 아날로그 신호 형태로 이미지 센서의 검출 신호를 프로세서(120)로 출력하고, 프로세서(120)는 별도의 아날로그-디지털 변환 처리를 거쳐 디지털 신호 형태의 검출 신호를 획득할 수 있다. 다른 예로서, 아날로그-디지털 변환을 거친 디지털 신호 형태로 이미지 센서의 검출 신호를 프로세서(120)로 출력할 수 있다.

카메라(110)는 소정의 프레임 레이트 단위로 누적된 검출 신호를 생성하여 프로세서(120)로 출력할 수 있다. 이미지 센서는 연속적으로 생성되는 검출 신호를 프레임 레이트 단위로 누적하여 출력하고, 카메라(110)는 프레임 레이트 단위로 누적된 검출 신호를 프로세서(120)로 출력한다. 프레임 레이트는 예를 들면, 60프레임/초, 120프레임/초 등으로 정의될 수 있다. 프레임 레이트는 노출 시간에 의해 정의될 수 있다. 예를 들면, 노출 시간은 1초인 경우, 프레임 레이트는 60프레임/초로 정의될 수 있다. 노출 시간은 검출 신호를 누적시키는 시간을 나타낸다. 노출 시간은 사용자 입력에 의해 임의로 결정되거나 전자 장치(100)의 자동 노출 제어 기능에 의해 결정될 수 있다.

이미지 센서는 하나 이상의 색 성분에 각각 대응하는 검출 신호를 생성할 수 있다. 예를 들면, 이미지 센서는 레드(red), 그린(green), 및 블루(blue)에 대응하는 검출 신호를 각각 생성할 수 있다. 이미지 센서에서 생성되는 검출 신호의 색 성분은 이미지 센서에 포함된 컬러 필터 및 검출 신호 전달 패스에 의해 결정된다. 카메라(110)는 각 색 성분에 대응하는 복수의 신호 채널을 구비할 수 있다. 프로세서(120)는 하나의 프레임에 대해, 각 색 성분에 대응하는 검출 신호를 입력 받을 수 있다.

카메라(110)는 다양한 형태의 촬영 기능을 갖는 촬영부로 구현될 수 있다. 카메라(110)는 전자 장치(100)에 내장되거나, 탈착식으로 구현될 수 있다. 또한, 전자 장치(100)는 하나 이상의 카메라(110)를 포함할 수 있다. 예를 들면, 전자 장치(100)는 듀얼 카메라, 또는 트리플 카메라 등의 형태로 카메라를 구비할 수 있다. 카메라(110)는 3D 촬영을 위한 복수의 광학계를 가질 수 있다. 또한, 전자 장치(110)는 장치의 다른 면에 각각 카메라(110)를 구비할 수 있다. 예를 들면, 전자 장치(110)는 장치의 전면에 배치되는 전면 카메라와, 장치의 후면에 배치되는 후면 카메라를 구비할 수 있다. 장치의 전면은 전자 장치(100)의 디스플레이(미도시)가 배치되는 면으로 정의될 수 있다.

일 실시예에 따르면, 카메라(110)는 렌즈, 셔터, 조리개, 이미지 센서, 신호 증폭기, 및 아날로그-디지털 컨버터를 포함할 수 있다. 또한, 일 실시예에 따르면, 카메라(110)는 디지털 신호를 처리하는 프로세서를 추가로 포함할 수 있다. 카메라(110)는 프로세서(120)로부터 입력된 제어 신호에 기초하여, 카메라(110) 내의 컴퍼넌트를 제어하는 구동 회로를 포함할 수 있다. 예를 들면, 카메라(110)는 렌즈 구동 회로, 셔터 구동 회로, 또는 신호 증폭기 구동 회로 등을 포함할 수 있다. 이러한 하나 이상의 구동 회로는 별개로 구성되거나 통합되어 구성될 수 있으며, 다양한 조합의 구동 회로가 카메라(110)에 포함될 수 있다.

프로세서(120)는 전자 장치(100) 전반의 동작을 제어한다. 프로세서(120)는 하나 이상의 프로세서(120)를 포함할 수 있다. 프로세서(120)는 메모리(미도시)에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다.

프로세서(120)는 카메라(110)로부터 입력된 검출 신호로부터 입력 영상을 생성한다. 프로세서(120)는 검출 호를 입력 영상의 밝기 값에 맵핑(mapping)하여, 검출 신호에 대응하는 입력 영상을 생성한다. 검출 신호에 대한 영상의 밝기 값 맵핑을 위해, 감마 커브가 이용될 수 있다. 감마 커브는 검출 신호의 세기에 대응하는 영상의 밝기 값을 정의한다. 감마 커브에 대해 다이나믹 레인지가 정의될 수 있다. 다이나믹 레인지는 출력되는 최대 값과 최소 값 사이의 비율을 의미한다. 다이나믹 레인지는 감마 커브 전체에 대해 정의되거나, 감마 커브의 구간 별로 정의될 수 있다. 다이나믹 레인지가 클수록 소정의 검출 신호 범위에 대해 더 많은 단계의 입력 영상의 밝기 값이 맵핑되고, 다이나믹 레인지가 작을수록 소정의 검출 신호 범위에 대해, 더 적은 단계의 입력 영상의 밝기 값이 맵핑된다.

일 실시예에 따르면, 맵핑 처리가 카메라(110)에 수행되고, 프로세서(120)는 카메라(110)로부터 입력 영상의 밝기 값을 수신할 수 있다. 이러한 경우, 카메라(110)는 검출 신호에 대해 맵핑 처리를 수행하는 프로세서를 구비하고, 설정된 감마 커브에 기초하여 입력 영상의 밝기 값을 생성할 수 있다.

일 실시예에 따르면, 감마 커브는 복수의 색 성분에 대해 각각 정의될 수 있다. 예를 들면, R(red) 감마 커브, G(green) 감마 커브, 및 B(blue) 감마 커브가 각각 정의될 수 있다.

다른 실시예에 따르면, 카메라(110)로부터 입력된 검출 신호는 YCbCr의 형태로 신호가 변환되고, 감마 커브는 Y값(밝기 값)에 대해 적용될 수 있다.

또한, 프로세서(120)는 카메라(110)를 제어하고, 카메라(110)에 적용되는 파라미터 값을 결정하여 카메라(110)로 출력할 수 있다. 프로세서(120)는 셔터 릴리즈 신호, 파라미터 설정 신호 등의 제어 신호를 생성하여 카메라(110)로 출력한다. 카메라(110)로 출력되는 제어 신호는 사용자 입력에 기초하여 결정되거나, 프로세서(120)에서 수행되는 자동 초점(AF, auto focusing) 제어, 자동 노출(AE) 제어 등의 처리에 의해 자동으로 결정될 수 있다. 프로세서(120)는 검출 신호로부터 생성된 입력 영상에 기초하여, AF 또는 AE 등의 처리를 수행하여, 카메라(110)를 제어할 수 있다.

일 실시예에 따르면, 프로세서(120)는 입력 영상에 기초하여 AE 처리를 수행하여, 카메라(110)의 노출에 관련된 파라미터의 값을 제어한다. 노출에 관련된 파라미터는 예를 들면, 셔터 스피드, 조리개 값, 노출 시간, EV값, 또는 게인 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

일 실시예에 따르면, 프로세서(120)는 입력 영상에 기초하여 다이나믹 레인지를 조절하여, 검출 신호로부터 입력 영상을 생성할 때 이용되는 감마 커브를 보정한다. 프로세서(120)는 입력 영상에 기초하여, 감마 커브의 소정의 영역에 높은 다이나믹 레인지를 할당하고, 다른 영역에 낮은 다이나믹 레인지를 할당할 수 있다.

일 실시예에 따르면, 프로세서(120)는 입력 영상의 밝기에 관련된 정보에 기초하여 AE 처리 또는 다이나믹 레인지 조절을 수행할 수 있다. 입력 영상의 밝기에 관련된 정보는 예를 들면, 입력 영상의 평균 밝기 값, 최소 밝기 값, 최대 밝기 값, 컨트라스트(contrast), 또는 밝기 값 히스토그램 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 입력 영상의 밝기에 관련된 정보는 매 프레임마다 산출될 수 있다.

일 실시예에 따르면, 프로세서(120)는 입력 영상으로부터 피처 또는 텍스처를 검출하고, 검출된 피처 또는 텍스처에 기초하여 카메라(110)의 AE 처리 또는 다이나믹 레인지 조절을 수행할 수 있다.

피처는 입력 영상의 특징에 관련된 정보를 의미하고, 예를 들면, 입력 영상에서 검출된 객체, 에지(edge), 또는 특징 점 등을 포함한다. 피처의 종류는 미리 정의될 수 있고, 프로세서(120)는 미리 정의된 피처를 검출하기 위한 알고리즘을 이용하여 입력 영상으로부터 피처를 검출할 수 있다. 피처는 예를 들면, 객체, 사람, 동물, 사물 등을 포함할 수 있다. 입력 영상에서 검출되는 피처의 종류는 시스템 설정, 시스템 모드, 장면 모드 등에 따라 선택될 수 있다. 예를 들면, 인물 모드에서는 검출되는 피처가 사람이고, 풍경 모드에서는 검출되는 피처가 풍경에 관련된 객체일 수 있다. 또한, 보안 시스템에 적용된 전자 장치의 경우, 사람 또는 움직이는 객체를 피처로서 검출할 수 있다. 게임 시스템에 적용된 전자 장치의 경우, 소정의 게임 도구, 또는 사람 등을 피처로서 검출할 수 있다. 피처는 개별 객체에 대응되는 특징 이외에 다양한 영상의 특징과 관련될 수 있다.

텍스처는 입력 영상에서 검출되는 소정의 질감, 패턴 또는 무늬를 의미한다. 텍스처는 반복적으로 나타나는 피처에 기초하여 검출될 수 있다. 예를 들면, 프로세서(120)는 반복적으로 검출되는 에지 또는 특징 점에 기초하여 텍스처를 검출할 수 있다. 프로세서(120)는 소정의 텍스처를 검출하기 위한 알고리즘을 이용하여 입력 영상으로부터 텍스처를 검출할 수 있다. 피처 또는 텍스처의 검출은, 매 프레임마다 수행될 수 있다.

일 실시예에 따르면, 프로세서(120)는 입력 영상으로부터 검출된 입력 영상의 밝기에 관련된 정보, 피처, 또는 텍스처 중 적어도 하나 또는 이들의 조합에 기초하여, 카메라(110)의 노출에 관련된 파라미터의 보정 여부 또는 다이나믹 레인지 조절 여부를 결정할 수 있다. 프로세서(120)는 매 프레임마다 입력 영상으로부터 입력 영상의 밝기에 관련된 정보, 피처, 또는 텍스처를 검출하고, 입력 영상에서 검출된 정보들에 기초하여 산출된 적정 노출 파라미터 또는 적정 다이나믹 레인지가 기존에 설정된 값으로부터 소정의 범위 내에 있는 경우, 노출 파라미터 또는 다이나믹 레인지의 조절을 수행하지 않을 수 있다. 프로세서(120)는 입력 영상으로부터 검출된 정보에 기초하여, 노출 파라미터 또는 다이나믹 레인지의 조절 여부를 판단하고, 필요한 경우에만 조절을 수행함에 의해, 자동 조절 기능으로 인한 과도한 조절 및 시스템 부하를 감소시킬 수 있는 효과가 있다.

전자 장치(100)는 도 1에 도시된 카메라(110) 및 프로세서(120) 이외에도, 메모리, 디스플레이, 플래시 라이트, 입출력 인터페이스, 또는 통신부 등 다양한 구성 요소를 추가로 포함할 수 있다.

도 2는 본 개시의 일 실시예에 따른 전자 장치 제어 방법의 동작을 나타낸 흐름도이다.

본 개시의 전자 장치 제어 방법의 각 단계들은 프로세서를 구비하고, 카메라로부터 검출 신호를 수신하는 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 명세서는 본 개시의 실시예들에 따른 전자 장치(100)가 전자 장치 제어 방법을 수행하는 실시예를 중심으로 설명한다. 따라서 전자 장치(100)에 대해 설명된 실시예들은 전자 장치 제어 방법에 대한 실시예들에 적용 가능하고, 반대로 전자 장치 제어 방법에 대해 설명된 실시예들은 전자 장치(100)에 대한 실시예들에 적용 가능하다. 개시된 실시예들에 따른 전자 장치 제어 방법은 본 명세서에 개시된 전자 장치(100)에 의해 수행되는 것으로 그 실시예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.

전자 장치(100)는 카메라의 검출 신호로부터 복수의 입력 영상을 생성한다(S202). 복수의 입력 영상은 검출 신호로부터 순차적으로 생성되는 복수의 프레임들에 대응된다. 복수의 입력 영상은 소정의 프레임 레이트로 생성될 수 있다. 전자 장치(100)는 검출 신호에 대해 감마 커브를 적용하여 복수의 입력 영상을 생성할 수 있다.

다음으로 전자 장치(100)는 복수의 입력 영상 각각의 밝기 값에 기초하여, 카메라에 적용되는 제1 파라미터를 결정한다(S204). 전자 장치(100)는 복수의 입력 영상으로부터 입력 영상의 밝기에 관련된 정보를 생성한다. 일례로서, 입력 영상이 RGB 영상인 경우, 입력 영상의 밝기 값은 R 영상, G 영상, 및 B 영상 각각의 픽셀 값에 기초하여 결정될 수 있다. 다른 예로서 입력 영상이 YCbCr 영상인 경우, 입력 영상의 밝기 값은 각 픽셀의 Y값에 기초하여 결정될 수 있다. 입력 영상의 밝기에 관련된 정보는 예를 들면, 입력 영상의 평균 밝기 값, 최소 밝기 값, 최대 밝기 값, 컨트라스트(contrast), 또는 밝기 값 히스토그램 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 전자 장치(100)는 복수의 입력 영상 각각에 대해 입력 영상의 밝기에 관련된 정보를 생성한다. 전자 장치(100)는 입력 영상의 밝기에 관련된 정보에 기초하여 카메라의 노출에 관련된 제1 파라미터 값을 결정할 수 있다.

다음으로, 전자 장치(100)는 복수의 입력 영상 각각으로부터 적어도 하나의 피처를 검출한다(S206). 전자 장치(100)는 미리 정의된 피처를 소정의 알고리즘을 이용하여 검출할 수 있다.

전자 장치(100)는 적어도 하나의 피처의 검출 결과에 기초하여, 제1 파라미터 값의 갱신 여부를 결정한다(S210).

전자 장치(100)는 입력 영상으로부터 검출된 피처의 변화가 소정 조건을 충족하였을 때, 카메라의 제1 파라미터 값을 갱신할 수 있다(S212). 예를 들면, 전자 장치(100)는 입력 영상으로부터 검출된 피처의 개수의 변화, 또는 검출된 피처의 종류 변화 등이 검출된 경우, 제1 파라미터 값을 갱신할 수 있다. 전자 장치(100)는 피처 검출 결과에 기초하여 제1 파라미터 값을 갱신하는 경우, 검출된 적어도 하나의 피처에 관련된 정보에 기초하여 제1 파라미터 값을 갱신할 수 있다. 예를 들면, 전자 장치(100)는 입력 영상에서 검출된 피처에 대응하는 피처 영역의 밝기 값, 입력 영상의 밝기 값 대 피처 수의 히스토그램, 피처의 개수, 또는 피처의 종류 등에 기초하여 제1 파라미터 값을 결정할 수 있다.

만약 입력 영상에서 소정 조건을 만족하는 피처의 변화가 검출되지 않은 경우, 전자 장치(100)는 입력 영상의 밝기에 관련된 정보에 기초하여 결정된 제1 파라미터 값을 갱신하지 않을 수 있다. 이러한 경우, 전자 장치(100)의 제1 파라미터 값은 입력 영상의 밝기 값에 기초하여 결정된 값으로 유지된다.

도 3은 본 개시의 일 실시예에 따른 카메라와 프로세서의 구조를 나타낸 도면이다.

본 개시의 일 실시예에 따르면, 프로세서(120a)는 카메라(110a)에 적용되는 적어도 하나의 제1 파라미터 값을 결정하여, 카메라(110a)로 출력한다. 카메라(110a)는 프로세서(120a)로부터 입력된 제1 파라미터 값을 이용하여 카메라(110a)에 포함된 구성요소들의 동작을 제어한다.

프로세서(120a)는 영상 처리부(310) 및 카메라 제어부(320)를 포함할 수 있다. 일 실시예에 따르면, 영상 처리부(310)와 카메라 제어부(320)는 하드웨어적으로 분리된 별개의 프로세서에 대응될 수 있다. 다른 실시예에 따르면, 영상 처리부(310)와 카메라 제어부(320)는 하나의 프로세서 내에서 소프트웨어적으로 구현된 하나 이상의 소프트웨어 처리 블록에 대응될 수 있다.

영상 처리부(310)는 카메라(110a)로부터 입력된 검출 신호를 처리하여, 입력 영상을 생성한다. 영상 처리부(310)는 검출 신호에 대해, 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 처리부(310)는 화질 개선을 위한 영상 신호 처리를 하여 생성한 입력 영상을 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG-2, H.264 AVC(Advanced Video Coding), MPEG-4, HEVC(High Efficiency Video Coding), VC-1, VP8, VP9 및 AV1(AOMedia Video 1) 등의 영상 압축 방법에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다. 영상 처리부(310)는 영상 파일을 생성하여 메모리(360) 또는 소정의 비휘발성 저장매체에 저장할 수 있다.

영상 처리부(310)는 소정 개수의 입력 영상을 포함하는 영상 시퀀스를 메모리(360)에 저장할 수 있다. 영상 시퀀스는 RGB, YCbCr, JPEG 등 다양한 형식의 입력 영상을 포함할 수 있다. 영상 처리부(310)는 영상 시퀀스를 메모리(360)에 저장하여, 소정 개수의 입력 영상을 이용하여 AE, 다이나믹 레인지 조절 등의 처리를 수행할 수 있다. 영상 시퀀스에 포함되는 입력 영상의 개수는 미리 설정되거나, 전자 장치(100)에 의해 자동으로 조절될 수 있다. 일 실시예에 따르면, 영상 시퀀스에 포함되는 입력 영상의 개수는 프레임 레이트에 기초하여 프로세서(120a)에 의해 결정될 수 있다. 즉, 프로세서(120a)는 프레임 레이트가 높을수록, 영상 시퀀스에 포함되는 입력 영상의 개수를 증가시킬 수 있다.

카메라 제어부(320)는 메모리(360)에 저장된 입력 영상에 기초하여 AE 동작을 수행하고, 제1 파라미터 값을 결정할 수 있다. 제1 파라미터는 셔터 스피드 또는 게인 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 또한, 카메라 제어부(320)는 입력 영상에 기초하여 다이나믹 레인지를 결정할 수 있다. 카메라(110a) 내의 신호 처리부(352)에서 감마 보정 처리를 수행하는 경우 카메라(110a)로 출력되고, 영상 처리부(310)에서 감마 보정 처리를 수행하는 경우 영상 처리부(310)로 출력된다.

카메라(110a)는 렌즈(332), 셔터(336), 이미지 센서(340), 신호 증폭기(344), 아날로그-디지털 컨버터(348), 또는 신호 처리부(354) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 도 3에 도시된 카메라(110a)의 구성은 예시적인 것이며, 카메라(110a)에 포함되는 컴퍼넌트의 조합, 배치 순서 등은 실시예에 따라 다양하게 결정될 수 있다.

도 3에서는 카메라(110a) 내의 각 컴퍼넌트의 신호 출력 특성을 함께 도시하였다. 카메라(110a)로 입사된 광학신호는 렌즈(332) 및 셔터(336)를 통과하여 이미지 센서(340)의 수광면으로 입사된다. 렌즈(332) 및 셔터(336)는 광학 신호에 대한 크기 변환 없이 광학 신호를 전달한다(334, 338). 렌즈(332) 및 셔터(336)는 소정의 구동 회로에 의해 구동될 수 있다. 렌즈(332)는 복수의 렌즈를 포함하고, 카메라 제어부(320)의 AF 처리에 의해 결정된 렌즈 위치에 따라 복수의 렌즈 각각이 이동할 수 있다. 셔터(336)는 카메라 제어부(320)로부터 입력된 셔터 릴리즈 신호에 기초하여, 개방될 수 있다. 또한, AE 처리에 의해 결정된 셔터 스피드에 기초하여 셔터(336)의 개방 시간이 결정될 수 있다. 카메라 제어부(320)는 입력 영상의 밝기에 관련된 정보에 기초하여 셔터 스피드 값을 결정하여, 셔터(336)를 구동하는 구동 회로로 셔터 스피드 값을 출력할 수 있다.

이미지 센서(340)는 수광면으로 입사된 광학 신호를 광전 변환하여, 광학 신호의 세기에 대응하는 전기적인 검출 신호를 생성한다. 이미지 센서(340)는 소정의 신호 입출력 특성(342)을 가지며, 소정의 광학 신호 세기 이상에서는 검출 신호의 레벨이 포화될 수 있다.

이미지 센서(340)에 의해 생성된 검출 신호는 신호 증폭기(344)로 출력된다. 신호 증폭기(344)는 소정의 게인 값에 기초하여 검출 신호를 증폭한다. 게인 값은 카메라 제어부(320)의 AE 처리에 의해 결정될 수 있다. 예를 들면, 카메라 제어부(320)는 AE 처리를 통해, 입력 영상의 밝기 레벨이 낮아지면 게인 값을 증가시키고, 입력 영상의 밝기 레벨이 높아지면 게인 값을 감소시킬 수 있다. 카메라(110a)는 카메라 제어부(320)에서 결정된 게인 값을 입력 받고, 게인 제어부(346)는 입력된 게인 값을 이용하여 신호 증폭기(344)의 게인을 조절한다.

신호 증폭기(344)에 의해 증폭된 검출 신호는 아날로그-디지털 컨버터(348)로 입력된다. 아날로그-디지털 컨버터(348)는 아날로그 신호를 디지털 신호로 변환한다. 아날로그-디지털 컨버터(348)는 아날로그 신호를 양자화(350)하여 디지털 신호를 생성한다.

신호 처리부(352)는 아날로그-디지털 컨버터(348)로부터 디지털 신호를 입력 받아 소정의 신호 처리(354)를 수행한 후 프로세서(120a)로 출력한다. 신호 처리부(354)는 검출 신호에 대해 소정의 노이즈 저감 처리 등을 수행할 수 있다. 일 실시예에 따르면, 신호 처리부(352)는 검출 신호에 대해 소정의 감마 커브를 이용하여 감마 보정을 수행할 수 있다. 카메라 제어부(320)는 입력 영상에 기초하여 다이나믹 레인지를 결정하고, 신호 처리부(352)는 카메라 제어부(320)에 의해 결정된 다이나믹 레인지에 기초하여 감마 커브를 보정하고, 보정된 감마 커브에 기초하여 검출 신호를 처리할 수 있다.

도 4는 본 개시의 일 실시예에 따른 프로세서의 동작을 나타낸 도면이다.

본 개시의 일 실시예에 따르면, 입력 영상의 시퀀스에 대해, 노출 보정 및 다이나믹 레인지 보정이 수행되고, 피처 또는 텍스처 검출 결과에 기초하여, 입력 영상의 시퀀스에 대한 2차 보정이 수행된다.

프로세서(120b)는 카메라(110)로부터 입력된 검출 신호로부터 입력 영상을 생성하여 메모리(360)에 저장한다. 프로세서(120b)는 소정의 개수의 입력 영상을 포함하는 프레임 시퀀스를 메모리(360)에 저장할 수 있다. 프로세서(120b)는 메모리(360)에 소정의 개수 입력 영상을 저장하고, 가장 먼저 들어온 입력 영상을 삭제하면서 새로운 입력 영상을 저장하는 큐(Queue)를 할당하여, 프레임 시퀀스를 저장할 수 있다.

이미지 강도 관점에서, 프레임 레이트에 대한 장면 전환 속도의 비율이 낮을 때, 프레임 간에 차이가 매우 적다. 이러한 가정 하에, 본 개시의 실시예들은 카메라에 의해 뒤따르는 일부 프레임들은 서로 매우 유사할 것이라고 가정한다. 예를 들면, 프레임이 시퀀스가 약 7 내지 10 프레임을 포함할 수 때, 높은 프레임 레이트(예를 들면, 30 프레임/초)에서 프레임 간의 차이는 상대적으로 적어 이러한 프레임들에 대한 처리를 동일하게 할 수 있다.

프레임 시퀀스는 소정 개수의 프레임 간격으로 정의될 수 있다. 예를 들면, 프레임 시퀀스가 7개의 프레임을 포함하는 경우, 하나의 프레임 시퀀스 이후의 새로운 7개의 프레임들이 다음 프레임 시퀀스로 정의될 수 있다. 다른 예로서, 프레임 시퀀스는 새로운 입력 영상이 들어올 때마다 새롭게 정의될 수 있다. 이 때, 새로운 입력 영상 이외의 나머지 프레임들은 이전에 처리된 프레임들이기 때문에, 나머지 프레임들에 대해서는 이전에 획득된 밝기에 관련된 정보 및 피처/텍스트 정보 등을 그대로 이용할 수 있다.

도 4의 실시예는 프레임 시퀀스가 제(i) 프레임(410_1) 내지 제(i+6) 프레임(410_7)의 총 7개 프레임을 포함하는 실시예이다. 프레임 시퀀스의 개수는 다양하게 결정될 수 있고, 입력 영상에 기초하여 동적으로 결정되는 것도 가능하다.

일 실시예에 따르면, 프로세서(120b)는 프레임 시퀀스의 복수의 프레임(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7) 중 하나의 프레임(410_1)으로부터 획득된 밝기에 관련된 정보(422)에 기초하여, 프레임 시퀀스 전체에 대한 노출 및 다이나믹 레인지 값을 결정한다(430). 프로세서(120b)는 프레임 시퀀스의 복수의 프레임들 각각에 대한 밝기에 관련된 정보(420)를 산출한다. 밝기에 관련된 정보(420)는 예를 들면, 강도 히스토그램, 프레임의 평균 밝기 등을 포함할 수 있다. 평균 밝기 값은 수학식 1에 기초하여 결정될 수 있다.

[수학식 1]

여기서 w는 프레임의 너비, h는 프레임의 높이, I[x,y]는 프레임의 (x,y) 위치에서 픽셀 강도를 나타낸다. B(I[x,y])는 프레임의 평균 밝기를 나타낸다.

430 단계에서 선택되는 하나의 프레임(410_1)은 다양하게 결정될 수 있다. 예를 들면, 430 단계에서 프레임 시퀀스의 프레임들 중 첫 번째 프레임(410_1)이 선택될 수 있다. 다른 예로서, 430 단계에서 프레임 시퀀스 중 밝기 평균 값이 중간인 프레임이 선택될 수 있다. 프로세서(120b)는 프레임 시퀀스의 각각의 프레임들에 대해, 밝기에 대한 정보(420) 및 피처/텍스트 정보를 획득하지만, 프레임 시퀀스의 하나의 프레임(410_1)에 기초하여 프레임 시퀀스 전체(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7)에 대한 노출 및 다이나믹 레인지 보정을 수행하여, 처리의 효율성을 증대시킬 수 있다.

다음으로, 하나의 프레임(410_1)에 기초하여 보정된 노출 및 다이나믹 레인지에 기초하여, 프레임 시퀀스의 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7)에 대한 1차 보정(432)이 수행된다. 1차 보정(432)에서는 430 단계에서 산출된 노출 및 다이나믹 레인지에 기초하여, 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7)에 대한 밝기 보정, 다이나믹 레인지 보정 등의 처리가 수행된다. 1차 보정(432)에서 노출 보정이 수행되는 경우, 카메라(110)에 적용되는 제1 파라미터 값이 보정되는데, 이 때, 이미 촬영되어 생성된 입력 영상들인 프레임 시퀀스의 프레임들에 대해서도 밝기 보정이 수행될 수 있다. 밝기 보정은 예를 들면, 프레임들의 평균 밝기 값 보정, 보간 처리 보정, 또는 컨트라스트 조정 등을 포함할 수 있다.

다음으로, 프로세서(120b)는 1차 보정(432)이 완료된 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7)로부터 피처 또는 텍스처를 검출한다(434). 프로세서(434)는 소정의 알고리즘을 이용하여 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7) 각각으로부터 피처 또는 텍스처를 검출할 수 있다.

다음으로, 프로세서(120b)는 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7) 각각의 피처 또는 텍스처 검출 결과에 기초하여, 노출 및 다이나믹 레인지 보정 결과를 갱신할지 여부를 결정한다(436). 프로세서(120b)는 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7) 각각으로부터 피처의 영역을 정의하고, 각 피처의 영역에 대해 밝기 값의 히스토그램을 산출할 수 있다. 프로세서(120b)는 피처 영역에 대한 히스토그램에 기초하여 노출 및 다이나믹 레인지의 갱신 여부를 결정할 수 있다. 또한, 프로세서(120b)는 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7) 각각으로부터 텍스처를 검출할 수 있다. 프로세서(120b)는 텍스처에 대응하는 영역에 대한 히스토그램에 기초하여 노출 및 다이나믹 레인지의 갱신 여부를 결정할 수 있다.

일 실시예에 따르면, 프로세서(120b)는 피처 및 텍스처 영역에 대응하는 영역의 히스토그램에 기초하여, 노출 및 다이나믹 레인지의 갱신 여부를 결정할 수 있다. 예를 들면, 프로세서(120b)는 피처 및 텍스처 영역에서 소정 값 이상의 빈도수를 갖는 밝기 값 구간에서 다이나믹 레인지가 소정 기준 값 이하인 경우, 노출 및 다이나믹 레인지를 갱신하는 것으로 결정할 수 있다. 피처 및 텍스처가 관찰되는 밝기 구간에서 다이나믹 레인지가 소정 기준 값보다 작은 경우, 피처 및 텍스처가 입력 영상에서 제대로 표현되지 않을 수 있기 때문에, 피처 및 텍스처에 대응하는 밝기 구간의 다이나믹 레인지를 증가시키도록 보정하여 입력 영상의 품질을 개선할 수 있다. 한편, 피처 및 텍스처 검출 결과에 따라 노출 및 다이나믹 레인지 보정을 갱신하는 처리는 입력 영상의 품질을 개선하는 효과가 있지만, 복수의 프레임들에 대해 2번의 노출 및 다이나믹 레인지 보정을 수행함에 의해 영상 처리 로드를 현저하게 증가시킬 가능성이 있다. 본 실시예에 따르면, 피처 및 텍스처의 검출 결과에 기초하여 노출 및 다이나믹 레인지에 대한 2차 보정 수행 여부를 결정하고, 소정의 기준에 부합하는 경우, 즉 필요한 경우에만 2차 보정을 수행함에 의해, 영상 처리 로드의 증가 부담을 감소시키면서 입력 영상의 품질을 개선할 수 있는 현저한 효과가 있다.

프로세서(120b)는 피처 또는 텍스처의 검출 결과에 따라 노출 및 다이나믹 레인지를 갱신하는 것으로 결정된 경우(436), 1차 보정된 노출 및 다이나믹 레인지에 대한 2차 보정을 수행한다(438). 2차 보정에서 프로세서(120b)는 프레임 시퀀스(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7)로부터 추출된 밝기에 대한 정보(420)와 피처 및 텍스처에 대한 정보를 함께 고려하여 2차 보정 값을 결정할 수 있다. 예를 들면, 프로세서(120b)는 피처 및 텍스처에 대응하는 영역의 밝기 값 히스토그램에 기초하여 노출 및 다이나믹 레인지에 대한 2차 보정을 수행할 수 있다. 2차 보정에 의해 갱신된 노출에 관련된 파라미터 및 다이나믹 레인지는 프레임 시퀀스의 복수의 프레임들(410_1, 410_2, 410_3, 410_4, 410_5, 410_6, 및 410_7)에 적용될 수 있다. 또한, 2차 보정에 의해 갱신된 노출에 관련된 파라미터 및 다이나믹 레인지는 카메라(110)로 출력되어, 카메라(110)에 적용될 수 있다.

도 5는 본 개시의 일 실시예에 따라 복수의 프레임들 각각으로부터 추출되는 정보의 일례를 나타낸 도면이다.

일 실시예에 따르면, 프로세서(120)는 각각의 프레임(FRAME_i)으로부터 평균 밝기 값(m_i) 및 강도 히스토그램을 생성한다. 프레임(FRAME_i)의 평균 밝기 값(m_i)은 프레임(FRAME_i)의 각각의 픽셀의 밝기 값의 평균을 산출함에 의해 획득된다. 강도 히스토그램은 각각의 프레임(FRAME_i)에 대한 밝기 값의 빈도를 나타내는 히스토그램을 의미한다.

또한, 프로세서(120)는 프레임(FRAME_i)의 강도 히스토그램으로부터 환경 조건을 추출할 수 있고, 예를 들면 최대 밝기 값(max_i), 최소 밝기 값(min_i), 및 톤 정보를 추출할 수 있다.

최대 밝기 값(max_i)은 해당 프레임(FRAME_i)의 밝기 값 중 최대 값을 의미한다. 최소 밝기 값(min_i)은 해당 프레임(FRAME_i)의 밝기 값 중 최소 값을 의미한다. 프로세서(120)는 프레임 시퀀스의 복수의 프레임 중 하나의 프레임(FRAME_i)의 최대 밝기 값(max_i) 및 최소 밝기 값(min_i)에 기초하여, 다이나믹 레인지를 결정할 수 있다. 일 실시예에 따르면, 다이나믹 레인지에 기초하여 입력 값과 출력 값의 관계가 수학식 2와 같이 정의될 수 있다.

[수학식 2]

여기서 g(x,y)는 출력 영상의 픽셀 값, f(x,y)는 입력 영상의 픽셀 값, min은 최소 밝기 값, max는 최대 밝기 값, N(N은 자연수)은 출력 이미지의 강도 레벨의 개수를 나타낸다. 예를 들면, 0 내지 255의 밝기 값을 갖는 영상의 경우, N은 256이 된다. 출력 영상의 픽셀 값 g(x,y)는 입력 영상의 픽셀 값 f(x,y)에서 min 값을 뺀 값(f(x,y)- min)에 N/(max-min) 값을 곱하여 산출할 수 있다.

톤 정보는 프레임(FRAME_i)의 밝기 범위를 나타내는 정보로서, 예를 들면, 복수의 톤 레벨로 정의될 수 있다. 톤 정보의 일례로, 노출 과다, 노출 부족, 미드 톤, 실내, 또는 실외 등의 레벨이 정의될 수 있다.

도 6은 본 개시의 일 실시예에 따라 복수의 프레임들 각각으로부터 추출되는 정보의 일례를 나타낸 도면이다.

일 실시예에 따르면, 프로세서(120)는 프레임 시퀀스에 포함되는 복수의 프레임들 각각으로부터, 히스토그램(610_0, 610_1, 610_2, 610_3, 610_4, 610_5), 검출된 피처 수(N1, N2, N3, N4, N5, 및 N6), 및 평균 밝기(m1, m2, m3, m4, m5, 및 m6)를 산출한다. 히스토그램(610_0, 610_1, 610_2, 610_3, 610_4, 610_5)은 입력 영상의 색조 범위, 대비, 및 밝기에 대한 직관을 제공하므로 매우 유용하다.

일 실시예에 따르면, 프로세서(120)는 검출된 피처 수(N1, N2, N3, N4, N5, 및 N6) 또는 평균 밝기(m1, m2, m3, m4, m5, 및 m6) 중 적어도 하나 또는 이들의 조합에 기초하여, 프레임 시퀀스의 노출 및 다이나믹 레인지 보정의 갱신 여부를 결정할 수 있다. 피처 수(N1, N2, N3, N4, N5, 및 N6)의 변화는 프레임 내의 피사체의 변화를 의미하므로, 피처 수(N1, N2, N3, N4, N5, 및 N6)를 노출 및 다이나믹 레인지 보정의 갱신 기준으로 이용함에 의해, 적은 처리 로드만으로 노출 및 다이나믹 레인지의 갱신 필요성을 판단할 수 있다.

일 실시예에 따르면, 프로세서(120)는 프레임의 피처 검출 결과에 기초하여 장면(scene) 변화를 검출할 수 있다. 프로세서(120)는 장면 변화를 검출하면, 노출에 관련된 파라미터 및 다이나믹 레인지를 갱신하는 것으로 결정할 수 있다. 또한, 프로세서(120)는 프레임의 평균 밝기가 소정 범위 이상으로 변화하는 경우, 또는 전자 장치(100)에서 소정 범위 이상의 움직임이 검출되는 경우에 노출에 관련된 파라미터 및 다이나믹 레인지를 갱신하는 것으로 결정할 수 있다. 본 실시예에 따르면, 프레임의 FOV가 변경되었다고 판단되는 경우 노출에 관련된 파라미터 및 다이나믹 레인지를 갱신함에 의해, 전자 장치(100)의 자동 노출 제어의 성능을 향상시킬 수 있는 효과가 있다.

도 7은 본 개시의 일 실시예에 따라 피처 검출 및 텍스처 검출을 수행하는 과정을 설명하는 도면이다.

본 개시의 일 실시예에 따르면, 프로세서(120)는 프레임 시퀀스의 각각의 프레임(FRAME_i)에 대해 1차 보정된 노출 및 다이나믹 레인지에 기초하여 밝기 변화 시뮬레이션(710)을 수행한다. 밝기 변화 시뮬레이션(710)에 의해, 프레임 시퀀스의 복수의 프레임 중 하나의 프레임에 기초하여 1차 보정된 노출 및 다이나믹 레인지가 프레임 시퀀스의 복수의 프레임 전체에 적용된다.

밝기 변화를 시뮬레이션 하는 동작(710)은 예를 들면, 선형 스트레칭(linear stretching), 구간 별 선형 스트레칭(piecewise linear stretching), 히스토그램 이퀄라이제이션(histogram equalization), 적응적 히스토그램 수정(adaptive histogram modification), 또는 비선형 스트레칭(nonlinear stretching) 등을 이용할 수 있다. 또한, 비선형 스트레칭은 예를 들면, 대수 이미지 변환(logarithmic image transformation), 지수 변환(exponential transformation), 멱법칙(power law)(감마 보정) 등이 있다. 본 개시의 일 실시예에 따르면, 프로세서(120)는 밝기 변화 시뮬레이션을 위해, 선형 컨트라스트 보정을 이용한다. 선형 컨트라스트 보정은 이미지의 다이나믹 레인지를 변경시킬 뿐만 아니라 구현이 더 간단한 장점이 있다.

다음으로, 프로세서(120)는 밝기 시뮬레이션(710)이 수행된 복수의 프레임들 각각으로부터 피처 검출 동작(712) 및 텍스처 검출 동작(716)을 수행한다.

피처 검출 동작(712)은 검출 신호로부터 생성된 프레임(FRAME_i) 기반으로 밝기 시뮬레이션된 프레임으로부터 피처를 검출한다. 피처 검출 동작(712)은 프레임(FRAME_i)으로부터 피처에 대응하는 영역을 정의할 수 있다. 피처의 종류는 미리 정의될 수 있고, 예를 들면, 객체, 사람, 동물, 사물 등을 포함할 수 있다. 프로세서(120)는 피처 검출 동작(712)을 위해 예를 들면, Shi-Tomasi 특징점 검출기를 이용할 수 있다. Shi-Tomasi 특징점 검출기는 컴퓨터 비전 알고리즘에 적합한 피처들을 측정하기 위해 이용된다. Shi-Tomasi 특징점 추출은 최적 플로우를 계산할 때 사용할 특징점을 추출하는 용도로 사용될 수 있다. Shi-Tomasi 특징점 추출은 추적 알고리즘에 최적화되도록 좋은 특징점을 추출한다. 또한, 피처 검출 동작(712)을 위해 다양한 피처 검출 알고리즘, 또는 기계 학습 모델이 이용될 수 있다.

프로세서(120)는 피처 검출 동작(712)의 검출 결과에 기초하여, 프레임(FRAME_i) 내의 피처 개수(Ni)를 산출한다(714). 피처 개수(Ni)는 피처 검출 동작(712)에서 검출된 특징점의 개수로 정의될 수 있다.

텍스처 검출 동작(716)은 밝기 시뮬레이션 된 프레임으로부터 텍스처를 검출한다. 일 실시예에 따르면, 텍스처 검출 동작(716)은 2차원 자기 상관(2D autocorrelation)을 이용하여 수행될 수 있다. 영상 내에 텍스처가 존재하는 경우, 반복적인 에지 또는 특징 점이 나타나기 때문에, 2차원 자기 상관에 의해 텍스처에 해당하는 에지 및 특징 점의 간격이 검출될 수 있다. 또한, 프로세서(120)는 2차원 자기 상관에서 반복적인 패턴이 검출되는 경우, 텍스처가 존재한다고 판단할 수 있다.

프로세서(120)는 텍스처 검출 동작(716)의 결과에 기초하여 텍스처의 사이즈를 결정할 수 있다(718). 프로세서(120)는 2차원 자기 상관 처리에 의해 텍스처에서 나타나는 텍스처 사이즈(SIZE_i)를 측정할 수 있다. 일 실시예에 따르면, 2차원 자기 상관 처리는 수학식 3에 기초하여 수행될 수 있다.

[수학식 3]

여기서 x와 y는 입력 영상에서 픽셀의 좌표 값을 나타내고, I[x,y]는 (x,y) 좌표에서 픽셀 값을 나타내고, K(Δx, Δy)는 2차원 자기 상관 처리의 결과 값을 나타낸다. K(Δx, Δy)의 값에 기초하여 텍스처 사이즈(SIZE_i)가 결정될 수 있다. 일 실시예에 따르면, 2차원 자기 상관 처리는 입력 영상 중 일부 영역에 대해 수행될 수 있다. 예를 들면, 2차원 자기 상관 처리는 입력 영상 중 텍스처 영역으로 정의된 영역, 또는 입력 영상을 소정의 균등한 사이즈로 분할하여 정의된 각각의 영역에 대해 수행될 수 있다.

도 8은 본 개시의 일 실시예에 따라 텍스처 사이즈를 산출하는 과정을 나타낸 도면이다.

제1 영상(810)과 같이 반복적인 패턴이 나타나는 영상의 경우, 텍스처 검출 처리(716)에 의해 제1 영상(810)으로부터 텍스처를 검출할 수 있다. 제1 영상(810)에 대해 2차원 자기 상관 처리 등을 이용하여 텍스처 검출 처리를 수행하는 경우, 반복적으로 나타나는 패턴(812a, 812b, 812c)에 의해 자기 상관 처리 결과 값에서 소정 간격의 피크가 나타난다. 자기 상관 처리 결과 값의 피크의 간격은 텍스처 사이즈(SIZE_i)에 대응된다. 2차원 자기 상관 처리에 의해 획득된 이러한 텍스처 사이즈(SIZE_i)의 값은, 실제 텍스처의 간격(SIZE_i1, SIZE_i2, SIZE_i3, SIZE_i4)의 평균 값에 수렴하게 된다.

반면에 제2 영상(820)과 같이 반복적인 패턴이 관찰되지 않는 영상의 경우, 2차원 자기 상관 처리에 의하더라도 소정 간격의 피크가 관찰되지 않기 때문에, 텍스처를 검출할 수 없다.

도 9는 본 개시의 일 실시예에 따라 프레임 시퀀스로부터 노출 관련 파라미터를 보정하는 과정을 나타낸 도면이다. 도 9는 일 실시예에 따른 데이터 처리 과정을 나타낸다.

프로세서(120c)는 프레임 시퀀스에 포함되는 복수의 프레임들이 생성되면 우선 프레임 시퀀스 중 하나인 제1 프레임(910)에 기초하여 강도 히스토그램(912)을 생성한다. 프로세서(120c)는 강도 히스토그램(912)으로부터 밝기 값의 범위 및 최대 밝기 값, 최소 밝기 값을 산출할 수 있다. 또한, 프로세서(120c)는 제1 프레임(910)으로부터 평균 밝기 값을 산출한다(914). 프로세서(120c)는 제1 프레임(910)의 강도 히스토그램(912) 및 평균 밝기 값(914)에 기초하여 프레임 시퀀스의 나머지 프레임들에 적용될 선형 컨트라스트 보정(916a, 916b, 916c, 916d, 916e, 916f)을 결정한다. 선형 컨트라스트 보정(916a, 916b, 916c, 916d, 916e, 916f)은 프레임 시퀀스의 프레임의 다이나믹 레인지를 조절하는 보정이다. 선형 컨트라스트 보정(916a, 916b, 916c, 916d, 916e, 916f)은 제1 프레임(910)의 평균 밝기 값(914)에 기초하여 다이나믹 레인지의 레벨을 결정하고, 제1 프레임(910)의 최대 밝기 값 및 최소 밝기 값에 기초하여 다이나믹 레인지의 기울기를 결정한다. 다이나믹 레인지의 레벨은 감마 커브에서 기울기를 갖는 구간의 중간 값 또는 평균 값을 의미한다.

일 실시예에 따르면, 프로세서(120c)는 프레임 시퀀스의 복수의 프레임들 각각에 대해 평균 밝기 값 및 강도 히스토그램을 산출하고, 복수의 프레임들 각각의 평균 밝기 값 및 강도 히스토그램의 값이 제1 프레임(910)의 값과 소정 값 이상 차이나는 경우, 해당 프레임의 선형 컨트라스트 보정의 파라미터 값을 조절할 수 있다. 예를 들면, 프로세서(120c)는 복수의 프레임들 각각의 평균 밝기 값에 기초하여, 다이나믹 레인지의 레벨을 결정할 수 있다. 따라서 일례에 따르면, 복수의 프레임들 각각에 대한 선형 컨트라스트 보정(916a, 916b, 916c, 916d, 916e, 916f)에 적용되는 다이나믹 레인지의 레벨이 서로 상이하게 설정될 수 있다.

프로세서(120c)는 선형 컨트라스트 보정(916a, 916b, 916c, 916d, 916e, 916f)을 통해 1차 보정된 복수의 프레임을 생성한다(918). 보정 프레임(918)은 프레임 시퀀스에 포함된 복수의 프레임들 중 제1 프레임(910)을 제외한 프레임들에 선형 컨트라스트 보정을 적용한 결과 프레임들이다.

프로세서(120c)는 보정 프레임(918) 각각에 대해 피처 검출 처리(920)를 수행한다. 프로세서(120c)는 보정 프레임(918) 각각으로부터 특징점을 검출하고, 특징점의 개수를 산출할 수 있다. 프로세서(120c)는 피처 검출 처리(920)에 기초하여, 복수의 보정 프레임들(918) 각각의 피처 수(특징점 개수)의 최대 값인 최대 피처 수(926)를 결정한다.

또한, 프로세서(120c)는 보정 프레임들(918) 각각에 대해 텍스처 검출 처리(922)를 수행한다. 프로세서(120c)는 보정 프레임들(918) 각각에 대해 2차원 자기 상관 처리를 수행하여 텍스처를 검출할 수 있다. 프로세서(120c)는 텍스처 검출 처리(922)에 기초하여, 보정 프레임들(918) 중 최대 간격 피크(924)를 산출한다. 최대 간격 피크(924)는 보정 프레임들(918)에서 나타나는 패턴의 간격 중 가장 넓은 간격을 나타낼 수 있다.

프로세서(120c)는 최대 간격 피크(924) 및 최대 피처 수(926)에 기초하여, 노출 및 게인 레벨(930)을 산출한다(928). 프로세서(120c)는 최대 간격 피크(924) 및 최대 피처 수(926)에 기초하여, 카메라(110)에 적용된 적정 노출 파라미터 값 및 게인 값(930)을 결정할 수 있다. 프로세서(120c)는 산출된 노출 및 게인 레벨(930)과 현재의 노출 및 게인 레벨의 차이가 소정 값을 초과하는 경우, 노출 및 게인 레벨을 갱신한다(932). 프로세서(120c)는 산출된 노출 및 게인 레벨(930)과 현재의 노출 및 게인 레벨의 차이가 소정 값 이하인 경우, 노출 및 게인 레벨을 갱신하지 않을 수 있다. 프로세서(120c)는 피처 검출(920) 및 텍스처 검출(922)에 기초하여 갱신된 노출 및 게인 레벨에 기초한 파라미터 값을 카메라(110)로 출력하여 카메라(110)를 제어할 수 있다. 또한, 프로세서(120c)는 갱신된 노출 및 게인 레벨에 기초하여 평균 밝기 값(914)을 갱신하고, 선형 컨트라스트 보정(916a, 916b, 916c, 916d, 916e, 916f)을 갱신하여, 보정 프레임(918)을 갱신할 수 있다.

도 10은 본 개시의 일 실시예에 따른 감마 커브를 나타낸 도면이다.

감마 커브는 신호 변환 시, 입력 신호와 출력 신호의 관계를 나타낸다. 본 개시의 실시예들에서는 감마 커브가 검출 신호에 대한 출력인 입력 영상의 밝기 값을 나타낸다. 감마 커브의 기울기는 다이나믹 레인지에 따라 정의될 수 있다. 또한, 감마 커브는 구간 별로 다이나믹 레인지가 다르게 정의될 수 있다. 본 개시의 실시예들에 따르면, 입력 영상에 기초하여 다이나믹 레인지가 정의된다. 또한, 본 개시의 실시예들에 따르면, 입력 영상에 기초하여, 높은 다이나믹 레인지가 할당된 검출 신호의 구간이 정의될 수 있다. 예를 들면, 입력 영상의 히스토그램 및 피처 검출 결과에 기초하여, 프로세서(120)는 감마 커브의 제1 구간(R1)에 제2 구간(R2)보다 높은 다이나믹 레인지를 할당할 수 있다.

각 구간에 적용되는 감마 커브의 형태는 다양하게 적용될 수 있다. 일 실시예에 따르면, 프로세서(120)는 각 구간에 선형 컨트라스트 보정 방법을 적용하여 감마 커브를 설정한다. 즉 프로세서(120)는 각 구간에 설정된 다이나믹 레인지에 기초하여 선형 컨트라스트 보정 방법을 통해 감마 커브의 형태를 정의할 수 있다.

도 11은 본 개시의 일 실시예에 따른 입력 영상의 히스토그램을 도시한 도면이다.

일 실시예에 따르면, 프로세서(120)는 입력 영상의 밝기 값의 히스토그램(강도 히스토그램)에 기초하여 밝기 구간에 따라 다이나믹 레인지를 결정할 수 있다. 프로세서(120)는 히스토그램에서 나타나는 빈도 수의 특성에 따라 구간이 정의하고, 각 구간의 다이나믹 레인지를 결정할 수 있다. 예를 들면, 프로세서(120)는 히스토그램에서 소정 기준 값 이상의 빈도수가 검출되는 밝기 구간과 소정 기준 값 미만의 빈도 수가 검출되는 밝기 구간을 결정하고, 검출 결과에 기초하여 밝기 구간을 결정할 수 있다. 또한, 프로세서(120)는 피크 값을 중심으로 밝기 구간을 결정할 수 있다. 예를 들면, 도 11의 히스토그램은 구간 R1110, R1120, R1130, R1140, 및 R1150으로 정의될 수 있다. R1110, R1120, 및 R1140 구간은 소정 기준 값 이상의 빈도수가 검출되는 밝기 구간으로서, 상대적으로 높은 다이나믹 레인지가 할당될 수 있다. R1130 및 R1150 구간은 소정 기준 값 미만의 빈도 수가 검출되는 밝기 구간으로서, 상대적으로 낮은 다이나믹 레인지가 할당될 수 있다.

또한, 프로세서(120)는 강도 히스토그램에 기초하여 감마 커브의 최대 값과 최소 값을 정의할 수 있다. 예를 들면, 프로세서(120)는 도 11과 같은 강도 히스토그램에 기초하여, 밝기 레벨의 최대 값을 222로 정의하고, 밝기 레벨의 최소 값을 18로 정의할 수 있다. 감마 커브의 최대 값과 최소 값은 해당 입력 영상의 밝기 평균 값, 강도 히스토그램, 또는 입력 영상의 컨트라스트 등에 기초하여 결정될 수 있다.

도 12는 본 개시의 일 실시예에 따른 피처 수와 평균 밝기 사이의 관계를 나타낸 도면이다.

일 실시예에 따르면, 프로세서(120)는 입력 영상으로부터 적어도 하나의 피처를 검출할 수 있다. 프로세서(120)는 미리 저장된 피처 수와 평균 밝기 사이의 관계에 기초하여 임계 값을 결정할 수 있다. 도 12는 일 실시예에 따른 피처 수와 평균 밝기 사이의 관계를 나타낸다. 도 12의 평균 밝기 값은 미리 정의된 평균 밝기의 임계 값을 나타낸다. 프로세서(120)는 입력 영상으로부터 피처를 검출하여 피처 수를 산출한다. 프로세서(120)는 미리 저장된 피처 수와 평균 밝기 사이의 관계를 이용하여, 촬영 환경의 조명 조건에 기초한 임계 값을 얻을 수 있다. 미리 저장된 피처 수와 평균 밝기 사이의 관계는 미리 정의된 기간 동안 통계적으로 축적된 데이터로부터 획득된다. 본 개시의 전자 장치(100) 또는 개발자는 미리 정의된 기간 동안, 영상의 히스토그램을 축적하고, 각 영상에서 피처 수와 평균 밝기 값을 산출하여, 통계적으로 피처 수와 평균 밝기 사이의 관계를 정의할 수 있다. 이러한 피처 수와 평균 밝기 사이의 관계는 환경의 조명 조건에 기초한 통계적으로 예상되는 평균 밝기의 임계 값을 제공한다.

프로세서(120)는 피처 수와 평균 밝기 사이의 관계로부터 획득된 임계 값을 이용하여, 밝기 값에 기초한 노출 제어 스텝을 결정한다. 노출 제어 스텝은 카메라(110)의 노출 정도를 나타내는 파라미터이다. 카메라(110)는 노출 제어 스텝에 기초하여 노출에 관련된 컴퍼넌트들(예를 들면, 조리개, 셔터 등)을 제어할 수 있다. 예를 들면, 카메라(110)는 노출 제어 스텝에 기초하여 조리개 f넘버, 또는 셔터 스피드 등을 조절할 수 있다.

도 13은 본 개시의 일 실시예에 따른 노출 제어 스텝 결정 과정을 나타낸 도면이다.

도 13은 평균 밝기와 노출 제어 스텝의 관계를 나타낸다. 밝기 대 노출 스텝 특성은 축적된 강도 히스토그램에 기초하여 획득될 수 있다. 게인과 노출이 하드웨어적으로 다른 방법으로 변한다는 사실 때문에, 게인과 노출에 대해 다른 특성이 수립될 수 있다. 도 13은 카메라 파라미터 또는 하드웨어 스펙 등에 따라 다른 밝기 대 노출 제어 스텝 특성(1310, 1320, 1330)을 나타낸다. 프로세서(120)는 현재의 카메라 설정 또는 하드웨어 스펙에 기초하여 대응하는 밝기 대 노출 제어 스텝 특성(1310, 1320, 1330)을 이용할 수 있다.

일 실시예에 따르면, 프로세서(120)는 피처 수와 평균 밝기 사이의 관계에 기초하여 획득된 임계 값을 이용하여 노출 제어 스텝을 결정할 수 있다. 만약 평균 밝기가 피처 수에 기초하여 결정된 문턱 값보다 작은 경우, 밝기 대 노출 제어 스텝 특성을 이용하여 노출을 증가시킨다. 만약 평균 밝기가 문턱 값보다 큰 경우, 밝기 대 노출 제어 스텝 특성을 이용하여 노출을 감소시킨다. 프로세서(120)는 밝기 대 노출 제어 스텝의 관계에서 밝기가 증가하는 방향 또는 밝기가 감소하는 방향으로 노출 제어 스텝을 변경하여, 노출을 증가시키거나 감소시킬 수 있다.

노출 제어 스텝이 최종 값에 도달하면, 프로세서(120)는 게인의 증가 또는 감소를 수행한다. 만약 추정된 평균 밝기 값이 주어진 기간 동안 미리 정의된 범위만큼 변화되지 않으면, 자동 노출 제어가 완료된다.

도 14는 본 개시의 일 실시예에 따른 결과 영상과 비교예를 나타낸 도면이다.

도 14는 비교예에 따라 FOV(1410, Field of view)를 촬영하여 생성된 비교예 영상(1420)과 본 개시의 실시예에 따라 촬영하여 생성된 실시예 영상(1430)을 나타낸다. 비교예 영상의 촬영 시에는 피처 검출 결과에 기초한 카메라 파라미터 및 다이나믹 레인지 갱신이 적용되지 않았고, 실시예 영상의 촬영 시에는 피처 검출 결과에 기초한 카메라 파라미터 및 다이나믹 레인지 갱신이 적용되었다. FOV는 타일 형태의 패턴을 갖고 있고, 타일 사이에 일정한 간격(1412)이 존재한다. 이러한 패턴의 영상에서는, 흑백 전환이 실제 에지 위치 주변에서 대칭적이지 않다면 각도 추정에서 작은 바이어스가 나타날 수 있다. 이러한 바이어스는 노출 과다, 노출 부족, 비선형성 등의 형태로 나타날 수 있다.

비교예 영상(1420)에서는 이러한 타일 사이의 일정한 간격(1412)에 대응하는 밝기 영역 적절한 다이나믹 레인지가 부여되지 않아 타일 사이의 간격이 명확하게 구별되지 않는다. 반면에 실시예 영상(1430)에서는 타일 사이의 일정한 간격(1412)에 대응하는 밝기 영역에 적절한 다이나믹 레인지가 부여되어, 타일 사이의 간격이 명확하게 구별되어 나타난다. 이와 같이, 본 개시의 실시예들에 따르면 영상의 피처 및 텍스처에 기초하여 노출 레벨과 카메라 파라미터가 적절하게 조절되고, 다이나믹 레인지가 보정되어, 영상의 피처 및 텍스처를 보다 적절하게 재현할 수 있는 효과가 있다.

도 15는 본 개시의 일 실시예에 따른 전자 장치의 구성을 나타낸 도면이다.

전자 장치(100)는 다양한 형태로 구현될 수 있으며, 도 15는 본 개시의 일 실시예에 따른 전자 장치(1500)의 구조를 나타낸다. 전자 장치(1500)는 프로세서(1510), 메모리(1520), 카메라(1530), 센서부(1540), 입/출력부(1550), 및 통신부(1560)를 포함한다. 영상 제공 장치(110)의 프로세서(112)는 전자 장치(1500)의 프로세서(1510)에 대응하고, 전자 장치(100)의 카메라(110))는 전자 장치(1500)의 카메라(1530)에 대응하고, 전자 장치(100)의 프로세서(120)는 전자 장치(1500)의 프로세서(1510)에 대응할 수 있다.

프로세서(1510)는 하나 이상의 프로세서를 포함할 수 있다. 프로세서(1510)는 중앙 제어부(1511), 영상 처리부(1512), AI 처리부(1513) 등의 전용 프로세서를 포함할 수 있다.

메모리(1520)는 휘발성 저장매체, 비휘발성 저장매체, 또는 이들의 조합을 포함할 수 있다. 또한, 메모리(1520)는 메인 메모리, 캐시 메모리, 레지스터, 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다. 메모리(1520)는 다양한 형태의 저장매체로 구현될 수 있다. 예를 들면, 메모리(1520)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

센서부(1540)는 다양한 종류의 센서를 포함할 수 있다. 센서부(1540)는 예를 들면, 조도 센서(1541), 가속도 센서(1542), 자이로 센서(1543), 지문 센서(1544), 압력 센서(1545), 또는 바이오 센서(1546) 또는 이들의 조합을 포함할 수 있다. 센서부(1540)에서 검출된 신호는 프로세서(1510)로 입력되고, 프로세서(1510)는 센서부(1540)의 출력 신호에 기초하여, 디스플레이 밝기 조절, 카메라 밝기 조절, 움직임 검출, 장치 오리엔테이션 검출, 지문 인식, 생체 신호 검출 및 처리, 생체 인증 등의 처리를 수행할 수 있다.

입/출력부(1550)는 다양한 종류의 입출력 인터페이스를 포함할 수 있다. 입/출력부(1550)는 예를 들면, 디스플레이(1551), 터치스크린(1552), 터치패드(1553), 오디오 입출력부(1554), HDMI(1555), 또는 USB(1556) 또는 이들의 조합을 포함할 수 있다. 통신부(1540)는 다양한 종류의 통신 모듈을 포함할 수 있다. 입/출력부(1550)는 다양한 종류의 입출력 컴퍼넌트를 포함할 수 있다. 프로세서(1510)는 입/출력부(1550)로부터 입력된 신호에 기초하여, 제스처 인식, 음성 인식 등의 처리를 수행할 수 있다.

통신부(1560)는 근거리 통신부(1562), 이동 통신부(1564), 또는 방송 수신부(1566) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 근거리 통신부(1562)는 블루투스, BLE(Bluetooth Low Energy), 근거리 무선 통신 (Near Field Communication), RFID(Radio Frequency Identification), WLAN(와이파이), 지그비(Zigbee), 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct), UWB(ultra wideband), Ant+ 통신, 또는 이들의 조합에 의한 통신을 수행할 수 있다. 전자 장치(1500)는 통신부(1560)를 통해 다양한 종류의 외부 장치와 통신할 수 있다. 전자 장치(1500)는 예를 들면, 통신부(1560)를 통해 서버, 다른 모바일 장치, 웨어러블 장치, 다른 PC 등과 통신하여, 데이터 및 제어신호를 교환할 수 있다.

한편, 개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다. 또한, 개시된 실시예들은 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체로 구현될 수 있다.

컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 개시된 실시예들에 따른 전자 장치 및 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 단말(예로, 전자 장치, 휴대용 전자 장치, 웨어러블 장치 등)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 구체적인 예로, 제3 장치는 전자 장치를 원격 제어하여, 전자 장치 동작 방법을 수행하도록 제어할 수 있다.

제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (20)

1. 입사광을 광전 변환하여 검출 신호를 생성하는 카메라; 및
   상기 카메라의 동작을 제어하고, 상기 검출 신호를 처리하는 하나 이상의 프로세서를 포함하고,
   상기 하나 이상의 프로세서는,
   상기 검출 신호로부터 복수의 입력 영상을 생성하고,
   상기 복수의 입력 영상 각각의 밝기에 관련된 정보에 기초하여, 상기 카메라에 적용되는 제1 파라미터를 결정하고,
   상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처(feature)를 검출하고,
   상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하고,
   상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 제1 파라미터를 조절하는, 전자 장치.
2. 제1항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 복수의 입력 영상 각각으로부터 텍스처(texture) 정보를 생성하고,
   상기 텍스처 정보에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하고,
   상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 텍스처 정보에 기초하여 상기 제1 파라미터를 조절하는, 전자 장치.
3. 제2항에 있어서,
   상기 텍스처 정보는 텍스처의 사이즈를 포함하고,
   상기 하나 이상의 프로세서는, 상기 복수의 입력 영상 각각에서 2차원 자기 상관(2D autocorrelation)을 이용하여 상기 텍스처의 사이즈를 산출하는, 전자 장치.
4. 제1항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 복수의 입력 영상 각각의 밝기에 관련된 정보에 기초하여, 상기 복수의 입력 영상 각각을 생성할 때 적용되는 다이나믹 레인지(dynamic range)를 결정하고,
   상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 다이나믹 레인지의 갱신 여부를 결정하고,
   상기 다이나믹 레인지를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 다이나믹 레인지를 조절하는, 전자 장치.
5. 제1항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처를 검출하여, 상기 적어도 하나의 피처의 개수를 산출하고,
   미리 저장된 밝기에 관련된 정보와 피처 수의 관계에 기초하여, 상기 제1 파라미터를 조절하는, 전자 장치.
6. 제1항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 복수의 입력 영상 각각의 밝기 값의 제1 히스토그램을 산출하고,
   상기 제1 히스토그램에 기초하여 상기 제1 파라미터를 결정하고,
   상기 제1 히스토그램에 기초하여, 상기 검출 신호로부터 해당 입력 영상을 생성할 때 적용되는 다이나믹 레인지를 결정하는, 전자 장치.
7. 제6항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 제1 히스토그램으로부터 상기 입력 영상의 최대 밝기 값 및 최소 밝기 값을 결정하고,
   상기 최대 밝기 값 및 상기 최소 밝기 값에 기초하여, 상기 다이나믹 레인지를 결정하는, 전자 장치.
8. 제6항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 제1 히스토그램에 기초하여, 입력 영상의 밝기 값의 적어도 하나의 구간을 정의하고,
   상기 밝기 값의 적어도 하나의 구간 각각에 대해 상기 다이나믹 레인지를 결정하는, 전자 장치.
9. 제1항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 복수의 입력 영상 각각에서 검출된 텍스처, 장면(scene) 변화, 밝기 값의 변화, 또는 상기 전자 장치의 움직임 정보 중 적어도 하나 또는 이들의 조합에 기초하여 상기 제1 파라미터의 갱신 여부를 결정하는, 전자 장치.
10. 제1항에 있어서,
    상기 제1 파라미터는, 상기 카메라의 이미지 센서의 출력 신호의 증폭에 이용되는 게인 값인, 전자 장치.
11. 카메라의 검출 신호로부터 복수의 입력 영상을 생성하는 단계;
    상기 복수의 입력 영상 각각의 밝기에 관련된 정보에 기초하여, 상기 카메라에 적용되는 제1 파라미터를 결정하는 단계;
    상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처(feature)를 검출하는 단계;
    상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하는 단계; 및
    상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 제1 파라미터를 조절하는 단계를 포함하는, 전자 장치 제어 방법.
12. 제11항에 있어서,
    상기 복수의 입력 영상 각각으로부터 텍스처(texture) 정보를 생성하는 단계;
    상기 텍스처 정보에 기초하여, 상기 제1 파라미터의 갱신 여부를 결정하는 단계; 및
    상기 제1 파라미터를 갱신하는 것으로 결정된 것에 기초하여, 상기 텍스처 정보에 기초하여 상기 제1 파라미터를 조절하는 단계를 더 포함하는 전자 장치 제어 방법.
13. 제12항에 있어서,
    상기 텍스처 정보는 텍스처의 사이즈를 포함하고,
    상기 전자 장치 제어 방법은, 상기 복수의 입력 영상 각각에서 2차원 자기 상관(2D autocorrelation)을 이용하여 상기 텍스처의 사이즈를 산출하는 단계를 더 포함하는, 전자 장치 제어 방법.
14. 제11항에 있어서,
    상기 복수의 입력 영상 각각의 밝기에 관련된 정보 기초하여, 상기 복수의 입력 영상 각각을 생성할 때 적용되는 다이나믹 레인지(dynamic range)를 결정하는 단계;
    상기 적어도 하나의 피처의 검출 결과에 기초하여, 상기 다이나믹 레인지의 갱신 여부를 결정하는 단계; 및
    상기 다이나믹 레인지를 갱신하는 것으로 결정된 것에 기초하여, 상기 적어도 하나의 피처의 밝기 값에 기초하여 상기 다이나믹 레인지를 조절하는 단계를 더 포함하는, 전자 장치 제어 방법.
15. 제11항에 있어서,
    상기 복수의 입력 영상 각각으로부터 적어도 하나의 피처를 검출하여, 상기 적어도 하나의 피처의 개수를 산출하는 단계;
    미리 저장된 밝기에 관련된 정보와 피처 수의 관계에 기초하여, 상기 제1 파라미터를 조절하는 단계를 더 포함하는, 전자 장치 제어 방법.
16. 제11항에 있어서,
    상기 복수의 입력 영상 각각의 밝기 값의 제1 히스토그램을 산출하는 단계;
    상기 제1 히스토그램에 기초하여 상기 제1 파라미터를 결정하는 단계; 및
    상기 제1 히스토그램에 기초하여, 상기 검출 신호로부터 해당 입력 영상을 생성할 때 적용되는 다이나믹 레인지를 결정하는 단계를 더 포함하는 전자 장치 제어 방법.
17. 제16항에 있어서,
    상기 제1 히스토그램으로부터 상기 입력 영상의 최대 밝기 값 및 최소 밝기 값을 결정하는 단계; 및
    상기 최대 밝기 값 및 상기 최소 밝기 값에 기초하여, 상기 다이나믹 레인지를 결정하는 단계를 더 포함하는 전자 장치 제어 방법.
18. 제16항에 있어서,
    상기 제1 히스토그램에 기초하여, 입력 영상의 밝기 값의 적어도 하나의 구간을 정의하는 단계; 및
    상기 밝기 값의 적어도 하나의 구간 각각에 대해 상기 다이나믹 레인지를 결정하는 단계를 더 포함하는 전자 장치 제어 방법.
19. 제11항에 있어서,
    상기 복수의 입력 영상 각각에서 검출된 텍스처, 장면(scene) 변화, 밝기 값의 변화, 또는 상기 전자 장치의 움직임 정보 중 적어도 하나 또는 이들의 조합에 기초하여 상기 제1 파라미터의 갱신 여부를 결정하는 단계를 더 포함하는 전자 장치 제어 방법.
20. 제11항의 전자 장치 제어 방법을 수행하는 컴퓨터 프로그램 인스트럭션을 포함하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체.

Images