KR101810956B1 - 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법 - Google Patents

롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법 Download PDF

Info

Publication number
KR101810956B1
KR101810956B1 KR1020160070843A KR20160070843A KR101810956B1 KR 101810956 B1 KR101810956 B1 KR 101810956B1 KR 1020160070843 A KR1020160070843 A KR 1020160070843A KR 20160070843 A KR20160070843 A KR 20160070843A KR 101810956 B1 KR101810956 B1 KR 101810956B1
Authority
KR
South Korea
Prior art keywords
unit
image
interest
illumination
information
Prior art date
Application number
KR1020160070843A
Other languages
English (en)
Other versions
KR20170138708A (ko
Inventor
강도영
윤한로
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020160070843A priority Critical patent/KR101810956B1/ko
Priority to CN201680085009.4A priority patent/CN109076176A/zh
Priority to PCT/KR2016/007695 priority patent/WO2017204406A1/ko
Priority to US16/096,504 priority patent/US20190141264A1/en
Priority to JP2018554476A priority patent/JP2019514302A/ja
Publication of KR20170138708A publication Critical patent/KR20170138708A/ko
Application granted granted Critical
Publication of KR101810956B1 publication Critical patent/KR101810956B1/ko
Priority to US16/775,721 priority patent/US20200169678A1/en
Priority to JP2020088067A priority patent/JP2020145724A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H04N5/3532—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/232—
    • H04N5/335—
    • H04N5/353—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법이 제공된다. 촬상 장치는, 피사체에 광을 조사하는 조명부; 롤링 셔터 구동 방식의 이미지 센서를 포함하고, 동영상 모드로 피사체를 촬영하여 생성한 영상 정보를 실시간 출력하는 카메라부; 상기 카메라부에서 제공된 영상 정보로 구성한 영상 프레임에서 미리 지정된 관심 물체를 검출하고, 미리 지정된 방식에 따라 검출된 관심 물체를 중심으로 하는 관심 영역을 설정하여 이에 상응하는 관심 영역 정보를 생성하는 분석부; 및 카메라 제어값을 설정하여 상기 카메라부의 동작을 제어하고, 상기 카메라부가 후속 영상 프레임에 상응하는 촬영시 상기 관심 영역 정보에 상응하는 시간 범위에서만 조명이 점등되도록 상기 조명부의 동작을 제어하는 제어부를 포함한다.

Description

롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법{Camera device having image sensor of rolling shutter type and lighting control method}
본 발명은 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법에 관한 것이다.
촬상 장치는 의도적으로 광을 조사하여 피사체에 대한 촬영을 수행할 때, 주변 잡광에 비해 상대적으로 강한 광을 센서의 노출시간 전 범위에 걸쳐 피사체에 조사한다. 그러나 주변 잡광에 비해 강한 광을 소정의 시간 동안 조명으로 조사할 때 많은 양의 전력이 소모된다.
종래의 글로벌 셔터(global shutter) 방식의 이미지 센서가 이용되는 경우에는, 전체 영상의 화소가 동일한 노출 타이밍을 가지고 있어 조명을 센서의 노출시간 동안 점등하여 조명에 따른 전력 소모량을 감소시키는 것이 어렵지 않았다.
그러나 롤링 셔터 방식의 이미지 센서는 영상의 각 라인별로 순차적인 노출 타이밍을 가지고 있어 글로벌 셔터 방식과 동일한 방법으로는 조명에 따른 전력 소모량을 감소시킬 수 없는 한계가 있었다.
즉, 도 1에 예시된 바와 같이, VGA 센서의 경우 480 라인의 노출 타이밍이 전체 프레임 주기에 걸쳐 존재하고 있어 이미지 센서의 노출 시간동안 조명이 점등된 상태가 유지되어야 하고, 연속된 영상 촬영의 경우라면 조명이 상시 점등된 상태를 유지하고 있어야 하는 문제점이 있었다.
한국공개특허 제2015-0136746호(씨모스 롤링셔터 방식 감시카메라용 조광 시스템)
본 발명은 연속된 각 프레임에서 관심 영역을 추적하고 검출하여 조명의 점등 구간을 조절함으로써 조명에 따른 전력 소모량을 감소시킬 수 있는 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 촬상 장치에 있어서, 피사체에 광을 조사하는 조명부; 롤링 셔터(rolling shutter) 구동 방식의 이미지 센서를 포함하고, 동영상 모드로 피사체를 촬영하여 생성한 영상 정보를 실시간 출력하는 카메라부; 상기 카메라부에서 제공된 영상 정보로 구성한 영상 프레임에서 미리 지정된 관심 물체를 검출하고, 미리 지정된 방식에 따라 검출된 관심 물체를 중심으로 하는 관심 영역을 설정하여 이에 상응하는 관심 영역 정보를 생성하는 분석부; 및 카메라 제어값을 설정하여 상기 카메라부의 동작을 제어하고, 상기 카메라부가 후속 영상 프레임에 상응하는 촬영시 상기 관심 영역 정보에 상응하는 시간 범위에서만 조명이 점등되도록 상기 조명부의 동작을 제어하는 제어부를 포함하는 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치가 제공된다.
상기 제어부는 상기 카메라부로부터 프레임 동기화(Vsync) 신호와 라인 동기화(Hsync) 신호를 입력받고, 입력된 라인 동기화 신호를 카운트하여 상기 관심 영역 정보에 만족되는 개시 시점에서 상기 조명부가 조명을 점등하도록 제어하고, 상기 관심 영역 정보에 만족되는 종료 시점에서 상기 조명부가 조명을 소등하도록 제어할 수 있다.
상기 카메라 제어값은 상기 영상 프레임이 미리 지정된 평균 밝기를 가지도록 설정된 상기 이미지 센서의 노출값 및 게인값일 수 있다.
상기 조명부가 미리 지정된 파장의 적외선 광을 조사하는 경우, 상기 카메라부는 상기 미리 지정된 파장의 적외선 광만을 선택적으로 통과시키는 밴드 패스 필터를 구비하여, 상기 밴드 패스 필터를 통과한 적외선 광에 따른 영상 정보를 생성할 수 있다.
본 발명의 다른 측면에 따르면, 롤링 셔터 구동 방식의 이미지 센서가 구비된 촬상 장치의 조명 제어 방법에 있어서, (a) 제어부가 카메라 제어값을 제공하여 롤링 셔터 구동 방식으로 피사체에 대한 동영상 촬영을 실시하는 카메라부의 동작을 제어하는 단계; (b) 상기 제어부가 상기 카메라부로부터 프레임 동기화 신호와 라인 동기화 신호를 입력받고, 입력되는 라인 동기화 신호를 카운팅하여 미리 설정된 조명 제어값에 부합되는 라인 동기화 신호가 입력되는 동안에만 조명부가 점등되도록 제어하는 단계; (c) 분석부가 상기 카메라부로부터 제공된 영상 정보에 의해 생성된 현재 프레임에서 미리 지정된 관심 물체를 검출하고, 상기 관심 물체를 중심으로 하는 관심 영역을 설정하여 이에 상응하는 관심 영역 정보를 생성하는 단계; 및 (d) 상기 단계 (c)에서 생성된 관심 영역 정보가 앞선 프레임에 대한 관심 영역 정보와 상이한 경우, 상기 제어부는 후속 프레임에 대한 촬영시 적용될 상기 카메라 제어값 및 상기 조명 제어값 중 하나 이상을 변경하는 단계를 포함하는, 조명 제어 방법이 제공된다.
상기 단계 (a) 내지 상기 단계 (d)는 상기 카메라부에 의한 촬영 동작이 지속되는 동안 반복될 수 있다.
상기 조명부는 미리 지정된 파장의 적외선 광을 피사체를 향해 조사하고, 상기 영상 정보는 상기 카메라부에 구비된 상기 미리 지정된 파장의 적외선 광만을 선택적으로 통과시키는 밴드 패스 필터를 통과한 적외선 광에 의해 생성될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 연속된 각 프레임에서 관심 영역(예를 들어 운전자의 졸음 감지를 위한 눈 영역 등)을 추적하고 검출하여 조명의 점등 구간을 조절함으로써 조명에 따른 전력 소모량을 감소시킬 수 있는 효과가 있다.
도 1은 종래기술에 따른 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치의 조명 점등 구간을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치의 구성을 개략적으로 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른 촬상 장치의 관심 영역 지정 과정을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 촬상 장치의 조명 점등 구간에 따른 촬영 영상을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 촬상 장치의 조명 제어 방법을 나타낸 순서도.
도 6은 본 발명의 일 실시예에 따른 관심 영역의 변동에 따른 조명 점등 구간의 변동 방법을 설명하기 위한 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일 실시예에 따른 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치의 구성을 개략적으로 나타낸 블록도이고, 도 3은 본 발명의 일 실시예에 따른 촬상 장치의 관심 영역 지정 과정을 설명하기 위한 도면이며, 도 4는 본 발명의 일 실시예에 따른 촬상 장치의 조명 점등 구간에 따른 촬영 영상을 예시한 도면이다.
도 2를 참조하면, 촬상 장치(200)는 카메라부(210), 분석부(220), 제어부(230) 및 조명부(240)를 포함한다. 분석부(220)가 제어부(230)의 일 구성으로 포함될 수도 있으나, 편의상 본 실시예에서는 독립된 구성인 것으로 설명한다.
촬상 장치(200)가 카메라부(210)에 의해 촬상된 영상을 처리하여 디스플레이 장치(도시되지 않음)를 통해 출력하거나, 영상을 해석하여 미리 지정된 목적에 따른 판단(예를 들어 운전자의 얼굴 부위를 촬영하고 눈 영역을 검출하여 졸음 운전 여부의 판단 등)을 수행하는 경우에는 도시된 바와 같이 영상 처리부(250) 등이 더 포함될 수도 있다.
카메라부(210)는 롤링 셔터 구동 방식의 이미지 센서와 이미지 시그널 프로세서(Image Signal Processor)를 포함한다. 카메라부(210)는 제어부(230)로부터 제공되는 카메라 제어값(즉, 이미지 센서의 노출값 및/또는 게인값)에 상응하도록 피사체를 촬영하고, 촬영된 영상에 상응하는 프레임 동기화 신호(Vsync signal) 및 라인 동기화 신호(Hsync signal)를 제어부(230)로 제공한다. 또한 카메라부(210)는 카메라 제어값에 따라 촬영한 영상에 상응하는 영상 정보를 관심 영역 결정을 위해 분석부(220)로 제공한다.
분석부(220)는 카메라부(210)로부터 제공받은 영상 정보, 즉 특정 프레임에 해당되는 영상 정보를 이용하여 관심 영역 정보(예를 들어, 하나의 프레임 내에서 지정한 좌표 구간 정보 등)를 생성하고, 생성한 관심 영역 정보를 제어부(230)로 제공한다.
도 3에 예시된 바와 같이, 관심 영역(330)을 규정하기 위한 관심 영역 정보는 예를 들어 미리 지정된 관심 물체(330)의 모양, 크기 및 위치 중 하나 이상에 상응하도록 생성될 수 있다. 관심 물체(330)의 모양, 크기 및 위치 중 하나 이상에 관한 정보는 저장부(도시되지 않음)에 미리 저장될 수 있다.
예를 들어, n번째 프레임에서 적용될 관심 영역 정보는, 저장부(도시되지 않음)에 미리 저장된 관심 물체(320)의 모양, 크기 및 위치 중 하나 이상에 근거하고 n-2번째 프레임의 관심 물체(320)의 위치에 기반하여 n-1번째 프레임에 대해 칼만 필터, 파티클 필터 등의 트래킹(tracking) 알고리즘을 적용하거나, 관심 물체(320) 검출을 위한 에지 검출(edge detection)을 실시하는 등의 방법으로 n-1번째 프레임에서 검출한 관심 물체(320)의 위치를 토대로 설정될 수 있다(도 3의 (a) 및 (c) 참조). 또한 예를 들어 관심 물체(320)의 검출을 위해 부스팅(boosting), SVM, 인공신경망 등 기계학습 알고리즘이 이용될 수 있고, 본 실시예에 따른 촬상 장치(200)가 졸음 운전 판단을 위해 운전자의 눈동자를 확인하는 목적으로 이용되는 경우 아바부스트(ababoost) 알고리즘 등이 더 이용될 수도 있을 것이다.
관심 영역(330)은 도 3의 (b)에 예시된 바와 같이, 관심 물체(320)를 기준으로 예를 들어 소정 길이의 수직 라인(도 3의 (b1) 참조)으로 지정되거나 관심 물체(320)의 중심점을 기준한 소정 반지름의 원 영역(도 3의 (b2) 참조) 등으로 지정될 수 있다. 이와 같이, 후속될 프레임에서 적용될 관심 영역 정보는 이전 및/또는 현재 프레임에 대한 관심 물체(320) 검출 처리를 수행하는 분석부(220)에 의해 지속적으로 갱신될 수 있다.
물론, 관심 물체(320)의 위치 분석 및 관심 영역(330)의 설정을 위해 소정이 시간이 소요되는 경우 기술적 또는 제품적 한계로 n-3번째 프레임의 분석을 통해 설정된 관심 영역 정보가 n번째 프레임에 대해 적용되는 등 시간적 지연이 존재할 수도 있다. 그러나, 이러한 기술적 제한이 연속된 프레임에서 이전 프레임의 분석을 통해 지정된 관심 영역 정보가 후속하는 프레임의 촬영시 조명 제어를 위한 정보로 이용되는 본 발명의 기술적 사상을 제한하거나 저해하지 않음은 당연하다.
전술한 바와 같이, 갱신된 관심 영역 정보는 조명 구간 한정에 따른 전력 소모량 절감 및 영상 처리 속도의 향상에 기여될 수 있다.
즉, 후술될 영상 처리부(250)가 미리 지정된 판단을 수행함에 있어 관심 영역 정보에 의해 지정된 관심 영역 이외의 영역에 대해서는 별도의 영상 처리 및 판단이 실시되지 않기 때문에 프레임당 영상 처리 속도가 향상될 수 있는 장점이 있다. 예를 들어 본 실시예에 따른 촬상 장치(200)가 졸음 운전 여부의 판단을 위해 운전자의 얼굴 영상을 촬영한다면, 운전자의 눈 영역 또는 눈동자인 관심 물체(330)를 중심으로 관심 영역(330)이 지정됨으로써 영상 처리부(250)에 의한 영상 처리 부하가 최소화되고, 따라서 영상 처리 속도 및 졸음 운전 여부의 판단에 소요되는 시간이 최소화될 수 있다.
또한 신규로 생성된 관심 영역 정보는 제어부(230)로 제공되어, 후속 프레임 촬영을 위한 조명부(240)의 조명 구간 제어를 위한 기초 정보로 활용될 수 있고, 이를 통해 조명에 따른 소모 전력량을 감소될 수 있다. 이는, 관심 영역(330) 이외의 영역 촬영시에는 조명이 조사될 필요가 없기 때문에, 조명이 점등되는 구간을 최소화할 수 있기 때문이다.
여기서 만일, 필요한 영상의 프레임 레이트보다 상대적으로 고속의 프레임 레이트로 출력이 가능한 카메라부(210)가 이용되는 경우에는 입력된 영상의 프레임들 중 일부는 스킵하는 방식으로 조명을 점등시킴으로써 보다 큰 전력 절감 효과를 얻을 수도 있을 것이다.
제어부(230)는 분석부(220)로부터 제공받은 관심 영역 정보를 참조하여 카메라부(210)에 대한 카메라 제어값(즉, 평균 밝기를 가지는 영상을 획득하기 위해 설정되는 이미지 센서의 노출값, 게인값)을 유지하거나 변경하고, 관심 영역(330)에 상응하는 조명 점등 구간에 상응하는 조명 제어값(즉, Hsync 카운트값)을 설정한다.
즉, 제어부(230)는 카메라 제어값에 상응하여 촬영된 현재 프레임의 영상 정보를 토대로 분석부(220)가 분석한 관심 영역 정보를 토대로 후속 프레임에 대한 조명 제어값을 설정한다. 이후, 카메라부(210)로부터 입력되는 프레임 동기화(Vsync) 신호에 의해 후속 프레임의 시작을 인지하고, 카메라부(210)로부터 입력되는 라인 동기화(Hsync) 신호를 카운트하여 조명 제어값에 상응하는, 즉 관심 영역에 해당하는 라인의 노출 타이밍이라고 판단되면 조명부(240)에 조명 점등 트리거 신호를 입력하고, 관심 영역에 해당하는 라인의 노출 타이밍이 종료되었다고 판단되면 조명부(240)에 조명 소등 트리거 신호를 입력한다.
또한 제어부(230)는 연속된 영상 프레임에서의 관심 물체(320)의 위치 변동에 상응하도록 갱신된 관심 영역 정보에 따라 노출 시간을 조정하거나, 조명 점등 구간을 조정하는 등 구동 설정값(즉, 카메라 제어값, 조명 제어값)을 갱신 설정할 수 있다.
조명부(240)는 피사체에 광을 조사하되, 제어부(230)의 조명 점등/소등 트리거 신호에 상응하여 조명을 점등 또는 소등한다.
조명부(240)는 예를 들어 미리 지정된 파장 대역을 포함하는 적외선 광을 피사체에 조사하도록 구성될 수 있다. 이 경우, 카메라부(210)에는 미리 지정된 파장의 적외선 광만을 선택적으로 통과시키는 밴드 패스 필터가 구비되도록 함으로써 예를 들어 촬영 영상에 대한 관심 물체 검출, 운전자의 졸음 판단 등에서 태양광에 따른 영향을 최소화할 수 있다.
도 4에는 제어부(230)의 제어에 따라 조명부(240)가 조명 점등 및 소등을 실시하고, 이 상황에서 카메라부(210)가 촬영한 영상이 예시되어 있다. 도시된 바와 같이, ① 구간에 비해 ② 구간이 상대적으로 밝게 처리되는 것과 같이 하나의 프레임에서 각 구간(예를 들어, 라인)의 노출 시간동안 유입된 광의 양에 따라 영상의 선명도가 상이해지기 때문에, 제어부(230)는 관심 영역(330)으로 지정된 구간에 대해서는 노출 시간 전체에 대해 광 노출이 이루어지도록 조명부(240)의 동작을 제어할 수 있다. 참고로, 동일한 조명 제어값이 적용될 때 이미지 센서의 노출 시간이 길어지면 ① 구간이 감소되고 ② 구간이 증가될 것이다. 또한 동일한 카메라 제어값이 적용될 때 점등 구간이 길어지면 ③ 구간이 증가되고, ① 구간 및 ② 구간이 감소될 것이다.
이와 같이, 카메라부(210)에 롤링 셔터 구동 방식의 이미지 센서가 구비되었으나, 하나의 프레임 중 관심 영역(330)에 대해서만 제한적으로 조명이 점등 처리가 이루어지도록 함으로써, 하나의 프레임 전체에 대해 조명의 점등 처리가 요구되던 종래의 구조에 비해 상대적으로 전력 소모량이 감소되는 장점이 있다.
또한, 예를 들어 촬상 장치(200)가 차량 내에 설치되어 졸음 운전 여부의 판단을 위해 운전자의 얼굴 영상을 촬영하는 등의 목적으로 활용되는 경우, 운전자의 눈 영역 또는 눈동자 이외의 영역은 처리 또는 판단이 불필요한 영역이므로, 관심 영역(330)에 집중하여 조명 제어 및 영상 처리가 이루어질 수 있어 최소한의 전력 소모만으로 빠른 영상 처리 및 판단이 가능해질 수 있다.
도 5는 본 발명의 일 실시예에 따른 촬상 장치의 조명 제어 방법을 나타낸 순서도이고, 도 6은 본 발명의 일 실시예에 따른 관심 영역의 변동에 따른 조명 점등 구간의 변동 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 단계 510에서 제어부(230)는 현재 설정된 관심 영역 정보에 상응하는 구동 설정값을 지정한다. 구동 설정값은 예를 들어 이미지 센서의 노출값 및 게인값 중 하나 이상으로 카메라부(210)에 제공되는 카메라 제어값과 조명 점등/소등 구간을 지정하기 위해 조명부(240)의 동작을 제어하는 조명 제어값일 수 있다.
단계 520에서 제어부(230)는 신규 영상 프레임 데이터가 입력 개시되는지 판단한다. 제어부(230)는 예를 들어 카메라부(210)로부터 입력되는 프레임 동기화(Vsync) 신호에 의해 신규 프레임 데이터의 시작을 인지할 수 있다.
신규 영상 프레임 데이터가 입력 개시되지 않으면, 단계 520에서 대기한다. 그러나 만약 신규 영상 프레임 데이터가 입력되면, 단계 530에서 제어부(230)는 지정된 조명 제어값을 참조하고, 카메라부(210)로부터 입력되는 라인 동기화(Hsync) 신호를 카운트하여 관심 영역(330)에 해당하는 라인의 노출 타이밍이라고 판단되면 조명부(240)가 조명을 점등하도록 제어하고, 관심 영역(330)에 해당하는 라인의 노출 타이밍이 종료되었다고 판단되면 조명부(240)가 조명을 소등하도록 제어한다.
단계 540에서 분석부(220)는 카메라부(210)로부터 하나의 프레임에 해당되는 영상 정보가 모두 제공되었는지 판단한다. 만일 하나의 프레임에 해당되지 않으면 하나의 프레임에 해당되는 영상 정보가 입력될 때까지 대기한다.
그러나 만일 하나의 프레임에 해당되는 영상 정보가 입력되었다면, 단계 550에서 분석부(220)는 입력된 하나의 프레임에서 관심 물체(320)를 검출하고, 검출된 관심 물체(320)의 위치를 토대로 미리 지정된 방식으로 관심 영역(330)을 설정하며, 설정한 관심 영역 정보(예를 들어 좌표 정보)를 제어부(230)로 입력한다. 만일 관심 영역 정보가 이전과 동일하게 유지되는 경우라면 제어부(230)로 관심 영역 정보의 입력은 생략될 수도 있다.
도 3을 참조하여 이미 설명한 바와 같이, 현재 프레임에서의 관심 영역은, 저장부(도시되지 않음)에 미리 저장된 관심 물체(320)의 모양, 크기 및 위치 중 하나 이상에 기반하여 앞선(즉, 직전 또는 이전) 프레임에서의 관심 물체(320)의 위치 트래킹(tracking) 기법 및 촬영된 물체들에 대한 에지 검출(edge detection) 등 중 하나 이상의 방법에 의해 검출된 관심 물체(320)의 위치를 토대로 미리 지정된 크기 및 형상으로 설정될 수 있다.
그리고 전술한 바와 같이, 앞선 프레임과 현재 프레임에서 촬영된 관심 물체(320)의 위치 및/또는 크기 변동에 따라 관심 영역(330)은 지속적으로 갱신될 수 있다.
예를 들어, 도 6의 (a)에 예시된 바와 같이 분석부(220)가 관심 물체(320)가 상방향 또는 하방향으로 이동된 것으로 분석한 경우, 분석부(220)는 관심 영역(330)이 상방향 또는 하방향으로 이동된 관심 영역 정보를 생성하여 제어부(230)로 제공할 수 있다. 이에 상응하도록 제어부(230)는 조명부(240)의 점등 구간 제어를 위한 조명 제어값을 당기거나 늦추는 등의 방식으로 조정할 수 있다.
이외에, 관심 물체(320)의 크기가 작아져 관심 영역이 상대적으로 좁아진 경우, 도 4의 ② 구간으로 예시된 바와 같이 제어부(230)는 이미지 센서의 노출값을 늘리고(즉, 노출 시간을 늘리고) 게인을 감소시키도록 카메라 제어값을 갱신하거나, 점등 구간이 짧아지도록 조명 제어값을 갱신할 수 있다. 이때 게인값이 감소되면 화질이 개선될 수 있는 장점이 있다.
또한, 관심 물체(320)의 크기가 커져 관심 영역이 상대적으로 넓어지는 경우, 짧은 점등 구간에서도 선명한 화질을 얻을 수 있도록 하기 위해 노출 시간을 감소시키도록 카메라 제어값을 갱신하거나, 점등 구간이 길어지도록 조명 제어값을 갱신할 수도 있다.
다시 도 5를 참조하면, 단계 560에서 제어부(230)는 관심 영역 정보가 변경되었는지 여부를 판단한다. 만일 관심 영역 정보가 변경되지 않았다면, 단계 520으로 진행하여 제어부(230)는 기존에 적용된 구동 설정값을 이용하여 전술한 처리가 진행되도록 한다.
그러나 만일 관심 영역 정보가 변경되었다면 제어부(230)는 단계 570에서 변경된 관심 영역 정보에 상응하도록 구동 설정값을 갱신하고, 단계 520으로 진행하여 갱신된 구동 설정값에 따라 전술한 처리가 진행되도록 한다.
상술한 조명 제어 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현할 수 있다. 상기 정보저장매체는 자기 기록매체, 광 기록매체를 포함할 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
200 : 촬상 장치 210 : 카메라부
220 : 분석부 230 : 제어부
240 : 조명부 250 : 영상 처리부
320 : 관심 물체 330 : 관심 영역

Claims (8)

  1. 촬상 장치에 있어서,
    피사체에 광을 조사하는 조명부;
    롤링 셔터(rolling shutter) 구동 방식의 이미지 센서를 포함하고, 동영상 모드로 피사체를 촬영하여 생성한 영상 정보를 실시간 출력하는 카메라부;
    상기 카메라부에서 제공된 영상 정보로 구성한 영상 프레임에서 미리 지정된 관심 물체를 검출하고, 미리 지정된 방식에 따라 검출된 관심 물체를 중심으로 하는 관심 영역을 설정하여 이에 상응하는 관심 영역 정보를 생성하는 분석부; 및
    카메라 제어값을 설정하여 상기 카메라부의 동작을 제어하고, 상기 카메라부가 후속 영상 프레임에 상응하는 촬영시 상기 관심 영역 정보에 상응하는 시간 범위에서만 조명이 점등되도록 상기 조명부의 동작을 제어하는 제어부를 포함하는 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 카메라부로부터 프레임 동기화(Vsync) 신호와 라인 동기화(Hsync) 신호를 입력받고, 입력된 라인 동기화 신호를 카운트하여 상기 관심 영역 정보에 만족되는 개시 시점에서 상기 조명부가 조명을 점등하도록 제어하고, 상기 관심 영역 정보에 만족되는 종료 시점에서 상기 조명부가 조명을 소등하도록 제어하는 것을 특징으로 하는, 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치.
  3. 제1항에 있어서,
    상기 카메라 제어값은 상기 영상 프레임이 미리 지정된 평균 밝기를 가지도록 설정된 상기 이미지 센서의 노출값 및 게인값인 것을 특징으로 하는, 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치.
  4. 제1항에 있어서,
    상기 조명부가 미리 지정된 파장의 적외선 광을 조사하는 경우,
    상기 카메라부는 상기 미리 지정된 파장의 적외선 광만을 선택적으로 통과시키는 밴드 패스 필터를 구비하여, 상기 밴드 패스 필터를 통과한 적외선 광에 따른 영상 정보를 생성하는 것을 특징으로 하는, 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치.
  5. 롤링 셔터 구동 방식의 이미지 센서가 구비된 촬상 장치의 조명 제어 방법에 있어서,
    (a) 제어부가 카메라 제어값을 제공하여 롤링 셔터 구동 방식으로 피사체에 대한 동영상 촬영을 실시하는 카메라부의 동작을 제어하는 단계;
    (b) 상기 제어부가 상기 카메라부로부터 프레임 동기화 신호와 라인 동기화 신호를 입력받고, 입력되는 라인 동기화 신호를 카운팅하여 미리 설정된 조명 제어값에 부합되는 라인 동기화 신호가 입력되는 동안에만 조명부가 점등되도록 제어하는 단계;
    (c) 분석부가 상기 카메라부로부터 제공된 영상 정보에 의해 생성된 현재 프레임에서 미리 지정된 관심 물체를 검출하고, 상기 관심 물체를 중심으로 하는 관심 영역을 설정하여 이에 상응하는 관심 영역 정보를 생성하는 단계; 및
    (d) 상기 단계 (c)에서 생성된 관심 영역 정보가 앞선 프레임에 대한 관심 영역 정보와 상이한 경우, 상기 제어부는 후속 프레임에 대한 촬영시 적용될 상기 카메라 제어값 및 상기 조명 제어값 중 하나 이상을 변경하는 단계를 포함하되,
    상기 조명 제어값은 상기 관심 영역으로 지정된 구간에 대해서는 노출 시간 전체에 대해 광 노출이 이루어지도록 상기 조명부를 제어하기 위한 정보이고,
    상기 단계 (b)에서 상기 조명부는 상기 관심 영역 정보에 만족되는 개시 시점에서 조명을 점등하도록 제어되고, 상기 관심 영역 정보에 만족되는 종료 시점에서 조명을 소등하도록 제어되는 것을 특징으로 하는, 조명 제어 방법.
  6. 제5항에 있어서,
    상기 단계 (a) 내지 상기 단계 (d)는 상기 카메라부에 의한 촬영 동작이 지속되는 동안 반복되는 것을 특징으로 하는, 조명 제어 방법.
  7. 제5항에 있어서,
    상기 조명부는 미리 지정된 파장의 적외선 광을 피사체를 향해 조사하고,
    상기 영상 정보는 상기 카메라부에 구비된 상기 미리 지정된 파장의 적외선 광만을 선택적으로 통과시키는 밴드 패스 필터를 통과한 적외선 광에 의해 생성되는 것을 특징으로 하는, 조명 제어 방법.
  8. 제5항 내지 제7항 중 어느 한 항에 기재된 조명 제어 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.
KR1020160070843A 2016-05-25 2016-06-08 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법 KR101810956B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020160070843A KR101810956B1 (ko) 2016-06-08 2016-06-08 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법
CN201680085009.4A CN109076176A (zh) 2016-05-25 2016-07-14 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法
PCT/KR2016/007695 WO2017204406A1 (ko) 2016-05-25 2016-07-14 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법
US16/096,504 US20190141264A1 (en) 2016-05-25 2016-07-14 Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof
JP2018554476A JP2019514302A (ja) 2016-05-25 2016-07-14 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
US16/775,721 US20200169678A1 (en) 2016-05-25 2020-01-29 Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof
JP2020088067A JP2020145724A (ja) 2016-05-25 2020-05-20 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160070843A KR101810956B1 (ko) 2016-06-08 2016-06-08 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법

Publications (2)

Publication Number Publication Date
KR20170138708A KR20170138708A (ko) 2017-12-18
KR101810956B1 true KR101810956B1 (ko) 2017-12-26

Family

ID=60922835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070843A KR101810956B1 (ko) 2016-05-25 2016-06-08 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법

Country Status (1)

Country Link
KR (1) KR101810956B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527053B2 (en) 2018-12-12 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus of processing image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570790B1 (ko) * 2018-11-06 2023-08-24 한화비전 주식회사 열화상 카메라
US11599974B2 (en) * 2019-11-22 2023-03-07 Nec Corporation Joint rolling shutter correction and image deblurring
KR102460660B1 (ko) 2020-08-24 2022-10-31 현대모비스 주식회사 카메라 내장 헤드램프의 램프 제어기 연동 시스템 및 방법
WO2022051729A1 (en) * 2020-09-04 2022-03-10 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Exploiting camera rolling shutter to detect high frequency signals
CN115484415B (zh) * 2021-05-31 2024-04-09 浙江宇视科技有限公司 一种图像曝光处理方法、装置、系统及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318581A (ja) * 2006-05-29 2007-12-06 Casio Comput Co Ltd 撮像装置、撮影補助光源発光／撮像制御方法、および撮影補助光源発光／撮像制御プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318581A (ja) * 2006-05-29 2007-12-06 Casio Comput Co Ltd 撮像装置、撮影補助光源発光／撮像制御方法、および撮影補助光源発光／撮像制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527053B2 (en) 2018-12-12 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus of processing image
US11830234B2 (en) 2018-12-12 2023-11-28 Samsung Electronics Co., Ltd. Method and apparatus of processing image

Also Published As

Publication number Publication date
KR20170138708A (ko) 2017-12-18

Similar Documents

Publication Publication Date Title
KR101810956B1 (ko) 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치 및 그 조명 제어 방법
JP2020145724A (ja) 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
US7430369B2 (en) Image capture apparatus and control method therefor
JP5761074B2 (ja) 撮像制御装置及びプログラム
KR20150101423A (ko) 카메라 노출 제어 장치 및 제어 방법
CN102148929A (zh) 成像设备、成像设备控制方法和程序
JP6601351B2 (ja) 視線計測装置
KR101606476B1 (ko) 카메라의 다중 노출 영상을 이용한 신호등 자동 인식 장치 및 방법
JP2008079055A (ja) 顔画像検出装置およびその制御方法
CN110769148A (zh) 一种基于人脸识别的摄像头自动控制方法及装置
WO2020179174A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
CN107018378A (zh) 一种出入口监控摄像机及监控系统
US11240439B2 (en) Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium
WO2017141730A1 (ja) 画像処理装置および方法、並びにプログラム
JP2008283379A (ja) 撮像装置及びプログラム
JP4084578B2 (ja) 文字認識方法及びその装置
JP2009044526A (ja) 撮影装置、撮影方法、人物認識装置および人物認識方法
US20120218457A1 (en) Auto-focusing camera device, storage medium, and method for automatically focusing the camera device
JP4586548B2 (ja) 物体検出装置および物体検出方法
JP2010023626A (ja) ドライバー監視装置
JP7475830B2 (ja) 撮像制御装置および撮像制御方法
JP4577301B2 (ja) 顔向き検知装置
KR102662564B1 (ko) 하이브리드 광원을 이용한 영상 품질 개선을 위한 카메라 장치
CN116801109A (zh) 一种低照度下的运动人物彩色特征抓取方法和计算机存储介质
KR101701165B1 (ko) 차량의 헤드라이트 시스템 및 그 운용 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant