KR20220075020A - 촬상 장치 및 그 제어 방법 - Google Patents

촬상 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220075020A
KR20220075020A KR1020200161168A KR20200161168A KR20220075020A KR 20220075020 A KR20220075020 A KR 20220075020A KR 1020200161168 A KR1020200161168 A KR 1020200161168A KR 20200161168 A KR20200161168 A KR 20200161168A KR 20220075020 A KR20220075020 A KR 20220075020A
Authority
KR
South Korea
Prior art keywords
flicker
shutter speed
frame rate
imaging device
image
Prior art date
Application number
KR1020200161168A
Other languages
English (en)
Inventor
박선영
김태호
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020200161168A priority Critical patent/KR20220075020A/ko
Priority to US17/387,898 priority patent/US20220166916A1/en
Priority to CN202111220541.1A priority patent/CN114554104A/zh
Publication of KR20220075020A publication Critical patent/KR20220075020A/ko

Links

Images

Classifications

    • H04N5/2357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H04N5/2253—
    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

실시예들에 따르면, 촬상 장치는, 촬상 소자, 촬상 소자를 구동하는 촬상 구동부, 촬상 소자가 촬상한 화상 내에서 플리커를 검출하는 제어부, 및 검출된 플리커의 특징 및 플리커가 검출되는 때의 촬상 소자의 제1 프레임 레이트 및 제1 셔터 스피드에 대한 데이터를 저장하는 메모리를 포함한다.

Description

촬상 장치 및 그 제어 방법{IMAGING APPARATUS AND METHOD FOR CONTROLLING THE SAME}
본 개시는 촬상 장치 및 그 제어 방법에 관한 것이다.
촬상 장치가 교류 전원을 사용하는 조명 하에서 피사체를 촬상하는 경우에, 촬상된 화상에 휘도 노이즈가 생기는 경우가 있다. 화상에 생기는 휘도의 주기적인 변화를 플리커(flicker)라고 한다.
한편, 픽셀이 배치된 표시 장치의 패널을 촬상 장치가 촬상하는 경우, 촬상 장치에서 화상이 촬상되는 주기와 표시 장치에서 화상이 표시되는 주기가 어긋나는 것으로 인하여 플리커가 발생하기도 한다.
플리커를 완화시키기 위해 광원의 교류 주파수를 조정하거나 표시 장치의 경우에는 화상이 표시되는 주기를 변경하는 기술이 제시되었으나, 기존에 존재하던 광원이나 표시 장치들에 대해서 교류 주파수 또는 화상이 표시되는 주기를 변경하는 것은 불가하다는 문제점이 있다.
실시예들은 촬상 영상에 발생할 수 있는 플리커를 감소시키기 위한 것이다.
실시예들은 촬상 영상의 화질을 향상시키기 위한 것이다.
일 실시예에 따른 촬상 장치는, 촬상 소자, 촬상 소자를 구동하는 촬상 구동부, 촬상 소자가 촬상한 화상 내에서 플리커를 검출하는 제어부, 및 검출된 플리커의 특징 및 플리커가 검출되는 때의 촬상 소자의 제1 프레임 레이트 및 제1 셔터 스피드에 대한 데이터를 저장하는 메모리를 포함한다.
플리커가 검출되면, 제어부는 제1 셔터 스피드와 상이한 제2 셔터 스피드로 촬상하도록 촬상 소자 구동부를 제어할 수 있다.
제2 셔터 스피드가 제1 프레임 레이트의 역수보다 크면, 제어부는, 제1 프레임 레이트와 상이한 제2 프레임 레이트로 촬상하도록 촬상 소자 구동부를 제어할 수 있다.
제2 프레임 레이트는 제1 프레임 레이트보다 클 수 있다.
제어부는, 미리 학습된 딥러닝/머신러닝 모델을 사용하여 제2 셔터 스피드를 결정하는 것으로, 딥러닝/머신러닝 모델은 플리커의 특징 및 플리커가 검출되는 때의 촬상 소자의 프레임 레이트 및 셔터 스피드로 학습되어 플리커가 감소되는 제2 셔터 스피드를 결정하도록 학습된 모델일 수 있다.플리커 특징은 화상 내에서 플리커로 인해 발생하는 줄무늬 개수, 줄무늬들 간의 간격, 및 줄무늬의 진하기 중 적어도 하나에 관한 것일 수 있다.
일 실시예에 따른 촬상 장치는, 셔터부, 셔터의 개폐에 의해 수신되는 광을 전기 신호로 변환하는 복수의 화소를 포함하는 촬상 소자, 및 촬상 소자가 촬상한 화상 내에서 플리커가 존재하는지 여부 및 플리커 특징을 검출하고, 검출된 플리커 특징에 기초하여 제1 프레임 레이트 및 제1 셔터 스피드로 촬상 소자를 구동하는, 제어부를 포함한다.
화상 내에서 플리커가 존재하는 경우에 제어부는 제1 셔터 스피드와 상이한 제2 셔터 스피드로 상기 촬상 소자를 구동할 수 있다.
제2 셔터 스피드가 제1 프레임 레이트의 역수보다 크면, 제어부는, 제1 프레임 레이트와 상이한 제2 프레임 레이트로 촬상 소자를 구동할 수 있다.
제어부는, 화상 내에서 검출된 플리커 특징 및 플리커 특징이 인식되는 프레임 레이트 및 셔터 스피드를 미리 학습된 딥러닝/머신러닝 모델에 입력하여 플리커가 존재하지 않는 플리커-프리 프레임 레이트 및 플리커-프리 셔터 스피드를 결정하도록 하고, 딥러닝/머신러닝 모델로부터 플리커-프리 프레임 레이트 및 플리커-프리 셔터 스피드를 수신하며, 제어부는, 촬상 소자 구동부로 하여금 플리커-프리 프레임 레이트 및 플리커-프리 셔터 스피드로 촬상 소자를 구동하도록 할 수 있다.
플리커 특징 및 플리커 특징이 인식되는 프레임 레이트 및 셔터 스피드의 데이터를 저장하는, 메모리를 더 포함하고, 딥러닝/머신러닝 모델은 메모리에 저장된 플리커 특징 및 플리커 특징이 인식되는 조건의 데이터를 사용하여 미리 학습된 것일 수 있다.
일 실시예에 따른 촬상 장치를 제어하는 방법은, 촬상 소자가, 제1 프레임 레이트 및 제1 셔터 스피드로 구동 주파수를 가지는 표시 장치를 촬상하는 단계, 제어부가, 촬상된 화상 내에서 플리커를 검출하는 단계, 메모리가, 플리커 특징 및 플리커 특징이 인식되는 조건의 데이터를 저장하는 단계로서, 조건의 데이터는 촬상 소자가 촬상하는 프레임 레이트 및 셔터 스피드를 포함하는, 저장하는 단계, 및 촬상된 화상 내에서 플리커를 검출하는 경우, 제어부가, 제1 셔터 스피드를 제2 셔터 스피드로 변경하는 단계를 포함하고, 제2 셔터 스피드는 제1 셔터 스피드와 상이할 수 있다.
제어부가, 제2 셔터 스피드가 제1 프레임 레이트의 역수보다 크면, 제1 프레임 레이트를 제1 프레임 레이트와 상이한 제2 프레임 레이트로 변경하는 단계를 더 포함할 수 있다.
제2 프레임 레이트는 제1 프레임 레이트보다 클 수 있다.
제어부가, 제1 셔터 스피드를 제2 셔터 스피드로 변경하는 단계는, 제어부가, 미리 학습된 딥러닝/머신러닝 모델을 사용하여 최적의 제2 셔터 스피드를 결정하는 단계를 포함하고, 딥러닝/머신러닝 모델은 메모리에 저장된 플리커 특징 및 플리커 특징이 인식되는 조건의 데이터로 학습되어 플리커가 감소되는 제2 셔터 스피드를 결정하도록 학습된 모델일 수 있다.
일 실시예에 따른 프로그램은, 촬상 장치를 제어하는 방법을 수행하도록 기록 매체에 저장될 수 있다.
일 실시예에 따른 기록 매체는, 촬상 장치를 제어하는 방법을 수행하는 프로그램이 저장되어 있을 수 있다.
실시예들에 따르면, 촬상 장치가 표시하는 화상에 나타나는 플리커를 감소시킬 수 있다는 효과가 있다.
실시예들에 따르면, 촬상 장치의 화질이 향상될 수 있다는 장점이 있다.
실시예들에 따르면, 플리커를 감소시키는데 걸리는 시간이 감소된다는 장점이 있다.
실시예들에 따르면, 촬상 장치의 설정을 변경하지 않더라도 자동으로 플리커를 감소시킬 수 있다는 장점이 있다.
도 1은 일 실시예에 따른 촬상 장치의 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 촬상 소자 및 촬상 소자 구동부의 구조를 도시한 도면이다.
도 3은 일 실시예에 따른 촬상 장치의 동작을 나타내는 순서도이다.
도 4는 도 3의 방법으로 학습된 촬상 장치의 동작을 나타내는 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다. 그리고 도면에서, 설명의 편의를 위해, 일부 층 및 영역의 두께를 과장되게 나타내었다.
또한, 층, 막, 영역, 판 등의 부분이 다른 부분 "위에" 또는 "상에" 있다고 할 때, 이는 다른 부분 "바로 위에" 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다. 반대로 어떤 부분이 다른 부분 "바로 위에" 있다고 할 때에는 중간에 다른 부분이 없는 것을 뜻한다. 또한, 기준이 되는 부분 "위에" 또는 "상에" 있다고 하는 것은 기준이 되는 부분의 위 또는 아래에 위치하는 것이고, 반드시 중력 반대 방향 쪽으로 "위에" 또는 "상에" 위치하는 것을 의미하는 것은 아니다.
또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서 전체에서, "평면상"이라 할 때, 이는 대상 부분을 위에서 보았을 때를 의미하며, "단면상"이라 할 때, 이는 대상 부분을 수직으로 자른 단면을 옆에서 보았을 때를 의미한다.
도 1은 일 실시예에 따른 촬상 장치(10)의 구성을 도시한 도면이다.
촬상 장치(10)는 광을 전기로 변환시킨다. 촬상 장치(10)는, 예를 들어, 카메라, 휴대폰, 스마트폰, 태블릿 PC, 노트북, 및 캠코더 등 다양한 형태로 구현될 수 있으며, 동화상을 촬상 가능한 촬상 기능을 갖는 다른 장치일 수도 있다,
촬상 장치(10)는, 촬상부(100), 신호 처리부(200), 조작부(300), 메모리(400), 표시부(500), 및 제어부(600)를 포함할 수 있다.
촬상부(100)는 입사된 광을 전기적인 신호로 변환하는 구성으로서, 렌즈부(101), 셔터부(103), 촬상 소자(105), 렌즈 구동부(111), 셔터 구동부(113), 및 촬상 소자 구동부(115)를 포함할 수 있다.
촬상부(100)는 제어부(600)로부터 수신한 제어 신호에 의해 제어될 수 있다. 제어 신호는 렌즈부(101)를 제어하기 위한 제1 제어 신호(S1), 셔터부(103)를 구동하기 위한 제2 제어 신호(S2), 및 촬상 소자(105)를 구동하기 위한 제3 제어 신호(S3) 중 적어도 하나를 포함할 수 있다.
렌즈부(101)는 피사체로부터 수신한 광을 촬상 소자(105)에 집광하기 위한 것이다. 렌즈부(101)는, 복수 개의 렌즈를 포함할 수 있다.
렌즈 구동부(111)는 제1 제어 신호(S1)를 통해 렌즈부(101)의 위치를 조절할 수 있다. 렌즈부(101)는 렌즈 구동부(111)에 의해 광축 방향을 따라 그 위치가 변경될 수 있다.
셔터부(103)는 렌즈부(101)를 통과한 광이 촬상 소자(105)로 들어가는 것을 조절하여, 촬상 소자(105)로 입사되는 광량을 조절하기 위한 것이다. 예를 들어, 촬상 환경이 밝은 경우에는 광량이 충분하므로 셔터부(103)의 개방 시간이 짧을 수 있고, 어두운 환경에서는 광량이 부족하므로 셔터부(103)의 개방 시간이 길 수 있다.
셔터부(103)는 조리개를 이동시켜 광의 입사를 조절하는 기계식 셔터, 또는 촬상 소자(105)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터일 수 있다. 셔터부(103)는 면 단위로 전하의 축적 타이밍을 맞추는 글로벌 셔터(global shutter) 방식 또는 라인 단위로 전하의 축적 타이밍을 맞추는 롤링 셔터(rolling shutter) 방식으로 동작할 수 있다. 이와 관련하여서는, 이하에서 도 2를 참조하여 자세히 기술한다.
셔터 구동부(113)는 제2 제어 신호(S2)를 통해 셔터부(103)의 개폐 시간을 조절할 수 있다. 셔터 구동부(113)에 의해 셔터부(103)의 셔터 스피드가 조절될 수 있다. 셔터 스피드는 셔터부(103)가 개방되어 있는 시간의 길이를 의미하며, 촬상 소자(105)의 노광 시간과 비례할 수 있다.
일례로, 촬상 장치(10)가, 표시 장치가 표시하는 영상을 촬상하는 경우, 촬상 장치(10)는 셔터부(103)가 개방되어 있는 시간 동안, 표시 장치의 패널 내 위치한 픽셀로부터 광을 수신할 수 있다. 표시 장치의 구동 주파수의 역수(구동 주기)가 촬상 장치(10)의 셔터 스피드보다 더 작은 경우, 촬상 장치(10)의 셔터부(103)가 개방되어 있는 시간 동안 표시 장치가 꺼져 있을 수 있다. 이 경우에, 촬상 장치(10)가 촬상한 영상에 포함되는 일부 화상들의 밝기가 어두울 수 있다. 이에 따라, 촬상 장치(10)로부터 획득된 영상에도 플리커 현상이 나타날 수 있다. 이외에도, 표시 장치의 구동 방법에 따라 일부 화면이 꺼져있는 경우가 있을 수 있다. 이 경우에도, 촬상 장치(10)가 촬상한 영상에 포함되는 일부 화상들의 밝기가 어두울 수 있으므로, 촬상 장치(10)로부터 획득한 영상에 플리커 현상이 나타날 수 있다. 그러나, 촬상 장치(10)의 셔터 스피드, 즉 노광 시간이 표시 장치의 구동 주기로 설정되어 있는 경우에는 노광 타이밍과 무관하게 노광량이 일정하게 되므로, 영상에 플리커 현상이 나타나지 않을 수 있다.
촬상 소자(105)는 렌즈부(101) 및 셔터부(103)를 통과하여 입사된 광을 전기 신호로 광전 변환하기 위한 것이다. 촬상 소자(105)는 셔터부(103)에 의해 조절되는 노광 시간 동안에만 광을 수신하고, 촬상 소자(105) 내의 복수의 화소 각각에는 광전 변환에 의해 발생된 전하가 축적될 수 있다.
촬상 소자(105)는, 예를 들어, CCD(Charge Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있다.
후술하는 바와 같이, 촬상 소자(105)는, 화소부(1051), 수직 주사 회로부(1053), 칼럼 회로부(1055), 수평 주사 회로부(1057), 및 신호선(SL0, SL1,…, SLn, DL0, DL1,…, DLm) 들을 포함할 수 있다.
촬상 소자 구동부(115)는 제3 제어 신호(S3)를 통해 촬상 소자(105)를 제어할 수 있다. 촬상 소자(105)는 제어부(600)의 제어 하에서 동작하는 촬상 소자 구동부(115)에 의해 노광, 신호 판독, 및 리셋 등의 촬상 동작을 수행할 수 있다.
촬상 소자(105)는 입사된 광을 광전 변환하여 생긴 전기 신호를 신호 처리부(200)에 출력할 수 있다.
촬상 소자(105)가 출력하는 신호의 프레임 레이트는 촬상 소자 구동부(115)로부터 공급되는 제어 신호에 의해 결정될 수 있다. 촬상 소자 구동부(115)는 프레임마다 상이한 프레임 레이트를 설정할 수 있다.
신호 처리부(200)는 촬상 소자(105)에 의해 광전 변환된 아날로그 전기 신호에 대하여, 노이즈 저감 처리, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행할 수 있다. 신호 처리부(200)에 의해 처리된 디지털 신호는 제어부(600)에 입력될 수 있으며, 메모리(400)에 저장될 수도 있다.
또한, 신호 처리부(200)는 메모리(400)에 저장된 화상 신호를 판독하고, 그 신호를 출력에 적합한 형태의 아날로그 신호로 변환하여 표시부(500)를 통해 표시할 수도 있다.
조작부(300)는, 사용자로부터 제어 신호를 입력받기 위한 것이다. 조작부(300)는, 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 임의의 형태로 구현될 수 있다.
조작부(300)는, 전원의 온-오프를 제어하는 제어 신호를 입력하기 위한 전원 버튼, 정해진 시간 동안 촬상 소자(105)를 광에 노출하여 사진을 촬상하도록 하는 셔터-릴리즈 신호를 입력하기 위한 셔터-릴리즈 버튼, 화각을 넓어지게 하거나 화각을 좁아지게 하는 제어 신호를 입력하기 위한 줌 버튼, 및 노출이나 셔터 스피드, 조리개, ISO 감도 등의 기타 촬상 설정값을 조절하기 위한 버튼 등을 포함할 수 있다.
사용자로부터 조작부(300)를 통해 제어 신호가 입력되면, 제어부(600)는 이에 대응하는 제어 신호를 생성하여 대응하는 구성에 전달할 수 있다.
예를 들어, 셔터-릴리즈 신호가 셔터-릴리즈 버튼을 통해 입력되면, 제어부(600)는 촬상 소자 구동부(115)로 하여금 1 프레임 분의 촬상 신호를 촬상 소자(105)에 입력하도록 할 수 있다. 이후, 촬상 소자(105)는 1 프레임 분의 광을 전기 신호로 광전 변환하고, 광전 변환된 1 프레임 분의 전기 신호를 신호 처리부(200)로 전송할 수 있다.
메모리(400)는 촬상 장치(10)가 동작하기 위해 필요한 여러 정보들을 저장하기 위한 것이다.
메모리(400)는, 착탈 가능한 카드 형상이나 스틱 형상을 가지는 플래시 메모리(400) 등의 반도체 메모리(400), 광디스크, 하드디스크 드라이브(HDD) 또는 자기테이프 등의 기록 매체 등일 수 있다. 또한, 통신 기능을 구비한 촬상 장치(10)의 경우에 메모리(400)는 네트워크를 통해 연결된 임의의 서버 장치 측의 메모리(400)일 수도 있다.
메모리(400)는 신호 처리부(200)를 통해 출력되는 디지털 신호를 저장할 수 있다.
메모리(400)는 플리커 특징 및 이러한 플리커 특징이 인식되는 조건의 데이터를 저장할 수 있다. 플리커 특징은, 예를 들어, 1 프레임 화상 내에서 플리커로 인해 발생하는 줄무늬 개수, 줄무늬들 간의 간격, 및 줄무늬의 진하기 중 적어도 하나에 대한 데이터일 수 있다. 플리커 특징이 인식되는 조건의 데이터는, 예를 들어, 촬상 장치(10)의 프레임 레이트 및/또는 셔터 스피드에 대한 데이터일 수 있다.
예를 들어, 촬상 장치(10)가 표시 장치에 표시된 영상을 특정 프레임 레이트 및 특정 셔터 스피드로 촬상한 경우에, 메모리(400)는 촬상된 화상으로부터 검출한 플리커 특징에 대한 데이터와 그 때의 프레임 레이트 및 셔터 스피드에 대한 데이터를 저장할 수 있다.
표시부(500)는 제어부(600)로부터 보내진 화상 데이터에 대응되는 화상을 표시부(500)에 표시하기 위한 것이다. 표시부(500)는, 액정 표시 장치(Liquid Crystal Display), 유기 발광 표시 장치(Organic Light Emitting Diodes) 등의 표시 장치를 포함할 수 있다.
제어부(600)는 촬상 장치(10) 전체를 포괄적으로 제어하기 위한 것이다. 제어부(600)는, 예를 들면, 중앙처리장치(CPU), 판독전용 메모리(400)(ROM), 및 랜덤 액세스 메모리(400)(RAM)를 구비한 마이크로콘트롤러일 수 있다.
제어부(600)는 조작부(300)를 통해 입력된 입력 신호에 따라 모드 변경 처리, 촬상 처리, 촬상 조건의 설정 등을 실행할 수도 있다.
제어부(600)는, 렌즈부(101), 셔터부(103), 및 촬상 소자(105)의 동작을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부(111), 셔터 구동부(113), 및 촬상 소자 구동부(115)에 제공할 수 있다. 예를 들어, 제어부(600)는 촬상 소자 구동부(115)로 하여금 촬상 소자(105)를 구동하기 위한 각종 제어 신호를 생성하여 촬상 소자(105)에 공급하도록 제어할 수 있다. 제어부(600)는 또한 셔터 구동부(113)로 하여금 셔터부(103)의 셔터 스피드를 변경시키도록 제어할 수 있다.
제어부(600)는 메모리(400)에 저장되어 있는 화상들 내에 플리커가 존재하는지 여부를 검출할 수 있다.
제어부(600)는 신호 처리부(200)에 의해 얻어지는 영상 신호를 화면 수평 방향으로 적분하여, 각 라인마다 영상 신호의 적분 값을 획득하고, 인접하는 라인들 간의 적분 값의 차분을 산출하는 방식으로 플리커를 검출할 수 있다. 이 경우에, 차분값에는 플리커 성분만이 남게 되며, 이를 통해 제어부(600)는 촬상 소자(105)로부터 생성된 화상들 내에 플리커가 존재한다고 검출할 수 있다
예를 들어, 촬상 중인 표시 장치가 모니터인 경우에, 모니터의 네 모서리가 표시 장치의 위치를 검색하는 특징점이 될 수 있다. 제어부(600)는, 검색된 특징점을 기준으로 표시 장치를 검출할 수 있으며, 이로부터 표시 장치의 화면을 분리할 수 있다. 이하의 도 2를 참고하면, 제어부(600)는 라인 SL0 상에 위치한 화소들에 의해 광전 변환되어 생성된 영상 신호의 적분 값을 계산할 수 있다. 또한, 제어부(600)는 라인 SL0과 인접한 라인 SL1 상에 위치한 화소들의 영상 신호의 적분 값을 계산할 수 있다. 이후, 제어부(600)는 라인 SL0의 적분 값과 라인 SL1의 적분값 간의 차분을 산출할 수 있다. 차분값이 존재하는 경우, 제어부(600)는 화상들 내에 플리커가 존재한다고 판단할 수 있다.
다만, 이러한 방법은 플리커만 검출하는 것이 아니라, 영상 내에 존재하는 줄무늬도 플리커로 인식하여 검출할 수 있다는 문제가 있다. 이를 개선하기 위하여, 제어부(600)는 복수의 인접하는 화상들 간에 차분 화상을 생성하여 생성된 차분 화상의 영상 신호에 대해 상기 방법을 수행할 수 있다.
제어부(600)는 또한 신호 처리부(200)에 의해 얻어지는 복수의 화상으로부터 인접한 화상들 간의 차분 화상을 생성하여, 각각의 주사 방향에 수직한 방향으로의 화소값 변동을 검출하는 방식으로 조합하는 방식으로 플리커를 검출할 수 있다. 이 때, 복수의 화상들은 동일한 프레임 레이트와 동일한 셔터 스피드로 촬상되어 정지 영상으로 처리된 화면일 수 있다. 즉, 제어부(600)는 차분 화상에서 수직 방향으로 휘도값의 평균값과 표준 편차 등을 산출하고, 이를 통해 화상들 내에 플리커가 존재하는지 검출할 수 있다.
예를 들어, 제어부(600)는, 동일한 프레임 레이트와 동일한 셔터 스피드로 표시 장치를 촬상하여 복수의 화상들을 획득할 수 있다. 복수의 화상들 중 하나인 화상 A 및 인접한 화상 B를 획득한 후, 제어부(600)는 두 화상을 화소 단위로 빼거나(A-B), 두 화상을 화소 단위로 나눌(A/B) 수 있다. 이를 통해, 복수의 화상들 내에 존재할 수 있는 플리커 성분이 도드라지게 나타날 수 있다. 제어부(600)는, 두 화상의 각 화소 간의 차이(A-B)가 큰 경우 또는 두 이미지의 각 화소를 나눈 결과값(A/B)이 큰 화소의 위치에서 플리커를 검출할 수 있다.
이외에도, 제어부(600)는 임의의 방법을 통하여 플리커를 검출할 수도 있다.
제어부(600)는 미리 학습시킨 딥러닝/머신러닝 모델을 사용하여 메모리(400)에 저장된 데이터로부터 플리커가 감소되는 프레임 레이트 및 셔터 스피드를 추론할 수 있다. 구체적으로, 딥러닝/머신러닝 모델은, 미리 다수의 플리커 특징과 이에 대응하는 프레임 레이트 및 셔터 스피드를 사용하여 플리커가 감소되는 프레임 레이트 및 셔터 스피드를 결정할 수 있도록 학습된 모델일 수 있다. 또한 딥러닝/머신러닝 모델은, 메모리(400)에 저장된 복수의 화상들에서 줄무늬의 개수가 0인 플리커 특징을 가지는 화상, 줄무늬가 옅은 플리커 특징을 가지는 화상 등을 분류할 수 있으며, 이에 기초하여, 플리커-프리 프레임 레이트 및 플리커-프리 셔터 스피드를 추론할 수 있다.
이후, 제어부(600)는 촬상 소자 구동부(115)로 하여금 결정된 프레임 레이트 및 셔터 스피드로 촬상 소자(105)를 구동하도록 할 수 있다.
만일 결정된 프레임 레이트 및 셔터 스피드로 촬상을 수행한 경우에도 여전히 플리커가 검출되는 경우, 제어부(600)는 검출된 새로운 플리커 특징과 현재의 프레임 레이트 및 셔터 스피드에 대한 정보를 메모리(400)에 저장할 수 있다. 또한, 메모리(400)에 저장된 데이터는 다시 딥러닝/머신러닝 모델에 입력되어 이를 학습시키는데 사용될 수 있으며, 학습된 딥러닝/머신러닝 모델은 플리커가 감소되는 새로운 프레임 레이트 및 셔터 스피드를 결정할 수 있다.
도 2는 일 실시예에 따른 촬상 소자(105) 및 촬상 소자 구동부(115)의 구조를 도시한 도면이다.
촬상 소자 구동부(115)는 제어부(600)의 제어 하에서, 제3 제어 신호(S3)를 통해 촬상 소자(105)를 제어한다. 촬상 소자(105)는 촬상 소자 구동부(115)로부터 입력받은 제3 제어 신호(S3) 에 의해 구동된다.
상술한 바와 같이, 촬상 소자(105)는 화소부(1051), 수직 주사 회로부(1053), 칼럼 회로부(1055), 수평 주사 회로부(1057), 및 신호선(SL0 … SLn, DL0 … DLm) 들을 포함한다.
화소부(1051)는 2차원의 매트릭스 형태로 배열된 복수의 화소를 가질 수 있다. 각각의 화소는 광을 전기 신호로 변환할 수 있다.
수직 주사 회로부(1053)는 촬상 소자 구동부(115)로부터 제3 제어 신호(S3)를 수신하고 각각의 화소에 구동 펄스를 공급할 수 있다. 수직 주사 회로부(1053)가 화소에 공급하는 구동 펄스의 주파수를 수직 동기 주파수라고 한다.
수직 주사 회로부(1053)는 각 신호선(SL0 … SLn)에 연결되어 있는 복수의 화소에 순차적으로 구동 펄스를 공급할 수 있다.
수직 주사 회로부(1053)는, 시프트 레지스터 또는 어드레스 디코더 등의 논리 회로가 사용될 수 있다. 통상적으로, 수직 동기 주파수는 촬상 장치(10)의 프레임 레이트와 동일할 수 있다.
신호선(SL0 … SLn)들은 화소부(1051) 내 각각의 화소의 행마다 배치될 수 있다. 또한, 신호선(DL0 … DLm)들은 화소부(1051) 내 각각의 화소의 열마다 배치될 수 있다. 신호선(SL0…SLn)을 통해 수직 주사 회로부(1053)로부터 구동 펄스를 입력받는 동안, 신호선(SL0…SLn)에 연결되어 있는 각각의 화소는 전하가 축적될 수 있다. 이후, 각각의 화소에 의해 변환된 전기 신호들은 신호선(DL0…DLm)을 통해 칼럼 회로부(1055)에 출력될 수 있다.
칼럼 회로부(1055)는 화소부(1051)로부터 출력된 전기 신호를 신호선(DL0…DLm)들을 통해 입력받을 수 있다. 칼럼 회로부(1055)는 입력된 전기 신호에 노이즈 제거, 신호 증폭 등의 처리를 수행할 수 있다.
수평 주사 회로부(1057)는 칼럼 회로부(1055)에 의해 처리된 신호들을 순차적으로 신호 처리부(200)에 출력하기 위한 구동 신호를 칼럼 회로부(1055)에 공급할 수 있다. 수평 주사 회로부(1057)로부터 구동 신호를 수신하면 칼럼 회로부(1055)는 신호 처리부(200)에 처리된 신호들을 출력할 수 있다.
한편, 상술한 바와 같이, 촬상 소자(105)는, CCD 이미지 센서 또는 CMOS 이미지 센서일 수 있으며, 이미지 센서는 글로벌 셔터 방식 또는 롤링 셔터 방식으로 동작할 수 있다.
수직 주사 회로는, 셔터 방식에 따라 각각의 화소에 상이한 구동 펄스를 공급할 수 있다.
표시 장치의 구동 주파수가 100Hz이고, 촬상 장치(10)의 수직 동기 주파수가 60Hz인 경우가 있을 수 있다. 수직 동기 주파수가 60Hz인 경우, 수직 동기 신호는 각각의 신호선(SL0…SLn)에 1/60초에 한 개씩 입력될 수 있다.
이 경우에, 셔터 스피드가 1/100초면, 노광 타이밍과 무관하게 각 신호선(SL0…SLn)에서의 노광량은 일정하게 되므로, 플리커는 발생하지 않을 것이다. 또한, 셔터 스피드가 1/50초 또는 3/l00초 인 경우에도 플리커는 발생하지 않을 것이다.
이와 같이, 셔터 스피드가 표시 장치의 구동 주기의 정수배인 경우를 표시 장치의 구동 주파수와 촬상 장치(10)의 셔터 스피드가 동기화된다고 한다. 표시 장치의 구동 주파수와 촬상 장치(10)의 셔터 스피드가 동기화되면, 플리커는 발생하지 않을 수 있다. 즉, 표시 장치에서 각 화소에 조사되는 광량이 동일하므로 동일한 노광 시간 동안의 휘도의 적분치는 각 프레임에서 동일할 수 있다.
다만, 셔터 스피드가 1/60초인 통상적인 셔터의 경우에는 표시 장치의 구동 주파수와 촬상 장치(10)의 셔터 스피드가 동기화되지 않았으므로, 각 신호선(SL0 … SLn)에서 동일한 노광 시간을 가지더라도 휘도의 적분 값은 상이할 수 있다. 따라서, 플리커가 발생할 수 있다.
또 다른 예시로, 표시 장치의 구동 주파수가 120Hz이고, 촬상 장치(10)의 수직 동기 주파수가 100Hz인 경우가 있을 수 있다.
이 경우에, 셔터 스피드가 1/120초 또는 1/60초이면, 각 신호선(SL0…SLn)에서의 노광량은 노광 타이밍과 무관하게 일정할 수 있다. 즉, 셔터 스피드가 표시 장치의 구동 주파수의 정수배이므로, 플리커는 발생하지 않을 수 있다.
그러나, 셔터 스피드가 1/100초인 통상적인 셔터이거나, 표시 장치의 구동 주파수의 정수배가 아닌 경우, 각 신호선(SL0…SLn)마다 휘도의 적분 값이 상이할 수 있으므로, 플리커가 발생할 수 있다.
또 다른 예시에서, 표시 장치의 구동 주파수가 120Hz이고, 촬상 장치(10)의 수직 동기 주파수가 60Hz인 경우가 있을 수 있다.
이 때, 셔터 스피드가 1/60초인 통상적인 셔터의 경우에는, 노광 타이밍과 무관하게 노광량이 일정하게 되어 플리커가 발생하지 않을 수 있다. 물론, 셔터 스피드가 1/120초인 경우에도, 플리커는 발생하지 않을 것이다. 즉, 각 신호선(SL0 … SLn)마다 노광 시간 범위에서 표시 장치의 휘도의 적분 값은 동일할 수 있다.
그러나, 이 경우에도, 표시 장치의 구동 주파수와 촬상 장치(10)의 셔터 스피드가 동기화되지 않는 경우에는 플리커가 발생할 수 있다.
정리하자면, 촬상 장치(10)의 노광 시간 및/또는 셔터 스피드가 표시 장치의 구동 주파수의 역수의 정수배이면, 촬상 장치(10)의 하나의 프레임 내에서 표시 장치의 휘도 적분 값은 동일하므로, 촬상 장치(10)의 영상 내에서 플리커는 발생하지 않을 수 있다.
다만, 촬상 장치(10)의 노광 시간 및/또는 셔터 스피드는 촬상 장치(10)의 수직 주기와 동일하거나, 짧아야 한다. 이에 따라, 만일 셔터 스피드를 증가시키고 싶은 경우, 수직 동기 주파수를 감소시켜야 하는 경우가 있을 수 있다.
또한, 촬상 장치(10)의 프레임 레이트가 커질수록, 줄무늬의 개수는 상대적으로 작아지게 된다. 예를 들어, 표시 장치의 구동 주파수는 100Hz이고, 촬상 장치(10)의 프레임 레이트가 20Hz인 경우, 하나의 화상에 포함된 플리커의 줄무늬의 개수는 5일 수 있다.
도 3은 일 실시예에 따른 촬상 장치(10)의 동작을 나타내는 순서도이다.
우선, 조작부(300)를 통해 전원의 온-오프를 제어하는 제어 신호가 입력되면, 촬상 장치(10)가 켜지면서 단계가 시작(S301)한다.
조작부(300)를 통해 화상을 촬상하도록 하는 셔터-릴리즈 신호가 입력되면, 촬상 소자(105)가 제1 프레임 레이트 및 제1 셔터 스피드로 촬상을 수행(S303)한다. 촬상된 화상은 제1 프레임 레이트 및 제1 셔터 스피드와 함께 메모리(400)에 저장될 수 있다. 이 때, 제1 셔터 스피드는 제1 프레임 레이트의 역수인 제1 프레임 주기와 동일하거나, 제1 프레임 주기보다 작을 수 있다.
제1 프레임 레이트 및 제1 셔터 스피드로 화상을 촬상한 후, 제어부(600)는, 촬상된 화상에 플리커가 존재하는지 여부를 검출(S305)한다. 제어부(600)는 복수의 인접하는 화상들 간에 차분 화상을 생성하여 생성된 차분 화상을 화면 수평 방향으로 적분하여, 각 신호선마다 적분 값을 획득하여 플리커를 검출할 수 있다. 또한, 제어부(600)는 복수의 인접하는 화상들 간에 차분 화상을 생성하여, 차분 화상들 각각의 주사 방향에 수직한 방향으로의 화소값 변동을 검출하는 방식으로 플리커를 검출할 수도 있다. 이 때, 제어부(600)는 화상 내에 존재하는 플리커 특징을 검출할 수 있다.
플리커를 검출하는 단계(S305)에 의해 플리커가 검출되는지 여부를 판단(S307)한다. 플리커가 검출되는 경우, 촬상 장치(10)는 단계(S309)를 수행한다.
제어부(600)는, 검출된 플리커 특징, 제1 프레임 레이트, 및 제1 셔터 스피드를 메모리(400)에 저장(S309)한다.
플리커 특징은, 한 프레임 내에서 플리커로 인해 발생하는 줄무늬 개수, 줄무늬들 간의 간격, 및 줄무늬의 진하기 중 적어도 하나에 대한 정보일 수 있다.
이 때, 현재의 제1 셔터 스피드는 표시 장치의 구동 주파수와 동기화되지 않을 수 있다. 즉, 제1 셔터 스피드는 표시 장치의 구동 주기의 정수배가 아닐 수 있다.
이후, 제어부(600)는 제1 셔터 스피드를 제2 셔터 스피드로 변경(S311)한다. 여기서, 제2 셔터 스피드는 제1 셔터 스피드와 상이할 수 있다.
제어부(600)는, 촬상 소자(105)로 하여금 제1 프레임 레이트 및 변경된 제2 셔터 스피드로 촬상을 수행(S313)하도록 한다.
이후, 제어부(600)는, 변경된 제2 셔터 스피드가 제1 프레임 주기보다 큰 지 여부를 판단(S315)한다.
변경된 제2 셔터 스피드가 제1 프레임 주기보다 작다면, 제어부(600)는 다시 단계(S309)로 돌아가서 단계(S313)에서 촬상된 화상 내의 플리커 특징, 제1 프레임 레이트, 및 제2 셔터 스피드를 메모리에 저장(S309)한다.
변경된 제2 셔터 스피드가 제1 프레임 주기보다 크다면, 단계(S305)를 수행한다.
제어부(600)는 단계(S313)에서 촬상된 화상 내에서 플리커를 검출(S305)한다.
제어부(600)는 플리커를 검출하는 단계(S305)에 의해 플리커가 검출되는지 여부를 판단(S307)한다. 플리커가 검출되는 경우, 촬상 장치(10)는 단계(S317)를 수행한다.
제어부(600)는, 제1 프레임 레이트를 제2 프레임 레이트로 변경(S317)한다. 프레임 레이트를 변경하는 단계(S317)는, 촬상 장치(10)가 최초 촬상을 수행하는 경우에는 수행되지 않으며, 단계(S311)에 의해 변경된 셔터 스피드가 현재 프레임 주기보다 크다고 단계(S315)에서 판단된 후에만 수행될 수 있다.
여기서, 제2 프레임 레이트는 제1 프레임 레이트와 상이할 수 있다. 이 경우, 제2 프레임 레이트는 제1 프레임 레이트보다 클 수 있다. 제2 프레임 레이트의 역수인 제2 프레임 주기는 변경된 제2 셔터 스피드와 동일하거나, 제2 셔터 스피드보다 클 수 있다.
제어부는, 단계(S313)에서 촬상된 화상 내의 플리커 특징, 제2 프레임 레이트, 및 제2 셔터 스피드를 메모리에 저장(S309)한다.
이후, 제어부(600)는 다시 제2 셔터 스피드를 제3 셔터 스피드로 변경(S311)한다.
제어부(600)는, 촬상 소자(105)로 하여금 변경된 제2 프레임 레이트 및 제3 셔터 스피드로 촬상을 수행(S313)하도록 한다.
제어부(600)는, 변경된 제3 셔터 스피드가 제2 프레임 주기보다 큰 지 여부를 판단하고, 단계(S305) 또는 단계(S309)를 수행한다.
단계들(S303 내지 S317)은 촬상된 화상 내에서 플리커가 검출되지 않을 때까지 계속하여 반복될 수 있다.
플리커를 검출하는 단계(S305)에 의해 플리커가 검출되지 않는 경우, 촬상 장치(10)는 단계(S319)를 수행한다.
제어부(600)는, 검출된 플리커 특징, 현재 프레임 레이트, 및 현재 셔터 스피드를 메모리(400)에 저장(S319)한다. 플리커가 검출되지 않았으므로, 현재 프레임 레이트는 플리커-프리 프레임 레이트이고, 현재 셔터 스피드는 플리커-프리 셔터 스피드일 수 있다.
이 때, 한 프레임 내에서 플리커로 인해 발생하는 줄무늬의 개수는 0일 수 있다. 또한, 플리커-프리 셔터 스피드는 표시 장치의 구동 주파수와 동기화할 수 있다. 즉, 플리커-프리 셔터 스피드는 표시 장치의 구동 주기의 정수배일 수 있다. 따라서, 하나의 프레임 내에 각각의 신호선들에서 휘도의 적분치는 동일할 수 있다.
제어부(600)는, 단계(S303 내지 S317)의 반복에 의하여, 플리커 특징, 현재 프레임 레이트, 및 셔터 스피드를 메모리(400)에 저장할 수 있다. 또한, 제어부(600)는, 메모리(400)에 저장된 정보들을 딥러닝/머신러닝 모델에 대입하여 학습시킬 수 있다. 여기서, 학습이란, 단계(S309) 및 단계(S319)에서 메모리(400)에 저장된 플리커 특징과 대응하는 프레임 레이트 및 셔터 스피드를 사용하여 플리커가 감소되는 프레임 레이트 및 셔터 스피드를 결정할 수 있도록 하는 것일 수 있다. 따라서, 딥러닝/머신러닝 모델은 어떠한 플리커 특징 및 대응하는 프레임 레이트와 셔터 스피드가 입력되는 경우에 플리커가 감소되는 프레임 레이트 및 셔터 스피드를 도출해낼 수 있다. 학습에 사용되는 데이터가 많아질수록, 플리커를 감소시키기 위한 적절한 프레임 레이트 및 셔터 스피드를 도출해내는 기능은 향상될 수 있다. 제어부(600)는 미리 학습시킨 딥러닝/머신러닝 모델을 사용하여 최적의 프레임 레이트 및 셔터 스피드를 도출해낼 수 있다.
이후, 촬상 장치(10)는 다시 촬상을 수행(S321)한다.
이후, 단계는 종료(S323)된다.
도 4는 도 3의 방법으로 학습된 촬상 장치(10)의 동작을 나타내는 순서도이다.
우선, 조작부(300)를 통해 전원의 온-오프를 제어하는 제어 신호가 입력되면, 촬상 장치(10)가 켜지면서 단계가 시작(S401)한다.
조작부(300)를 통해 화상을 촬상하도록 하는 셔터-릴리즈 신호가 입력되면, 촬상 소자(105)가 제1 프레임 레이트 및 제1 셔터 스피드로 촬상을 수행(S403)한다.
제1 프레임 레이트 및 제1 셔터 스피드로 화상을 촬상한 후, 제어부(600)는, 촬상된 화상에 플리커가 존재하는지 여부를 검출(S405)한다.
플리커를 검출하는 단계(S405)에 의해 플리커가 검출되는지 여부를 판단(S407)한다. 플리커가 검출되는 경우, 촬상 장치(10)는 단계(S409)를 수행한다.
제어부(600)는, 최적의 프레임 레이트 및 최적의 셔터 스피드를 결정(S409)한다.
이 경우에, 제어부(600)는 촬상 소자(105)로부터 플리커 특징과 현재 상황에 대한 데이터, 즉, 제1 프레임 레이트 및 제1 셔터 스피드에 대한 정보가 제어부(600)에 입력되면, 제어부(600)는 촬상 장치(10)의 메모리(400)에 저장된 데이터를 사용하여 최적의 프레임 레이트 및 최적의 셔터 스피드를 결정할 수 있다.
또는, 제어부(600)는 메모리(400)에 저장된 플리커 특징과 이에 대응하는 프레임 레이트 및 셔터 스피드를 사용하여 플리커가 감소되는 프레임 레이트 및 셔터 스피드를 결정할 수 있도록 학습된 딥러닝/머신러닝 모델을 사용하여 최적의 프레임 레이트 및 최적의 셔터 스피드를 결정할 수 있다.
이후, 제어부(600)는, 결정된 최적의 프레임 레이트 및 최적의 셔터 스피드로 셔터부(103)의 셔터 스피드를 변경(S411)시키도록 할 수 있다.
플리커를 검출하는 단계(S405)에 의해 플리커가 검출되지 않는 경우, 촬상 장치(10)는 단계(S413)를 수행한다.
촬상 장치(10)는 다시 촬상을 수행(S413)한다.
이후, 단계는 종료(S415)된다.
이상 설명된 본 개시에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이 때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예를 들어, 주파수 동기화 예시 등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 이로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 특허청구범위 또는 그 균등물의 범주 내에서 다양한 수정, 조합 및 변경이 이루어질 수 있음을 알 수 있다.

Claims (20)

  1. 촬상 소자,
    상기 촬상 소자를 구동하는 촬상 구동부,
    상기 촬상 소자가 촬상한 화상 내에서 플리커를 검출하는 제어부, 및
    상기 검출된 플리커의 특징 및 상기 플리커가 검출되는 때의 상기 촬상 소자의 제1 프레임 레이트 및 제1 셔터 스피드에 대한 데이터를 저장하는 메모리
    를 포함하는 촬상 장치.
  2. 제1항에 있어서,
    상기 플리커가 검출되면, 상기 제어부는 상기 제1 셔터 스피드와 상이한 제2 셔터 스피드로 촬상하도록 상기 촬상 소자 구동부를 제어하는, 촬상 장치.
  3. 제2항에 있어서,
    상기 제2 셔터 스피드가 상기 제1 프레임 레이트의 역수보다 크면, 상기 제어부는, 상기 제1 프레임 레이트와 상이한 제2 프레임 레이트로 촬상하도록 상기 촬상 소자 구동부를 제어하는, 촬상 장치.
  4. 제3항에 있어서,
    상기 제2 프레임 레이트는 상기 제1 프레임 레이트보다 큰,
    촬상 장치.
  5. 제4항에 있어서,
    상기 제어부는, 미리 학습된 딥러닝/머신러닝 모델을 사용하여 상기 제2 셔터 스피드를 결정하고,
    상기 딥러닝/머신러닝 모델은 플리커의 특징 및 상기 플리커가 검출되는 때의 상기 촬상 소자의 프레임 레이트 및 셔터 스피드로 학습되어 플리커가 감소되는 제2 셔터 스피드를 결정하도록 학습된 모델인,
    촬상 장치.
  6. 제5항에 있어서,
    상기 플리커의 특징은 상기 화상 내에서 플리커로 인해 발생하는 줄무늬 개수, 줄무늬들 간의 간격, 및 줄무늬의 진하기 중 적어도 하나에 관한 것인,
    촬상 장치.
  7. 셔터부, 상기 셔터부의 개폐에 의해 수신되는 광을 전기 신호로 변환하는 복수의 화소를 포함하는 촬상 소자, 및
    상기 촬상 소자가 촬상한 화상 내에서 플리커가 존재하는지 여부 및 플리커의 특징을 검출하고, 상기 검출된 플리커의 특징에 기초하여 제1 프레임 레이트 및 제1 셔터 스피드로 상기 촬상 소자를 구동하는, 제어부를 포함하는,
    촬상 장치.
  8. 제7항에 있어서,
    상기 화상 내에서 플리커가 존재하는 경우에 상기 제어부는 상기 제1 셔터 스피드와 상이한 제2 셔터 스피드로 상기 촬상 소자를 구동하는, 촬상 장치.
  9. 제8항에 있어서,
    상기 제2 셔터 스피드가 상기 제1 프레임 레이트의 역수보다 크면, 상기 제어부는, 상기 제1 프레임 레이트와 상이한 제2 프레임 레이트로 상기 촬상 소자를 구동하는, 촬상 장치.
  10. 제9항에 있어서,
    상기 제2 프레임 레이트는 상기 제1 프레임 레이트보다 큰, 촬상 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 화상 내에서 검출된 플리커의 특징 및 상기 플리커의 특징이 인식되는 프레임 레이트 및 셔터 스피드를 미리 학습된 딥러닝/머신러닝 모델에 입력하여, 플리커가 존재하지 않는 플리커-프리 프레임 레이트 및 플리커-프리 셔터 스피드를 결정하도록 하고,딥러닝/머신러닝 모델로부터 플리커-프리 프레임 레이트 및 플리커-프리 셔터 스피드를 수신하며,
    상기 제어부는, 상기 촬상 소자 구동부로 하여금 상기 플리커-프리 프레임 레이트 및 상기 플리커-프리 셔터 스피드로 상기 촬상 소자를 구동하도록 하는,
    촬상 장치.
  12. 제11항에 있어서,
    상기 플리커의 특징 및 상기 플리커가 검출되는 때의 프레임 레이트 및 셔터 스피드에 대한 데이터를 저장하는, 메모리를 더 포함하고,
    상기 딥러닝/머신러닝 모델은 상기 메모리에 저장된 상기 플리커의 특징 및 상기 플리커가 검출되는 때의 프레임 레이트 및 셔터 스피드에 대한 데이터를 사용하여 미리 학습된 것인,
    촬상 장치.
  13. 제12항에 있어서,
    상기 플리커의 특징은 상기 화상 내에서 플리커로 인해 발생하는 줄무늬 개수, 줄무늬들 간의 간격, 및 줄무늬의 진하기 중 적어도 하나에 대한 것인,
    촬상 장치.
  14. 촬상 소자가, 제1 프레임 레이트 및 제1 셔터 스피드로 촬상하는 단계,
    제어부가, 촬상된 화상 내에서 플리커를 검출하는 단계,
    메모리가, 검출된 플리커의 특징 및 상기 플리커가 검출되는 때의 상기 프레임 레이트 및 셔터 스피드를 저장하는 단계, 및
    촬상된 화상 내에서 플리커를 검출하는 경우, 상기 제어부가, 상기 제1 셔터 스피드를 제2 셔터 스피드로 변경하는 단계를 포함하고,
    상기 제2 셔터 스피드는 상기 제1 셔터 스피드와 상이한, 촬상 장치를 제어하는 방법.
  15. 제14항에 있어서,
    상기 제어부가, 상기 제2 셔터 스피드가 상기 제1 프레임 레이트의 역수보다 크면, 상기 제1 프레임 레이트를 상기 제1 프레임 레이트와 상이한 제2 프레임 레이트로 변경하는 단계를 더 포함하는, 촬상 장치를 제어하는 방법.
  16. 제15항에 있어서,
    상기 제2 프레임 레이트는 상기 제1 프레임 레이트보다 큰, 촬상 장치를 제어하는 방법.
  17. 제15항에 있어서,
    상기 제어부가, 상기 제1 셔터 스피드를 제2 셔터 스피드로 변경하는 단계는,
    상기 제어부가, 미리 학습된 딥러닝/머신러닝 모델을 사용하여 최적의 제2 셔터 스피드를 결정하는 단계를 포함하고,
    상기 딥러닝/머신러닝 모델은 상기 메모리에 저장된 플리커의 특징 및 상기 플리커가 검출되는 때의 프레임 레이트 및 셔터 스피드에 대한 데이터로 학습되어 플리커가 감소되는 제2 셔터 스피드를 결정하도록 학습된 모델인, 촬상 장치를 제어하는 방법.
  18. 제17항에 있어서,
    상기 플리커의 특징은 상기 화상 내에서 플리커로 인해 발생하는 줄무늬 개수, 줄무늬들 간의 간격, 및 줄무늬의 진하기 중 적어도 하나에 대한 것인, 촬상 장치를 제어하는 방법.
  19. 제14항 내지 제18항 중 어느 한 항에 따른 방법을 수행하도록 기록 매체에 저장되는, 프로그램.
  20. 제14항 내지 제18항 중 어느 한 항에 따른 방법을 수행하는 프로그램이 저장되어 있는, 기록 매체.


KR1020200161168A 2020-11-26 2020-11-26 촬상 장치 및 그 제어 방법 KR20220075020A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200161168A KR20220075020A (ko) 2020-11-26 2020-11-26 촬상 장치 및 그 제어 방법
US17/387,898 US20220166916A1 (en) 2020-11-26 2021-07-28 Imaging apparatus and method of controlling the same
CN202111220541.1A CN114554104A (zh) 2020-11-26 2021-10-20 成像设备、控制成像设备的方法及非暂时性记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161168A KR20220075020A (ko) 2020-11-26 2020-11-26 촬상 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220075020A true KR20220075020A (ko) 2022-06-07

Family

ID=81657614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161168A KR20220075020A (ko) 2020-11-26 2020-11-26 촬상 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20220166916A1 (ko)
KR (1) KR20220075020A (ko)
CN (1) CN114554104A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071639A1 (ko) * 2022-09-28 2024-04-04 삼성전자주식회사 플리커링 보정 방법 및 그 전자 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539449B2 (ja) * 2005-06-10 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
JP5715436B2 (ja) * 2011-02-21 2015-05-07 キヤノン株式会社 撮像装置、及びその制御方法
KR20180083593A (ko) * 2017-01-13 2018-07-23 삼성전자주식회사 이미지 처리 방법 및 이를 구현하는 전자 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071639A1 (ko) * 2022-09-28 2024-04-04 삼성전자주식회사 플리커링 보정 방법 및 그 전자 장치

Also Published As

Publication number Publication date
CN114554104A (zh) 2022-05-27
US20220166916A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
US9794493B2 (en) Image capturing apparatus, image capturing method, and control method
JP6370134B2 (ja) 撮像装置、その制御方法、および制御プログラム
US8558913B2 (en) Capture condition selection from brightness and motion
CN101325658B (zh) 成像设备和成像方法
WO2018101092A1 (ja) 撮像装置およびフリッカ判定方法
US9875423B2 (en) Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic
KR20070100180A (ko) 이미지흐림 감소
JP2013008004A (ja) 撮像装置
JP5513490B2 (ja) 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法
JP2011135185A (ja) 撮像装置
JP2018107705A (ja) 撮像装置、その制御方法とプログラムと記録媒体
CN101938603A (zh) 数字图像处理设备和控制所述设备的方法
JP6588664B2 (ja) 撮影装置及びその制御方法並びに作動プログラム
KR20220075020A (ko) 촬상 장치 및 그 제어 방법
JP5106283B2 (ja) ビデオカメラ
US20170264849A1 (en) Photographing apparatus
JP2008054031A (ja) デジタルカメラ及び表示制御方法
CN106101495A (zh) 摄像装置以及摄像装置的控制方法
CN109964479A (zh) 摄像设备及其控制方法
JP2014175931A (ja) 撮影システム、撮像装置及びその制御方法
JP2018133826A (ja) 撮像装置、その制御方法、および制御プログラム
JP6202982B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2020072392A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US9979861B2 (en) Photographing apparatus
JP5720382B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination