KR101909022B1 - 카메라 자동 초점 조절장치 및 방법 - Google Patents

카메라 자동 초점 조절장치 및 방법 Download PDF

Info

Publication number
KR101909022B1
KR101909022B1 KR1020170116349A KR20170116349A KR101909022B1 KR 101909022 B1 KR101909022 B1 KR 101909022B1 KR 1020170116349 A KR1020170116349 A KR 1020170116349A KR 20170116349 A KR20170116349 A KR 20170116349A KR 101909022 B1 KR101909022 B1 KR 101909022B1
Authority
KR
South Korea
Prior art keywords
focus
edge
edge pattern
image frame
image
Prior art date
Application number
KR1020170116349A
Other languages
English (en)
Inventor
김신욱
Original Assignee
만도헬라일렉트로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 만도헬라일렉트로닉스(주) filed Critical 만도헬라일렉트로닉스(주)
Priority to KR1020170116349A priority Critical patent/KR101909022B1/ko
Priority to US15/848,264 priority patent/US10129456B1/en
Priority to DE102017223559.4A priority patent/DE102017223559B4/de
Application granted granted Critical
Publication of KR101909022B1 publication Critical patent/KR101909022B1/ko

Links

Images

Classifications

    • H04N5/23212—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/02—Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

카메라 자동 초점 조절장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 카메라 자동 초점 조절장치는 초점렌즈 구동모터를 통해 초점렌즈를 이동시켜 초점을 자동 조절하는 카메라 자동 초점 조절장치에 있어서, 영상 프레임을 획득하는 영상획득부와, 영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치 및 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고, 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 각 영상 데이터를 벡터화한 입력벡터를 각각 생성하고, 생성된 각 입력벡터를 뉴로모픽 장치에 입력하고, 입력된 각 입력벡터에 대하여 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 해당 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런을 각각 선정하고, 선정된 각 뉴런으로부터 엣지 패턴 종류값과, 해당 입력벡터 간의 상대 거리값들을 수신하고, 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고, 현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 초점렌즈의 이동방향을 결정하고, 결정된 이동방향을 근거로 하여 초점렌즈 구동모터를 통해 초점렌즈를 이동시키는 제어부를 포함한다.

Description

카메라 자동 초점 조절장치 및 방법{APPARATUS FOR ADJUSTING AUTO FOCUS OF CAMERA AND CONTROL METHOD THEREOF}
본 발명은 카메라 자동 초점 조절장치 및 방법에 관한 것으로, 보다 상세하게는 카메라의 초점을 자동으로 조절하는 카메라 자동 초점 조절장치 및 방법에 관한 것이다.
일반적으로, 카메라와 피사체 사이의 거리는 카메라의 초점에 영향을 미친다. 즉, 피사체의 거리가 가까워지거나 멀어지게 되면 카메라 렌즈가 적절하게 앞뒤로 이동을 하며 최적의 위치에 존재해야 영상에 초점이 정확히 맞게 된다.
기존에는 렌즈를 통해 획득된 영상의 엣지(Edge)를 측정하고, 해당 엣지값이 최대치가 되는 지점을 탐색하도록 초점 렌즈를 구동함으로써 최적의 초점 위치를 찾는다. 즉, 초점 렌즈가 스텝 모터를 통해 한 스텝 단위로 앞뒤로 구동을 반복하며 각 스텝마다 엣지값을 획득하고 이 엣지값이 최대치가 되는 지점까지 탐색을 반복하는 형태이다.
그러나 피사체의 움직임이 빠르게 이동하거나, 차량과 항공기와 같은 빠른 이동체에 탑재된 카메라의 경우 빠른 초점 위치 획득이 무엇보다 중요하며, 이 과정에서 과도한 연산량이 발생하거나 초점 조절에 대한 시간 지연이 발생할 가능성이 있다.
대한민국 등록특허 10-1137615 대한민국 등록특허 10-1558981 대한민국 등록특허 10-1295433
2015 IEEE Symposium Series on Computational Intelligence, Neuromorphic Hardware Accelerated Adaptive Authentication System, Manan Suri, Vivek Parmar, Akshay Singla, Rishabh Malviya, Surag Nair
본 발명의 실시예는 뉴로모픽 하드웨어를 이용하여 영상의 엣지 계산에 소모되는 연산량을 저감하는 카메라 자동 초점 조절장치 및 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 초점렌즈 구동모터를 통해 초점렌즈를 이동시켜 초점을 자동 조절하는 카메라 자동 초점 조절장치에 있어서, 영상 프레임을 획득하는 영상획득부; 영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치; 및 상기 영상획득부로부터 획득된 영상 프레임에서 엣지 정보를 획득하고 상기 획득된 엣지 정보에 따라 초점을 조절하는 제어부를 포함하고, 상기 제어부는, 상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 영상 데이터를 벡터화한 입력벡터를 생성하고, 상기 생성된 입력벡터를 상기 뉴로모픽 장치에 입력하고, 상기 입력벡터가 생성될 때마다 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 상기 입력된 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런의 엣지 패턴 종류값과 상대 거리값들을 수신하고, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고, 현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고, 상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키고, 상기 뉴로모픽 장치는, 상기 입력된 입력벡터를 상기 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력벡터와 상기 복수의 뉴런에 저장된 엣지 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 엣지 패턴 종류값과 상대 거리값을 상기 제어부로 출력하는 카메라 자동 초점 조절장치가 제공될 수 있다.
또한, 영상 프레임의 엣지 패턴으로 개수와 상기 상대 거리값들의 평균값을 산출하고, 상기 산출된 엣지 패턴 개수와 평균값을 바탕으로 해당 영상 프레임의 초점 파라미터값을 산출할 수 있다.
본 발명의 다른 측면에 따르면, 초점렌즈 구동모터를 통해 초점렌즈를 이동시켜 초점을 자동 조절하는 카메라 자동 초점 조절장치에 있어서, 영상 프레임을 획득하는 영상획득부; 영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치; 및 상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 각 영상 데이터를 벡터화한 입력벡터를 각각 생성하고, 상기 생성된 각 입력벡터를 상기 뉴로모픽 장치에 입력하고, 상기 입력된 각 입력벡터에 대하여 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 해당 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런을 각각 선정하고, 상기 선정된 각 뉴런으로부터 엣지 패턴 종류값과, 해당 입력벡터 간의 상대 거리값들을 수신하고, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고, 현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고, 상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키는 제어부를 포함하고,
상기 제어부는 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 엣지 패턴으로 개수와 상기 상대 거리값들의 평균값을 산출하고, 상기 산출된 엣지 패턴 개수와 평균값을 바탕으로 해당 영상 프레임의 초점 파라미터값을 산출하고, 상기 제어부는 상기 초점 파라미터값(F)를 다음의 식 [1] 및 [2]을 통해 산출하는 카메라 자동 초점 조절장치가 제공될 수 있다.
Figure 112017088298816-pat00001
식 [1]
Figure 112017088298816-pat00002
식 [2]
여기서, Fm는 m번째 프레임의 초점 파라미터 산출값이고, NF는 뉴로모픽 하드웨어부에서 엣지로 인식된 윈도우의 개수이며, DF는 엣지로 인식된 윈도우들의 거리값의 평균이고, disti는 엣지로 인식된 한 개의 윈도우의 거리값이며, u는 별도의 물리적 특성을 지닌 2개의 파라미터 사이의 비율 조정을 위한 계수이다.
또한, 상기 뉴로모픽 장치의 복수의 뉴런에 저장된 영상 엣지 패턴 벡터는 수직 엣지 패턴, 수평 엣지 패턴, 사선 45도 엣지 및 사선 135도 엣지 패턴 중 어느 하나일 수 있다.
본 발명의 또 다른 측면에 따르면, 영상 프레임을 획득하는 영상획득부와, 영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치와, 초점렌즈를 이동시키는 초점렌즈 구동모터 및 상기 영상획득부로부터 획득된 영상 프레임에서 엣지 정보를 획득하고 상기 획득된 엣지 정보에 따라 상기 초점렌즈 구동모터를 제어하여 초점을 조절하는 제어부를 포함하는 카메라 자동 초점 조절장치의 제어방법에 있어서, 상기 제어부에 의해, 상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 영상 데이터를 벡터화한 입력벡터를 생성하고, 상기 생성된 입력벡터를 상기 뉴로모픽 장치에 입력하고, 상기 입력벡터가 생성될 때마다 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 상기 입력된 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런의 엣지 패턴 종류값과 상대 거리값들을 수신하고, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고, 현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고, 상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키고, 상기 뉴로모픽 장치에 의해, 상기 입력된 입력벡터를 상기 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력벡터와 상기 복수의 뉴런에 저장된 엣지 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 엣지 패턴 종류값과 상대 거리값을 상기 제어부로 출력하는 카메라 자동 초점 조절장치의 제어방법이 제공될 수 있다.
본 발명의 또 다른 측면에 따르면, 영상 프레임을 획득하는 영상획득부와, 영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치와, 초점렌즈를 이동시키는 초점렌즈 구동모터를 포함하는 카메라 자동 초점 조절장치의 제어방법에 있어서, 상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 각 영상 데이터를 벡터화한 입력벡터를 각각 생성하고, 상기 생성된 각 입력벡터를 상기 뉴로모픽 장치에 입력하고, 상기 입력된 각 입력벡터에 대하여 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 해당 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런을 각각 선정하고, 상기 선정된 각 뉴런으로부터 엣지 패턴 종류값과, 해당 입력벡터 간의 상대 거리값들을 수신하고, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고, 현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고, 상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키되, 상기 초점 파라미터값 산출은, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 엣지 패턴으로 개수와 상기 상대 거리값들의 평균값을 산출하고, 상기 산출된 엣지 패턴 개수가 많을수록 상기 평균값이 적을수록 해당 영상 프레임의 초점 파라미터값을 높게 산출하되, 상기 초점 파라미터값(F)를 다음의 식 [1] 및 [2]을 통해 산출하는 카메라 자동 초점 조절장치의 제어방법이 제공될 수 있다.
Figure 112018079490057-pat00010
식 [1]
Figure 112018079490057-pat00011
식 [2]
여기서, Fm는 m번째 프레임의 초점 파라미터 산출값이고, NF는 뉴로모픽 하드웨어부에서 엣지로 인식된 윈도우의 개수이며, DF는 엣지로 인식된 윈도우들의 거리값의 평균이고, disti는 엣지로 인식된 한 개의 윈도우의 거리값이며, u는 별도의 물리적 특성을 지닌 2개의 파라미터 사이의 비율 조정을 위한 계수이다.
본 발명의 실시예는 뉴로모픽 하드웨어를 이용하여 영상의 엣지 계산에 소모되는 연산량을 획기적으로 저감하고 시스템 구현에 대한 비용도 절감할 수 있다.
도 1은 본 발명의 일실시예에 따른 카메라 자동 초점 조절장치의 제어블록도이다.
도 2는 본 발명의 일실시예에 따른 카메라 자동 초점 조절장치에서 입력 영상의 ROI 대하여 윈도우의 슬라이딩 순서를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 카메라 자동 초점 조절장치에서 각 윈도우에 대한 뉴로모픽 하드웨어부의 인식 결과를 설명하기 위한 도면이다.
이하에서는 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달할 수 있도록 하기 위해 예로서 제공하는 것이다. 본 발명은 이하 설명되는 실시예들에 한정하지 않고 다른 형태로 구체화할 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장하여 표현할 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
자동 초점(Auto-focusing, AF) 기능은 피사체가 이동하여 거리가 달라지거나, 카메라가 이동하는 플랫폼에서 최적의 초점 상태를 유지하기 위해 필수적으로 사용되는 기능이다.
기존에는 영상의 일정 영역을 지정하고 해당 영역의 엣지값을 측정하여 dpt지값이 증가하는 방향으로 초점 렌즈를 이동시킴으로써 자동초점을 구현하고자 했다. 또는 일정 영역의 영상을 주파수 영역으로 변환한 뒤, 고주파 영역이 증가하는 방향으로의 초점 렌즈 이동을 통해 자동 초점을 구현하는 방법도 사용해 왔다.
그러나 최근에는 카메라 영상의 해상도가 4K 이상으로 급격히 증가하고 있으며, 차량이나 항공기 플랫폼에 장착된 카메라의 경우에는 피사체 혹은 카메라가 빠르게 이동하기 때문에 실시간적인 자동 초점 구현을 위해서 많은 연산량을 필요로 한다. 이는 부품 가격의 상승과 개발 시간의 증가 등을 일으킬 수 있는 원인이 된다.
따라서, 본 발명의 일실시예에서는 기존의 영상처리 알고리즘 연산을 통해 획득하던 엣지값을 뉴로모픽 하드웨어를 통한 엣지 형태에 대한 패턴 학습과 인식 과정으로 대체함으로써 연산량 소모 없이 가속화하도록 하였다.
또한, 엣지값에 상응하는 초점 파라미터 개념을 도입하여, 뉴로모픽 하드웨어에서 엣지로 인식된 패턴의 개수와 상대 거리값을 통해 간단한 연산으로 현재의 초점 상태를 정의하고 이를 기반으로 값을 비교함으로써 최적의 초점 위치를 탐색할 수 있도록 하였다.
도 1은 본 발명의 일실시예에 따른 카메라 자동 초점 조절장치의 제어블록도이다.
도 1을 참조하면, 카메라 자동 초점 조절장치는 영상획득부(10), 제어부(20), 뉴로모픽 장치인 뉴로모픽 하드웨어부(30) 및 초점렌즈 구동모터(30)를 포함할 수 있다.
영상획득부(10)는 영상 프레임을 획득하는 이미지 센서를 포함한다. 광학 렌즈를 통해 집광된 빛은 이미지 센서의 표면으로 초점이 맺힌다. 이미지 센서는 집광된 빛에너지를 전기적인 신호로 변환하여 픽셀 형태의 디지털 이미지를 생성한다. 이미지 센서에 의해 생성된 이미지 신호는 제어부(20)에 전송된다.
제어부(20)는 카메라 자동 초점 조절장치의 전반적인 제어를 수행한다.
제어부(20)는 벡터생성부(21), 초점연산부(22) 및 모터제어부(23)를 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 카메라 자동 초점 조절장치에서 입력 영상의 ROI 대하여 윈도우의 슬라이딩 순서를 설명하기 위한 도면이다.
도 2를 참조하면, 벡터생성부(21)는 영상획득부(21)에 의해 생성된 입력 영상인 이미지 데이터에서 관심영역(Region Of Interest, ROI) 을 설정하고, 설정된 ROI의 중앙부를 더 작은 윈도우 단위로 분할하여 슬라이딩 순서대로 슬라이딩하며 해당 윈도우의 픽셀 값들을 벡터 형태로 변환한다. 이때, X축과 Y축 방향으로의 슬라이딩 스텝 수는 가변적으로 조절 가능하다. 그리고 작은 윈도우 단위로 획득된 이미지 데이터는 1행의 벡터 형태로 변환하여 뉴로모픽 하드웨어부(30)에 연속으로 전달한다. 예를 들어, 전체 ROI에 대해 16×16 크기의 윈도우가 슬라이딩을 반복한다고 가정하면 하나의 입력 벡터는 1×256 크기의 형태가 된다. 이러한 입력 벡터가 슬라이딩을 반복하며 전체 ROI에 대한 이미지 데이터를 뉴로모픽 하드웨어부(30)에 전달한다.
다시 도 1을 참조하면, 뉴로모픽 하드웨어부(30)는 뉴런부(31), 인식부(32) 및 학습부(33)를 포함할 수 있다. 하드웨어 형태로 구현된 수천 개의 뉴런이 병렬 버스로 연결되어 뉴런부를 구성한다. 그리고 패턴에 대한 학습과 인식을 담당하는 각각 학습부(33)와 인식부(32)가 뉴로모픽 하드웨어 내부를 구성한다.
학습부(33)에는 사전에 학습시켜 놓은 엣지 영역에 대한 패턴 정보가 저장되어 있다. 학습부(33)에 저장된 엣지 패턴 벡터로는 수직(Vertical), 수평(Horizontal) 및 사선(Diagonal) 방향으로의 각도의 변화에 따른 다양한 엣지 패턴 벡터일 수 있다. 학습부(33)에 이러한 다양한 엣지 패턴을 미리 획득하여 저장시켜 놓을 수 있다. 예를 들면, 학습부(33)에는 수직(Vertical) 및 수평(Horizontal), 사선(Diagonal) 45도, 사선(Diagonal) 135도 패턴의 엣지들을 벡터의 형태로 저장되어 있을 수 있다. 이때, 각 엣지 패턴의 종류는 서로 구별되게 저장되어 있다.
학습부(33)는 저장된 엣지 패턴 벡터를 전원 인가 및 시스템 동작과 함께 뉴런부(31)를 구성하는 복수의 뉴런의 로컬 메모리로 로딩시켜 엣지 패턴의 인식에 사용되게 한다.
뉴런부(31)에는 제어부(20)의 벡터생성부(21)에 의해 윈도우 단위로 변환되어 전송되는 입력 벡터가 입력된다. 해당 입력 벡터는 뉴로모픽 하드웨어 내부의 병렬 버스를 통해 뉴런부(31)를 구성하는 모든 뉴런에 동시에 전달된다. 각각의 뉴런들은 자신의 메모리에 저장하고 있는 엣지 패턴 벡터와 입력 벡터 사이의 거리 (distance, dist) 를 계산하고, 계산된 거리값이 해당 뉴런의 영향 범위(Influence field) 이내일 경우 파이어링(firing) 신호값과 거리값을 내보낸다. 이 파이어링 신호는 해당 뉴런이 자신에 저장된 엣지 패턴 벡터와 입력 벡터 사이의 거리가 해당 뉴런의 영향 범위 이내임을 나타내는 신호이다.
인식부(32)는 뉴런부(31)의 각 뉴런들로부터 수신된 파이어링 신호와 거리값을 취합하여 위너 테이크 올(Winner-Take-All, WTA)을 이용하여 전체 뉴런들 중에서 입력 벡터와 가장 가까운 상대 거리를 가진 뉴런을 선정한다.
이때, 선정된 뉴런은 선정된 뉴런이 가지고 있던 패턴의 종류를 나타내는 카테고리값(Category, CAT)과, 거리값(dist)을 출력으로 내보낸다. 즉, 입력된 영상의 부분 영역인 입력 벡터가 뉴로모픽 하드웨어부(30)로 입력되면, 입력값이 뉴런들이 보유하고 있는 여러 종류의 엣지 패턴과 유사성이 있는지 탐색하게 되고, 탐색 결과 가장 유사성을 지닌 엣지 패턴이 존재한다면 해당 엣지 패턴의 종류값(CAT)과 거리값(dist)을 출력하게 된다.
도 3은 본 발명의 일실시예에 따른 카메라 자동 초점 조절장치에서 각 윈도우에 대한 뉴로모픽 하드웨어부의 인식 결과를 설명하기 위한 도면이다.
도 3을 참조하면, 뉴로모픽 하드웨어부(30)는 입력된 입력 윈도우 벡터를 인식하고, 비슷한 엣지 패턴이 뉴런부(31)의 뉴런에 존재할 때 해당 뉴런의 엣지 패턴 종류와 상대 거리값을 출력한다. 뉴런들에 수직(Vertical) 엣지 패턴, 수평(Horizontal) 엣지 패턴, 사선(Diagonal) 45도 엣지 패턴, 사선(Diagonal) 135도 엣지 패턴 중 어느 하나의 엣지 패턴이 저장되어 있을 경우, 해당 종류의 엣지 패턴 종류값을 출력한다.
다시 도 1을 참조하면, 제어부(20)의 구성요소 중 초점연산부(22)는 ROI 전체에 대한 뉴로모픽 하드웨어부(30)의 인식이 종료되면, 수신된 패턴 카테고리 값(CAT)들과 거리 값(dist) 들을 종합하여 연산을 통해 초점 파라미터 값을 산출한다.
초점 파라미터 값 F는 다음의 식 [1] 및 [2]을 통해 산출된다.
Figure 112017088298816-pat00003
식 [1]
Figure 112017088298816-pat00004
식 [2]
여기서, Fm는 m번째 프레임의 초점 파라미터 산출값이고, NF는 뉴로모픽 하드웨어부에서 엣지로 인식된 윈도우의 개수이며, DF는 엣지로 인식된 윈도우들의 거리값의 평균이고, disti는 엣지로 인식된 한 개의 윈도우의 거리값이며, u는 별도의 물리적 특성을 지닌 2개의 파라미터 사이의 비율 조정을 위한 계수이다.
초점 파라미터 값 F는 해당 ROI 내부에서 검출된 엣지 패턴의 개수 N과 학습/저장된 엣지 패턴과 입력된 영상의 엣지 성분 사이의 상대 거리(dist)들의 평균인 D 값의 합성으로 계산된다.
영상 내부에 검출되는 엣지 성분의 개수가 크면 클수록 초점이 잘 맞는 상태이다. 반대로 학습된 엣지와 입력된 영상의 엣지 성분 사이에 상대 거리가 작아질 수록 초점이 잘 맞는 상태이다. 따라서 N과 D 사이의 파라미터는 반비례 관계에 있다.
초점연산부(22)는 현재 이미지 프레임에 대한 초점 파라미터 값이 계산되면 해당 결과를 모터제어부(23)에 전달한다.
모터제어부(23)는 초점연산부(22)로부터 수신된 현재 프레임에 대한 초점 파라미터 값과 이전 프레임에서의 초점 파라미터 값을 비교한다.
모터제어부(23)는 비교결과에 따라 초점값이 커지는 방향으로 진행 중인지, 줄어들고 있는 중인지를 판단하여 초점 렌즈에 대한 이동방향을 결정한다. 즉, 모터제어부(23)는 비교결과에 따라 초점이 높아지는 중인지 낮아지는 중인지를 판단하여 초점이 높아지는 방향으로 초점 렌즈를 이동시키기 위한 이동방향을 결정한다.
모터제어부(23)는 결정된 이동방향을 근거로 해당 이동 방향으로 초점 렌즈를 이동시키기 위한 모터 구동 정보를 생성하여 초점렌즈 구동모터(40)에 전달한다. 모터 구동 정보는 초점렌즈 구동모터의 회전방향, 이동스텝수, 회전속도클럭을 포함할 수 있다.
초점렌즈 구동모터(40)는 초점렌즈를 이동시키는 스텝모터를 포함할 수 있다.
초점렌즈 구동모터(40)는 모터제어부(23)로부터 수신된 모터 구동 정보에 따라 회전함으로써 초점렌즈를 결정된 이동방향으로 이동시킨다.
이상과 같이, 본 발명의 일실시예는 복잡한 연산량 소모 없이도 자동초점 기능을 구현할 수 있다. 기존에는 반복적인 모터 스텝의 변화에 따라 모든 이미지 프레임에서 행렬 연산 등을 통해 ROI 영역 전체에 대한 엣지 산출 연산을 수행해야 했다. 이러한 경우 영상의 해상도가 커지거나 포커싱 영역이 멀티로 형성되면 연산량이 급격히 증가하게 되고 이는 실시간적인 빠른 처리를 어렵게 하는 주요 원인이 된다.
또한, 본 발명의 일실시예에서는 엣지 연산 부분을 뉴로모픽 하드웨어를 사용한 패턴 매칭 기능으로 대체 구현할 뿐만 아니라 간단한 연산을 통해 초점 파라미터 산출이 가능하도록 하여 프레임과 프레임 사이의 초점 상태를 직관적으로 비교할 수 있다.
따라서 엣지 연산에 대한 하드웨어 가속화 및 단순 초점 파라미터 값의 비교를 통한 모터 구동으로 큰 이미지 해상도를 사용하거나 빠른 자동초점 기능이 필요한 응용에서 고성능/고비용의 프로세서 사용 없이도 자동 초점 기능을 구현할 수 있다.
10 : 영상획득부 20 : 제어부
21 : 벡터생성부 22 : 초점연산부
23 : 모터제어부 30 : 뉴로모픽 하드웨어부
31 : 뉴런부 32 : 인식부
33 : 학습부 40 : 초점렌즈 구동모터

Claims (6)

  1. 초점렌즈 구동모터를 통해 초점렌즈를 이동시켜 초점을 자동 조절하는 카메라 자동 초점 조절장치에 있어서,
    영상 프레임을 획득하는 영상획득부;
    영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치; 및
    상기 영상획득부로부터 획득된 영상 프레임에서 엣지 정보를 획득하고 상기 획득된 엣지 정보에 따라 초점을 조절하는 제어부를 포함하고,
    상기 제어부는, 상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 영상 데이터를 벡터화한 입력벡터를 생성하고, 상기 생성된 입력벡터를 상기 뉴로모픽 장치에 입력하고, 상기 입력벡터가 생성될 때마다 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 상기 입력된 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런의 엣지 패턴 종류값과 상대 거리값들을 수신하고, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고, 현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고, 상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키고,
    상기 뉴로모픽 장치는, 상기 입력된 입력벡터를 상기 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력벡터와 상기 복수의 뉴런에 저장된 엣지 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 엣지 패턴 종류값과 상대 거리값을 상기 제어부로 출력하는 카메라 자동 초점 조절장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 엣지 패턴으로 개수와 상기 상대 거리값들의 평균값을 산출하고, 상기 산출된 엣지 패턴 개수와 평균값을 바탕으로 해당 영상 프레임의 초점 파라미터값을 산출하는 카메라 자동 초점 조절장치.
  3. 초점렌즈 구동모터를 통해 초점렌즈를 이동시켜 초점을 자동 조절하는 카메라 자동 초점 조절장치에 있어서,
    영상 프레임을 획득하는 영상획득부;
    영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치; 및
    상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 각 영상 데이터를 벡터화한 입력벡터를 각각 생성하고, 상기 생성된 각 입력벡터를 상기 뉴로모픽 장치에 입력하고, 상기 입력된 각 입력벡터에 대하여 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 해당 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런을 각각 선정하고, 상기 선정된 각 뉴런으로부터 엣지 패턴 종류값과, 해당 입력벡터 간의 상대 거리값들을 수신하고, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고, 현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고, 상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키는 제어부를 포함하고,
    상기 제어부는 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 엣지 패턴으로 개수와 상기 상대 거리값들의 평균값을 산출하고, 상기 산출된 엣지 패턴 개수와 평균값을 바탕으로 해당 영상 프레임의 초점 파라미터값을 산출하고,
    상기 제어부는 상기 초점 파라미터값(F)를 다음의 식 [1] 및 [2]을 통해 산출하는 카메라 자동 초점 조절장치.
    Figure 112018079490057-pat00005
    식 [1]
    Figure 112018079490057-pat00006
    식 [2]
    여기서, Fm는 m번째 프레임의 초점 파라미터 산출값이고, NF는 뉴로모픽 하드웨어부에서 엣지로 인식된 윈도우의 개수이며, DF는 엣지로 인식된 윈도우들의 거리값의 평균이고, disti는 엣지로 인식된 한 개의 윈도우의 거리값이며, u는 별도의 물리적 특성을 지닌 2개의 파라미터 사이의 비율 조정을 위한 계수이다.
  4. 제3항에 있어서,
    상기 뉴로모픽 장치의 복수의 뉴런에 저장된 영상 엣지 패턴 벡터는 수직 엣지 패턴, 수평 엣지 패턴, 사선 45도 엣지 및 사선 135도 엣지 패턴 중 어느 하나인 카메라 자동 초점 조절장치.
  5. 영상 프레임을 획득하는 영상획득부와, 영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치와, 초점렌즈를 이동시키는 초점렌즈 구동모터 및 상기 영상획득부로부터 획득된 영상 프레임에서 엣지 정보를 획득하고 상기 획득된 엣지 정보에 따라 상기 초점렌즈 구동모터를 제어하여 초점을 조절하는 제어부를 포함하는 카메라 자동 초점 조절장치의 제어방법에 있어서,
    상기 제어부에 의해, 상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고,
    상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 영상 데이터를 벡터화한 입력벡터를 생성하고,
    상기 생성된 입력벡터를 상기 뉴로모픽 장치에 입력하고,
    상기 입력벡터가 생성될 때마다 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 상기 입력된 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런의 엣지 패턴 종류값과 상대 거리값들을 수신하고,
    상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고,
    현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고,
    상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키고,
    상기 뉴로모픽 장치에 의해, 상기 입력된 입력벡터를 상기 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력벡터와 상기 복수의 뉴런에 저장된 엣지 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 엣지 패턴 종류값과 상대 거리값을 상기 제어부로 출력하는 카메라 자동 초점 조절장치의 제어방법.
  6. 영상 프레임을 획득하는 영상획득부와, 영상의 엣지를 특정 지을 수 있는 엣지 패턴을 사전에 학습하여 벡터화한 엣지 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 장치와, 초점렌즈를 이동시키는 초점렌즈 구동모터를 포함하는 카메라 자동 초점 조절장치의 제어방법에 있어서,
    상기 영상획득부로부터 입력된 영상 프레임의 중앙을 기준으로 일정영역을 관심영역으로 설정하고,
    상기 설정된 관심영역을 대상으로 미리 설정된 윈도우 단위로 분할하여 슬라이딩하면서 윈도우 단위로 획득된 각 영상 데이터를 벡터화한 입력벡터를 각각 생성하고,
    상기 생성된 각 입력벡터를 상기 뉴로모픽 장치에 입력하고,
    상기 입력된 각 입력벡터에 대하여 상기 뉴로모픽 장치에 저장된 복수의 뉴런 중에서 해당 입력벡터와 가장 유사한 엣지 패턴 벡터를 가진 뉴런을 각각 선정하고,
    상기 선정된 각 뉴런으로부터 엣지 패턴 종류값과, 해당 입력벡터 간의 상대 거리값들을 수신하고,
    상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 초점 파라미터값을 산출하고,
    현재 영상 프레임의 초점 파라미터값과 이전 영상 프레임의 초점 파라미터값을 비교하고, 상기 비교결과에 따라 영상 프레임들에 대한 초점이 높아지도록 하기 위한 상기 초점렌즈의 이동방향을 결정하고,
    상기 결정된 이동방향을 근거로 하여 상기 초점렌즈 구동모터를 통해 상기 초점렌즈를 이동시키되,
    상기 초점 파라미터값 산출은, 상기 수신된 해당 엣지 패턴 종류값들과 해당 상대 거리값들을 근거로 하여 해당 영상 프레임의 엣지 패턴으로 개수와 상기 상대 거리값들의 평균값을 산출하고, 상기 산출된 엣지 패턴 개수가 많을수록 상기 평균값이 적을수록 해당 영상 프레임의 초점 파라미터값을 높게 산출하되, 상기 초점 파라미터값(F)를 다음의 식 [1] 및 [2]을 통해 산출하는 카메라 자동 초점 조절장치의 제어방법.
    Figure 112018079490057-pat00012
    식 [1]
    Figure 112018079490057-pat00013
    식 [2]
    여기서, Fm는 m번째 프레임의 초점 파라미터 산출값이고, NF는 뉴로모픽 하드웨어부에서 엣지로 인식된 윈도우의 개수이며, DF는 엣지로 인식된 윈도우들의 거리값의 평균이고, disti는 엣지로 인식된 한 개의 윈도우의 거리값이며, u는 별도의 물리적 특성을 지닌 2개의 파라미터 사이의 비율 조정을 위한 계수이다.
KR1020170116349A 2017-09-12 2017-09-12 카메라 자동 초점 조절장치 및 방법 KR101909022B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170116349A KR101909022B1 (ko) 2017-09-12 2017-09-12 카메라 자동 초점 조절장치 및 방법
US15/848,264 US10129456B1 (en) 2017-09-12 2017-12-20 Apparatus for adjusting focus of camera and control method thereof
DE102017223559.4A DE102017223559B4 (de) 2017-09-12 2017-12-21 Vorrichtung zum fokussieren einer kamera und steuerverfahren für diese

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170116349A KR101909022B1 (ko) 2017-09-12 2017-09-12 카메라 자동 초점 조절장치 및 방법

Publications (1)

Publication Number Publication Date
KR101909022B1 true KR101909022B1 (ko) 2018-10-17

Family

ID=64050874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170116349A KR101909022B1 (ko) 2017-09-12 2017-09-12 카메라 자동 초점 조절장치 및 방법

Country Status (3)

Country Link
US (1) US10129456B1 (ko)
KR (1) KR101909022B1 (ko)
DE (1) DE102017223559B4 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063679A1 (en) * 2021-10-12 2023-04-20 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object
US11985421B2 (en) 2021-10-12 2024-05-14 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017288B2 (en) * 2017-12-18 2021-05-25 Intel Corporation Spike timing dependent plasticity in neuromorphic hardware
US11321618B2 (en) * 2018-04-25 2022-05-03 Om Digital Solutions Corporation Learning device, image pickup apparatus, image processing device, learning method, non-transient computer-readable recording medium for recording learning program, display control method and inference model manufacturing method
US20200084392A1 (en) * 2018-09-11 2020-03-12 Sony Corporation Techniques for improving photograph quality for poor focus situations
CN109949286A (zh) * 2019-03-12 2019-06-28 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110138943B (zh) * 2019-06-28 2021-10-08 Oppo广东移动通信有限公司 电子设备及摄像头的控制方法
CN110545384B (zh) * 2019-09-23 2021-06-08 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN111223114B (zh) * 2020-01-09 2020-10-30 北京达佳互联信息技术有限公司 一种图像区域的分割方法、装置及电子设备
US11620269B2 (en) * 2020-05-29 2023-04-04 EMC IP Holding Company LLC Method, electronic device, and computer program product for data indexing
KR20210149542A (ko) * 2020-06-02 2021-12-09 삼성에스디에스 주식회사 이미지 촬영 및 판독 방법, 이를 위한 장치
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069996A (ja) * 2007-09-11 2009-04-02 Sony Corp 画像処理装置および画像処理方法、認識装置および認識方法、並びに、プログラム
JP2010091856A (ja) * 2008-10-09 2010-04-22 Nikon Corp プログラム、カメラおよび画像の合焦度算出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2393296A1 (en) * 2009-01-29 2011-12-07 Panasonic Corporation Image coding method and image decoding method
US9602728B2 (en) * 2014-06-09 2017-03-21 Qualcomm Incorporated Image capturing parameter adjustment in preview mode
JP6525813B2 (ja) * 2015-08-21 2019-06-05 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6664177B2 (ja) * 2015-09-28 2020-03-13 キヤノン株式会社 焦点検出装置、予測方法、プログラム及び記憶媒体
KR20170116349A (ko) 2016-04-11 2017-10-19 대우조선해양 주식회사 용접 이면부의 도장 손상 방지 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009069996A (ja) * 2007-09-11 2009-04-02 Sony Corp 画像処理装置および画像処理方法、認識装置および認識方法、並びに、プログラム
JP2010091856A (ja) * 2008-10-09 2010-04-22 Nikon Corp プログラム、カメラおよび画像の合焦度算出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063679A1 (en) * 2021-10-12 2023-04-20 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object
US11985421B2 (en) 2021-10-12 2024-05-14 Samsung Electronics Co., Ltd. Device and method for predicted autofocus on an object

Also Published As

Publication number Publication date
DE102017223559B4 (de) 2021-06-24
DE102017223559A1 (de) 2019-03-14
US10129456B1 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
KR101909022B1 (ko) 카메라 자동 초점 조절장치 및 방법
US9646389B2 (en) Systems and methods for image scanning
US8049811B2 (en) Automatic focusing apparatus and method for digital images using automatic filter switching
US8917346B2 (en) Focus error estimation in images
WO2019220622A1 (ja) 画像処理装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
Chen et al. Efficient auto-focus algorithm utilizing discrete difference equation prediction model for digital still cameras
CN113592911B (zh) 表观增强深度目标跟踪方法
CN106973199B (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN117319787A (zh) 一种图像对焦方法、装置、系统、控制设备及存储介质
CN113163114A (zh) 一种图像对焦方法、装置、设备及介质
US10477187B2 (en) Method of constructing a depth map of a scene and/or a fully focused image
Ali et al. Passive autofocusing system for a thermal camera
US11475233B2 (en) Image processing device and image processing method
CN115552307A (zh) 用于事件相机的自动聚焦成像电路、自动聚焦成像设备和自动聚焦成像方法
JPH10170817A (ja) 合焦位置算出装置及びその方法とそれらを使用した電子顕微鏡
Wang et al. Intelligent autofocus
KR20170137301A (ko) 시차 맵으로 한정된 영역에 기반한 객체 인식 방법
KR102357212B1 (ko) 랜덤 포레스트 기반의 오토포커싱 장치 및 방법
CN113364963B (zh) 成像控制方法及相关设备
US11398045B2 (en) Three-dimensional imaging device and three-dimensional imaging condition adjusting method
Xia Research on target detection-based autofocus system
Soon et al. Characterization of liquid lens monocular camera system for depth estimation
Meng et al. Analysis of image motion on autofocus precision for aerial cameras
Tang et al. An automatic focus algorithm for still and video camera applications using a new contrast measure
Yun et al. Fast shape from focus using dynamic programming

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant