KR100799829B1 - 신경망을 이용한 오토포커싱 방법 - Google Patents

Abstract

본 발명은 피사체의 이미지와 오토포커스 지점과의 관계에 대한 상관관계를 갖는 신경망을 이용하여 오토포커싱된 이미지를 신속하게 획득할 수 있는 오토포커싱 방법에 관한 것이다.

상기한 기술적 과제를 달성하기 위해서, 본 발명의 실시형태는, 기설정된 가중치에 따라 입력 이미지의 포커스 지점을 예측하는 신경망에 이미지를 입력하여 출력되는 예측 포커스 지점과 상기 이미지의 포커스 지점을 비교하여 그 오차가 감소되는 방향으로 상기 가중치를 조절하는 신경망 구축단계와, 상기 카메라 렌즈부터의 이미지를 상기 신경망에 입력시켜 상기 입력되는 이미지 데이터에 대하여 상기 신경망에서 출력되는 상기 카메라 렌즈의 포커스 지점을 획득하는 단계를 포함하는 신경망을 이용한 카메라의 오토포커싱 방법을 제공한다.

본 발명에 따르면, 오토포커싱 시간을 종래보다 획기적으로 단축할 수 있는 효과가 있다.

신경망, 학습, 오토포커스, 오토포커싱

Description

신경망을 이용한 오토포커싱 방법{METHOD FOR AUTO-FOCUSING USING NEURAL NETWORK}

도 1은 종래기술에 따른 카메라의 블럭도.

도 2는 종래기술에 따른 오토포커싱 방법을 도시한 플로우차트.

도 3은 도 2의 오토포커싱 방법에 따른 렌즈의 이동경로 및 오토포커싱 시간을 나타내는 개념도.

도 4는 본 발명의 실시형태에 따른 신경망을 이용한 오토포커싱 방법을 도시한 플로우차트.

도 5는 본 발명의 실시형태에 따른 신경망을 이용한 오토포커싱 방법의 신경망 학습방법을 도시한 플로우차트.

도 6은 본 발명의 실시형태에 따른 신경망을 이용한 오토포커싱 방법의 신경망의 개념도.

도 7은 도 4의 오토포커싱 방법에 따른 렌즈의 이동경로 및 오토포커싱 시간을 나타내는 개념도.

본 발명은 신경망을 이용한 카메라의 오토포커싱 방법에 관한 것으로, 더욱 상세하게는 피사체의 이미지와 오토포커스 지점과의 관계에 대한 상관관계를 갖는 신경망을 이용하여 오토포커싱된 이미지를 신속하게 획득할 수 있는 오토포커싱 방법에 관한 것이다.

일반적으로, 디지털 카메라, 캠코더, 카메라폰 등과 같은 촬영기기는 렌즈와 렌즈를 투과한 피사체의 이미지가 촬상되는 이미지센서를 구비하고 있으며, 렌즈의 위치를 가변함으로써 렌즈와 이미지센서의 거리를 조정하고, 이에 따라 이미지센서에 촬상되는 피사체의 이미지의 포커싱을 조정한다.

렌즈의 위치를 가변하여 각 위치에서의 피사체의 이미지의 포커싱 정도를 계산하고, 최적의 포커싱을 갖도록 렌즈의 위치를 자동으로 조정하는 것이 오토포커싱이다.

도 1은 종래 기술에 따른 카메라의 블럭도이다.

도 1에 도시된 바와 같이, 종래 기술에 따른 카메라는 렌즈(11)와, 상기 렌즈를 투과한 피사체의 이미지가 촬상되는 이미지센서(12)와, 상기 이미지센서(12)에 촬상된 이미지에 대한 정보를 처리하여 상기 이미지의 포커싱 정도를 나타내는 선명도를 생성하는 이미지 처리부(13)와, 상기 이미지 처리부(13)의 선명도에 따라 상기 렌즈(11)의 적절한 위치를 산출하는 제어부(14)와, 상기 제어부(14)에서 산출 한 위치로 상기 렌즈(11)를 이동시키기 위한 렌즈구동수단(15)을 포함한다.

상기 제어부(14)는 상기 선명도를 바탕으로, 소정의 오토포커싱 알고리즘에 따라 상기 이미지센서(12)에 촬상된 이미지가 포커싱이 되는 렌즈(11)의 위치를 결정한다. 상기 렌즈구동수단(15)은 상기 제어부(14)에 의해 결정된 위치로 상기 렌즈(11)를 이동시켜 포커싱이 이루어진다.

도 2는 종래 기술에 따른 오토포커싱 방법에 대한 플로우차트를 도시한다.

도 2를 참조하면, 종래 기술에 따른 오토포커싱 방법은, 사용자의 카메라 조작 등에 의하여 오토포커스 명령이 들어오면(S10) 먼저 렌즈를 이미지 센서와 가장 가까운 위치(피사체와 가장 먼 위치)인 최원거리위치 또는 이미지 센서와 가장 먼 위치(피사체와 가장 가까운 위치)인 최근거리위치 중 어느 한 지점인 초기위치로 렌즈를 이동시켜 렌즈의 위치를 초기화한다(S11). 그 후, 렌즈를 일정한 간격으로 이동시켜면서 각 렌즈위치에서의 선명도를 계산하고(S13), 그 값 중 최대 선명도를 갖는 렌즈의 위치를 정한다(S13). 이 과정이 끝나면, 다시 렌즈를 상기 초기위치로 이동시켜 렌즈의 위치를 초기화 하고(S14), 상기 최대 선명도를 갖는 지점 인근으로 렌즈를 이동시킨다(S15). 상기 최대 선명도를 갖는 지점 인근의 소정 영역에서 상기 렌즈를 이동시키면서 각 렌즈위치에서의 선명도를 계산하고(S16), 그 값 중 최대 선명도를 갖는 지점을 다시 정한다(S17). 그 다음, 상기 렌즈를 다시 초기위치로 이동시켜 렌즈의 위치를 초기화(S18)한 후, 상기 S17단계의 최대 선명도를 갖는 지점으로 상기 렌즈를 이동시키고(S19) 오토포커싱을 종료한다.

도 3a은 도 2의 오토포커스 방법에 따른 렌즈의 이동경로를 각 단계별로 도시한 개념도이며, 도 3b는 도 2의 종래기술에 따른 오토포커스 방법에 따른 오토포커싱 시간을 각 단계별로 보여주는 그래프이다.

도 3a를 참조하면, 렌즈는 최원거리위치와 최근거리위치 사이를 움직이며, 오토포커스 명령이 있는 때에 초기위치에 있다. 또한 최적초점위치가 선명도가 최대인 지점이다. 그리고, 점선은 선명도를 계산하지 않고 렌즈의 위치를 이동하는 구간을 나타내며, 실선은 선명도를 계산할 때 렌즈가 이동하는 구간을 나타낸다.

그런데, 종래기술에 따른 오토포커스 방법은 렌즈의 위치를 초기화하는 과정(도 2의 S11, S14, S18)이 많아 오토포커싱 시간이 길어지는 문제점이 있다. 그리고, 최적초점위치를 찾은 후에, 렌즈의 위치를 상기 최적초점위치로 이동하기 위하여 상기 렌즈 위치를 초기화한 후에 이동하므로, 구동수단에 오류가 있는 경우 정확한 최적초점위치로 렌즈를 이동할 수 없는 문제점이 있다.

또한, 도 3b에 도시된 바와 같이, 렌즈의 위치가 가변되는 영역 모두에 대하여 선명도를 계산하여야 하므로 오토포커싱에 소요되는 시간이 길어진다는 문제점이 있다.

본 발명은 상술한 종래 기술의 문제를 해결하기 위한 것으로서, 그 목적은 오토포커싱 시간을 단축할 수 있는 신경망을 이용한 카메라의 오토포커싱 방법을 제공하는 데 있다.

상기한 기술적 과제를 달성하기 위해서, 본 발명의 실시형태는, 기설정된 가중치에 따라 입력 이미지의 포커스 지점을 예측하는 신경망에 이미지를 입력하여 출력되는 예측 포커스 지점과 상기 이미지의 포커스 지점을 비교하여 그 오차가 감소되는 방향으로 상기 가중치를 조절하는 신경망 구축단계와, 상기 카메라 렌즈부터의 이미지를 상기 신경망에 입력시켜 상기 입력되는 이미지 데이터에 대하여 상기 신경망에서 출력되는 상기 카메라 렌즈의 포커스 지점을 획득하는 단계를 포함하는 신경망을 이용한 카메라의 오토포커싱 방법을 제공한다.

본 발명의 실시형태에 따른 오토포커싱 방법은, 상기 포커스 지점으로 상기 카메라 렌즈를 이동하는 단계와, 상기 카메라 렌즈로부터 신규의 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 실시형태에 따른 오토포커싱 방법에서, 상기 신경망 구축 단계는,이미지를 전처리하여 전처리된 이미지 데이터를 상기 신경망에 입력하고, 상기 신경망에서 출력되는 상기 이미지의 예측 포커스 지점을 획득하는 단계와, 상기 이미지의 포커스와 상기 출력된 포커스 지점의 오차를 검출하는 단계와, 상기 오차가 미리 설정된 허용오차범위를 벗어나는 경우, 상기 가중치를 수정하여 상기 예측 포커스 지점을 획득하는 단계로 귀환하고, 상기 오차가 상기 허용오차범위에 포함되는 경우 종료하는 포커스 지점 오차 판단 단계를 포함하는 것을 특징으로 한다.

본 발명의 실시형태에 따른 오토포커싱 방법에서, 상기 신경망은 각 포커스 지점에 대한 포커스 정도를 나타내는 포커스 값을 출력하는 복수의 출력노드를 포함하고, 상기 이미지의 오토포커스 지점을 획득하는 단계는, 상기 신경망의 각 출력노드의 출력을 비교하여 상기 포커스 값이 최대인 포커스 지점을 상기 이미지의 예측 오토포커스 지점으로 출력하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 더욱 상세하게 설명한다.

도 4는 본 발명의 실시형태에 따른 오토포커싱 방법의 플로우 차트를 도시한다.

도 4를 참조하면, 본 발명의 실시형태에 따른 오토포커싱 방법은, 신경망을 구축하는 단계(S110)와, 상기 신경망에 전처리된 이미지 데이터를 입력하는 단계(S120)와, 상기 이미지에 대한 상기 신경망을 출력으로부터 상기 이미지의 예측 포커스 지점을 획득하는 단계(S130)와, 상기 예측 포커스 지점으로 카메라 렌즈를 이동하는 단계(S140)와, 상기 이동된 카메라 렌즈 위치에서 이미지를 획득하는 단계(S150)와, 상기 획득된 이미지 저장을 위한 사용자의 명령이 있는지 판단하는 단 계(S160)와, 사용자의 이미지 저장 명령이 있는 경우 상기 이미지를 저장하는 단계(170)를 포함한다.

도 5는 본 발명의 실시형태에 따른 오토포커스 방법에 사용되는 신경망의 학습방법의 플로우차트이다.

도 5를 참조하면, 본 발명의 실시형태에 따른 신경망을 제공하는 방법은, 이미 포커스 지점이 알려진 이미지를 전처리하는 단계(S210)와 상기 전처리된 이미지 데이터를 신경망에 입력하는 단계(S220), 상기 신경망에서 출력되는 값인 예측 포커스 지점을 구하는 단계(S230), 상기 알려진 포커스 지점과 상기 예측 포커스 지점의 오차를 비교하는 단계(S240)와, 상기 알려진 포커스 지점과 상기 예측 포커스 지점의 오차가 허용오차범위에 포함되지 않는 경우 상기 신경망의 가중치를 수정하는 단계(S250)를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태에 따른 작용 및 효과에 대하여 더욱 상세하게 설명한다.

도 4에 도시된 바와 같이, 본 발명의 실시형태에 따른 신경망을 이용한 오토포커싱 방법은, 신경망을 구축(S110)하는 것으로부터 시작한다. 상기 신경망은 입력층, 은닉층 및 출력층으로 이루어지며, 상기 입력층은, 카메라 렌즈로부터의 이미지가 신경망에 입력 가능한 이미지 데이터로 전처리되어 입력되며, 상기 출력층 은, 상기 이미지에 해당하는 상기 카메라 렌즈의 오토포커스 지점을 출력하고, 상기 은닉층은 입력층과 출력층 사이에 있다.

상기 각 층은 소정의 가중치에 따라 서로 연관되며, 상기 가중치에 의하여 상기 입력층의 입력과 상기 출력층의 출력간에 소정의 상관관계가 형성된다. 상기 가중치는 초기에는 임의의 값으로 설정되며, 반복학습에 의해 상기 가중치는 예측치와 실적치간의 오차가 감소되는 방향으로 변경된다. 본 발명의 실시형태에 따라 제공되는 신경망은 이미 학습이 완료된 상태로, 상기 가중치도 상기 학습에 의하여 최적화된 값으로 설정되어 있다. 소정의 가중치를 이용하여 상기 입력층으로부터의 입력과 상기 출력층의 출력의 상관관계에 따라 조절된다.

이와 같은 상기 신경망의 학습방법에 대하여 도 5를 참조하여 설명한다.

먼저, 신경망에 이미 포커스 지점이 알려져 있는 이미지를 전처리한다(S210). 피사체가 고정되어 있고 상기 피사체로부터 카메라의 거리가 일정한 경우, 상기 카메라를 이용하여 상기 피사체를 촬영할 때 포커싱된 이미지를 얻을 수 있는 상기 카메라의 렌즈의 위치는 일정하며, 이 때의 카메라 렌즈의 위치는 쉽게 알 수 있다.

다음으로, 이미 포커스 지점이 알려져 있는 이미지를 상기 신경망에 입력할 수 있도록 상기 이미지를 전처리한다. 상기 이미지는 바로 상기 신경망으로 입력되지 않고, 상기 신경망에 입력될 수 있도록 전처리되어야 한다. 상기 전처리는 상기 이미지를 소정의 필터를 통과시켜 상기 이미지의 특성을 나타내는 이미지 데이터를 생성한다. 예를 들어, 상기 필터로 가우스 1차 도함수 필터 또는 가우스 2차 도함수 필터가 사용될 수 있다. 이 경우, 상기 필터를 통과한 이미지 데이터는 상기 이미지의 에지 정보를 포함할 수 있다.

또한, 상기 이미지 데이터는, 상기 이미지의 전체 영역를 전처리하여 생성되는 경우, 이미지 데이터의 양이 많아 상기 신경망의 학습 시간이 길어질 수 있으므로, 상기 이미지의 일부 영역만을 전처리하여 생성될 수 있다. 특히, 피사체는 주로 전체 이미지 중 중앙 영역에 있는 경우가 많으므로, 상기 이미지 데이터는 상기 이미지의 중앙부부의 일부 영역만을 전처리하여 생성할 수 있다.

이와 같이 전처리된 이미지 데이터는, 상기 신경망의 입력층을 통해 입력되며(S220), 상기 이미지 데이터는 상기 신경망의 입력층과 은닉층 및 출력층을 통과하면서 상기 가중치에 따라 포커스 지점이 계산되어 상기 출력층으로 출력된다(S230). 상기 출력이 상기 신경망에 의해 예측된 상기 이미지의 포커스 지점이 된다.

그 다음, 상기 출력층에서 출력된 예측 포커스 지점과, 상기 이미지의 알려진 포커스 지점을 비교하고(S240), 상기 알려진 포커스 지점과 상기 예측 포커스 지점의 오차가 기설정된 오차범위를 벗어나는 경우, 상기 가중치를 수정(S250)하고, 수정된 가중치를 이용하여 상기 예측 포커스 지점을 다시 획득하고(S230), 예측된 포커스 지점과 알려진 지점을 비교한다(S240). 이러한 과정(S230,S240)을 반복하는 동안 상기 가중치는 오차가 허용 오차범위 내에 포함되도록 수정되며, 이러한 과정을 반복하는 동안 상기 이미지에 대한 포커스 지점을 학습할 수 있다.

이와 같은 과정을 서로 다른 포커스 지점을 갖는 복수의 이미지에 대하여 반복하여 상기 신경망을 계속적으로 학습시킴으로써, 임의의 이미지 데이터가 입력되는 경우, 입력된 이미지 데이터에 해당하는 포커스 지점을 신뢰성있게 예측할 수 있다.

이와 같은 신경망을 도 6을 참조하여 설명한다.

도 6a를 참조하면, 신경망(100)에 영상데이터가 입력되며, 이때 출력되는 값과 기준데이터가 비교기(110)에서 비교되어 오차를 생성하고, 그 오차에 따라 신경망의 가중치를 수정하며, 이러한 과정을 상기 영상데이터와 상기 기준데이터의 오차가 허용오차범위에 포함될 때까지 계속한다. 이러한 신경망(100)은 도 6b를 참조하면, 상술한 바와 같이, 입력층과, 은닉층과, 출력층으로 이루어진다. 상기 입력층은 이미지 데이터가 입력되는 N개의 노드가 있으며, 상기 출력층은 포커스 정도를 나타내는 포커스 값을 출력하는 M개의 노드가 있다. 상기 입력층의 N개의 노드는 이미지 데이터가 입력되는데, 예를 들어, 상기 이미지 데이터가 N개의 비트로 이루어진 디지털 데이터인 경우, 각 노드는 상기 이미지 데이터의 대응하는 비트의 값이 입력된다.

상기 출력층의 각 노드는 카메라 렌즈의 각 위치에 대응되며, 상기 이미지 데이터의 포커스 지점과 상기 카메라 렌즈 위치의 상관관계에 대한 값을 출력한다. 상기 각 노드의 출력값 중 그 값이 가장 높은 노드에 대응하는 카메라 렌즈의 위치가 상기 이미지 데이터의 예측 포커스 지점이 되며, 상기 신경망은 상기 포커스 지점을 출력한다.

상기 입력층과 상기 출력층 사이에는 적어도 하나의 노드를 갖는 은닉층이 있으며, 상기 입력층과 상기 은닉층, 상기 은닉층과 상기 출력층은 소정의 가중치를 이용한 상관관계를 갖는다. 예를 들어, 상기 은닉층의 각 노드는 상기 입력층의 각 노드와, 상기 각 노드에 설정된 가중치를 곱한 값들을 모두 합한 값이 되며, 상기 출력층의 각 노드는 상기 은닉층의 각 노드와 상기 각 노드에 설정된 가중치를 곱한 값들을 모두 합한 값이 된다.

다시 도 4로 돌아가면, 신경망이 구축(S110)되어 있는 경우, 카메라 렌즈로부터 이미지를 상기 신경망으로 입력한다(S120). 이때, 상기 이미지는 상기 신경망에 입력이 가능한 이미지 데이터로 전처리되어 입력된다.

상기 신경망이 입력되는 이미지 데이터에 대한 카메라 렌즈의 예측 포커스 지점을 출력하므로, 상기 출력된 값이 바로 상기 이미지의 예측 포커스 지점으로 획득된다(S130). 다음으로, 포커싱된 이미지를 얻기 위하여 현재의 카메라 렌즈의 위치를 상기 신경망을 통해 예측된 포커스 지점으로 이동하고(S140), 카메라를 통해 이미지를 신규로 획득(S150)함으로써 포커싱이 된 이미지를 얻을 수 있다.

이 경우, 상기 신규로 획득한 이미지가 에러에 의하여 포커싱이 맞지 않는 경우나, 상기 이미지가 사용자의 요구를 충족하지 못하는 경우가 있을 수 있으므로, 사용자로부터 저장 명령이 있는지 확인하고(S160) 저장명령이 있는 경우에만 상기 이미지를 저장한다(S170).

이와 같이, 본 발명의 실시형태에 따른 오토포커싱 방법은, 종래기술과 렌즈를 이동시켜 계속적으로 입력되는 이미지를 이용하여 포커싱 지점을 찾는 것이 아니라, 임의의 렌즈 위치에서 입력되는 하나의 이미지를 이용하여 포커스 지점을 즉시 계산하여 이미지를 포커싱함으로써, 포커싱 시간을 절감할 수 있는 효과가 있다.

이러한 본 발명의 실시형태에 따른 효과를 도 7a 및 도 7b을 이용하여 설명한다. 도 7a 및 도 7b에 도시된 바와 같이, 본 발명의 실시형태에 따르면, 오토포커스가 시작된 후, 신경망을 통하여 포커스 지점을 바로 예측하고, 그 지점으로 이동함으로써, 오토포커싱 시간이 획기적으로 절감되는 것을 볼 수 있다.

또한, 이와 같이, 포커싱을 위하여 렌즈가 이동하는 거리가 종래보다 단축됨으로써, 렌즈를 구동하기 위한 장치의 마모가 종래기술보다 줄어들어 카메라의 수명을 향상시키는 효과가 있다.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며, 첨부된 청구범위에 의해 한정된다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게는 자명할 것이며, 이 또한 첨부 된 청구범위에 기재된 기술적 사상에 속한다 할 것이다.

상술한 바와 같이, 본 발명에 따르면, 오토포커싱 시간을 종래보다 획기적으로 단축할 수 있는 효과가 있다.

또한, 렌즈의 이동거리가 줄어들어, 렌즈 구동 수단의 수명이 연장되는 효과가 있다.

Claims (4)

1. 기설정된 가중치에 따라 입력 이미지의 포커스 지점을 예측하는 신경망에 이미지를 입력하여 출력되는 예측 포커스 지점과 상기 이미지의 포커스 지점을 비교하여 그 오차가 감소되는 방향으로 상기 가중치를 조절하는 신경망 구축단계; 및

   상기 카메라 렌즈부터의 이미지를 상기 신경망에 입력시켜 상기 입력되는 이미지 데이터에 대하여 상기 신경망에서 출력되는 상기 카메라 렌즈의 포커스 지점을 획득하는 단계

   를 포함하는 신경망을 이용한 카메라의 오토포커싱 방법.
2. 제1항에 있어서,

   상기 포커스 지점으로 카메라 렌즈를 이동하는 단계; 및

   상기 카메라 렌즈로부터 신규의 이미지를 획득하는 단계

   를 더 포함하는 것을 특징으로 하는 신경망을 이용한 카메라의 오토포커싱 방법.
3. 제1항에 있어서, 상기 신경망 구축 단계는,

   이미지를 전처리하여 전처리된 이미지 데이터를 상기 신경망에 입력하고, 상기 신경망에서 출력되는 상기 이미지의 예측 포커스 지점을 획득하는 단계;

   상기 이미지의 포커스와 상기 출력된 포커스 지점의 오차를 검출하는 단계; 및

   상기 오차가 미리 설정된 허용오차범위를 벗어나는 경우, 상기 가중치를 수정하여 상기 예측 포커스 지점을 획득하는 단계로 귀환하고, 상기 오차가 상기 허용오차범위에 포함되는 경우 종료하는 포커스 지점 오차 판단 단계

   를 포함하는 것을 특징으로 하는 신경망을 이용한 카메라의 오토포커싱 방법.
4. 제3항에 있어서,

   상기 신경망은 각 포커스 지점에 대한 포커스 정도를 나타내는 포커스 값을 출력하는 복수의 출력노드를 포함하고,

   상기 이미지의 오토포커스 지점을 획득하는 단계는,

   상기 신경망의 각 출력노드의 출력을 비교하여 상기 포커스 값이 최대인 포커스 지점을 상기 이미지의 예측 오토포커스 지점으로 출력하는 것을 특징으로 하는 신경망을 이용한 카메라의 오토포커싱 방법.

Images