KR101983156B1

KR101983156B1 - 촬영 장치의 이미지 보정 장치 및 방법

Info

Publication number: KR101983156B1
Application number: KR1020130135496A
Authority: KR
Inventors: 현해승; 이희범
Original assignee: 삼성전기주식회사
Priority date: 2013-11-08
Filing date: 2013-11-08
Publication date: 2019-05-28
Also published as: US9467623B2; KR20150053495A; US20150130954A1

Abstract

본 발명에 의한 촬영 장치의 이미지 보정 장치는, 제1 모션 센서를 구비하는 카메라 모듈을 포함하는 촬영 장치의 이미지 보정 장치에 있어서, 움직임을 감지하는 제2 모션 센서; 및 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는지를 판단하고, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서에 의해 감지된 움직임 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 제어부를 포함하여, 손떨림의 변위가 광학식 손떨림 보정 모듈의 보정 각도 이상일 경우 이미지에 블러(blur)가 발생하는 것을 방지할 수 있어 선명한 이미지를 획득할 수 있다.

Description

촬영 장치의 이미지 보정 장치 및 방법{Image correcting apparatus and method in photographing apparatus}

본 발명은 촬영 장치의 이미지를 보정하는 장치 및 방법에 관한 것이다.

사용자가 피사체를 촬영하는 순간에는 언제나 손떨림이 발생하게 되며, 손떨림으로 인하여 카메라 등의 디지털 촬영 장치가 흔들릴 수 있다. 이러한 흔들림으로 인하여 이미지 센서를 통하여 입력되는 영상이 흔들려, 촬영된 결과물의 품질을 떨어뜨리는 결과를 가져오게 된다.

최근에는 카메라가 소형, 경량화 되어가고 있기 때문에, 이전에 비해 손떨림이 더 심해지고, 이동 중의 촬영이 많아지면서 이러한 떨림에 관한 문제의 해결이 양질의 사진을 얻는데 중요한 요소로 자리 잡게 되었다.

디지털 촬영 장치는 이러한 손떨림에 의한 촬영 실패를 방지하기 위하여 손떨림 보정 기능을 구비할 수 있으며, 이러한 손의 떨림을 카메라가 자동적으로 보정해주는 기술을 광학식 손떨림 보정(OIS: Optical Iamge Stabilizer)이라고 한다.

일반적으로 카메라를 이용하여 소정의 이미지를 촬영하는 동안에, 카메라에는 손 또는 몸의 떨림, 손 또는 몸의 이동 등과 같은 움직임이 전달되며, 전달된 움직임으로 인해 촬영된 이미지는 선명하지 못하고 흐려진다.

카메라의 움직임의 종류는 통상적으로 2가지로 표현될 수 있다.

첫 번째는 카메라의 렌즈 축(또는 이미지 센서의 축) 상에서 위-아래로 움직이는 것이며, 두 번째는 카메라의 렌즈 축 상에서 좌-우로 움직이는 것이다. 위-아래의 움직임을 피칭(pitching)이라고 하며, 좌-우의 움직임을 요잉(yawing)이라고 한다. 사용자가 카메라의 셔터 버튼을 눌러 소정의 이미지를 촬영할 때마다, 카메라에 피칭 또는 요잉의 움직임이 발생한다.

이러한 카메라의 움직임을 보정하기 위한 종래 기술 중 대표적으로 광학식 손떨림 보정(OIS: Optical Iamge Stabilizer) 방식이 있다.

OIS 방식에는 이미지 센서 시프트(shift) 방식과 렌즈 시프트 방식의 2가지 방식이 있으나, 휴대용 촬영기기에서는 이미지 센서 시프트 방식이 주로 사용된다. 이미지 센서 시프트 방식은 손떨림에 따라 발생하는 상의 움직임을 따라가며 이미지 센서가 움직인다. 즉, 손떨림의 방향과 반대로 이미지 센서가 움직여줌으로써, 이미지 센서에 맺히게 되는 상은 항상 그 자리를 유지할 수 있도록 하는 것이다. 렌즈 시프트 방식은 이미지 센서 대신에 렌즈가 움직이는 방식이다.

종래의 OIS 방식은 다음과 같은 한계를 갖고 있다.

정지 사진 촬영시 주변 환경이 어두울 경우 노광 시간을 매우 길게 가져가기도 하는데, 이러한 긴 시간 동안 손떨림의 변위가 잠깐 동안이라도 OIS 모듈의 보정 각도 이상일 경우, 이미지에 블러(blur)가 발생하게 된다. 보정 각도란 사진 촬영시 발생하는 흔들림 정도를 각도로 환산했을 때 선명한 사진이 촬영 가능한 범위를 의미한다. 보정 각도가 클수록 큰 떨림을 보정해 준다.

예를 들어 특정 제품의 경우 OIS 모듈의 보정 각도와 관련하여 약 1도 정도의 보정 각도를 보장하고 있다. 이렇게 보정 각도에 한계가 생기는 것에는 다음과 같이 몇 가지 이유가 있다.

첫 번째로 OIS 모듈에서의 렌즈 시프트의 변위는 매우 작다. 이것은 OIS 모듈 자체의 크기에 제한이 있기 때문에 발생한다. 또한, 이것은 액츄에이터의 성능과도 연관이 있다.

두 번째로 손떨림을 측정하기 위한 OIS 모듈 내부의 모션 센서의 동작 범위는 매우 좁다. 1도 이상의 움직임이 있을 경우 모션 센서의 동작 범위를 벗어나게 되어 모션 센서의 출력은 포화 상태(saturation)가 된다. 모션 센서의 경우 동작 범위는 해상도와 트레이드 오프 관계에 있으므로 현재의 OIS 모듈 성능에 맞추어 설계된다.

하기의 선행기술문헌에 기재된 특허문헌은, 디지털 촬영 장치의 흔들림에 대해서는 광학식 흔들림 보정 부재를 구동시켜 흔들림을 보정하고, 피사체의 흔들림에 대해서는 실시간으로 촬상면으로 들어오는 피사체의 정보를 해석하여 피사체의 움직임에 대해서 광학식 흔들림 보정 부재 또는 디지털 이미지 안정화 수단을 통해 피사체의 움직임을 보정해 줌으로써 피사체 중심의 안정화된 이미지를 촬영할 수 있는 디지털 촬영 장치의 흔들림 보정 방법 및 장치를 개시하고 있다. 하지만, 하기의 특허문헌은, 노광 시간이 길 경우, 긴 시간 동안 손떨림의 변위가 잠깐 동안이라도 OIS 모듈의 보정 각도 이상일 경우 이미지에 블러(blur)가 발생하는 것을 방지하지 못한다.

따라서, 손떨림의 변위가 OIS 모듈의 보정 각도 이상일 경우 이미지에 블러(blur)가 발생하는 것을 방지할 수 있어 선명한 이미지를 획득할 수 있는 촬영 장치의 이미지 보정 장치 및 방법이 요구된다.

US

8373761

B2

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 창출된 것으로서, 본 발명이 해결하고자 하는 과제는, 손떨림의 변위가 OIS 모듈의 보정 각도 이상일 경우 이미지에 블러(blur)가 발생하는 것을 방지할 수 있어 선명한 이미지를 획득할 수 있는 촬영 장치의 이미지 보정 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 손떨림의 변위가 OIS 모듈의 보정 각도 이상일 경우 이미지에 블러(blur)가 발생하는 것을 방지할 수 있어 선명한 이미지를 획득할 수 있는 촬영 장치의 이미지 보정 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치는, 제1 모션 센서를 구비하는 카메라 모듈을 포함하는 촬영 장치의 이미지 보정 장치에 있어서,

움직임을 감지하는 제2 모션 센서; 및

상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는지를 판단하고, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서에 의해 감지된 움직임 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 제어부를 포함한다.

본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치에 있어서, 상기 제2 모션 센서의 동작 범위는 상기 제1 모션 센서의 동작 범위보다 넓을 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치에 있어서, 상기 제어부는, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서에 의해 감지된 움직임 데이터에서 상기 제1 모션 센서에 의해 감지된 움직임 데이터를 뺀 나머지의 움직임 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치에 있어서, 상기 제어부는, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 시점부터 상기 제2 모션 센서를 이용하여 움직임 데이터를 획득하고 상기 제2 모션 센서에 의해 획득된 움직임 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치에 있어서, 상기 제1 모션 센서 및 상기 제2 모션 센서는 자이로 센서를 포함할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치에 있어서, 상기 촬영 장치는 스마트폰을 포함하고, 상기 제1 모션 센서는 상기 스마트폰의 광학식 손떨림 보정 모듈내의 모션 센서이며, 상기 제2 모션 센서는 상기 광학식 손떨림 보정 모듈 외부의 상기 스마트폰의 모션 센서를 포함할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치에 있어서, 상기 촬영 장치는 정지화상 또는 동영상을 촬영할 수 있는 카메라를 포함할 수 있다.

상기 다른 과제를 해결하기 위한 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법은,

(A) 제1 모션 센서에 의해 감지된 손떨림 세기를 획득하는 단계;

(B) 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는지를 판단하는 단계; 및

(C) 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 제2 모션 센서의 손떨림 자취 데이터에 기반하여 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함한다.

본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 제2 모션 센서의 동작 범위는 상기 제1 모션 센서의 동작 범위보다 넓을 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 단계(B)는 상기 손떨림 세기가 기준값 이상인지를 판단하는 단계를 포함하고, 상기 기준값은 상기 제1 모션 센서의 동작 범위의 한계치보다 클 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 단계(C)는, 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서에 의해 감지된 손떨림 자취 데이터에서 상기 제1 모션 센서에 의해 감지된 손떨림 자취 데이터를 뺀 나머지의 손떨림 자취 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 단계(C)는, 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 시점부터 상기 제2 모션 센서를 이용하여 손떨림 자취 데이터를 획득하고 상기 제2 모션 센서에 의해 획득된 손떨림 자취 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 제1 모션 센서 및 상기 제2 모션 센서는 자이로 센서를 포함할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서,상기 촬영 장치는 스마트폰을 포함하고, 상기 제1 모션 센서는 상기 스마트폰의 광학식 손떨림 보정 모듈내의 모션 센서이며, 상기 제2 모션 센서는 상기 광학식 손떨림 보정 모듈 외부의 상기 스마트폰의 모션 센서를 포함할 수 있다.

또한, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 촬영 장치는 정지화상 또는 동영상을 촬영할 수 있는 카메라를 포함할 수 있다.

본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법은,

(A) 셔터가 개방되어 노광이 시작되는 경우, 제1 모션 센서 및 제2 모션 센서를 이용하여 손떨림 데이터를 획득하는 단계;

(B) 노광 시간이 끝났는지를 판단하는 단계;

(C) 노광 시간이 끝나지 않은 경우, 상기 손떨림 데이터에 의한 손떨림 세기가 기준값 이상인지를 판단하는 단계;

(D) 상기 손떨림 세기가 기준값 이상인 경우, 상기 제2 모션 센서에 의해 감지된 손떨림 자취 데이터를 저장하는 단계;

(E) 상기 손떨림 세기가 기준값 이상이 아닌 경우, 상기 제1 모션 센서에 의해 감지된 손떨림 자취 데이터를 저장하는 단계;

(F) 상기 단계 (B)에서 노광 시간이 끝나지 않은 것으로 판단되는 경우, 노광 기간 중 손떨림 세기가 기준값 이상인 이미지가 존재하는지를 판단하는 단계; 및

(G) 상기 노광 기간 중 손떨림 세기가 기준값 이상인 이미지가 존재하는 경우, 상기 제2 모션 센서의 손떨림 자취 데이터를 이용하여 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함한다.

본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 제2 모션 센서의 동작 범위는 상기 제1 모션 센서의 동작 범위보다 넓을 수 있다.

또한, 본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 제1 모션 센서 및 상기 제2 모션 센서는 자이로 센서를 포함할 수 있다.

또한, 본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 촬영 장치는 스마트폰을 포함하고, 상기 제1 모션 센서는 상기 스마트폰의 광학식 손떨림 보정 모듈내의 모션 센서이며, 상기 제2 모션 센서는 상기 광학식 손떨림 보정 모듈 외부의 상기 스마트폰의 모션 센서를 포함할 수 있다.

또한, 본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법에 있어서, 상기 촬영 장치는 정지화상 또는 동영상을 촬영할 수 있는 카메라를 포함할 수 있다.

본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.

본 발명의 실시예에 의하면, 손떨림의 변위가 OIS 모듈의 보정 각도 이상일 경우에도 이미지에 블러(blur)가 발생하는 것을 방지할 수 있어 선명한 이미지를 획득할 수 있다.

도 1은 본 발명의 일 실시예에 의한 촬영 장치의 이미지 보정 장치의 블록도.
도 2는 본 발명의 일 실시예에 의한 촬영 장치의 이미지 보정 방법의 흐름도.
도 3은 본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법의 흐름도.
도 4는 움직임 정보로부터 획득된 손떨림의 궤적을 2차원적으로 표시한 도면.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.

이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.

본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.

또한, "제1", "제2", "일 면". "타 면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.

이하, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 의한 촬영 장치의 이미지 보정 장치의 블록도이다.

하기에, 도 1을 참조하여, 본 발명의 일 실시예에 의한 촬영 장치의 이미지 보정 장치에 대해 설명하기로 한다.

도 1에 도시된 본 발명의 일 실시예에 의한 촬영 장치의 이미지 보정 장치는, 카메라 모듈(100)의 제1 제어부(106)로부터 데이터 및 제어신호를 수신하고 제1 제어부(106)로 제어신호를 송신하는 제2 제어부(102) 및 움직임을 감지하는 제2 모션 센서(104)를 포함한다.

상기 카메라 모듈(100)은 메모리(116)를 구비하는 제1 제어부(106), 제1 모션 센서(108), 이미지 센서(110), 렌즈부(112) 및 구동부(114)를 포함한다.

상기 제1 제어부(106), 제1 모션 센서(108) 및 구동부(114)는 OIS 모듈(120)을 구성하여 광학식 손떨림 보정 기능을 수행할 수 있고, 상기 제1 제어부(106) 및 구동부(114)는 자동 초점 조절 기능을 수행할 수 있다. 제1 제어부(106)는 제1 모션 센서(108)에 의해 감지된 손떨림 데이터에 기반하여 구동부(114)를 제어하여 이미지 센서(110) 또는 렌즈부(112)를 손떨림의 방향과 반대 방향으로 시프트시킴으로써 이미지가 흔들려 블러가 발생하는 것을 방지한다.

상기 제2 제어부(102)는 메모리(118)를 포함하며, 움직임이 상기 제1 모션 센서(108)의 동작 범위를 벗어나는지를 판단하고, 움직임이 상기 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서(104)에 의해 감지된 움직임 데이터에 기반하여 상기 카메라 모듈(100)로부터 획득된 이미지를 보정한다.

상기에서 제1 모션 센서(108)의 동작 범위는 이미 정해져 있는 특성이고 이러한 제1 모션 센서(108)의 동작 범위는 미리 메모리(118)에 저장되어 있다고 가정한다. 제1 모션 센서(108)의 동작 범위가 제1 제어부(106)내의 메모리(116)에 저장되어 있는 경우, 제2 제어부(102)는 제1 제어부(106)로부터 제1 모션 센서(108)의 동작 범위를 획득할 수 있다.

따라서, 상기 제2 제어부(102)는 상기 제1 모션 센서(108) 또는 제2 모션 센서(104)에 의해 감지된 움직임 데이터를 제1 모션 센서(108)의 동작 범위와 비교함으로써, 움직임이 상기 제1 모션 센서(108)의 동작 범위를 벗어나는지를 판단할 수 있다.

상기 제2 모션 센서(104)의 동작 범위는 상기 제1 모션 센서(108)의 동작 범위보다 넓을 수 있다.

상기 제2 제어부(102)는, 상기 움직임이 상기 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서(104)에 의해 감지된 움직임 데이터에서 상기 제1 모션 센서(108)에 의해 감지된 움직임 데이터를 뺀 나머지의 움직임 데이터에 기반하여 상기 카메라 모듈(100)로부터 획득된 이미지를 보정할 수 있다.

또는, 상기 제2 제어부(102)는, 상기 움직임이 상기 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 상기 움직임이 상기 제1 모션 센서(108)의 동작 범위를 벗어나는 시점부터 상기 제2 모션 센서(104)를 이용하여 움직임 데이터를 획득하고 상기 제2 모션 센서(108)에 의해 획득된 움직임 데이터에 기반하여 상기 카메라 모듈(100)로부터 획득된 이미지를 보정할 수도 있다.

상기 움직임은 손떨림을 포함하고, 상기 제2 제어부(102)는, 카메라 모듈(100)로부터 제1 모션 센서(108)에 의해 감지된 손떨림 세기를 획득하거나, 제2 모션 센서(104)에 의해 감지된 손떨림 세기를 획득하고, 획득된 손떨림 세기가 상기 제1 모션 센서(108)의 동작 범위를 벗어나는지를 판단하며, 손떨림 세기가 상기 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 상기 제1 모션 센서(108)에 의해 감지된 손떨림 자취 데이터에 기반한 상기 카메라 모듈(100)의 광학식 손떨림 보정을 감안하여 상기 제2 모션 센서(104)에 의해 감지된 손떨림 자취 데이터에 기반하여 상기 카메라 모듈(100)로부터 획득된 이미지를 보정한다.

상기 제1 모션 센서(108) 및 상기 제2 모션 센서(104)는 자이로 센서를 포함할 수 있지만, 본 발명은 이에 한정되지 않는다.

상기 제1 모션 센서(108)는 스마트폰의 광학식 손떨림 보정 모듈(120)내의 모션 센서일 수 있고, 상기 제2 모션 센서(104)는 상기 광학식 손떨림 보정 모듈 외부에 있는 스마트폰의 모션 센서일 수 있다.

또한, 상기 카메라 모듈(100), 제2 제어부(102) 및 제2 모션 센서(104)는 정지화상 또는 동영상을 촬영할 수 있는 카메라에 포함되어, 손떨림이 발생하는 경우, 이미지를 보정하는데 사용될 수 있다.

상기와 같이 구성된 본 발명의 일 실시예에 의한 촬영 장치의 이미지 보정 장치의 동작을, 도 2에 도시된 본 발명의 일 실시예에 의한 촬영 장치의 이미지 보정 방법의 흐름도를 참조하여 하기에 설명하기로 한다.

도 2는 도 1에 도시된 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치의 동작을 설명하기 위한 촬영 장치의 이미지 보정 방법의 흐름도이다.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 방법은, 제1 모션 센서(108)를 이용하여 손떨림 세기를 획득하는 단계(단계 S200), 상기 손떨림 세기가 상기 제1 모션 센서(108)의 동작 범위를 벗어나는지를 제2 제어부(102)가 판단하는 단계(단계 S202), 상기 손떨림 세기가 상기 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 제1 모션 센서(108)의 동작 범위보다 더 넓은 동작 범위를 가진 제2 모션 센서(104)를 이용하여 손떨림 자취 데이터를 획득하고 메모리(118)에 저장하는 단계(단계 S204), 및 상기 제2 모션 센서(104)의 손떨림 자취 데이터를 이용하여 카메라 모듈(100)로부터 획득된 이미지를 보정하는 단계(단계 S206)를 포함한다.

상기와 같이 본 발명의 실시예에 의한 촬영 장치의 이미지 보정 장치 및 촬영 장치의 이미지 보정 방법에서는 좁은 동작 범위를 갖는 제1 모션 센서(108)를 포함하는 OIS 모듈(120)이 보정할 수 없는 OIS 구동 변위 이상의 손떨림의 발생시에도 양질의 이미지를 얻기 위하여 OIS 모듈(120) 외부에 있는 예를 들어 스마트폰에 있는 동작 범위보다 넓은 제2 모션 센서(104)를 이용하여, 손떨림 자취 데이터를 획득한 후 이를 후 보정 데이터로서 사용한다. 따라서, OIS 모듈(120)의 보정 각도 이상의 손떨림 발생시 제2 제어부(102)가 제2 모션 센서(104)에 의해 획득된 손떨림 자취 데이터를 이용하여 이미지를 보정하기 때문에 선명한 이미지를 획득할 수 있다.

이는 스마트폰의 모션 센서가 OIS용 모션 센서보다 동작 속도가 느리고 해상도가 낮지만, 넓은 범위의 각속도를 측정할 수 있음을 이용한 것이다.

일반적인 이미지의 후 보정 방법에 대해 설명하면, 예를 들어 디블러(Deblur) 알고리즘의 경우, 블러가 있는 이미지로부터 손떨림의 자취 데이터를 예측하고, 이를 통하여 카메라가 흔들린 경로를 역추적하여 이미지 디블러링을 수행한다. 이 경우 예측 알고리즘의 특성상 손떨림 자취를 예측하여 완벽하게 이미지를 복원하는 것은 불가능하다.

하지만, 본 발명의 실시예에 의하면, 손떨림 자취를 예측하는 것이 아니라, 직접적으로 손떨림 자취 데이터를 획득할 수 있으므로, 복원된 이미지의 품질을 향상시킬 수 있다.

한편, 손떨림 세기가 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 제2 제어부(102)가 상기 제2 모션 센서(104)에 의해 감지된 손떨림 자취 데이터에 기반하여 상기 카메라 모듈(100)로부터 획득된 이미지를 보정하는데 있어서, 상기 제1 모션 센서(108)에 의해 감지된 손떨림 자취 데이터는 이미지의 보정시 배제된다.

왜냐하면, 손떨림 세기가 제1 모션 센서(108)의 동작 범위를 벗어난 경우, 상기 제1 모션 센서(108)의 출력은 포화 상태가 되고, 손떨림으로 인한 이미지의 블러를 방지하기 위하여 카메라 모듈(100)내의 OIS 모듈(120)은 상기 제1 모션 센서(108)에 의해 감지된 손떨림 자취 데이터에 기반하여 이미지 센서(110)나 렌즈부(112)를 시프트시키기 때문이다.

따라서, 손떨림 세기가 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 상기 제2 제어부(102)는 상기 제2 모션 센서(104)에 의해 감지된 손떨림 자취 데이터에서 상기 제1 모션 센서(108)에 의해 감지된 손떨림 자취 데이터를 뺀 나머지의 손떨림 자취 데이터에 기반하여 카메라 모듈(100)로부터 획득된 이미지를 보정한다.

대안적으로, 손떨림 세기가 제1 모션 센서(108)의 동작 범위를 벗어나는 경우, 상기 제2 제어부(102)는, 손떨림 세기가 제1 모션 센서(108)의 동작 범위를 벗어나는 시점부터 상기 제2 모션 센서(104)를 이용하여 손떨림 자취 데이터를 획득하고 상기 제2 모션 센서(104)에 의해 획득된 손떨림 자취 데이터에 기반하여 카메라 모듈(100)로부터 획득된 이미지를 보정할 수도 있다.

도 3은 본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법의 흐름도이다.

도 3을 참조하면, 본 발명의 다른 실시예에 의한 촬영 장치의 이미지 보정 방법은, 단계 S300에서 사용자가 카메라를 켜고, 단계 S302에서 셔터 버튼을 눌러 노광이 시작되는 경우, 단계 S304에서 제1 모션 센서(108) 및 제2 모션 센서(104)에 의해 획득된 손떨림 데이터가 메모리(116, 118)에 저장된다. 즉, 이미지 센서(110)가 노출되는 순간부터 찰영 장치의 움직이는 정보인 손떨림 데이터가 획득되어 메모리(116, 118)에 저장된다. 제2 제어부(102)는 상기 손떨림 데이터를 통하여, 손떨림 등으로 인하여 촬영 장치가 움직인 정도에 대한 데이터를 얻는다.

상기에서 제1 모션 센서(108)는 스마트폰의 OIS 모듈(120)에 포함되는 동작 범위가 좁은 자이로 센서 등을 포함하고, 제2 모션 센서(104)는 OIS 모듈(120) 외부에 있는 스마트폰에 포함된 상기 제1 모션 센서(108)보다 동작 범위가 더 넓은 모션 센서일 수 있다.

단계 S306에서는 노광시간이 끝났는지를 판단한다. 단계 S306에서 노광시간이 끝나지 않은 것으로 판단되는 경우, 단계 S308에서 상기 손떨림 데이터에 의한 손떨림 세기가 기준값 이상인지를 판단한다. 상기 기준값은 제1 모션 센서(108)의 동작 범위의 한계치보다 큰 값을 포함할 수 있다.

손떨림 세기가 기준값 이상이 아닌 경우, 단계 S310에서 제1 모션 센서(108)에 의해 감지된 손떨림 자취 데이터를 메모리(116)에 저장한다.

손떨림 세기가 기준값 이상인 경우, 단계 S312에서 제2 모션 센서(104)에 의해 감지된 손떨림 자취 데이터를 메모리(118)에 저장한다. 도 4는 움직임 정보로부터 획득된 손떨림의 궤적을 2차원적으로 표시한 도면이다. 도 4에 도시된 바와 같이, 단계 S312에서는 손떨림 궤적의 샘플림된 데이터를 메모리(118)에 저장한다.

상기 단계 S306에서 노광 시간이 끝난 것으로 판단되는 경우, 단계 S314에서, 노광 기간 중 손떨림 세기가 기준값 이상인 이미지가 존재하는지를 판단한다.

노광 기간 중 손떨림 세기가 기준값 이상인 이미지가 존재하는 경우, 단계 S316에서 제2 모션 센서(104)의 손떨림 자취 데이터를 이용하여 카메라 모듈(100)로부터 획득된 노광 기간 중 손떨림 세기가 기준값 이상인 이미지를 보정한다. 단계 S316에서는, 노광 기간 중 손떨림이 기준값 이상인 이미지가 존재하는 경우, 스마트폰의 모션 센서와 같이 동작 범위가 넓은 제2 모션 센서(104)를 이용하여 이 기간에서 손떨림 등으로 인하여 촬영 장치가 움직인 경로에 대한 데이터를 얻고, 획득된 손떨림 자취 데이터와 같은 움직임 정보를 통하여 이미지를 보정한다.

단계 S316에서는, 움직임 정보로부터 얻어진 손떨림의 궤적을 통하여 이미지를 보정한다. 단계 S316에서는 도 4에 도시된 바와 같이 손떨림 궤적의 샘플림된 데이터를 메모리(118)로부터 획득하여 이를 이용하여 이미지를 보정한다.

한편, 단계 S316에서 이미지를 보정하는 방법은 여러 가지 방법을 사용할 수 있는데, 예를 들어 이미지 디블러링이라는 기술을 사용하여 이미지를 보정할 수 있다.

상기 이미지 디블러링은 촬영과정에서의 흔들린 사진의 정보를 수집하여, 원래의 모습을 추정한 후 복원하는 기술로서 카메라가 흔들린 경로를 역으로 추적하여 추정해내는 알고리즘을 포함한다. 촬영 장치의 움직임 정보의 정확한 데이터를 갖고 있다면, 이러한 이미지 보정 작업에 중요한 참고 데이터가 될 수 있으며, 추정치를 사용한 경우보다 훨씬 더 선명한 이미지를 획득할 수 있다.

수학식 1은 이미지 디블러링 기술을 수학식으로 나타낸 것이다.

상기에서 B는 블러링된 이미지(Blurred image)를 나타내고, L은 잠재된 선명한 이미지(Latent sharp image)로서 원 이미지를 나타내며, K는 모션 블러 커널(Motion blur kernel) 또는 점 확산 함수(Point Spread Functioin: PSF)를 나타내고, N은 잡음(Noise)을 나타낸다.

수학식 1에 의하면, 블러링된 이미지(B)는 원 이미지(L)와 모션 블러 커널(K)의 컨벌루션에 의해 모델링된 변형된 이미지를 의미하는데, 원 이미지(L)를 복원하기 위해서는 상기 모션 블러 커널(K)을 찾아내어 이를 블러링된 이미지(B)에 디컨벌루션하게 된다. 보통의 이미지 디블러링 알고리즘에서는 상기 모션 블러 커널(K)을 추정하는데 많은 시간이 걸리며, 오차가 발생하게 된다.

본 발명의 실시예에 의하면, 촬영 장치의 움직임 정보를 상기 모션 블러 커널(K)을 찾는데 사용하여 이미지 보정 시간을 단축하고, 이미지 품질 또한 향상시킬 수 있다.

이러한 이미지 보정 과정은 촬영 장치 내부의 프로세서에서 직접 이루어질 수 있거나, 또는 데스크톱 컴퓨터 등의 고속의 시스템에서 이루어질 수도 있다.

움직임 정보를 좀 더 간단화하여, 이미지의 태그 정보에 포함시키는 방법도 생각할 수 있다. 이러한 방법을 통하여, 원본 파일과 움직임 정보 파일을 분리하여 보관이 가능해지며, 항상 원본 파일을 손실없이 보관할 수 있게 된다.

때로는 이미지 보정 알고리즘에 의하여 이미지에 왜곡이 생기는 경우도 있기 때문에, 원본 파일을 보관하는 것은 중요하다. 이런 경우 다음과 같이 이용이 가능하다.

예를 들어 카메라를 데스크톱 컴퓨터와 연결시 컴퓨터 프로그램에서 카메라의 이미지와 움직임 정보 파일을 다운받아, 고속의 시스템인 컴퓨터에서 이미지 보정을 수행하는 방식이다. 이러한 일련의 과정을 자동화시켜 좀 더 사용자 친화적인 방법으로 손떨림 보정 작업이 이루어지도록 할 수도 있다.

이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.

100 : 카메라 모듈 102 : 제2 제어부
104 : 제2 모션 센서 106 : 제1 제어부
108 : 제1 모션 센서 110 : 이미지 센서
112 : 렌즈부 114 : 구동부
116, 118 : 메모리 120 : 광학식 손떨림 보정 모듈

Claims

제1 모션 센서를 구비하는 카메라 모듈을 포함하는 촬영 장치의 이미지 보정 장치에 있어서,
움직임을 감지하는 제2 모션 센서; 및
상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는지를 판단하고, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서에 의해 감지된 움직임 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 제어부를 포함하는 촬영 장치의 이미지 보정 장치.
청구항 1에 있어서,
상기 제2 모션 센서의 동작 범위는 상기 제1 모션 센서의 동작 범위보다 넓은 촬영 장치의 이미지 보정 장치.
청구항 1에 있어서,
상기 제어부는, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서에 의해 감지된 움직임 데이터에서 상기 제1 모션 센서에 의해 감지된 움직임 데이터를 뺀 나머지의 움직임 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 촬영 장치의 이미지 보정 장치.
청구항 1에 있어서,
상기 제어부는, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 움직임이 상기 제1 모션 센서의 동작 범위를 벗어나는 시점부터 상기 제2 모션 센서를 이용하여 움직임 데이터를 획득하고 상기 제2 모션 센서에 의해 획득된 움직임 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 촬영 장치의 이미지 보정 장치.
청구항 1에 있어서,
상기 제1 모션 센서 및 상기 제2 모션 센서는 자이로 센서를 포함하는 촬영 장치의 이미지 보정 장치.
청구항 1에 있어서,
상기 촬영 장치는 스마트폰을 포함하고,
상기 제1 모션 센서는 상기 스마트폰의 광학식 손떨림 보정 모듈내의 모션 센서이며,
상기 제2 모션 센서는 상기 광학식 손떨림 보정 모듈 외부의 상기 스마트폰의 모션 센서를 포함하는 촬영 장치의 이미지 보정 장치.
청구항 1에 있어서, 상기 촬영 장치는 정지화상 또는 동영상을 촬영할 수 있는 카메라를 포함하는 촬영 장치의 이미지 보정 장치.
(A) 제1 모션 센서에 의해 감지된 손떨림 세기를 획득하는 단계;
(B) 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는지를 판단하는 단계; 및
(C) 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 제2 모션 센서의 손떨림 자취 데이터에 기반하여 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 8에 있어서,
상기 제2 모션 센서의 동작 범위는 상기 제1 모션 센서의 동작 범위보다 넓은 촬영 장치의 이미지 보정 방법.
청구항 8에 있어서,
상기 단계(B)는 상기 손떨림 세기가 기준값 이상인지를 판단하는 단계를 포함하고, 상기 기준값은 상기 제1 모션 센서의 동작 범위의 한계치보다 큰 촬영 장치의 이미지 보정 방법.
청구항 8에 있어서,
상기 단계(C)는, 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 제2 모션 센서에 의해 감지된 손떨림 자취 데이터에서 상기 제1 모션 센서에 의해 감지된 손떨림 자취 데이터를 뺀 나머지의 손떨림 자취 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 8에 있어서,
상기 단계(C)는, 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 경우, 상기 손떨림 세기가 상기 제1 모션 센서의 동작 범위를 벗어나는 시점부터 상기 제2 모션 센서를 이용하여 손떨림 자취 데이터를 획득하고 상기 제2 모션 센서에 의해 획득된 손떨림 자취 데이터에 기반하여 상기 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 8에 있어서,
상기 제1 모션 센서 및 상기 제2 모션 센서는 자이로 센서를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 8에 있어서,
상기 촬영 장치는 스마트폰을 포함하고,
상기 제1 모션 센서는 상기 스마트폰의 광학식 손떨림 보정 모듈내의 모션 센서이며,
상기 제2 모션 센서는 상기 광학식 손떨림 보정 모듈 외부의 상기 스마트폰의 모션 센서를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 8에 있어서, 상기 촬영 장치는 정지화상 또는 동영상을 촬영할 수 있는 카메라를 포함하는 촬영 장치의 이미지 보정 방법.
(A) 셔터가 개방되어 노광이 시작되는 경우, 제1 모션 센서 및 제2 모션 센서를 이용하여 손떨림 데이터를 획득하는 단계;
(B) 노광 시간이 끝났는지를 판단하는 단계;
(C) 노광 시간이 끝나지 않은 경우, 상기 손떨림 데이터에 의한 손떨림 세기가 기준값 이상인지를 판단하는 단계;
(D) 상기 손떨림 세기가 기준값 이상인 경우, 상기 제2 모션 센서에 의해 감지된 손떨림 자취 데이터를 저장하는 단계;
(E) 상기 손떨림 세기가 기준값 이상이 아닌 경우, 상기 제1 모션 센서에 의해 감지된 손떨림 자취 데이터를 저장하는 단계;
(F) 상기 단계 (B)에서 노광 시간이 끝나지 않은 것으로 판단되는 경우, 노광 기간 중 손떨림 세기가 기준값 이상인 이미지가 존재하는지를 판단하는 단계; 및
(G) 상기 노광 기간 중 손떨림 세기가 기준값 이상인 이미지가 존재하는 경우, 상기 제2 모션 센서의 손떨림 자취 데이터를 이용하여 카메라 모듈로부터 획득된 이미지를 보정하는 단계를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 16에 있어서,
상기 제2 모션 센서의 동작 범위는 상기 제1 모션 센서의 동작 범위보다 넓은 촬영 장치의 이미지 보정 방법.
청구항 16에 있어서,
상기 제1 모션 센서 및 상기 제2 모션 센서는 자이로 센서를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 16에 있어서,
상기 촬영 장치는 스마트폰을 포함하고,
상기 제1 모션 센서는 상기 스마트폰의 광학식 손떨림 보정 모듈내의 모션 센서이며,
상기 제2 모션 센서는 상기 광학식 손떨림 보정 모듈 외부의 상기 스마트폰의 모션 센서를 포함하는 촬영 장치의 이미지 보정 방법.
청구항 16에 있어서, 상기 촬영 장치는 정지화상 또는 동영상을 촬영할 수 있는 카메라를 포함하는 촬영 장치의 이미지 보정 방법.