KR102176285B1 - 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법 - Google Patents

손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법 Download PDF

Info

Publication number
KR102176285B1
KR102176285B1 KR1020150006965A KR20150006965A KR102176285B1 KR 102176285 B1 KR102176285 B1 KR 102176285B1 KR 1020150006965 A KR1020150006965 A KR 1020150006965A KR 20150006965 A KR20150006965 A KR 20150006965A KR 102176285 B1 KR102176285 B1 KR 102176285B1
Authority
KR
South Korea
Prior art keywords
lens module
image
shake correction
camera shake
controller
Prior art date
Application number
KR1020150006965A
Other languages
English (en)
Other versions
KR20160087684A (ko
Inventor
이희범
이제호
강순석
임피터진우
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020150006965A priority Critical patent/KR102176285B1/ko
Publication of KR20160087684A publication Critical patent/KR20160087684A/ko
Application granted granted Critical
Publication of KR102176285B1 publication Critical patent/KR102176285B1/ko

Links

Images

Classifications

    • H04N5/23248—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • H04N5/23251—
    • H04N5/2328—
    • H04N5/23287—

Abstract

본 발명의 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치는, 렌즈 모듈의 흔들림을 감지하여 이미지를 안정화하는 손떨림 보정 장치; 및 상기 손떨림 보정 장치에 포함된 움직임 센서의 출력 신호의 오프셋을 조정하는 오프셋 조정부의 오프셋을 조정하여 상기 렌즈 모듈을 기준 위치에서 복수의 상이한 위치로 이동시켜 각 위치에서 이미지들을 획득하고, 상기 각 위치에서 획득된 이미지들을 합성하여 고해상도의 이미지를 형성하는 컨트롤러를 포함하여, 이미지 센서가 가지고 있는 고정된 한계 해상도를 넘는 흔들림이 없는 선명한 고해상도의 이미지를 형성할 수 있고, 고품질의 광각 이미지를 형성할 수 있다.

Description

손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법{Apparatus and method for forming high resolution image using optical image stabilizer}
본 발명은 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법에 관한 것이다.
카메라 모듈이 내장된 휴대용 전자 기기에는 사용자의 손떨림을 방지하기 위하여 손떨림 보정 장치(OIS: Optical Image Stabilizer)가 내장되어 있다. 손떨림보정 장치는 능동적으로 손떨림을 감지하고 카메라 모듈에 내장된 렌즈 모듈을 이동시켜 손떨림으로 인하여 이미지가 흔들리는 것을 방지함으로써 물리적으로 이미지를 안정화한다.
손떨림 보정 장치는 손떨림으로 인하여 카메라 모듈 내의 렌즈 모듈이 흔들리더라도 사용자가 용이하게 흔들림이 없는 사진을 촬영할 수 있고 야간에도 흔들림없이 많은 광량을 받아서 밝은 사진을 촬영할 수 있게 한다.
일반적으로, 카메라 모듈에 내장된 이미지 센서의 해상도는 고정되어 있기 때문에, 내장된 이미지 센서의 한계 해상도를 넘는 고해상도의 이미지를 획득하는 것은 용이하지 않다. 따라서, 고해상도의 이미지를 획득하기 위해서는 고해상도 이미지 센서가 장착된 카메라 모듈을 사용해야 하지만, 해상도가 높아질수록 카메라 모듈의 크기도 커지게 된다.
하기의 선행기술문헌에 기재된 특허문헌은, 손떨림 보정 프로세서를 이용하여 이미지 센서의 광로를 이동시켜 각 광로를 통해 획득되는 광학 샘플들을 결합함으로써 고해상도 이미지를 생성하는 시스템 및 방법을 개시하고 있다.
US 2014-0125825 A1
본 발명의 일 실시예가 해결하고자 하는 과제는, 이미지 센서가 가지고 있는 고정된 한계 해상도를 넘는 선명한 고해상도의 이미지를 형성할 수 있고, 고품질의 광각 이미지를 형성할 수 있는, 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치를 제공하는 것이다.
본 발명의 일 실시예가 해결하고자 하는 다른 과제는, 이미지 센서가 가지고 있는 고정된 한계 해상도를 넘는 선명한 고해상도의 이미지를 형성할 수 있고, 고품질의 광각 이미지를 형성할 수 있는, 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치는, 렌즈 모듈의 흔들림을 감지하여 이미지를 안정화하는 손떨림 보정 장치; 및 상기 손떨림 보정 장치에 포함된 움직임 센서의 출력 신호의 오프셋을 조정하는 오프셋 조정부의 오프셋을 조정하여 상기 렌즈 모듈을 기준 위치에서 복수의 상이한 위치로 이동시켜 각 위치에서 이미지들을 획득하고, 상기 각 위치에서 획득된 이미지들을 합성하여 고해상도의 이미지를 형성하는 컨트롤러를 포함한다.
상기 렌즈 모듈이 손떨림 보정 모드에 있는 경우, 상기 컨트롤러는 각 위치에서 이미지들을 획득할 때 상기 손떨림 보정 기능을 작동시켜 흔들림이 없는 이미지들을 획득한다.
상기 렌즈 모듈이 고정 모드에 있는 경우, 상기 컨트롤러는, 각 위치에서 이미지들을 획득할 때 손떨림 보정 기능을 작동시키지 않고 각 위치에서 이미지들을 획득한다.
상기 렌즈 모듈이 광각 촬영 모드에 있는 경우, 상기 컨트롤러는, 상기 손떨림 보정 기능을 이용하여 기준 위치에서 좌측 및 우측으로 소정 각도 이상 상기 렌즈 모듈을 이동시키고, 각각의 이동된 위치에서 상기 손떨림 보정 기능을 작동시켜 흔들림이 없는 이미지들을 획득하며, 획득된 좌측 및 우측의 이미지들을 합성하여 광각 이미지를 형성한다.
본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치에 의하면, 이미지 센서가 가지고 있는 고정된 한계 해상도를 넘는 흔들림이 없는 선명한 고해상도의 이미지를 형성할 수 있고, 고품질의 광각 이미지를 형성할 수 있다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
도 1은 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치를 도시한 도면.
도 2는 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법을 도시한 도면.
도 3a 내지 도 3e는 이미지들을 합성하여 고해상도 이미지를 형성하는 방법을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용하여 광각 이미지를 형성하는 방법을 도시한 도면.
도 5a 내지 도 5d는 좌측 이미지와 우측 이미지를 합성하여 광각 이미지를 형성하는 방법을 설명하기 위한 도면.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2", "일 면". "타 면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치를 도시한 도면이다.
도 1에 도시된 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치는, 카메라 모듈(미도시)에 내장된 렌즈 모듈(116)의 흔들림을 감지하여 이미지를 안정화하는 손떨림 보정 장치(OIS: Optical Image Stabilizer)(100), 및 상기 손떨림 보정 장치(100)에 포함된 움직임 센서인 자이로 센서(102)의 출력 신호의 오프셋을 조정하는 오프셋 조정부(104)의 오프셋을 조정하여 상기 렌즈 모듈(116)을 기준 위치에서 복수의 상이한 위치로 이동시켜 각 위치에서 이미지들을 획득하고, 상기 각 위치에서 획득된 이미지들을 합성하여 고해상도의 이미지를 형성하는 컨트롤러(120)를 포함한다.
도 1에서 손떨림 보정 장치(100)는 카메라(미도시)에 내장될 수 있거나 카메라 모듈이 장착된 스마트폰과 같은 휴대용 기기에 내장될 수 있다.
스마트폰에 손떨림 보정 장치(100)가 탑재된 경우, 컨트롤러(120)는 손떨림 보정 장치(100)의 동작을 제어하는 스마트폰 내의 애플리케이션 프로세서(AP: Application Processor)일 수 있다.
본 발명의 실시예에서는 컨트롤러(120)가 OIS 컨트롤러(110)에 제어 신호를 인가하여 OIS 컨트롤러(110)로 하여금 오프셋 조정부(104)에 오프셋을 인가하게 하지만, 컨트롤러(120)가 직접 오프셋 조정부(104)에 오프셋을 인가할 수도 있다.
상기 손떨림 보정 장치(100)는 자이로 센서(102), 오프셋 조정부(104), 자이로 적분기(106), 이득 조정부(108), OIS 컨트롤러(110), 보이스 코일 모터(VCM: Voice Coil Motor)(112), 및 홀 센서(114)를 포함한다.
상기 자이로 센서(102)는 움직임 센서로서, 카메라 모듈에 포함된 렌즈 모듈(116)의 흔들림을 감지하여 각속도를 출력한다. 상기 오프셋 조정부(104)는 상기 자이로 센서(102)에서 출력된 신호에 포함된 DC 오프셋을 조정한다. 상기 자이로 적분기(106)는 오프셋 조정부(104)에서 출력된 각속도에 시간을 곱해 각도를 계산하고, 이렇게 획득된 각도에 렌즈 고유의 초점 거리를 곱해 렌즈의 이동 거리를 계산한다. 이득 조정부(108)는 자이로 적분기(106)에서 출력된 신호의 이득을 조정하여 출력한다.
OIS 컨트롤러(110)는 PID 컨트롤러로서, 이득 조정부(108)의 출력 신호 및 홀 센서(114)의 출력 신호에 기반하여 렌즈 모듈(116)을 이동시킬 수 있도록 VCM(112)에 흐르는 전류의 양을 조절한다.
VCM(112)은 자석으로 형성된 자기장 속에 있는 코일에 전류가 흐르면 힘이 발생하는 원리를 이용하여 렌즈 모듈(116)을 이동시키는 역할을 한다.
홀 센서(114)는 자기장의 세기에 따라 전압이 변하는 소자이다. 전류가 흐르는 도체에 자기장을 인가하면 전류와 자기장에 대해 수직 방향으로 전압이 발생하는 홀 효과에 따라, 홀 센서(114)는 마그네트가 장착된 렌즈 모듈(116)의 이동에 따른 자기장의 세기에 비례하는 전압을 발생하게 된다. 이때 발생하는 전압값은 약하기 때문에, 증폭하여 사용한다. 증폭된 전압값은 아날로그-디지털 변환기(미도시)를 거쳐 OIS 컨트롤러(110)로 입력된다.
컨트롤러(120)는 렌즈 모듈(116)을 통해 이미지 센서(118)에서 촬상되는 이미지들을 수신하여 메모리(122)에 저장하고, 저장된 이미지들을 합성하여 고해상도의 이미지를 형성하거나, 광각 이미지를 형성한다.
일반적인 모드에서, 손떨림 보정 장치(100)는 사용자의 손떨림 등으로 인하여 카메라 모듈(미도시) 내의 렌즈 모듈(116)이 흔들리는 경우, 렌즈 모듈(116)을 이동시켜 손떨림을 보상함으로써 흔들림이 없는 선명한 이미지를 획득한다.
본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치는, 렌즈 모듈(116)을 서브-픽셀 단위로 정밀하게 이동시킬 수 있는 손떨림 보정 장치(100)를 이용하여, 기준 위치 및 기준 위치에서 상이한 위치로 서브-픽셀 만큼 이동시킨 복수의 위치에서 각각 이미지를 획득하고, 획득된 이미지들을 합성함으로써 고해상도 이미지를 형성한다.
또한, 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치는, 렌즈 모듈(116)이 고정되어 있지 않은 경우, 손떨림 보정 모드로 동작한다. 손떨림 보정 모드에서 컨트롤러(120)가 렌즈 모듈(116)을 각 위치로 이동시켜 각 위치에서 이미지를 획득할 때, 컨트롤러(120)는 손떨림 보정 기능을 작동시켜 이미지를 획득함으로써, 각 위치에서 흔들림이 없는 이미지들을 획득할 수 있다.
또한, 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치는, 렌즈 모듈(116)을 좌우로 소정 각도 이동시켜 각 위치에서 손떨림 보정 기능을 작동시켜 흔들림이 없는 좌측 시프트 이미지 및 우측 시프트 이미지를 획득하고, 획득된 이미지들을 합성함으로써 광각 이미지를 형성한다.
오프셋 조정부(104)는 원래 자이로 센서(102)에서 출력되는 신호에서 DC 오프셋을 조정하기 위한 것이지만, 오프셋 조정부(104)에 소정의 DC 오프셋을 인위적으로 인가하면, 자이로 센서(102)에서 출력되는 신호의 크기가 변경되어, 결과적으로 렌즈 모듈(116)을 정밀하게 서브-픽셀 단위로 이동시킬 수 있다.
컨트롤러(120)는 렌즈 모듈(116)을 원하는 위치로 서브-픽셀 단위로 이동시키기 위하여, OIS 컨트롤러(110)를 통해 오프셋 조정부(104)에 인위적으로 소정의 오프셋을 인가한다. 본 발명의 실시예에서는, 컨트롤러(120)가 OIS 컨트롤러(110)를 통해 오프셋 조정부(104)에 인위적으로 소정의 오프셋을 인가하게 하였지만, 컨트롤러(120)는 OIS 컨트롤러(110)를 통하지 않고, 직접 오프셋 조정부(104)에 소정의 오프셋을 인가할 수도 있다.
오프셋 조정부(104)에 인가하는 오프셋의 값과 렌즈 모듈(116)의 이동 방향 및 이동 거리 간의 관계에 관한 데이터는 사전에 결정되어 메모리(122)에 저장되어 있거나, OIS 컨트롤러(110) 내에 포함된 메모리(미도시)에 저장되어 있다고 가정한다.
도 2는 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법을 도시한 도면이다.
도 2에 도시된 바와 같이, 모드에 따라 고해상도를 형성하는 방법이 다소 상이하다. 렌즈 모듈(116)이 고정되는 고정 모드인 경우에는, 직접적인 제어보다는 렌즈 모듈(116)을 특정 위치로 고정하는 경우가 이미지 획득에 유리하다. 이러한 경우, 렌즈 모듈(116)을 특정 위치로 이동시키고, 해당 위치에서 0.5 픽셀씩 상이한 방향으로 렌즈 모듈(116)을 이동시켜 이미지를 획득한다.
하지만, 손떨림 보정이 필요한 경우에는 렌즈 모듈(116)의 중심 위치를 기준으로 손떨림을 방지하기 때문에, 중심 위치를 0.5 픽셀씩 변경하면서 각 위치에서 손떨림 보정 기능을 작동시켜 이미지들을 획득한다. 손떨림 보정 모드에서는 손떨림 보정 기능을 작동시켜 이미지를 획득하기 때문에, 손떨림 보정 기능을 작동시키지 않고 이미지를 획득하는 고정 모드보다 이미지 획득 속도 및 이미지의 품질에 다소 차이가 날 수 있다.
고정 모드 또는 손떨림 보정 모드에서 각 위치에서 획득된 4장의 이미지들을 합성하면 이미지 센서의 한계 해상도의 4배에 이르는 고해상도 이미지를 형성할 수 있다.
도 1 및 도 2를 참조하면, 단계 S200에서, 상기 컨트롤러(120)는 상기 렌즈 모듈(116)이 고정 모드 또는 손떨림 보정 모드에 있는지를 판단한다.
고정 모드 또는 손떨림 보정 모드는, 사용자에 의해 설정될 수 있거나, 렌즈 모듈(116)이 장착된 카메라(미도시) 또는 스마트폰(미도시)이 고정되는 경우, 자동으로 고정 모드로 설정될 수 있다.
상기 렌즈 모듈(116)이 고정 모드에 있는 경우, 단계 S202에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 이용하여 상기 렌즈 모듈(116)을 촬영하고자 하는 위치를 향해 특정 위치로 이동시킨다.
렌즈 모듈(116)은 통상적으로 중력에 의해 아래로 약간 치우져 있는 상태가 있을 수 있다. 이런 경우, 상기 컨트롤러(120)는 OIS 컨트롤러(110)에 제어 신호를 인가하여, 렌즈 모듈(116)을 기준 위치로 이동시키기 위한 이동 거리에 대응하는 오프셋값을 오프셋 조정부(104)에 인가하게 함으로써, 상기 렌즈 모듈(116)을 촬영하고자 하는 위치를 향하도록 기준 위치로 이동시킨다.
단계 S204에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 이용하여 도 3b 내지 도 3d에 도시된 바와 같이, 기준 위치에서 우측 방향, 하측 방향, 및 우하측 대각선 방향으로 0.5 픽셀씩 렌즈 모듈(116)을 이동시키면서, 기준 위치를 포함하여, 각 위치에서 손떨림 보정 기능을 작동시키지 않고 이미지들을 획득하고, 각 위치에서 획득된 이미지들을 메모리(122)에 저장한다.
본 발명의 실시예에서는, 기준 위치에서 우측 방향, 하측 방향, 및 우하측 대각선 방향으로 0.5 픽셀씩 렌즈 모듈(116)을 이동시키지만, 본 발명의 실시예는 이에 한정되지 않고, 0.5 픽셀 뿐만 아니라 0.2 픽셀, 0.3 픽셀 등 1 픽셀 미만의 서브-픽셀 단위로 렌즈 모듈(116)을 이동시켜 이미지들을 획득해도 된다.
단계 S204에서, 상기 컨트롤러(120)는 OIS 컨트롤러(110)에 제어 신호를 인가하여, 렌즈 모듈(116)을 우측 방향, 하측 방향, 및 우하측 대각선 방향으로 0.5 픽셀씩 이동시키기 위한 오프셋값들을 오프셋 조정부(104)에 인가하게 함으로써, 렌즈 모듈(116)을 우측 방향, 하측 방향, 및 우하측 대각선 방향으로 0.5 픽셀씩 이동시키면서, 기준 위치를 포함하여, 각 위치에서 이미지를 획득하여 메모리(122)에 저장한다.
렌즈 모듈(116)이 고정 모드에 있는 경우에는, 렌즈 모듈(116)의 흔들림이 거의 없으므로, 고정 모드에서는 손떨림 보정 기능을 작동시키지 않고 이미지를 획득해도 흔들림이 없는 이미지를 획득할 수 있다.
따라서, 단계 S204에서는, 일단 렌즈 모듈(116)이 각 위치로 이동되는 경우, 각 위치에서 이미지를 획득할 때, 손떨림 보정 기능을 작동시키지 않고, 이미지를 획득한다.
본 발명의 일 실시예에서는, 고정 모드에서 각 위치에서 이미지를 획득할 때, 손떨림 보정 기능을 작동시키지 않은 상태에서 이미지들을 획득하지만, 고정 모드에서 손떨림 보정 기능을 작동시킬 필요가 있는 경우에는, 컨트롤러(120)가 OIS 컨트롤러(110)에 제어 신호를 인가하여 고정 모드에서도 손떨림 보정 기능을 작동시켜 각 위치에서 이미지를 획득할 때 손떨림 보정 기능이 작동된 상태에서 이미지들을 획득할 수도 있다.
단계 S208에서, 컨트롤러(120)는 도 3a 내지 도 3e에 도시된 바와 같이 기준 위치에서 획득된 이미지(300), 렌즈 모듈(116)을 우측 방향으로 0.5 픽셀 이동시킨 이미지(302), 렌즈 모듈(116)을 하측 방향으로 0.5 픽셀 이동시킨 이미지(304), 렌즈 모듈(116)을 우하측 대각선 방향으로 0.5 픽셀 이동시킨 이미지(306)를 합성하여, 고해상도의 이미지(308)를 형성한다.
도 3a 내지 도 3e는 설명의 편의를 위하여 1 픽셀에 해당하는 저해상도 이미지들(300, 302, 304, 306)을 획득하여 1 픽셀의 고해상도 이미지(308)를 형성하는 것을 도시하였다.
도 3a 및 도 3e를 참조하면, 기존의 1 픽셀에 해당하는 영역(가로(d)×세로 (d))) 내에, 4개의 픽셀을 포함하는 고해상도 이미지(308)가 형성됨을 알 수 있다.
단계 S200에서, 상기 렌즈 모듈(116)이 손떨림 보정 모드에 있는 것으로 상기 컨트롤러(120)가 판단하는 경우, 단계 S206에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 이용하여 도 3b 내지 도 3d에 도시된 바와 같이, 기준 위치에서 우측 방향, 하측 방향, 및 우하측 대각선 방향으로 0.5 픽셀씩 렌즈 모듈(116)의 중심 위치를 이동시키면서, 기준 위치를 포함하여, 각 위치에서 손떨림 보정 기능을 작동시켜 이미지들을 획득하고, 각 위치에서 획득된 이미지들을 메모리(122)에 저장한다.
손떨림 보정이 필요한 경우에는 렌즈 모듈(116)의 중심 위치를 기준으로 손떨림을 방지하기 때문에, 손떨림 보정 모드에서는 렌즈 모듈(116)의 중심 위치를 변경하면서 각 위치에서 손떨림 보정 기능을 작동시켜 이미지들을 획득한다.
단계 S206에서, 상기 컨트롤러(120)는 OIS 컨트롤러(110)에 제어 신호를 인가하여, 렌즈 모듈(116)을 우측 방향, 하측 방향, 우하측 대각선 방향으로 0.5 픽셀씩 이동시키기 위한 오프셋값들을 오프셋 조정부(104)에 인가하게 함으로써, 렌즈 모듈(116)을 우측 방향, 하측 방향, 및 우하측 대각선 방향으로 0.5 픽셀씩 이동시키면서, 기준 위치를 포함하여, 각 위치에서 이미지를 획득하고, 획득된 이미지들을 메모리(122)에 저장한다.
손떨림 보정 모드에서는 렌즈 모듈(116)이 고정되어 있지 않기 때문에, 손떨림 보정 모드에서 렌즈 모듈(116)이 각 위치로 이동되는 경우, 상기 컨트롤러(120)가 각 위치에서 이미지를 획득할 때, 컨트롤러(120)는 손떨림 보정 기능을 작동시킨 상태에서, 이미지를 획득함으로써, 각 위치에서 흔들림이 없는 이미지들을 획득한다.
단계 S208에서, 컨트롤러(120)는 도 3a 내지 도 3e에 도시된 바와 같이 기준 위치에서 획득된 이미지(300), 렌즈 모듈(116)을 우측 방향으로 0.5 픽셀 이동시킨 이미지(302), 렌즈 모듈(116)을 하측 방향으로 0.5 픽셀 이동시킨 이미지(304), 렌즈 모듈(116)을 우하측 대각선 방향으로 0.5 픽셀 이동시킨 이미지(306)를 합성하여, 고해상도의 이미지(308)를 형성한다.
도 3a 및 도 3e를 참조하면, 기존의 1 픽셀에 해당하는 영역(가로(d)×세로 (d))) 내에, 4개의 픽셀을 포함하는 고해상도 이미지(308)가 형성됨을 알 수 있다.
단계 S210에서 컨트롤러(120)는 합성된 고해상도 이미지(308)에서 점 확산 함수(PSF: Point Spread Function)에 기인하는 블러를 제거함으로써 선명한 고해상도 이미지를 획득한다.
한편, 도 4는 본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용하여 광각 촬영 모드시 광각 이미지를 형성하는 방법을 도시한 도면이고, 도 5a는 기준 이미지, 도 5b는 좌측 시프트 이미지, 도 5c는 우측 시프트 이미지, 도 5d는 좌측 시프트 이미지와 우측 시프트 이미지를 합성한 광각 이미지를 도시한 도면이다.
본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치를 이용하면, 도 5a 내지 도 5d에 도시된 바와 같이, 광각 이미지를 형성할 수 있다.
기존에는 초광각 렌즈를 이용하거나, 카메라를 수동으로 옮기면서 사진을 촬영하여 이미지를 합성하는 방법을 사용하였다. 한편, 초광각 렌즈를 사용하기가 용이하지 않은 시스템에서는 카메라를 이동하였는데, 카메라 이동시 수차가 발생하거나 카메라의 이동 속도 등에 의해 빛이나 주위 조건이 변하여 고품질의 광각 이미지를 획득하는 것이 용이하지 않았다.
본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치를 이용하면, 손떨림 보정 장치(100)를 직접 제어하여 렌즈 모듈(116)을 좌우로 이동시켜 화각을 확보함으로써 광각 이미지를 획득할 수 있다.
예를 들어, 스마트폰에 포함된 손떨림 보정 장치를 이용할 경우, 카메라 모듈이 내장된 스마트폰을 이동시킬 필요없이, 스마트폰에 내장된 손떨림 보정 장치를 이용하여 렌즈 모듈(116)을 좌우로 1.5도씩 이동시켜, 총 3도의 화각을 추가로 확보할 수 있다.
우선, 사용자에 의해 광각 모드가 선택되는 경우, 단계 S400에서 컨트롤러(120)는 OIS 컨트롤러(110)에 제어 신호를 인가하여 손떨림 보정 기능을 온(ON)시킨다.
단계 S402에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 이용하여 기준 위치에서 0.5도 이상 좌측 방향으로 렌즈 모듈(116)을 이동시킨다.
단계 S404에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 작동시킨 상태에서 도 5b에 도시된 바와 같이, 흔들림이 없는 좌측 시프트 이미지를 획득하고, 획득된 이미지를 메모리(122)에 저장한다.
단계 S406에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 이용하여 기준 위치에서 0.5도 이상 우측 방향으로 렌즈 모듈(116)을 이동시킨다.
단계 S408에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 작동시킨 상태에서 도 5c에 도시된 바와 같이, 흔들림이 없는 우측 시프트 이미지를 획득하고, 획득된 이미지를 메모리(122)에 저장한다.
단계 S410에서, 상기 컨트롤러(120)는 메모리(122)에 저장된 좌측 시프트 이미지(도 5b에 도시된 이미지)와 우측 시프트 이미지(도 5c에 도시된 이미지)를 합성하여, 도 5d에 도시된 바와 같은 광각 이미지를 획득한다.
단계 S404에서, 상기 컨트롤러(120)는 손떨림 보정 기능을 작동시킨 상태에서 도 5b에 도시된 바와 같이, 흔들림이 없는 좌측 시프트 이미지를 획득하고, 획득된 이미지를 메모리(122)에 저장한다.
본 발명의 일 실시예에 의한 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법에 의하면, 이미지 센서가 가지고 있는 고정된 한계 해상도를 넘는 흔들림이 없는 선명한 고해상도의 이미지를 형성할 수 있고, 고품질의 광각 이미지를 형성할 수 있다.
이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.
100 : 손떨림 보정 장치 102 : 자이로 센서
104 : 오프셋 조정부 106 : 자이로 적분기
108 : 이득 조정부 110 : OIS 컨트롤러
112 : VCM 114 : 홀 센서
116 : 렌즈 모듈 118 : 이미지 센서
120 : 컨트롤러 122 : 메모리

Claims (17)

  1. 렌즈 모듈의 흔들림을 감지하여 이미지를 안정화하는 손떨림 보정 장치; 및
    상기 손떨림 보정 장치에 포함된 움직임 센서의 출력 신호의 오프셋을 조정하는 오프셋 조정부의 오프셋을 조정하여 상기 렌즈 모듈을 기준 위치에서 복수의 상이한 위치로 이동시켜 각 위치에서 이미지들을 획득하고, 상기 각 위치에서 획득된 이미지들을 합성하여 고해상도의 이미지를 형성하는 컨트롤러를 포함하고,
    상기 컨트롤러는 상기 렌즈 모듈이 광각 촬영 모드에 있는지를 판단하고,
    상기 렌즈 모듈이 광각 촬영 모드에 있는 경우,
    상기 컨트롤러는, 상기 손떨림 보정 기능을 이용하여 기준 위치에서 좌측 및 우측으로 소정 각도 이상 상기 렌즈 모듈을 이동시켜 이미지를 획득하고, 획득된 좌측 및 우측의 이미지들을 합성하여 광각 이미지를 형성하는
    손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치.
  2. 청구항 1에 있어서,
    상기 컨트롤러는 상기 렌즈 모듈이 손떨림 보정 모드에 있는지를 판단하고,
    상기 렌즈 모듈이 손떨림 보정 모드에 있는 경우,
    상기 컨트롤러는, 상기 각 위치에서 이미지들을 획득할 때 손떨림 보정 기능을 작동시켜 흔들림이 없는 이미지들을 획득하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치.
  3. 청구항 1에 있어서,
    상기 컨트롤러는 상기 렌즈 모듈이 고정 모드에 있는지를 판단하고,
    상기 렌즈 모듈이 고정 모드에 있는 경우,
    상기 컨트롤러는, 상기 각 위치에서 이미지들을 획득할 때 손떨림 보정 기능을 작동시키지 않고 이미지들을 획득하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치.
  4. 청구항 1에 있어서,
    상기 컨트롤러는 상기 렌즈 모듈을 기준 위치에서 복수의 상이한 위치로 서브-픽셀만큼 이동시키는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치.
  5. 청구항 4에 있어서,
    상기 서브-픽셀은 1 픽셀 미만을 포함하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 렌즈 모듈이 광각 촬영 모드에 있는 경우,
    상기 컨트롤러는, 상기 기준 위치에서 좌측 및 우측으로 소정 각도 이상 상기 렌즈 모듈을 이동시켜 이미지를 획득할 때 상기 이동된 위치에서 상기 손떨림 보정 기능을 작동시켜 흔들림이 없는 이미지들을 획득하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치.
  8. 청구항 1에 있어서,
    상기 소정 각도는 0.5도를 포함하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치.
  9. (A) 컨트롤러가 손떨림 보정 장치에 포함된 움직임 센서의 출력 신호의 오프셋을 조정하는 오프셋 조정부의 오프셋을 조정하여 렌즈 모듈을 기준 위치에서 복수의 상이한 위치로 이동시켜 각 위치에서 이미지를 획득하는 단계; 및
    (B) 상기 컨트롤러가 상기 각 위치에서 획득된 이미지들을 합성하여 고해상도의 이미지를 형성하는 단계를 포함하고,
    상기 단계 (A) 이전에,
    상기 렌즈 모듈이 광각 촬영 모드에 있는지를 상기 컨트롤러가 판단하는 단계를 더 포함하고,
    상기 렌즈 모듈이 광각 촬영 모드에 있는 경우,
    상기 컨트롤러는, 상기 손떨림 보정 기능을 이용하여 기준 위치에서 좌측 및 우측으로 소정 각도 이상 상기 렌즈 모듈을 이동시켜 좌측 시프트 이미지 및 우측 시프트 이미지를 획득하고, 상기 획득된 좌측 시프트 이미지 및 우측 시프트 이미지를 합성하여 광각 이미지를 형성하는 단계를 더 포함하는
    손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
  10. 청구항 9에 있어서,
    상기 단계 (A) 이전에,
    상기 렌즈 모듈이 고정 모드 또는 손떨림 보정 모드에 있는지를 상기 컨트롤러가 판단하는 단계를 더 포함하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
  11. 청구항 10에 있어서,
    상기 렌즈 모듈이 손떨림 보정 모드에 있는 경우,
    상기 컨트롤러는, 상기 각 위치에서 이미지들을 획득할 때 상기 손떨림 보정 기능을 작동시켜 흔들림이 없는 이미지들을 획득하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
  12. 청구항 10에 있어서,
    상기 렌즈 모듈이 고정 모드에 있는 경우,
    상기 컨트롤러는 상기 각 위치에서 이미지들을 획득할 때 손떨림 보정 기능을 작동시키지 않고 각 위치에서 이미지들을 획득하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
  13. 청구항 9에 있어서,
    상기 단계 (A)에서, 상기 컨트롤러는 상기 렌즈 모듈을 기준 위치에서 복수의 상이한 위치로 서브-픽셀만큼 이동시키는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
  14. 청구항 13에 있어서,
    상기 서브-픽셀은 1 픽셀 미만을 포함하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
  15. 삭제
  16. 청구항 9에 있어서,
    상기 렌즈 모듈이 광각 촬영 모드에 있는 경우,
    상기 컨트롤러는, 상기 기준 위치에서 좌측 및 우측으로 소정 각도 이상 상기 렌즈 모듈을 이동시켜 이미지를 획득할 때 상기 이동된 위치에서 상기 손떨림 보정 기능을 작동시켜 흔들림이 없는 이미지들을 획득하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
  17. 청구항 9에 있어서,
    상기 소정 각도는 0.5도를 포함하는 손떨림 보정 장치를 이용한 고해상도 이미지 형성 방법.
KR1020150006965A 2015-01-14 2015-01-14 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법 KR102176285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150006965A KR102176285B1 (ko) 2015-01-14 2015-01-14 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150006965A KR102176285B1 (ko) 2015-01-14 2015-01-14 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160087684A KR20160087684A (ko) 2016-07-22
KR102176285B1 true KR102176285B1 (ko) 2020-11-09

Family

ID=56681308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150006965A KR102176285B1 (ko) 2015-01-14 2015-01-14 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102176285B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210062289A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법
CN111314607B (zh) * 2020-02-21 2021-07-13 昆山丘钛微电子科技有限公司 一种光学防抖的标定方法、装置、电子设备及介质
KR102306714B1 (ko) * 2020-02-25 2021-09-30 삼성전기주식회사 카메라 모듈
KR20220135036A (ko) * 2021-03-29 2022-10-06 삼성전자주식회사 이미지의 품질을 향상시키는 전자 장치 및 그 동작 방법
KR20230008403A (ko) * 2021-07-07 2023-01-16 엘지이노텍 주식회사 카메라 장치 및 광학 기기

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013670A (ja) * 1998-06-22 2000-01-14 Canon Inc 撮像装置及び撮像装置の制御方法
JP2001147457A (ja) * 1999-11-19 2001-05-29 Ricoh Co Ltd 手振れ防止機能付き撮像装置
JP2012156778A (ja) * 2011-01-26 2012-08-16 Toshiba Corp カメラモジュール及び画像記録方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288395B2 (en) 2012-11-08 2016-03-15 Apple Inc. Super-resolution based on optical image stabilization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013670A (ja) * 1998-06-22 2000-01-14 Canon Inc 撮像装置及び撮像装置の制御方法
JP2001147457A (ja) * 1999-11-19 2001-05-29 Ricoh Co Ltd 手振れ防止機能付き撮像装置
JP2012156778A (ja) * 2011-01-26 2012-08-16 Toshiba Corp カメラモジュール及び画像記録方法

Also Published As

Publication number Publication date
KR20160087684A (ko) 2016-07-22

Similar Documents

Publication Publication Date Title
KR102176285B1 (ko) 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법
US9979889B2 (en) Combined optical and electronic image stabilization
US9288395B2 (en) Super-resolution based on optical image stabilization
US8743222B2 (en) Method and apparatus for cropping and stabilization of video images
US10104292B2 (en) Multishot tilt optical image stabilization for shallow depth of field
CN105592262A (zh) 摄像装置
CN111246080B (zh) 控制设备、控制方法、摄像设备以及存储介质
JP7456043B2 (ja) 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム
JP2023126838A (ja) 天体追尾装置および天体追尾方法
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP2019145958A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2018156036A (ja) 撮像装置
US9787891B2 (en) Focus control apparatus and focus control method
KR102191254B1 (ko) 손떨림 보정 장치 및 손떨림 보정 장치의 제어 방법
US9667869B2 (en) Camera apparatus for automatically maintaining horizontality and method for the same
JP2020050261A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP4064001B2 (ja) カメラ
KR20140082454A (ko) 카메라 장치 및 상기 카메라 장치의 촬영 방법
US9398232B2 (en) Special effect video camera
WO2021035525A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2020017924A (ja) 移動体、撮像制御方法、プログラム、及び記録媒体
TWI639338B (zh) 影像擷取裝置及其影像平順縮放方法
JP2011234310A (ja) 撮像装置
WO2023008102A1 (ja) 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム
JP7242320B2 (ja) 撮像装置、制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant