KR20210062289A - 틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법 - Google Patents

틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법 Download PDF

Info

Publication number
KR20210062289A
KR20210062289A KR1020190150320A KR20190150320A KR20210062289A KR 20210062289 A KR20210062289 A KR 20210062289A KR 1020190150320 A KR1020190150320 A KR 1020190150320A KR 20190150320 A KR20190150320 A KR 20190150320A KR 20210062289 A KR20210062289 A KR 20210062289A
Authority
KR
South Korea
Prior art keywords
camera module
electronic device
image
tilt ois
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190150320A
Other languages
English (en)
Other versions
KR102743278B1 (ko
Inventor
강원석
문찬영
송원석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190150320A priority Critical patent/KR102743278B1/ko
Priority to US17/092,644 priority patent/US11431906B2/en
Priority to PCT/KR2020/015647 priority patent/WO2021101148A1/en
Publication of KR20210062289A publication Critical patent/KR20210062289A/ko
Application granted granted Critical
Publication of KR102743278B1 publication Critical patent/KR102743278B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/2259—
    • H04N5/23245—
    • H04N5/23258—
    • H04N5/23287—
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 문서에 개시된 다양한 실시예에 따른 전자 장치는, 카메라 모듈, 상기 카메라 모듈을 상기 전자 장치에 대하여 적어도 하나의 축으로 회전시키는 틸트 OIS 및 상기 카메라 모듈 및 틸트 OIS와 동작적으로 연결되는 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 카메라 모듈이 적어도 하나의 축으로 회전되면서 화상을 촬영하도록 상기 카메라 모듈과 틸트 OIS를 작동시킬 수 있고, 상기 카메라로 촬영된 복수의 이미지를 합성할 수 있다. 이 밖에도 다양한 실시예가 가능할 수 있다.

Description

틸트 OIS를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법{ELECTRONIC DEVICE INCLUDING TILT OIS AND METHOD FOR IMAGE SHOOTING AND PROCESSING BY THE SAME}
본 문서에 개시된 다양한 실시예들은, 틸트 OIS를 포함하는 전자 장치와 그를 이용한 이미지 촬영 방법과 촬영된 이미지를 처리하는 방법에 관한 것이다.
전자 장치를 이용하여 사진 또는 동영상을 촬영하는 이용자가 증가함에 따라, 전자 장치에 포함된 카메라의 성능 또한 향상되고 있다.
최근에는, 전자 장치에 포함된 카메라로 촬영된 결과물의 품질을 고려하여, 광학식 이미지 스태빌라이저(optical image stablilazer; OIS)가 전자 장치의 카메라에 적용되고 있다.
본 문서에 개시된 다양한 실시예들은 전자 장치에 탑재된 카메라를 적어도 하나의 축으로 회전시키는 틸트 OIS를 이용한 이미지 촬영 방법 및 처리 방법을 제공하기 위한 것이다.
또한, 사용자의 입력 및 전자 장치의 상태를 감지하여 자동으로 촬영 모드를 설정할 수 있는 전자 장치 및 방법을 제공하기 위한 것이다.
또한, 틸트 OIS를 작동시켜 복수의 이미지를 촬영하고, 복수의 이미지를 처리하여 화각이 확장되거나 해상도가 향상된 이미지를 얻을 수 있는 이미지 촬영 방법 및 이미지 처리 방법을 제공하기 위한 것이다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치는, 카메라 모듈, 상기 카메라 모듈을 상기 전자 장치에 대하여 적어도 하나의 축으로 회전시키는 틸트 OIS 및 상기 카메라 모듈 및 틸트 OIS와 동작적으로 연결되는 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 카메라 모듈이 적어도 하나의 축으로 회전되면서 화상을 촬영하도록 상기 카메라 모듈과 틸트 OIS를 작동시킬 수 있고, 상기 카메라로 촬영된 복수의 이미지를 합성할 수 있다.
본 문서에 개시된 다양한 실시에에 따른 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법은, 상기 카메라 모듈이 적어도 하나의 축으로 회전되면서 화상을 촬영하도록 상기 카메라 모듈과 틸트 OIS가 작동하는 동작 및 상기 카메라로 촬영된 복수의 이미지를 합성하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예에 따르면, 촬영 상황에 따라 자동적으로 최적의 촬영 모드를 선택하여 촬영을 수행할 수 있다.
또한, 전자 장치에 탑재된 틸트 OIS를 작동시켜 광학적 특성이 동일한 복수의 이미지를 촬영하고, 이를 합성하는 방식으로 처리함으로써 화각이 확장되거나 품질이 향상된 이미지를 얻을 수 있다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈을 예시하는 블럭도이다.
도 3a는, 다양한 실시예들에 따른, 카메라 모듈 및 틸트 OIS의 사시도이다.
도 3b 및 도 3c는, 도 3a에 도시된 카메라 모듈 및 틸트 OIS의 구동을 설명하기 위한 도면이다.
도 4는, 다양한 실시예들에 따른, 카메라 모듈 및 틸트 OIS의 구동 시나리오를 결정하는 흐름도이다.
도 5a는, 다양한 실시예들에 따른, 제1 구동 시나리오의 순서도이다.
도 5b는, 도 5a에 도시된 제1 구동 시나리오를 설명하기 위한 도면이다.
도 6은, 다양한 실시예들에 따른, 제3 구동 시나리오의 순서도이다.
도 7a는, 다양한 실시예들에 따른, 제4 구동 시나리오의 순서도이다.
도 7b는, 도 7a에 도시된 제4 구동 시나리오를 설명하기 위한 도면이다.
도 8a는, 다양한 실시예들에 따른, 제5 구동 시나리오의 순서도이다.
도 8b는, 도 7a에 도시된 제5 구동 시나리오를 설명하기 위한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)을 예시하는 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 일실시예에 따르면, 이미지 스태빌라이저(240)은 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
도 3a는, 다양한 실시예들에 따른, 카메라 모듈 및 틸트 OIS의 사시도이다.
다양한 실시예에 따르면, 틸트 OIS(310)는 카메라 모듈(310)(예: 도 1 및 도 2의 카메라 모듈(180))을 전자 장치(예: 도 1의 전자 장치(101))에 대하여 적어도 하나의 축으로 회전시키는 구성일 수 있다. 여기서 적어도 하나의 축은, 피치(pitch) 축, 요(yaw) 축, 롤(roll) 축을 포함할 수 있다. 틸트 OIS(310)가 카메라 모듈(310)을 회전시키면, 카메라 모듈(310)의 중심축과 전자 장치의 연장 방향이 이루는 각도가 변경될 수 있다.
도 3a를 참조하면, 틸트 OIS(310)는 고정부(311)와, 지지부(312)와, 구동부(313)를 포함하여 이루어질 수 있다. 도 3a에 도시된 틸트 OIS(310)는 예시에 불과하며, 상술한 구성 중 어느 하나를 생략하거나 변경하여 틸트 OIS(310)를 구현하는 것도 얼마든지 가능하다. 틸트 OIS(310)는 상술한 바와 같이, 카메라 모듈(310)을 전자 장치에 대하여 적어도 하나의 축으로 회전시킬 수 있다. 구체적으로, 틸트 OIS(310)의 구동부(313)의 작동에 의해 카메라 모듈(310)은 지지부(312)에 지지되며 고정부(311)에 대하여 회전할 수 있다.
다양한 실시예에 따르면, 틸트 OIS(310)의 고정부(311)는 전자 장치의 하우징 및/또는 프레임에 고정되도록 설치될 수 있다. 고정부(311)는 내부에 카메라 모듈(310)을 수용할 수 있는 모양으로 형성될 수 있다.
다양한 실시예에 따르면, 틸트 OIS(310)의 지지부(312)는 유연한 재질로 형성되어 카메라 모듈(310)의 회전을 지지할 수 있다. 다양한 실시예에 따르면, 지지부(312)는 카메라 모듈(310)을 덮는 위치에 배치되어 적어도 일부 구간이 고정부(311)에 연결될 수 있다. 지지부(312)는 틸트 OIS(310)가 카메라 모듈(310)을 회전시킬 때, 카메라 모듈(310)이 회전되는 속도나 각도를 적절한 수준으로 가이드할 수 있다.
다양한 실시예에 따르면, 틸트 OIS(310)의 구동부(313)는 카메라 모듈(310)을 적어도 하나의 회전축으로 회전시키기 위한 구동력을 발생시키는 구성일 수 있다. 예를 들어, 구동부(313)는 전자기력을 구동력으로 하여 카메라 모듈(310)을 회전시킬 수 있다. 구동부(313)는 카메라 모듈(310) 측과, 고정부(311) 측에 한 쌍 마련되어 설치될 수 있다. 예를 들어, 카메라 모듈(310) 측에 설치되는 코일과, 고정부(311) 측에 설치된 마그네트로 구동부(313)가 구성될 수 있다. 코일과 마그네트 사이의 전자기력에 의해 카메라 모듈(310)이 고정부(311)에 대해 회전할 수 있다. 이 밖에도, 구동부(313)는 카메라 모듈(310)을 고정부(311)에 대해 회전시킬 수 있는 다양한 구성으로 변경될 수 있다. 도 3a를 참조하면, 구동부(313)는 제1 구동원(314)과 제2 구동원(315)을 포함할 수 있다. 제1 구동원(314)은 카메라 모듈(310)을 제1축(320)으로 회전시키는 위치에 배치될 수 있다. 제2 구동원(315)은 카메라 모듈(310)을 제2축(330)으로 회전시키는 위치에 배치될 수 있다.
도 3b 및 도 3c는, 도 3a에 도시된 카메라 모듈 및 틸트 OIS의 구동을 설명하기 위한 도면이다.
도 3b을 참조하면, 틸트 OIS(310)는 카메라 모듈(310)(예: 도 1, 도 2의 카메라 모듈(180))을 적어도 하나의 축(320, 330)으로 회전시킬 수 있다. 카메라 모듈(310)의 회전으로 카메라 모듈(310)의 광축(optical axis)(350)의 방향이 변경될 수 있다. 광축(350)이란, 카메라 모듈(310) 내부의 렌즈 또는 거울(예: 도 2의 렌즈 어셈블리(210))의 중심을 연결한 직선을 의미할 수 있다. 틸트 OIS(310)는 카메라 모듈(310) 자체를 전자 장치(예: 도 1의 전자 장치(101)) 또는 틸트 OIS(310)의 고정부(311)에 대하여 회전시키므로, 카메라 모듈(310)의 회전으로 광축(350)의 방향만 변경될 수 있다. 틸트 OIS(310)가 구동되더라도 카메라 모듈(310)의 초점거리, 렌즈와 이미지 센서의 위치 관계와 같은 광학적 특성은 변하지 않는다. 본 문서에 개시된 다양한 실시에에 따른 틸트 OIS(310)가 카메라 모듈(310)을 회전시키는 과정에서 광학적 특성의 변경으로 인한 워블링(wobbling)과 같은 부작용(side effect)이 발생하지 않을 수 있다.
다양한 실시예에 따르면, 틸트 OIS(310)는 카메라 모듈(310)을 두 개의 축(320, 330)으로 회전시킬 수 있다. 제1축(320)은 요(yaw)축일 수 있고, 제2축(330)은 피치(pitch)축일 수 있다. 틸트 OIS(310)는 카메라 모듈(310)을 통한 화상 촬영 과정에서 사용자가 발생시키는 움직임을 상쇄하는 방향으로 카메라 모듈(310)을 회전시킬 수 있다. 이를 통해, 틸트 OIS(310)는 카메라 모듈(310)을 통해 획득하는 이미지의 품질을 증가시킬 수 있다. 예를 들어, 틸트 OIS(310)는 셔터 스피드를 충분히 확보할 수 있도록 하여, 노출이 낮은 상황에서 보다 밝은 영상을 촬영할 수 있도록 할 수 있다. 예를 들어, 틸트 OIS(310)는 동영상 촬영 과정에서 사용자가 발생시키는 흔들림을 상쇄하여 흔들림이 억제된 영상을 촬영할 수 있도록 할 수 있다.
전자 장치의 프로세서(예: 도 1의 프로세서(120))는 전자 장치의 센서 모듈(예: 도 1의 센서 모듈(176))에서 감지하는 전자 장치의 움직임 정보를 획득하여, 이 움직임 정보를 기반으로 틸트 OIS(310)를 작동시킬 수 있다. 예를 들어, 움직임 정보에 의해 카메라 모듈(310)의 광축(350)이 기준 방향(예: 포커싱이 이루어진 지점을 가르키는 방향)에 대하여 특정 방향으로 소정 각도만큼 움직이거나, 그러한 움직임이 예상되는 경우, 프로세서는 특정 방향의 반대 방향으로 소정 각도만큼 카메라 모듈(310)이 회전되도록 틸트 OIS(310)를 작동시킬 수 있다.
도 3c에 도시된 것과 같이, 틸트 OIS(310)를 작동시키면 카메라 모듈(310)의 촬영 범위가 변경될 수 있다. 촬영 범위는 광축(350)의 방향과 화각에 의해 결정될 수 있다. 상술한 바와 같이, 틸트 OIS(310)의 작동으로 카메라 모듈(310)의 광축(350) 방향이 변경될 수 있으므로, 그에 따라 촬영 범위가 변경될 수 있다.
촬영 범위는 틸트 OIS(310)에 의한 카메라 모듈(310)의 회전 반경 내에서 변경될 수 있다. 예를 들어, 카메라 모듈(310)이 제1축(320)으로 회전되도록 틸트 OIS(310)가 작동되면, 촬영 범위는 도 3c의 361과 362사이에서 변경될 수 있다. 카메라 모듈(310)이 제2축(330)으로 회전되도록 틸트 OIS(310)가 작동되면, 촬영 범위는 도 3c의 371과 372사이에서 변경될 수 있다. 이와 같이, 본 문서에 개시된 다양한 실시예에 따른 틸트 OIS(310)는 전자 장치가 고정된 상태에서도 카메라 모듈(310)을 회전시켜 촬영 범위를 다양하게 변경할 수 있다.
다양한 실시예에 따르면, 카메라 모듈(310)과 틸트 OIS(310)를 실시간으로 작동시킬 수 있다. 사용자가 카메라 어플리케이션을 실행하면 미리보기(preview) 또는 라이브 뷰(live-view)가 디스플레이(예: 도 1의 표시 장치(160))에 표시될 수 있다. 미리보기 또는 라이브 뷰는 현재 촬영되고 있는 촬영 범위를 의미할 수 있다. 카메라 모듈(310)과 틸트 OIS(310)가 실시간으로 동작하며 다양한 촬영 범위에서 이미지를 획득한 뒤, 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 이미지 시그널 프로세서(260))가 이를 실시간으로 합성할 수 있다. 이를 통해, 카메라 모듈(310)이 표현할 수 있는 화각에 비해 넓은 화각으로 미리보기 또는 라이브 뷰를 표시할 수 있다.
이하에서, 서술되는 프로세서는 도 1에 도시된 프로세서(120) 또는 도 2의 이미지 시그널 프로세서(260))를 의미할 수 있다. 틸트 OIS(310)의 작동 제어는 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))에서 수행될 수 있다. 촬영된 복수의 이미지를 합성하는 이미지 처리는 도 2의 이미지 시그널 프로세서(260)에서 수행될 수 있다. 경우에 따라서는, 촬영된 복수의 이미지를 합성하는 이미지 처리가 도 1의 프로세서(120)를 통해서 이루어질 수 있다.
도 4는, 다양한 실시예들에 따른, 카메라 모듈 및 틸트 OIS의 구동 시나리오를 결정하는 흐름도이다.
다양한 실시예에 따르면, 본 문서에 개시된 다양한 실시예에 따른 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법은, 다양한 조건에 따라 복수의 구동 시나리오 중 선택된 적어도 하나의 구동 시나리오로 구동될 수 있다.
카메라 관련 어플리케이션이 실행되면, 사용자는 일반 촬영 모드(420), 파노라마 촬영 모드(430), 스캐닝 모드(440)를 포함한 다양한 촬영 모드 중 적어도 하나를 선택할 수 있다. 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 사용자의 선택 입력을 수신하여, 각 촬영 모드에 맞는 다양한 구동 시나리오를 준비할 수 있다.
먼저, 일반 촬영 모드(420)의 선택 입력이 수신된 경우를 설명하도록 한다. 일반 촬영 모드(420)가 선택되면, 전자 장치의 프로세서는 전자 장치의 센서 모듈(예: 도 1의 센서 모듈(176))을 통해 전자 장치의 움직임 정보를 수신할 수 있다.
다양한 실시예에 따르면, 프로세서는 움직임 정보를 기반으로 전자 장치의 움직임 정도를 미리 설정된 값과 비교할 수 있다(450). 전자 장치의 움직임 정도가 설정 값보다 낮다면 프로세서는 전자 장치가 삼각대와 같은 고정 장치에 의해 고정된 상태인 것으로 판단할 수 있다. 이 경우, 프로세서는 제1 구동 시나리오(491)로 카메라 모듈(예: 도 3a의 카메라 모듈(300)) 및 틸트 OIS(예: 도 3a의 틸트 OIS(310))를 제어할 수 있다.
다양한 실시예에 따르면, 프로세서는 움직임 정보를 기반으로 전자 장치의 움직임 정도를 미리 설정된 값과 비교할 수 있다(450). 전자 장치의 움직임 정도가 설정 값보다 높다면 프로세서는 전자 장치가 사용자에 의해 파지된 상태인 것으로 판단할 수 있다. 다음으로, 프로세서는 카메라 모듈에서 판단한 적정 노출에 따른 셔터 속도 정보를 수신할 수 있다. 프로세서는 수신된 셔터 속도를 미리 설정된 값과 비교할 수 있다(480). 셔터 속도가 미리 설정된 값보다 느린 경우, 프로세서는 제2 구동 시나리오(492)로 카메라 모듈 및 틸트 OIS를 제어할 수 있다.
다양한 실시예에 따르면, 프로세서는 움직임 정보를 기반으로 전자 장치의 움직임 정도를 미리 설정된 값과 비교할 수 있다(450). 전자 장치의 움직임 정도가 설정 값보다 높다면 프로세서는 전자 장치가 사용자에 의해 파지된 상태인 것으로 판단할 수 있다. 다음으로, 프로세서는 카메라 모듈에서 판단한 적정 노출에 따른 셔터 속도 정보를 수신할 수 있다. 프로세서는 수신된 셔터 속도를 미리 설정된 값과 비교할 수 있다(480). 셔터 속도가 미리 설정된 값보다 빠른 경우, 프로세서는 제3 구동 시나리오(493)로 카메라 모듈 및 틸트 OIS를 제어할 수 있다.
제2 구동 시나리오(492)와 제3 구동 시나리오(493)는 사용자의 선택에 따라 결정될 수도 있다. 이 경우, 셔터 속도와 무관하게 사용자가 직접 시나리오를 선택할 수 있다. 프로세서는 사용자의 입력을 수신하여 제2 구동 시나리오(492) 또는 제3 구동 시나리오(493) 중 하나를 결정할 수 있다.
다음으로, 파노라마 촬영 모드(430)의 선택 입력이 수신된 경우를 설명하도록 한다. 파노라마 촬영 모드(430)가 선택되면, 사용자는 수평 파노라마(460) 또는 수직 파노라마(470)를 선택할 수 있다. 프로세서는 수평 파노라마(460) 또는 수직 파노라마(470) 입력을 수신할 수 있다. 이 경우, 프로세서는 제4 구동 시나리오(494)로 카메라 모듈 및 틸트 OIS를 제어할 수 있다.
다음으로, 스캐닝 모드(440)의 선택 입력이 수신된 경우를 설명하도록 한다. 스캐닝 모드(440)가 선택되면, 프로세서는 제5 구동 시나리오(495)로 카메라 모듈 및 틸트 OIS를 제어할 수 있다.
이상에서 설명한 구동 시나리오들(491 내지 495)은 예시에 불과하며, 이 밖에도 사용자 입력 및 센서를 통해 수신되는 다양한 정보를 기반으로 카메라 모듈 및 틸트 OIS의 구동 시나리오가 결정될 수 있다.
이하에서는, 구동 시나리오에 따른 카메라 모듈 및 틸트 OIS의 동작에 대해 자세히 설명하도록 한다.
도 5a는, 다양한 실시예들에 따른, 제1 구동 시나리오의 순서도이고, 도 5b는, 도 5a에 도시된 제1 구동 시나리오를 설명하기 위한 도면이다.
제1 구동 시나리오는, 일반 촬영 모드(예: 도 4의 일반 촬영 모드(420))가 선택되고 전자 장치(예: 도 1의 전자장치(101))의 센서 모듈(예: 도 1의 센서 모듈(176))을 통해 수신되는 움직임 정보에 포함된 움직임 정도가 설정된 값보다 작은 경우 구동되는 구동 시나리오일 수 있다. 본 구동 시나리오는 전자 장치 자체의 움직임이 없거나, 매우 적은 상태에서 구동되는 구동 시나리오일 수 있다. 예를 들어, 전자 장치는 삼각대와 같은 고정 장치에 의해 고정된 상태이거나, 고정된 물체에 지지된 상태에서 제1 구동 시나리오로 구동이 결정될 수 있다.
제1 구동 시나리오에서 프로세서(예: 도 1의 프로세서(120))는 카메라 모듈(예: 도 3a의 카메라 모듈)에 포함된 렌즈(예: 도 2의 렌즈 어셈블리(210))의 화각보다 넓은 화각을 갖는 촬영물을 합성하기 위하여 카메라 모듈 및 틸트 OIS(예: 도 3a의 틸트 OIS(310))를 제어할 수 있다. 촬영 범위가 각기 상이한 복수의 촬영물을 획득하고, 복수의 촬영물에서 중첩되는 부분을 합성하여 넓은 화각의 결과물을 얻을 수 있다.
도 5b에 도시된 것과 같이, 촬영 범위가 상이한 네 장의 이미지가 촬영될 수 있다. 프로세서는 카메라 모듈의 광축이 제1 촬영 범위(510)의 중심(511)을 지나도록 틸트 OIS를 제어할 수 있다. 틸트 OIS의 작동으로 전자 장치가 고정된 상태에서도 광축의 방향이 변경되어 촬영 범위가 변경될 수 있다(S510). 카메라 모듈의 광축이 제1 촬영 범위(510)의 중심(511)을 지나게되면, 카메라 모듈에서 촬영을 진행할 수 있다(S520). 다음으로, 프로세서는 카메라 모듈의 광축이 제2 촬영 범위(520)의 중심(521)을 지나도록 틸트 OIS를 제어할 수 있다(S510). 카메라 모듈의 광축이 제2 촬영 범위(520)의 중심(521)을 지나게되면, 카메라 모듈에서 촬영을 진행할 수 있다(S520). 이와 같은 방법으로 제3 촬영 범위(530)와 제4 촬영 범위(540)에서도 각각 촬영을 수행하여 이미지를 획득할 수 있다(S510, S520).
다양한 실시예에 따르면, 각 촬영 범위(510, 520, 530, 540)에서 각각 복수의 촬영을 수행할 수 있다. 이 경우, 각 촬영 범위(510, 520, 530, 540)에서 노출값이 서로 다른 브라케팅(bracketing) 촬영을 수행할 수 있다. 예를 들어, 노출값이 1 스탑(1 stop) 차이나는 세 번의 촬영을 수행하여 적정 노출값으로 촬영된 이미지, 1 스탑 낮은 노출값으로 촬영된 이미지, 1 스탑 높은 노출값으로 촬영된 이미지를 각각 획득할 수 있다. 세 번의 브라케팅 촬영은 예시에 불과하며 필요에 따라 브라케팅 촬영의 회 수는 변경될 수 있다. 후술하는 이미지 합성 과정에서 서로 다른 노출값으로 촬영된 이미지를 이용하여 다이나믹 레인지(dynamic range)가 향상된 이미지를 얻을 수 있다.
제1 촬영 범위 내지 제4 촬영 범위(510, 520, 530, 540)에서 촬영이 완료되면, 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 이미지 시그널 프로세서(260))는 복수의 이미지를 합성하여 하나의 이미지를 생성할 수 있다. 프로세서는 복수의 이미지에서 서로 겹치는 부분을 이어 붙이는 방식으로 합성을 진행할 수 있다. 이를 위해, 프로세서는 복수의 이미지에 이미지 분석을 수행하여 서로 동일한 부분을 찾아낼 수 있다. 다양한 실시예에 따르면, 서로 다른 이미지의 겹치는 구간(550)의 이미지 분석 결과를 이용하여 이미지 왜곡을 보정할 수 있다. 프로세서는 중첩된 부분(550)에 존재하는 상의 윤곽을 중첩된 결과의 평균 데이터로 설정하고, 평균 데이터를 이용하여 이미지 왜곡을 보정 할 수 있다. 이 보정 값을 기준으로 각 이미지의 형태를 보정하면 합성된 이미지의 왜곡이 감소될 수 있다. 이미지 합성 과정에서 상술한 브라케팅 촬영으로 얻어진 이미지들을 이용하여 합성되는 이미지의 다이나믹 레인지를 향상시키는 것도 가능할 수 있다.
이와 같이, 서로 다른 촬영 범위에서 촬영된 복수의 이미지를 하나의 이미지로 합성하면, 카메라 모듈의 렌즈 화각보다 넓은 화각의 이미지를 쉽게 얻을 수 있다. 도 5b의 (b)는 카메라 모듈로 단일한 사진을 촬영한 이미지를 도시한 것이다. 도 5b의 (c)는 틸트 OIS를 사용하여 촬영된 복수의 이미지를 합성하여 얻은 이미지를 도시한 것이다. 도 5b의 (b)와 (c)를 비교하면, 틸트 OIS를 사용하여 촬영된 복수의 이미지를 합성한 이미지가 더 넓은 화각을 갖는 것을 확인할 수 있다.
이상에서는, 총 네 개의 촬영 범위 (510, 520, 530, 540)에서 복수의 이미지를 촬영하는 것을 설명하였으나, 촬영 범위의 개 수와 이미지 촬영 매 수는 다양하게 변경될 수 있다. 예를 들어, 총 아홉 개의 촬영 범위에서 복수의 이미지를 촬영하여 하나의 이미지를 합성하는 방식으로 작동되는 것도 얼마든지 가능할 수 있다.
제2 구동 시나리오는, 일반 촬영 모드(예: 도 4의 일반 촬영 모드(420))가 선택되고 전자 장치(예: 도 1의 전자장치(101))의 센서 모듈(예: 도 1의 센서 모듈(176))을 통해 수신되는 움직임 정보에 포함된 움직임 정도가 설정된 값보다 크고, 적정 노출에 따른 셔터 속도가 설정된 값보다 느린 경우 구동되는 구동 시나리오일 수 있다. 본 구동 시나리오는 전자 장치 자체의 움직임이 상술한 제1 시나리오에 비해 상대적으로 큰 상태에서 구동되는 구동 시나리오일 수 있다. 예를 들어, 사용자가 전자 장치를 파지한 상태이고, 저조도 상황에서 적정 노출에 따른 셔터 속도가 설정된 값보다 느린 경우 제2 구동 시나리오로 구동이 결정될 수 있다.
제2 구동 시나리오에서 프로세서(예: 도 1의 프로세서(120))는 사용자에 의한 흔들림이 최소화될 수 있도록 틸트 OIS(예: 도 3a의 틸트 OIS(310))를 작동시킬 수 있다. 프로세서는 센서 모듈에서 수신되는 움직임 정보를 이용하여 카메라 모듈(예: 도 3a의 카메라 모듈(300))이 촬영을 수행하는 동안 해당 움직임이 보상될 수 있는 방향으로 틸트 OIS를 작동시킬 수 있다. 틸트 OIS는 카메라 모듈을 전자 장치에 대하여 회전시키므로 틸트 OIS가 작동되어 카메라 모듈이 회전되는 경우에도 카메라 모듈의 광학적 특성은 변하지 않을 수 있다. 이로 인해, OIS 보정 과정에서 광학적 특성이 변화되어 발생하는 다양한 부작용들이 해소될 수 있다.
제2 구동 시나리오를 통해, 상대적으로 느린 셔터 속도에서도 흔들림 없는 이미지를 획득할 수 있다. 특히, 본 구동 시나리오를 통한 틸트 OIS 구동에 의하여 저조도 상황에서 보다 선명한 이미지를 얻을 수 있다.
도 6은, 다양한 실시예들에 따른, 제3 구동 시나리오의 순서도이다.
제3 구동 시나리오는, 일반 촬영 모드(예: 도 4의 일반 촬영 모드(420))가 선택되고 전자 장치(예: 도 1의 전자장치(101))의 센서 모듈(예: 도 1의 센서 모듈(176))을 통해 수신되는 움직임 정보에 포함된 움직임 정도가 설정된 값보다 크고, 적정 노출에 따른 셔터 속도가 설정된 값보다 빠른 경우 구동되는 구동 시나리오일 수 있다. 본 구동 시나리오는 전자 장치 자체의 움직임이 상술한 제1 시나리오에 비해 상대적으로 큰 상태에서 구동되는 구동 시나리오일 수 있다. 예를 들어, 사용자가 전자 장치를 파지한 상태이고, 비교적 높은 조도 상황에서 적정 노출에 따른 셔터 속도가 설정된 값보다 빠른 경우 제3 구동 시나리오로 구동이 결정될 수 있다.
셔터 속도가 충분히 확보되는 경우에는 스태빌라이저의 도움 없이도 흔들림 없는 이미지를 얻을 수 있다. 따라서, 제3 구동 시나리오에서는 고품질의 이미지를 획득하기 위하여 틸트 OIS(예: 도 3a의 틸트 OIS(310))를 구동할 수 있다.
카메라 모듈(예: 도 3a의 카메라 모듈(300))의 이미지 센서는 복수의 픽셀 단위로 구성될 수 있다. 또한, 각각의 픽셀은 적어도 하나의 서브 픽셀을 포함할 수 있다. 픽셀 시프트(pixel shift)는 촬영 범위를 서브 픽셀 단위로 조정하여 복수의 이미지를 촬영한 뒤, 이미지들을 합성하여 높은 해상도의 이미지를 획득하는 기술을 말한다. 촬영 범위가 서브 픽셀 단위로 조절되면, 각각의 픽셀이 더 많은 색 정보를 포함할 수 있다. 이를 통해, 하나의 사진을 촬영하는 경우에 비하여 보다 높은 품질의 이미지를 얻을 수 있다.
기준 이미지를 촬영(S610)한 뒤, 틸트 OIS를 작동시켜 서브 픽셀 단위로 촬영 범위를 변경시키며(S620) 복수의 보조 이미지를 촬영(S630)할 수 있다. 기준 이미지와 복수의 보조 이미지를 합성(S640)하여 품질이 향상된 이미지를 얻을 수 있다. 틸트 OIS를 작동시키면 광축의 방향을 변경시켜 촬영 범위를 다양하게 변경할 수 있다. 픽셀 시프트 기법을 이용하기 위해서는 서브 픽셀 단위로 정밀한 촬영 범위 변경을 수행할 필요가 있다. 본 문서에 개시된 다양한 실시예에 따른 틸트 OIS는 촬영 범위를 서브 픽셀 단위로 정밀하게 변경할 수 있어 픽셀 시프트를 적용할 수 있는 복수의 이미지를 쉽게 촬영할 수 있다. 기존 서브 픽셀 단위의 합성은 센서가 가지고 있는 물리적인 픽셀 사이즈의 크기보다 클 수 없지만 틸트 OIS는 그 동작범위 자체가 수 십 픽셀 이상의 움직임을 보장 할 수 있기 때문에 기존의 기술 대비 더욱 큰 성능 향상을 기대할 수 있다. 또한, 틸트 OIS는 촬영 범위가 변경되도록 카메라 모듈을 회전시키더라도 카메라 모듈의 광학적 특성을 변화시키지 않기 때문에 균일한 조건에서 촬영 범위만 변경된 복수의 이미지를 획득하는데 용이하다. 이로 인해, 복수의 이미지를 합성하는 과정에서 광학적 특성 차이로 기인하는 오류의 발생 가능성을 현저하게 낮출 수 있는 장점이 있다.
도 7a는, 다양한 실시예들에 따른, 제4 구동 시나리오의 순서도이고, 도 7b는, 도 7a에 도시된 제4 구동 시나리오를 설명하기 위한 도면이다.
제4 구동 시나리오는, 파노라마 촬영 모드(예: 도 4의 파노라마 촬영 모드(430))가 선택된 경우 선택되는 구동 시나리오일 수 있다.
파노라마 촬영 모드가 선택되고, 프로세서(예: 도 1의 프로세서(120))는 사용자로부터 수평 파노라마 또는 수직 파노라마 입력을 수신할 수 있다. 수평 파노라마는 도 7b에 도시된 것과 같이, 지면에 대해 수평한 방향으로 전자 장치를 움직이며 촬영을 진행하는 파노라마 촬영을 말한다. 수직 파노라마는 지면에 대해 수직한 방향으로 전자 장치를 움직이며 촬영을 진행하는 파노라마 촬영을 말한다. 프로세서는 촬영 시작 지점을 기준으로 기준 가이드(710)를 설정할 수 있다(S710). 기준 가이드(710)는 전자 장치의 디스플레이(예: 도 1의 표시장치())에 선(line) 형태로 표시될 수 있다. 수평 파노라마의 경우 기준 가이드(710)는 지면과 평행한 선이 될 수 있다. 수직 파노라마의 경우 기준 가이드는 지면과 수직한 선이 될 수 있다.
바람직한 파노라마 촬영을 위해서는, 카메라 모듈의 광축이 기준 가이드(710)와 일치된 상태에서 전자 장치가 일정한 속도로 움직일 필요가 있다. 제4 구동 시나리오에서 프로세서는 카메라 모듈(예: 도 3a의 카메라 모듈(300)) 및 틸트 OIS(예: 도 3a의 틸트 OIS(310))를 제어하여 카메라 모듈의 광축이 기준 가이드(710)를 벗어나지 않도록 하고, 전자 장치가 움직이는 속도를 보상할 수 있다.
도 7b의 (a)와 같이, 수평 파노라마 촬영이 진행되는 동안 프로세서는 카메라 모듈의 광축(720)과 기준 가이드(710)의 거리를 확인할 수 있다. 예를 들어, 도 7b (a)의 730과 같이, 광축(720)이 기준 가이드(710) 위(도 7b (a)의 Y 방향)를 지나게되어 광축(720)과 기준 가이드(710)의 거리 차이가 발생하는 경우(S720), 프로세서는 틸트 OIS를 작동시켜 광축(720)과 기준 가이드(710)의 거리 차이를 상쇄하는 방향(740)으로 카메라 모듈을 회전시킬 수 있다(S730). 예를 들어, 도 7b (a)의 730과 같은 경우, 틸트 OIS는 카메라 모듈을 도 7b (a)의 X 축과 평행한 회전축으로 회전시킬 수 있다. 다양한 실시예에 따르면, 프로세서는 전자 장치의 센서 모듈(예: 도 1의 센서 모듈(176))을 통해 수신한 움직임 정보를 기반으로 틸트 OIS를 작동시킬 수 있다. 프로세서는 광축(720)과 기준 가이드(710) 사이의 거리가 설정 값 이하로 유지되도록 파노라마 촬영이 진행되는 동안 틸트 OIS를 계속적으로 작동시킬 수 있다.
다양한 실시예에 따르면, 프로세서는 전자 장치가 이동 속도가 설정 값 이하로 유지되도록 틸트 OIS를 작동시킬 수 있다. 예를 들어, 도 7b (b)와 같이 좌측에서 우측으로 파노라마 촬영이 진행되는 경우, 전자 장치의 이동 속도가 설정 값을 벗어날 수 있다(S720). 전자 장치의 이동 속도가 설정 값을 초과하는 경우(750)에 프로세서는 Y 축과 평행한 회전축으로 카메라 모듈이 회전하도록 틸트 OIS를 작동시켜 광축(720)을 760 방향으로 이동시킬 수 있다(S730). 전자 장치의 이동 속도가 설정 값 미만으로 떨어지는 경우에 프로세서는 틸트 OIS를 작동시켜 전자 장치의 이동 방향으로 카메라 모듈이 회전되도록 제어할 수 있다. 이와 같은 작동을 통해 전자 장치의 이동 속도 변화를 보상할 수 있다.
위와 같은 과정을 통해, 광축(720)과 기준 가이드(710)의 거리 또는 전자 장치의 이동속도가 설정 값 이내를 유지하는지 계속적으로 확인하고, 파노라마 촬영을 계속 진행할 수 있다(S740). 파노라마 촬영이 완료되면 촬영된 이미지를 합성할 수 있다(S750). 본 문서에 개시된 다양한 실시예에 따른 전자 장치는, 틸트 OIS를 통하여 파노라마 촬영이 진행되는 동안 카메라 모듈의 광축(720)이 기준 가이드(710)를 따라 일정한 속도로 진행되도록 할 수 있다. 이로 인해, 높은 품질의 파노라마 이미지를 얻을 수 있다.
다양한 실시예에 따르면, 프로세서는 파노라마 촬영이 끝나는 지점에서 전자 장치의 진행 방향으로 카메라 모듈이 회전되도록 틸트 OIS를 제어할 수 있다. 이로 인해, 파노라마의 촬영 범위가 증가될 수 있다.
도 8a는, 다양한 실시예들에 따른, 제5 구동 시나리오의 순서도이고, 도 8b는, 도 7a에 도시된 제5 구동 시나리오를 설명하기 위한 도면이다. 도 8b의 전자 장치(820)와 카메라 모듈(810) 사이의 연결 및 각도는 설명을 위하여 과장하여 도시하였다.
제5 구동 시나리오는, 스캐닝 모드(예: 도 4의 스캐닝 모드(440))가 선택된 경우 선택되는 구동 시나리오일 수 있다.
스캐닝 모드는 피사체를 연속적으로 촬영하여 3차원 이미지를 생성하는 촬영 모드일 수 있다. 3차원 스캐닝을 위한 연속 촬영에서는 동일한 조건에서 촬영된 복수의 이미지를 최대한 확보하는 것이 중요할 수 있다.
프로세서(예: 도 1의 프로세서(120))는 피사체(830)의 특정 지점을 기준점(831)으로 설정할 수 있다(S810). 피사체에서 특징이 될 수 있는 지점(예를 들어, 명암 차이가 명확한 지점)을 기준점(831)으로 선정할 수 있다. 프로세서는 카메라 모듈(810)(예: 도 3a의 카메라 모듈(300))의 광축(811)이 기준점(831)을 지나가도록 틸트 OIS(예: 도 3a의 틸트 OIS(310))를 실시간으로 제어할 수 있다(S820). 이를 위해, 프로세서는 전자 장치(820)(예: 도 1의 전자 장치(101))의 센서 모듈(예: 도 1의 센서 모듈(176))로부터 움직임 정보를 수신하고 이를 기반으로 틸트 OIS를 제어할 수 있다.
틸트 OIS를 통해 카메라 모듈(810)의 광축(811) 방향이 항상 기준점(831)을 지나도록 제어된 상태에서 복수의 이미지가 촬영되면, 해당 이미지들은 비교적 유사한 조건에서 촬영된 이미지인 것으로 판정할 수 있다. 이러한 이미지들을 이용하여 SfM(Structure from Motion)과 같은 기법을 이용하여 3차원 이미지를 생성할 수 있다(S830).
본 문서에 개시된 다양한 실시예에 따른 전자 장치는, 카메라 모듈, 상기 카메라 모듈을 상기 전자 장치에 대하여 적어도 하나의 축으로 회전시키는 틸트 OIS 및 상기 카메라 모듈 및 틸트 OIS와 동작적으로 연결되는 프로세서를 포함할 수 있고, 상기 프로세서는, 상기 카메라 모듈이 적어도 하나의 축으로 회전되면서 화상을 촬영하도록 상기 카메라 모듈과 틸트 OIS를 작동시킬 수 있고, 상기 카메라로 촬영된 복수의 이미지를 합성할 수 있다.
또한, 상기 틸트 OIS는, 상기 전자 장치에 설치되는 고정부와, 상기 고정부에 대하여 상기 카메라 모듈을 적어도 하나의 축으로 회전 가능하게 지지하는 지지부와, 상기 카메라 모듈을 상기 고정부에 대하여 적어도 하나의 축으로 회전시키는 구동부를 포함할 수 있다.
또한, 상기 프로세서는, 상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신할 수 있고, 상기 움직임 정보를 이용하여 상기 전자 장치의 움직임을 보상하는 방향으로 상기 카메라 모듈이 회전하도록 상기 틸트 OIS를 작동시킬 수 있다.
또한, 상기 프로세서는, 상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신할 수 있고, 상기 움직임 정보 및 사용자의 입력 중 적어도 하나에 기반하여 상기 카메라 모듈 및 틸트 OIS의 구동 시나리오를 결정할 수 있다.
또한, 상기 프로세서는, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈의 광축이 복수의 지점을 향한 상태에서 각각 촬영을 수행하여 복수의 이미지를 획득하도록 상기 카메라 모듈과 틸트 OIS를 작동시킬 수 있고, 상기 복수의 이미지에서 중첩된 부분을 연결하여 하나의 이미지로 합성할 수 있다.
또한, 상기 프로세서는, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈로 기준 이미지를 촬영하도록 카메라 모듈을 작동시킬 수 있고, 상기 카메라 모듈의 픽셀을 구성하는 서브 픽셀 단위만큼 상기 카메라 모듈이 이동된 상태로 적어도 하나의 보조 이미지를 촬영하도록 상기 카메라 모듈과 틸트 OIS를 작동시킬 수 있고, 상기 기준 이미지와 상기 적어도 하나의 보조 이미지를 하나의 이미지로 합성할 수 있다.
또한, 상기 프로세서는, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈의 광축이 팔로잉할 기준 가이드를 설정할 수 있고, 상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 움직이는 동안, 상기 광축과 상기 기준 가이드 사이의 거리가 설정 값 이하로 유지되도록 상기 틸트 OIS를 작동시킬 수 있다.
또한, 상기 프로세서는, 상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 일정한 속도로 움직이도록 상기 틸트 OIS를 작동시킬 수 있다.
또한, 상기 프로세서는, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈의 광축이 팔로잉할 기준점을 설정할 수 있고, 상기 카메라 모듈의 광축이 상기 기준점을 추종하도록 상기 틸트 OIS를 작동시킬 수 있다.
또한, 상기 프로세서는, 상기 카메라 모듈과 틸트 OIS를 실시간으로 작동시켜 미리보기 영상을 제공할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법은, 상기 카메라 모듈이 적어도 하나의 축으로 회전되면서 화상을 촬영하도록 상기 카메라 모듈과 틸트 OIS가 작동하는 동작 및 상기 카메라로 촬영된 복수의 이미지를 합성하는 동작을 포함할 수 있다.
또한, 상기 틸트 OIS는, 상기 전자 장치에 설치되는 고정부와, 상기 고정부에 대하여 상기 카메라 모듈을 적어도 하나의 축으로 회전 가능하게 지지하는 지지부와, 상기 카메라 모듈을 상기 고정부에 대하여 적어도 하나의 축으로 회전시키는 구동부를 포함할 수 있다.
또한, 상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신하여 상기 전자 장치의 움직임을 보상하는 방향으로 상기 카메라 모듈이 회전하도록 상기 틸트 OIS가 작동하는 동작을 더 포함할 수 있다.
또한, 상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신하여, 상기 움직임 정보 및 사용자의 입력 중 적어도 하나에 기반하여 상기 카메라 모듈 및 틸트 OIS의 구동 시나리오가 결정되는 동작을 더 포함할 수 있다.
또한, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈과 틸트 OIS가 작동하는 동작은, 상기 카메라 모듈의 광축이 복수의 지점을 향한 상태에서 각각 촬영을 수행하여 복수의 이미지를 획득할 수 있고, 상기 복수의 이미지를 합성하는 동작은, 상기 복수의 이미지에서 중첩된 부분을 연결하여 하나의 이미지로 합성할 수 있다.
또한, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈과 틸트 OIS가 작동하는 동작은, 상기 카메라 모듈로 기준 이미지를 촬영하도록 카메라 모듈을 작동시킬 수 있고, 상기 카메라 모듈의 픽셀을 구성하는 서브 픽셀 단위만큼 상기 카메라 모듈이 이동된 상태로 적어도 하나의 보조 이미지를 촬영할 수 있고, 상기 복수의 이미지를 합성하는 동작은, 상기 기준 이미지와 상기 적어도 하나의 보조 이미지를 하나의 이미지로 합성할 수 있다.
또한, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈의 광축이 팔로잉할 기준 가이드를 설정하는 동작을 더 포함할 수 있고, 상기 카메라 모듈 및 틸트 OIS가 작동하는 동작은, 상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 움직이는 동안, 상기 광축과 상기 기준 가이드 사이의 거리가 설정 값 이하로 유지되도록 상기 틸트 OIS가 작동할 수 있다.
또한, 상기 카메라 모듈 및 틸트 OIS가 작동하는 동작은, 상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 일정한 속도로 움직이도록 상기 틸트 OIS가 작동할 수 있다.
또한, 상기 구동 시나리오 중 하나로 작동이 결정되면, 상기 카메라 모듈의 광축이 팔로잉할 기준점을 설정하는 동작을 더 포함할 수 있고, 상기 카메라 모듈 및 틸트 OIS가 작동하는 동작은, 상기 카메라 모듈의 광축이 상기 기준점을 추종하도록 상기 틸트 OIS가 작동할 수 있다.
또한, 상기 카메라 모듈과 틸트 OIS를 실시간으로 작동시켜 미리보기 영상을 제공하는 동작을 더 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 본 문서에 개시된 실시예들은 본 문서에 개시된 실시예에 따른 기술 내용을 쉽게 설명하고 본 문서에 개시된 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 문서에 개시된 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 문서에 개시된 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 문서에 개시된 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 문서에 개시된 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.
300: 카메라 모듈 310: 틸트 OIS
311: 고정부 312: 지지부
313: 구동부

Claims (20)

  1. 전자 장치에 있어서,
    카메라 모듈;
    상기 카메라 모듈을 상기 전자 장치에 대하여 적어도 하나의 축으로 회전시키는 틸트 OIS; 및
    상기 카메라 모듈 및 틸트 OIS와 동작적으로 연결되는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 카메라 모듈이 적어도 하나의 축으로 회전되면서 화상을 촬영하도록 상기 카메라 모듈과 틸트 OIS를 작동시키고,
    상기 카메라로 촬영된 복수의 이미지를 합성하는 전자 장치.
  2. 제1항에 있어서,
    상기 틸트 OIS는,
    상기 전자 장치에 설치되는 고정부와, 상기 고정부에 대하여 상기 카메라 모듈을 적어도 하나의 축으로 회전 가능하게 지지하는 지지부와, 상기 카메라 모듈을 상기 고정부에 대하여 적어도 하나의 축으로 회전시키는 구동부를 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신하고,
    상기 움직임 정보를 이용하여 상기 전자 장치의 움직임을 보상하는 방향으로 상기 카메라 모듈이 회전하도록 상기 틸트 OIS를 작동시키는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신하고,
    상기 움직임 정보 및 사용자의 입력 중 적어도 하나에 기반하여 상기 카메라 모듈 및 틸트 OIS의 구동 시나리오를 결정하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈의 광축이 복수의 지점을 향한 상태에서 각각 촬영을 수행하여 복수의 이미지를 획득하도록 상기 카메라 모듈과 틸트 OIS를 작동시키고,
    상기 복수의 이미지에서 중첩된 부분을 연결하여 하나의 이미지로 합성하는 전자 장치.
  6. 제4항에 있어서,
    상기 프로세서는,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈로 기준 이미지를 촬영하도록 카메라 모듈을 작동시키고,
    상기 카메라 모듈의 픽셀을 구성하는 서브 픽셀 단위만큼 상기 카메라 모듈이 이동된 상태로 적어도 하나의 보조 이미지를 촬영하도록 상기 카메라 모듈과 틸트 OIS를 작동시키고,
    상기 기준 이미지와 상기 적어도 하나의 보조 이미지를 하나의 이미지로 합성하는 전자 장치.
  7. 제4항에 있어서,
    상기 프로세서는,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈의 광축이 팔로잉할 기준 가이드를 설정하고,
    상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 움직이는 동안, 상기 광축과 상기 기준 가이드 사이의 거리가 설정 값 이하로 유지되도록 상기 틸트 OIS를 작동시키는 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 일정한 속도로 움직이도록 상기 틸트 OIS를 작동시키는 전자 장치.
  9. 제4항에 있어서,
    상기 프로세서는,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈의 광축이 팔로잉할 기준점을 설정하고,
    상기 카메라 모듈의 광축이 상기 기준점을 추종하도록 상기 틸트 OIS를 작동시키는 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라 모듈과 틸트 OIS를 실시간으로 작동시켜 미리보기 영상을 제공하는 전자 장치.
  11. 전자 장치의 카메라 모듈을 상기 전자 장치에 대하여 적어도 하나의 축으로 회전시키는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법에 있어서,
    상기 카메라 모듈이 적어도 하나의 축으로 회전되면서 화상을 촬영하도록 상기 카메라 모듈과 틸트 OIS가 작동하는 동작; 및
    상기 카메라로 촬영된 복수의 이미지를 합성하는 동작;을 포함하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  12. 제11항에 있어서,
    상기 틸트 OIS는,
    상기 전자 장치에 설치되는 고정부와, 상기 고정부에 대하여 상기 카메라 모듈을 적어도 하나의 축으로 회전 가능하게 지지하는 지지부와, 상기 카메라 모듈을 상기 고정부에 대하여 적어도 하나의 축으로 회전시키는 구동부를 포함하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  13. 제11항에 있어서,
    상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신하여 상기 전자 장치의 움직임을 보상하는 방향으로 상기 카메라 모듈이 회전하도록 상기 틸트 OIS가 작동하는 동작;을 더 포함하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  14. 제11항에 있어서,
    상기 전자 장치의 움직임 정보를 감지하는 센서로부터 상기 전자 장치의 움직임 정보를 수신하여, 상기 움직임 정보 및 사용자의 입력 중 적어도 하나에 기반하여 상기 카메라 모듈 및 틸트 OIS의 구동 시나리오가 결정되는 동작;을 더 포함하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  15. 제14항에 있어서,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈과 틸트 OIS가 작동하는 동작은,
    상기 카메라 모듈의 광축이 복수의 지점을 향한 상태에서 각각 촬영을 수행하여 복수의 이미지를 획득하고,
    상기 복수의 이미지를 합성하는 동작은,
    상기 복수의 이미지에서 중첩된 부분을 연결하여 하나의 이미지로 합성하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  16. 제14항에 있어서,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈과 틸트 OIS가 작동하는 동작은,
    상기 카메라 모듈로 기준 이미지를 촬영하도록 카메라 모듈을 작동시키고, 상기 카메라 모듈의 픽셀을 구성하는 서브 픽셀 단위만큼 상기 카메라 모듈이 이동된 상태로 적어도 하나의 보조 이미지를 촬영하고,
    상기 복수의 이미지를 합성하는 동작은,
    상기 기준 이미지와 상기 적어도 하나의 보조 이미지를 하나의 이미지로 합성하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  17. 제14항에 있어서,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈의 광축이 팔로잉할 기준 가이드를 설정하는 동작;을 더 포함하고,
    상기 카메라 모듈 및 틸트 OIS가 작동하는 동작은,
    상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 움직이는 동안, 상기 광축과 상기 기준 가이드 사이의 거리가 설정 값 이하로 유지되도록 상기 틸트 OIS가 작동하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  18. 제17항에 있어서,
    상기 카메라 모듈 및 틸트 OIS가 작동하는 동작은,
    상기 카메라 모듈의 광축이 상기 기준 가이드를 따라 일정한 속도로 움직이도록 상기 틸트 OIS가 작동하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  19. 제14항에 있어서,
    상기 구동 시나리오 중 하나로 작동이 결정되면,
    상기 카메라 모듈의 광축이 팔로잉할 기준점을 설정하는 동작;을 더 포함하고,
    상기 카메라 모듈 및 틸트 OIS가 작동하는 동작은,
    상기 카메라 모듈의 광축이 상기 기준점을 추종하도록 상기 틸트 OIS가 작동하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.
  20. 제11항에 있어서,
    상기 카메라 모듈과 틸트 OIS를 실시간으로 작동시켜 미리보기 영상을 제공하는 동작;을 더 포함하는 틸트 OIS를 이용한 이미지 촬영 및 촬영된 이미지의 처리 방법.


KR1020190150320A 2019-11-21 2019-11-21 틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법 Active KR102743278B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190150320A KR102743278B1 (ko) 2019-11-21 2019-11-21 틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법
US17/092,644 US11431906B2 (en) 2019-11-21 2020-11-09 Electronic device including tilt OIS and method for capturing image and processing captured image
PCT/KR2020/015647 WO2021101148A1 (en) 2019-11-21 2020-11-09 Electronic device including tilt ois and method for capturing image and processing captured image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190150320A KR102743278B1 (ko) 2019-11-21 2019-11-21 틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법

Publications (2)

Publication Number Publication Date
KR20210062289A true KR20210062289A (ko) 2021-05-31
KR102743278B1 KR102743278B1 (ko) 2024-12-17

Family

ID=75974463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150320A Active KR102743278B1 (ko) 2019-11-21 2019-11-21 틸트 ois를 포함하는 전자 장치 및 그를 이용한 이미지 촬영 방법과 촬영된이미지의 처리 방법

Country Status (3)

Country Link
US (1) US11431906B2 (ko)
KR (1) KR102743278B1 (ko)
WO (1) WO2021101148A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023046874A (ja) * 2021-09-24 2023-04-05 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
CN115278077B (zh) * 2022-07-27 2024-05-10 维沃移动通信有限公司 光学防抖方法、装置、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100112788A (ko) * 2009-04-10 2010-10-20 삼성테크윈 주식회사 손떨림 방지 기능과 플래쉬 기능의 제어 방법, 이를 이용한 촬영 방법 및 디지털 카메라 모듈
KR20110055241A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법
KR20110107192A (ko) * 2010-03-24 2011-09-30 삼성테크윈 주식회사 파노라마 영상 구현 카메라 모듈과, 이를 이용한 촬영 방법
JP2015114484A (ja) * 2013-12-11 2015-06-22 シャープ株式会社 カメラモジュール
KR20160087684A (ko) * 2015-01-14 2016-07-22 삼성전기주식회사 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100683850B1 (ko) 2004-08-20 2007-02-16 삼성전자주식회사 파노라마 촬영 기능을 지원하는 촬영기기 및 촬영방법
EP2317756A1 (en) * 2009-10-16 2011-05-04 Axis AB Pan tilt camera
US8350219B2 (en) * 2010-01-22 2013-01-08 DenCT Ltd Methods and apparatus for multi-camera X-ray flat panel detector
JP5533048B2 (ja) * 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
JP2011215199A (ja) 2010-03-31 2011-10-27 Fujifilm Corp 撮影装置およびその手ブレ補正方法
JP5500034B2 (ja) * 2010-10-06 2014-05-21 リコーイメージング株式会社 手振れ補正機構を備えた撮影装置
JP2013179581A (ja) * 2012-02-07 2013-09-09 Canon Inc 画像生成装置及びその制御方法
US9667848B2 (en) * 2015-04-22 2017-05-30 Qualcomm Incorporated Tiltable camera module
JP6582926B2 (ja) * 2015-11-27 2019-10-02 カシオ計算機株式会社 移動情報取得装置、移動情報取得方法、及び、プログラム
US10104292B2 (en) 2016-08-04 2018-10-16 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
JP7034616B2 (ja) 2017-07-12 2022-03-14 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP7150456B2 (ja) * 2018-04-04 2022-10-11 キヤノン株式会社 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム
US11150732B2 (en) * 2018-06-25 2021-10-19 Canon Kabushiki Kaisha Image pickup apparatus having vibration device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100112788A (ko) * 2009-04-10 2010-10-20 삼성테크윈 주식회사 손떨림 방지 기능과 플래쉬 기능의 제어 방법, 이를 이용한 촬영 방법 및 디지털 카메라 모듈
KR20110055241A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법
KR20110107192A (ko) * 2010-03-24 2011-09-30 삼성테크윈 주식회사 파노라마 영상 구현 카메라 모듈과, 이를 이용한 촬영 방법
JP2015114484A (ja) * 2013-12-11 2015-06-22 シャープ株式会社 カメラモジュール
KR20160087684A (ko) * 2015-01-14 2016-07-22 삼성전기주식회사 손떨림 보정 장치를 이용한 고해상도 이미지 형성 장치 및 방법

Also Published As

Publication number Publication date
US11431906B2 (en) 2022-08-30
WO2021101148A1 (en) 2021-05-27
KR102743278B1 (ko) 2024-12-17
US20210160429A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
EP3435655B1 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
KR102713694B1 (ko) 이미지 안정화를 위한 전자 장치 및 그의 동작 방법
KR102525000B1 (ko) 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
EP3818688B1 (en) Apparatus and method for operating multiple cameras for digital photography
US11609411B2 (en) Folded camera and electronic device including the same
KR102382871B1 (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
KR20210071253A (ko) 카메라 이동 제어 방법 및 장치
US12342065B2 (en) Electronic device including reflector and lens assembly
US11431906B2 (en) Electronic device including tilt OIS and method for capturing image and processing captured image
KR20220142205A (ko) 카메라 촬영 시 스캔하는 방법 및 그 전자 장치
US20230384556A1 (en) Camera module and electronic device having same
US11743585B2 (en) Electronic apparatus including camera and control method thereof
US11991446B2 (en) Method of image stabilization and electronic device therefor
US12160666B2 (en) Electronic device including camera with blur reduction
US20230012826A1 (en) Method for correcting shaking at high magnification and electronic device therefor
KR20230001760A (ko) 이미지 안정화 방법 및 이를 위한 전자 장치
US20250159348A1 (en) Electronic device for acquiring image by using multiple cameras and method therefor
US20240078685A1 (en) Method for generating file including image data and motion data, and electronic device therefor
KR20220133630A (ko) 카메라를 포함하는 전자 장치 및 그 제어 방법
CN117546476A (zh) 对图像应用散景效果的电子装置及其运行方法
KR20240078250A (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
CN118633296A (zh) 包括相机模块的电子设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191121

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20221121

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20191121

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240213

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240925

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241212

End annual number: 3

Start annual number: 1

PG1601 Publication of registration