KR20220152862A - 카메라 모듈 및 이를 포함하는 촬상 장치 - Google Patents

카메라 모듈 및 이를 포함하는 촬상 장치 Download PDF

Info

Publication number
KR20220152862A
KR20220152862A KR1020210060329A KR20210060329A KR20220152862A KR 20220152862 A KR20220152862 A KR 20220152862A KR 1020210060329 A KR1020210060329 A KR 1020210060329A KR 20210060329 A KR20210060329 A KR 20210060329A KR 20220152862 A KR20220152862 A KR 20220152862A
Authority
KR
South Korea
Prior art keywords
module
tilting
image data
processor
image
Prior art date
Application number
KR1020210060329A
Other languages
English (en)
Inventor
김종우
정길우
김대영
이수영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210060329A priority Critical patent/KR20220152862A/ko
Priority to US17/702,360 priority patent/US20220360712A1/en
Priority to CN202210307244.9A priority patent/CN115334230A/zh
Publication of KR20220152862A publication Critical patent/KR20220152862A/ko

Links

Images

Classifications

    • H04N5/23287—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/2257—
    • H04N5/2259—

Abstract

본 개시의 예시적 실시예에 따른 촬상 장치는 광 신호를 수신하는 렌즈 모듈, 상기 수신된 광 신호를 기초로 이미지 데이터를 생성하는 이미지 센서, 상기 이미지 센서를 틸트시키는 틸팅 모듈 및 상기 이미지 데이터에 기초하여 상기 틸팅 모듈을 제어하는 프로세서를 포함한다. 상기 프로세서는 상기 이미지 데이터에서 대상 객체를 인식하고, 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교한 비교 결과를 기반으로 틸팅 모듈을 제어하는 것을 특징으로 한다.

Description

카메라 모듈 및 이를 포함하는 촬상 장치{CAMERA MODULE AND IMAGING APPARATUS COMPRISING THEREOF}
본 개시의 기술적 사상은 카메라 모듈 및 이를 포함하는 촬상 장치에 관한 것이다.
최근, 스마트폰 등의 전자 장치의 카메라 기능 확대로 인하여 각각이 이미지 센서를 포함하는 복수의 카메라 모듈이 스마트폰에 구비되고 있으며, 최근 카메라 모듈은 영상 흔들림 방지(image stabilization, IS)기술을 채용하여 불안정한 고정장치 혹은 사용자의 움직임에 기인한 카메라의 움직임으로 인한 영상의 흔들림을 보정하거나 방지하는 기술이 채용되고 있다.
이러한 영상 흔들림 방지(IS) 기술에는 광학적 영상 흔들림 방지(optical image stabilizer, OIS)기술과 이미지 센서를 이용한 영상 흔들림 방지기술 등이 있다. OIS 기술은 카메라의 렌즈나 이미지센서를 움직여 광로(Optical path)를 수정함으로써 화질을 보정하는 방식인데, 특히 OIS 기술은 자이로 센서(gyro sensor)를 통해 카메라의 움직임을 감지하고 이를 바탕으로 렌즈나 이미지 센서가 움직여야 할 거리를 계산하고, 렌즈 이동 방식 또는 모듈 틸팅(Tilting) 방식을 이용하여 흔들림을 보정한다.
본 개시의 기술적 사상이 해결하려는 과제는, 틸팅 장치를 이용하여 최적의 장면을 촬영하는 카메라 모듈 및 이를 포함하는 촬상 장치를 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 본 개시의 예시적 실시예에 따른 촬상 장치는, 광 신호를 수신하는 렌즈 모듈, 상기 수신된 광 신호를 기초로 이미지 데이터를 생성하는 이미지 센서, 상기 이미지 센서를 틸트시키는 틸팅 모듈 및 상기 이미지 데이터에 기초하여 상기 틸팅 모듈을 제어하는 프로세서를 포함한다. 상기 프로세서는 상기 이미지 데이터에서 대상 객체를 인식하고, 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교한 비교 결과를 기반으로 틸팅 모듈을 제어하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 본 개시의 예시적 실시예에 따른 전자 장치는, 셀프 카메라 촬영 보조 기능을 제공하는 카메라 모듈 및 프로세서를 포함한다. 상기 카메라 모듈은, 광 신호를 수신하는 렌즈 모듈, 상기 수신된 광 신호를 기초로 이미지 데이터를 생성하는 이미지 센서, 상기 카메라 모듈을 틸트시키는 틸팅 모듈, 상기 이미지 데이터를 수신하여 상기 틸팅 모듈을 제어하는 프로세서 및 상기 프로세서와 통신하며 상기 이미지 데이터를 상기 프로세서로 전송하고, 상기 틸팅 모듈을 제어하기 위한 틸팅 제어 데이터를 상기 프로세서에서 수신하는 인터페이스 회로를 포함한다. 상기 프로세서는 상기 이미지 데이터를 수신하여 상기 이미지 데이터에서 대상 객체를 인식하고, 이미지 촬영시 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교하여 틸팅 제어 데이터를 생성하고, 상기 틸팅 제어 데이터에 기초하여 틸팅 모듈을 제어하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위한 본 개시의 예시적 실시예에 따른 셀프 카메라 촬영 보조를 지원하는 카메라 모듈의 제어 방법은, 상기 카메라 모듈을 통해 수신되는 광 신호를 기초로 이미지 데이터를 생성하고, 상기 생성된 이미지 데이터에 기초하여 대상 객체를 인식하고 대상 객체 정보를 생성하는 단계, 이미지 촬영시 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체 정보를 비교하는 단계 및 상기 비교 결과를 기반으로 상기 카메라 모듈을 틸팅시켜 촬영하는 시야 범위를 제어하는 단계를 포함한다.
본 개시의 실시예들에 따른 촬상 장치 및 전자 장치에 따르면, 이미지 데이터의 분석 결과에 기초하여 틸팅 모듈을 제어함으로써 개선된 이미지 촬영 결과를 제공할 수 있다.
또한 본 개시의 기술적 사상에 따른 스마트폰을 포함하는 전자 장치는 디스플레이부를 보지 않고 후면 카메라를 통해 사진을 촬영하는 경우에도, 틸팅 모듈을 제어하여 개선된 이미지 촬영 결과를 제공할 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 촬상 장치의 시야각을 설명하는 도면이다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 촬상 장치의 시야각을 설명하는 도면이다.
도 5는 본 개시의 예시적 실시예에 따른 촬상 장치의 틸팅 동작을 설명하는 도면이다.
도 6a 내지 6d는 본 개시의 예시적 실시예에 따른 촬상 장치의 틸팅 알고리즘을 설명하는 도면이다.
도 7a 내지 7c는 본 개시의 예시적 실시예에 따른 촬상 장치의 틸팅 알고리즘을 설명하는 도면이다.
도 8a 및 8b는 본 개시의 예시적 실시예에 따른 촬상 장치의 파노라마 촬영을 설명하는 도면이다.
도 9는 본 개시의 예시적 실시예에 따른 촬상 장치의 동작을 설명하는 흐름도이다.
도 10a는 이미지 센서의 분리 사시도이고, 도 10b는 이미지 센서의 평면도이다.
도 11은 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 12는 도 11의 카메라 모듈의 상세 블록도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
본 개시의 예시적 실시예에 따른 촬상 장치(100)는 이미지 촬영 또는 광센싱 기능을 갖는 전자 기기에 구비될 수 있다. 예를 들어, 촬상 장치(100)는 디지털 스틸 카메라, 디지털 비디오 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치 등과 같은 전자 기기에 구비될 수 있다. 또한 촬상 장치(100)는 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 기기에 구비될 수 있다.
도 1을 참조하면, 촬상 장치(100)는 렌즈 모듈(112), 이미지 센서(114), 틸팅 모듈(120) 및 프로세서(130)를 포함할 수 있다. 예를 들어, 렌즈 모듈(112) 및 이미지 센서(114)는 카메라 모듈(110)에 포함될 수 있다.
렌즈 모듈(112)은 렌즈를 포함할 수 있다. 렌즈는 시야각 내에 위치하는 피사체에 반사된 빛을 수신할 수 있다. 일 실시예에 따르면, 렌즈 모듈(112)은 지정된 방향(예를 들어, 촬상 장치(100)의 전면 또는 후면 방향)을 향하도록 배치될 수 있다. 일 실시 예에 따르면, 렌즈 모듈(112)는 입력되는 빛의 양을 조절하는 조리개를 포함할 수 있다.
렌즈 모듈(112)은 촬상 장치(100) 또는 전자 장치의 움직임을 감지하는 센서를 더 포함할 수 있다. 일 실시예에서, 렌즈 모듈(112)은 자이로 센서를 더 포함할 수 있고, 자이로 센서는 촬상 장치(100) 또는 전자 장치의 움직임을 감지하여, 감지 결과를 틸팅 모듈(120) 또는 프로세서(130)에 전송할 수 있다. 프로세서(130)는 상기 감지 결과에 기초하여, 떨림 보정을 위해 틸팅 모듈(120)을 제어할 수 있다.
렌즈는 이미지 센서(114)의 광축 상에 장착될 수 있고, 상기 광축은 촬상 장치(100)의 전면 또는 후면 방향일 수 있다. 렌즈는 시야각 내에 위치하는 피사체에 반사된 빛을 수신할 수 있다. 렌즈 모듈(112)은 하나 또는 복수의 렌즈들을 포함할 수 있다.
이미지 센서(114)는 렌즈 모듈(112)을 통해 입력되는 빛을 전기적 신호로 변환할 수 있다. 예를 들어, 이미지 센서(114)는 렌즈 모듈(112)을 통해 입력되는 빛에 포함된 피사체 정보를 이용하여 이미지를 생성할 수 있다. 이미지 센서(114)는 생성된 이미지 데이터를 프로세서(130)로 전달할 수 있다.
이미지 센서(114)는 광 신호를 수신하는 픽셀 어레이를 포함할 수 있다. 픽셀 어레이는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전 변환 소자로 구현될 수 있으며 이외에도 다양한 종류의 광전 변환 소자로 구현될 수 있다. 픽셀 어레이는 수신되는 광 신호를 전기적 신호로 변환하는 복수의 픽셀들을 포함하고, 복수의 픽셀들은 행열로 배열될 수 있다. 복수의 픽셀들 각각은 광 감지 소자를 포함한다. 예컨대, 광 감지 소자는 포토(photo) 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다.
틸팅 모듈(120)은 렌즈 모듈(112)의 렌즈의 위치를 변경하도록 엑츄에이터 구동 모듈(미도시)을 제어할 수 있다. 엑츄에이터 구동 모듈은 엑츄에이터를 구동시킴으로써, 렌즈 모듈(112)에 포함된 렌즈의 위치 또는 방향을 변경시킬 수 있다. 틸팅 모듈(120)은 렌즈 모듈(112)의 렌즈, 렌즈 모듈(112) 또는 렌즈 모듈(112)을 포함하는 카메라 모듈(110)의 위치를 변경하도록 엑츄에이터를 제어하는 것도 가능하다.
촬상 장치(100) 또는 전자 장치의 움직임으로 인한 노이즈를 보정하기 위하여 렌즈를 이동시키기 위한 타겟 보정값을 산출할 수 있다. 상기 타겟 보정값은 떨림 보정을 위한 렌즈의 제1 방향으로의 이동 거리 또는 제2 방향으로의 이동 거리에 대응되는 값일 수 있다.
틸팅 모듈(120)은 떨림 보정 모듈일 수 있다. 떨림 보정(image stabilization) 모듈은 이미지 촬영 중 사용자의 손 떨림에 의한 이미지의 흔들림을 방지하기 위해 촬상 장치(100) 또는 전자 장치의 손 떨림 보정을 수행할 수 있다.
프로세서(130)는 촬상 장치(100)의 전반적인 동작을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(130)는 렌즈 모듈(112), 이미지 센서(114), 틸팅 모듈(120) 각각을 제어하여 본 개시의 다양한 실시 예에 따라 이미지 촬영시 보정을 수행하도록 할 수 있다.
예를 들어, 이미지 센서(114)는 렌즈 모듈(112)을 통해 객체(Object)를 수신하여 이미지 데이터(IDT)를 생성할 수 있다. 이미지 센서(114)는 생성된 이미지 데이터(IDT)를 프로세서(130)에 전달할 수 있다. 프로세서(130)는 수신된 이미지 데이터(IDT)에 기초하여 대상 객체를 인식하고, 이미지 촬영시 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교하여 틸팅 제어 데이터(TCD)를 생성할 수 있다. 프로세서(130)는 생성된 틸팅 제어 데이터(TCD)를 틸팅 모듈(120)에 전달할 수 있다. 틸팅 모듈(120)은 수신한 틸팅 제어 데이터(TCD)에 따라 렌즈, 렌즈 모듈(112) 또는 카메라 모듈(110)을 움직여 개선된 이미지 데이터를 생성하도록 할 수 있다.
도 2는 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
본 개시의 예시적 실시예에 따른 카메라 모듈(200)은 이미지 촬영 또는 광센싱 기능을 갖는 전자 기기에 구비될 수 있다. 예를 들어, 카메라 모듈(200)은 디지털 스틸 카메라, 디지털 비디오 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation) 장치 등과 같은 전자 장치(300)에 구비될 수 있다.
도 2를 참조하면, 카메라 모듈(200)은 렌즈 모듈(210), 이미지 센서(220) 및 틸팅 모듈(230)을 포함할 수 있다. 렌즈 모듈(210), 이미지 센서(220) 및 틸팅 모듈(230)은 도 1의 촬상 장치(100)에 포함된 렌즈 모듈(112), 이미지 센서(114), 틸팅 모듈(120)일 수 있다.
전자 장치(300)는 프로세서(310), 디스플레이(320), 진동을 발생시키는 진동 모듈(330) 및 카메라 모듈(200)을 포함할 수 있다.
프로세서(310)는 전자 장치(300)의 전반적인 동작을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(310)는 카메라 모듈(200)을 제어하여 본 개시의 다양한 실시 예에 따라 이미지 촬영시 보정을 수행하도록 할 수 있다.
디스플레이(320)는 카메라 모듈(200)에 의해 촬영된 이미지 또는 메모리에 저장된 이미지를 표시할 수 있다. 일 실시 예에 따르면, 디스플레이(320)는 전자 장치(300)의 제1 면에 위치하고, 카메라 모듈(200)은 디스플레이(320)가 위치한 제1 면에 위치하거나, 디스플레이(320)가 위치한 제1 면의 반대쪽인 제2 면에 위치할 수 있다.
인터페이스 회로(미도시)는 카메라 모듈(200)에 포함되어 이미지 데이터(IDT)를 수신하고, 설정된 프로토콜에 따라 프로세서(310)에 이미지 데이터(IDT)를 전송할 수 있다. 인터페이스 회로(140)는 설정된 프로토콜에 따라 이미지 데이터(IDT)를 개별 신호 단위, 패킷 단위 또는 프레임 단위로 패킹하여 데이터를 생성하고, 프로세서(200)로 전송할 수 있다. 예를 들어, 인터페이스 회로는 MIPI (Mobile Industry Processor Interface) 인터페이스를 포함할 수 있다.
예를 들어, 이미지 센서(220)는 렌즈 모듈(210)을 통해 객체(Object)를 수신하여 이미지 데이터(IDT)를 생성할 수 있다. 이미지 센서(220)는 생성된 이미지 데이터(IDT)를 프로세서(310)에 전달할 수 있다. 프로세서(310)는 수신된 이미지 데이터(IDT)에 기초하여 대상 객체를 인식하고, 이미지 촬영시 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교하여 틸팅 제어 데이터(TCD)를 생성할 수 있다. 프로세서(310)는 생성된 틸팅 제어 데이터(TCD)를 틸팅 모듈(230)에 전달할 수 있다. 틸팅 모듈(230)은 수신한 틸팅 제어 데이터(TCD)에 따라 렌즈, 렌즈 모듈(210) 또는 카메라 모듈(200)을 움직여 개선된 이미지 데이터를 생성하도록 할 수 있다. 또한, 프로세서(310)는 틸팅 모듈(230)을 제어하여 획득한 이미지 데이터에서 대상 객체의 위치가 기설정된 범위 내에 위치하는 경우 진동 모듈(330)을 통해 진동을 포함하는 촬영 안내 신호를 발생시키도록 할 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 촬상 장치의 시야범위를 설명하는 도면이다.
도 3을 참조하면, 촬상 장치의 기본 시야범위(CT2)는 우측 경계(FOV_R)에서 좌측 경계(FOV_L)까지이며, 틸팅 모듈을 통해 좌측으로 틸팅한 경우 시야범위(CT4)는 제1 우측 경계(FOV_R1)에서 제1 좌측 경계(FOV_L1)까지로 변경된다. 틸팅 모듈을 통해 우측으로 틸팅한 경우 시야범위(CT6)는 제2 우측 경계(FOV_R2)에서 제2 좌측 경계(FOV_L2)까지로 변경된다. 촬상 장치가 틸팅 모듈을 통해 얻을 수 있는 시야범위(CT8)는 제2 우측 경계(FOV_R2)에서 제1 좌측 경계(FOV_L1)까지이며, 촬상 장치의 기본 시야범위(CT2)보다 더 넓은 영역의 이미지를 수신할 수 있다. 본 개시의 예시적 실시예에 따른 촬상 장치는 도 3에서 설명한 시야범위를 활용하여 개선된 셀프 카메라 촬영 결과물을 제공할 수 있다.
도 4a 및 도 4b는 본 개시의 예시적 실시예에 따른 촬상 장치의 시야범위를 설명하는 도면이다.
도 4a를 참조하면 촬상 장치의 기본 시야범위인 제1 시야범위(FOV_1)에서 틸팅 모듈을 통해 상하좌우로 카메라 모듈을 틸팅하는 경우 시야범위는 제2 시야범위(FOV_2)만큼 넓어질 수 있다.
도 4b를 참조하면 카메라 모듈을 제1 각도(a8)만큼 틸팅하는 경우 시야범위는 제1 시야범위(a2)이며, 카메라 모듈을 제2 각도(a10)만큼 틸팅하는 경우 시야범위는 제2 시야범위(a4)일 수 있다. 틸팅 가능한 범위가 제1 각도(a8)에서 제2 각도(a10)로 늘어나면 시야범위는 이에 비례해서 증가할 수 있다. 또한 촬영시 촬영 거리(a6)가 증가하는 경우 시야범위는 더 증가할 수 있다.
도 5는 본 개시의 예시적 실시예에 따른 촬상 장치의 틸팅 동작을 설명하는 도면이다.
도 5를 참고하면, 촬상 장치(400)는 렌즈 모듈(410), 이미지 센서(420), 컨트롤러(430) 및 틸팅 모듈(440)을 포함할 수 있다. 렌즈 모듈(410)은 복수의 렌즈를 포함할 수 있다. 예를 들어 틸팅 모듈(440)은 렌즈 모듈(410)과 이미지 센서(420)를 함께 틸팅할 수 있다. 도 5에서 (b)는 틸팅 동작 전의 촬상 장치(400)의 기본 위치를 설명하는 도면이며, (a)는 촬상 장치(400)가 제1 방향으로 틸팅되도록 틸팅 모듈(440)을 제어하는 도면이고, (b)는 촬상 장치(400)가 제1 방향과 반대 방향인 제2 방향으로 틸팅되도록 틸팅 모듈(440)을 제어하는 도면이다.
도 6a 내지 6d는 본 개시의 예시적 실시예에 따른 촬상 장치의 틸팅 알고리즘을 설명하는 도면이다.
촬상 장치는 이미지 센서를 통해 생성된 출력 이미지에서, 대상 객체의 위치를 인식하여 촬영되는 장면의 정보를 파악 하고 틸팅 모듈을 제어한다. 예를 들어, 도 6a를 참조하면 촬상 장치가 초기에 촬영한 제1 프레임(551)에서 1명의 사람이 제1 대상 객체(502)로 인식될 수 있다. 인식된 제1 대상 객체(502)는 제1 프레임(551)의 우측 하단에 일부가 나오지 않은 상태이므로, 틸팅 모듈을 제어하여 촬상 장치의 시야 범위를 제1 보정 프레임(553)으로 변경할 수 있다. 제1 보정 프레임(553)에서 제1 대상 객체(502)는 화면 중앙에 위치할 수 있다.
도 6b를 참조하면, 촬상 장치가 초기에 촬영한 제2 프레임(555)에서 2명의 사람이 제2 대상 객체(504, 506)로 인식될 수 있다. 인식된 제2 대상 객체(504, 506)는 제2 프레임(555)의 하단에 대부분이 나오지 않는 상태이며, 제2 대상 객체(504, 506) 중 한명(506)의 얼굴만 표시된 상태이므로, 틸팅 모듈을 제어하여 촬상 장치의 시야 범위를 제2 보정 프레임(557)으로 변경할 수 있다. 제2 보정 프레임(555)은 제2 대상 객체(504, 506)가 화면에서 상반신이 모두 나오도록 위치할 수 있다.
도 6c를 참조하면, 촬상 장치가 초기에 촬영한 제3 프레임(559)에서 4명의 사람 및 사물이 제3 대상 객체(510, 512, 514, 516, 518)로 인식될 수 있다. 인식된 제3 대상 객체(510, 512, 514, 516, 518)는 제3 프레임(559)에 일부가 표시된 상태이므로, 틸팅 모듈을 제어하여 촬상 장치의 시야 범위를 제3 보정 프레임(561)으로 변경할 수 있다. 제3 보정 프레임(561)은 제3 대상 객체(510, 512, 514, 516, 518) 중 사람은 상반신이 표시되고, 사물(518) 또한 상단부가 잘리지 않고 표시되도록 위치할 수 있다.
도 6d를 참조하면, 촬상 장치가 초기에 촬영한 제4 프레임(563)에서 복수의 사람 및 사물이 제4 대상 객체로 인식될 수 있다. 인식된 제4 대상 객체는 제4 프레임(563)에 일부가 표시된 상태이므로, 틸팅 모듈을 제어하여 촬상 장치의 시야 범위를 제4 보정 프레임(565)으로 변경할 수 있다. 제4 보정 프레임(565)은 제4 대상 객체 중 촬영 대상인 사람 및 사물이 표시되도록 위치할 수 있다. 예를 들어, 제1 비대상 객체(522, 524)의 경우 촬영 중 상당한 움직임이 있거나, 안면 인식을 통해 시선이 카메라를 보고 있는지 여부를 판단하여 촬영 대상에서 제외할 수 있다. 제2 비대상 객체(518, 520)의 경우 촬영 중 상당한 움직임 또는 이동이 있어 촬영 대상에서 제외할 수 있다.
도 7a 내지 7c는 본 개시의 예시적 실시예에 따른 촬상 장치의 틸팅 알고리즘을 설명하는 도면이다.
촬상 장치는 틸팅 동작과 촬상 장치에 포함된 줌 기능을 조합하여 개선된 이미지 촬영이 가능하다. 예를 들어, 도 7a에서 촬영 시야 범위인 제 5 프레임(651)에 제1 대상 인물(602) 및 제2 대상 인물(604)이 인식될 수 있다. 도 7b를 참조하면, 촬상 장치는 제1 대상 인물(602) 및 제2 대상 인물(604)이 서로 가까운 위치로 이동하는 경우 제1 대상 인물(602) 및 제2 대상 인물(604)을 촬영 시야 범위의 중앙에 위치시키키 위해 틸팅 모듈을 제어할 수 있다. 촬영 시야 범위는 제6 프레임(653)에서 제7 프레임(655)으로 변경될 수 있다. 도 7c를 참조하면, 제1 대상 인물(602) 및 제2 대상 인물(604)은 제 8 프레임(657)의 중앙에 위치하지만, 촬영된 이미지에서 제1 대상 인물(602) 및 제2 대상 인물(604)의 비율이 타겟 비율 미만이므로, 촬상 장치는 줌인 동작을 수행할 수 있다. 촬상 장치는 줌인 동작을 통해 촬영 시야 범위를 제8 프레임(657)에서 제9 프레임(659)로 변경하여, 촬영된 이미지에서 제1 대상 인물(602) 및 제2 대상 인물(604)의 비율을 타겟 비율에 가깝게 조절할 수 있다.
도 8a 및 8b는 본 개시의 예시적 실시예에 따른 촬상 장치의 파노라마 촬영을 설명하는 도면이다.
촬상 장치는 연속적인 촬영 및 합성을 통한 파노라마 촬영을 수행할 수 있다. 예를 들어, 도 8a를 참조하면, 촬상 장치는 파노라마 대상 객체(S20)을 인식할 수 있다. 촬상 장치는 인식된 파노라마 대상 객체(S20)를 중심으로, 제1 파노라마 프레임(P2), 제2파노라마 프레임(P4), 제3파노라마 프레임(P6) 및 제4 파노라마 프레임(P8)을 설정하고, 틸팅 모듈을 단계적으로 제어하여 제1 파노라마 프레임(P2), 제2 파노라마 프레임(P4), 제3 파노라마 프레임(P6) 및 제4 파노라마 프레임(P8)에 대응되는 복수의 이미지 데이터를 촬영할 수 있다.
도 8b를 참조하면, 촬상 장치는 제1 파노라마 프레임(P2), 제2 파노라마 프레임(P4), 제3 파노라마 프레임(P6) 및 제4 파노라마 프레임(P8)을 합성하여 합성 프레임(P10)을 생성할 수 있고, 합성 프레임(P10)에서 파노라마 대상 객체(S20)는 중앙에 위치할 수 있다. 파노라마 촬영을 통해 기존보다 더 넓은 시야 범위에 대한 셀프카메라 촬영이 가능할 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 촬상 장치의 동작을 설명하는 흐름도이다.
촬상 장치는 수신된 광 신호를 이미지 센서에서 처리하여 이미지 데이터를 생성할 수 있다(S110).
촬상 장치는 생성된 이미지 데이터에서 대상 객체를 인식할 수 있다(S120). 촬상 장치는 사용자 안면 정보에 기초하여 상기 대상 객체를 인식할 수 있다. 예를 들어 촬상 장치는 이미지 데이터에 포함된 사람의 안면에서 시선의 방향을 고려하여 대상 객체 여부를 판단할 수 있고, 이미지 데이터에 포함된 사람의 움직임 또는 이동량을 고려하여 대상 객체 여부를 판단할 수도 있다. 촬상 장치는 상기 이미지 데이터에 포함된 객체의 위치 또는 상기 객체의 종류 정보에 기초하여 상기 대상 객체를 인식할 수도 있다. 예를 들어, 촬상 장치는 이미지 데이터에 포함된 객체가 사람이고, 중앙에 가깝게 위치하는 경우 대상 객체로 판단할 수 있다.
촬상 장치는 이미지 촬영시 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교하여 틸팅 제어 데이터를 생성할 수 있다(S130).
촬상 장치는 생성된 틸팅 제어 데이터에 기초하여 틸팅 모듈을 제어할 수 있다(S140). 상기 틸팅 모듈은 상기 촬상 장치의 떨림을 보상하기 위한 OIS (Optical Image Stabilization) 모듈일 수 있다.
촬상 장치는 상기 틸팅 모듈을 제어하면서 발생하는 이미지 데이터의 왜곡을 보정하는 동작을 수행할 수 있다.
촬상 장치는 상기 기준 위치 정보와 상기 대상 객체의 위치에 기초하여 상기 틸팅 모듈을 단계적으로 제어하여 복수의 이미지 데이터를 촬영하고, 파노라마 이미지 데이터를 생성할 수 있다.
촬상 장치는 상기 이미지 데이터에서 상기 대상 객체가 타겟 비율이 되도록 줌인 또는 줌아웃 기능을 수행할 수 있다.
촬상 장치는 상기 이미지 데이터에서 상기 대상 객체의 위치가 임계값 범위 내에 위치하는 경우 진동을 포함하는 촬영 안내 신호를 발생시키도록 할 수 있다.
도 10a는 이미지 센서의 분리 사시도이고, 도 10b는 이미지 센서의 평면도이다.
도 10a 및 도 10b를 참조하면, 이미지 센서(100a)는 제1 칩(CH1) 및 제2칩(CH2)이 적층된 구조를 가질 수 있다. 제1 칩(CH1)에는 픽셀 어레이(도 1의 110)가 형성되고, 제2 칩(CH2)에는 로직 회로, 예컨대, 로우 드라이버(120), 리드아웃 회로(130), 램프 신호 생성기(140) 및 타이밍 컨트롤러(150)가 형성될 수 있다.
도 10b에 도시된 바와 같이, 제1 칩(CH1) 및 제2 칩(CH1)은 중심부에 배치되는 엑티브 영역(AA) 및 로직 영역(LA)을 각각 포함하고, 또한, 칩의 외곽에 배치되는 주변 영역(PERR, PEI)을 포함할 수 있다. 제1 칩(CH1)의 엑티브 영역(PA)에는 복수의 픽셀(PX)이 2차원 어레이 구조로 배치될 수 있다. 제2 칩(CH2)의 로직 영역(LA)에는 로직 회로가 배치될 수 있다.
제1 칩(CH1) 및 제2 칩(CH2)의 주변 영역(PERR, PEI)에는 제3 방향(Z 방향)으로 연장된 관통 비아들(through vias)이 배치될 수 있다. 제1 칩(CH1) 및 제2 칩(CH1)은 관통 비아들(TV)을 통해 서로 전기적으로 결합될 수 있다. 제1 칩(CH1)의 주변 영역(PERR)에는 제1 방향(X 방향) 또는 제2 방향(Y 방향)으로 연장된 배선들, 수직 콘택들이 더 형성될 수 있다. 제2 칩(CH2)의 배선층에도 제1 방향(X 방향)과 제2 방향(Y 방향)으로 연장하는 다수의 배선 라인들이 배치될 수 있고, 이러한 배선 라인들은 로직 회로로 연결될 수 있다.
한편, 제1 칩(CH1)과 제2 칩(CH2)은 관통 비아(TV)를 통해 전기적으로 결합되는 구조에 대하여 설명하였으나, 이에 한정되는 것은 아니며, 예컨대, 제1 칩(CH1)과 제2 칩(CH2)은 Cu-Cu 본딩, 관통 비아와 Cu 패드의 결합, 관통 비아와 외부 접속 단자의 결합, 또는 일체형의 관통 비아를 통한 결합 등 다양한 결합 구조로 구현될 수 있다.
도 11은 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 12는 도 11의 카메라 모듈의 상세 블록도이다.
도 11을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 k개(k는 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 12을 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.
도 12을 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 이미지 센서(1142)는 HCG 이미지 데이터 및 LCG 이미지 데이터를 병합하여, 높은 동작 범위를 갖는 이미지 데이터를 생성할 수 있다.
제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 11과 도 12를 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 11을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 리드아웃하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (22)

  1. 광 신호를 수신하는 렌즈 모듈;
    상기 수신된 광 신호를 기초로 이미지 데이터를 생성하는 이미지 센서;
    상기 이미지 센서를 틸트시키는 틸팅 모듈; 및
    상기 이미지 데이터에 기초하여 상기 틸팅 모듈을 제어하는 프로세서;를 포함하고,
    상기 프로세서는 상기 이미지 데이터에서 대상 객체를 인식하고, 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교한 비교 결과를 기반으로 틸팅 모듈을 제어하는 것을 특징으로 하는 촬상 장치.
  2. 제1 항에 있어서,
    상기 틸팅 모듈은 상기 촬상 장치의 떨림을 감지하여 렌즈 모듈 및 이미지센서를 함께 틸팅시키는 틸팅 동작을 지원하도록 구성된 것을 특징으로 하는 촬상 장치.
  3. 제1 항에 있어서,
    상기 프로세서는 상기 틸팅 모듈을 제어하면서 상기 렌즈 모듈 및 상기 이미지 센서의 광축이 변경되어 발생하는 이미지 데이터의 왜곡을 보정하는 것을 특징으로 하는 촬상 장치.
  4. 제1 항에 있어서,
    상기 프로세서는 사용자 안면 정보에 기초하여 상기 대상 객체를 인식하는 것을 특징으로 하는 촬상 장치.
  5. 제1 항에 있어서,
    상기 프로세서는 상기 이미지 데이터에 포함된 객체의 위치 및 상기 객체의 종류 정보 중 적어도 하나에 기초하여 상기 대상 객체를 인식하는 것을 특징으로 하는 촬상 장치.
  6. 제1 항에 있어서,
    상기 프로세서는 상기 비교 결과에 기초하여 상기 틸팅 모듈을 단계적으로 제어하여 획득된 복수의 이미지 데이터로부터, 파노라마 이미지 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  7. 제1 항에 있어서,
    상기 프로세서는 상기 이미지 데이터에 대응하는 화면에서 상기 대상 객체가 타겟 비율이 되도록 상기 렌즈 모듈을 제어하여 줌인 또는 줌아웃 기능을 수행하는 것을 특징으로 하는 촬상 장치.
  8. 제1 항에 있어서,
    상기 프로세서는 셀프 카메라 촬영시 틸팅 모듈의 제어 모드를 활성화 또는 비활성화로 설정 가능한 것을 특징으로 하는 촬상 장치.
  9. 제1 항에 있어서,
    상기 프로세서는 상기 이미지 데이터에 대응하는 화면에서 상기 대상 객체가 소정의 영역에 위치하는 경우 촬영 안내 신호를 발생시키도록 하는 것을 특징으로 하는 촬상 장치.
  10. 셀프 카메라 촬영 보조 기능을 제공하는 카메라 모듈; 및 프로세서;를 포함하는 전자 장치로서,
    상기 카메라 모듈은,
    광 신호를 수신하는 렌즈 모듈;
    상기 수신된 광 신호를 기초로 이미지 데이터를 생성하는 이미지 센서;
    상기 카메라 모듈을 틸트시키는 틸팅 모듈; 및
    상기 프로세서와 통신하며 상기 이미지 데이터를 상기 프로세서로 전송하고, 상기 틸팅 모듈을 제어하기 위한 틸팅 제어 데이터를 상기 프로세서로부터 수신하는 인터페이스 회로를 포함하고,
    상기 프로세서는 상기 이미지 데이터에서 대상 객체를 인식하고, 이미지 촬영시 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체의 위치를 비교하여 상기 틸팅 제어 데이터를 생성하고, 상기 틸팅 제어 데이터를 상기 인터페이스 회로를 통해 상기 틸팅 모듈에 전달하는 것을 특징으로 하는 전자 장치.
  11. 제10 항에 있어서,
    상기 틸팅 모듈은 상기 카메라 모듈의 떨림을 감지하여 렌즈 모듈 및 이미지센서를 함께 틸팅시키는 틸팅 동작을 지원하도록 구성된 것을 특징으로 하는 전자 장치.
  12. 제10 항에 있어서,
    상기 프로세서는 상기 틸팅 모듈을 제어하면서 상기 렌즈 모듈 및 상기 이미지 센서의 광축이 변경되어 발생하는 이미지 데이터의 왜곡을 보정하는 것을 특징으로 하는 전자 장치.
  13. 제10 항에 있어서,
    상기 프로세서는 사용자 안면 정보에 기초하여 상기 대상 객체를 인식하는 것을 특징으로 하는 전자 장치.
  14. 제10 항에 있어서,
    상기 프로세서는 상기 이미지 데이터에 포함된 객체의 위치 및 상기 객체의 종류 정보 중 적어도 하나에 기초하여 상기 대상 객체를 인식하는 것을 특징으로 하는 전자 장치.
  15. 제10 항에 있어서,
    상기 프로세서는 상기 기준 위치 정보와 상기 대상 객체의 위치에 기초하여 상기 틸팅 모듈을 단계적으로 제어하여 복수의 이미지 데이터를 촬영하고, 파노라마 이미지 데이터를 생성하는 것을 특징으로 하는 전자 장치.
  16. 제10 항에 있어서,
    상기 프로세서는 상기 이미지 데이터에 대응하는 화면에서 상기 대상 객체가 타겟 비율이 되도록 상기 렌즈 모듈을 제어하여 줌인 또는 줌아웃 기능을 수행하는 것을 특징으로 하는 전자 장치.
  17. 제10 항에 있어서,
    상기 프로세서는 상기 이미지 데이터에 대응하는 화면에서 상기 대상 객체가 소정의 영역에 위치하는 경우 촬영 안내 신호를 발생시키도록 하는 것을 특징으로 하는 전자 장치.
  18. 제10 항에 있어서,
    상기 전자 장치는, 복수의 카메라 모듈들을 포함하고
    상기 복수의 카메라 모듈들 중 적어도 하나는 셀프 카메라 촬영 보조 기능을 제공하는 것을 특징으로 하는 전자 장치.
  19. 제10 항에 있어서,
    상기 전자 장치는 제1면에 디스플레이 장치를 포함하고, 상기 카메라 모듈은 상기 제1면의 반대면인 제2면에 배치된 것을 특징으로 하는 전자 장치.
  20. 제19 항에 있어서,
    상기 전자 장치는 상기 제2면에 배치된 상기 카메라 모듈을 통해 셀프 카메라 촬영을 수행하는 경우 제어 모드를 활성화하고, 노말 촬영을 수행하는 경우 제어 모드를 비활성화하는 것을 특징으로 하는 전자 장치.
  21. 셀프 카메라 촬영 보조를 지원하는 카메라 모듈의 제어 방법에 있어서,
    상기 카메라 모듈을 통해 수신되는 광 신호를 기초로 이미지 데이터를 생성하고, 상기 생성된 이미지 데이터에 기초하여 대상 객체를 인식하고 대상 객체 정보를 생성하는 단계;
    이미지 촬영시 최적의 객체 위치 정보를 포함하는 기준 위치 정보와 상기 대상 객체 정보를 비교하는 단계; 및
    상기 비교 결과를 기반으로 상기 카메라 모듈을 틸팅시켜 촬영하는 시야 범위를 제어하는 단계를 포함하는 카메라 모듈의 제어 방법.
  22. 제 21항에 있어서,
    상기 대상 객체를 인식하는 단계는 상기 이미지 데이터에서 인식된 객체의 안면 인식 정보 및 움직임 정보 중 하나 이상을 포함하는 것을 특징으로 하는 카메라 모듈의 제어 방법.
KR1020210060329A 2021-05-10 2021-05-10 카메라 모듈 및 이를 포함하는 촬상 장치 KR20220152862A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210060329A KR20220152862A (ko) 2021-05-10 2021-05-10 카메라 모듈 및 이를 포함하는 촬상 장치
US17/702,360 US20220360712A1 (en) 2021-05-10 2022-03-23 Camera module and imaging device including the same
CN202210307244.9A CN115334230A (zh) 2021-05-10 2022-03-25 成像装置和包括其的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210060329A KR20220152862A (ko) 2021-05-10 2021-05-10 카메라 모듈 및 이를 포함하는 촬상 장치

Publications (1)

Publication Number Publication Date
KR20220152862A true KR20220152862A (ko) 2022-11-17

Family

ID=83900752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210060329A KR20220152862A (ko) 2021-05-10 2021-05-10 카메라 모듈 및 이를 포함하는 촬상 장치

Country Status (3)

Country Link
US (1) US20220360712A1 (ko)
KR (1) KR20220152862A (ko)
CN (1) CN115334230A (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009011105A1 (ja) * 2007-07-13 2009-01-22 Panasonic Corporation 撮像装置
US8675089B2 (en) * 2009-12-25 2014-03-18 Samsung Electronics Co., Ltd. Apparatus and method for assisting composition of photographic image
US9106821B1 (en) * 2013-03-13 2015-08-11 Amazon Technologies, Inc. Cues for capturing images
WO2016068057A1 (ja) * 2014-10-31 2016-05-06 富士フイルム株式会社 撮像装置及び対象物認識方法
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
US10574881B2 (en) * 2018-02-15 2020-02-25 Adobe Inc. Smart guide to capture digital images that align with a target image model
JP2022070684A (ja) * 2020-10-27 2022-05-13 キヤノン株式会社 撮像装置およびその制御方法、プログラム

Also Published As

Publication number Publication date
CN115334230A (zh) 2022-11-11
US20220360712A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
EP3818688B1 (en) Apparatus and method for operating multiple cameras for digital photography
US7532236B2 (en) Camera system
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
US11796893B2 (en) Compact camera module and terminal device
CN102461188A (zh) 用于生成立体图像的图像传感器
JP2022019645A (ja) イメージセンサモジュール及びイメージ圧縮方法
US20100007766A1 (en) Camera device and image processing method
US8817127B2 (en) Image correction device for image capture device and integrated circuit for image correction device
US11563874B2 (en) Camera module and imaging apparatus including the same
KR20220152862A (ko) 카메라 모듈 및 이를 포함하는 촬상 장치
US11412197B2 (en) Electronic device including image sensor
US20220277423A1 (en) Image signal processing method, image sensing device including an image signal processor
JP2022183102A (ja) イメージ信号プロセッサを含むイメージセンサ及びその動作方法
KR20220037204A (ko) 이미지 신호 프로세서 및, 이미지 신호 프로세서를 포함하는 전자 장치 및 전자 시스템
KR20220075028A (ko) 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
US20230169629A1 (en) Image signal processor, method for operating image signal processor and image sensing device
US20230143333A1 (en) Image sensor, application processor and image sensing device
US20230073138A1 (en) Image sensor, image processing system including the same, and image processing method
US20230209215A1 (en) Electronic device and method of generating high-definition image
KR20230000673A (ko) 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법
KR20230067440A (ko) 이미지 센서 및 이미지 처리 시스템
KR20230095782A (ko) 전자 장치 및 고화질 영상 생성 방법
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치
KR20240050051A (ko) 이미지 센서, 상기 이미지 센서의 동작 방법 및 이미지 처리 장치
KR20230082544A (ko) 넓은 동적 범위 이미지 센서 및 그것에 의해서 수행되는 방법