KR20210107958A - 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치 - Google Patents

디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치 Download PDF

Info

Publication number
KR20210107958A
KR20210107958A KR1020200022364A KR20200022364A KR20210107958A KR 20210107958 A KR20210107958 A KR 20210107958A KR 1020200022364 A KR1020200022364 A KR 1020200022364A KR 20200022364 A KR20200022364 A KR 20200022364A KR 20210107958 A KR20210107958 A KR 20210107958A
Authority
KR
South Korea
Prior art keywords
camera
image
module
view
angle
Prior art date
Application number
KR1020200022364A
Other languages
English (en)
Inventor
정수만
김희신
성환순
이수영
이은직
이정욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200022364A priority Critical patent/KR20210107958A/ko
Priority to US17/038,952 priority patent/US11140330B2/en
Priority to CN202110011429.0A priority patent/CN113301245A/zh
Priority to US17/385,601 priority patent/US11611708B2/en
Publication of KR20210107958A publication Critical patent/KR20210107958A/ko

Links

Images

Classifications

    • H04N5/23277—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/686—Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H04N5/2258—
    • H04N5/23258—
    • H04N5/23283—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Abstract

본 발명에 따른 디지털 영상 안정화 장치의 동작 방법은, 제 1 화각의 영상을 촬영하는 제 1 카메라를 이용하여 모션 정보를 획득하는 단계, 상기 모션 정보를 이용하여 제 2 카메라의 프리즘을 제어하는 단계, 상기 제 1 화각보다 좁은 제 2 화각의 영상을 촬영하는 제 2 카메라를 이용하여 주 영상 및 주변 영상을 획득하는 단계, 및 상기 모션 정보와 상기 주변 영상을 이용하여 상기 주 영상에 관련된 안정화 프레임 영상을 생성하는 단계를 포함할 수 있다.

Description

디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치{APPARATUS FOR STABILIZING DIGITAL IMAGE, OPERATING METHOD THEREOF, AND ELECTRONIC DEVICE HAVING THE SAME}
본 발명은 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치에 관한 것이다.
일반적으로, 디지털 기술의 발전으로 인하여 디지털 영상 촬영 장치가 보급되었다. 특히, 디지털 영상 촬영 장치는 스마트폰 혹은 태블릿과 같은 휴대용 단말기에 포함되어 보급되고 있다. 디지털 영상 촬영 장치에 의해 촬영된 영상은 디지털 영상의 형식을 가질 수 있다. 디지털 영상은 목적에 따라 다양한 방법으로 처리될 수 있다. 디지털 영상 촬영 장치를 이용하여 촬영된 디지털 영상은 과거에 필름을 이용하여 촬영된 영상에 비해 훨씬 용이하게 편집되거나 처리될 수 있다. 예를 들어, 디지털 영상 촬영 장치는 촬영된 이미지의 일부를 전자적으로 확대하거나 축소할 수 있다.
본 발명의 목적은, 화각 손실 혹은 화질 열화 없이 고성능의 비디오 안정화 기능을 수행하는 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치를 제공하는 데 있다.
본 발명의 실시 예에 따른 디지털 영상 안정화 장치는, 제 1 화각의 제 1 영상을 획득하는 제 1 카메라; 상기 제 1 화각보다 좁은 제 2 화각의 제 2 영상을 획득하는 제 2 카메라; 상기 제 2 카메라로부터 객체에 대한 상기 제 2 화각의 주 영상을 수신 및 저장하는 제 1 버퍼; 상기 제 2 카메라로부터 상기 주 영상에 대한 주변 영상을 수신 및 저장하는 제 2 버퍼; 및 디지털 영상 안정화 기능을 수행하기 위하여 상기 제 1 카메라, 상기 제 2 카메라, 상기 제 1 버퍼, 및 상기 제 2 버퍼를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 제 1 영상으로부터 추정된 모션 정보를 이용하여 상기 제 2 카메라의 프리즘을 제어함으로써 상기 제 2 카메라로부터 상기 주변 영상을 획득하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 디지털 영상 안정화 장치의 동작 방법은, 제 1 화각의 영상을 촬영하는 제 1 카메라를 이용하여 모션 정보를 획득하는 단계; 상기 모션 정보를 이용하여 제 2 카메라의 프리즘을 제어하는 단계; 상기 제 1 화각보다 좁은 제 2 화각의 영상을 촬영하는 제 2 카메라를 이용하여 주 영상 및 주변 영상을 획득하는 단계; 상기 모션 정보와 상기 주변 영상을 이용하여 상기 주 영상에 관련된 안정화 프레임 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치는, 제 1 화각으로 촬영하는 제 1 카메라 및 상기 제 1 화각보다 좁은 제 2 화각으로 촬영하는 제 2 카메라를 갖는 카메라 모듈; 디지털 영상 안정화 모듈에 관련된 코드를 저장하는 메모리; 상기 제 2 카메라의 주 영상을 디스플레이 하는 디스플레이 장치; 입출력 장치와 데이터를 입출력하기 위한 입출력 인터페이스 장치; 외부 장치와 통신을 수행하기 위한 통신 인터페이스 장치; 및 상기 카메라 모듈, 메모리, 디스플레이 장치, 입출력 인터페이스 장치, 및 통신 인터페이스 장치를 제어하고, 상기 코드를 실행하는 적어도 하나의 프로세서를 포함하고, 상기 디지털 영상 안정화 모듈은, 상기 제 1 카메라로부터 획득된 모션 정보를 이용하여 상기 제 2 카메라의 프리즘을 제어하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치는, 프리즘 구동으로 화각 제어를 가능하게 하는 카메라 모듈에서 프리즘 구동을 통하여 비디오 안정화에 필요한 영상 주변 영역을 고화질로 확보함으로써, 화각 손실을 줄이면서 화질 열화 없이 고성능의 비디오 안정화 기능을 수행할 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다.
도 1은 본 발명의 실시 예에 따른 전자 장치(1000)를 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 카메라 모듈(1300)을 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 카메라 모듈(1300)의 구성을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른 디지털 영상 안정화 모듈(1110)을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 디지털 영상 안정화 장치(100)를 예시적으로 보여주는 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 디지털 영상 안정화 장치(100a)를 예시적으로 보여주는 도면이다.
도 7은 본 발명의 또 다른 실시 예에 따른 디지털 영상 안정화 장치(100b)를 예시적으로 보여주는 도면이다.
도 8은 종래의 카메라 모듈에서 디지털 영상 안정화 기능을 수행하는 것을 설명하는 도면이다.
도 9는 본 발명의 실시 예에 따른 디지털 영상 안정화 장치(100)의 디지털 영상 안정화 기능을 수행하는 것을 설명하는 도면이다.
도 10은 본 발명의 실시 예에 따른 카메라 모듈에서 디지털 영상 안정화 기능을 수행하는 것을 설명하는 도면이다.
도 11a, 도 11b, 도 11c 및 도 11d는 본 발명의 실시 예에 따른 디지털 영상 안정화 동작을 설명하는 도면들이다.
도 12는 본 발명의 실시 예에 따른 디지털 영상 안정화 장치의 동작 방법을 예시적으로 보여주는 흐름도이다.
도 13은 본 발명의 다른 실시 예에 따른 디지털 영상 안정화 장치의 동작 방법을 예시적으로 보여주는 흐름도이다.
도 14a 및 도 14b는 본 발명의 실시 예에 따른 모바일 장치(2000)를 예시적으로 보여주는 도면들이다.
도 15는 도 14b에 도시된 후면 카메라들(2800A, 2800B, 2800C)의 디지털 영상 안정화 기법을 적용하는 케이스를 예시적으로 보여주는 도면이다.
도 16은 본 발명의 실시 예에 따른 폴더블 스마트폰(3000)을 예시적으로 보여주는 도면이다.
도 17은 본 발명의 실시 예에 따른 전자 장치를 예시적으로 보여주는 도면이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
본 발명의 실시 예에 따른 전자 장치는, 프리즘 구동으로 화각 제어가 가능한 카메라 모듈에서, 프리즘 구동을 통해 비디오 안정화(VDIS)에 필요한 영상 주변부 영역을 고화질로 확보할 수 있다. 본 발명의 실시 예에 따른 전자 장치는 종래의 센서 마진을 이용한 비디오 안정화 대비, 화각 손실 혹은 화질 열화 없이 고성능의 비디오 안정화 기능을 수행할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치(1000)를 예시적으로 보여주는 도면이다. 도 1을 참조하면, 전자 장치(1000)는 버스(1001)에 연결된 적어도 하나의 프로세서(1100), 메모리(1200), 카메라 모듈(1300), 입출력 인터페이스 장치(1400), 디스플레이 장치(1500), 및 통신 인터페이스(1600)를 포함할 수 있다.
프로세서(1100)는, 중앙 처리 장치(central processing unit; CPU), 애플리케이션 프로세서(application processor; AP), 혹은 커뮤니케이션 프로세서(communication processor(CP))을 포함할 수 있다. 프로세서(1100)는, 예를 들어, 전자 장치(1000)의 적어도 하나의 다른 구성요소들의 제어 및/혹은 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
실시 예에 있어서, 프로세서(1100)는 제 1 카메라(1310) 및 제 2 카메라(1320)을 통해 수집되는 이미지 데이터를 처리하는 영상 처리 장치(image processing unit; ISP)로 동작할 수 있다. 예를 들어, 프로세서(1100)는 제 1 카메라(1310) 및 제 2 카메라(1320)를 통해 각각 수집된 이미지 데이터를 결합하거나 보정할 수 있다. 특히, 프로세서(1100)는 움직이는 피사체에 대한 주 영상의 안정화를 수행하는 디지털 영상 안정화 모듈(1110)을 실행할 수 있다.
디지털 영상 안정화 모듈(1110)은 제 1 카메라(1110)로부터 모션 정보를 획득하고, 획득된 모션 정보에 근거로 하여 제 2 카메라(1120)의 프리즘을 제어하고, 제 2 카메라(1120)로부터 주변 영상 정보를 획득하고, 주변 영상 정보를 이용하여 움직이는 피사체에 관련된 주 영상의 안정화를 이룰 수 있다.
실시 예에 따르면, 프로세서(1100)는 제 2 카메라(1320) 내부의 반사부(프리즘, 혹은 반사부에 장착된 구동부)를 이동 혹은 회전시키기 위한 제어 신호를 생성할 수 있다. 프로세서(1100)는 반사부를 이동 혹은 회전시켜, 피사체가 배치되는 지점에서의 제 2 카메라(1320)의 시야 범위(field of view; FOV, 화각)가 제 1 카메라(1310)의 시야 범위에 포함되거나, 제 1 카메라(1310)의 시야 범위의 내부에서 접하도록 할 수 있다.
메모리(1200)는, 휘발성 메모리 혹은 비휘발성 메모리를 포함할 수 있다. 메모리(1200)는, 예를 들어, 전자 장치(1000)의 적어도 하나의 다른 구성요소에 관계된 명령 혹은 데이터를 저장할 수 있다.
실시 예에 있어서, 메모리(1200)는 소프트웨어 혹은 프로그램을 저장할 수 있다. 프로그램은, 예를 들어, 커널(kernel), 미들웨어(middleware), 애플리케이션 프로그래밍 인터페이스(application programming interface; API) 혹은 애플리케이션 프로그램(application)을 포함할 수 있다. 커널, 미들웨어, 혹은 API의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널은, 예를 들어, 다른 프로그램들(예: 미들웨어, API, 혹은 애플리케이션 프로그램)에 구현된 동작 혹은 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(1001), 프로세서(1100), 혹은 메모리(1200))을 제어 혹은 관리할 수 있다.
또한, 커널은 미들웨어, API, 혹은 애플리케이션 프로그램에서 전자 장치(1000)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 혹은 관리할 수 있는 인터페이스를 제공할 수 있다. 미들웨어는, 예를 들어, API 혹은 애플리케이션 프로그램이 커널과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어는 애플리케이션 프로그램으로부터 수신된 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들어, 미들웨어는 애플리케이션 프로그램 중 적어도 하나에 전자 장치(1000)의 시스템 리소스(예: 버스(1001), 프로세서(1100), 혹은 메모리(1200))를 사용할 수 있는 우선 순위를 부여하고, 작업 요청들을 처리할 수 있다. API는 애플리케이션 프로그램이 커널 혹은 미들웨어에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들어, 파일 제어, 창 제어, 영상 처리, 혹은 문자 제어 등을 위한 적어도 하나의 인터페이스 혹은 함수(예: 명령어)를 포함할 수 있다.
특히, 메모리(1200)는 디지털 영상 안정화 모듈(1110)에 관련된 코드를 저장할 수 있다.
카메라 모듈(1300)은 사진 혹은 동영상을 획득하도록 구현될 수 있다. 카메라 모듈(1300)은 제 1 카메라(1310) 및 제 2 카메라(1320)를 포함할 수 있다. 도 1에 도시된 카메라 모듈(1300)은 2개의 카메라들(1310, 1320)을 개시하지만, 본 발명의 카메라의 개수가 여기에 제한되지 않는다고 이해되어야 할 것이다.
실시 예에 있어서, 제 1 카메라(1310) 및 제 2 카메라(1320)는 동일한 방향을 향하도록 배치되거나, 지정된 거리를 두고 떨어져서 배치될 수 있다. 예를 들어, 제 1 카메라(1310) 및 제 2 카메라(1320)는 전자 장치(1000)의 후면(디스플레이 장치(1500)이 향하는 면의 반대면)을 향해 배치되는 후면 카메라일 수 있다.
제 1 카메라(1310)는 상대적으로 시야 범위(광각)가 넓고, 근거리의 피사체를 촬영하는데 적합한 광각 렌즈(wide-angle lens)를 장착할 수 있다. 실시 예에 있어서, 제 1 카메라(1310)는 전자 장치(1000)에 고정되어, 전자 장치(1000)에서 특정한 방향으로 피사체를 촬영할 수 있다.
제 2 카메라(1320)는 상대적으로 시야 범위(field of view; FOV)가 좁고, 원거리의 피사체를 촬영하는데 적합한 망원 렌즈(telephoto lens)를 장착할 수 있다. 실시 예에 있어서, 제 2 카메라(1320)는 프리즘(prism)을 상하좌우로 이동시킴으로써 다양한 방향으로 피사체를 촬영할 수 있다. 여기서 프리즘은 프로세서(1100)에서 실행되는 디지털 영상 안정화 모듈(1110)에 의해 제어될 수 있다. 예를 들어, 디지털 영상 안정화 모듈(1110)의 제어에 따라 프리즘을 제어함으로써, 제 2 카메라(1132)는 신속하게 움직이는 피사체에 대한 주변 영상 정보를 획득할 수 있다.
입출력 인터페이스 장치(1400)는, 예를 들어, 사용자 혹은 다른 외부 기기로부터 입력된 명령 혹은 데이터를 전자 장치(1000)의 다른 구성요소(들)에 전달하거나, 혹은 전자 장치(1000)의 다른 구성요소(들)로부터 수신된 명령 혹은 데이터를 사용자 혹은 다른 외부 기기로 출력할 수 있다.
디스플레이 장치(1500)는, 예를 들어, 액정 디스플레이(liquid crystal display; LCD), 발광 다이오드(light emitting diode; LED) 디스플레이, 유기 발광 다이오드(organic light emitting diode; OLED) 디스플레이, 혹은 마이크로 전자기계 시스템 (micro electro mechanical systems; MEMS) 디스플레이, 혹은 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 장치(1500)는, 예를 들어, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 혹은 심볼)을 표시할 수 있다. 디스플레이 장치(1500)는, 터치 스크린을 포함할 수 있다. 디스플레이 장치(1500)는, 예를 들어, 전자 펜 혹은 사용자의 신체의 일부를 이용한 터치, 제스쳐(gesture), 근접(approach), 혹은 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스(1600)는, 예를 들어, 전자 장치(1000)와 외부 장치(예: 외부 전자 장치, 혹은 서버) 간의 통신을 설정할 수 있다. 예를 들어, 통신 인터페이스(1600)는 무선 통신 혹은 유선 통신을 통해서 네트워크에 연결되어 외부 장치와 통신할 수 있다.
도시되지 않았지만, 전자 장치(1000)는 다양한 종류의 센서를 포함할 수 있다. 특히, 전자 장치(1000)는 위치 정보를 획득하기 위한 가속도 센서(예를 들어, 자이로 센서)를 포함할 수 있다.
일반적인 전자 장치는, 비디오 안정화를 위해 카메라 모듈에서 최종 출력되는 화각 영역 외에 주변부의 영상을 버퍼로 사용하고 있다. 실제 물리적인 센서 입력 크기에서 일정 주변 영역(마진)은 최종 비디오 저장 시 소실된다. 고성능의 비디오 안정화 기능을 수행하기 위하여 상당한 화각 손실이 야기되고, 화질 열화의 있는 업 스케일링이 요구되고 있다.
반면에, 본 발명의 실시 예에 따른 전자 장치(1000)는 고속의 프리즘 제어를 통하여 센서에 취득하는 화각 자체를 이동함으로써 영상 안정화 기능을 수행할 수 있다. 이에, 본 발명의 실시 예에 따른 전자 장치(1000)는 기본 화각의 손실을 야기하지 않으며, 부가적인 업 스케일링 처리를 필요로 하지 않는다. 따라서, 영상 안정화 기능에 따른 화질 열화도 발생하지 않는다.
도 2는 본 발명의 실시 예에 따른 카메라 모듈(1300)을 예시적으로 보여주는 도면이다. 도 2를 참조하면, 카메라 모듈(1300)은 제 1 카메라(1310) 및 제 2 카메라(1320)를 포함할 수 있다.
제 1 화각을 가지는 제 1 광학 렌즈 어셈블리(WL)와, 제 2 화각을 가지는 제 2 광학 렌즈 어셈블리(TL)를 갖는 카메라 모듈(1300)이 도시된다. 실시 예에 있어서, 제 2 화각이 제 1 화각보다 좁을 수 있다. 여기서 제 2 화각의 영상은 실제로 녹화되는 영역에 대응하는 영상일 수 있다.
제 1 광학 렌즈 어셈블리(WL)는, 예를 들어, 광각 단초점 렌즈 어셈블리일 수 있다. 제 2 광학 렌즈 어셈블리(TL)는 줌 렌즈 어셈블리일 수 있다.
제 1 카메라(1310)는 제 1 광학 렌즈 어셈블리(WL)를 통과한 광을 이용하여 이미지 신호를 획득할 수 있는 제 1 이미지 센서(IMG1)를 포함할 수 있다.
제 2 카메라(1320)는 제 2 광학 렌즈 어셈블리(TL)를 통과한 광을 이용하여 이미지 신호를 획득할 수 있는 제 2 이미지 센서(IMG2)를 포함할 수 있다.
실시 예에 있어서, 제 1 광학 렌즈 어셈블리(WL)가 제 1 화각에 따른 제 1 구간의 줌 배율을 가지고, 제 2 광학 렌즈 어셈블리(TL)가 제 2 화각에 따른 제 2 구간의 줌 배율을 가질 수 있다. 프로세서(1100, 도 1 참조)는 제 1 이미지 센서(IMG1) 혹은 제 2 이미지 센서(IMG2) 중 적어도 하나를 이용하여, 피사체에 대한 이미지를 촬영하고, 제 2 구간의 줌 배율에 따라 이미지를 촬영 시, 제 2 렌즈군(G21)과 제 3 렌즈군(G31)을 이동시킬 수 있다. 예를 들어, 제 1 구간의 줌 배율은 1-1.9배 범위를 가지고, 제 2 구간의 줌 배율은 2-3배 범위를 가질 수 있다.
한편, 제 1 광학 렌즈 어셈블리(WL) 및 제 2 광학 렌즈 어셈블리(TL)의 렌즈 구성은 실시 예에 불과하다고 이해되어야 할 것이다.
제 2 카메라(1320)는 제 2 이미지 센서(IMG2), 제 2 광학 렌즈 어셈블리(TL), 프리즘(1323) 및 프리즘 제어기(1324)를 포함할 수 있다.
제 2 카메라(1320)는 프리즘(1323, 반사 부재)에 의해 광축 방향이 제 1 방향(DD1)이 제 2 방향(DD2)으로 변환될 수 있다. 제 1 광학 렌즈 어셈블리(WL)의 렌즈들은, 예를 들어, 제 1 방향(DD1)에 평행한 방향으로 배열될 수 있다. 예를 들어, 제 1 방향(DD1)이 전자 장치(1000, 도 1)의 두께 방향과 평행하고, 제 2 방향(DD2)이 두께 방향에 대해 수직한 방향일 수 있다. 도 2에 도시된 TTL_W는 제 1 광학 렌즈 어셈블리(WL)의 전장(total length)을 나타내고, 전장은 광축을 따라 가장 물체 측 렌즈의 물체 측면으로부터 제 1 이미지 센서(IMG1)까지의 거리를 나타낸다.
프리즘 제어기(1324)는 프로세서(1100)의 제어에 따라 프리즘(1323)의 구동 방향을 제어할 수 있다. 특히 프리즘 제어기(1324)는 프로세서(1100)의 디지털 영상 안정화 모듈(1110)의 실행에 따른 제어 명령에 의거하여 프리즘(1323)의 구동을 제어할 수 있다.
도 3은 본 발명의 실시 예에 따른 카메라 모듈(1300)의 구성을 예시적으로 보여주는 도면이다. 도 3을 참조하면, 제 2 카메라(1320)는 하우징(1321)에 부착된 프리즘(1323)의 구동 방향을 변경할 수 있다. 또한 제 2 카메라(1320)는 줌 배율 조정을 위하여 렌즈군들(G12, G13)의 이동시킬 수 있다.
도 4는 본 발명의 실시 예에 따른 디지털 영상 안정화 모듈(1110)을 설명하기 위한 도면이다. 도 4를 참조하면, 영상 신호(video signal, 혹은 영상 데이터)는 디지털 영상 안정화 모듈(1110)에 의해 안정화된 영상 신호(stabilized video signal)로 출력될 수 있다.
일반적으로 디지털 영상 안정화 동작은 영상의 진동을 감쇄하여 의도하지 않은 흔들림을 영상 처리로 조정하는 동작이다. 일반적인 영상 처리의 경우, 영상 내의 흔들림을 제거하는 보정에 초점을 맞춘 동작이다. 본 발명의 실시 예에 따른, 디지털 영상 안정화 동작은 영상 처리 시 센서 데이터를 이용하여 흔들림을 보정하면서도 감상자에게 실감나는 영상을 보는 느낌을 주도록 진동 등의 햅틱(haptic) 효과를 함께 제공할 수 있다. 이에 따라 센서 데이터의 가속도 센서값을 이용하여 흔들림을 보정할 때, 화면 흔들림 정도(혹은 안정화 정도)를 조절해서 표시할 수 있다. 이에, 감상자는 실감나는 영상 감상이 가능하다.
디지털 영상 안정화 모듈(1110)은 글로벌 모션 추정 모듈(1111), 프리즘 제어 모듈(1112), 통합 모듈(1113), 및 모션 보정 모듈(1114)을 포함할 수 있다. 한편, 디지털 영상 안정화 모듈(1110)의 구성 요소들은 여기에 제한되지 않는다고 이해되어야 할 것이다.
글로벌 모션 추정 모듈(1111)은 제 1 카메라(1310)으로부터 영상 데이터 및 가속도 센서로부터 위치 데이터를 수신하여, 영상의 흔들림/이동 방향을 추정할 수 있다.
프리즘 제어 모듈(1112)은 글로벌 모션 추정 모듈(1111)에서 추정된 흔들림 방향 정보를 근거로 하여 프리즘(1323)을 제어할 수 있다.
통합 모듈(1113)은 글로벌 모션 추정 정보와 제 2 카메라(1320)의 영상 데이터를 수신하여, 통합 영상을 생성할 수 있다. 여기서 제 2 카메라(1320)는 주 영상 데이터 및 주변 영상 데이터를 출력할 수 있다. 제 1 카메라(1310)의 모션 정보에 제 2 카메라(1320)의 주변 영상 데이터를 이용하여 안정화된 영상을 생성할 수 있다.
모션 보정 모듈(1114)은 안정화된 영상을 이용하여 모션을 보정을 수행할 수 있다.
도 5는 본 발명의 실시 예에 따른 디지털 영상 안정화 장치(100)를 예시적으로 보여주는 도면이다. 도 5를 참조하면, 디지털 영상 안정화 장치(100)는 프로세서(110), 제 1 카메라(120), 제 2 카메라(130), 자이로 센서(140), 주 영상 버퍼(제 1 버퍼, 150), 주변 영상 버퍼(제 2 버퍼, 160), 및 프레임 버퍼(170)를 포함할 수 있다.
프로세서(110)는 디지털 영상 안정화 기능을 실행할 수 있다. 디지털 영상 안정화 기능은, 글로벌 모션 추정 모듈(111), 프리즘 제어 모듈(112), 및 프레임 합성 모듈(113)에 의해 수행될 수 있다.
제 1 카메라(120)는 제 1 화각의 제 1 영상을 획득하도록 구현될 수 있다.
제 2 카메라(130)는 제 2 화각의 제 2 영상을 획득하도록 구현될 수 있다. 여기서 제 2 화각은 제 1 화각보다 좁을 수 있다. 예를 들어, 제 1 카메라(120)는 초 광각으로 구현되고, 제 2 카메라(130)는 광각으로 구현될 수 있다. 혹은, 제 1 카메라는 광각으로 구현되고, 제 2 카메라(130)는 망원 카메라로 구현될 수 있다. 동영상으로 녹화되는 실제 주 카메라는 제 2 카메라(130) 일 수 있다. 제 2 카메라(130)는 프리즘 구동 제어를 통한 화각 이동 기능을 수행할 수 있다.
제 1 카메라(120)로부터 취득되는 영상은 실제 동영상 녹화에 직접적으로 사용되지 않지만, 글로벌 모션 추정 모듈(111)에서 동작하는 알고리즘의 입력으로 사용될 수 있다.
글로벌 모션 추정 모듈(111)은 전체 영상의 흔들림 방향을 예측할 수 있다. 즉, 글로벌 모션 추정 모듈(111)은 제 1 카메라(120)로부터 취득된 화각이 넓은 영상을 이용하여, 제 2 카메라(130) 입장에서의 영상 흔들림(이동) 방향을 예측하고, 이를 기반으로 제 2 카메라(130)의 프리즘을 제어함으로써, 비디오 안정화에 필요한 방향의 주변 영상을 취득하도록 도움을 줄 수 있다.
또한, 글로벌 모션 추정 모듈(111)은 자이로 센서(140)의 가속도 정보를 수신하고, 이러한 가속도 정보를 이용하여 객체의 모션을 검출할 수 있다. 도 5에 자이로 센서(140)이 도시되었지만, 객체의 모션을 검출하기 위한 센서가 여기에 제한되지 않을 것이다. 객체의 모션을 검출하기 위하여 다양한 종류의 가속도 센서가 이용될 수 있다.
프리즘 제어 모듈(112)은 글로벌 모션 추정 모듈(111)에서 제공하는 예측 결과값을 전달받고, 실제 제 2 카메라(130)의 프리즘을 원하는 방향으로 구동하는 역할을 수행할 수 있다.
한편, 글로벌 모션 추정 모듈(111)은 고화질의 동영상이 필요하지 않을 수 있다. 따라서, 제 1 카메라(120)는 저해상도의 저전력 모드로 동작 가능하다. 또한, 제 1 카메라(120)는 RGB(Red-Green-Blue) 센서가 아닌 DVS(Dynamic Vision Sensor)와 같이 영상의 Edge를 초고속으로 취득할 수 있는 특수 센서를 이용할 수 있다. 제 2 카메라(130)는 주 영상과 주변 영상 두가지 영상을 각각 주 영상 버퍼(150) 및 주변 영상 버퍼(160)로 전송할 수 있다. 실시 예에 있어서, 프리즘의 제어 속도 및 센서의 노출 시간에 따라, 한 프레임 내에 하나의 주 영상과 다수의 주변 영상이 버퍼 큐로 전송될 수 있다.
실시 예에 있어서, 주 영상은 프리즘이 중앙에 위치했을 때 제 1 화각의 영상일 수 있다.
프레임 합성 모듈(113)은 주 영상 버퍼(150) 및 주변 영상 버퍼(160)로부터 영상을 전달받고, 주변 영상을 비디오 안정화 알고리즘의 버퍼 마진 영역으로 이용하여 최종 안정화된 결과 프레임을 생성할 수 있다. 안정화된 프레임은 프레임 버퍼(170)에 저장될 수 있다.
실시 예에 있어서, 프레임 합성 모듈(113)은 하나의 주 영상 프레임에 하나의 주변 영상 프레임을 합성하여 안정화된 프레임을 생성할 수 있다. 다른 실시 예에 있어서, 프레임 합성 모듈(113)은 하나의 주 영상 프레임에 복수의 주변 영상 프레임을 합성하여 안정화된 프레임을 생성할 수 있다.
한편, 프레임 버퍼(170)에 저장된 프레임은 인코더를 통하여 처리될 수 있다. 인코딩된 영상은 일방적인 동영상 파일로써 외부 메모리에 저장될 수 있다.
한편, 일반적으로 조도가 낮을 경우가 상대적으로 조도가 높을 경우와 비교하여, 센서의 노출 시간이 길다. 충분히 조도가 높으면, 제 2 카메라(130)는 주변 영상과 관련하여 복수의 프레임들을 획득할 수 있다. 따라서, 조도에 따라 프레임 제어가 최적화될 수 있다. 이에 본 발명의 디지털 영상 안정화 장치는 추가적으로 조도 센서를 더 포함할 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 디지털 영상 안정화 장치(100a)를 예시적으로 보여주는 도면이다. 도 6를 참조하면, 디지털 영상 안정화 장치(100a)는 도 5에 도시된 디지털 영상 안정화 장치(100)와 비교하여 조도 센서(145)를 더 포함할 수 있다.
프리즘 제어 모듈(112)은 조도 센서(145)에 의해 감지된 조도값에 따라 제 1 2 카메라(130)를 다르게 제어할 수 있다. 예를 들어, 프리즘 제어 모듈(112)은 조도값에 따라 제 2 카메라(130)로부터 획득할 주변 영상에 대응하는 프레임의 개수를 결정할 수 있다. 실시 예에 있어서, 조도값이 기준값 이상일 때, 프리즘 제어 모듈(112)은 복수의 주변 영상 프레임을 획득하도록 제 2 카메라(130)를 제어할 수 있다. 실시 예에 있어서, 조도값이 기준값 미만일 때, 프리즘 제어 모듈(112)은 하나의 주변 영상 프레임을 획득하도록 제 2 카메라(130)를 제어할 수 있다.
한편, 본 발명의 실시 예에 따른 디지털 영상 안정화 장치는 프리뷰 패스를 통하여 프리뷰 영상을 저장하는 버퍼를 더 포함할 수 있다.
도 7은 본 발명의 또 다른 실시 예에 따른 디지털 영상 안정화 장치(100b)를 예시적으로 보여주는 도면이다. 도 7를 참조하면, 디지털 영상 안정화 장치(100b)는 도 6에 도시된 디지털 영상 안정화 장치(110a)와 비교하여 제 2 카메라(130)로부터 프리뷰 패스를 통하여 프리뷰 영상을 저장하는 프리뷰 버퍼(180)를 더 포함할 수 있다.
도 8은 종래의 카메라 모듈에서 디지털 영상 안정화 기능을 수행하는 것을 설명하는 도면이다. 종래 카메라 모듈은 비디오 안정화를 위해 최종 출력되는 화각 영역 외에 주변부의 영상을 버퍼로 사용하고 있다. 즉, 실제 물리적인 센서 입력 크기에서 일정 주변 영역(마진)은 최종 비디오 저장 시 소실되고 있다. 일반적으로 평균적 성능의 비디오 안정화 기능을 위해서 전체 물리적 센서 영역에서 8 ~ 10% (한 면 기준)의 영역이 버퍼(마진)으로 사용되고 있다. 이는 화각으로 계산할 때, 16 ~ 20%의 손실이 발생하게 된다. 한편, 액션 캠 수준의 고성능의 비디오 안정화 기능을 위해서 25% 정도의 마진이 필요하다. 이는 50%의 화각 손실이 발생하게 된다.
또한, 종래의 카메라 모듈은 센서의 물리적 해상도가 충분치 않아, 마진을 제외하면 최종 목표 출력 해상도보다 해상도가 작아질 수 있다. 예를 들어, 12MP 4:3 센서는 동영상을 위해 16:9로 Crop 하고 나면, 4K 비디오 녹화를 위해서 마진이 2% 밖에 남지 않는다. 이 경우, 8% 마진이 필요한 비디오 안정화 기능을 사용하면, 스케일러를 통해 업 스케일링이 진행되어야 한다. 이에 따라 화질 열화가 필연적으로 발생하고 있다.
도 9는 본 발명의 실시 예에 따른 디지털 영상 안정화 장치(100)의 디지털 영상 안정화 기능을 수행하는 것을 설명하는 도면이다. 도 9를 참조하면, 디지털 영상 안정화 장치(100)는 고속 프리즘 제어를 통해, 센서에 취득되는 화각 자체를 이동함으로써, 부가적으로 동일 화질의 주변 영상을 취득할 수 있다. 이렇게 프리즘 구동을 이용해 취득된 주변 영상은 비디오 안정화 알고리즘의 마진 영역으로 사용될 수 있다. 이 경우, 기본 화각의 일부 영역을 마진으로 사용할 필요가 없다. 따라서, 기본 화각의 손실이 전혀 발생하지 않는다. 또한, 마진을 사용하지 않음에 따라, 부가적인 업 스케일링 처리도 불필요 하다. 결과적으로 스케일링에 의한 화질 열화가 전혀 발생하지 않는다.
도 10은 본 발명의 실시 예에 따른 카메라 모듈에서 디지털 영상 안정화 기능을 수행하는 것을 설명하는 도면이다. 도 10을 참조하면, 제 1 카메라에서 획득된 영상으로부터 글로벌 모션 검출이 이루어질 수 있다. 글로벌 모션 검출 결과에 따라 제 2 카메라의 프리즘 구동 방향과 우선 순위가 결정될 수 있다. 이후에 제 2 카메라로부터 피사체의 움직임에 따라 동적으로 마진 영역이 획득될 수 있다.
도 11a, 도 11b, 도 11c 및 도 11d는 본 발명의 실시 예에 따른 디지털 영상 안정화 동작을 설명하는 도면들이다. 도 11a에 도시된 바와 카메라 모듈은 날아다니는 나비를 촬영하고자 할 때, 제 1 카메라로부터 글로벌 모션 관련 영상 데이터가 수집되고, 제 2 카메라로부터 주 영상 데이터가 수집될 수 있다. 이때 제 1 카메라 모둘에서 획득된 글로벌 모션 데이터로부터 카메라 모듈을 잡고 있는 손의 움직임이 우측 상방향으로 예측될 때, 도 11b에 도시된 바와 같이 제 2 카메라의 주 영상은 좌측 하방향으로 움직일 것이다. 아울러 글로벌 모션 데이터에 따라 제 2 카메라의 프리즘이 제어됨으로써, 도 11c에 도시된 바와 같이 제 2 카메라로부터 주 영상에 대응하는 주변 영상 프레임이 획득될 수 있다. 이후, 도 11d에 도시된 바와 같이, 주 영상 프레임과 주변 영상 프레임을 합성함으로써 안정화된 프레임이 생성될 수 있다.
도 12는 본 발명의 실시 예에 따른 디지털 영상 안정화 장치의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 5 내지 도 12를 참조하면, 디지털 영상 안정화 장치(100)의 동작 방법을 다음과 같이 진행될 수 있다.
제 1 카메라(120)를 이용하여 모션 정보가 획득될 수 있다(S110). 이러한 모션 정보를 분석함으로써 손떨림 방향, 혹은 객체의 이동 방향이 결정될 수 있다. 실시 예에 있어서, 진동이라는 반복적인 패턴이 있기 때문에 자이로 센서를 이용하여 전체 영상의 흔들림 방향이 예측될 수 있다. 모션 정보를 이용하여 제 2 카메라의 프리즘이 제어될 수 있다(S120). 제 2 카메라로부터 주 영상 및 주변 영상이 획득될 수 있다(S130). 이 후에 모션 정보 및 주변 영상 정보를 이용하여 주 영상에 대한 안전화 영상이 생성될 수 있다(S140).
실시 예에 있어서, 상기 모션 정보를 획득하는 것은, 가속도 센서로부터 위치 정보를 수신하는 것을 포함할 수 있다. 실시 예에 있어서, 상기 모션 정보는 객체의 이동에 따른 모션 방향 정보를 포함할 수 있다.
실시 예에 있어서, 상기 프리즘을 제어하는 것은, 상기 프리즘의 구동 방향을 결정하는 것; 및 상기 프리즘을 이동 방향에 대한 우선 순위를 결정하는 것을 포함할 수 있다.
한편, 촬영 시작점에서는 흔들림이 예측하기 어렵기 때문에, 제 2 카메라의 프리즘 구동을 통해 4-방향(상하좌우 방향)의 주변 프레임이 버퍼에 저장시켜 둘 수 있다.
도 13은 본 발명의 다른 실시 예에 따른 디지털 영상 안정화 장치의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 5 내지 도 13를 참조하면, 디지털 영상 안정화 장치의 동작 방법은 다음과 같이 진행할 수 있다.
객체에 대한 촬영과 동시에 제 2 카메라의 프리즘 구동을 통해 4-방향(상하좌우 방향)의 영상 데이터가 획득될 수 있다(S210). 획득된 4-방향 영상 데이터 및 제 1 카메라와 자이로 센서로부터 수신된 센서 데이터를 이용하여 영상의 흔들림 방향이 예측될 수 있다(S220). 주 영상에 대한 주변 영상을 획득하기 위하여 흔들림 방향에 따라 제 2 카메라의 프리즘이 제어될 수 있다(S230). 이후에 제 2 카메라로부터 주 영상 및 주변 영상 데이터가 획들 될 수 있다(S240).
한편, 본 발명의 디지털 영상 안정화 기법은 3개의 카메라들을 갖는 모바일 장치에 적용 가능하다.
도 14a 및 도 14b는 본 발명의 실시 예에 따른 모바일 장치(2000)를 예시적으로 보여주는 도면들이다. 도 14a와 도 14b를 참조하면, 모바일 장치(2000)는 하우징(2200), 디스플레이 장치(2500), 및 카메라(2600, 2700, 2800)를 포함할 수 있다.
실시 예에서 디스플레이(2500)는 하우징(2200)의 전면 전체를 실질적으로 커버할 수 있으며, 모바일 장치(2000)의 동작 모드, 혹은 실행 중인 애플리케이션에 따라 제 1 영역(2300)과 제 2 영역(2400)으로 구분되어 동작할 수 있다.
도 14a를 참조하면, 전면 카메라(2600, 2700)는 서로 다른 특성을 갖는 제 1 전면 카메라(2600)와 제 2 전면 카메라(2700)를 포함할 수 있다. 예를 들어, 제 1 전면 카메라(2600)와 제 2 전면 카메라(2700)는 조리개 값, 초점 거리, 화각 등에서 서로 다른 값을 가질 수 있다. 여기서 제 1 전면 카메라(2600)는 일반 카메라일 수 있으며, 제 2 전면 카메라(2700)는 ToF(Time-of-Flight) 카메라일 수 있다. 제 2 전면 카메라(2700)가 ToF 카메라일 경우, 별도의 광원과 결합하여 거리 측정, 깊이 맵 생성, 및 얼굴 인식의 기능을 제공할 수 있다.
모바일 장치(2000)의 후면을 나타낸 도 14b를 참조하면, 모바일 장치(2000)는 후면 카메라(2800)와 발광부(2900)를 포함할 수 있다. 후면 카메라(2800)는, 전면 카메라(2600, 2700)와 마찬가지로, 조리개 값, 화각, 이미지 센서의 화소 수 중 적어도 하나가 서로 다른 복수의 후면 카메라들(2800A, 2800B, 2800C)을 포함할 수 있다. 발광부(2900)는 LED 등을 광원으로 채용할 수 있으며, 후면 카메라(2800)를 이용하는 애플리케이션에서 플래시로 동작할 수 있다. 복수의 카메라들(2600, 2700, 2800)의 적어도 하나는, 렌즈, 이미지 센서, 모터부 혹은 엔진부를 포함할 수 있다. 복수의 후면 카메라들(2800A, 2800B, 2800C) 중에서 적어도 하나는 상술된 제 1 카메라의 기능을 수행하고, 다른 하나는 상술된 제 2 카메라의 기능을 수행할 수 있다.
이미지 센서는 클록 신호에 기초하여 RGB 데이터를 제공할 수 있다. 예를 들어, 이미지 센서는 MIPI(Mobile Industry Processor Interface) 혹은 CSI(Camera Serial Interface)를 통하여 엔진부와 인터페이싱 할 수 있다. 모터부는 엔진부로부터 수신된 제어 신호에 응답하여 렌즈의 포커스를 조절하거나, 셔터링(Shuttering)을 수행할 수 있다. 엔진부는 이미지 센서 및 모터부를 제어할 수 있다. 또한, 엔진부는 이미지 센서로부터 수신된 RGB 데이터에 기초하여 휘도 성분, 휘도 성분과 청색 성분의 차, 및 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터(YUV)를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다. 엔진부는 호스트/애플리케이션에 연결될 수 있으며, 엔진부는 마스터 클록에 기초하여 YUV 데이터(YUV) 혹은 JPEG 데이터를 호스트/애플리케이션에 제공할 수 있다. 또한, 엔진부는 SPI(Serial Peripheral Interface) 혹은 I2C(Inter Integrated Circuit)를 통하여 호스트/애플리케이션과 인터페이싱할 수 있다.
도 15는 도 14b에 도시된 후면 카메라들(2800A, 2800B, 2800C)의 디지털 영상 안정화 기법을 적용하는 케이스를 예시적으로 보여주는 도면이다. 도 15를 참조하면, 카메라(2800A)는 망원(Tele) 카메라이고, 카메라(2800B)는 광각(wide) 카메라이고, 카메라(2800C)는 초 광각(ultra-wide) 카메라일 수 있다. Tele 카메라는 제 1 초점 거리(f1)를 갖도록 구현될 수 있다. wide 카메라는 제 2 초점 거리(f2)를 갖도록 구현될 수 있다. ultra-wide 카메라는 제 3 초점 거리(f3)를 갖도록 구현될 수 있다. 실시 예에 있어서, 제 3 초점 거리(f3)는 제 2 초점 거리(f2)보다 길고, 제 2 초점 거리(f2)는 제 2 초점 거리(f1)보다 길 수 있다.
도 15에 도시된 바와 같이, 제 1 케이스의 경우, 제 1 카메라(1310)는 wide 카메라이고, 제 2 카메라(1320)는 tele 카메라일 수 있다. 제 2 케이스의 경우, 제 1 카메라(1310)는 ultra-wide 카메라이고, 제 2 카메라(1320)는 wide 카메라일 수 있다.
한편, 본 발명의 실시 예에 따른 디지털 영상 안정화 기법은 폴더블(foldable) 스마트폰에 적용 가능하다. 일반적으로 폴더블 스마트폰은, C-INFOLD, C+1, G, C-OUTFOLD, S 등과 같은 다양한 폴더블 디스플레이 형태로 구현될 수 있다. 일반적으로 폴더블 스마트폰은 접는 방식에 따라 인-폴드(in-fold) 구조와 아웃-폴드(out-fold) 구조로 구분될 수 있다.
도 16은 본 발명의 실시 예에 따른 폴더블 스마트폰(3000)을 예시적으로 보여주는 도면이다. 도 16을 참조하면, 폴더블 스마트폰(3000)는 디스플레이 화면이 안쪽으로 접히는 구조이다. 예를 들어, 폴더블 스마트폰(3000)는 삼성전자의 갤럭시 폴드일 수 있다. 갤럭시 폴드는 접었을 때 사용하기 위해 바깥에 또 하나의 디스플레이를 더 달았기에 위 분류에 따르면 'C+1' 형태이다. 아웃-폴드 구조와 달리, 접었을 경우 면의 길이 편차가 적기 때문에 디스플레이가 깔끔하게 펴질 수 있다.
도 16에 도시된 바와 같이, 폴더블 스마트폰(3000)는 전면부에 디지털 영상안정화 기법을 적용하는 제 1 카메라(3010) 및 제 2 카메라(3020)를 포함할 수 있다.
도 17은 본 발명의 실시 예에 따른 전자 장치를 예시적으로 보여주는 도면이다. 도 17은 본 발명의 실시 예에 따른 전자 장치(4000)를 예시적으로 보여주는 블록이다. 네트워크 환경에서 전자 장치(4000)는 제 1 네트워크(예를 들어, 근거리 무선 통신)를 통하여 다른 전자 장치와 통신하거나, 혹은 제 2 네트워크(예를 들어, 원거리 무선 통신)를 통하여 다른 전자 장치 혹은 서버와 통신할 수 있다. 전자 장치(4000)는, 예를 들어, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크 스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 혹은 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 실시 예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 혹은 머리 착용형 장치(head-mounted-device(HMD)), 직물 혹은 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 혹은 문신), 혹은 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
도 17을 참조하면, 전자 장치(4000)는 프로세서(4200), 메모리(4300), 입력 장치(4500), 음향 출력 장치(4550), 디스플레이 장치(4600), 오디오 모듈(4700), 센서 모듈(4760), 인터페이스(4770), 햅틱 모듈(4790), 카메라 모듈(4800), 전력 관리 모듈(4880), 배터리(4890), 통신 모듈(4900), 가입자 식별 모듈(4960), 및 안테나 모듈(4970)을 포함할 수 있다. 실시 예에 있어서, 전자 장치(4000)는, 구성요소들 중 적어도 하나가 생략되거나 다른 구성 요소가 추가될 수 있다. 예를 들어, 디스플레이 장치(4600)는 임베디드된 센서 모듈(4760; 지문 센서, 홍채 센서, 혹은 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(4200)는 소프트웨어(예, 프로그램(1400))를 구동하여 프로세서(4200)에 연결된 전자 장치(4000)의 적어도 하나의 다른 구성요소(예를 들어, 하드웨어 혹은 소프트웨어 구성요소)을 제어하고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(4200)는 다른 구성요소(예를 들어, 센서 모듈(4760), 통신 모듈(4900))로부터 수신된 명령 혹은 데이터를 휘발성 메모리(4320)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(4340)에 저장할 수 있다.
실시 예에 있어서, 프로세서(4200)는 메인 프로세서(4210; 중앙 처리 장치 혹은 애플리케이션 프로세서)와는 독립적으로 운영되고, 추가로/대체적으로, 메인 프로세서(4210)보다 저전력을 사용하거나, 혹은 지정된 기능에 특화된 보조 프로세서(4230; 그래픽 처리 프로세서, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서, 인공 지능 프로세서)를 포함할 수 있다.
실시 예에 있어서, 보조 프로세서(4230)는 메인 프로세서(4210)와 별개로 혹은 임베디드되어 운영될 수 있다. 보조 프로세서(4230)는, 메인 프로세서(4210)가 인액티브(슬립) 상태에 있는 동안 메인 프로세서(4210)를 대신하여, 혹은 메인 프로세서(4210)가 액티브(애플리케이션 수행) 상태에 있는 동안 메인 프로세서(4210)와 함께, 전자 장치(4000)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 장치(4600), 센서 모듈(4760), 혹은 통신 모듈(4900))와 관련된 기능 혹은 상태들의 적어도 일부를 제어할 수 있다. 실시 예에 있어서, 보조 프로세서(4230)는 기능적으로 관련 있는 다른 구성 요소(예를 들어, 카메라 모듈(4800) 혹은 통신 모듈(4900))의 일부 구성 요소로서 구현될 수 있다.
메모리(4300)는, 전자 장치(4000)의 적어도 하나의 구성요소(예를 들어, 프로세서(4200) 혹은 센서 모듈(4760))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어 및, 이와 관련된 명령에 대한 입력 데이터 혹은 출력 데이터를 저장할 수 있다. 메모리(4300)는, 휘발성 메모리(4320) 혹은 비휘발성 메모리(4340)를 포함할 수 있다.
프로그램(4400)은 메모리(4300)에 저장되는 소프트웨어로서, 운영 체제(4420), 미들웨어(4440) 혹은 애플리케이션(4460)을 포함할 수 있다.
입력 장치(4500)는, 전자 장치(4000)의 구성요소(프로세서(4200))에 사용될 명령 혹은 데이터를 전자 장치(4000)의 외부(사용자)로부터 수신하기 위한 장치로서, 예를 들어, 마이크, 마우스, 혹은 키보드를 포함할 수 있다.
음향 출력 장치(4550)는 음향 신호를 전자 장치(4000)의 외부로 출력하기 위한 장치로서, 예를 들어, 멀티미디어 재생 혹은 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 실시 예에 있어서, 리시버는 스피커와 일체 혹은 별도로 형성될 수 있다.
디스플레이 장치(4600)는 전자 장치(4000)의 사용자에게 정보를 시각적으로 제공하도록 구현될 수 있다. 예를 들어 디스플레이 장치(4600)는, 디스플레이, 홀로그램 장치, 혹은 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 실시 예에 있어서, 디스플레이 장치(4600)는 터치 회로(touch circuitry) 혹은 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다. 또한, 디스플레이 장치(4600)는 듀얼 소스 출력을 가능하게 하는 디스플레이 장치 및 그것의 동작 방법으로 구현될 수 있다.
오디오 모듈(4700)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 실시 예에 있어서, 오디오 모듈(4700)은, 입력 장치(4500)를 통해 소리를 획득하거나, 음향 출력 장치(4550), 혹은 전자 장치(4000)와 유선 혹은 무선으로 연결된 외부 전자 장치(스피커 혹은 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(4760)은 전자 장치(4000)의 내부의 작동 상태(전력 혹은 온도), 혹은 외부의 환경 상태에 대응하는 전기 신호 혹은 데이터 값을 생성할 수 있다. 예를 들어, 센서 모듈(4760)은, 제스처 센서, 자이로 센서, 기압센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 혹은 조도 센서를 포함할 수 있다.
인터페이스(4770)는 외부 전자 장치와 유선 혹은 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 실시 예에 있어서, 인터페이스(4770)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 혹은 오디오 인터페이스를 포함할 수 있다.
연결 단자(4780)는 전자 장치(4000)와 외부 전자 장치를 물리적으로 연결시킬 수 있는 커넥터(예를 들어, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 혹은 오디오 커넥터(헤드폰 커넥터))를 포함할 수 있다.
햅틱 모듈(4790)은 전기적 신호를 사용자가 촉각 혹은 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동 혹은 움직임) 혹은 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(4790)은, 예를 들어, 모터, 압전 소자, 혹은 전기 자극 장치를 포함할 수 있다.
카메라 모듈(4800)은 정지 영상 및 동영상을 촬영하도록 구현될 수 있다. 실시 예에 있어서, 카메라 모듈(4800)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 혹은 플래시를 포함할 수 있다. 카메라 모듈(4800)은, 동작 모드들에 따라 최적으로 변환 이득을 선택하는 픽셀들 및 이러한 픽셀들을 제어할 수 있다. 카메라 모듈(4800)은 도 1 내지 도 13에 설명된 디지털 영상 안정화 기능을 수행하도록 구현될 수 있다.
전력 관리 모듈(4880)은 전자 장치(4000)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들어, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다. 배터리(4890)는 전자 장치(4000)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로써, 예를 들어, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 혹은 연료 전지를 포함할 수 있다.
통신 모듈(4900)은 전자 장치(4000)와 외부 전자 장치 간의 유선 혹은 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(4900)은 프로세서(4200; 애플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 혹은 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.
실시 예에 있어서, 통신 모듈(4900)은 무선 통신 모듈(4920; 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 혹은 GNSS(global navigation satellite system) 통신 모듈) 혹은 유선 통신 모듈(4940; LAN(local area network) 통신 모듈, 혹은 전력선 통신 모듈))을 포함할 수 있다. 통신 모듈(4900)은 대응하는 유/무선 통신 모듈을 이용하여 제 1 네트워크(예를 들어, 블루투스, Wi-Fi direct 혹은 IrDA(infrared data association) 같은 근거리 통신 네트워크) 혹은 제 2 네트워크(예를 들어, 셀룰러 네트워크, 인터넷, 혹은 컴퓨터 네트워크(LAN 혹은 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 실시 예에 있어서, 통신 모듈(4900)은 하나의 칩으로 구현되거나 혹은 각각 별도의 칩으로 구현될 수 있다.
실시 예에 있어서, 무선 통신 모듈(4920)은 가입자 식별 모듈(4960)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(4000)를 구별 및 인증할 수 있다.
안테나 모듈(4970)은 신호 혹은 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 실시 예에 있어서, 통신 모듈(4900)은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
구성요소들 중 일부 구성요소들은 주변 기기들 간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 혹은 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 혹은 데이터)를 상호간에 교환할 수 있다.
실시 예에 있어서, 명령 혹은 데이터는 제 2 네트워크에 연결된 서버를 통해서 전자 장치(4000)와 외부의 전자 장치 간에 송신 혹은 수신될 수 있다. 전자 장치 각각은 전자 장치(4000)와 동일한 혹은 다른 종류의 장치일 수 있다. 실시 예에 있어서, 전자 장치(4000)에서 실행되는 동작들의 전부 혹은 일부는 다른 하나 혹은 복수의 외부 전자 장치에서 실행될 수 있다. 실시 예에 있어서, 전자 장치(4000)가 어떤 기능이나 서비스를 자동으로 혹은 요청에 의하여 수행해야 할 경우에, 전자 장치(4000)는 기능 혹은 서비스를 자체적으로 실행시키는 대신에 혹은 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 요청을 수신한 외부 전자 장치는 요청된 기능 혹은 추가 기능을 실행하고, 그 결과를 전자 장치(4000)로 전달할 수 있다. 전자 장치(4000)는 수신된 결과를 그대로 혹은 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들어, 클라우드 컴퓨팅, 분산 컴퓨팅, 혹은 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
한편, 전자 장치(4000)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 전자 장치(4000)는 휴대용 통신 장치(예를 들어, 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 혹은 가전 장치 중 적어도 하나를 포함할 수 있다.
문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 혹은 펌웨어로 구성된 유닛을 포함하며, 예를 들어, 로직, 논리 블록, 부품, 혹은 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 문서의 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(4360) 혹은 외장 메모리(4380))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(4400))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(4000))를 포함할 수 있다. 명령이 프로세서(예: 프로세서(4200))에 의해 실행될 경우, 프로세서가 직접, 혹은 프로세서의 제어하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 혹은 인터프리터에 의해 생성 혹은 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 혹은 임시적으로 저장됨을 구분하지 않는다.
한편, 상술된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 이용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
1000: 전자 장치
1100: 프로세서
1200: 메모리
1300: 카메라 모듈
1400: 입출력 인터페이스
1500: 디스플레이 장치
1600: 통신 인터페이스
1110: 디지털 영상 안정화 모듈
1310: 제 1 카메라
1320: 제 2 카메라
1323: 프리즘
1324: 프리즘 제어기

Claims (10)

  1. 디지털 영상 안정화 장치에 있어서,
    제 1 화각의 제 1 영상을 획득하는 제 1 카메라;
    상기 제 1 화각보다 좁은 제 2 화각의 제 2 영상을 획득하는 제 2 카메라;
    상기 제 2 카메라로부터 객체에 대한 상기 제 2 화각의 주 영상을 수신 및 저장하는 제 1 버퍼;
    상기 제 2 카메라로부터 상기 주 영상에 대한 주변 영상을 수신 및 저장하는 제 2 버퍼; 및
    디지털 영상 안정화 기능을 수행하기 위하여 상기 제 1 카메라, 상기 제 2 카메라, 상기 제 1 버퍼, 및 상기 제 2 버퍼를 제어하는 프로세서를 포함하고,
    상기 프로세서는, 상기 제 1 영상으로부터 추정된 모션 정보를 이용하여 상기 제 2 카메라의 프리즘을 제어함으로써 상기 제 2 카메라로부터 상기 주변 영상을 획득하는 것을 특징으로 하는 디지털 영상 안정화 장치.
  2. 제 1 항에 있어서,
    상기 객체의 이동 정보를 수신하는 자이로 센서를 포함하는 디지털 영상 안정화 장치.
  3. 제 1 항에 있어서,
    상기 제 1 카메라는 저해상도의 저전력 모드로 동작하는 것을 특징으로 하는 디지털 영상 안정화 장치.
  4. 제 3 항에 있어서,
    상기 제 1 카메라는 DVS(Dynamic Vision Sensor)를 포함하는 디지털 영상 안정화 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 영상 및 위치 정보를 이용하여 상기 객체에 대한 모션 정보를 추출하는 글로벌 모션 추정 모듈;
    상기 모션 정보를 이용하여 상기 제 2 카메라의 프리즘을 제어하는 프리즘 제어 모듈; 및
    상기 제 2 카메라로부터 상기 주 영상과 상기 주변 영상을 이용하여 상기 객체에 대한 프레임 영상을 합성하는 프레임 합성 모듈에 의해 상기 디지털 영상 안정화 기능을 수행하는 것을 특징으로 하는 디지털 영상 안정화 장치.
  6. 제 5 항에 있어서,
    조도값을 감지하는 조도 센서를 더 포함하고,
    상기 프리즘 제어 모듈은 상기 조도값에 따라 상기 제 2 카메라로부터 획득할 상기 주변 영상에 대응하는 프레임의 개수를 결정하는 것을 특징으로 하는 디지털 영상 안정화 장치.
  7. 디지털 영상 안정화 장치의 동작 방법에 있어서,
    제 1 화각의 영상을 촬영하는 제 1 카메라를 이용하여 모션 정보를 획득하는 단계;
    상기 모션 정보를 이용하여 제 2 카메라의 프리즘을 제어하는 단계;
    상기 제 1 화각보다 좁은 제 2 화각의 영상을 촬영하는 제 2 카메라를 이용하여 주 영상 및 주변 영상을 획득하는 단계; 및
    상기 모션 정보와 상기 주변 영상을 이용하여 상기 주 영상에 관련된 안정화 프레임 영상을 생성하는 단계를 포함하는 방법.
  8. 제 7 항에 있어서,
    상기 제 2 카메라의 상기 프리즘을 구동함으로써 객체에 대한 4-방향(상,하,좌,우 방향)의 영상을 획득하는 단계를 더 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 모션 정보를 획득하는 단계는,
    상기 4-방향의 영상 정보를 이용하여 영상의 흔들림 방향을 예측하는 단계를 더 포함하는 방법.
  10. 제 1 화각으로 촬영하는 제 1 카메라 및 상기 제 1 화각보다 좁은 제 2 화각으로 촬영하는 제 2 카메라를 갖는 카메라 모듈;
    디지털 영상 안정화 모듈에 관련된 코드를 저장하는 메모리;
    상기 제 2 카메라의 주 영상을 디스플레이 하는 디스플레이 장치;
    입출력 장치와 데이터를 입출력하기 위한 입출력 인터페이스 장치;
    외부 장치와 통신을 수행하기 위한 통신 인터페이스 장치; 및
    상기 카메라 모듈, 메모리, 디스플레이 장치, 입출력 인터페이스 장치, 및 통신 인터페이스 장치를 제어하고, 상기 코드를 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 디지털 영상 안정화 모듈은, 상기 제 1 카메라로부터 획득된 모션 정보를 이용하여 상기 제 2 카메라의 프리즘을 제어하는 것을 특징으로 하는 전자 장치.
KR1020200022364A 2020-02-24 2020-02-24 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치 KR20210107958A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200022364A KR20210107958A (ko) 2020-02-24 2020-02-24 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치
US17/038,952 US11140330B2 (en) 2020-02-24 2020-09-30 Apparatus for stabilizing digital image, operating method thereof, and electronic device having the same
CN202110011429.0A CN113301245A (zh) 2020-02-24 2021-01-06 用于稳定数字图像的装置、操作方法及电子设备
US17/385,601 US11611708B2 (en) 2020-02-24 2021-07-26 Apparatus for stabilizing digital image, operating method thereof, and electronic device having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022364A KR20210107958A (ko) 2020-02-24 2020-02-24 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치

Publications (1)

Publication Number Publication Date
KR20210107958A true KR20210107958A (ko) 2021-09-02

Family

ID=77318753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022364A KR20210107958A (ko) 2020-02-24 2020-02-24 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치

Country Status (3)

Country Link
US (2) US11140330B2 (ko)
KR (1) KR20210107958A (ko)
CN (1) CN113301245A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11677898B2 (en) * 2021-05-25 2023-06-13 Samsung Electronics Co., Ltd. Electronic device for applying effect for moving object to image and method for operating the same

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0175372B1 (ko) 1995-08-29 1999-03-20 김광호 캠코더의 움직임 벡터 검출장치 및 그 검출방법
JP4022595B2 (ja) 2004-10-26 2007-12-19 コニカミノルタオプト株式会社 撮影装置
KR101506479B1 (ko) * 2007-09-12 2015-03-30 삼성전자주식회사 굴절면으로 구성된 굴곡 프리즘의 구동을 통한 광경로 보정시스템 및 방법
JP5106335B2 (ja) 2008-09-24 2012-12-26 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
JP6278721B2 (ja) 2014-01-31 2018-02-14 鎌倉光機株式会社 像安定化装置
US9305362B1 (en) 2014-02-28 2016-04-05 Xilinx, Inc. Image stabilization
WO2016168976A1 (en) * 2015-04-20 2016-10-27 SZ DJI Technology Co., Ltd. Imaging system
KR102352681B1 (ko) 2015-07-27 2022-01-18 삼성전자주식회사 동영상 안정화 방법 및 이를 위한 전자 장치
KR102423364B1 (ko) 2015-08-12 2022-07-22 삼성전자 주식회사 영상을 제공하는 방법 및 이를 지원하는 전자 장치
US9992416B2 (en) 2016-11-07 2018-06-05 Motorola Mobility Llc Real time electronic video stabilization
US10349060B2 (en) * 2017-06-30 2019-07-09 Intel Corporation Encoding video frames using generated region of interest maps
WO2019225979A1 (en) * 2018-05-23 2019-11-28 Lg Electronics Inc. Camera and terminal including the same
US20200118287A1 (en) * 2018-10-16 2020-04-16 Augentix Inc. Method of Assembly Calibration for Multi-Camera system and Related Device
US10981367B2 (en) * 2019-09-10 2021-04-20 Ping Zhang Applicator device for a protector covering and its application

Also Published As

Publication number Publication date
CN113301245A (zh) 2021-08-24
US20210360136A1 (en) 2021-11-18
US11140330B2 (en) 2021-10-05
US20210266443A1 (en) 2021-08-26
US11611708B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
EP3457680B1 (en) Electronic device for correcting image and method for operating the same
US11558553B2 (en) Electronic device for stabilizing image and method for operating same
EP3435655B1 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
US11582391B2 (en) Electronic device capable of controlling image display effect, and method for displaying image
US11563887B2 (en) Method for controlling synchronization of plurality of image sensors and electronic device for implementing same
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
CN113228616A (zh) 具有多单元结构的相机模块和包括其的便携式通信装置
KR20200067027A (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
US20230262321A1 (en) Electronic device and operating method thereof
US11609411B2 (en) Folded camera and electronic device including the same
EP3641294B1 (en) Electronic device and method for obtaining images
EP4199496A1 (en) Image stabilization method and electronic device therefor
KR102512839B1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
US20230262318A1 (en) Method for taking photograph by using plurality of cameras, and device therefor
US11611708B2 (en) Apparatus for stabilizing digital image, operating method thereof, and electronic device having the same
US20230133394A1 (en) Method for processing photographed image and electronic device therefor
US20230012826A1 (en) Method for correcting shaking at high magnification and electronic device therefor
KR20220005283A (ko) 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
KR20190141866A (ko) 사용자의 사진 촬영 의도를 식별하기 위한 전자 장치 및 방법
CN113454982B (zh) 用于使图像稳定化的电子装置及其操作方法
US20230412920A1 (en) Method for executing application, and electronic device supporting same
CN115150542A (zh) 一种视频防抖方法及相关设备
CN115552399A (zh) 生物认证系统及其电子装置