KR20160061729A - 촬영 장치 및 그의 제어 방법 - Google Patents

촬영 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20160061729A
KR20160061729A KR1020140164489A KR20140164489A KR20160061729A KR 20160061729 A KR20160061729 A KR 20160061729A KR 1020140164489 A KR1020140164489 A KR 1020140164489A KR 20140164489 A KR20140164489 A KR 20140164489A KR 20160061729 A KR20160061729 A KR 20160061729A
Authority
KR
South Korea
Prior art keywords
processing mode
image
photographing apparatus
processing
motion
Prior art date
Application number
KR1020140164489A
Other languages
English (en)
Inventor
무하마드 캄룰 하산
카이 구어
서덕찬
김낙훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140164489A priority Critical patent/KR20160061729A/ko
Priority to US14/812,801 priority patent/US20160150158A1/en
Publication of KR20160061729A publication Critical patent/KR20160061729A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

촬영 장치 및 그의 제어 방법이 제공된다. 본 발명의 일 실시 예에 따른 촬영 장치는 동영상을 촬영하는 촬영부, 동영상 촬영시의 촬영 장치의 흔들림을 감지하는 감지부, 촬영된 프레임을 보정하는 이미지 처리부 및 감지부를 통해 감지된 촬영 장치의 흔들림 정보 및 촬영된 동영상의 움직임 예측 정보 중 적어도 하나를 바탕으로 동영상 촬영을 위한 처리 모드를 판단하고, 판단된 처리 모드로 동영상을 처리하도록 이미지 처리부를 제어하는 제어부를 포함한다.

Description

촬영 장치 및 그의 제어 방법{PHOTOGRAPHING APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 발명은 촬영 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는, 센서 정보 및 움직임 예측 정보를 바탕으로 비디오 안정화 처리 모드를 판단할 수 있는 촬영 장치 및 그의 제어 방법에 관한 것이다.
이미지 처리 기술의 발전에 따라 촬영 장치에서 실시간으로 촬영한 동영상의 프레임을 보정하는 기술 또한 발전하고 있다. 촬영시 촬영 장치의 흔들림, 움직임 등을 고려하여 이미지 처리하는 기술을 영상 안정화(video stabilization) 기술이라고 한다.
하지만, 촬영 장치에서 실시간 영상 안정화와 롤링 셔터 왜곡 보정은 과도한 전력 소모를 요구한다는 점에서 문제가 되고 있다. 안정화를 위한 고성능 알고리즘들은 계산량이 많기 때문에, 전력 소모량 역시 함께 많아진다. 촬영 장치가 모바일 장치로 구현되거나 소형화됨에 따라, 촬영 장치에 내장된 배터리 용량에 한계가 있기 때문에 전력 소모 문제는 더욱 주목받는 주제가 되고 있다.
종래에는 이러한 문제를 해결하고자 삼각대 모드(tripod mode)에서 안정화 세기(stabilization strength)를 줄이는 방법이 제안된바 있다. 하지만, 삼각대 모드는 전력 소모를 줄이는 방향의 해결책이 아니며, 일반적인 동영상 촬영 시나리오에서 삼각대 모드가 거의 사용되지 않는다는 문제점이 있다.
더불어, 촬영 장치의 시스템과 관련하여 안정화 기능을 희생해야 할 필요성이 있는 경우에 대한 대책이 마련되어 있지 않다는 문제점이 존재한다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 동영상 촬영 시나리오를 분류하여 서로 다른 처리 모드로 이미지 처리를 하도록 하는 판단 방법을 제공하고, 전력 소모를 줄이기 위한 이미지 보정 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 촬영 장치는, 동영상을 촬영하는 촬영부; 동영상 촬영시의 상기 촬영 장치의 흔들림을 감지하는 감지부; 촬영된 프레임을 보정하는 이미지 처리부; 및 상기 감지부를 통해 감지된 상기 촬영 장치의 흔들림 정보 및 상기 촬영된 동영상의 움직임 예측 정보 중 적어도 하나를 바탕으로 상기 동영상 촬영을 위한 처리 모드를 판단하고, 상기 판단된 처리 모드로 상기 동영상을 처리하도록 상기 이미지 처리부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 흔들림 정보로부터 추출한 값을 제1 한계점(threshold)과 비교하고, 상기 제1 한계점 이하이면 상기 움직임 예측 정보를 분석하여 상기 동영상 촬영을 위한 처리 모드를 판단하고, 상기 제1 한계점을 초과하면 상기 흔들림 정보로부터 추출한 값을 제2 한계점과 비교하여 상기 동영상 촬영을 위한 처리 모드를 판단할 수 있다.
또한, 상기 제어부는, 상기 움직임 예측 정보를 분석하여 단일방향 움직임(unidirectional motion) 데이터가 기설정된 개수 이하이면 제1 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어하고, 상기 기설정된 개수를 초과하면 제2 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 흔들림 정보로부터 추출한 값이 상기 제2 한계점을 초과하면 제1 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어하고, 상기 제2 한계점 이하이면 제2 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어할 수 있다.
또한, 상기 제어부는, 상기 판단된 처리 모드가 제1 처리 모드인 경우, 병진 운동 오프셋(translation motion offset)을 갖고 다이나믹 크롭(Dynamic Crop)하여 병진 운동에 대한 보정만을 처리하도록 상기 이미지 처리부를 제어할 수 있다.
그리고, 상기 병진 운동 오프셋은 상기 감지부에서 감지한 흔들림 정보를 바탕으로 결정되며, 상기 다이나믹 크롭은 상기 병진 운동 오프셋을 이용하여 이미지 처리를 시작하는 픽셀을 결정하여 크롭할 수 있다.
또한, 이미지 처리 전의 프레임을 저장하는 입력 프레임 버퍼; 및 이미지 처리 후의 프레임을 저장하는 출력 프레임 버퍼;를 더 포함하며, 상기 제어부는, 상기 촬영된 프레임을 상기 입력 프레임 버퍼에 저장하지 않고, 상기 병진 운동에 대한 보정만이 처리된 프레임을 바로 상기 출력 프레임 버퍼에 저장할 수 있다.
그리고, 상기 움직임 예측 정보는 이전 프레임들의 이미지 처리 결과를 바탕으로 예측된 정보일 수 있다.
또한, 상기 제어부는, 상기 촬영 장치의 상태를 모니터링하고, 상기 모니터링된 촬영 장치의 상태가 기설정된 기준에 도달한 경우, 상기 흔들림 정보 및 상기 움직임 예측 정보에 관계없이 상기 처리 모드를 제1 처리 모드로 판단하고, 상기 제1 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어할 수 있다.
그리고, 상기 모니터링된 촬영 장치의 상태는, 배터리 레벨(Battery level), 온도 레벨(Temperature level), CPU 활성 코어(CPU active core), 주변 광량(Ambient light), 줌 레벨(Zoom level) 중 적어도 하나일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 촬영 장치의 제어 방법은, 동영상 촬영시의 상기 촬영 장치의 흔들림을 감지하는 단계; 상기 감지된 상기 촬영 장치의 흔들림 정보 및 상기 촬영된 동영상의 움직임 예측 정보 중 적어도 하나를 바탕으로 상기 동영상 촬영을 위한 처리 모드를 판단하는 단계; 및 상기 판단된 처리 모드로 상기 동영상을 처리하는 단계;를 포함한다.
그리고, 상기 판단하는 단계는, 상기 흔들림 정보로부터 추출한 값을 제1 한계점과 비교하고, 상기 제1 한계점 이하이면 상기 움직임 예측 정보를 분석하여 상기 동영상 촬영을 위한 처리 모드를 판단하고, 상기 제1 한계점을 초과하면 상기 흔들림 정보로부터 추출한 값을 제2 한계점과 비교하여 상기 동영상 촬영을 위한 처리 모드를 판단할 수 있다.
또한, 상기 판단하는 단계는, 상기 움직임 예측 정보를 분석하여 단일방향 움직임 데이터가 기설정된 개수 이하이면 상기 처리 모드를 제1 처리 모드로 판단하고, 상기 기설정된 개수를 초과하면 상기 처리 모드를 제2 처리 모드로 판단할 수 있다.
그리고, 상기 판단하는 단계는, 상기 흔들림 정보로부터 추출한 값이 상기 제2 한계점을 초과하면 상기 처리 모드를 제1 처리 모드로 판단하고, 상기 제2 한계점 이하이면 상기 처리 모드를 제2 처리 모드로 판단할 수 있다.
또한, 상기 처리하는 단계는, 상기 판단된 처리 모드가 제1 처리 모드인 경우, 병진 운동 오프셋을 갖고 다이나믹 크롭하여 병진 운동에 대한 보정만을 처리할 수 있다.
그리고, 상기 병진 운동 오프셋은 상기 감지된 흔들림 정보를 바탕으로 결정되며, 상기 다이나믹 크롭은 상기 병진 운동 오프셋을 이용하여 이미지 처리를 시작하는 픽셀을 결정하여 크롭할 수 있다.
또한, 상기 처리하는 단계는, 상기 촬영된 프레임을 입력 프레임 버퍼에 저장하지 않고, 상기 병진 운동에 대한 보정만이 처리된 프레임을 바로 출력 프레임 버퍼에 저장하는 단계;를 더 포함할 수 있다.
그리고, 상기 움직임 예측 정보는 이전 프레임들의 이미지 처리 결과를 바탕으로 예측된 정보일 수 있다.
또한, 상기 판단하는 단계는, 상기 촬영장치의 상태를 모니터링하고, 상기 모니터링된 촬영 장치의 상태가 기설정된 기준에 도달한 경우, 상기 흔들림 정보 및 상기 움직임 예측 정보에 관계없이 상기 처리 모드를 제1 처리 모드로 판단할 수 있다.
그리고, 상기 모니터링된 촬영 장치의 상태는, 배터리 레벨(Battery level), 온도 레벨(Temperature level), CPU 활성 코어(CPU active core), 주변 광량(Ambient light), 줌 레벨(Zoom level) 중 적어도 하나일 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 촬영 장치는 실시간 영상 안정화와 롤링 셔터 왜곡 보정을 최적화할 수 있다. 모든 영상 프레임에 대해 동일한 방식으로 보정 처리하지 않고, 최소한의 보정만으로 가능한 프레임을 선별하여 촬영 장치의 전력을 효율적으로 사용할 수 있다. 또한, 동일한 성능을 제공하면서도 배터리 크기를 줄일 수 있어, 촬영 장치의 소형화가 구현될 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 촬영 장치의 구성을 설명하기 위한 개략적인 블럭도,
도 2는 본 발명의 일 실시 예에 따른 촬영 장치의 구성을 상세히 설명하기 위한 블럭도,
도 3a 내지 도 3d는 움직임 보상처리를 해야 하는 다양한 시나리오를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 촬영 장치의 감지부에서 감지되는 흔들림 정보를 나타낸 도면,
도 5는 본 발명의 일 실시 예에 따른 제1 처리 모드에서의 병진 운동 보정 처리를 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 촬영 장치의 제어 방법을 설명하기 위한 흐름도,
도 7은 본 발명의 일 실시 예에 따른 처리 모드 판단을 상세히 설명한 흐름도,
도 8은 본 발명의 일 실시 예에 따른 제1 처리 모드에서의 이미지 처리를 설명하기 위한 흐름도,
도 9은 본 발명의 일 실시 예에 따른 제2 처리 모드에서의 이미지 처리를 설명하기 위한 흐름도, 및
도 10은 본 발명의 다른 실시 예에 따른 촬영 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 촬영 장치(100)의 구성을 설명하기 위한 개략적인 블럭도이다. 도 1을 참조하면, 촬영 장치(100)는 촬영부(110), 감지부(120), 이미지 처리부(130) 및 제어부(140)를 포함한다. 본 발명의 일 실시 예에 따른 촬영 장치(100)는 디지털 카메라, 캠코더, 스마트폰, PMP, 스마트 안경, 타블렛 PC, 스마트 워치, 웹캠, 블랙박스 등 동영상 촬영 기능을 갖춘 다양한 전자 장치로 구현될 수 있다.
촬영부(110)는 롤링 셔터 방식으로 동영상을 촬영한다. 구체적으로, 촬영부(110)는 피사체의 빛을 모아서 촬영 영역에 광학상이 맺히게 하는 렌즈, 렌즈를 통해 입사된 빛을 전기 신호로 광전 변환하는 촬영 소자, 촬영 소자의 아날로그 신호를 디지털 신호로 변환하여 출력하는 AD 컨버터로 구성될 수 있다.
감지부(120)는 동영상 촬영시 촬영 장치(100)의 흔들림, 움직임을 감지한다. 예를 들어, 감지부(120)는 각속도를 제공하는 자이로 센서(gyro sensor)로 구현될 수 있다. 자이로 센서는 촬영 장치(100)의 움직임에 따라 3개의 축에서의 각속도를 제공한다.
이미지 처리부(130)는 촬영된 이미지 프레임을 보정한다. 구체적으로, 이미지 처리부(130)는 병진 운동, 회전 운동, 롤링 셔터에 따른 왜곡을 움직임 보상 처리할 수 있다.
제어부(140)는 촬영 장치(100)의 전반적인 구성을 제어한다. 본 발명의 일 실시 예에 따르면, 감지부(120)를 통해 감지된 촬영 장치(100)의 흔들림 정보과 촬영된 동영상의 이전 프레임들을 분석하여 예측된 움직임 예측 정보를 바탕으로, 제어부(140)는 동영상 촬영을 위한 처리 모드를 판단할 수 있다. 예를 들어, 움직임이 거의 없거나 너무 과도하여 보정을 하여도 영상 안정화에 도움이 되지 못한다고 판단되는 경우에는 간단한 보상 처리만을 수행하여 전력 소모를 줄일 수 있다. 그리고, 제어부(140)는 판단된 처리 모드로 동영상을 처리하도록 이미지 처리부(130)를 제어할 수 있다.
본 발명의 다른 실시 예에 따르면, 제어부(140)는 촬영 장치(100)의 상태를 모니터링할 수 있다. 예를 들어, 제어부(140)는 촬영 장치(100)의 배터리 레벨, 온도 레벨, CPU 활성 코어의 개수, 주변의 광량, 디지털 줌을 포함한 줌 레벨 등을 모니터링 할 수 있다. 제어부(140)는 모니터링된 촬영 장치(100)의 상태가 기설정된 기준에 도달하면, 처리 모드를 제1 처리 모드로 판단할 수 있다.
제1 처리 모드는 이미지 보정 처리보다 전력 소비를 줄이는 것이 효율적이라고 판단되는 경우의 처리 모드이다. 예를 들어, 촬영 장치(100)의 흔들림이 거의 없는 경우에는 이미지 보정 처리 과정이 불필요하거나, 이미지 보정 처리에 의한 화질 개선 효과가 거의 없으므로 제어부(140)는 간단한 보정만을 수행하는 제1 처리 모드로 전환한다. 제2 처리 모드는 일반적인 이미지 보정 처리를 수행하는 처리 모드이다.
상술한 바와 같은 촬영 장치(100)를 통하여, 사용자는 같은 용량의 배터리를 가지고 화질에서 차이가 없는 동영상을 더 오래 촬영할 수 있게 된다.
이하에서는 주로 동영상을 촬영하는 경우를 예로 들어 설명하지만, 본 발명의 일 실시 예에 따른 촬영 장치(100)는 정지 영상을 촬영하는 경우에도 적용 가능하다. 예를 들어, 라이브 뷰(live view)로 제공되는 보정된 화면을 보면서 정지 영상을 촬영하는 경우, 촬영 장치(100)의 흔들림 정도와 같은 정보를 바탕으로 제1 처리 모드 또는 제2 처리 모드로 이미지 처리된 라이브 뷰 화면이 제공될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 촬영 장치(100)의 구성을 상세히 설명하기 위한 블럭도이다. 도 2를 참조하면, 촬영 장치(100)는 촬영부(110), 감지부(120), 이미지 처리부(130), 제어부(140), 저장부(150), 통신 인터페이스부(160), 사용자 인터페이스부(170) 및 전원 공급부(180)를 포함한다.
촬영부(110)는 롤링 셔터 방식으로 복수의 이미지 프레임을 연속으로 촬영한다. 촬영부(110)는 렌즈, 촬영 소자, AD 컨버터로 구성될 수 있다. 촬영 소자는 캠코더, 핸드폰 카메라나 DSC(Digital Still Camera) 등에서 영상을 생성해 내는 부품을 의미한다. CCD(Charge Coupled Device)와 CMOS(Complementary Metal Oxide Semiconductor)가 대표적인 촬영 소자이다.
CCD는 각각의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이다. CMOS 이미지 센서는 제어회로(control circuit) 및 신호처리회로(signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 차례차례 출력을 검출하는 스위칭 방식을 채용하는 소자이다. CMOS 이미지 센서는 일반 실리콘 반도체를 생산하는 CMOS 공정으로 제작돼 크기가 작고 가격이 저렴하며, 소비전력이 작다는 장점이 있다. 이하에서도, 주로 CMOS 이미지 센서를 이용한 실시 예에 대하여 설명하기로 한다. 다만, 본 발명의 일 실시 예에 따른 촬영 장치 및 촬영 장치 제어 방법은 CCD 소자를 이용하는 촬영 장치에도 적용 가능하기 때문에, CMOS 이미지 센서를 이용하는 경우에만 한정되는 것은 아니다.
촬영 소자의 촬영 영역에 맺힌 피사체의 광학상을 독해하는 방식으로는 글로벌 셔터(Global Shutter) 방식과 롤링 셔터(Rolling Shutter) 방식이 있다. 글로벌 셔터 방식은 촬영 영역의 모든 화소들이 일시에 광학상을 독해하는 방식이다. 반면, 롤링 셔터 방식은 촬영 영역 내의 한 개 내지 수개의 화소들이 순차적으로 광학상을 독해하는 방식이다. CMOS 촬영 소자는 글로벌 셔터 방식과 롤링 셔터 방식이 모두 적용될 수 있다. 글로벌 셔터 방식이 적용될 경우, 피사체의 광학상을 모든 화소가 일시에 독해하므로, 피사체가 움직이는 경우에도 촬영된 영상이 변형되지 않는다. 반면, 롤링 셔터 방식이 적용된 CMOS 촬영 소자는 한 개 내지 수개의 화소들이 순차적으로 광학상을 독해하기 때문에, 피사체가 이동중인 경우 또는 촬영장치가 이동중인 경우, 촬영된 영상이 변형될 가능성이 있다. 따라서, 움직이는 피사체를 촬영하는 경우, 롤링 셔터 방식이 적용된 촬영 장치는 롤링 셔터 왜곡에 따른 보정 처리를 필요로 한다.
촬영 소자의 각 픽셀은 CMOS(Complementary Metal Oxide Semiconductor) 광센서를 포함한다. 그리고 촬영 소자의 각 픽셀은 롤링 셔터(rolling shutter) 방식으로 광학상을 독해한다. 이하에서는, 롤링 셔터가 하나의 픽셀 단위로 광학상을 독해하는 경우를 예로 들어 설명하기로 한다. 하지만, 픽셀 라인 단위 또는 복수의 픽셀 라인이 결합한 단위로 광학상을 독해하는 경우 등에도 본원이 적용 가능하다.
감지부(120)는 동영상 촬영시 촬영 장치(100)의 흔들림, 움직임을 감지한다. 감지부(120)는 각속도를 제공하는 자이로 센서(gyro sensor)로 구현될 수 있다. 자이로 센서는 촬영 장치(100)의 움직임에 따라 3개의 축에서의 각속도를 제공한다. 자이로 센서에서 감지된 각속도 정보를 이용하여, 회전 움직임(Rotational motion)에 의한 흔들림을 보상 처리할 수 있다.
본 발명의 일 실시 예에 따르면, 자이로 센서로부터 감지된 각속도 정보를 이용하여 다이나믹 크롭(Dynamic Crop)을 시작할 픽셀을 결정할 수 있다. 감지된 각속도에 초점 거리(focal length)와 프레임 촬영 사이의 시간을 곱하면, 제1 프레임과 제2 프레임 촬영 시의 촬영 장치의 병진 이동 정도가 계산된다. 다이나믹 크롭(Dynamic Crop)은 제1 처리 모드에서 사용되는 것으로 이하에서 자세히 설명하기로 한다.
이미지 처리부(130)는 촬영된 이미지 프레임을 보정한다. 본 발명의 일 실시 예에 따르면, 제1 처리 모드로 이미지 처리하는 것으로 판단되면 이미지 처리부(130)는 병진 운동에 대하여만 움직임 보상 처리한다. 이에 반해, 제2 처리 모드로 이미지 처리하는 것으로 판단되면 이미지 처리부(130)는 병진 운동, 회전 운동, 롤링 셔터에 따른 왜곡을 움직임 보상 처리한다.
예를 들어, 이미지 처리부(130)는 감지부(120)에서 감지된 흔들림 정보를 이용하여 각 픽셀의 x 축 및 y 축에 대한 변위를 계산하여 촬영 장치(100)의 이동을 보상할 수 있다. 다른 예로, 이미지 처리부(130)는 움직임 예측 정보를 바탕으로 촬영 장치(100)의 이동을 보상할 수 있다. 움직임 예측 정보는 복수의 프레임을 상호 비교하여 복수의 이미지 간의 이동 변위를 파악하여 다음 프레임 촬영 시의 움직임을 예측하는 정보이다.
저장부(150)는 촬영된 동영상의 각 이미지 프레임을 저장한다. 저장부(150)는 입력 프레임 버퍼(151)와 출력 프레임 버퍼(153)를 포함할 수 있다. 구체적으로, 저장부(150)는 촬영부(100)에서 출력된 프레임을 입력 프레임 버퍼(151)에 저장할 수 있다. 그리고, 저장부(150)는 이미지 처리부(130)에서 이미지 처리된 이미지를 출력 프레임 버퍼(153)에 저장할 수 있다. 또한, 저장부(150)는 이미지 처리부(130)에서 최종 생성한 컨텐츠(예를 들어, 복수의 이미지 프레임을 압축한 동영상)를 저장할 수 있다. 도 2에서는 입력 프레임 버퍼(151)와 출력 프레임 버퍼(153)를 다른 구성으로 도시하였으나, 하나의 저장부(150)에 이미지 처리 전의 프레임과 이미지 처리 후의 프레임이 함께 저장될 수도 있다.
저장부(150)는 이미지 처리 후의 영상 중 특정 프레임만을 저장할 수 있다. 예를 들어, 라이브 뷰로 제공되는 화면을 보며 정지 영상을 촬영하는 경우, 라이브 뷰를 통해 이미지 처리 후의 영상이 실시간으로 보여지지만 특정 선택된 프레임만이 스틸 컷과 같은 정지 영상으로 저장될 수 있다. 한편, 저장부(150)는 선택되지 않은 나머지 프레임들을 저장하지 않는다. 선택되지 않은 나머지 프레임들은 단지 라이브 뷰를 통해 사용자에게 제공될 뿐이다. 특정 선택된 프레임은 사용자 인터페이스부(170)를 통해 입력된 사용자 입력에 의해 선택될 수 있고, 기설정된 조건과 가장 부합하는 프레임으로 판단되어 사용자 입력 없이도 선택될 수 있다.
저장부(150)는 촬영 장치(100) 내부의 저장 매체 및 외부 저장 매체로 구현될 수 있다. 예를 들어, 저장부(150)는 메모리 카드로 구현될 수 있다. 메모리 카드는 촬영 장치(100)에 탈부착이 가능하다. 다른 예로, USB 메모리, 플래쉬 메모리를 포함한 Removable Disk, 촬영 장치(100)에 연결된 저장 매체, 네트워크를 통한 웹 서버 등으로 구현될 수 있다.
통신 인터페이스부(160)는 촬영 장치(100)에 저장된 컨텐츠를 외부 장치로 전송한다. 예를 들어, 통신 인터페이스부(160)는 저장부(150)에 저장된 동영상 파일을 외부 장치 또는 서버로 전송할 수 있다. 통신 인터페이스부(160)는 USB(Universal Serial Bus) 포트 등의 유선 방식 또는 블루투스(bluetooth), IR(Infrared) 통신, NFC(Near Field Communication), 지그비(Zigbee), WiFi Direct 등 근거리 통신 방식으로 구현될 수 있다. 또한, 통신 인터페이스부(160)는 셀룰러 통신, 3G 이동통신, LTE(Long Term Evolution), LTE-A(LTE-Advanced) 등 원거리 통신 방식으로 구현될 수도 있다.
사용자 인터페이스부(170)는 촬영 장치(100)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있도록 한다. 사용자 인터페이스부(170)는 터치패드와 같이 입력과 출력이 동시에 구현되는 장치로 구현될 수 있고, 다수의 버튼과 같은 입력장치와 LCD 모니터, OLED 모니터 등과 같은 표시 장치를 결합하여 구현될 수도 있다.
사용자 인터페이스부(170)는 사용자로부터 촬영 시작 명령, 촬영 종료 명령 등과 같은 각종 제어 명령을 입력받는다. 그리고, 사용자 인터페이스부(170)는 촬영과 관련된 설정을 입력받을 수 있다. 예를 들어, 사용자 인터페이스부(170)는 촬영된 동영상을 어떠한 파일 포맷으로 저장할 것인지, 촬영 이미지의 해상도, 프레임 레이트, 디지털 줌 여부, AWB, AF, AE 등의 설정을 사용자로부터 입력받을 수 있다.
그리고, 사용자 인터페이스부(170)는 촬영된 이미지를 표시할 수 있다. 예를 들어, 촬영 장치(100)가 동영상을 촬영중인 경우, 촬영부(110)에서 촬영된 동영상을 표시할 수 있으며, 사용자의 재생 명령에 따라 저장부(150)에 저장된 각종 컨텐츠를 표시할 수 있다.
전원 공급부(180)는 촬영 장치(100)의 각 구성 요소들에 전력을 공급한다. 예를 들어, 전원 공급부(180)는 촬영 장치(100)에 탈부착할 수 있는 배터리의 형태로 구현될 수 있다. 배터리의 크기 및 무게는 촬영 장치(100)를 소형화하는데 있어 중요한 이슈이다.
제어부(140)는 상술한 촬영 장치(100)의 구성 요소 및 미도시된 촬영 장치(100)의 구성 요소 전반을 제어한다. 제어부(140)의 동작에 대하여는 이하에서 도 3a 내지 도 5을 참조하여 설명하기로 한다.
본 발명의 일 실시 예에 따르면, 제어부(140)는 흔들림 정보 및 움직임 예측 정보를 바탕으로 촬영 장치(100)의 모션 시나리오를 분류한다. 움직임 보정을 해야하는 원인은 크게 3가지이다. 병진 운동에 의한 움직임, 회전 운동에 의한 움직임, 롤링 셔터에 의한 왜곡이 3가지 원인이다. 촬영시에는 이러한 원인들이 복합적으로 작용한다. 본 발명에서는 모션 시나리오를 4 가지로 분류한다. 도 3a 내지 도 3d는 각각의 모션 시나리오에 따른 움직임 보상 처리 전후의 이미지를 도시한다. 촬영부(110)의 CMOS 센서 활성 영역(CMOS sensor active area) 전체에서 프레임을 독출하지만, 실제로 동영상과 같은 컨텐츠에 사용되는 프레임의 크기는 그보다 작다. 따라서, 제어부(140)는 이미지 처리부(130)가 이미지를 크롭(Crop)하도록 제어한다. 도 3a 내지 도 3d에서는 크롭되는 이미지 부분이 CMOS 센서 활성 영역의 중앙에 위치한 경우를 가정하였다. 따라서, 움직임 보정 전의 이미지 크롭하는 부분이 중앙에 사각형으로 도시되었다.
도 3a는 제1 시나리오를 도시한 도면이다. 제1 시나리오는 사용자가 촬영 장치(100)를 고정하여 들고 있는 경우를 고려한 시나리오이다. 제1 시나리오에서는 작은 흔들림만이 문제될 뿐이다. 따라서, 제1 시나리오에서 제어부(140)는 이미지 처리부(130)가 병진 운동에 대한 보정 처리만을 수행하도록 제어하는 것으로 충분하다. 하지만, 회전 방향 움직임이 적더라도 x 또는 y 방향으로 패닝(panning)하는 경우에는 보상 처리가 필요하다. 이때는 감지부(120)에서 감지한 흔들림 정보에 더하여 움직임 예측 정보가 필요하다. 이에 대하여는 아래에서 다시 설명하기로 한다.
도 3b는 제2 시나리오를 도시한 도면이다. 제2 시나리오는 사용자의 위치는 움직이지 않고, 촬영 장치(100)를 상하좌우로 이동시키며 촬영하는 경우를 고려한 시나리오이다. 도 3a의 경우와 비교하면, 출력 이미지의 세로 방향 경계가 직선이 아니라 흔들림 보정에 따라 일부 픽셀을 더 포함하거나, 덜 포함하고 있는 것을 알 수 있다. 제2 시나리오에서 제어부(140)는 이미지 처리부(130)가 일반적인 이미지 처리 방법에 따라 보정 처리를 수행하도록 제어한다.
도 3c는 제3 시나리오를 도시한 도면이다. 제3 시나리오는 사용자가 걸어가며 촬영하는 것과 같이 흔들림이 큰 경우를 고려한 시나리오이다. 크롭된 출력 이미지는 동영상 프레임을 구성하는 사각형 모양의 이미지와는 상이하다. 크롭된 출력 이미지 부분에서의 데이터를 바탕으로, 제어부(140)는 이미지 처리부(130)가 프레임을 재구성(reconstruction)하도록 제어할 수 있다.
도 3d는 제4 시나리오를 도시한 도면이다. 제4 시나리오는 사용자가 뛰어가는 등의 큰 동작을 수반하며 촬영을 하는 경우를 고려한 시나리오이다. 제4 시나리오와 같은 경우에서, 이미지 처리를 위하여는 많은 계산량과 전력 소모량이 요구된다. 예를 들어, CMOS 센서 활성 영역을 벗어나는 경우, 제어부(140)는 이미지 처리부(130)가 보간 프레임(interpolation frame)을 생성하는 등의 보상 처리가 필요하다. 하지만, 이미지 처리에 사용하는 전력량에 비하여 이미지 개선 효과는 크지 않다. 따라서, 간단한 이미지 처리만을 수행하고 전력 소모를 방지하는 것이 효율적이다. 제4 시나리오에서 제어부(140)는 이미지 처리부(130)가 간단한 병진 운동에 대한 보정 처리만을 수행하도록 제어할 수 있다.
정리하면, 흔들림이 아주 적거나 큰, 양 극단의 경우에, 제어부(140)는 이미지 처리부(130)가 제1 처리 모드로 이미지 처리하도록 제어할 수 있다. 그리고, 도 3b 및 도 3c와 같이 움직임 보상 처리를 수행하면 이미지의 질이 개선되는 것이 보장되는 경우에, 제어부(140)는 이미지 처리부(130)가 제2 처리 모드로 이미지 처리하도록 제어할 수 있다.
제1 처리 모드는 이미지 보정 처리보다 전력 소비를 줄이는 것이 효율적이라고 판단되는 경우의 처리 모드이다. 이미지 보정 처리 과정이 불필요하거나, 이미지 보정 처리에 의한 화질 개선 효과가 거의 없으므로 제1 처리모드에서는 병진 운동에 대한 보정만이 수행된다. 제2 처리 모드는 일반적인 이미지 보정 처리를 수행하는 처리 모드이다. 제2 처리 모드에서는 병진 운동, 회전 운동, 롤링 셔터 왜곡에 의한 움직임을 보상 처리한다.
제어부(140)는 감지부(120)를 통해 감지된 흔들림 정보 및 움직임 예측 정보 중 적어도 하나를 바탕으로 동영상 처리를 위한 처리 모드를 판단한다. 이하에서는 구체적인 판단 과정을 설명하도록 한다.
본 발명의 일 실시 예에서, 제어부(140)는 흔들림 정보로부터 추출한 값을 제1 한계점과 비교할 수 있다. 예를 들어, 흔들림 정보로부터 추출한 값은 각속도, 회전 방향 변위 값 등이 될 수 있다. 흔들림 정보로부터 추출한 값이 제1 한계점 이하라면, 제어부(140)는 도 3a에 도시된 것과 같이 움직임이 거의 없는 경우에 해당한다고 판단한다. 이때는 상술한 바와 같이 움직임 예측 정보에 대한 분석이 추가적으로 필요하다. 왜냐하면, 자이로 센서로부터 추출한 회전 방향의 흔들림이 거의 없는 경우라도, 패닝(panning)하고 있는 경우라면 전력 소모 방지보다는 이미지 개선을 우선시해야 하기 때문이다.
제어부(140)는 움직임 예측 정보를 분석하여 단일방향 움직임(unidirectional motion) 데이터가 기설정된 개수인지를 판단한다. 움직임 예측 정보는 이미지 처리부(130)에서 이전 프레임들의 이미지 처리 결과를 바탕으로 예측된 정보를 말한다. 예를 들어, 이미지 처리부(130)는 복수의 프레임들을 비교하여 움직임 벡터를 추출할 수 있다. 추출된 움직임 벡터를 분석하여 제어부(140)는 단일방향 움직임 데이터의 수를 알 수 있다.
단일방향 움직임 데이터가 기설정된 개수 이하이면, 제어부(140)는 제1 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다. 단일방향 움직임 데이터가 기설정된 개수 이하이면 병진 방향 움직임이 거의 없다는 것이기 때문에, 제어부(140)는 처리 모드를 제1 처리 모드로 판단한다.
반대로, 단일방향 움직임 데이터가 기설정된 개수를 초과하면, 제어부(140)는 제2 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다. 단일방향 움직임 데이터가 기설정된 개수를 초과했다는 것은 촬영 장치(100)가 일정 방향으로 패닝(panning)하고 있다는 것을 의미한다. 따라서, 제어부(140)는 처리 모드를 제2 처리 모드로 판단한다.
본 발명의 다른 실시 예에서, 흔들림 정보로부터 추출한 값이 제1 한계점을 초과하면, 제어부(140)는 움직임이 너무 커서 이미지 처리할 필요성이 없는 경우를 분류하기 위하여 흔들림 정보로부터 추출한 값을 제2 한계점과 비교한다. 이때 제2 한계점 값은 제1 한계점 값보다 큰 값일 것이 요구된다.
흔들림 정보로부터 추출한 값이 제2 한계점을 초과하면, 제어부(140)는 제1 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다. 반대로, 흔들림 정보로부터 추출한 값이 제2 한계점 이하이면, 제어부(140)는 제2 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다. 흔들림 정보로부터 추출한 값이 제2 한계점을 초과한 경우, 즉, 도 3d에 도시된 바와 같이 흔들림이 너무 큰 경우에는 이미지 처리에 소요되는 자원을 사용하지 않는 것이 효율적이다. 따라서, 제어부(140)는 처리 모드를 제1 처리 모드로 판단한다. 흔들림 정보로부터 추출한 값이 제2 한계점 이하인 경우는 도 3b 또는 도 3c에 도시된 것과 같은 보정 처리를 통해 충분한 화질 개선 효과를 거둘 수 있는 경우이다. 따라서, 제어부(140)는 처리 모드를 제2 처리 모드로 판단한다.
제1 한계점 및 제2 한계점의 값은 촬영 장치(100)의 성능에 따라 달리 설정될 수 있다. 이미지 처리에 전력을 소모하느냐 소모하지 않느냐하는 판단과정은 보상 처리 성능 및 배터리 용량 등이 고려되어야 하기 때문이다.
도 4는 본 발명의 일 실시 예에 따른 촬영 장치(100)의 감지부(120)에서 감지되는 흔들림 정보를 나타낸 도면이다. 구체적으로, 도 4는 x, y, z의 3 축에 따른 쵤영 장치(100)의 회전에 의한 흔들림을 시간에 따라 기록한 그래프이다. 측정 초기에 흔들림이 적어 사용자가 인식하지 못하는 정도의 흔들림만이 존재할 경우에는 보정을 해줄 필요성이 없다. 따라서, 제어부(140)는 제1 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다. 이후, 보통 정도의 흔들림이 감지되면 제어부(140)는 제2 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다. 마지막으로, 너무 흔들림이 센 경우에는 이미지 처리를 하더라도 화질 개선 효과가 거의 나타나지 않기 때문에, 제어부(140)는 제1 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다.
도 4의 하단에는 프레임 캡처하는 시간에 대해 나타나 있다. 노출(exposure)을 시작하고 끝내는 동안 촬영부(110)는 프레임을 캡처한다. 흔들림 정보는 프레임 캡처하는 동안 실시간으로 변화하기 때문에, 제어부(140)에서 프레임 캡처에 걸리는 시간(노출 시작 ~ 노출 종료) 동안 측정된 흔들림 정보의 평균값을 이용하여 제1 한계점 등과 비교할 수 있다. 이러한 경우에, 흔들림 정보로부터 추출한 값은 프레임 캡처 동안의 흔들림 정보 평균값이 될 것이다.
본 발명의 일 실시 예에 따르면, 어떤 처리 모드로 이미지 처리할지 판단한 다음, 제어부(140)는 판단된 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다.
도 5는 제1 처리 모드에서의 병진 운동 보정 처리를 설명하기 위한 도면이다. 판단된 처리 모드가 제1 처리 모드인 경우, 제어부(140)는 병진 운동 오프셋(translation motion offset)을 갖고 다이나믹 크롭(Dynamic Crop)하여 병진 운동에 대한 보정만을 처리하도록 이미지 처리부(130)를 제어할 수 있다. 병진 운동 오프셋은 감지부(120)에서 감지한 흔들림 정보를 바탕으로 결정된다.
일반적인 이미지 처리 과정에서는 우선 CMOS 센서 활성 영역의 모든 픽셀을 독출한 후, 일정 영역만을 크롭하여 출력 프레임으로 저장한다. 이에 반해, 제1 처리 모드에서는 다이나믹 크롭 방법으로 출력 프레임을 저장한다. 다이나믹 크롭이란 크롭할 일정 영역의 위치를 예측하여 해당 부분의 픽셀들만을 독출하여 바로 저장하는 방식을 말한다. 예를 들어, 도 5에서 일반적인 이미지 처리 과정에서는 '① 픽셀'부터 시작하여 롤링 셔터 방식으로 모든 픽셀을 독출한다. 이에 반해, 다이나믹 크롭에서는 '② 픽셀'부터 출력하는 프레임에 해당하는 픽셀만을 독출한다.
'② 픽셀' 옆에 그려진 'X', 'Y' 값이 병진 운동 오프셋에 해당한다. 병진 운동 오프셋은 감지부(120)에서 감지한 흔들림 정보를 바탕으로 결정된다. 예를 들어, 'X' 값, 즉, x 축 방향의 병진 운동 오프셋을 계산하는 방법을 설명하기로 한다. 감지부(120)의 자이로 센서로부터 제1 프레임을 캡처하는 동안의 각속도 값이 측정된다. 제1 프레임에 대한 노출이 끝나고 제2 프레임에 대한 노출이 시작되는 사이의 시간 동안의 병진 이동 거리가 병진 운동 오프셋이다. 병진 운동 오프셋은 촬영 장치(100)의 초점 거리(focal length) 정보 및 X, Y 축에 있어서의 각속도 값을 조합하여 결정된다.
병진 운동 오프셋이 결정되면, 이전 프레임을 캡처한 지점으로부터 계산된 병진 운동 오프셋을 더하여 제어부(140)는 다이나믹 크롭으로 이미지 처리를 시작할 픽셀을 결정할 수 있다. 제1 처리 모드에서는 다이나믹 크롭 방식을 사용함으로써 독출해야할 픽셀의 수가 줄어들기 때문에 사용되는 전력 소모량를 줄일 수 있다.
제1 처리 모드에서는 픽셀 독출 과정뿐만 아니라 이미지 처리가 끝난 출력 프레임을 저장하는 방식에서도 전력 소모량을 줄일 수 있다. 일반적인 이미지 처리 과정에서는 우선 CMOS 센서의 모든 픽셀을 독출한 것을 입력 프레임 버퍼(151)에 저장한다. 다음으로, 제어부(140)는 입력 프레임 버퍼(151)에 저장된 데이터를 읽어 들여 이미지 처리하도록 이미지 처리부(130)를 제어한다. 그리고, 제어부(140)는 이미지 처리하여 생성한 출력 프레임을 출력 프레임 버퍼(153)에 저장하도록 저장부(150)를 제어한다. 이러한 이미지 처리 과정에서는, 입력 프레임 버퍼(151)에 저장하고 읽어들이는 과정을 수행하며 전력 소모량이 많아지게 된다.
이에 반해, 제1 처리 모드에서는 다이나믹 크롭으로 출력 프레임에 해당하는 부분의 픽셀에서만 데이터를 독출하고, 이를 바로 출력 프레임 버퍼(153)에 저장한다. 즉, 제어부(140)는 병진 운동에 대한 보정만이 처리된 프레임을 바로 출력 프레임 버퍼(153)에 저장하도록 저장부(150)를 제어한다. 따라서, 제1 처리 모드에서는 프레임을 저장하는 방식에서도 일반적인 이미지 처리 방식에 비해 전력 소모량이 줄어들게 된다.
본 발명의 다른 실시 예에 따르면, 제어부(140)는 촬영 장치(100)의 상태를 모니터링할 수 있다. 모니터링된 촬영 장치(100)의 상태가 기설정된 기준에 도달한 경우, 제어부(140)는 흔들림 정보나 움직임 예측 정보에 관계없이 처리 모드를 제1 처리 모드로 판단할 수 있다. 그리고, 제어부(140)는 제1 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어한다.
예를 들어, 모니터링된 촬영 장치(100)의 상태는 배터리 레벨(battery level), 온도 레벨(temperature level), CPU 활성 코어(CPU active core), 주변 광량(ambient light), 줌 레벨(zoom level) 중 적어도 하나일 수 있다. 이들 중 배터리 레벨, 온도 레벨, CPU 활성 코어는 촬영 장치(100)의 장치적 한계와 관련된다. 그리고, 주변 광량 및 줌 레벨은 보정 처리하더라도 화질 개선 효과를 얻기 어려운 경우와 관련된다.
배터리 레벨이 낮거나, 온도 레벨이 높거나, 사용 가능한 CPU 활성 코어가 불충분한 경우에는 영상 안정화를 위한 이미지 처리를 수행할 수 없다. 따라서, 제어부(140)는 강제적으로 전력을 적게 소모하는 제1 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어할 수 있다.
주변 광량이 거의 없거나, 디지털 줌 레벨이 높은 경우에는 이미지 처리 전의 이미지 프레임의 질이 너무 낮기 때문에 보정을 하더라도 화질 개선 효과가 거의 나타나지 않는다. 예를 들어, 주변 광량이 없어 어두운 경우 촬영된 이미지가 거의 검은 화면일 것이기 때문에 이미지 처리 효과가 거의 없게 된다. 따라서, 제어부(140)는 흔들림 정보 등에 관계없이 전력을 적게 소모하는 제1 처리 모드로 이미지 처리하도록 이미지 처리부(130)를 제어할 수 있다.
상술한 바와 같은 본 발명의 실시 예들을 통하여, 이미지 개선 효과가 거의 없는 경우에 이미지 처리과정 중 일부를 배제함으로써, 촬영 장치(100)는 영상 안정화(video stabilization) 효과를 유지하면서도 전력 소모량을 줄일 수 있다.
이하에서는 도 6 내지 도 10을 참조하여, 본 발명의 다양한 실시 예에 따른 촬영 장치(100)의 제어 방법을 설명하기로 한다.
도 6은 본 발명의 일 실시 예에 따른 촬영 장치(100)의 제어 방법을 설명하기 위한 흐름도이다. 우선 촬영 장치(100)는 동영상 촬영시 흔들림을 감지한다(S610). 예를 들어, 촬영 장치(100)는 내장된 자이로 센서를 이용하여 회전 방향 움직임 정보를 감지할 수 있다.
그리고, 촬영 장치(100)는 감지된 흔들림 정보 및 움직임 예측 정보 중 적어도 하나를 바탕으로 동영상 촬영을 위한 처리 모드를 판단한다(S620). 마지막으로, 촬영 장치(100)는 판단된 처리 모드로 촬영된 동영상을 처리한다(S630). 처리 모드를 판단하는 단계 및 촬영된 동영상을 처리하는 단계에 대하여는 이하에서 자세히 설명하기로 한다.
도 7은 처리 모드를 판단하는 과정을 상세히 나타낸 흐름도이다. 도 7을 참조하면, 촬영 장치(100)는 우선 감지부를 통해 감지한 흔들림 정보를 분석한다(S710). 촬영 장치가 이용하는 흔들림 정보와 움직임 예측 정보 중 먼저 흔들림 정보가 이용된다. 촬영 장치(100)는 흔들림 정보로부터 추출한 값과 기설정된 제1 한계점을 비교한다(S720). 예를 들어, 흔들림 정보로부터 추출한 값은 프레임 캡처를 위한 노출 시작 시간부터 노출 종료 시간까지의 감지된 각속도의 평균 값일 수 있다. 이 단계에서 촬영 장치(100)는 흔들림이 거의 없는 경우와 나머지 경우를 구분한다.
흔들림 정보로부터 추출한 값이 제1 한계점 이하이면(S720-N), 촬영 장치(100)는 추가적으로 움직임 예측 정보를 분석한다(S730). 흔들림이 거의 없는 경우에 있어서도, 촬영 장치(100)가 패닝(panning)하고 있는 경우와 촬영 장치(100)가 움직이지 않는 경우를 구분할 필요성이 있다. 이에 따라, 촬영 장치(100)는 움직임 예측 정보를 분석하여 x 또는 y 방향으로의 단일방향 움직임 데이터 개수가 기설정된 개수보다 많은지 판단한다(S740).
만일 단일방향 움직임 데이터 개수가 기설정된 개수 이하인 경우(S740-N), 촬영 장치(100)는 거의 움직이지 않는 경우로 판단할 수 있다. 따라서, 촬영 장치(100)는 제1 처리 모드로 이미지를 처리한다(S750). 반대로, 단일방향 움직임 데이터 개수가 기설정된 개수를 초과하면(S740-Y), 촬영 장치(100)는 패닝(panning)하고 있는 경우로 판단할 수 있다. 이러한 경우에, 촬영 장치(100)는 전력 소모 방지보다는 화질 개선에 더 중점을 둔 제2 처리 모드로 이미지를 처리한다(S760).
흔들림 정보로부터 추출한 값이 제1 한계점을 초과하면(S720-Y), 촬영 장치(100)는 너무 큰 흔들림이 있어서 움직임 보상 처리가 무의미한 경우는 아닌지 판단하여야 한다. 촬영 장치(100)는 흔들림 정보로부터 추출한 값은 제2 한계점과 비교한다(S770). 이때, 제2 한계점은 제1 한계점보다 큰 값이어야 한다. 제1 한계점 및 제2 한계점은 촬영 장치(100)의 성능에 따라 달리 정해질 수 있다.
만일 흔들림 정보로부터 추출한 값이 제2 한계점 이하이면(S770-N), 촬영 장치(100)는 제2 처리 모드로 이미지 처리한다(S780). 반대로, 흔들림 정보로부터 추출한 값이 제2 한계점을 초과하면(S770-Y), 너무 큰 흔들림이 있는 경우에 해당되어 움직임 보상 처리보다는 전력 소비를 방지하는 것이 효율적이다. 따라서, 촬영 장치(100)는 제1 처리 모드로 이미지 처리한다(S790).
도 8 및 도 9는 각각 제1, 제2 처리 모드로 이미지 처리하는 과정을 상세히 나타낸 흐름도이다.
도 8을 참조하면, 제1 처리 모드에서 우선 촬영 장치(100)는 흔들림 정보를 이용하여 병진 운동 오프셋을 결정한다(S810). 예를 들어, 병진 운동 오프셋은 자이로 센서로부터 측정된 가속도 값에 초점 거리(focal length, f)와 프레임 캡처 사이의 시간을 곱하여 계산될 수 있다. 그리고, 촬영 장치(100)는 결정된 병진 운동 오프셋을 바탕으로 이미지 처리를 시작할 픽셀을 결정한다(S820). 제1 처리 모드에서 사용되는 다이나믹 크롭은 CMOS 센서 활성 영역 상의 모든 픽셀을 독출하지 않고, 출력 프레임에 해당하는 픽셀만을 독출하기 때문에, 이미지 처리를 시작할 픽셀이 결정되어야 한다. 이전 프레임 캡처가 끝나고 현재 프레임 캡처를 시작하는 동안 이동한 것으로 예상되는 오프셋을 이전 프레임이 독출된 위치에 더하여, 촬영 장치(100)는 이미지 처리를 시작할 픽셀을 결정한다. 촬영 장치(100)는 결정된 픽셀을 시작점으로 다이나믹 크롭하여 병진 운동에 대한 보정 처리를 한다(S830). 그리고, 촬영 장치(100)는 병진 운동에 대한 보정 처리된 프레임을 바로 출력 프레임 버퍼에 저장한다(S840). 제1 처리 모드에서는 입력 프레임 버퍼에 저장하고 읽어들이는 과정이 생략되기 때문에 전력 소비를 한층 더 줄일 수 있다.
도 9를 참조하면, 제2 처리 모드에서 우선 촬영 장치(100)는 이미지 센서 전 영역을 독출하여 입력 프레임 버퍼에 저장한다(S910). 그리고, 촬영 장치(100)는 저장된 프레임을 이용하여 움직임 예측 정보를 추출하고, 움직임 파라미터들도 추출한다(S920). 예를 들어, 움직임 예측 정보에는 움직임 벡터 등이 포함될 수 있다. 촬영 장치(100)는 추출된 움직임 예측 정보를 바탕으로 이미지를 재구성한다(S930). 이후, 촬영 장치(100)는 재구성된 이미지를 크롭하여 출력 프레임 버퍼에 저장한다(S940). 제2 처리 모드에서는 이미지 센서 전 영역을 독출하고, 입력 프레임 버퍼를 거치는 과정이 있으며, 움직임 예측 정보를 추출하고 이미지 재구성을 하는 과정이 있어 제1 처리 모드에 비해 전력 소모량이 많다.
도 10은 본 발명의 다른 실시 예에 따른 촬영 장치(100)의 제어 방법을 설명하기 위한 도면이다. 촬영 장치(100)는 촬영 장치의 상태에 따라 처리 모드를 결정할 수도 있다. 촬영 장치(100)는 상시적으로 촬영 장치(100)의 상태를 모니터링한다(S1010). 예를 들어, 촬영 장치(100)의 상태는 배터리 레벨, 온도 레벨, 사용 가능한 CPU 활성 코어 개수, 주변 광량, 디지털 줌을 포함한 줌 레벨 중 적어도 하나 일 수 있다.
촬영 장치(100)는 모니터링된 촬영 장치(100)의 상태가 기설정된 기준에 도달하는지를 판단한다(S1020). 만일, 모니터링된 촬영 장치(100)의 상태가 기설정된 기준에 도달하지 않으면(S1020-N), 다시 흔들림 정보 및 움직임 예측 정보 중 적어도 하나를 바탕으로 처리 모드를 판단한다(S1040). 이후, 촬영 장치(100)는 판단된 처리 모드로 이미지 처리를 수행한다(S1050).
반대로, 모니터링된 촬영 장치(100)의 상태가 기설정된 기준에 도달하면(S1020-Y), 촬영 장치(100)는 흔들림 정보나 움직임 예측 정보에 관계없이 제1 처리 모드로 이미지를 처리한다(S1030). 기설정된 기준에 도달한 경우는 촬영 장치의 성능이나 움직임 보상이 효과가 거의 없는 경우에 해당한다. 따라서, 촬영 장치(100)는 이러한 경우 전력 소모가 적은 제1 처리 모드로 이미지 처리한다.
상술한 바와 같은 본 발명의 다양한 실시 예에 따른 촬영 장치(100)의 제어 방법을 통해, 전력 소비를 충분히 해야 하는 경우와 전력 소비를 방지해야 하는 경우를 분리함으로써, 효율적인 전력 소비 방법을 제공함과 동시에 영상 안정화(video stabilization) 효과도 유지할 수 있게 된다.
또한, 상술한 바와 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플래시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
100: 촬영 장치 110: 촬영부
120: 감지부 130: 이미지 처리부
140: 제어부 150: 저장부
151: 입력 프레임 버퍼 153: 출력 프레임 버퍼
160: 통신 인터페이스부 170: 사용자 인터페이스부
180: 전원 공급부

Claims (20)

  1. 촬영 장치에 있어서,
    동영상을 촬영하는 촬영부;
    동영상 촬영시의 상기 촬영 장치의 흔들림을 감지하는 감지부;
    촬영된 프레임을 보정하는 이미지 처리부; 및
    상기 감지부를 통해 감지된 상기 촬영 장치의 흔들림 정보 및 상기 촬영된 동영상의 움직임 예측 정보 중 적어도 하나를 바탕으로 상기 동영상 촬영을 위한 처리 모드를 판단하고, 상기 판단된 처리 모드로 상기 동영상을 처리하도록 상기 이미지 처리부를 제어하는 제어부;를 포함하는 촬영 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 흔들림 정보로부터 추출한 값을 제1 한계점(threshold)과 비교하고, 상기 제1 한계점 이하이면 상기 움직임 예측 정보를 분석하여 상기 동영상 촬영을 위한 처리 모드를 판단하고, 상기 제1 한계점을 초과하면 상기 흔들림 정보로부터 추출한 값을 제2 한계점과 비교하여 상기 동영상 촬영을 위한 처리 모드를 판단하는 것을 특징으로 하는 촬영 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 움직임 예측 정보를 분석하여 단일방향 움직임(unidirectional motion) 데이터가 기설정된 개수 이하이면 제1 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어하고, 상기 기설정된 개수를 초과하면 제2 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 촬영 장치.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 흔들림 정보로부터 추출한 값이 상기 제2 한계점을 초과하면 제1 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어하고, 상기 제2 한계점 이하이면 제2 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 촬영 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 판단된 처리 모드가 제1 처리 모드인 경우,
    병진 운동 오프셋(translation motion offset)을 갖고 다이나믹 크롭(Dynamic Crop)하여 병진 운동에 대한 보정만을 처리하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 촬영 장치.
  6. 제5항에 있어서,
    상기 병진 운동 오프셋은 상기 감지부에서 감지한 흔들림 정보를 바탕으로 결정되며,
    상기 다이나믹 크롭은 상기 병진 운동 오프셋을 이용하여 이미지 처리를 시작하는 픽셀을 결정하여 크롭하는 것을 특징으로 하는 촬영 장치.
  7. 제5항에 있어서,
    이미지 처리 전의 프레임을 저장하는 입력 프레임 버퍼; 및
    이미지 처리 후의 프레임을 저장하는 출력 프레임 버퍼;를 더 포함하며,
    상기 제어부는,
    상기 촬영된 프레임을 상기 입력 프레임 버퍼에 저장하지 않고, 상기 병진 운동에 대한 보정만이 처리된 프레임을 바로 상기 출력 프레임 버퍼에 저장하는 것을 특징으로 하는 촬영 장치.
  8. 제1항에 있어서,
    상기 움직임 예측 정보는 이전 프레임들의 이미지 처리 결과를 바탕으로 예측된 정보인 것을 특징으로 하는 촬영 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 촬영 장치의 상태를 모니터링하고, 상기 모니터링된 촬영 장치의 상태가 기설정된 기준에 도달한 경우, 상기 흔들림 정보 및 상기 움직임 예측 정보에 관계없이 상기 처리 모드를 제1 처리 모드로 판단하고, 상기 제1 처리 모드로 이미지 처리하도록 상기 이미지 처리부를 제어하는 것을 특징으로 하는 촬영 장치.
  10. 제9항에 있어서,
    상기 모니터링된 촬영 장치의 상태는,
    배터리 레벨(Battery level), 온도 레벨(Temperature level), CPU 활성 코어(CPU active core), 주변 광량(Ambient light), 줌 레벨(Zoom level) 중 적어도 하나인 것을 특징으로 하는 촬영 장치.
  11. 촬영 장치의 제어 방법에 있어서,
    동영상 촬영시의 상기 촬영 장치의 흔들림을 감지하는 단계;
    상기 감지된 상기 촬영 장치의 흔들림 정보 및 상기 촬영된 동영상의 움직임 예측 정보 중 적어도 하나를 바탕으로 상기 동영상 촬영을 위한 처리 모드를 판단하는 단계; 및
    상기 판단된 처리 모드로 상기 동영상을 처리하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 판단하는 단계는,
    상기 흔들림 정보로부터 추출한 값을 제1 한계점과 비교하고, 상기 제1 한계점 이하이면 상기 움직임 예측 정보를 분석하여 상기 동영상 촬영을 위한 처리 모드를 판단하고, 상기 제1 한계점을 초과하면 상기 흔들림 정보로부터 추출한 값을 제2 한계점과 비교하여 상기 동영상 촬영을 위한 처리 모드를 판단하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 움직임 예측 정보를 분석하여 단일방향 움직임 데이터가 기설정된 개수 이하이면 상기 처리 모드를 제1 처리 모드로 판단하고, 상기 기설정된 개수를 초과하면 상기 처리 모드를 제2 처리 모드로 판단하는 것을 특징으로 하는 제어 방법.
  14. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 흔들림 정보로부터 추출한 값이 상기 제2 한계점을 초과하면 상기 처리 모드를 제1 처리 모드로 판단하고, 상기 제2 한계점 이하이면 상기 처리 모드를 제2 처리 모드로 판단하는 것을 특징으로 하는 제어 방법.
  15. 제11항에 있어서,
    상기 처리하는 단계는,
    상기 판단된 처리 모드가 제1 처리 모드인 경우,
    병진 운동 오프셋을 갖고 다이나믹 크롭하여 병진 운동에 대한 보정만을 처리하는 것을 특징으로 하는 제어 방법.
  16. 제15항에 있어서,
    상기 병진 운동 오프셋은 상기 감지된 흔들림 정보를 바탕으로 결정되며,
    상기 다이나믹 크롭은 상기 병진 운동 오프셋을 이용하여 이미지 처리를 시작하는 픽셀을 결정하여 크롭하는 것을 특징으로 하는 제어 방법.
  17. 제15항에 있어서,
    상기 처리하는 단계는,
    상기 촬영된 프레임을 입력 프레임 버퍼에 저장하지 않고, 상기 병진 운동에 대한 보정만이 처리된 프레임을 바로 출력 프레임 버퍼에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  18. 제11항에 있어서,
    상기 움직임 예측 정보는 이전 프레임들의 이미지 처리 결과를 바탕으로 예측된 정보인 것을 특징으로 하는 제어 방법.
  19. 제11항에 있어서,
    상기 판단하는 단계는,
    상기 촬영장치의 상태를 모니터링하고, 상기 모니터링된 촬영 장치의 상태가 기설정된 기준에 도달한 경우, 상기 흔들림 정보 및 상기 움직임 예측 정보에 관계없이 상기 처리 모드를 제1 처리 모드로 판단하는 것을 특징으로 하는 제어 방법.
  20. 제19항에 있어서,
    상기 모니터링된 촬영 장치의 상태는,
    배터리 레벨(Battery level), 온도 레벨(Temperature level), CPU 활성 코어(CPU active core), 주변 광량(Ambient light), 줌 레벨(Zoom level) 중 적어도 하나인 것을 특징으로 하는 제어 방법.
KR1020140164489A 2014-11-24 2014-11-24 촬영 장치 및 그의 제어 방법 KR20160061729A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140164489A KR20160061729A (ko) 2014-11-24 2014-11-24 촬영 장치 및 그의 제어 방법
US14/812,801 US20160150158A1 (en) 2014-11-24 2015-07-29 Photographing apparatus and method for controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140164489A KR20160061729A (ko) 2014-11-24 2014-11-24 촬영 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20160061729A true KR20160061729A (ko) 2016-06-01

Family

ID=56011495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140164489A KR20160061729A (ko) 2014-11-24 2014-11-24 촬영 장치 및 그의 제어 방법

Country Status (2)

Country Link
US (1) US20160150158A1 (ko)
KR (1) KR20160061729A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11044407B2 (en) 2018-08-29 2021-06-22 Samsung Electronics Co., Ltd. Image sensor and electronic device including the image sensor, and method of image zoom processing
CN116434128A (zh) * 2023-06-15 2023-07-14 安徽科大擎天科技有限公司 一种基于缓存帧的电子稳像未填充区域的去除方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462799B1 (ko) * 2015-11-05 2022-11-03 삼성전자주식회사 자세 추정 방법 및 자세 추정 장치
JP2019121941A (ja) * 2018-01-09 2019-07-22 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法、並びに画像処理システム
US20190297265A1 (en) * 2018-03-21 2019-09-26 Sawah Innovations Inc. User-feedback video stabilization device and method
CN114390186B (zh) * 2020-10-19 2023-05-19 华为技术有限公司 视频拍摄方法及电子设备
CN114390188B (zh) * 2020-10-22 2023-05-12 华为技术有限公司 一种图像处理方法和电子设备
WO2023123371A1 (en) * 2021-12-31 2023-07-06 Qualcomm Incorporated Image correction based on activity detection

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11044407B2 (en) 2018-08-29 2021-06-22 Samsung Electronics Co., Ltd. Image sensor and electronic device including the image sensor, and method of image zoom processing
CN116434128A (zh) * 2023-06-15 2023-07-14 安徽科大擎天科技有限公司 一种基于缓存帧的电子稳像未填充区域的去除方法
CN116434128B (zh) * 2023-06-15 2023-08-22 安徽科大擎天科技有限公司 一种基于缓存帧的电子稳像未填充区域的去除方法

Also Published As

Publication number Publication date
US20160150158A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
KR20160061729A (ko) 촬영 장치 및 그의 제어 방법
KR102527811B1 (ko) 타임랩스 영상을 생성하는 장치 및 방법
US20200296270A1 (en) Switchover control techniques for dual-sensor camera system
KR101075826B1 (ko) 촬상 장치 및 기억 장치
KR101578600B1 (ko) 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
EP2903258B1 (en) Image-processing device and method, and image pickup device
US9578238B2 (en) Imaging apparatus, imaging control method and storage medium
US9485452B2 (en) Imaging device, video content generating method and storage medium
US10225472B2 (en) Imaging apparatus, imaging control method and storage medium
JP6391304B2 (ja) 撮像装置、制御方法およびプログラム
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
KR20170011555A (ko) 디지털 촬영 장치 및 그 방법
JP2016534609A (ja) 携帯電話タイプの装置に接続することが可能な低照明で写真を撮るための装置
US20210174090A1 (en) Imaging device, imaging method, and program
JP6632385B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JPWO2020161969A1 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2015106849A (ja) 主要被写体推定装置及びプログラム並びに情報処理装置
US11509826B2 (en) Imaging device, imaging method, and program
EP3145172A1 (en) Image capturing device and still image generating method
JP5733615B2 (ja) 画像表示装置、画像表示プログラム及び画像表示システム
CN115345805A (zh) 图像获取方法、装置、计算机设备和存储介质
JP2013098896A (ja) 画像処理装置およびプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid