KR102090105B1 - 카메라를 구비하는 장치의 이미지 처리장치 및 방법 - Google Patents

카메라를 구비하는 장치의 이미지 처리장치 및 방법 Download PDF

Info

Publication number
KR102090105B1
KR102090105B1 KR1020130083326A KR20130083326A KR102090105B1 KR 102090105 B1 KR102090105 B1 KR 102090105B1 KR 1020130083326 A KR1020130083326 A KR 1020130083326A KR 20130083326 A KR20130083326 A KR 20130083326A KR 102090105 B1 KR102090105 B1 KR 102090105B1
Authority
KR
South Korea
Prior art keywords
image
images
motion vector
shooting time
size
Prior art date
Application number
KR1020130083326A
Other languages
English (en)
Other versions
KR20150009184A (ko
Inventor
나진희
이기혁
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130083326A priority Critical patent/KR102090105B1/ko
Priority to US14/319,667 priority patent/US9560271B2/en
Publication of KR20150009184A publication Critical patent/KR20150009184A/ko
Application granted granted Critical
Publication of KR102090105B1 publication Critical patent/KR102090105B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

카메라를 구비하는 장치의 이미지 처리 방법이, 프리뷰 이미지들을 비교하여 오브젝트들의 움직임 방향으로 움직임 벡터를 추출하는 동작과, 추출된 움직임 성분에 따른 배경화면을 확보할 수 있는 촬영 시간 간격을 설정하는 동작과, 설정된 시간간격으로 피사체를 연속 촬영하는 동작과, 촬영된 이미지들에서 움직이는 오브젝트를 제거한 이미지를 생성 및 표시하는 동작으로 이루어진다.

Description

카메라를 구비하는 장치의 이미지 처리장치 및 방법{APPARATUS AND METHOD FOR PROCESSING AN IMAGE HAVING A CAMERA DEVICE}
본 발명은 카메라의 이미지 처리장치 및 방법에 관한 것으로, 움직이는 오브젝트를 포함하는 이미지를 처리하는 장치 및 방법에 관한 것이다.
카메라 장치 또는 카메라를 구비하는 전자장치에서 피사체를 촬영하는 경우, 원치않는 오브젝트를 포함할 수 있다. 예를들면 풍경 또는 건물 등과 같은 고정된 피사체를 촬영하고자 할때 촬영 시점에서 원치않는 움직이는 오브젝트(예를들면 사람, 비행 물체 등)가 포함될 수 있다. 또한 인물사진을 촬영할 때에도 촬영 시점에서 원치않는 움직이는 오브젝트(예를들면 행인, 동물, 자동차 등)가 포함될 수 있다.
이런 경우 사용자는 원하는 피사체의 사진을 얻기 위하여 다시 촬영하거나 또는 촬영된 이미지에서 원치않는 오브젝트를 제거하는 방법이 있다. 그러나 전자의 방법은 동일한 피사체를 재촬영하여야 하는 번거로움이 있었으며, 또한 재촬영시 촬영환경 및 조건이 변화되어 동일한 조건의 피사체를 촬영할 수 없게 될 수도 있다. 그리고 후자의 방법은 별도의 이미지 처리 프로그램(예를들면 photoshop)을 이용하여 촬영된 사진에서 원치않는 오브젝트를 수동으로 제거하여야 하는 번거로움이 있었으며, 또한 오브젝트 제거시 오브젝트가 위치된 이미지의 부분(예를들면 배경화면 등)을 완벽하게 복원하기 어려웠다.
카메라장치 또는 카메라를 구비하는 전자장치는 촬영된 이미지에서 오브젝트를 자동으로 제거하여 편집할 수 있는 촬영 및 이미지처리 장치 및 방법을 제안한다. 여기서 오브젝트는 움직이는 오브젝트가 될 수 있다.
본 발명의 다양한 실시예에 따른 카메라장치 또는 카메라를 구비하는 전자장치는 이레이져 촬영시 프리뷰에서 이미지의 움직임을 가지는 오브젝트를 분석하고 분석된 결과를 토대로 촬영 시간 및/또는 간격을 설정하며, 설정된 시간 간격에 따라 연속적으로 이미지를 촬영한 후 촬영된 이미지에서 오브젝트를 제거하여 원하는 이미지를 생성한다.
카메라를 구비하는 장치의 이미지 처리 방법이, 프리뷰 이미지들을 비교하여 오브젝트들의 움직임 방향으로 움직임 벡터를 추출하는 동작과, 추출된 움직임 성분에 따른 배경화면을 확보할 수 있는 촬영 시간 간격을 설정하는 동작과, 설정된 시간간격으로 피사체를 연속 촬영하는 동작과, 촬영된 이미지들에서 움직이는 오브젝트를 제거한 이미지를 생성 및 표시하는 동작으로 이루어진다.
또한 전자 장치의 이미지 처리 장치가, 카메라와, 상기 카메라에서 촬영되는 이미지를 표시하는 표시부와, 이미지를 저장하는 저장부와, 상기 카메라에서 출력되는 프리뷰 이미지들을 비교하여 오브젝트들의 움직임 방향으로 움직임 벡터를 추출 및 분석하여 촬영 시간 간격을 설정하고, 상기 카메라를 제어하여 상기 설정된 시간간격으로 피사체를 연속 촬영한 후, 촬영된 이미지들에서 움직이는 오브젝트를 제거한 이미지를 생성하여 상기 표시부에 표시하며, 상기 저장부에 저장하는 제어부로 구성된다.
카메라장치 및/또는 카메라를 구비하는 전자장치에서 피사체에 원치않는 오브젝트가 포함된 경우 이레이저 촬영모드를 수행하여 해당하는 오브젝트를 제거하여 원하는 이미지를 획득할 수 있다. 이때 카메라장치 및/또는 전자장치는 이레이저 촬영모드시 프리뷰모드에서 움직이는 오브젝트를 제거하기 위한 촬영시간 간격을 자동으로 설정하고, 촬영모드에서 설정된 촬영시간 간격으로 이미지를 연속적으로 촬영한 후, 촬영된 이미지들에서 원치않는 오브젝트를 자동으로 제거하고 제거된 영영역에 배경이미지를 합성하여 원하는 이미지를 획득할 수 잇다. 따라서 카메라장치 및/또는 전자장치는 이레이저 촬영을 위한 연속 촬영시 촬영 시간을 영상에 맞게 감소시킬 수 있고, 필요시 샷 간격을 조절하여 느리고 큰 피사체를 삭제할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 카메라 장치의 구성을 도시하는 도면
도 2는 본 발명의 다양한 실시예에 따른 제어부에서 이미지를 처리하는 구성을 도시하는 도면
도 3은 본 발명의 다양한 실시예에 따라 카메라 장치에서 오브젝트의 움직임 속도를 예측하여 촬영시간을 설정하는 방법을 설명하기 위한 도면
도 4A - 도 4D는 촬영된 이미지에서 움직임 오브젝트를 제거하는 방법을 설명하기 위한 도면
도 5는 카메라 장치 또는 카메라를 구비하는 전자장치에서 이레이저 촬영을 수행하는 절차를 도시하는 흐름도
도 6은 오브젝트 움직임에 따라 촬영시간 간격을 설정하기 위하여 오브젝트들의 움직임 벡터를 추출하는 절차를 도시하는 흐름도
도 7은 오브젝트의 움직임 속도를 예측하여 촬영시간 간격을 설정하는 방법을 설명하기 위한 도면
도 8은 오브젝트의 움직임 속도를 예측하여 촬영시간 간격을 설정하는 방법을 설명하기 위한 도면
도 9는 카메라 장치 또는 카메라를 구비하는 전자장치에서 움직임을 가지는 오브젝트를 제거한 이미지를 생성하는 방법을 설명하기 위한 도면
도 10은 본 발명의 다양한 실시예에 따라 이레이저 촬영을 수행하는 전자장치의 구성을 도시하는 도면
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
본 발명의 다양한 실시예에 따른 카메라장치 및 카메라를 구비하는 전자장치는 움직임을 가지는 원치않는 오브젝트를 포함하는 사진 촬영시 촬영된 사진에서 해당하는 오브젝트를 제거한 이미지를 생성할 수 있다. 따라서 본 발명의 다양한 실시예에 따른 카메라 장치 및 카메라를 구비하는 전자장치는 촬영시 카메라에서 출력되는 프리뷰 이미지들을 분석하여 움직이는 오브젝트들의 움직임 벡터를 추출하고, 추출된 움직임 벡터를 분석하여 움직이는 오브젝트들의 배경화면을 확보하기 위한 촬영 시간을 설정한 후, 상기 카메라를 제어하여 설정된 촬영 시간 간격으로 피사체를 연속 촬영한다. 이후 카메라 장치 또는 카메라를 구비하는 전자장치는 연속 촬영된 프레임이미지들에서 움직이는 오브젝트를 제거하고, 오브젝트가 제거된 이미지들을 합성하여 오브젝트가 제거된 위치에 배경화면이 포함되도록 이미지 처리하여 표시부에 표시 및 저장부에 저장한다.
이하의 설명에서 카메라를 구비하는 전자장치는 카메라 장치로 가정하여 설명하기로 한다. 또한 오브젝트라는 용어는 촬영되는 이미지에 포함된 피사체이며, 움직이는 오브젝트는 피사체에 포함되는 원치않는 오브젝트가 될 수 있다. 설정시간 간격이라는 용어는 이미지에 포함된 움직이는 오브젝트를 제거할 때 오브젝트가 제거된 위치에 배경이미지를 확보할 수 있는 촬영 시간이 될 수 있다. 상기 설정시간 간격(또는 주기)에서 상기 제어부100은 설정된 수의 이미지를 획득할 수 있도록 카메라를 연속 촬영 제어할 수 있다. 카메라 장치에서 움직이는 오브젝트를 제거하는 촬영모드는 이레이저 촬영모드(eraser shooting mode)라고 가정한다.
도 1은 본 발명의 다양한 실시예에 따른 카메라 장치의 구성을 도시하는 도면이다.
상기 도 1을 참조하면, 제어부100은 카메라 장치의 전반적인 동작을 제어한다. 또한 상기 제어부100은 이레이저 촬영시 프리뷰 이미지들을 분석하여 움직이는 오브젝트들의 움직임 벡터를 추출하고, 추출된 움직임 벡터을 분석하여 움직이는 촬영 시간을 설정한 후, 상기 카메라를 제어하여 설정된 촬영 시간 간격으로 피사체를 연속 촬영하고, 촬영된 프레임이미지들에서 움직이는 오브젝트를 제거하고, 오브젝트가 제거된 위치에 대응되는 배경화면을 합성한다.
카메라120은 상기 제어부100의 제어하에 카메라 구동모드시 프리뷰 이미지를 출력하며, 이레이져 촬영모드시 설정된 시간 동안 피사체를 연속 촬영한다.
메모리110은 카메라 장치의 동작 프로그램 및 본 발명의 다양한 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 촬영되는 이미지들을 저장하는 데이터 메모리를 구비할 수 있다. 또한 상기 메모리110은 본 발명의 다양한 실시예에 따라 촬영모드에서 프리뷰 모드에서 출력되는 카메라의 프레임 이미지들 및 연사촬영되는 이미지들을 일시 저장할 수 있으며, 상기 제어부100에서 편집된 이미지를 저장할 수 있다.
표시부130은 상기 제어부100의 제어하에 촬영되는 이미지를 표시한다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 카메라 장치의 촬영을 제어하기 위한 입력들을 발생한다. 여기서 상기 표시부130 및 입력부140은 일체형의 터치 스크린으로 구성될 수 있다.
상기와 같은 구성을 가지는 카메라장치에서 사용자는 입력부140을 통해 촬영모드를 설정할 수 있다. 여기서 촬영모드는 본 발명의 다양한 실시예에 따른 이레이저 촬영모드가 될 수 있으며, 상기 이레이저 촬영모드는 설정모드에서 설정할 수 있다. 여기서 상기 이레이저 촬영모드는 촬영되는 이미지에 원치 않는 움직이는 오브젝트가 포함되는 경우에 설정할 수 있다.
여기서 상기 제어부100은 도 2와 같은 구성을 포함할 수 있다. 도 2는 본 발명의 다양한 실시예에 따른 제어부에서 이미지를 처리하는 구성을 도시하는 도면이다.
상기 도 2를 참조하면, 영상처리부210은 카메라120에서 출력되는 영상신호를 디지털 영상으로 처리하고, 영상 데이터를 전처리 및 후처리한다. 상기 영상처리부210은 영상 전처리 및 후처리부, 이미지를 설정된 표시부130의 표시 사이즈로 스케일링한 이미지(이하 표시이미지라 칭함)를 생성하는 스케일러 및/또는 이미지 데이터를 압축 부호화하는 코덱 등을 구비할 수 있다. 여기서 움직이는 오브젝트를 추출하기 위한 이미지는 스케일링 이전의 이미지(즉, 카메라120에서 획득되는 사이즈의 raw image, 이하 캡쳐이미지라 칭함) 또는 스케일링된 표시이미지가 될 수 있다. 버퍼220은 상기 영상처리부210에서 처리된 이미지 데이터를 일시 저장한다. 여기서 상기 버퍼220은 상기 저장부110가 될 수 있으며, 또는 제어부100 내부의 버퍼가 될 수 있다.
분석부230은 상기 프리뷰 모드에서 상기 영상처리부210에서 처리되는 프레임 이미지와 버퍼220에서 저장된 이전 프레임의 이미지들을 비교 및 분석하여 이미지 내에 포함된 움직임을 가지는 오브젝트를 트래킹하여 움직임 벡터를 추출한다. 촬영시간 설정부240은 상기 분석부230에서 출력되는 피사체의 움직임 벡터 및 크기를 분석하여 촬영시간 간격을 설정한다. 여기서 상기 촬영시간 설정부240은 피사체 내에 존재하는 움직임을 가지는 오브젝트들의 움직임 속도 및 오브젝트의 크기를 분석하여 오브젝트에 의해 가려진 배경이 완전하게 나타날 수 있는 위치까지 오브젝트가 이동하는 시간으로 촬영시간을 설정한다.
상기와 같이 촬영시간이 설정되면, 상기 제어부100은 카메라를 제어하여 설정된 촬영시간 동안 연속적으로 이미지를 획득한다. 상기 제어부100은 이레이저 촬영모드시 촬영시간 동안 설정된 횟수 동안 연속 촬영신호(예를들면 5회 등)를 발생한다. 따라서 상기 촬영시간이 설정되면, 상기 제어부100은 설정된 촬영 시간에서 연속 촬영의 회수에 따른 촬영시간 간격을 설정한 후, 촬영 시간 간격에서 연속적으로 촬영제어신호를 발생한다. 영상처리부210은 상기 카메라120에서 연속적으로 획획득되는 이미지를 처리하며, 버퍼200은 영상처리부220에서 처리된 이미지를 일시 저장한다.
영상합성부250은 상기 버퍼220에 저장된 이미지들을 합성하여 움직임을 가지는 오브젝트를 제거하여, 제거된 오브젝트 위치에 배경 이미지를 합성하여 이미지를 생성한다. 즉, 상기 영상합성부250은 적어도 2개의 이미지들을 합성하여 제거된 오브젝트 위치에 배경화면을 복원하여 이미지를 생성한다. 제어부100은 상기 영상합성부250에서 생성된 이미지를 표시부130에 표시하며, 저장부110에 저장한다.
도 3은 본 발명의 다양한 실시예에 따라 카메라 장치에서 오브젝트의 움직임 속도를 예측하여 촬영시간을 설정하는 방법을 설명하기 위한 도면이다. 그리고 도 4A - 도 4D는 촬영된 이미지에서 움직임 오브젝트를 제거하는 방법을 설명하기 위한 도면이다.
상기 도 2, 도 3 및 도 4A-도 4D를 참조하면, 제어부100은 프리뷰 모드에서 카메라120을 구동하며, 카메라120에서 촬영되는 이미지들은 영상처리부210에서 표시이미지로 처리되어 표시부130에 표시된다. 여기서 상기 표시이미지는 카메라120에서 출력되는 이미지를 영상 전처리 및 후처리하며, 또한 표시이미지의 크기로 스케일링된 이미지가 될 수 있다. 이때 사용자가 입력부140을 통해 이레이저 촬영신호를 발생하면, 상기 제어부100은 프리뷰 모드를 수행하는 상태에서 상기 영상처리부210에서 출력되는 이미지를 버퍼220에 저장한다. 이때 상기 영상처리부210은 이레이저 촬영모드시 상기 버퍼220에 저장하는 이미지를 표시이미지로 처리하거나 또는 카메라120의 풀해상도 이미지로 처리할 수 있다. 따라서 상기 버퍼220은 프리뷰 모드에서 상기 영상처리부210에서 처리된 프레임 이미지들을 저장한다.
그러면 분석부230은 이전 프레임 이미지와 다음 프레임 이미지를 이용하여 피사체 내에 포함된 오브젝트들의 움직임을 분석한다. 상기 분석부230에서 이미지 내의 오브젝트 움직임을 판별하는 동작을 살펴본다. 상기 분석부230은 상기 버퍼220에서 출력되는 이전 프레임 이미지와 영상처리부210에서 출력되는 다음 프레임 이미지를 비교한다. 상기 분석부230은 이전 프레임 이미지와 다음 프레임 이미지를 비교할 때 각 픽셀별로 Y(밝기)값을 비교하고, 그 차이가 일정수준이 넘으면 움직임이 발생한 픽셀로 분류한다. 상기와 같이 프레임 이미지 비교를 비교한 결과값을 프레임 별로 저장하며, 상기 분석부230은 다음 프레임 이미지 구간에서도 다음 프레임 이미지와 이전 프레임 이미지와 비교하고, 밝기값의 차이가 이전 프레임간의 차이와 유사한 픽셀을 분류한다. 상기 분석부230은 밝기차가 유사한 픽셀을 연결한 벡터를 해당 픽셀의 움직임 벡터로 추출한다. 그리고 상기 분석부230은 이들 움직임 벡터가 유사한 픽셀들이 연결되거나 위치가 가까운 경우에는 동일 오브젝트로 간주하고, 해당 벡터들을 오브젝트의 움직임 벡터로 분류한다.
상기 분석부230은 촬영된 프레임 이미지에서 움직임을 가지는 각 오브젝트들에 대하여 움직임 벡터를 추출한다. 즉, 상기 카메라120에서 촬영되는 이미지는 움직이는 오브젝트를 포함하지 않을 수 있으며, 또는 하나 또는 두 개 이상의 움직이는 오브젝트들이 포함될 수 있다. 이때 두 개 이상의 움직이는 오브젝트가 포함된 경우, 상기 분석부230은 움직임을 가지는 각 오브젝트들에 대한 움직임 벡터를 추출한다.
이후 제어부100은 상기와 같이 추출된 오브젝트의 움직임 벡터 또는 움직임 벡터와 오브젝트의 크기를 이용하여 촬영시간을 설정할 수 있다. 여기서 상기 촬영시간은 이레이저 모드의 촬영시간으로써, 오브젝트 제거시 배경 이미지를 완전하게 복원할 수 있도록 오브젝트의 최초 위치에서 오브젝트가 오브젝트 크기 이상으로 이동하는 시간으로 설정되어야 한다. 이때 복수의 움직임을 가지는 오브젝트들이 포함된 이미지인 경우, 상기 제어부100은 가장 느린 속도를 가지는 오브젝트, 가장 큰 크기를 가지는 오브젝트, 또는 가장 느린 속도 및 큰 크기를 가지는 오브젝트를 제거할 수 있는 시간으로 촬영시간을 설정할 수 있다. 상기 촬영시간은 다음과 같은 방법으로 설정할 수 있다.
먼저 제어부100은 추출된 움직임 벡터로부터 오브젝트의 크기를 추출하고, 추출된 오브젝트의 크기와 움직임을 비교하여 촬영시간을 설정할 수 있다. 먼저 상기 분석부230은 분류된 각 오브젝트의 움직임 방향으로의 움직임 벡터를 추출한다.(pixel/frame). 그리고 촬영시간 설정부240은 상기 분류된 오브젝트의 움직임 벡터를 분석하여 각 오브젝트의 움직임 방향으로의 크기를 추출한다.(pixel). 이후 상기 촬영시간 설정부240은 상기 추출된 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값을 각 오브젝트별로 계산하며, 계산의 결과가 가장 큰 오브젝트를 가장 크고 느린 오브젝트로 설정한다. 그리고 상기 촬영시간 설정부240은 상기 설정된 오브젝트의 계산 결과값을 촬영시간 간격으로 설정한다. 여기서 상기 촬영시간 간격은 초당 최대 촬영 횟수로 설정할 수 있다. 즉, 상기 촬영시간은 제거되는 오브젝트의 위치(영역)를 배경 이미지로 완전하게 교체할 수 있도록 오브젝트가 이동되는 시간 이상으로 설정되어야 한다.
두 번째로 오브젝트의 움직임의 속도를 예측하여 촬영시간을 설정할 수 있다. 도 3은 오브젝트의 움직임 속드를 예측하여 촬영시간을 설정하는 방법을 설명하기 위한 도면이다. 먼저 촬영시간 설정부240은 설정된 프레임 주기 동안 분석부230에서 출력되는 오브젝트의 움직임 벡터들의 크기를 평균화하여 평균 속도를 구한다. 이때 상기 설정된 프레임 주기는 3 내지 5프레임 주기 정도로 설정할 수 있으며, 상기 설정된 프레임 주기동안 상기 분석부230에서 출력되는 각 프레임 이미지의 움직임벡터 값들을 평균하여 도 3의 310과 같이 평균속도를 구한다. 이후 상기 촬영시간 설정부240은 다음 프레임 구간(340)에서 320과 같이 움직임 벡터에 대해 크기 변화를 구하고, 이를 310과 같은 평균값과의 차를 360과 계산하여 그 증감을 구한다. 그리고 상기 촬영시간 설정부240은 이와 같은 방법으로 소정 프레임 주기 동안 추출되는 움직임벡터와 평균값과의 차이를 구하며, 이를 토대로 330과 같이 움직임 속도의 증감을 예측하여 예상 이동속도룰 구한다. 이때 상기 증감을 예측하는 방법은 칼만필터를 이용하여 구할 수 있다. 이후 상기 촬영시간 설정부240은 330과 같은 예상 이동 속도를 움직임 벡터로 판별하고, 상기 방법과 같이 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값을 초당 최대 촬영 횟수로 정한다.
이때 상기 촬영시간 설정부240은 복수의 움직임을 가지는 오브젝트들을 분석하여 촬영시간을 설정할 수 있다. 즉, 상기와 같이 가장 크고 느린 오브젝트를 제거하는 조건으로 이미지를 촬영한 후, 촬영 간격을 감소시켜도 다른 오브젝트를 삭제할 수 있다. 특히 임의의 오브젝트가 가장 느린 오브젝트와 움직임의 궤적이 겹치는 경우, 위와 같은 방법으로 다른 오브젝트를 삭제할 수 있다. 이런 경우 상기 촬영시간 설정부240은 촬영되는 이미지 내에서 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값이 두번째로 큰 값을 다음 촬영의 최대 초당 횟수로 정하고, 세번째로 큰 값을 그 다음 촬영의 최대 초당 횟수로 설정하는 방법을 사용할 수 있다. 이와 같은 방법은 오브젝트별 최대 샷 간격을 확보할 수 있으므로, 촬영 시간을 최소화 함과 동시에 복수의 오브젝트들을 삭제할 수 있도록 촬영시간을 설정할 수 있다.
또한 상기 촬영시간 설정부240은 선택한 오브젝트를 제거하기 위한 촬영 간격을 예측할 수 있다. 이런 방법은 사용자가 선택한 오브젝트를 분류하고, 분석부230은 오브젝트들의 움직임 벡터를 구하고, 상기 촬영시간 설정부140은 상기 움직임 벡터를 이용하여 움직임 방향으로의 오브젝트 크기를 구한 후, 오브젝트 크기를 움직임 벡터로 나눈 값을 해당 오브젝트의 최대 초당 촬영 횟수로 설정할 수 있다.
상기와 같이 촬영시간 및 촬영간격이 설정되면, 상기 제어부100은 카메라120을 설정된 촬영 간격으로 카메라120에서 출력되는 이미지를 획득한다. 그러면 상기 영상처리부210은 상기 카메라210에서 출력되는 이미지를 처리하여 버퍼220에 저장한다. 이때 상기 제어부100은 이레이저 모드에서 연속 촬영시 상기 영상처리부210을 설정된 촬영시간 간격으로 제어하여 이미지들을 처리할 수도 있다. 이때 상기 영상처리부210에서 처리되는 이미지는 카메라120의 풀해상도 이미지가 될 수 있다.
상기 도 4A - 도 4C는 이레이저 촬영 모드에서 영상처리부210에서 연속 처리되는 이미지들의 예를 도시하고 있다. 상기 도 4A - 도 4C에서 참조번호 410의 인물은 움직임을 가지지 않는 고정된 오브젝트이며, 오브젝트421 - 425는 움직임을 가지는 오브젝트인 경우의 예를 도시하고 있다. 즉, 촬영자는 인물 410 및 배경이미지의 촬영을 목적으로 하고 있으며, 촬영되는 이미지에는 원치않는 오브젝트421 - 425가 포함된 경우를 가정하고 있다. 이런 경우 사용자는 이레이저 촬영모드를 선택할 수 있다.
상기 이레이저 촬영모드가 선택되면, 상기 분석부230 및 촬영시간 설정부230은 프리뷰 모드에서 프레임 이미지들 내의 움직이는 오브젝트(여기서는 421-425가 될 수 있음)의 움직임 벡터를 검출한 후, 움직임 벡터의 속도 및/또는 오브젝트의 크기를 분석하여 배경이미지를 확보하면서 오브젝트들을 제거할 수 있는 촬영시간 및 촬영간격을 설정한다. 예를들면 도 4A와 같은 이미지에서 오브젝트 421을 제거하는 경우, 오브젝트 421의 위치(또는 영역) 427의 배경이미지를 확보할 수 있어야 한다. 이때 도 4B와 같은 이미지를 획득한 경우, 오브젝트431을 제어하는 경우 오브젝트431이 제거된 위치의 배경이미지437은 완벽하게 대체할 수 없는 상태가 된다. 따라서 상기 촬영시간 설정부240은 오브젝트427이 제거되는 경우에도 도 4C의 447과 같이 해당 오브젝트 위치의 배경이미지를 완벽하게 복원할 수 있도록 촬시간 및 촬영 간격을 설정하여야 한다. 이때 상기 촬영시간 및 간격은 초당 촬영 횟수로 설정될 수 있다.
상기와 같이 촬영시간 간격이 설정되면, 상기 제어부100은 상기와 같이 설정된 촬영시간 및 간격에 따라 카메라120(또는 영상처리부210)을 제어하여 이미지들을 획득할 수 있다. 이때 획득되는 이미지는 도 4A - 도 4C와 같다고 가정한다. 상기 도 4A에서 촬영자가 획득하고자하는 이미지는 오브젝트 410과 배경이미지를 포함하는 이미지라고 가정하며, 이런 경우 움직이는 오브젝트 421 - 425는 원치않는 피사체가 될 수 있다. 이런 경우 상기 제어부100은 움직이는 오브젝트421-425를 제거하고 해당 위치의 이미지를 배경이미지로 대체할 수 있다.
따라서 이레이저 모드에서 도 4A - 도 4C와 같은 이미지들이 획득되면, 버퍼220은 상기 획득된 이미지들을 일시 저장한다. 그리고 영상합성부250은 상기 도 4A - 도 4C와 같은 이미지들에서 움직이는 오브젝트 421 - 425을 제거하고, 제거된 오브젝트 위치에 배경이미지를 대체하여 이미지를 생성한다. 이때 상기 영상합성부250은 임의의 이미지(예를들면 blur가 없는 가장 양호한 상태의 이미지)를 선택하고, 선택된 이미지에서 움직이는 오브젝트들을 제거하며, 제거된 오브젝트 위치에서 배경이미지를 가지고 있는 이미지를 합성하여 이미지를 생성할 수 있다. 예를들면 도 4A 이미지를 선택한 경우, 상기 영상합성부250으 도 4A의 이미지에서 움직이는 오브젝트 421-425를 제거하며, 상기 도 4C의 431-437 이미지를 제거된 오브젝트의 이미지로 대체하여 이미지를 생성한다. 이런 경우 상기 영상합성부250에서 생성되는 이미지는 도 4D와 같은 이미지가 될 수 있다.
도 5는 카메라 장치 또는 카메라를 구비하는 전자장치에서 이레이저 촬영을 수행하는 절차를 도시하는 흐름도이다.
상기 도 5를 참조하면, 카메라120의 구동이 요청되면, 상기 제어부100은 511단계에서 이를 감지하고 카메라120을 구동하며, 513단계에서 프리뷰모드를 수행하여 상기 카메라120에서 출력되는 이미지를 표시 이미지로 처리한 후 표시부130에 표시한다. 이런 경우 영상처리부210은 카메라120에서 출력되는 이미지를 표시이미지로 처리하여 표시부130에 출력한다. 상기 프리뷰 모드에서 사용자는 원하는 이미지를 촬영할 수 있다. 이때 카메라120을 통해 촬영되는 이미지에 움직이는 오브젝트가 포함되어 있는 경우, 사용자는 이레이저 촬영모드를 수행할 수 있다. 이때 사용자가 입력부140을 통해 이레이저 촬영모드를 선택하면, 상기 제어부100은 515단계에서 이를 감지하고, 517단계에서 카메라120에서 획득되는 이미지에서 움직이는 오브젝트들의 움직임 벡터를 추출한 후, 움직임 벡터를 이용하여 촬영시간 간격을 설정한다. 이때 상기 오브젝트의 움직임에 따른 촬영시간 간격을 설정하는 방법은 다양하게 수행될 수 있다.
도 6은 도 5의 517단계에서 오브젝트 움직임에 따라 촬영시간 간격을 설정하기 위하여 오브젝트들의 움직임 벡터를 추출하는 절차를 도시하는 흐름도이다.
상기 도 6을 참조하면, 제어부100은 상기 카메라120에서 출력되는 프레임 이미지를 처리(이미지 전처리 및 후처리)하며, 613단계에서 상기 처리된 프레임 이미지를 버퍼링한다. 그리고 상기 제어부100은 615 단계에서 상기 저장된 이전 프레임 이미지와 다음 프레임 이미지(예를들면 현재 영상처리된 프레임 이미지)를 비교 분석하며, 617단계에서 상기 분석 결과를 토대로 이미지 내의 오브젝트들의 움직임 벡터를 추출한다. 즉, 상기 제어부100은 프리뷰 모드에서 이전 프레임과 다음 프레임의 이미지를 비교 분석하여 움직임이 발생된 픽셀들을 추출한다. 이때 상기 이미지 비교는 이전 및 이후 프레임 이미지에서 각 픽셀별 밝기 값을 비교하며, 상기 제어부100은 비교 결과에 따른 차이가 일정 값(설정된 기준 값)을 초과하면 해당 픽셀을 움직임이 발생된 픽셀로 분류한다. 상기 제어부100은 이와 같은 방법으로 카메라120에서 연속 출력되는 프레임 이미지들을 이전 프레임의 이미지와 비교하고, 밝기값의 차이가 이전 프레임간의 차이와 유사한 픽셀을 분류한다. 그리고 상기 제어부100은 프레임 이미지들의 픽셀을 비교하는 과정에서 검출되는 밝기차가 유사한 픽셀들의 움직임을 토대로 해당 픽셀의 움직임 벡터를 추출한다. 그리고 상기 움직임 벡터가 유사한 픽셀들이 연결되거나 위치가 가까운 경우 상기 제어부100은 대응되는 픽셀들을 동일 오브젝트로 간주하고, 해당 벡터들을 오브젝트의 움직임 벡터로 분류한다.
상기와 같이 움직임 벡터를 추출한 후, 상기 제어부100은 619단계에서 추출된 움직임 벡터를 이용하여 이미지에 포함된 움직이는 오브젝트를 제거하기 위한 촬영시간 간격을 설정한다. 여기서 상기 촬영시간 간격은 움직임 벡터로부터 오브젝트의 크기와 움직임을 비교하여 촬영시간 간격을 설정할 수 있으며, 또한 오브젝트의 움직임 속도를 예측하여 촬영시간 간격을 설정할 수 있다.
도 7은 움직임 벡터로부터 오브젝트의 크기와 움직임을 비교하여 촬영시간 간격을 설정하는 방법을 설명하기 위한 도면이며, 도 8은 오브젝트의 움직임 속도를 예측하여 촬영시간 간격을 설정하는 방법을 설명하기 위한 도면이다.
상기 도 7을 참조하면, 상기 제어부100은 상기한 바와 같이 분류된 각 오브젝트의 움직임 방향으로의 움직임 벡터를 추출한 후, 711단계에서 상기 분류된 각 오브젝트의 움직임 방향으로의 크기를 추출한다. 이후 상기 제어부100은 713단계에서 상기 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값을 각 오브젝트별로 구하며, 715단계에서 상기 계산의 결과를 분석하여 가장 큰 오브젝트, 또는 가장 느린 이동속도를 가지는 오브젝트, 또는 가장 크고 느린 움직을 가지는 오브젝트를 선택한 후, 717단계에서 해당 오브젝트의 계산 결과값으로 촬영시간 간격(예를들면 초당 최대 촬영 횟수)를 설정한다.
상기 도 8을 참조하면, 상기 제어부100은 811단계에서 프리뷰 모드에서 처리되는 설정된 수의 프레임 이미지들에서 움직임을 가지는 오브젝트들의 움직임 벡터(즉, 움직임의 크기) 값의 평균을 구한다. 여기서 상기 설정된 수의 프레임은 3프레임에서 5프레임 사이의 프레임 수로 설정할 수 있다. 그리고 상기 제어부100은 813단계에서 현재 프레임의 움직임 벡터를 추출한 후, 평균값과의 차를 구하여 그 증감을 구한다. 상기와 같이 상기 평균값과의 차이를 구하는 방법은 소정 프레임간 수행할 수 있다. 이후 상기 제어부100은 815단계에서 상기평균값과의 차이에 따른 속도의 증감을 예측하여 이후 프레임에서의 오브젝트의 움직임 속도를 예측한다. 여기서 상기 오브젝트의 움직임 속도의 증감을 예측은 상기한 바와 같이 칼만필터를 이용할 수도 있다. 그리고 상기 제어부100은 817단계에서 상기 예측된 예상 이동 속도를 움직임 벡터로 판별하고, 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값을 초당 최대 촬영 횟수로 설정한다.
상기 도 5 - 도 8과 같은 절차를 수행하면서 움직임 벡터 및 촬영시간 간격을 설정하여 이레이저 모드의 촬영시간 간격을 설정할 수 있다. 이때 프레임 이미지 내에는 복수의 움직임을 가지는 오브젝트들이 포함될 수 있다. 이런 경우 상기한 바와 같이 가장 크며 이동속도가 느린 오브젝트의 이동을 분석하여 촬영 시간 간격을 설정할 수 있다. 그리고 상기 각 오브젝트들의 움직임에 따라 촬영시간 간격을 가변적으로 설정할 수 있다.
여기서 복수의 오브젝트들에 대하 촬영시간 간격을 설정하는 방법은 다음과 같이 설정할 수 있다. 상기 제어부는 가장 크고 느린 오브젝트를 지우는 조건으로 촬영한 후에는 촬영 간격을 감소시켜도 다른 오브젝트를 삭제할 수 있다. 특히 상기 가장 느린 오브젝트와 움직임의 궤적이 겹치는 경우, 상기 제어부는 다른 해당 오브젝트를 삭제할 수 있다. 그러나 오브젝트의 움직임 궤적이 겹치지 않는 경우, 상기 제어부100은 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값이 두번째로 큰 값을 다음 촬영의 최대 초당 횟수로 정하고, 세번째로 큰 값을 그 다음 촬영의 최대 초당 횟수로 정한다. 그러면 오브젝트별 최대 샷 간격을 확보할 수 있으므로, 상기 제어부100은 촬영 시간을 최소화 함과 동시에 복수의 오브젝트를 삭제할 수 있다.
또한 사용자가 선택된 오브젝트의 움직임을 분석하여 촬영시간 간격을 설정할 수 있다. 상기 도 4A - 도 4C와 같은 이미지는 3개의 움직임을 가지는 오브젝트 421- 425를 포함하며, 이때 사용자는 이들 중 특정 오브젝트를 선택하여 촬영시간 간격을 설정할 수 있다. 즉, 사용자는 표시부130에 표시되는 움직이는 오브젝트의 이동속도 및 크기를 육안으로 확인할 수 있으며, 이레이저 촬영모드시 오브젝트의 크기가 가장 크고 움직임속도가 느린 오브젝트를 선택할 수 있다. 이런 경우 상기 제어부100은 사용자가 선택한 오브젝트를 분류하고, 선택된 오브젝트의 움직임 벡터와 움직임 방향으로의 오브젝트 크기를 구하고, 오브젝트 크기를 움직임 벡터로 나눈 값을 해당 오브젝트의 최대 초당 촬영 횟수로 설정할 수 있다.
상기와 같이 상기 제어부100은 이레이저 촬영모드시 도 5의 517단계에서 이미지 내의 오브젝트들의 크기 및/또는 움직임 속도를 분석하여 촬영시간 간격을 설정할 수 있다. 그리고 상기 촬영시간 간격 설정한 후, 상기 제어부100은 519단계에서 설정된 촬영시간 간격으로 이미지를 획득하여 버퍼링한다. 이때 상기 연속적으로 이미지를 획득하는 방법은 상기한 바와 같이 상기 카메라120에서 출력되는 프레임 이미지를 설정된 시간 간격에서 연속적으로 획득할 수 있다. 이후 상기 제어부100은 521단계에서 상기 버퍼링된 프레임 이미지들 중에서 특정 프레임 이미지의 오브젝트를 제거하고, 오브젝트가 제거된 위치의 배경이미지를 다른 프레임 이미지와 합성하여 편집된 프레임 이미지를 생성한다.
도 9는 카메라 장치 또는 카메라를 구비하는 전자장치에서 움직임을 가지는 오브젝트를 제거한 이미지를 생성하는 방법을 설명하기 위한 도면이다.
상기 도 9를 참조하면, 상기 제어부100은 911단계에서 설정된 촬영시간 간격으로 촬영되는 이미지를 표시부130에 표시하며, 또한 이미지들을 일시 저장한다. 그리고 촬영 완료시 촬영된 이미지에서 움직이는 이미지를 제거한 후 합성하여 움직이는 오브젝트가 제거된 이미지를 생성한다. 이때 오브젝트를 제거하기 위한 이미지는 사용자가 선택할 수 있으며, 또한 제어부100이 선택할 수 있다.
이때 사용자가 이미지를 선택하지 않으면, 상기 제어부100은 913단계에서 이를 감지하고, 919단계에서 오브젝트를 제거할 이미지를 선택한다. 이때 선택되는 이미지는 연속촬영된 복수의 이미지들 중에서 움직임 오브젝트가 없는 이미지(즉, 오브젝트가 촬영 영역을 벗어난 경우), 또는 가장 선명하게 촬영된 이미지(예를들면 blur가 없는 이미지)가 될 수 있다. 또한 상기 제어부100은 연속 촬영된 이미지에서 첫 번째 프레임 이미지 또는 마지막 프레임 이미지를 선택할 수도 있다. 상기와 같이 이미지를 선택한 후, 상기 제어부100은 921단계에서 선택된 프레임 이미지에서 움직임을 가지는 오브젝트를 제거한다. 이후 상기 제어부100은 917단계에서 오브젝트가 제거된 이미지에서 제거된 오브젝트 위치(오브젝트가 제거된 이미지의 영역)에 배경이미지를 가지는 프레임 이미지를 선택하여 복수의 프레임 이미지들을 합성한다. 이런 경우 도 4D와 같이 오브젝트가 제거된 이미지를 생성하게 된다.
또한 사용자가 이미지를 선택하면, 상기 제어부100은 913단계에서 이를 감지하고, 선택된 이미지에서 움직임을 가지는 오브젝트를 제거한다. 이후 상기 제어부100은 917단계에서 움직임이 제거된 위치에서 배경이미지를 가지는 프레임 이미지를 선택한 후 프레임 이미지들을 합성한다.
상기 도 9와 같은 절차를 수행하면서 이미지에서 오브젝트를 제거한 후, 상기 제어부100은 도 5의 523단계에서 생성된 이미지를 표시부130에 표시하며, 생성된 이미지를 저장부110에 저장한다. 이때 상기 연속 촬영된 프레임 이미지들은 제거될 수 있으며, 또한 상기 저장부110에 생성된 이미지와 함께 저장할 수 있다. 상기와 같은 이레이저 촬영모드는 사용자가 촬영 카메라 구동을 종료할 때까지 수행될 수 있다. 그리고 사용자가 카메라 촬영의 종료를 요청하면, 상기 제어부100은 525단계에서 이를 감지하고, 촬영 절차를 종료한다.
도 10은 본 발명의 다양한 실시예에 따라 이레이저 촬영을 수행하는 전자장치의 구성을 도시하는 도면이다. 여기서 상기 전자장치는 카메라를 구비하는 장치로써, 스마트 폰을 포함하는 휴대전화기, MP3단말기, 타블렛, 컴퓨터, 카메라 장치 등의 다양한 디지털 기기들이 될 수 있다.
상기 도 10을 참조하면, 통신부170은 기지국 또는 인터넷 서버 등과 무선 통신 기능을 수행한다. 여기서 상기 통신부170은 송신신호의 주파수를 상승변환(frequency up converter) 및 전력 증폭하는 송신부와, 수신신호를 저잡음 증폭 및 주파수를 하강변환(frequency down converter)하는 수신부 등으로 구성될 수 있다. 또한 상기 통신부170은 변조부 및 복조부를 구비할 수 있다. 여기서 변조부는 송신신호를 변조하여 송신부에 전달하며, 복조부는 수신부를 통해 수신되는 신호를 복조한다. 이런 경우, 상기 변복조부는 LTE, WCDMA, GSM 등이 될 수 있으며, 또한 WIFI, WIBRO 등이 될 수 있고, NFC, Bluetooth 등이 될 수 있다. 본 발명의 실시예에서는 상기 통신부170이 LTE, WIFI, bluetooh 통신부들을 구비한다고 가정한다.
제1카메라120은 단말기 장치의 후면에 장착되는 후면 카메라로써 고 해상도의 이미지를 촬영할 수 있다. 제2카메라125는 단말기 장치의 전면에 장착되는 전면 카메라로써, 상기 제1카메라120에 비해 상대적으로 낮은 저해상도 이미지를 촬영할 수 있다.
제어부100은 휴대단말기의 전반적인 동작을 제어하며, 이레이저 촬영모드를 수행할 수 있다. 상기 이레이저 촬영모드시 상기 제어부100은 프리뷰모드에서 연속적으로 획득되는 프레임 이미지들과 이전의 프레임 프레임이미지들을 비교 분석하여 이미지의 오브젝트 특성에 따라 촬영시간 간격을 설정하고, 설정된 촬영시간 간격으로 이미지들을 연속 촬영하며, 연속 촬영된이미지들에서 원치않는 오브젝트를 제거한 후 오브젝트가 제거된 영역에 해당하는 배경이미지를 합성하여 이미지를 생성할 수 있다.
저장부110은 단말기의 동작 프로그램 및 본 발명의 다양한 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 전자장치의 동작을 위한 테이블들 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리를 구비할 수 있다. 또한 상기 저장부110은 이레이저 촬영모드에서 획득되는 이미지들을 일시 저장하며, 이미지 합성에 의해 최종적으로 편집된 이미지를 저장한다.
표시부130은 상기 제어부100의 제어하에 실행중인 어플리케이션의 정보를 표시한다. 상기 표시부130은 이레이저 촬영모드를 실행하기 위한 이레이저 촬영모드의 버튼들을 표시하며, 또한 연속 촬영되는 이미지들을 이미지들을 표시한다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 정정용량 방식 또는 저항막 방식으로 구현할 될 수 있으며, 사용자의 터치(이하 손가락 터치라고 가정한다)의 위치정보를 상기 제어부100에 출력한다. 또한 상기 입력부140은 EMR센서 패드를 더 구비할 수 있으며, 펜 터치입력을 감지하여 상기 제어부100에 출력한다. 여기서 상기 표시부130 및 입력부140은 일체형으로 구성할 수 있다.
오디오처리부150은 상기 제어부100의 제어하에 통신모드에서 발생되는 음성 신호를 처리하며, 또한 촬영모드시 상기 제어부100의 제어하여 카메라120 및 125의 동작음을 출력한다. 센서160은 휴대단말기의 움직임을 감지하기 위한 센서들을 구비한다. 여기서 상기 센서들은 가속도센서, 지자기센서 및/또는 위치감지 센서들로 구성될 수 있다.
상기와 같은 구성을 가지는 카메라120 및/또는 125를 구비하는 전자장치는 이레이저 촬영모드시 촬영되는 이미지를 분석하여 이미지의 오브젝트 특성에 따라 촬영시간 간격을 설정하고, 설정된 촬영시간 간격으로 연속 촬영되는 이미지들에서 원치않는 오브젝트를 제거한 후 합성하여 이미지를 생성할 수 있다.
이를 위하여, 이레이저 촬영모드시 상기 전자장치는 먼저 프리뷰 모드에서 이미지에 포함된 움직임을 가지는 오브젝트들의 움직임을 분석하여 연속 촬영의 샷 간격을 설정한다. 이를 위하여, 상기 전자장치는 움직임 오브젝트들을 분류하고, 분류된 각 오브젝트의 움직임 방향으로의 움직임 벡터를 추출하고, 분류된 오브젝트의 움직임 방향으로의 크기를 추출한다. 이후 상기 전자장치는 상기 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값을 각 오브젝트별로 계산한 후, 계산의 결과가 가장 큰 오브젝트를 가장 크고 느린 오브젝트로 분류하고, 그 결과값을 샷 간격(초당 최대 촬영 횟수)로 설정한다. 이후 상기 전자장치는 설정된 샷 간격으로 이미지를 촬영하며, 촬영된 이미지에서 해당하는 오브젝트들을 제거한 후 오브젝트가 제거된 위치에 배경이미지를 합성하여 원하는 이미지를 생성한다.
이때 상기 움직임을 가지는 오브젝트의 움직임 벡터는 이전 프레임과 이후 프레임의 밝기값의 차이가 유사한 픽셀들을 분류하고, 분류된 픽셀의 유사도가 높은 픽셀들이 이동한 크기와 방향을 벡터로 정의한다. 그리고 오브젝트의 움직임 방향으로의 크기는 상기 움직임 벡터의 방향을 추출하고, 추출된 방향으로의 오브젝트의의 크기를 분석하여 결정한다.
또한 상기 전자장치는 이미지 내에 포함되는 오브젝트의 움직임의 속도를 예측하여 샷 간격을 설정할 수도 있다. 이런 경우, 상기 전자장치는 프리뷰 상태의 이미지를 분석하여 피사체의 움직임 벡터를 추출한다. 그리고 상기 전자장치는 상기와 같은 추출되는 움직임 벡터를 설정된 횟수의 프레임 구간동안 구하여 평균 값을 계산한다. 상기 전자장치는 이후 추출되는 프레임 이미지에서 오브젝트의 움직임 벡터의 크기와 상기 평균값과의 차이를 구하고, 상기 차이 값을 다음 프레임에서의 오브젝트 움직임 벡터 증가량으로 판단한다. 그리고 상기와 같이 구해지는 오브젝트 움직임 벡터의 증가량으로 다음 프레임의 이동 속도를 예측한 후, 예측된 이동속도를 토대로 샷 간격을 설정할 수 있다.
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: 제어부 110: 저장부
120: 카메라 130: 표시부
140: 입력부

Claims (19)

  1. 카메라를 구비하는 장치의 이미지 처리 방법에 있어서,
    프리뷰 이미지들을 비교하여 오브젝트들의 움직임 방향으로 움직임 벡터를 추출하는 동작과,
    추출된 움직임 성분에 따른 배경화면을 확보할 수 있는 촬영 시간 간격을 설정하는 동작과,
    설정된 시간간격으로 피사체를 연속 촬영하는 동작과,
    촬영된 이미지들에서 움직이는 오브젝트를 제거한 이미지를 생성 및 표시하는 동작을 포함하고,
    상기 촬영시간 간격을 설정하는 동작은
    상기 오브젝트의 움직임 방향으로의 크기를 추출하는 동작과,
    추출된 상기 오브젝트의 크기 및 상기 움직임 벡터의 이동속도를 분석하여 오브젝트의 배경을 확보할 수 있는 촬영시간 및 간격을 설정하는 동작을 포함하는 방법.
  2. 제1항에 있어서, 촬영된 이미지를 표시하는 동작은
    연속 촬영된 이미지들에서 오브젝트들을 제거하는 동작과,
    상기 오브젝트가 제거된 이미지들을 합성하여 이미지를 생성 및 표시하는 동작을 포함하는 방법.
  3. 제2항에 있어서, 오브젝트를 제거하는 동작은
    연속 촬영된 이미지들 중에서 흔들림이 없는 적어도 2개의 이미지들을 선택하는 동작과,
    상기 선택된 이미지들에서 오브젝트를 제거하는 동작으로 이루어지며,
    상기 선택된 이미지들은 다른 이미지에서 오브젝트가 제거된 위치에 배경이미지를 가지고 있는 이미지들인 방법.
  4. 제2항에 있어서,
    상기 움직임 벡터를 추출하는 동작은
    프리뷰 이미지의 이전 프레임 이미지와 이후 프레임 이미지의 밝기값의 차이가 유사한 픽셀들을 분류하고, 분류된 픽셀의 유사도가 높은 픽셀들이 이동한 크기와 방향을 벡터로 정의하는 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 오브젝트의 크기는 움직임 벡터의 방향을 추출하고 추출된 방향으로의 피사체 크기인 방법.
  7. 제6항에 있어서, 촬영시간 및 간격을 설정하는 동작은
    상기 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값을 각 오브젝트별로 계산하는 동작과,
    상기 계산의 결과가 가장 크고 느린 오브젝트의 계산 결과값을 초당 최대 촬영 횟수로 설정하여 촬영 시간 및 간격을 설정하는 방법.
  8. 제1항에 있어서, 촬영시간 간격을 설정하는 동작은
    설정된 프레임 이미지들에서 오브젝트들의 평균 움직임 벡터를 계산하는 동작과,
    프레임 이미지의 움직임 벡터 값과 상기 평균 움직임 벡터 값의 차이를 계산하는 동작과,
    계산된 상기 차이 값을 다음 프레임에서의 피사체 움직임 벡터 증가량으로 판단하여 촬영시간 및 간격을 설정하는 동작을 포함하는 방법
  9. 제1항에 있어서, 촬영시간 간격을 설정하는 동작은
    상기 오브젝트의 움직임 방향으로의 크기를 추출하는 동작과,
    추출된 각 오브젝트의 크기 및 상기 움직임 벡터의 이동속도를 분석하여 오브젝트의 배경을 확보할 수 있는 촬영시간 간격을 설정하는 동작과,
    상기 각 오브젝트들의 촬영 시간간격을 큰 순서대로 설정하여 연속 촬영의 시간 간격을 설정하는 동작을 포함하는 방법.
  10. 전자 장치에 있어서,
    카메라와,
    상기 카메라에서 촬영되는 이미지를 표시하는 표시부와,
    이미지를 저장하는 저장부와,
    제어부를 포함하고, 상기 제어부는,
    상기 카메라에서 출력되는 프리뷰 이미지들을 비교하여 오브젝트들의 움직임 방향으로 움직임 벡터를 추출 및 분석하여 촬영 시간 간격을 설정하고,
    상기 카메라를 제어하여 상기 설정된 시간간격으로 피사체를 연속 촬영한 후, 촬영된 이미지들에서 움직이는 오브젝트를 제거한 이미지를 생성하여 상기 표시부에 표시하고,
    상기 생성된 이미지를 상기 저장부에 저장하며,
    상기 촬영 시간 간격을 설정하는 동작으로서, 상기 오브젝트의 움직임 방향으로의 크기를 추출하고, 추출된 상기 오브젝트의 크기 및 상기 움직임 벡터의 이동속도를 분석하여 오브젝트의 배경을 확보할 수 있는 촬영시간 및 간격을 설정하는 것을 특징으로 하는 전자 장치.
  11. 제10항에 있어서, 상기 제어부는
    상기 카메라에서 출력되는 이미지를 처리하는 영상처리부와,
    영상 처리된 이미지를 버퍼링하는 버퍼와,
    상기 영상처리부 및 버퍼에서 출력되는 프레임이미지들을 분석하여 움직이는 오브젝트의 움직임 벡터를 추출하는 분석부와,
    상기 움직임벡터를 분석하여 상기 오브젝트를 제거하기 위해 상기 카메라의 연속 촬영을 위한 촬영 시간 간격을 설정하는 간격설정부와,
    상기 버퍼에서 연속된 촬영된 이미지들에서 복수의 이미지를 선택하여 오브젝트를 제거한 후 합성하여 편집된 이미지를 발생하는 영상합성부를 포함하는 것을 특징으로 하는 전자 장치.
  12. 제11항에 있어서, 제어부는
    연속 촬영되는 이미지들을 상기 버퍼에 저장하며, 촬영 종료 후 저장된 연속 촬영 이미지들의 오브젝트들을 제거하고, 상기 오브젝트가 제거된 이미지들을 합성하여 이미지를 생성하며, 상기 생성된 이미지를 표시부 및 저장부에 각각 출력하는 것을 특징으로 하는 전자 장치.
  13. 제12항에 있어서, 상기 제어부는
    상기 버퍼에 저장된 연속 촬영된 이미지들 중에서 흔들림이 없는 적어도 2개의 이미지들을 선택하며, 상기 선택된 이미지들에서 오브젝트를 제거한 후 합성하며, 상기 선택된 이미지들은 다른 이미지에서 오브젝트가 제거된 위치에 배경이미지를 가지고 있는 이미지들인 것을 특징으로 하는 전자 장치.
  14. 제12항에 있어서, 상기 제어부는
    상기 카메라에서 출력되는 프리뷰 이미지의 이전 프레임 이미지와 이후 프레임 이미지의 밝기값의 차이가 유사한 픽셀들을 분류하고, 분류된 픽셀의 유사도가 높은 픽셀들이 이동한 크기와 방향을 벡터로 추출하는 것을 특징으로 하는 전자 장치.
  15. 삭제
  16. 제10항에 있어서, 상기 오브젝트의 크기는 움직임 벡터의 방향을 추출하고 추출된 방향으로의 피사체 크기인 것을 특징으로 하는 전자 장치.
  17. 제16항에 있어서, 상기 제어부는
    촬영 시간간격 설정시 상기 오브젝트의 크기를 움직임 벡터의 크기로 나눈 값을 각 오브젝트별로 계산하고, 상기 계산의 결과가 가장 크고 느린 오브젝트의 계산 결과값을 초당 최대 촬영 횟수로 설정하여 촬영 시간 및 간격을 설정하는 것을 특징으로 하는 전자 장치.
  18. 제10항에 있어서, 상기 제어부는
    촬영 시간간격 설정시 설정된 프레임 이미지들에서 오브젝트들의 평균 움직임 벡터를 계산하며, 프레임 이미지의 움직임 벡터 값과 상기 평균 움직임 벡터 값의 차이를 계산한 후, 계산된 상기 차이 값을 다음 프레임에서의 피사체 움직임 벡터 증가량으로 판단하여 촬영시간 및 간격을 설정하는 것을 특징으로 하는 전자 장치.
  19. 제10항에 있어서, 상기 제어부는
    상기 촬영시간 간격 설정시 상기 오브젝트의 움직임 방향으로의 크기를 추출하고, 추출된 각 오브젝트의 크기 및 상기 움직임 벡터의 이동속도를 분석하여 오브젝트의 배경을 확보할 수 있는 촬영시간 간격을 설정한 후, 상기 각 오브젝트들의 촬영 시간간격을 큰 순서대로 설정하여 연속 촬영의 시간 간격을 설정하는 것을 특징으로 하는 전자 장치.
KR1020130083326A 2013-07-16 2013-07-16 카메라를 구비하는 장치의 이미지 처리장치 및 방법 KR102090105B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130083326A KR102090105B1 (ko) 2013-07-16 2013-07-16 카메라를 구비하는 장치의 이미지 처리장치 및 방법
US14/319,667 US9560271B2 (en) 2013-07-16 2014-06-30 Removing unwanted objects from photographed image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130083326A KR102090105B1 (ko) 2013-07-16 2013-07-16 카메라를 구비하는 장치의 이미지 처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150009184A KR20150009184A (ko) 2015-01-26
KR102090105B1 true KR102090105B1 (ko) 2020-03-17

Family

ID=52343304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130083326A KR102090105B1 (ko) 2013-07-16 2013-07-16 카메라를 구비하는 장치의 이미지 처리장치 및 방법

Country Status (2)

Country Link
US (1) US9560271B2 (ko)
KR (1) KR102090105B1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999140B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
JP2015022534A (ja) * 2013-07-19 2015-02-02 富士ゼロックス株式会社 情報処理装置及びプログラム
US9473687B2 (en) 2014-12-23 2016-10-18 Ebay Inc. Modifying image parameters using wearable device input
JP6557973B2 (ja) * 2015-01-07 2019-08-14 株式会社リコー 地図生成装置、地図生成方法およびプログラム
KR102367828B1 (ko) * 2015-06-05 2022-02-25 삼성전자주식회사 이미지 운용 방법 및 이를 지원하는 전자 장치
US10432868B2 (en) 2015-08-27 2019-10-01 International Business Machines Corporation Removing aerial camera drones from a primary camera's field of view
WO2017039348A1 (en) 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
KR101729164B1 (ko) 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
JP2018535572A (ja) * 2015-09-21 2018-11-29 クアルコム，インコーポレイテッド カメラプレビュー
CN106603903A (zh) * 2015-10-15 2017-04-26 中兴通讯股份有限公司 照片处理方法及装置
US20170214856A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
CN105652560B (zh) * 2016-01-25 2018-08-14 广东小天才科技有限公司 一种自动调节焦距的拍照方法及系统
US10051180B1 (en) * 2016-03-04 2018-08-14 Scott Zhihao Chen Method and system for removing an obstructing object in a panoramic image
US10102635B2 (en) 2016-03-10 2018-10-16 Sony Corporation Method for moving object detection by a Kalman filter-based approach
KR102462644B1 (ko) 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN107517345B (zh) * 2016-06-17 2019-06-18 华为终端有限公司 拍摄预览方法及拍摄设备
US10169894B2 (en) * 2016-10-06 2019-01-01 International Business Machines Corporation Rebuilding images based on historical image data
EP3328061A1 (en) 2016-11-29 2018-05-30 Thomson Licensing Device and method for generating a motionless picture
CN106851098A (zh) * 2017-01-20 2017-06-13 努比亚技术有限公司 一种图像处理方法及移动终端
CN107240068A (zh) * 2017-05-23 2017-10-10 北京小米移动软件有限公司 图片处理方法及装置
US11350043B2 (en) * 2017-07-17 2022-05-31 Huawei Technologies Co., Ltd. Image processing method and terminal
CN107688430B (zh) * 2017-09-07 2020-04-14 Oppo广东移动通信有限公司 更换壁纸的方法、装置、终端及存储介质
US10284789B2 (en) 2017-09-15 2019-05-07 Sony Corporation Dynamic generation of image of a scene based on removal of undesired object present in the scene
US11176679B2 (en) 2017-10-24 2021-11-16 Hewlett-Packard Development Company, L.P. Person segmentations for background replacements
US11328396B2 (en) 2017-12-26 2022-05-10 Samsung Electronics Co., Ltd. Image acquisition device and method of controlling the same
EP4105878A1 (en) * 2017-12-26 2022-12-21 Samsung Electronics Co., Ltd. Image acquisition device and method of controlling the same
US10902626B2 (en) * 2018-04-11 2021-01-26 International Business Machines Corporation Preventing intrusion during video recording or streaming
US10839492B2 (en) 2018-05-23 2020-11-17 International Business Machines Corporation Selectively redacting unrelated objects from images of a group captured within a coverage area
KR102061867B1 (ko) * 2018-09-10 2020-01-02 한성욱 이미지 생성 장치 및 그 방법
KR102231794B1 (ko) * 2019-06-26 2021-03-25 유수연 인공지능을 이용하여 이미지의 객체를 제거하는 방법
KR102247025B1 (ko) * 2019-12-20 2021-04-29 울산과학기술원 객체 제거를 통한 이미지 처리 방법 및 장치
KR20210089038A (ko) 2020-01-07 2021-07-15 삼성전자주식회사 전자 장치 및 그 제어 방법
US11122198B2 (en) 2020-01-07 2021-09-14 International Business Machines Corporation Adjusting image capture parameters via machine learning
KR102321646B1 (ko) * 2020-02-17 2021-11-10 임수정 사진 보정 방법 및 이를 구현하는 서버
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和系统、存储介质、计算设备
KR102389304B1 (ko) * 2020-10-16 2022-04-21 주식회사 씨앤에이아이 주변 영역을 고려한 이미지 인페인팅 방법 및 디바이스
KR102389284B1 (ko) * 2020-10-16 2022-04-21 주식회사 씨앤에이아이 인공지능 기반 이미지 인페인팅 방법 및 디바이스
CN112422828B (zh) * 2020-11-17 2023-04-28 维沃移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN112887611A (zh) * 2021-01-27 2021-06-01 维沃移动通信有限公司 图像处理方法、装置、设备和存储介质
US11750938B2 (en) * 2021-02-18 2023-09-05 Canon Kabushiki Kaisha Image pickup apparatus that can assist user, control method therefor, and storage medium storing control program therefor
KR102599310B1 (ko) * 2021-12-10 2023-11-06 현대오토에버 주식회사 Mms에 의해 촬영된 영상으로부터 차량이 제거된 영상을 획득하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302383A1 (en) * 2005-09-21 2010-12-02 Chiou-Shann Fuh Image Processing Method and Apparatus Thereof
US20110103644A1 (en) * 2009-10-30 2011-05-05 Zoran Corporation Method and apparatus for image detection with undesired object removal

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040223649A1 (en) * 2003-05-07 2004-11-11 Eastman Kodak Company Composite imaging method and system
US20050129324A1 (en) * 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
US8768070B2 (en) * 2008-06-27 2014-07-01 Nokia Corporation Method, apparatus and computer program product for providing image modification
KR101426040B1 (ko) * 2009-01-15 2014-08-01 삼성테크윈 주식회사 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치
KR101665130B1 (ko) * 2009-07-15 2016-10-25 삼성전자주식회사 복수의 인물에 대한 이미지 생성 장치 및 방법
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US9082198B2 (en) * 2012-10-19 2015-07-14 Qualcomm Technologies, Inc. Method for creating automatic cinemagraphs on an imagine device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302383A1 (en) * 2005-09-21 2010-12-02 Chiou-Shann Fuh Image Processing Method and Apparatus Thereof
US20110103644A1 (en) * 2009-10-30 2011-05-05 Zoran Corporation Method and apparatus for image detection with undesired object removal

Also Published As

Publication number Publication date
KR20150009184A (ko) 2015-01-26
US20150022698A1 (en) 2015-01-22
US9560271B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
KR102090105B1 (ko) 카메라를 구비하는 장치의 이미지 처리장치 및 방법
US9706123B2 (en) Video image stabilization
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
KR102076773B1 (ko) 영상 데이터 획득 방법 및 그 방법을 처리하는 전자 장치
KR101999140B1 (ko) 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
TWI543610B (zh) 電子裝置及其影像選擇方法
CN109076159B (zh) 电子设备及其操作方法
KR102282458B1 (ko) 영상안정화장치 및 방법
KR102090624B1 (ko) 이미지 촬영장치 및 방법
US9742995B2 (en) Receiver-controlled panoramic view video share
EP2998960B1 (en) Method and device for video browsing
US10126632B2 (en) Imaging apparatus, flicker detection method, and flicker detection program
US10986287B2 (en) Capturing a photo using a signature motion of a mobile device
US20170351932A1 (en) Method, apparatus and computer program product for blur estimation
KR20160095058A (ko) 카메라 모션에 의해 손상된 비디오 프레임의 처리
US8644555B2 (en) Device and method for detecting movement of object
JP2020522943A (ja) 対象追跡に基づくスローモーションビデオキャプチャ
JPWO2017056557A1 (ja) 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム
US20130076792A1 (en) Image processing device, image processing method, and computer readable medium
CN107667522B (zh) 形成活动图像的方法和装置
US9911061B2 (en) Fast histogram-based object tracking
US10764509B2 (en) Image processing device, image processing method, and program
EP3855350A1 (en) Detection of action frames of a video stream
JP2014216830A (ja) 画像追尾装置、画像追尾方法及びプログラム
JP7064609B2 (ja) 撮影装置、撮影方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant