KR101177106B1

KR101177106B1 - 디지털 이미지 합성방법

Info

Publication number: KR101177106B1
Application number: KR1020050067047A
Authority: KR
Inventors: 박병찬; 맹숙영
Original assignee: 삼성전자주식회사
Priority date: 2005-07-23
Filing date: 2005-07-23
Publication date: 2012-08-24
Also published as: KR20070012575A

Abstract

본 발명에 의한 디지털 이미지 합성방법은 저장된 둘 이상의 연속동작 이미지 중에서 적어도 하나를 배경 이미지로 합성하여 촬영하는 것을 특징으로 한다.

본 발명에 의하면 미리 저장된 다양한 연속 동작 이미지를 촬영된 이미지에 합성할 수 있다. 따라서 촬영한 이미지를 다양하게 꾸미고자 하는 사용자의 요구를 만족시킬 수 있다.

Description

디지털 이미지 합성방법{Digital image composing method}

도 1은 본 발명의 개념이 적용될 수 있는 예시적인 디지털 카메라의 구성을 설명하기 위한 블록도이다.

도 2는 본 발명이 적용될 수 있는 디지털 이미지 처리장치의 일예로서 도 1과 같은 디지털 카메라의 뒷면의 일예를 보여주는 도면이다.

도 3은 본 발명의 바람직한 일 실시예에 의한 디지털 이미지 합성방법을 설명하기 위한 플로우차트이다.

도 4는 촬영된 프리뷰 이미지의 일 예이다.

도 5는 도 3의 S102 단계에서 선택한 예시적인 연속동작 이미지 그룹이다.

도 6은 도 3의 S104 단계의 바람직한 일 실시예를 설명하기 위한 플로우차트이다.

도 7a ~ 도 7d는 도 4의 입력 이미지에 도 5의 연속 동작 이미지가 합성된 프리뷰 화면이다.

도 8은 도 3의 S106 단계의 바람직한 제1 실시예를 설명하기 위한 플로우차트이다.

도 9는 도 3의 S106 단계의 바람직한 제2 실시예를 설명하기 위한 플로우차트이다.

도 10은 본 발명의 바람직한 실시예에 의해 합성된 이미지를 나타낸 화면으로서 5개의 동작 이미지들이 합성되어 있다.

도 11 및 도 12는 본 발명의 바람직한 실시예에 의해 합성된 이미지를 나타낸 화면으로서 2개의 동작 이미지 그룹이 합성되어 있다.

본 발명은, 디지털 카메라와 같이 이미지 촬영기능을 갖는 디지털 이미지 처리 장치에 관한 것으로서, 특히 디지털 이미지 처리장치에서 저장된 이미지와 촬영 이미지를 합성하는 기능에 관한 것이다.

종래의 디지털 카메라의 포토 프레임(photo frame) 기능은 몇 가지의 고정된 프레임에 프리뷰 영상을 합성하여 표시장치에 표시하거나, 촬영된 이미지와 합성하여 저장하였다.

그러나 이러한 몇 가지 제한된 프레임에 의한 이미지 꾸밈 기능은 촬영된 이미지를 다양하게 꾸미고자 하는 사용자의 요구를 만족시키지 못한다.

본 발명이 이루고자 하는 기술적 과제는, 다양한 배경 이미지를 합성할 수 있는 디지털 이미지 합성방법을 제공하는데 있다.

상기한 기술적 과제를 이루기 위한 본 발명에 의한 디지털 이미지 합성방법 은 저장된 둘 이상의 연속동작 이미지 중에서 적어도 하나를 배경 이미지로 합성하여 촬영하는 것을 특징으로 한다.

상기 디지털 이미지 합성방법은 (a) 동작 이미지 합성 모드로 진입하는 단계; (b) 합성될 연속 동작 이미지 그룹을 선택하는 단계; (c) 선택된 연속 동작 이미지 그룹의 동작 이미지들을 촬영되어 입력되는 이미지와 순차적으로 합성하여 프리뷰하는 단계; 및 (d) 프리뷰되는 연속동작 이미지 중 적어도 하나를 선택하여 촬영된 이미지에 합성하여 저장하는 단계를 구비할 수 있다.

상기 (b) 단계는 (b1) 저장된 연속동작 이미지 그룹 중에서 합성될 그룹을 선택하는 단계; (b2) 선택된 그룹의 시작 이미지를 초기화하는 단계; 및 (b3) 상기 시작 이미지로부터 상기 연속동작 이미지들을 소정 위치에 소정 시간간격으로 순차적으로 입력되는 이미지에 합성하여 프리뷰하는 단계를 구비할 수 있다.

상기 (b1) 단계는 둘 이상의 그룹을 선택하도록 구현될 수 있다.

상기 (b2) 단계는 선택된 그룹에서 둘 이상의 시작 이미지를 선택하고 각 시작 이미지의 초기 위치와 이동 방향을 결정하도록 구현될 수 있다.

상기 (b3) 단계에 있어서 상기 각 연속동작 이미지가 합성되는 소정 위치는 사용자의 지정에 의해 결정될 수 있다.

상기 (c) 단계는 선택버튼을 입력/해제하는 시점에 합성될 동작 이미지를 선택/해제하도록 구현될 수 있다.

이하, 본 발명의 구성과 동작을 첨부한 도면들을 참조하여 상세히 설명한다. 각 도면에 도시된 동일한 참조 부호는 동일한 기능을 수행하는 구성요소를 의미한 다.

렌즈부와 필터부를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한다. 광학계(OPS) 안의 렌즈부는 줌 렌즈, 포커스 렌즈, 및 보상 렌즈를 포함한다.

CCD(Charge Coupled Device) 또는 CMOS (Complementary Metal-Oxide-Semiconductor)의 광전 변환부(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 여기서, DSP(7)는 타이밍 회로(2)를 제어하여 광전 변환부(OEC)와 아날로그-디지털 변환부(1)의 동작을 제어한다. 아날로그-디지털 변환부로서의 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter) 소자(1)는, 광전 변환부(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정(auto gain control, AGC)한 후, 디지털 신호로 변환시킨다. DSP(7)는 CDS-ADC 소자(1)로부터의 디지털 신호를 처리하여 휘도 및 색도 신호로 분류된 디지털 이미지 신호를 발생시킨다.

DRAM(Dynamic Random Access Memory, 4)에는 DSP(7)로부터의 디지털 이미지 신호 및 기타 임시 처리 데이터가 임시 저장된다.

EEPROM(Electrically Erasable Programmable Read Only Memory, 5)에는 DSP(7)의 동작에 필요한 알고리듬 및 설정 데이터가 저장된다. 메모리 카드 인터페이스(6)에는 사용자의 메모리 카드가 착탈된다.

DSP(Digital Signal Processor, 7)로부터의 디지털 이미지 신호는 LCD 구동부(14)에서 LCD 패널의 디스플레이 신호로 변환되어 칼라 LCD 패널(17)에 이미지가 디스플레이된다.

한편, DSP(7)로부터의 디지털 이미지 신호는, USB(Universal Serial Bus) 접속부(18) 또는 RS232C 인터페이스(8)와 그 접속부(19)를 통하여 직렬 통신으로써 전송될 수 있고, 비데오 필터(9) 및 비데오 출력부(20)를 통하여 비데오 신호로서 전송될 수 있다.

오디오 처리기(13)는, 마이크로폰(MIC)으로부터의 음성 신호를 DSP(7) 또는 스피커(SP)로 출력하고, DSP(7)로부터의 오디오 신호를 스피커(SP)로 출력한다.

사용자 입력부(INP)에는, 셔터 버튼, 모드 선택 버튼, 기능 선택 버튼, 줌 버튼, 방향이동 버튼 등이 포함될 수 있다. 사용자 입력부(INP)는 사용자에 의해 조작되어, 사용자의 지시에 따라 각 기능 수행을 위한 명령을 발생한다.

마이크로제어기(12)는 렌즈 구동부(10)를 제어하고, 이에 따라 줌 모터(M_Z), 포커스 모터(M_F), 및 조리개(aperture) 모터(M_A)가 광학계(OPS) 안의 줌 렌즈, 포커스 렌즈, 및 조리개를 각각 구동한다. 마이크로제어기(12)에 의하여 구동되는 발광부(LAMP)에는, 셀프-타이머 램프, 자동-초점 램프, 플래시 대기 램프 등이 포함될 수 있다. 한편, 마이크로제어기(12)는 플래시-광량 센서(16)로부터의 신호에 따라 플래시 제어기(11)의 동작을 제어하여 플래시(15)를 구동한다.

마이크로제어기(12)의 기능은 DSP(7)와 원칩(one chip)화되어 구현될 수도 있다.

본 발명이 적용될 수 있는 디지털 카메라는, 도 1의 구성요소들을 모두 구비하여야 하는 것은 아니며, 당업자라면 사양에 따라 그 구성요소 중 일부가 삭제되거나, 또 다른 구성요소가 추가되거나, 일부 구성요소가 변형되거나, 여러 구성요소의 기능이 통합되어 구현될 수 있음을 이해할 것이다.

도 2의 디지털 카메라의 뒤쪽에는, 뷰 파인더(100), 자동초점램프(101), 플래시 상태램프(102), 모드다이얼(103), 셔터버튼(104), LCD버튼(105), 광각줌 버튼(106), 망원줌 버튼(107), 메뉴/확인버튼(108), 방향/기능버튼(109), DC전원입력단자(110), 외부출력단자(111), 재생모드버튼(112), LCD 모니터(113), 수동초점 버튼(114), 자동노출 잠금버튼(115), 촬영화질 조정버튼(116) 등이 구비된다.

LCD 모니터(113)에는 디지털 카메라의 현재 설정된 촬영모드와 상태를 나타내는 OSD(on screen display)가 표시되어 있다.

5기능 버튼(106)은 중앙에 메뉴(MENU)진입/확인(OK) 버튼, 상하좌우 방향 버튼을 구비한다. 모니터에 메뉴가 표시된 경우에 상하좌우 방향 버튼은 방향이동이 아닌 특수한 기능 버튼으로 작용할 수 있다.

도 2에 도시된 여러 기능 버튼들은 디지털 카메라의 사양에 따라 그 명칭에서 나타나는 기능 이외에도 두 가지 이상의 복합적인 기능을 수행할 수 있도록 구비될 수 있다.

도 3은 본 발명의 바람직한 제1 실시예에 의한 디지털 이미지 합성방법을 설명하기 위한 플로우차트이다. 이를 도 1, 도 2의 예시적인 디지털 카메라에 적용하여 상세히 설명한다.

본 발명의 기본개념은 저장된 둘 이상의 연속동작 이미지 중에서 적어도 하나의 이미지를 합성하여 촬영하는 것이다.

도 3의 실시예를 참조하면 먼저 본 발명의 동작 이미지 합성모드인가를 계속적으로 판단한다(S100). 동작 이미지 합성모드로의 진입은 디지털 카메라의 촬영모드에서 메뉴 혹은 소정 기능 버튼을 조작하는 것에 의하여 수행될 수 있다.

동작 이미지 합성모드로 진입한 경우에, 합성될 연속 동작 이미지 그룹을 선택한다(S102). 연속동작 이미지 그룹은 디지털 카메라의 내부 메모리에 기본적으로 제공된 것이거나, 사용자에 의해 메모리 카드(도 1의 6)에 저장된 것일 수 있다.

디지털 카메라에서 사용자가 메뉴선택에 의해 본 발명의 동작 이미지 합성모드로 진입하면, 디지털 카메라의 디스플레이(도 1의 17, 도 2의 113)에 연속 동작 이미지 그룹의 첫번째 저장된 이미지들이 디스플레이되게 함으로써 사용자로 하여금 그룹을 선택할 수 있도록 구현할 수 있다.

그리고 선택된 연속 동작 이미지 그룹의 동작 이미지들을 촬영되어 입력되는 이미지와 순차적으로 합성하여 프리뷰한다(S104).

그리고 프리뷰되는 연속동작 이미지 중 적어도 하나를 선택하여 촬영된 이미지에 합성하여 저장한다(S106). 프리뷰 되는 도중에 사용자가 소정 버튼 예컨대 셔터버튼(도 2의 104) 완전누름(S2)을 입력하면 그 순간에 프리뷰된 연속동작 이미지 가 합성되어 저장된다.

도 4는 촬영된 프리뷰 이미지의 일 예이다.

도 5는 도 3의 S102 단계에서 선택한 예시적인 연속동작 이미지 그룹으로서 "나비"가 날개짓하는 4개의 연속 동작 이미지(M1, M2, M3, M4)가 저장되어 있다.

S104 단계에서는 예컨대 도 4의 이미지에 도 5의 연속동작 이미지를 합성하여 프리뷰한다.

도 6은 도 3의 S104 단계의 바람직한 제2 실시예를 설명하기 위한 플로우차트로서, 선택된 그룹의 시작 이미지를 초기화하고(S200), 선택된 그룹의 시작 이미지로부터 연속동작 이미지들을 소정위치에 순차적으로 프리뷰한다(S202).

S200 단계는 S102 단계에서 선택된 그룹의 시작 이미지를 선택하고, 이미지 프레임 내에서 합성될 최초 위치를 결정한다. 도 5의 "나비" 그룹이 선택된 경우에 시작 이미지는 예컨대 M1 이미지가 될 수 있다. 시작 이미지를 초기화하는 S200 단계에서 동작 이미지들이 삽입될 위치를 결정할 수 있다. 각 동작 이미지들이 삽입될 위치는 미리 설정되어 있을 수도 있고, 랜덤함수에 의하여 화면 내에서 랜덤하게 결정될 수도 있다. 또한 동작 이미지들이 삽입될 위치는 미리 설정한 일정 궤적함수에 의해 결정될 수도 있다.

S202 단계는 시작 이미지의 초기 위치로부터 소정 시간 간격을 두고 순차적으로 그룹내의 이미지들을 프레임 내의 소정 위치에 합성하여 프리뷰한다. S202 단계는 예컨대 M1 시작 이미지로부터 M2→M3→M4→M1→M2→… 과 같이 이미지가 선택되어 합성될 수 있다. 또한 S202 단계는 예컨대 M1, M2, M3, M4 이미지가 랜덤하게 선택되어 합성될 수도 있다.

도 7a ~ 도 7d는 도 4의 입력 이미지에 도 5의 연속 동작 이미지가 합성된 프리뷰 화면이다. 입력되는 이미지(200) 프레임 내에서 시작 이미지 M1과 그 초기 위치(X1, Y1)으로부터 순차적으로 (M1, X1, Y1)→(M2, X2, Y2)→(M3, X3, Y3)→(M4, X4, Y4) 로 합성되어 나비가 이동하는 것과 같은 배경 이미지가 연출된다.

도 8은 도 3의 S106 단계의 바람직한 일 실시예를 설명하기 위한 플로우차트이다.

먼저 프리뷰되는 연속동작 이미지 중 적어도 하나를 선택한다(S300). 예컨대 도 7a→도 7b→도 7c→도 7d→도 7a→… 순서로 프리뷰되는 도중에 소정 버튼을 입력하는 것에 의하여 하나 또는 그 이상의 동작 이미지를 선택할수 있다.

그리고 선택된 연속동작 이미지를 입력되는 이미지에 합성하여 프리뷰한다(S302).

합성될 동작 이미지들의 선택이 완료된 상태에서 셔터 완전누름(S2)에 의해 촬영지시가 입력되면(S304), 촬영 이미지에 연속동작 이미지를 합성하여 저장한다(S306).

도 9는 도 3의 S106 단계의 바람직한 일 실시예를 설명하기 위한 플로우차트로서, 셔터버튼을 이용하여 하나의 이미지만을 선택하여 합성하는 경우의 실시예이다.

셔터 S1 이 입력되기 전까지는 S104 단계에서 연속동작 이미지를 순차적으로 프리뷰하게 된다.

연속동작 이미지가 합성되어 프리뷰되는 도중에 셔터 반누름(S1)이 입력되면(S400), 순차적인 프리뷰는 중단되고 셔터 S1 입력 시점에 프리뷰된 연속동작 이미지가 선택되고(S402), 선택된 연속동작 이미지를 입력되는 이미지에 합성하여 프리뷰한다(S404). 이 때, 셔터 S1 상태에서 AF(Auto Focus)가 수행될 수 있다.

그리고 셔터 완전누름(S2)이 입력되면 촬영하여 입력된 이미지에 선택된 동작 이미지를 합성하여 저장한다(S408).

그러나 만일 셔터 S1 상태를 유지하고 있으면 프리뷰 상태(S404)를 유지한다. 셔터 S2 가 입력되지 않고, 셔터 S1 이 해제되면 다시 도 3의 S104 단계로 진행하여 연속동작 이미지를 순차적으로 프리뷰하게 된다.

도 10은 본 발명의 바람직한 실시예에 의해 합성된 이미지를 나타낸 화면으로서, 5개의 동작 이미지들이 합성되어 있다.

화면에는 M1이 2개소, M4가 1개소, M1이 30도 회전하고 좌우 반전된 이미지가 1개소, M2가 좌우 반전된 이미지가 1개소 합성되어 있다.

복수개의 동작 이미지의 선택은 동작 이미지들이 순차적으로 합성되어 프리뷰되는 도중에 소정 입력 버튼 예컨대 셔터 반누름(S1)을 여러번 입력하는 것에 의해 이루어질 수 있다.

도 10에서 주목할 점은 동작 이미지들의 위치가 랜덤하게 결정된 점과, 각 동작 이미지들이 위치 변화 이외에도 회전, 좌우 반전되어 합성된 점이다. 이와 같이 동작 이미지들을 합성할 때 여러가지 변수들을 적용할 수 있다.

도 11 및 도 12는 본 발명의 바람직한 실시예에 의해 합성된 이미지를 나타 낸 화면으로서 2개의 동작 이미지 그룹이 합성되어 있다. 도 11은 도 5에서 예시한 "나비" 그룹과 새로운 "강아지" 그룹이 합성된 것이다. 도 12는 이러한 복수개의 연속동작 이미지 그룹 합성 기능을 이용하여 나비와 꽃이 어우러진 이미지를 합성한 예이다.

전술한 실시예들은 본 발명이 적용될 수 있는 디지털 이미지 처리장치의 일예로서 디지털 카메라를 중심으로 기술하였으나, 이에 한정하는 것은 아니다. 당업자라면 본 발명이 촬영 기능이 내장되고 이미지 합성이 가능한 내장된 휴대폰, PDA(personal digital assistant), PMP(portable multimedia player) 등에도 그대로 적용될 수 있다. 또한 본 발명의 디지털 이미지 합성방법은 컴퓨터 등에서 실행될 수 있는 이미지 편집용 소프트웨어로서도 구현될 수 있다. 즉 이미지 편집용 소프트웨어에서 저장된 이미지에 저장된 연속동작 이미지를 합성하여 편집하는 용도로 사용될 수 있다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이상에서 설명한 바와 같이 본 발명에 의하면 미리 저장된 다양한 연속 동작 이미지를 촬영된 이미지에 합성할 수 있다. 따라서 촬영한 이미지를 다양하게 꾸미고자 하는 사용자의 요구를 만족시킬 수 있다.

본 발명은 이상에서 설명되고 도면들에 표현된 예시들에 한정되는 것은 아니다. 전술한 실시 예들에 의해 가르침 받은 당업자라면, 다음의 특허 청구 범위에 기재된 본 발명의 범위 및 목적 내에서 치환, 소거, 병합 등에 의하여 전술한 실시 예들에 대해 많은 변형이 가능할 것이다.

Claims

복수의 정지 영상들 각각으로부터 추출된 복수의 연속 동작 이미지들을 포함하는 연속 동작 이미지 그룹을 결정하는 단계;

상기 연속 동작 이미지들을 배경 이미지에 각각 합성하여 복수의 합성 영상들을 생성하는 단계;

상기 복수의 합성 영상들을 순차적으로 프리뷰하는 단계; 및

상기 복수의 합성 영상들이 순차적으로 프리뷰되는 동안 입력된 합성 영상 저장 입력에 응답하여, 상기 복수의 합성 영상들 중 상기 합성 영상 저장 입력이 검출된 때 표시된 합성 영상을 저장하는 단계를 포함하는 디지털 이미지 합성방법.
제1항에 있어서,

상기 복수의 합성 영상들이 순차적으로 프리뷰되는 동안 입력된 일시 정지 입력에 응답하여, 상기 복수의 합성 영상들의 순차적인 프리뷰를 일시 정지하는 단계를 더 포함하는 디지털 이미지 합성방법.
제2항에 있어서, 상기 일시 정지 입력은 셔터 릴리즈 버튼을 반 누름한 입력(S1)이고, 상기 합성 영상 저장 입력은 상기 셔터 릴리즈 버튼을 완전 누름한 입력(S2)인, 디지털 이미지 합성방법.
제1항에 있어서, 상기 연속 동작 이미지 그룹을 결정하는 단계는, 하나 이상의 연속 동작 이미지 그룹을 연속 동작 이미지 그룹으로 선택하고, 복수의 연속 동작 이미지 그룹이 선택된 경우,

상기 복수의 합성 영상들을 생성하는 단계는, 상기 복수의 연속 동작 이미지 그룹들로부터 각각 하나의 연속 동작 이미지를 추출하고 상기 배경 이미지에 합성하여 복수의 합성 영상들을 생성하고, 상기 복수의 합성 영상들 각각은 서로 다른 연속 동작 이미지 그룹들에 속한 복수의 연속 동작 이미지들을 포함하는, 디지털 이미지 합성방법.
제1항에 있어서, 상기 순차적인 프리뷰에서 상기 복수의 연속 동작 이미지들이 순차적으로 표시되는 위치를, 상기 복수의 연속 동작 이미지들 각각에 대해 결정하는 단계를 더 포함하는, 디지털 이미지 합성방법.
제5항에 있어서, 상기 연속 동작 이미지들이 순차적으로 표시되는 위치는 사용자 입력에 따라 결정되는, 디지털 이미지 합성방법.
제1항에 있어서, 상기 복수의 정지 영상들은 연속 촬영된 정지 영상들이고, 상기 연속 동작 이미지 그룹에 속한 상기 복수의 연속 동작 이미지들은 상기 복수의 정지 영상들에 속한 동일 객체에 해당하는 영역의 영상 데이터를 각각 추출하여 생성되는, 디지털 이미지 합성방법.