KR20070117104A - 휴대용 단말기에서 이미지 합성 장치 및 방법 - Google Patents

Abstract

본 발명은 휴대용 단말기에서 이미지 합성 장치 및 방법에 관한 것으로서, 배경 이미지를 이용한 촬영 키 입력 시, 피사체를 촬영하는 과정과, 상기 배경 이미지와 상기 촬영된 이미지의 윤곽선을 추출하는 과정과, 상기 추출된 두 윤곽선이 일치하도록 상기 두 이미지를 합성하는 과정을 포함하여, 손떨림이 발생하거나 촬영하고자 하는 피사체가 움직일 경우에도 한 번의 사진 촬영만으로 상기 피사체가 상기 배경 이미지에 정확하게 맞는 사진을 얻을 수 있다.

사진, 배경, 합성, 윤곽선, 윤곽선 추출

Description

휴대용 단말기에서 이미지 합성 장치 및 방법{APPRATUS AND METHOD FOR COMPOSING IMAGE IN PORTABLE TERMINAL}

도 1은 휴대용 단말기에서 촬영된 이미지와 배경 이미지의 화면 구성을 도시하는 도면,

도 2는 종래 기술에 따른 휴대용 단말기에서 배경 이미지를 이용하여 촬영된 사진의 화면 구성을 도시하는 도면,

도 3은 본 발명에 따른 휴대용 단말기의 구성 장치를 도시하는 도면,

도 4는 본 발명에 따른 휴대용 단말기에서 윤곽선 정합부의 상세 구성을 도시하는 도면,

도 5는 본 발명의 실시 예에 따른 휴대용 단말기에서 윤곽선을 이용하여 이미지를 합성하기 위한 절차를 도시하는 도면, 및

도 6은 본 발명의 실시 예에 따른 휴대용 단말기에서 윤곽선을 이용하여 합성된 사진의 화면 구성을 도시하는 도면.

본 발명은 휴대용 단말기에서 이미지 합성 장치 및 방법에 관한 것으로서, 특히, 배경 이미지를 이용한 사진 촬영 시, 윤곽선 정합 방식을 이용하여 촬영된 이미지와 배경 이미지를 합성하기 위한 장치 및 방법에 관한 것이다.

최근 들어, 휴대용 단말기가 소형 경박화됨에 따라 휴대의 편리성이 증가되어 상기 휴대용 단말기의 수요가 점차 증가하고 있다. 이에 따라, 상기 휴대용 단말기에 탑재되는 부가 기능도 다양화되고 있다. 예를 들어, 상기 휴대용 단말기는 게임(game), 스케쥴러(scheduler), 모닝콜(morning call), MP 3(MPEG layer 3), 동영상 플레이어, 디지털 카메라(digital camera) 등의 다양한 부가 기능을 제공하고 있다.

특히, 상기 부가 기능 중 상기 디지털 카메라 기능은 최근 들어 사용자들에게 필수 구성 요소로 인식됨에 따라 대부분의 휴대용 단말기에서 제공되고 있는 추세이다. 상기 휴대용 단말기에서 제공되는 디지털 카메라 기능은 단순한 사진 촬영 기능 이외에, 배경 이미지를 이용하여 사진을 촬영하는 기능을 제공하고 있다. 예를 들어, 스티커 촬영, 특수 배경 촬영 등과 같은 기능을 제공하고 있다. 여기서, 상기 배경 이미지를 이용한 사진 촬영은 도 1에 도시된 바와 같이, 촬영된 이미지(1a)에 액자 혹은 스티커 등과 같은 기 설정된 배경 이미지(1b)를 덮어씌움으로써, 합성된 이미지를 획득하는 촬영 방법을 의미한다.

일반적으로 상기 배경 이미지를 이용하여 사진을 촬영할 경우, 사용자가 상기 휴대용 단말기를 직접 움직여 상기 휴대용 단말기에 탑재된 디지털 카메라와 촬 영하고자 하는 피사체 간의 각도, 위치 및 거리 등을 조절함으로써, 배경 이미지의 소정 위치, 즉, 이미지가 없이 비어있는 위치에 상기 피사체의 위치 및 크기를 맞춰 상기 피사체를 촬영하는 방법이 사용되고 있다.

하지만, 상술한 바와 같이 사용자가 휴대용 단말기를 직접 움직여 배경 이미지에 맞게 피사체를 촬영할 시, 손떨림이 발생하거나 촬영하고자 하는 피사체가 움직이는 경우 등으로 인해 상기 배경 이미지의 빈 영역에 상기 촬영하고자 하는 피사체의 위치 및 크기를 정확하게 맞추기 어려운 문제점이 있다. 예를 들어, 도 2에 도시된 바와 같이, 배경 이미지의 빈 영역에 피사체가 좌 혹은 우로 치우쳐서 촬영(2a, 2b)되거나 너무 가깝거나 멀리 촬영(2c, 2d)될 수 있다. 따라서, 상술한 바와 같이 피사체가 배경 이미지에 맞지 않게 잘못 촬영된 경우, 사용자는 상기 피사체가 상기 배경 이미지에 정확하게 맞는 사진을 얻기 위해 여러 번의 이미지 촬영을 시도해야 하는 불편함이 있다.

상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 휴대용 단말기에서 이미지 합성 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 휴대용 단말기에서 배경 이미지를 이용한 사진 촬영 시, 배경 이미지와 촬영된 이미지의 윤곽선을 이용하여 상기 두 이미지를 합성하기 위한 장치 및 방법을 제공함에 있다.

상술한 목적들을 달성하기 위한 본 발명의 제 1견지에 따르면, 휴대용 단말 기에서 이미지를 합성하기 위한 방법은, 배경 이미지를 이용한 촬영 키 입력 시, 피사체를 촬영하는 과정과, 상기 배경 이미지와 상기 촬영된 이미지의 윤곽선을 추출하는 과정과, 상기 추출된 두 윤곽선이 일치하도록 상기 두 이미지를 합성하는 과정을 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 2견지에 따르면, 휴대용 단말기에서 이미지를 합성하기 위한 장치는, 카메라에 의해 촬영된 이미지와 배경 이미지의 윤곽선이 일치하도록 상기 두 이미지를 합성하는 윤곽선 정합부와, 상기 합성된 이미지를 디스플레이하는 표시부를 포함하는 것을 특징으로 한다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

이하 본 발명에서는 휴대용 단말기에서 배경 이미지를 이용한 사진 촬영 시, 촬영된 이미지와 배경 이미지의 윤곽선을 이용하여 상기 두 이미지를 합성하기 위한 장치 및 방법에 관해 설명할 것이다. 여기서, 상기 윤곽선은 상기 배경 이미지의 경우, 촬영하고자 하는 피사체를 디스플레이하기 위한 빈 영역의 둘레 선을 의미하고, 상기 촬영된 이미지의 경우에는 상기 배경 이미지의 빈 영역에 디스플레이하고자 하는 상기 피사체의 둘레 선을 의미한다.

도 3은 본 발명에 따른 휴대용 단말기의 구성 장치를 도시하고 있다. 여기서, 상기 휴대용 단말기는 제어부(300), 카메라부(302), 영상처리부(304), 윤곽선 정합부(306), 표시부(308), 입력부(310), 저장부(312)를 포함하여 구성된다.

상기 도 3을 참조하면, 상기 제어부(300)는 음성통화 및 데이터통신을 위한 처리 및 제어를 수행하고, 본 발명에 따라 배경 이미지를 이용한 사진 촬영시, 촬영된 이미지와 배경 이미지 및 합성된 이미지를 상기 표시부(308)에 디스플레이하며, 상기 합성된 이미지를 보정하기 위한 기능을 제어한다.

상기 카메라부(302)는 영상 촬영시에 감지되는 광신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD(Charge Coupled Device) 센서로, 상기 신호처리부는 DSP(Digital Signal Processor)로 구현할 수 있다.

상기 영상처리부(304)는 상기 카메라부(302)에서 출력되는 영상신호를 프레임 단위로 처리하여 상기 표시부(308)의 특성 및 크기에 맞춰 출력한다. 또한, 상기 영상처리부(304)는 영상코덱을 구비하며, 상기 영상코덱은 영상신호를 설정된 방식으로 코딩하거나, 코딩된 프레임 영상데이터를 원래의 프레임 영상데이터로 디코딩하는 역할을 수행한다.

상기 윤곽선 정합부(306)는 상기 영상처리부(304)로부터 상기 촬영된 이미지를 입력받고, 상기 제어부(312)로부터 상기 저장부(312)에서 독출된 배경 이미지를 입력받아 상기 촬영된 이미지 및 상기 배경 이미지의 윤곽선을 추출한 후, 상기 두 이미지의 윤곽선이 최대한 일치되도록 상기 촬영된 이미지의 위치 및 크기를 조절함으로써, 합성된 이미지를 획득하고, 상기 합성된 이미지를 상기 제어부(300)에 제공한다.

상기 표시부(308)는 상기 이동통신 단말기의 동작 중에 발생되는 상태 정보, 제한된 숫자의 문자들을 디스플레이한다. 또한, 카메라 촬영 시, 상기 제어부(300)로부터 입력되는 배경 이미지와 영상 데이터를 출력하고, 배경 이미지를 이용한 사진 촬영이 선택될 시, 합성된 이미지를 출력한다.

상기 입력부(310)는 다수의 기능키들을 구비하여, 사용자가 누르는 키에 대응하는 키입력 데이터를 상기 제어부(300)에 제공한다. 특히, 본 발명에 따라 합성된 이미지의 위치 및 크기를 보정하기 위한 상, 하, 좌, 우 방향키 혹은 확대, 축소키 등을 입력받아 상기 제어부(300)로 제공한다.

상기 저장부(312)는 프로그램 메모리, 데이터 메모리 및 불휘발성 메모리 등을 포함한다. 상기 프로그램 메모리는 상기 휴대용 단말기의 전반적인 동작을 제어하기 위한 프로그램을 저장한다. 특히, 본 발명에 따라 촬영된 이미지와 배경 이미지의 윤곽선을 추출하여 상기 두 이미지를 합성하고, 합성된 이미지를 보정하기 위한 프로그램을 저장한다. 상기 프로그램 메모리는 플래시 메모리(flash memory)를 사용할 수 있다. 상기 데이터 메모리는 상기 단말기 동작 중에 발생되는 데이터를 일시 저장하는 기능을 수행한다. 상기 데이터 메모리는 램(Random Access Memory; RAM)을 사용할 수 있다. 상기 불휘발성 메모리는 시스템 파라미터(system parameter) 및 기타 저장용 데이터, 예를 들어, 전화번호, 사진, 배경 이미지 등을 저장한다. 또한, 본 발명에 따라 상기 촬영된 이미지의 크기를 조절하기 위해 미리 정한 소정개수의 배율 값을 저장한다. 여기서, 상기 미리 정한 소정개수의 배율 값은, 상기 촬영된 이미지와 상기 배경 이미지의 윤곽선을 최대한 일치시키기 위해 상기 촬영된 이미지의 크기를 확대 또는 축소시키는데 사용된다.

도 4는 본 발명에 따른 휴대용 단말기에서 윤곽선 정합부의 상세 구성을 도시하고 있다. 여기서, 상기 윤곽선 정합부는 윤곽선 추출부(401), 정합 위치 판별부(403), 이미지 합성부(405)를 포함하여 구성된다.

상기 도 4를 참조하면, 상기 윤곽선 추출부(401)는 영상처리부(304)로부터 촬영된 이미지를 입력받고, 상기 제어부(300)로부터 저장부(312)에서 독출된 배경 이미지를 입력받아 윤곽선 추출 알고리즘을 이용하여 상기 촬영된 이미지로부터 피사체의 윤곽선을 추출하고 상기 배경 이미지로부터 피사체를 디스플레이하기 위한 빈 영역의 윤곽선을 추출한 후, 상기 두 이미지의 추출된 윤곽선을 나타내는 기울기(Gradient) 값을 상기 정합 위치 판별부(403)에 제공한다. 여기서, 상기 윤곽선 추출 알고리즘은, 소벨(sobel) 기법, 프리위트(Prewitt) 기법, 로버트(robert) 기법, 라플라시안(laplacian) 기법 등을 이용하여 추출할 수 있다. 또한, 여기서 상기 윤곽선의 추출 전에 상기 두 이미지에 가우시안 필터(Gaussian filter)와 같은 저주파 통과 필터를 적용시킴으로써, 상기 두 이미지의 정합 위치 판별 시, 잡음의 영향을 감소시킬 수 있다.

상기 정합 위치 판별부(403)는 상기 윤곽선 추출부(401)로부터 입력되는 상 기 두 이미지의 윤곽선이 최대한 일치되는 위치 및 배율을 판별하고, 상기 판별된 위치 및 배율 값을 상기 이미지 합성부(405)에 제공한다. 다시 말해, 상기 정합 위치 판별부(403)는 상기 두 이미지의 윤곽선을 나타내는 기울기 값에 절대값을 취하여 상기 두 이미지에서 기울기 값들의 크기를 획득하고, 상기 촬영된 이미지의 위치 및 크기를 변경시키며 상기 두 이미지의 윤곽선이 최대한 일치되는 위치 및 크기를 획득한다. 여기서, 상기 두 이미지의 윤곽선이 최대한 일치되는 위치 및 크기는 미리 정한 소정개수의 배율값에 따라 상기 촬영된 이미지의 크기를 확대/축소 및 상/하/좌/우로 이동시키며 상기 두 이미지의 대응되는 각 픽셀 들의 기울기 크기를 서로 곱하여 상기 곱을 합한 결과가 최대값이 되는 위치 및 크기를 구함으로써 획득할 수 있다. 여기서, 상기 두 윤곽선의 정합 위치를 상기 두 이미지의 기울기의 크기를 곱하여 합한 결과가 최대값이 되는지 검사하여 판별하였으나, 상기 두 이미지의 윤곽선으로부터 특징점(sailent point)을 추출하여 상기 특징점을 일치시킴으로써 상기 두 윤곽선의 정합 위치를 판별할 수도 있다.

상기 이미지 합성부(405)는 상기 정합 위치 판별부(403)로부터 입력되는 위치 및 배율에 따라 상기 촬영된 이미지를 이동 및 확대/축소시킨 후, 상기 배경 이미지와 합성시켜 상기 합성된 이미지를 상기 제어부(300)에 제공한다.

도 5는 본 발명의 실시 예에 따른 휴대용 단말기에서 윤곽선을 이용하여 이미지를 합성하기 위한 절차를 도시하고 있다.

상기 도 5를 참조하면, 먼저 휴대용 단말기는 501단계에서 스티커 혹은 액자 등과 같은 배경 이미지를 이용하여 사진을 촬영하기 위한 메뉴가 선택되는지 검사한다. 상기 배경 이미지를 이용하여 사진을 촬영하기 위한 메뉴가 선택될 시, 상기 휴대용 단말기는 503단계에서 배경 이미지와 카메라를 통해 입력되는 영상신호를 표시부(308)로 출력한다. 여기서, 상기 배경 이미지는 디폴트(default) 배경 이미지 혹은 이전에 선택된 배경 이미지일 수 있다.

이후, 상기 휴대용 단말기는 505단계에서 상기 디스플레이된 배경 이미지를 이용하여 피사체를 촬영하기 위한 키가 입력되는지 검사한다. 상기 피사체를 촬영하기 위한 키가 입력되지 않을 시, 상기 휴대용 단말기는 521단계에서 상기 디스플레이된 배경 이미지 이외에 다른 배경 이미지를 선택하기 위한 키가 입력되는지 검사한다. 상기 다른 배경 이미지를 선택하기 위한 키가 입력될 시, 상기 휴대용 단말기는 523단계로 진행하여 상기 카메라로부터 입력되는 영상신호를 계속해서 출력하고, 상기 선택된 배경 이미지를 디스플레이한 후, 상기 505단계로 되돌아간다. 상기 다른 배경 이미지를 선택하기 위한 키가 입력되지 않을 시, 상기 휴대용 단말기는 상기 505단계로 되돌아간다.

상기 피사체를 촬영하기 위한 키가 입력될 시, 상기 휴대용 단말기는 507단계에서 상기 피사체를 촬영하고, 상기 촬영된 이미지로부터 피사체의 윤곽선을 추출한 후, 상기 선택된 배경 이미지로부터 상기 피사체가 디스플레이되는 빈 영역의 윤곽선을 추출한다. 이후, 상기 휴대용 단말기는 509단계에서 상기 두 이미지의 윤곽선이 최대한 일치되는 위치 및 배율을 판별한다. 다시 말해, 상기 추출된 두 윤곽선을 나타내는 기울기 값에 절대값을 취하여 상기 기울기의 크기 값을 구한 후, 상기 촬영된 이미지의 위치 및 배율을 조정하면서 상기 두 이미지의 대응되는 각 픽셀들의 기울기 크기 값을 서로 곱하여 상기 곱을 합한 결과가 최대값이 되는 위치 및 배율을 판별한다. 이후, 상기 휴대용 단말기는 511단계에서 상기 판별된 위치 및 배율에 따라 상기 촬영된 이미지와 배경 이미지를 합성하여 상기 표시부(308)에 디스플레이한다.

이후, 상기 휴대용 단말기는 513단계에서 상기 합성된 이미지를 보정하기 위한 키가 입력되는지 검사한다. 여기서, 상기 합성된 이미지를 보정하기 위한 키는 상하좌우 방향키, 확대키, 축소키 등이 있을 수 있다. 만일, 상기 합성된 이미지를 보정하기 위한 키가 입력될 시, 상기 휴대용 단말기는 515단계에서 상기 입력된 키에 따라 상기 합성된 이미지 내의 촬영된 이미지를 상, 하, 좌, 우로 이동시키거나 혹은 배율을 조절하여, 즉, 크기를 확대 또는 축소시켜 상기 합성된 이미지를 보정한다. 이와 같이, 상기 보정키를 이용하여 상기 합성된 이미지를 세밀하게 보정함으로써, 도 6에 도시된 바와 같이 촬영된 이미지와 배경 이미지의 윤곽선이 최대한 일치되는 합성 이미지를 획득할 수 있다. 반면, 상기 513단계에서 합성된 이미지를 보정하기 위한 키가 입력되지 않을 시, 상기 휴대용 단말기는 상기 515단계를 거치지 않고 하기 517단계로 진행한다.

이후, 상기 휴대용 단말기는 517단계에서 상기 보정된 이미지를 저장하기 위한 키가 입력되는지 검사한다. 상기 보정된 이미지를 저장하기 위한 키가 입력되지 않을 시, 상기 휴대용 단말기는 상기 513단계로 되돌아가 이하 단계를 재수행하고, 상기 보정된 이미지를 저장하기 위한 키가 입력될 시, 상기 휴대용 단말기는 519단 계로 진행하여 상기 보정된 이미지를 저장한 후, 본 발명에 따른 알고리즘을 종료한다.

상술한 설명에서는 이미지 촬영이 선택될 시, 배경 이미지와 촬영된 이미지로부터 윤곽선을 추출하여 상기 두 이미지를 합성하였으나, 상기 배경 이미지의 윤곽선은 미리 추출하여 저장부에 저장한 후, 상기 이미지 촬영이 선택될 시, 상기 저장부로부터 독출하여 사용할 수도 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이 본 발명은 휴대용 단말기에서 촬영된 이미지와 배경 이미지의 윤곽선을 이용하여 상기 두 이미지를 합성시킴으로써, 손떨림이 발생하거나 촬영하고자 하는 피사체가 움직일 경우에도 한 번의 사진 촬영만으로 상기 피사체가 상기 배경 이미지에 정확하게 맞는 사진을 얻을 수 있는 효과가 있다.

Claims (10)

1. 휴대용 단말기에서 이미지를 합성하는 방법에 있어서,

   배경 이미지를 이용한 촬영 키 입력 시, 피사체를 촬영하는 과정과,

   상기 배경 이미지와 상기 촬영된 이미지의 윤곽선을 추출하는 과정과,

   상기 추출된 두 윤곽선이 일치하도록 상기 두 이미지를 합성하는 과정을 포함하는 것을 특징으로 하는 방법.
2. 제 1항에 있어서,

   상기 합성된 이미지를 보정하기 위한 키가 입력될 시, 상기 입력된 키에 따라 상기 합성된 이미지를 보정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
3. 제 2항에 있어서,

   상기 이미지를 보정하기 위한 키는, 상기 촬영된 이미지를 상, 하, 좌, 우로 이동시키기 위한 키 혹은 확대 및 축소시키기 위한 키인 것을 특징으로 하는 방법.
4. 제 1항에 있어서,

   상기 두 이미지를 합성하는 과정은,

   상기 추출된 두 윤곽선이 일치하는 상기 촬영된 이미지의 위치 및 배율을 판별하는 과정과,

   상기 판별된 위치 및 배율에 따라 상기 촬영된 이미지의 위치 및 배율을 보정하는 과정과,

   상기 배경 이미지와 상기 보정된 이미지를 합성하는 과정을 포함하는 것을 특징으로 하는 방법.
5. 제 4항에 있어서,

   상기 위치 및 배율을 판별하는 과정은,

   상기 두 이미지에서 픽셀별 윤곽선의 기울기의 크기를 획득하는 과정과,

   상기 촬영된 이미지를 이동시키거나 확대 및 축소시키며 상기 두 이미지에서 대응되는 픽셀들의 기울기의 크기를 곱하여 총합을 구하는 과정과,

   상기 총합이 최대가 되는 상기 촬영된 이미지의 위치 및 배율을 판별하는 과정을 포함하는 것을 특징으로 하는 방법.
6. 제 4항에 있어서,

   상기 위치 및 배율을 판별하는 과정은,

   상기 두 이미지의 윤곽선으로부터 특징점을 추출하는 과정과,

   상기 촬영된 이미지를 이동시키거나 확대 및 축소시키며 상기 추출된 특징점이 일치하는 상기 촬영된 이미지의 위치 및 배율을 판별하는 과정을 포함하는 것을 특징으로 하는 방법.
7. 제 1항에 있어서,

   상기 배경 이미지의 윤곽선은, 상기 촬영 전에 미리 추출하여 저장부에 저장한 후, 상기 촬영시에 상기 저장부로부터 독출하는 것을 특징으로 하는 방법.
8. 휴대용 단말기에서 이미지를 합성하는 장치에 있어서,

   카메라에 의해 촬영된 이미지와 배경 이미지의 윤곽선이 일치하도록 상기 두 이미지를 합성하는 윤곽선 정합부와,

   상기 합성된 이미지를 디스플레이하는 표시부를 포함하는 것을 특징으로 하는 장치.
9. 제 8항에 있어서,

   상기 합성된 이미지를 보정하기 위한 키 입력 시, 입력되는 키에 따라 상기 합성된 이미지 내의 상기 촬영된 이미지를 이동 또는 확대 및 축소시키기 위한 제어부를 더 포함하는 것을 특징으로 하는 장치.
10. 제 8항에 있어서,

    상기 윤곽선 정합부는,

    상기 촬영된 이미지와 상기 배경 이미지 각각의 윤곽선을 추출하는 윤곽선 추출부와,

    상기 촬영된 이미지의 윤곽선을 이동, 확대 및 축소시켜 상기 두 이미지의 윤곽선들이 일치되는 위치 및 배율을 판별하는 정합 위치 판별부와,

    상기 판별된 위치 및 배율에 따라 상기 촬영된 이미지를 보정시킨 후, 상기 보정된 촬영 이미지를 상기 배경 이미지와 합성하는 이미지 합성부를 포함하는 것을 특징으로 하는 장치.

Images