KR100822458B1 - 윤곽선 검출을 이용한 영상 합성 방법 및 장치 - Google Patents

윤곽선 검출을 이용한 영상 합성 방법 및 장치 Download PDF

Info

Publication number
KR100822458B1
KR100822458B1 KR1020050129829A KR20050129829A KR100822458B1 KR 100822458 B1 KR100822458 B1 KR 100822458B1 KR 1020050129829 A KR1020050129829 A KR 1020050129829A KR 20050129829 A KR20050129829 A KR 20050129829A KR 100822458 B1 KR100822458 B1 KR 100822458B1
Authority
KR
South Korea
Prior art keywords
contour
image
detected
outline
pattern
Prior art date
Application number
KR1020050129829A
Other languages
English (en)
Other versions
KR20070068086A (ko
Inventor
손혁제
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020050129829A priority Critical patent/KR100822458B1/ko
Publication of KR20070068086A publication Critical patent/KR20070068086A/ko
Application granted granted Critical
Publication of KR100822458B1 publication Critical patent/KR100822458B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 윤곽선 검출을 이용한 영상 합성 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따르면, 영상 합성 방법에 있어서, 원시 영상의 윤곽선을 검출하는 단계; 미리 저장된 하나 이상의 윤곽선 패턴 중 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하는 단계; 및 판단 결과 존재하는 경우, 윤곽선 내부는 원시 영상의 상응하는 영역이 표시되고, 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하는 단계를 포함하는 윤곽선 검출을 이용한 영상 합성 방법이 제공된다. 따라서, 블루 스크린 방식에 따른 영상 합성 시 발생되는, 배경 이미지와 합성하고자 하는 인물 또는 물체에 배경 이미지에 따른 영상이 섞이는 문제를 해결할 수 있는 영상 합성 방법 및 장치를 제공할 수 있는 효과가 있다.
윤곽선, 에지, 합성, 영상

Description

윤곽선 검출을 이용한 영상 합성 방법 및 장치{Method and device for combining images using edge detection}
도 1은 종래 기술에 따른 영상 합성 장치에서 블루 스크린을 이용하여 영상을 합성하는 과정을 나타낸 도면.
도 2는 본 발명의 바람직한 일 실시예에 따른 윤곽선 검출을 이용한 영상 합성 장치의 기능 블록도.
도 3은 본 발명의 바람직한 일 실시예에 따른 영상 합성 장치에서 영상을 합성하는 과정을 나타낸 도면.
도 4는 본 발명의 바람직한 다른 실시예에 따른 영상 합성 장치에서 복수의 영상을 합성하는 과정을 나타낸 도면.
도 5는 본 발명의 바람직한 일 실시예에 따른 윤곽선 검출을 이용한 영상 합성을 예시한 도면.
<도면의 주요 부분에 대한 부호 설명>
100 : 영상 합성 장치
110 : 윤곽선 검출부
130 : 윤곽선 패턴 저장부
150 : 비교부
170 : 합성부
본 발명은 영상 합성에 관한 것으로서, 좀 더 상세하게는 윤곽선 검출을 이용한 영상 합성 방법 및 장치에 관한 것이다.
종래의 영상 합성 방법으로 블루 스크린(blue screen)을 이용하는 방법이 사용되고 있다. 즉, 배경이 되는 곳에 블루 스크린을 설치하여 인물 등을 촬영함으로써, 촬영된 이미지에서 블루 스크린 값(파란색을 갖는 픽셀(pixel) 값)에 해당하는 부분을 크로마키(chromakey)로 하여 제거하고, 제거된 위치에 배경 이미지에 따른 픽셀 값을 합성하는 것이다.
도 1은 종래 기술에 따른 영상 합성 장치에서 블루 스크린을 이용하여 영상을 합성하는 과정을 나타낸 도면이다.
블루 스크린(크로마키 값을 갖는 배경) 앞에 서 있는 인물을 촬영한 경우를 예로 들어 설명하기로 한다.
도 1을 참조하면, 단계 10 및 단계 20에서 영상 합성 장치는 영상을 촬영한 센서(sensor)로부터 영상 데이터를 입력 받고, 입력된 영상 데이터가 크로마키 값 인지를 픽셀 단위로 판단한다. 즉, 영상 합성 장치는 해당 영상 데이터가 블루 스크린에 따른 픽셀 값을 갖는지의 여부를 판단한다.
단계 30 또는 단계 40에서 판단 결과, 크로마키 값인 경우 미리 설정된 배경 이미지에 따른 데이터가 출력 메모리에 저장되고, 크로마키 값이 아닌 경우 촬영한 영상에 따른 데이터가 출력 메모리에 저장된다.
단계 50에서 영상 합성 장치는 영상의 합성이 완료됐는지를 판단한다. 만일 영상의 합성이 완료되지 못한 경우 단계 20으로 다시 진행한다. 즉, 각 픽셀 단위로 하나의 합성된 영상이 출력 메모리에 모두 저장될 때까지 단계 20 내지 단계 40이 반복 수행된다.
상기와 같은 블루 스크린을 이용한 방식은 합성하고자 하는 인물에 상응하는 영상 데이터 중 임의의 영역에서 크로마키 값(블루 스크린 값에 해당하는 픽셀)이 존재할 경우, 합성된 영상에는 인물의 중간중간(즉, 크로마키 값에 해당하는 영역)에 배경 이미지가 합성되어 표시되는 문제가 발생될 수 있다. 예를 들어, 촬영된 사람이 파란색 넥타이를 매고 있는 경우, 넥타이 부분에 배경이 합성될 수 있다.
또한, 블루 스크린을 이용한 방식은 영상을 합성하기 위한 블루 스크린이 항상 필요하므로, 블루 스크린을 설치하기 위한 공간적, 시간적, 비용적인 측면에서 제약이 많다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 블루 스크린 방식에 따른 영상 합성 시 발생되는, 배경 이미지와 합성하고자 하는 인물 또는 물체에 배경 이미지에 따른 영상이 섞이는 문제를 해결할 수 있는 영상 합성 방법 및 장치를 제공하는데 다른 목적이 있다.
또한, 본 발명은 별도의 블루 스크린이 필요 없이, 영상에서 합성하고자 하는 인물 등의 윤곽선을 검출하여 해당 윤곽선 내부 및 외부를 서로 다른 영상으로 합성하는 윤곽선 검출을 이용한 영상 합성 방법 및 장치를 제공하는데 다른 목적이 있다.
또한, 본 발명은 윤곽선의 다양한 패턴을 미리 설정하여, 영상의 검출된 윤곽선이 미리 설정된 패턴에 상응하는 경우에만 영상을 합성하는 윤곽선 검출을 이용한 영상 합성 방법 및 장치를 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 방송국용 카메라, 모바일폰, 디지털 카메라 등 영상을 촬영할 수 있는 다양한 전자기기에 적용시킬 수 있는 윤곽선 검출을 이용한 영상 합성 방법 및 장치를 제공하는데 또 다른 목적이 있다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
상술한 목적을 달성하기 위한 본 발명의 일측면에 따르면, 영상 합성 방법에 있어서, (a) 원시 영상의 윤곽선을 검출하는 단계; (b) 미리 저장된 하나 이상의 윤곽선 패턴 중 상기 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하는 단계; 및 (c) 상기 판단 결과 존재하는 경우, 상기 윤곽선 내부는 상기 원시 영상의 상응하는 영역이 표시되고, 상기 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하는 단계를 포함하는 윤곽선 검출을 이용한 영상 합성 방법이 제공된다.
여기서, 상기 원시 영상은 프리뷰(preview) 기능 또는 동영상 촬영 기능에 의해 촬영될 수 있다.
그리고, 상기 단계 (c)는, 상기 원시 영상의 상기 윤곽선 내부 픽셀에 상응하는 데이터를 출력 메모리에 저장하는 단계; 및 상기 윤곽선 외부 픽셀에 상응하는 상기 배경 이미지의 데이터를 상기 출력 메모리에 저장하는 단계를 포함할 수 있다.
그리고, 상기 배경 이미지는 상기 윤곽선 패턴에 상응하여 저장될 수 있다.
또한, 영상 합성 방법에 있어서, 원시 영상의 윤곽선을 검출하는 단계; 이전 영상의 윤곽선이 가용 윤곽선인지 여부를 판단하는 단계; 상기 이전 영상의 윤곽선이 가용 윤곽선인 경우, 상기 검출된 윤곽선과 상기 이전 영상의 윤곽선과의 오차율이 미리 지정된 비율 이하인지 여부를 판단하는 단계; 및 미리 지정된 비율 이하인 경우 상기 윤곽선 내부는 상기 원시 영상의 상응하는 영역이 표시되고, 상기 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하고, 상기 이전 영상의 윤곽선이 가용 윤곽선이 아니거나 상기 오차율이 상기 비율을 초과하는 경우, 미리 저장된 하나 이상의 윤곽선 패턴 중 상기 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하여 존재하는 경우 상기 윤곽선 내부는 상기 원시 영상의 상응하는 영역이 표시되고 상기 윤곽선 외부는 상기 배경 이미지의 상응하는 영역이 표시되도록 합성하는 단계를 포함하는 윤곽선 검출을 이용한 영상 합성 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 영상 합성 장치에 있어서, 원시 영상의 윤곽선을 검출하는 윤곽선 검출부; 하나 이상의 윤곽선 패턴을 저장하는 윤곽선 패턴 저장부; 상기 윤곽선 패턴 저장부에 저장된 하나 이상의 윤곽선 패턴 중 상기 윤곽선 검출부에 의해 검출된 원시 영상의 윤곽선에 상응하는 윤곽선 패턴의 존재 여부를 판단하는 비교부; 및 상기 비교부의 판단 결과 존재하는 경우, 상기 윤곽선 내부는 상기 원시 영상의 상응하는 영역이 표시되고, 상기 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하는 합성부를 포함하는 윤곽선 검출을 이용한 영상 합성 장치가 제공된다.
또한, 영상 합성 장치에 있어서, 원시 영상의 윤곽선을 검출하는 윤곽선 검출부; 적어도 하나의 윤곽선 패턴을 저장하는 윤곽선 패턴 저장부; 이전 영상의 윤곽선이 가용 윤곽선인지를 판단하고, 가용 윤곽선인 경우 상기 검출된 윤곽선과 상기 이전 영상의 윤곽선과의 오차율이 미리 지정된 비율 이하인지 여부를 판단하고, 상기 이전 영상의 윤곽선이 가용 윤곽선이 아니거나 상기 오차율이 상기 비율을 초 과하는 경우 상기 윤곽선 패턴 저장부에 저장된 하나 이상의 윤곽선 패턴 중 상기 윤곽선 검출부에 의해 검출된 상기 원시 영상의 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하는 비교부; 및 상기 비교부의 판단 결과에 상응하여, 상기 원시 영상의 윤곽선 내부는 상기 원시 영상의 상응하는 영역이 표시되고, 상기 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하는 합성부를 포함하는 윤곽선 검출을 이용한 영상 합성 장치가 제공된다.
여기서, 상기 원시 영상을 촬영하는 카메라부를 더 포함할 수 있다.
그리고, 상기 합성부는, 상기 배경 이미지를 저장하는 배경 이미지 메모리; 및 출력 메모리를 포함하되, 상기 원시 영상의 상기 윤곽선 내부 픽셀에 상응하는 데이터를 상기 출력 메모리에 저장하고, 상기 윤곽선 외부 픽셀에 상응하는 상기 배경 이미지의 데이터를 상기 출력 메모리에 저장할 수 있다.
그리고, 상기 윤곽선 검출부에 의해 검출된 윤곽선을 표시하는 디스플레이부를 더 포함할 수 있다.
이하, 본 발명의 바람직한 실시예에 따른 윤곽선 검출을 이용한 영상 합성 방법 및 장치를 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 윤곽선 검출을 이용한 영상 합 성 장치의 기능 블록도이다.
도 2를 참조하면, 영상 합성 장치(100)는 윤곽선 검출부(110), 윤곽선 패턴 저장부(130), 비교부(150), 합성부(170)를 포함한다. 물론, 도의 도시된 각 구성요소는 반드시 하드웨어로 구현될 필요는 없으며 소프트웨어 프로그램의 형태로 구현될 수도 있음은 자명하다.
윤곽선 검출부(110)는 영상의 윤곽선(edge)을 검출한다. 여기서, 영상은 본 발명에 따른 합성이 수행되기 이전의 원시 영상으로써, 카메라 모듈 등을 통해 촬영되어 입력되는 영상 데이터이거나, 임의의 저장 매체에 저장된 영상 데이터이다. 따라서, 윤곽선 검출부(110)는 원시 영상을 입력 받거나 또는 임의의 저장매체로부터 추출할 수 있다. 윤곽선 검출부(110)는 카메라 모듈 등을 통해 촬영된 영상에서 배경과 구분되는 인물 등의 윤곽선을 검출하는 기능을 수행한다. 물론, 인물뿐만 아니라, 영상에 포함된 동물, 물건, 건물 등의 윤곽선을 검출할 수도 있음은 당연하다. 이하, 설명의 편의를 위해 인물의 윤곽선만을 검출하는 것을 예로 들어 설명하기로 한다. 윤곽선 검출부(110)가 영상에서 인물의 윤곽선을 검출하는 방법으로 윤곽선 검출 알고리즘인 DoG(Difference of Gaussians) 또는 LoG(Laplacian of Gaussian) 등이 사용될 수 있다. 물론, 상술한 DoG 및 LoG 이외에도 영상에서 인물 등의 윤곽선을 검출할 수 있는 모든 알고리즘이 동일하게 적용될 수 있음은 이하의 설명을 통해 더욱 자명하게 될 것이다. 여기서, 영상은 YUV 또는 RGB 형식의 영상 데이터 일수 있으며, 압축된 JPEG 등의 압축 영상 데이터일 수 있다.
또는, 윤곽선 검출부(110)는 움직이는 인물에 따른 복수개의 영상 합성을 수 행할 시, 움직이는 인물의 모션 벡터(motion vector)를 산출하여 산출된 모션 벡터의 값이 일정 값 이상인 부분에 한하여 윤곽선을 검출함으로써 윤곽선 검출의 정확도를 높일 수 있다.
윤곽선 패턴 저장부(130)는 적어도 하나의 윤곽선 패턴(edge pattern)을 저장한다. 윤곽선 패턴은 의자에 앉아있는 사람의 모형, 서 있는 사람의 모형, 사람의 전신 또는 상반신 모형 등 다양한 인물 모형을 포함할 수 있다. 즉, 윤곽선 패턴은 합성하고자 하는 인물의 윤곽선에 대한 패턴(pattern)이다. 또한, 윤곽선 패턴 저장부(130)는 인물의 모형에 대한 패턴 이외에도, 특정 인물에 대한 패턴을 저장하고 있을 수도 있다. 예를 들어, 윤곽선 패턴 저장부(130)가 '철수'란 사람의 윤곽선의 특징(예를 들어, 헤어 스타일 및 얼굴 윤곽에 따른 윤곽선의 특징)을 윤곽선 패턴의 하나로써 저장함으로써, 영상 합성 장치(100)는 촬영된 영상에 포함된 인물이 '철수'임을 인식하여 그에 따른 합성을 수행하도록 할 수 있다. 즉, 각 윤곽선 패턴마다 별도의 항목(예를 들어, 철수, 영희 등)을 두어 묶을 수 있다. 물론, 윤곽선 패턴의 저장을 위해, 사용자가 임의의 사진을 촬영한 후 촬영된 영상에서 윤곽선 패턴의 추출을 수행하도록 하여 추출된 윤곽선 패턴이 임의의 항목에 상응하여 저장되도록 할 수도 있을 것이다. 즉, 본 발명에 따른 영상 합성 장치(100)는 항목별 윤곽선 패턴의 설정을 위한 사용자 인터페이스를 제공할 수도 있다.
또한, 영상 합성 장치는 윤곽선 패턴에 상응하는 배경 이미지를 다르게 설정할 수도 있다. 예를 들면, 촬영된 영상 내의 인물이 '철수'인 경우에는 미리 설정된 배경 이미지 'A'와 합성하고, 그 외의 윤곽선 패턴과 일치할 경우에는 배경 이 미지 'B'와 합성하도록 설정될 수 있다. 즉, 영상 합성 장치는 검출한 윤곽선에 상응하는 윤곽선 패턴에 따라 서로 다른 배경 이미지와 촬영된 영상을 합성할 수 있다.
비교부(150)는 윤곽선 검출부(110)에 의해 검출된 영상의 윤곽선에 상응하는 윤곽선 패턴 저장부(130)에 저장된 윤곽선 패턴이 존재하는지의 여부를 판단하는 기능을 수행한다. 비교부(150)는 윤곽선 검출부(110)가 검출한 영상의 윤곽선과 일정 범위의 오차(예를 들어, 5%)내로 일치하는 윤곽선 패턴이 존재하는지를 판단한다. 즉, 검출된 윤곽선이 검출하고자 하는 윤곽선이 맞는지의 여부를 판단하기 위한 것으로, 일치되는 윤곽선 패턴이 있는 경우 비교부(150)는 해당 윤곽선을 가용 윤곽선으로 인식할 수 있다. 이는 검출된 윤곽선이 추출하고자 하는 인물인지를 판단하기 위한 것이다. 따라서, 본 발명에 따른 영상 합성 장치(100)는 만일 검출된 윤곽선과 일정 비율 이상 일치하는 윤곽선 패턴이 없는 경우에는 추출된 윤곽선이 인물이 아니거나, 합성하고자 하는 형태의 모습이 아닌 경우(예를 들어, 팔을 양쪽으로 벌리고 있는 모습은 합성하고자 하지 않을 경우)로 인식할 수 있다. 물론, 이 경우 신규로 추출된 윤곽선을 표시부에 디스플레이하여 사용자가 새로운 윤곽선 패턴으로써 저장 지시를 할 수도 있음은 자명하다.
비교부(150)는 MSE(Mean Square Error), ME(Motion Estimation) 기법 등을 이용하여 검출된 윤곽선과 윤곽선 패턴을 비교하여 오차율을 구하고, 구해진 오차율이 미리 설정된 오차율(예를 들어, 5%) 이하인 경우에만 검출된 윤곽선과 해당 윤곽선 패턴이 일치하는 것으로 판단할 수 있다. 또한 비교부(150)는 본 발명의 다 른 실시예에 따라, 이전 영상의 윤곽선에 상응하는 윤곽선 패턴이 존재할 경우, 현재 영상의 윤곽선과 이전 영상의 윤곽선을 비교하여 일정 비율 이하로 상이할 경우 윤곽선 패턴과의 비교없이 영상의 합성을 수행하도록 할 수 있다. 따라서, 복수의 윤곽선 패턴과의 비교에 따른 처리 속도를 보다 빠르게 할 수 있다.
합성부(170)는 비교부(150)의 판단 결과 일치하는 윤곽선 패턴이 존재하는 경우, 영상의 윤곽선 내부를 추출하여 미리 설정된 배경 이미지와 합성하는 기능을 수행한다. 따라서, 합성부(170)는 배경 이미지를 저장하기 위한 배경 이미지 메모리와, 합성된 영상을 저장하기 위한 출력 메모리를 포함할 수 있다. 물론 상술한 윤곽선 패턴 저장부(130), 배경 이미지 메모리 및 출력 메모리는 하나 또는 각각의 저장 매체로 구현될 수 있다. 합성부(170)는 영상의 검출된 윤곽선 내부 픽셀에 상응하는 데이터를 출력 메모리에 저장하고, 윤곽선 외부 픽셀에 상응하는 배경 이미지의 데이터를 출력 메모리에 저장함으로써 배경 이미지와 영상을 합성할 수 있다.
여기서, 본 발명의 영상 합성 장치(100)는 영상을 촬영하기 위한 카메라 모듈(미도시)을 더 포함할 수도 있다. 즉, 영상 합성 장치(100)는 방송용 카메라, PCS와 같은 휴대폰, 디지털 카메라와 같은 카메라 모듈이 장착된 휴대 전자기기에 구비될 수 있다. 따라서, 본 발명에 따른 영상 합성 장치(100)가 구비된 디지털 카메라 등을 이용하여 촬영한 영상 데이터를 곧바로 미리 저장된 배경 이미지와 합성할 수 있다.
카메라 모듈은 센서부와 영상 저장부를 포함한다. 센서부는 적어도 하나 이상의 이미지 센서 및 ISP(Image Signal Process)를 포함하며, ISP는 이미지 센서로 부터 수신되는 전기 신호를 RGB 형식의 영상 데이터로 처리하여 영상 저장부에 저장한다. 물론 영상 저장부에 RGB 형식 이외에도 YUV 형식 등의 영상 데이터가 저장될 수도 있음은 당연하나, 이하에서는 RGB 형식의 영상 데이터가 저장되는 것을 예로 들어 설명하기로 한다. 따라서, 윤곽선 검출부(110)는 영상 저장부에 저장된 영상 데이터를 입력받거나 리드(read)하여 윤곽선을 검출한다.
이하, 본 발명에 따른 영상 합성 장치(100)에서 촬영된 영상의 윤곽선을 검출하여 배경 이미지와 합성하는 과정을 설명하기로 한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 영상 합성 장치에서 영상을 합성하는 과정을 나타낸 도면이고, 도 4는 본 발명의 바람직한 다른 실시예에 따른 영상 합성 장치에서 복수의 영상을 합성하는 과정을 나타낸 도면이다.
도 3을 참조하면, 영상 합성 장치(100)는 카메라 모듈 등에 의해 촬영된 영상에서 인물의 윤곽선을 검출한다(단계 310).
영상 합성 장치(100)는 검출된 윤곽선과 일정 범위의 오차율 내에서 일치되는 미리 저장된 윤곽선 패턴이 존재하는지를 판단한다(단계 320). 여기서, 오차율의 범위는 사용자가 직접 설정할 수 있도록 하는 것이 바람직하다. 따라서, 사용자는 영상에서 검출할 인물에 따른 윤곽선의 정확도를 효율적으로 설정할 수 있다.
판단 결과, 존재하는 경우 검출된 윤곽선 내부의 영상 데이터를 출력 메모리에 저장하고, 윤곽선 외부 영역에는 미리 지정된 또는 사용자에 의해 선택된 배경 이미지가 적용되도록 영상 데이터와 배경 이미지를 합성한다(단계 330). 판단 결 과, 존재하지 않는 경우에는 영상의 합성을 수행하지 않고 종료할 수 있다. 또는 상술한 바와 같이, 촬영된 영상에서 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하지 않는 경우에도 사용자의 기능 조작에 의해 새로운 윤곽선 패턴으로써 저장되도록 함으로써 단계 330으로 진행될 수도 있음은 자명하다.
여기서, 검출된 윤곽선은 구비된 디스플레이 모듈(예를 들어, 액정)(미도시)을 통해 표시될 수 있다. 따라서, 사용자는 검출된 윤곽선을 확인할 수 있으며, 영상 합성 장치(100)는 사용자로부터 검출된 윤곽선이 제대로 검출된 것인지의 여부를 확인받을 수 있다.
상술한 윤곽선 검출에 따른 영상 합성 방법은 하나의 영상만을 합성하는 것을 예로 들었으나, 프리뷰 기능, 동영상 촬영 및 저장된 동영상 중 어느 하나를 실행할 경우처럼, 움직이는 영상(즉, 순차적인 복수의 영상)에서도 동일하게 적용될 수 있다. 다만, 움직이는 영상과 같이 복수의 영상을 합성하는데 있어서는, 각 영상의 합성 시 검출된 윤곽선과 일치하는 윤곽선 패턴이 존재하는지를 매번 판단하지 않을 수 있다. 즉, 영상의 움직이는 인물을 배경 이미지와 합성하는데 있어, 검출된 인물의 윤곽선에 상응하는 미리 설정된 윤곽선 패턴이 최초 존재할 경우, 이후부터 검출되는 윤곽선은 윤곽선 패턴과의 비교를 수행하지 않고, 이전 윤곽선과의 비교만을 수행할 수 있다. 따라서, 사용자가 원하는 패턴을 지닌 윤곽선이 검출될 때 까지는 합성을 수행하지 않고, 검출된 이후부터는 윤곽선 패턴과의 비교없이 이전 윤곽선과의 비교만으로 영상을 합성할 수 있다.
물론, 움직이는 영상을 합성하는데 있어서, 검출된 윤곽선의 윤곽선 패턴과 의 비교를 항상 수행할 수도 있음은 당연하다.
움직이는 영상을 합성하는 과정을 도 4를 참조하여 설명하면, 영상 합성 장치(100)는 카메라 모듈로부터 영상 데이터를 입력 받는다(단계 410). 이후, 영상 합성 장치(100)는 입력된 영상의 인물의 윤곽선을 검출하고(단계 420), 검출된 윤곽선과 일정 범위의 오차율 내에서 일치되는 미리 저장된 윤곽선 패턴이 존재하는지를 판단한다(단계 430).
판단 결과, 영상 합성 장치(100)는 윤곽선과 일치되는 윤곽선 패턴이 존재할 경우에는 윤곽선 내부에는 촬영된 이미지가 적용되고 윤곽선 외부에는 배경 이미지가 적용되도록 영상 합성을 수행한다(단계 440). 이후 영상 데이터가 계속 입력될 경우, 영상 데이터를 입력 받아(단계 450), 인물의 윤곽선을 검출한다(단계 460).
물론 단계 430에서의 판단결과 윤곽선과 일치되는 윤곽선 패턴이 존재하지 않고 이후에도 영상이 입력되면 다시 단계 410으로 진행하고, 영상 촬영이 종료되어 이후 입력되는 영상이 없을 경우에는 영상의 합성이 종료될 수 있다.
영상 합성 장치(100)는 검출된 윤곽선과 이전 영상에서 검출된 윤곽선을 비교하여 유사한지의 여부를 판단한다(단계 470). 검출된 윤곽선을 이전 가용 윤곽선과 비교하여 유사할 경우 별도로 윤곽선 패턴과의 비교를 수행하지 않기 위한 것이다. 영상 합성 장치(100)는 새롭게 검출된 윤곽선과 이전 윤곽선이 일정 비율 이하로 상이할 경우 해당 윤곽선을 이전 윤곽선과 유사한 윤곽선으로 인식할 수 있다. 만일 검출된 윤곽선이 이전 영상의 윤곽선과 유사한 경우 배경 이미지와 윤곽선 내 부 영상을 합성하고(단계 480), 유사하지 않은 경우에는 단계 430으로 진행한다. 이후에도 영상 데이터가 입력되는 경우 단계 450으로 진행할 수 있다.
따라서, 본 발명에 따른 영상 합성 장치(100)는 움직이는 인물에 따른 이전 영상에서 추출된 윤곽선과 현재 영상에서 추출된 윤곽선을 이용하여 합성 수행 여부를 판단함으로써, 보다 신속하게 복수의 영상에 대한 합성을 수행할 수 있다.
도 5는 본 발명의 바람직한 일 실시예에 따른 윤곽선 검출을 이용한 영상 합성을 예시한 도면이다.
도 5를 참조하면, 카메라 모듈 등의 센서로부터 획득된 영상 데이터(참조번호 510) 및 배경 이미지(참조번호 520)가 도시되어 있다.
참조번호 530은 영상 데이터에서 검출된 인물의 윤곽선을 나타낸 것이며, 참조번호 540은 검출된 인물의 윤곽선에 상응하는 미리 저장된 윤곽선 패턴을 나타낸 것이다. 따라서, 영상 데이터에서 검출된 인물의 윤곽선에 상응하는 윤곽선 패턴이 참조번호 540가 같이 미리 저장되어 존재할 경우, 참조번호 550과 같이 검출된 윤곽선 내부는 영상 데이터의 인물에 따른 데이터가 채워지고, 나머지인 윤곽선 외부는 배경 이미지에 따른 데이터가 채워져서 참조번호 560과 같은 합성된 이미지를 얻을 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드디스크, 광자기디스크 등) 에 저장될 수 있다.
본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.
이상에서 상술한 바와 같이 본 발명에 따르면, 블루 스크린 방식에 따른 영상 합성 시 발생되는, 배경 이미지와 합성하고자 하는 인물 또는 물체에 배경 이미지에 따른 영상이 섞이는 문제를 해결할 수 있는 영상 합성 방법 및 장치를 제공할 수 있는 효과가 있다.
또한, 별도의 블루 스크린이 필요없이, 영상에서 합성하고자 하는 인물 등의 윤곽선을 검출하여 해당 윤곽선 내부 및 외부를 서로 다른 영상으로 합성함으로써, 공간적으로 또는 비용적으로 효율적인 윤곽선 검출을 이용한 영상 합성 방법 및 장치를 제공할 수 있는 효과도 있다.
또한, 윤곽선의 다양한 패턴을 미리 설정하여, 영상의 검출된 윤곽선이 미리 설정된 패턴에 상응하는 경우에만 영상을 합성함으로써, 사용자가 원하는 형태의 인물 또는 물체만을 검출하여 배경 이미지와 합성할 수 있는 효과도 있다.
또한, 방송국용 카메라, 모바일폰, 디지털 카메라 등 영상을 촬영할 수 있는 다양한 전자기기에 적용시킬 수 있는 윤곽선 검출을 이용한 영상 합성 방법 및 장치를 제공할 수 있는 효과도 있다.
또한, 움직이는 영상에서도 미리 설정된 윤곽선 패턴에 상응하는 영상만을 합성할 수 있으며, 움직이는 영상의 합성 시 이전 윤곽선과의 비교를 통해 보다 신속하게 원하는 패턴의 영상을 합성할 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 영상 합성 방법에 있어서,
    (a) 원시 영상에서 하나 이상의 윤곽선을 검출하는 단계;
    (b) 미리 저장된 하나 이상의 윤곽선 패턴 중 상기 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하는 단계; 및
    (c) 상기 미리 저장된 윤곽선 패턴 중 상기 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는 경우, 상기 검출된 윤곽선 내부는 상기 원시 영상의 상응하는 영역이 표시되고, 상기 검출된 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하는 단계를 포함하는 윤곽선 검출을 이용한 영상 합성 방법.
  2. 제 1항에 있어서,
    상기 원시 영상은 프리뷰(preview) 기능 또는 동영상 촬영 기능에 의해 촬영되는 것을 특징으로 하는 윤곽선 검출을 이용한 영상 합성 방법.
  3. 제 1항에 있어서, 상기 단계 (c)는,
    상기 원시 영상의 상기 검출된 윤곽선 내부 픽셀에 상응하는 데이터를 출력 메모리에 저장하는 단계; 및
    상기 검출된 윤곽선 외부 픽셀에 상응하는 상기 배경 이미지의 데이터를 상기 출력 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 윤곽선 검출을 이용한 영상 합성 방법.
  4. 제 1항에 있어서,
    상기 배경 이미지는 상기 미리 저장된 윤곽선 패턴에 상응하여 저장되는 것을 특징으로 하는 윤곽선 검출을 이용한 영상 합성 방법.
  5. 순차적인 복수의 영상을 합성하는 방법에 있어서,
    현재 영상에서 하나 이상의 윤곽선을 검출하는 단계;
    이전 영상의 윤곽선이 가용 윤곽선인지 여부를 판단하는 단계;
    상기 이전 영상의 윤곽선이 가용 윤곽선인 경우, 상기 검출된 윤곽선과 상기 이전 영상의 윤곽선과의 오차율이 윤곽선 비교 기준값 이하인지 여부를 판단하는 단계; 및
    상기 검출된 윤곽선과 상기 이전 영상의 윤곽선과의 오차율이 윤곽선 비교 기준값 이하인 경우 상기 검출된 윤곽선 내부는 상기 현재 영상의 상응하는 영역이 표시되고, 상기 검출된 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하고,
    상기 이전 영상의 윤곽선이 가용 윤곽선이 아니거나 상기 검출된 윤곽선과 상기 이전 영상의 윤곽선과의 오차율이 윤곽선 비교 기준값을 초과하는 경우, 미리 저장된 하나 이상의 윤곽선 패턴 중 상기 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하여 상기 미리 저장된 윤곽선 패턴 중 상기 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는 경우 상기 검출된 윤곽선 내부는 상기 현재 영상의 상응하는 영역이 표시되고 상기 검출된 윤곽선 외부는 상기 배경 이미지의 상응하는 영역이 표시되도록 합성하는 단계를 포함하는 윤곽선 검출을 이용한 영상 합성 방법.
  6. 영상 합성 장치에 있어서,
    원시 영상에서 하나 이상의 윤곽선을 검출하는 윤곽선 검출부;
    하나 이상의 윤곽선 패턴을 저장하는 윤곽선 패턴 저장부;
    상기 윤곽선 패턴 저장부에 저장된 윤곽선 패턴 중 상기 윤곽선 검출부에 의해 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하는 비교부; 및
    상기 비교부의 판단 결과 상기 윤곽선 패턴 저장부에 저장된 윤곽선 패턴 중 상기 윤곽선 검출부에 의해 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는 경우, 상기 검출된 윤곽선 내부는 상기 원시 영상의 상응하는 영역이 표시되고, 상기 검출된 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하는 합성부를 포함하는 윤곽선 검출을 이용한 영상 합성 장치.
  7. 순차적인 복수의 영상을 합성하는 장치에 있어서,
    현재 영상에서 하나 이상의 윤곽선을 검출하는 윤곽선 검출부;
    적어도 하나의 윤곽선 패턴을 저장하는 윤곽선 패턴 저장부;
    이전 영상의 윤곽선이 가용 윤곽선인지를 판단하고, 상기 이전 영상의 윤곽선이 가용 윤곽선인 경우 상기 검출된 윤곽선과 상기 이전 영상의 윤곽선과의 오차율이 윤곽선 비교 기준값 이하인지 여부를 판단하고, 상기 이전 영상의 윤곽선이 가용 윤곽선이 아니거나 상기 검출된 윤곽선과 상기 이전 영상의 윤곽선과의 오차율이 윤곽선 비교 기준값을 초과하는 경우 상기 윤곽선 패턴 저장부에 저장된 윤곽선 패턴 중 상기 윤곽선 검출부에 의해 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는지 여부를 판단하는 비교부; 및
    상기 비교부의 판단 결과 상기 윤곽선 패턴 저장부에 저장된 윤곽선 패턴 중 상기 윤곽선 검출부에 의해 검출된 윤곽선에 상응하는 윤곽선 패턴이 존재하는 경우, 상기 검출된 윤곽선 내부는 상기 현재 영상의 상응하는 영역이 표시되고, 상기 검출된 윤곽선 외부는 미리 저장된 또는 선택된 배경 이미지의 상응하는 영역이 표시되도록 합성하는 합성부를 포함하는 윤곽선 검출을 이용한 영상 합성 장치.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제 6항 또는 7항에 있어서,
    상기 영상을 촬영하는 카메라부를 더 포함하는 윤곽선 검출을 이용한 영상 합성 장치.
  9. 제 6항 또는 7항에 있어서, 상기 합성부는,
    상기 배경 이미지를 저장하는 배경 이미지 메모리; 및
    출력 메모리를 포함하되,
    상기 검출된 윤곽선 내부 픽셀에 상응하는 데이터를 상기 출력 메모리에 저장하고, 상기 검출된 윤곽선 외부 픽셀에 상응하는 상기 배경 이미지의 데이터를 상기 출력 메모리에 저장하는 것을 특징으로 하는 윤곽선 검출을 이용한 영상 합성 장치.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제 6항 또는 7항에 있어서,
    상기 윤곽선 검출부에 의해 검출된 윤곽선을 표시하는 디스플레이부를 더 포함하는 윤곽선 검출을 이용한 영상 합성 장치.
KR1020050129829A 2005-12-26 2005-12-26 윤곽선 검출을 이용한 영상 합성 방법 및 장치 KR100822458B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050129829A KR100822458B1 (ko) 2005-12-26 2005-12-26 윤곽선 검출을 이용한 영상 합성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050129829A KR100822458B1 (ko) 2005-12-26 2005-12-26 윤곽선 검출을 이용한 영상 합성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070068086A KR20070068086A (ko) 2007-06-29
KR100822458B1 true KR100822458B1 (ko) 2008-04-16

Family

ID=38366580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050129829A KR100822458B1 (ko) 2005-12-26 2005-12-26 윤곽선 검출을 이용한 영상 합성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100822458B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069585A (ko) 2013-12-13 2015-06-24 청주대학교 산학협력단 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101618759B1 (ko) 2008-12-24 2016-05-09 삼성전자주식회사 영상 촬영 장치 및 방법
KR101224061B1 (ko) * 2011-01-28 2013-01-21 포항공과대학교 산학협력단 영상 합성 장치 및 방법
KR101281003B1 (ko) * 2011-06-28 2013-07-08 서울대학교산학협력단 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
CN103248830A (zh) * 2013-04-10 2013-08-14 东南大学 面向移动智能终端增强现实的实时视频合并方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196362A (ja) * 1997-01-10 1999-07-21 Casio Comput Co Ltd 撮像装置および撮像画像加工方法
KR20020060495A (ko) * 2001-01-11 2002-07-18 윤종용 가상 배경 표시 기능을 갖는 영상 단말 장치 및 그 구현방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196362A (ja) * 1997-01-10 1999-07-21 Casio Comput Co Ltd 撮像装置および撮像画像加工方法
KR20020060495A (ko) * 2001-01-11 2002-07-18 윤종용 가상 배경 표시 기능을 갖는 영상 단말 장치 및 그 구현방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069585A (ko) 2013-12-13 2015-06-24 청주대학교 산학협력단 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체

Also Published As

Publication number Publication date
KR20070068086A (ko) 2007-06-29

Similar Documents

Publication Publication Date Title
US8265399B2 (en) Detecting orientation of digital images using face detection information
US8391645B2 (en) Detecting orientation of digital images using face detection information
EP1980907B1 (en) Method for photographing panoramic image
US7801360B2 (en) Target-image search apparatus, digital camera and methods of controlling same
US20190206031A1 (en) Facial Contour Correcting Method and Device
US20060120712A1 (en) Method and apparatus for processing image
US9838616B2 (en) Image processing method and electronic apparatus
JP2004062565A (ja) 画像処理装置及び方法並びにプログラム記憶媒体
CN107566749B (zh) 拍摄方法及移动终端
WO2004015987A1 (ja) 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
JPH1145332A (ja) 画像変形装置および方法
KR100822458B1 (ko) 윤곽선 검출을 이용한 영상 합성 방법 및 장치
US10348958B2 (en) Image processing apparatus for performing predetermined processing on a captured image
KR20090088325A (ko) 화상 처리 장치, 화상 처리 방법 및 촬상 장치
US20100188520A1 (en) Imaging device and storage medium storing program
CN111654624B (zh) 拍摄提示方法、装置及电子设备
CN105574834B (zh) 图像处理方法及装置
CN106650583B (zh) 人脸检测方法、装置及终端设备
JP2000232609A (ja) 特殊効果処理方法及び画像処理装置
CN111800574B (zh) 成像方法、装置和电子设备
CN112235650A (zh) 视频处理方法、装置、终端及存储介质
CN112106347A (zh) 一种图像生成方法、设备、可移动平台及存储介质
US7663676B2 (en) Image composing apparatus and method of portable terminal
CN107392152A (zh) 一种获取虹膜图像的方法及装置
CN111083345B (zh) 独照生成装置和方法及其非易失性计算机可读媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 10