KR100950965B1 - 배경 영상의 자동 교체 시스템 및 그 방법 - Google Patents

배경 영상의 자동 교체 시스템 및 그 방법 Download PDF

Info

Publication number
KR100950965B1
KR100950965B1 KR1020080035349A KR20080035349A KR100950965B1 KR 100950965 B1 KR100950965 B1 KR 100950965B1 KR 1020080035349 A KR1020080035349 A KR 1020080035349A KR 20080035349 A KR20080035349 A KR 20080035349A KR 100950965 B1 KR100950965 B1 KR 100950965B1
Authority
KR
South Korea
Prior art keywords
image
specific object
watermark
background image
unit
Prior art date
Application number
KR1020080035349A
Other languages
English (en)
Other versions
KR20090109896A (ko
Inventor
원치선
Original Assignee
동국대학교 산학협력단
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, 중앙대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020080035349A priority Critical patent/KR100950965B1/ko
Publication of KR20090109896A publication Critical patent/KR20090109896A/ko
Application granted granted Critical
Publication of KR100950965B1 publication Critical patent/KR100950965B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 영상에 제시된 여러 객체 중 특정 객체를 제외한 나머지 객체에 해당하는 영역의 영상(배경 영상)을 자동적으로 그리고 무한히 다른 배경 영상으로 교체할 수 있는 시스템 및 그 방법에 관한 것이다.
본 명세서에서 개시하는 배경 영상의 자동 교체 시스템은 원영상(raw image)에서 특정 객체 부분에 해당하는 영상(특정 객체 영상)을 분리하는 특정 객체 영상 분리부; 상기 원영상의 상기 특정 객체 부분 이외의 부분 영상(배경 영상)을 교체할 경우, 새롭게 교체 삽입될 배경 영상에 대해서만 워터마크를 삽입하는 제2 워터마크 삽입부; 및 상기 워터마크가 삽입된 배경 영상과 상기 분리된 특정 객체 영상을 합성하여 배경 영상이 교체된 새로운 합성 영상을 출력하는 합성 영상 출력부를 포함하여 본 발명의 과제를 해결한다.
영상 자동 분할, 영상 배경 교체(background replacement), 워터마킹, QIM(Quantization Index Modulation).

Description

배경 영상의 자동 교체 시스템 및 그 방법{System for replacing background image and Method thereof}
본 발명은 배경 영상의 자동 교체 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 영상에 제시된 여러 객체 중 특정 객체를 제외한 나머지 객체에 해당하는 영역의 영상(배경 영상)을 자동적으로 그리고 무한히 다른 배경 영상으로 교체할 수 있는 시스템 및 그 방법에 관한 것이다.
디지털 카메라, 휴대 단말기, 디지털 캠코더 등의 보급으로 인해 사용자에 의한 영상 컨텐츠의 생성 및 편집에 대한 요구가 증대되고 있다. 대표적인 예로 UCC(User Created Content)가 있는데, UCC는 하루에도 수없이 많은 영상 컨텐츠들이 생성되어 인터넷을 통해 제공되고 있다. 이들 중 대부분은 사용자에 의해 내용의 일부가 편집(특수효과 처리 등)되고 있으며, 앞으로 영상 컨텐츠의 다양한 내용 반영을 위해 좀 더 복잡한 기술을 요구하는 영상 편집 기능에 대한 요구가 더욱 많아질 것으로 예상된다.
한편 일반 사용자들에 의해 현재 주로 사용되는 편집기능은 영상 전체에 대해 특정의 효과를 일정하게 가하는 형태의 것이다. 그러나 앞으로는 영상의 일부에 대한 즉, 특정 객체(특정 피사체) 단위의 편집에 대한 요구가 폭증할 것으로 예상된다. 예를 들어, 휴대전화로 상대방의 얼굴을 보면서 대화하는 비디오 폰이 보급되면서 노출하고 싶지 않은 배경을 다른 것으로 교체한다거나 디지털 카메라로 찍은 영상에 대해 배경 영상을 교체하는 것들이다. 또한, 영상이나 비디오의 내용기반 검색이나 압축에도 특정 객체를 다른 객체(배경)로부터 분리하는 것이 필수적으로 요구된다.
임의의 모양을 갖는 특정 객체와 다른 객체가 혼합된 영상에서 특정 객체를 자동적으로 분리하는 것은 아직 미해결 문제로 남아있다. 소정의 경우 반자동적인 분리가 가능한데, 예를 들어 블루 스크린(blue screen)을 배경으로 촬영된 특정 객체는 배경의 독특한 색깔에 의해 자동으로 분리될 수 있으며 따라서 푸른색의 배경이 특정 객체와 분리되어 배경 부분만 다른 배경으로 쉽게 교체될 수 있다. 이 기법은 오래전부터 영화제작이나 일기예보 등의 영상물 제작에 사용되어 왔다. 그러나 기존의 블루 스크린 기법은 언제나 일정한 색깔의 배경 세트가 필요하다는 불편함과 특정 객체 내에는 배경으로 쓰인 푸른색이 포함되지 않아야 한다는 전제가 있다.
이를 극복하기 위해 특정 객체가 없는 배경 영상을 미리 취득하여 저장하고, 특정 객체와 함께 촬영된 영상에 대해서는 이미 저장된 배경 영상과 픽셀 단위로 비교하여 특정 객체에 해당되는 픽셀인지 아니면 배경에 해당되는 픽셀인지 구분하여 배경과 특정 객체를 분리한 후 새로운 배경으로 교체하는 방안이 제안되었다. 그러나 이 방안은 주변의 밝기나 촬영기 소자에 의한 잡음 개입 등에 의해 영향을 받아 배경과 특정 객체의 분리가 어려울 수 있다. 이를 극복하여 주위 픽셀의 상태를 함께 고려한 배경/전경 분리 방안이 제시된 바가 있다.
한편 인간의 시각은 영상 내에 존재하는 특정 객체와 배경을 쉽게 분리할 수 있는데, 이러한 인간의 시각 특성을 이용하여 인간의 개입(도움)을 통한 반자동 영상분할 기법이 활용되는 경우도 있다. 즉, 인간의 개입에 의해 개략적인 윤곽선이 마우스로 그려지거나 혹은 특정 객체의 주요 윤곽선 포인트를 클릭하여 선택함으로써 개략적인 윤곽선을 얻을 수 있다. 개략적인 윤곽선이 밝혀지면 픽셀 레벨의 상세한 윤곽선은 컴퓨터에 의해 자동적으로 수행된다.
특정 객체를 배경으로부터 자동적으로 분리할 수 있는 또 다른 방안이 있는데, 이 방안에 의하면 촬영시에 특정 객체에 초점을 맞추어 뚜렷하게 보이도록하고 나머지 배경은 초점을 맞추지 않아 흐릿하게 보이는 LDOF (Low depth-of-field) 영상을 취득할 수 있다면 초점이 맞추어진 특정 객체의 고주파수(또는 높은 국부 밝기 변위) 정보를 이용하여 자동으로 특정 객체와 배경을 분리할 수 있다.
그러나 상기 언급된 특정 객체와 배경을 분리하는 여러 기법들은 일회성 배경 교체의 경우에만 한정된다. 즉, 특정 객체와 배경이 분리된 후에 다른 배경 영상으로의 교체는 자동적으로 이루어질 수 없고 다른 배경 영상으로 교체하기 위해서는 또 다시 반복적으로 교체 기법의 전체 메커니즘을 수행해야 한다는 문제점이 있다.
본 발명은 상기한 최근의 경향에 부응하고 아울러 배경 영상의 교체에 있어서 상기한 기존 기법들의 여러 문제점을 해결하기 위해 창안된 것으로, 본 발명이 해결하고자 하는 과제는 영상에 제시된 특정 객체를 제외한 배경의 영상을 다른 배경의 영상으로 교체하는 경우 자동적으로 그리고 무한히 교체할 수 있는 시스템 및 그 방법을 제공하는 것이다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 배경 영상의 자동 교체 시스템은
원영상(original image)에서 특정 객체 부분에 해당하는 영상(특정 객체 영상)을 분리하는 특정 객체 영상 분리부; 상기 원영상의 상기 특정 객체 부분 이외의 부분 영상(배경 영상)을 교체할 경우, 새롭게 교체 삽입될 배경 영상에 대해서만 워터마크를 삽입하는 제2 워터마크 삽입부; 및 상기 워터마크가 삽입된 배경 영상과 상기 분리된 특정 객체 영상을 합성하여 배경 영상이 교체된 새로운 합성 영상을 출력하는 합성 영상 출력부를 포함하여 본 발명의 과제를 해결한다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 배경 영상의 자동 교체 방법은
원영상(original image)에서 특정 객체 부분에 해당하는 영상(특정 객체 영상)을 분리하는 단계; 상기 원영상의 상기 특정 객체 부분 이외의 부분 영상(배경 영상)을 교체할 경우, 새롭게 교체 삽입될 배경 영상에 대해서만 워터마크를 삽입하는 단계; 및 상기 워터마크가 삽입된 배경 영상과 상기 분리된 특정 객체 영상을 합성하여 배경 영상이 교체된 새로운 합성 영상을 출력하는 단계를 포함하여 본 발명의 과제를 해결한다.
본 발명은 배경 영상 교체에 있어서 기존의 일회성에 그쳤던 문제를 해결하여 무한히 자동적으로 배경 영상을 교체할 수 있다. 또한 워터마크가 삽입된 영상에 대해 JPEG과 같은 압축이나 잡음의 개입 등 외란이 발생하여 워터마크가 손상되는 문제를 해결하여 더욱 신뢰도가 향상된 배경 교체가 가능하다. 본 명세서는 비록 배경 영상 교체를 주된 목적으로 기술하였으나 배경 영상의 교체 이외에도 영상의 특정 객체를 자동 분리하여 내용기반 영상 검색이나 객체 단위 영상 압축에 응용될 수도 있다. 또한 동일한 객체에 대해 서로 다른 배경 영상을 자동 생성하여 영상의 내용 인식 트레이닝(학습) 과정에서 필요한 테스트 영상을 자동으로 제공할 목적으로도 활용될 수 있다.
아울러 본 명세서에는 정지영상의 배경 교체를 중심으로 기술되었으나, 본질적으로 본 발명의 결과는 동영상으로 확대하여 동영상의 배경을 자동 교체하는 목적으로도 활용할 수 있다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요를 우선 제시한다.
본 발명은 배경 영상을 변경함에 있어서, 특정 객체 영상과 배경 영상에 각각 달리 워터마크를 삽입하며 이러한 워터마크의 삽입은 두 영상의 독립적인 분리 처리를 가능하게 한다. 즉, 워터마크의 삽입/검출 처리만으로 배경 영상을 자유로이 교체할 수 있게 하는 것이 본 발명이 해결하고자 하는 과제의 해결 방안의 개요이다.
이하, 본 발명의 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 1a 내지 도 1d는 본 시스템 발명의 일 실시예의 구성을 제시한 도면이고, 도 2a 내지 도 2d는 본 방법 발명의 일 실시예의 흐름을 제시한 도면이다.
본 발명을 구현하기 위한 첫 번째 과정은 원영상(original or raw image) 영역을 특정 객체 영상 영역과 배경 영상 영역으로 분리하여(이하 특정 객체 영상 영역은 특정 객체 영역 또는 특정 객체 영상과 동일 의미로, 배경 영상 영역은 배경 영상 또는 배경 영역과 동일 의미로 사용한다), 원영상을 특정 객체 영상과 배경 영상으로 분리하는 일이다(S11). 분리는 원영상 분리부(11)에 의해 이루어지며, 기존의 제시된 기법 즉, 블루 스크린 기법, 반자동 영상 분할 기법, LDOF 영상 분할 기법 등에 의해 이루어진다. 도 1a에서는 사람의 안면부가 특정 객체 부분이다.
다음으로, 제1 워터마크 삽입부(12)는 서로 분리된 특정 객체 영상 영역과 배경 영상 영역 각각에 워터마크(watermark)를 삽입한다(S12). 본 발명에 의한 워터마크의 삽입은 QIM(Quantization Index Modulation)에 의하는데, QIM은 영상의 각 픽셀 단위에 직접 적용할 수 있는 것으로 기존의 대역확산을 기반으로 하는 워터마킹 기법보다 더 강인한 것으로 알려져 있다.
그러나 픽셀 단위의 QIM의 적용은 워터마크가 삽입된 영상에 대해 압축 등 후처리를 가하면 삽입된 워터마크가 손실될 가능성이 높다. 이러한 문제를 해결하기 위해 기존의 QIM 기법에 슬라이딩 윈도우(sliding window)를 적용하여 국부적인 평균값에 워터마크를 삽입하는 예가 있으나, 이 경우 슬라이딩 윈도우를 중첩시키면서 픽셀 단위로 워터마크를 삽입하면서 워터마크 삽입에 의한 픽셀값의 변화가 다음 슬라이딩 윈도우의 평균값에 영향을 미치게 되면서 화질의 훼손(열화)이 누적되는 문제가 발생할 수 있다.
본 발명에서는 이와 같은 문제들을 해결하기 위해 화질의 열화를 방지하고 후처리에도 강한 블록 단위 워터마크 삽입 기법을 제안하는데, 이는 특정 객체 영상과 베경 영상 각각을 서로 겹치지 않는 단위 블록으로 나눈 후 각 단위 블록의 평균 밝기에 QIM을 적용하여 워터마크를 삽입하는 것으로써 구현된다.
제1 워터마크 삽입부(12)의 자세한 구성 내지 워터마크 삽입의 자세한 과정(S12)은 도 1b와 도 2b에 각각 제시되어 있다.
양자화 스텝 설정부(121)는 제1 워터마크 삽입부(12)에 입력되는 특정 객체 영상과 배경 영상에 적용될 QIM을 위한 양자화 스텝(Δ)을 설정한다(S121). 양자화 스텝은 워터마크 삽입의 강도를 나타내는 것으로 Δ가 클수록 강한 워터마크를 삽입할 수 있는 반면에 워터마크 삽입에 의한 화질의 열화 현상이 가시적으로 보일 수 있다. 따라서 화질의 열화 방지와 워터마크의 강인성을 조화(compromising)시킬 필요가 있는데, 예를 들어 256 단계의 밝기(luminance)를 갖는 영상에 워터마크를 삽입하는 경우에는 Δ가 5 내지 10의 값을 갖도록 하는 것이 바람직하다.
영상 블록 분할부(1221, 1222)는 각각 특정 객체 영상과 배경 영상에 QIM의 적용을 위해 특정 객체 영상과 배경 영상 각각을 단위 블록으로 분할한다(S122). 본 발명에서 단위 블록으로의 분할은 각 단위 블록이 상호 겹치지 아니하도록 이루어지는데, 이는 겹쳐서 분할이 이루어지면, 상기한 바와 같이, 워터마크가 삽입된 영상에 대해 압축 등 후처리를 가하는 경우 삽입된 워터마크가 손실될 가능성이 높고 화질의 열화가 발생할 수 있기 때문이다. 따라서 본 발명에서는 각 영상을 겹치지 않는 단위 블록으로 분할하여 QIM을 적용하도록 한다.
상기 각 영상이 단위 블록으로 분할되면, 영상 블록 평균 휘도 계산부(123)는 상기 각 영상의 각 단위 블록별 평균 휘도(y)를 계산한다(S123). 평균 휘도(y)의 계산은 상기 각 영상의 좌측 최상단 단위 블록으로부터 우측 최하위 단위 블록까지 래스터 스캐닝(raster scanning)에 의해 이루어진다.
휘도 변경부(124)는, 상기 각 영상에 워터마크를 삽입하기 위해, 상기 각 단위 블록내의 각 픽셀의 실제 휘도(So)를 상기 설정된 양자화 스텝(Δ)과 상기 계산된 각 단위 블록별 평균 휘도(y)를 반영하여 새로운 휘도(Sn)로 변경하는데(S124), 각 단위 블록이 특정 객체 영역에 완전히 포함되는 경우에는 아래의 식(1)에 의해, 배경 영역에 완전히 포함되는 경우에는 아래의 식(2)에 의해 변경한다.
한편 휘도의 변경에 있어서 특히 해당 단위 블록이 특정 객체 영역과 배경 영역의 경계에 놓여있는 경우가 문제된다. 이 경우는 식(1)에 의해 휘도를 변경할 지, 식(2)에 의해 휘도를 변경할 지가 불분명하기 때문이다. 따라서 해당 단위 블록이 경계에 놓여 있는 경우에는 식(1)과 식(2) 중 어느 식에 의해 휘도를 변경해야 할 지 결정해야 한다. 이는 결국 경계에 놓여 있는 단위 블록을 특정 객체 영역으로 간주하는지 배경 영역으로 간주하는지 결정하는 것이다.
휘도 변경부(124)는 따라서 경계에 놓여 있는 단위 블록에 포함된 각 픽셀의 휘도를 변경하는 경우에는, 해당 단위 블록 내에 특정 객체 영역의 픽셀이 배경 영역의 픽셀보다 더 많으면 특정 객체 영역에 적용되는 식(1)을 적용하여 휘도를 변경하며, 반대로 배경 영역의 픽셀이 특정 객체 영역의 픽셀의 수보다 더 많으면 배경 영역에 적용되는 식(2)을 적용하여 휘도를 변경한다.
휘도 변경에 관한 내용을 정리하면 다음과 같다.
단위 블록이 완전히 특정 객체 영역에 있는 경우와 경계에 놓여 있는 단위 블록이 특정 객체 영역의 픽셀을 더 많이 갖고 있는 경우(Case 1),
Figure 112008027188873-pat00001
--- 식(1).
단위 블록이 완전히 배경 영역에 있는 경우와 경계에 놓여 있는 단위 블록이 배경 영역의 픽셀을 더 많이 갖고 있는 경우(Case 2),
Figure 112008027188873-pat00002
--- 식(2).
식(1)과 식(2)에서 괄호안의 식은 상기 각 영상에 해당 단위 블록이 특정 객체 영역에 해당하는지 배경 영역에 해당하는지에 따라 y를 QIM 기법으로 변경하여 워터마크를 삽입하기 위한 것임을 나타내는 것이며,
Figure 112008027188873-pat00003
는 해당값을 정수로 바꾸는 실링 함수(ceiling function)를 의미한다. 각 단위 블록에 대해 본 과정(S124)을 적용하여 특정 객체 영역과 배경 영역에 서로 다른 양자화를 적용하여 얻어진 새로운 휘도(Sn)의 픽셀을 갖는(워터마크가 삽입된) 특정 객체 영상과 배경 영상이 얻어진다.
영상 합성부(13)는 상기 S12 과정을 통해 워터마크 비트가 삽입된 특정 객체 영상과 배경 영상을 합성한다(S13). 합성된 영상은 차후 배경 영상의 교체시에 활용된다.
다음으로 본 발명에 의한 배경 영상을 교체하는 방안에 대하여 상세히 설명한다.
도 1c와 도 2c는 배경 영상을 교체하기 위한 본 발명의 개괄적 구성 및 흐름을 각각 제시한 도면이다.
특정 객체 영상 분리부(14)는 상기한 과정(S11 내지 S13)에 의해 워터마크가 삽입되어 합성된 영상으로부터 워터마크가 삽입된 특정 객체 영상을 분리해낸다(S14). 제2 워터마크 삽입부(16)는 새롭게 삽입할 배경 영상에 대해서만 상기한 S12 과정과 동일하게 워터마크를 삽입한다(S16). 합성 영상 출력부(17)는 워터마크가 삽입된 새로운 배경 영상과 상기 분리된 특정 객체 영상을 합성하여 배경 영상 이 교체된 새로운 합성 영상을 출력한다(S17).
이때 제2 워터마크 삽입부(16)의 기능은 제1 워터마크 삽입부(12)의 기능과 동일하며, 합성 영상 출력부(17)의 기능은 영상 합성부(13)의 기능과 동일하다. 다만 합성 영상의 도출 과정(S11~S13)과 배경 영상의 교체 과정(S14~S17)을 분리제시하기 위해 도면부호를 달리 정하였으며, 실제로는 이들 두 과정에 있어서의 이 두 해당 기능은 각각 동일한 구성요소에 의해 이루어질 수 있다.
본 발명에 의한 배경 영상의 교체는 새롭게 삽입될 배경 영상에 대해서만 워터마크를 삽입하는 처리가 이루어지기 때문에 기존의 교체 기법과는 달리 배경 영상의 교체를 위해 또 다시 반복적으로 교체 기법의 전체 메커니즘을 수행할 필요가 없다.
도 1d는 배경 영상을 교체하기 위한 본 시스템 발명의 상세한 구성을 제시한 도면이며, 도 2d는 배경 영상을 교체하기 위한 본 방법 발명의 상세한 흐름을 제시한 도면이다.
특정 객체 영상의 분리(S14)는 우선 합성 영상을 각 블록 단위로 분할하는 것으로 시작한다. 즉, 합성 영상 분할부(141)는 합성 영상을 각 단위 블록으로 각 단위 블록이 서로 겹치지 않게 분할한다(S141). 다음으로 워터마크 검출부(142)는 분할된 각 단위 블록에 대해 상기 삽입되었던 워터마크를 검출한다(S142). 워터마크의 검출은, 삽입의 경우와 마찬가지로, 합성 영상의 좌측 최상단 단위 블록으로부터 우측 최하위 단위 블록까지 래스터 스캐닝에 의해 이루어지며 워터마크 검출 지수 산출부(1421)에 의해 두 개의 검출 지수(A0, A1)를 계산하는 것으로 검출이 시작된다.
Figure 112008027188873-pat00004
--- 식(3).
Figure 112008027188873-pat00005
--- 식(4).
식(3)과 식(4)에서 y, Δ는 워터마크 삽입의 경우와 동일하며, 워터마크의 검출은 삽입과 반대 과정이므로 삽입의 과정에서 더해주었던 텀(term)을 빼주는 것이다. 워터마크 검출 지수 산출부(1421)는 상기한 식에 의해 각 단위 블록에 대해 두 개의 워터마크 검출 지수(A0, A1)를 구하는데(S1421), 워터마크의 검출은 삽입의 경우와는 달리 합성 영상에 대해서 직접 이루어지기 때문이다.
즉, 워터마크 검출 지수 산출부(1421)는 합성 영상 분할부(141)에 의해 분할된 각 단위 블록이 특정 객체의 영역에 해당되는 단위 블록인지 배경 영역에 해당되는 단위 블록인지 알 수 없기 때문에 두 개의 검출 지수를 산출하는 것이다. 따라서 삽입의 과정에서 특정 객체 부분과 배경 부분에 달리 삽입되었던 워터마크를 모두 고려해 줄 필요가 있는 것이다.
영역 결정부(1422)는 상기 두 검출 지수를 비교하여 각 단위 블록이 특정 객체 영역에 해당하는지 배경 영역에 해당하는지 결정하는데, 결정의 기준은 A0가 A1 보다 크면 특정 객체 영역에 해당하는 것으로 그렇지 아니하면 배경 영역에 해당하는 것으로 결정한다(S1422). 따라서 합성 영상에서 특정 객체 영상을 분리해낼 수 있다.
특정 객체 영상의 분리(S14)는 상기한 바와 같이 각 블록 단위로 이루어지기 때문에 특히 특정 객체 영역과 배경 영역의 경계에 울퉁불퉁한 모양의 부정확한 경계를 낳을 수 있다. 이와 같은 문제를 해결하고 더욱 상세한 경계를 얻기 위해(분리가 이루어지기 위해) 추가적인 후처리가 필요하다(S15).
따라서 후 처리부(15)는 특히 경계에 걸쳐있는 단위 블록에 포함된 픽셀들 중 경계를 포함하는 픽셀의 밝기를 경계에 걸쳐있는 단위 블록의 평균 밝기와 이미 특정 객체 영상 영역 또는 배경 영상 영역에 완전히 포함하는 것으로 결정된 이웃 단위 블록의 평균 밝기 중에 더 가까운 값을 상기 경계를 포함하는 픽셀의 밝기로 할당하여 보다 정확한 경계를 도출할 수 있도록 한다.
따라서 특정 객체 영상의 분리 과정(S14)에 의해 특정 객체 영역 또는 배경 영역으로 결정(분리)된 어느 특정 픽셀은 후처리 과정(S15)에 의해 다른 영역으로 재결정될 수 있는 것이다.
제2 워터마크 삽입부(16)는 새롭게 삽입할 배경 영상에 대해서만 상기한 S12 과정과 동일하게 워터마크를 삽입한다(S16).
합성 영상 출력부(17)는 후처리가 완료된 특정 객체 영상과 제2 워터마크 삽입부(16)에 의해 워터마크가 삽입된 새로운 배경 영상을 합성하여 새로운 합성 영상을 출력한다(S17).
본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 유무선 네트워크를 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1a는 본 시스템 발명에 의한 합성 영상 도출을 위한 개괄적 구성을 제시한 도면이다.
도 1b는 도 1a에 제시된 워터마크 삽입부의 상세한 구성을 제시한 도면이다.
도 1c는 배경 영상을 교체하기 위한 본 시스템 발명의 개괄적 구성을 제시한 도면이다.
도 1d는 배경 영상을 교체하기 위한 본 시스템 발명의 상세한 구성을 제시한 도면이다.
도 2a는 본 방법 발명에 의한 합성 영상 도출을 위한 개괄적 흐름을 제시한 도면이다.
도 2b는 도 2a에 제시된 워터마크 삽입 과정의 자세한 흐름을 제시한 도면이다.
도 2c는 배경 영상을 교체하기 위한 본 방법 발명의 개괄적 흐름을 각각 제시한 도면이다.
도 2d는 배경 영상을 교체하기 위한 본 방법 발명의 상세한 흐름을 제시한 도면이다.

Claims (19)

  1. 원영상(original image)의 특정 객체 부분에 해당하는 영상(특정 객체 영상)과 상기 특정 객체 부분 이외의 부분 영상(배경 영상) 각각에 워터마크를 삽입하는 제1 워터마크 삽입부;
    상기 워터마크가 각각 삽입된 특정 객체 영상과 상기 배경 영상을 합성하는 영상 합성부;
    상기 영상 합성부에 의해 합성된 영상의 배경 영상을 교체할 경우, 상기 영상 합성부에 의해 합성된 영상으로부터 상기 특정 객체 영상을 분리하는 특정 객체 영상 분리부;
    상기 영상 합성부에 의해 합성된 영상의 배경 영상을 교체할 경우, 새롭게 교체 삽입될 배경 영상에 대해서만 워터마크를 삽입하는 제2 워터마크 삽입부; 및
    상기 특정 객체 영상 분리부에 의해 분리된 특정 객체 영상과 상기 제2 워터마크 삽입부에 의해 삽입된 워터마크를 갖는 배경 영상을 합성하여 배경 영상이 교체된 새로운 합성 영상을 출력하는 합성 영상 출력부를 포함하는 배경 영상의 자동 교체 시스템.
  2. 제 1 항에 있어서, 상기 제1 워터마크 삽입부는
    상기 원영상의 특정 객체 영상과 상기 원영상의 배경 영상에 QIM(Quantization Index Modulation)의 적용을 위한 양자화 스텝(Δ)을 설정하는 양자화 스텝 설정부;
    상기 원영상의 특정 객체 영상과 상기 원영상의 배경 영상 각각을 상기 QIM의 적용을 위해 서로 겹치지 않는 단위 블록으로 분할하는 영상 블록 분할부;
    상기 각 단위 블록별 평균 휘도(y)를 계산하는 영상 블록 평균 휘도 계산부; 및
    상기 y와 상기 Δ에 근거하여 상기 각 단위 블록의 각 픽셀의 실제 휘도(So)를 새로운 휘도(Sn)로 변경하는 휘도 변경부를 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 시스템.
  3. 제 2 항에 있어서, 상기 휘도 변경부는
    상기 각 단위 블록이 상기 원영상의 특정 객체 영상 영역에 완전히 포함되는 경우에는 아래의 식(1)에 의해, 상기 원영상의 배경 영상 영역에 완전히 포함되는 경우에는 아래의 식(2)에 의해 상기 So를 상기 Sn으로 변경하는 특징으로 하는 배경 영상의 자동 교체 시스템.
    Figure 112009067370309-pat00022
    --- 식(1).
    Figure 112009067370309-pat00023
    --- 식(2).
  4. 제 3 항에 있어서, 상기 휘도 변경부가 상기 각 단위 블록 중 상기 두 영역의 경계에 놓여 있는 단위 블록에 포함된 각 픽셀의 실제 휘도를 변경하는 경우에는,
    상기 경계에 놓여 있는 단위 블록내에 상기 원영상의 특정 객체 영상 영역의 픽셀이 상기 원영상의 배경 영상 영역의 픽셀보다 더 많으면 상기 식(1)을 적용하고, 상기 원영상의 배경 영상 영역의 픽셀이 상기 원영상의 특정 객체 영상 영역의 픽셀보다 더 많으면 상기 식(2)을 적용하여 변경하는 것을 특징으로 하는 배경 영상의 자동 교체 시스템.
  5. 제 4 항에 있어서, 상기 특정 객체 영상 분리부는
    상기 영상 합성부에 의해 합성된 합성 영상을 서로 겹치지 아니하는 각 단위 블록으로 분할하는 합성 영상 분할부; 및
    상기 분할된 합성 영상의 각 단위 블록에 대해 상기 삽입되었던 워터마크를 검출하는 워터마크 검출부를 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 시스템.
  6. 제 5 항에 있어서, 상기 워터마크 검출부는
    상기 분할된 합성 영상의 각 단위 블록에 대해 검출 지수(A0, A1)를 산출하는 워터마크 검출 지수 산출부; 및
    상기 두 검출 지수를 비교하여 상기 분할된 합성 영상의 각 단위 블록이 상기 제1 워터마크 삽입부에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역에 해당하는지 상기 제1 워터마크 삽입부에 의해 삽입된 워터마크를 갖는 배경 영상 영역에 해당하는지 결정하는 영역 결정부를 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 시스템.
  7. 제 6 항에 있어서,
    상기 검출 지수의 산출은 아래의 식(3)에 의하여 이루어지고,
    상기 영역 결정부는 상기 A0가 A1보다 크면 상기 제1 워터마크 삽입부에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역에 해당하는 것으로, 그렇지 아니하면 상기 제1 워터마크 삽입부에 의해 삽입된 워터마크를 갖는 배경 영상 영역에 해당하는 것으로 결정하는 것을 특징으로 하는 배경 영상의 자동 교체 시스템.
    <식(3)>
    Figure 112009067370309-pat00024
    Figure 112009067370309-pat00025
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제1 워터마크 삽입부에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역과 상기 제1 워터마크 삽입부에 의해 삽입된 워터마크를 갖는 배경 영상 영역의 경계에 걸쳐있는 단위 블록에 포함된 픽셀들 중 상기 경계를 포함하는 픽셀의 밝기를 상기 경계에 걸쳐있는 단위 블록의 평균 밝기와 이미 특정 객체 영상 영역 또는 배경 영상 영역에 완전히 포함하는 것으로 결정된 이웃 단위 블록의 평균 밝기 중에 더 가까운 값으로 할당하는 후 처리부를 더 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 시스템.
  9. (a)원영상(original image)의 특정 객체 부분에 해당하는 영상(특정 객체 영상)과 상기 특정 객체 부분 이외의 부분 영상(배경 영상) 각각에 워터마크를 삽입하는 단계;
    (b)상기 워터마크가 각각 삽입된 특정 객체 영상과 상기 배경 영상을 합성하는 단계;
    (c)상기 (b)단계에 의해 합성된 영상의 배경 영상을 교체할 경우, 상기 (b)단계에 의해 합성된 영상으로부터 상기 특정 객체 영상을 분리하는 단계;
    (d)상기 (b)단계에 의해 합성된 영상의 배경 영상을 교체할 경우, 새롭게 교체 삽입될 배경 영상에 대해서만 워터마크를 삽입하는 단계; 및
    (e)상기 (c)단계에 의해 분리된 특정 객체 영상과 상기 (d)단계에 의해 삽입된 워터마크를 갖는 배경 영상을 합성하여 배경 영상이 교체된 새로운 합성 영상을 출력하는 단계를 포함하는 배경 영상의 자동 교체 방법.
  10. 제 9 항에 있어서, 상기 (a)단계는
    (a1)상기 원영상의 특정 객체 영상과 상기 원영상의 배경 영상에 QIM(Quantization Index Modulation)의 적용을 위한 양자화 스텝(Δ)을 설정하는 단계;
    (a2)상기 원영상의 특정 객체 영상과 상기 원영상의 배경 영상 각각을 상기 QIM의 적용을 위해 서로 겹치지 않는 단위 블록으로 분할하는 단계;
    (a3)상기 각 단위 블록별 평균 휘도(y)를 계산하는 단계; 및
    (a4)상기 y와 상기 Δ에 근거하여 상기 각 단위 블록을 이루고 있는 각 픽셀의 실제 밝기(So)를 새로운 밝기(Sn)로 변경하는 단계를 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
  11. 제 10 항에 있어서, 상기 (a4)단계는
    상기 각 단위 블록이 상기 원영상의 특정 객체 영상 영역에 완전히 포함되는 경우에는 아래의 식(1)에 의해, 상기 원영상의 배경 영상 영역에 완전히 포함되는 경우에는 아래의 식(2)에 의해 상기 So를 상기 Sn으로 변경하여 구현되는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
    Figure 112009067370309-pat00026
    --- 식(1).
    Figure 112009067370309-pat00027
    --- 식(2).
  12. 제 11 항에 있어서, 상기 (a4)단계에 의해 상기 각 단위 블록 중 상기 두 영역의 경계에 놓여 있는 단위 블록에 포함된 각 픽셀의 실제 휘도를 변경하는 경우에는,
    상기 경계에 놓여 있는 단위 블록내에 상기 원영상의 특정 객체 영상 영역의 픽셀이 상기 원영상의 배경 영상 영역의 픽셀보다 더 많으면 상기 식(1)에 의해, 상기 원영상의 배경 영상 영역의 픽셀이 상기 원영상의 특정 객체 영상 영역의 픽셀보다 더 많으면 상기 식(2)에 의해 변경하여 구현되는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
  13. 제 12 항에 있어서, 상기 (c)단계는
    (c1)상기 (b)단계에 의해 합성된 합성 영상을 서로 겹치지 아니하는 각 단위 블록으로 분할하는 단계; 및
    (c2)상기 분할된 합성 영상의 각 단위 블록에 대해 상기 삽입되었던 워터마크를 검출하는 단계를 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
  14. 제 13 항에 있어서, 상기 (c2)단계는
    (c21)상기 분할된 합성 영상의 각 단위 블록에 대해 검출 지수(A0, A1)를 산출하는 단계; 및
    (c22)상기 두 검출 지수를 비교하여 상기 분할된 합성 영상의 각 단위 블록이 상기 (a)단계에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역에 해당하는지 상기 (a)단계에 의해 삽입된 워터마크를 갖는 배경 영상 영역에 해당하는지 결정하는 단계를 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
  15. 제 14 항에 있어서,
    상기 (c21)단계에 의한 검출 지수의 산출은 아래의 식(3)에 의하여 이루어지고,
    상기 (c22)단계는 상기 A0가 A1보다 크면 상기 (a)단계에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역에 해당하는 것으로 그렇지 아니하면 상기 (a)단계에 의해 삽입된 워터마크를 갖는 배경 영상 영역에 해당하는 것으로 결정하여 구현되는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
    <식(3)>
    Figure 112009067370309-pat00028
    Figure 112009067370309-pat00029
  16. 제 13 항에 있어서,
    (g)상기 (a)단계에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역과 상기 (a)단계에 의해 삽입된 워터마크를 갖는 배경 영상 영역의 경계에 걸쳐있는 단위 블록에 포함된 픽셀들 중 상기 경계를 포함하는 픽셀의 밝기를 상기 경계에 걸쳐있는 단위 블록의 평균 밝기와 이미 특정 객체 영상 영역 또는 배경 영상 영역에 완전히 포함하는 것으로 결정된 이웃 단위 블록의 평균 밝기 중에 더 가까운 값으로 할당하는 단계를 더 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
  17. 제 14 항에 있어서,
    (g)상기 (a)단계에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역과 상기 (a)단계에 의해 삽입된 워터마크를 갖는 배경 영상 영역의 경계에 걸쳐있는 단위 블록에 포함된 픽셀들 중 상기 경계를 포함하는 픽셀의 밝기를 상기 경계에 걸쳐있는 단위 블록의 평균 밝기와 이미 특정 객체 영상 영역 또는 배경 영상 영역에 완전히 포함하는 것으로 결정된 이웃 단위 블록의 평균 밝기 중에 더 가까운 값으로 할당하는 단계를 더 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
  18. 제 15 항에 있어서,
    (g)상기 (a)단계에 의해 삽입된 워터마크를 갖는 특정 객체 영상 영역과 상기 (a)단계에 의해 삽입된 워터마크를 갖는 배경 영상 영역의 경계에 걸쳐있는 단위 블록에 포함된 픽셀들 중 상기 경계를 포함하는 픽셀의 밝기를 상기 경계에 걸쳐있는 단위 블록의 평균 밝기와 이미 특정 객체 영상 영역 또는 배경 영상 영역에 완전히 포함하는 것으로 결정된 이웃 단위 블록의 평균 밝기 중에 더 가까운 값으로 할당하는 단계를 더 포함하는 것을 특징으로 하는 배경 영상의 자동 교체 방법.
  19. 제 9 항 내지 제 18 항의 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020080035349A 2008-04-16 2008-04-16 배경 영상의 자동 교체 시스템 및 그 방법 KR100950965B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080035349A KR100950965B1 (ko) 2008-04-16 2008-04-16 배경 영상의 자동 교체 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080035349A KR100950965B1 (ko) 2008-04-16 2008-04-16 배경 영상의 자동 교체 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20090109896A KR20090109896A (ko) 2009-10-21
KR100950965B1 true KR100950965B1 (ko) 2010-04-02

Family

ID=41537791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080035349A KR100950965B1 (ko) 2008-04-16 2008-04-16 배경 영상의 자동 교체 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100950965B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5846075B2 (ja) * 2011-08-31 2016-01-20 辰巳電子工業株式会社 画像データ提供装置、写真撮影遊戯装置、画像データ提供システム、及び画像生成方法
KR102107021B1 (ko) * 2018-08-10 2020-05-07 주식회사 딥핑소스 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102247769B1 (ko) * 2019-08-19 2021-05-04 주식회사 딥핑소스 원본 데이터와 마크 데이터를 합성하여 마킹된 데이터를 생성하는 데이터 임베딩 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119405A (ja) * 1992-10-09 1994-04-28 Matsushita Electric Ind Co Ltd 画像検索装置
JPH1013799A (ja) 1996-06-19 1998-01-16 Mega Chips:Kk テレビ電話装置
KR20030062610A (ko) * 2002-01-18 2003-07-28 한국과학기술연구원 영역분할을 이용한 디지털 이미지의 워터마크 삽입방법
JP2006054689A (ja) * 2004-08-12 2006-02-23 Kansai Electric Power Co Inc:The イメージデータ合成装置及びその動作プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119405A (ja) * 1992-10-09 1994-04-28 Matsushita Electric Ind Co Ltd 画像検索装置
JPH1013799A (ja) 1996-06-19 1998-01-16 Mega Chips:Kk テレビ電話装置
KR20030062610A (ko) * 2002-01-18 2003-07-28 한국과학기술연구원 영역분할을 이용한 디지털 이미지의 워터마크 삽입방법
JP2006054689A (ja) * 2004-08-12 2006-02-23 Kansai Electric Power Co Inc:The イメージデータ合成装置及びその動作プログラム

Also Published As

Publication number Publication date
KR20090109896A (ko) 2009-10-21

Similar Documents

Publication Publication Date Title
US8488896B2 (en) Image processing apparatus and image processing method
US8013906B2 (en) Image sensing apparatus and image processing method
JP4321287B2 (ja) 撮影装置および撮影方法、並びに、プログラム
KR101277229B1 (ko) 디지털 영상들의 개선된 전경 배경 분리 장치 및 방법
US20090109304A1 (en) Image processing device, image processing method, and computer program product
JP5573131B2 (ja) 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
CA3039239C (en) Conformance of media content to original camera source using optical character recognition
KR101136506B1 (ko) 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체
US20110075924A1 (en) Color adjustment
JP5693271B2 (ja) 画像処理装置及び方法
TW200907824A (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US20130094711A1 (en) Image processing apparatus and control method thereof
JP2019092027A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR100950965B1 (ko) 배경 영상의 자동 교체 시스템 및 그 방법
JP4909063B2 (ja) 撮像装置及び画像記録方法
JP2009038737A (ja) 画像処理装置
JP5509621B2 (ja) 画像処理装置、カメラおよびプログラム
CN115330711B (zh) 一种基于数据处理的影像视频内容管理方法与系统
JPH1196361A (ja) 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体および物体検出プログラムを記録した媒体
CN110996173B (zh) 一种图像数据处理方法、装置及存储介质
JP4013024B2 (ja) 動画処理装置、動画処理方法、および記録媒体
JP2005165684A (ja) 画像処理方法および装置
JP3977291B2 (ja) 画像再生方法及び画像処理装置
JP2014220546A (ja) 画像記録装置及びその方法
JP2010197968A (ja) 合焦評価装置、カメラおよびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161215

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200220

Year of fee payment: 11