KR20020044339A - 영상에 대한 멀티미디어 합성 시스템 및 방법 - Google Patents

영상에 대한 멀티미디어 합성 시스템 및 방법 Download PDF

Info

Publication number
KR20020044339A
KR20020044339A KR1020000073381A KR20000073381A KR20020044339A KR 20020044339 A KR20020044339 A KR 20020044339A KR 1020000073381 A KR1020000073381 A KR 1020000073381A KR 20000073381 A KR20000073381 A KR 20000073381A KR 20020044339 A KR20020044339 A KR 20020044339A
Authority
KR
South Korea
Prior art keywords
image
boundary
subband
wavelet transform
boundary component
Prior art date
Application number
KR1020000073381A
Other languages
English (en)
Inventor
김태현
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1020000073381A priority Critical patent/KR20020044339A/ko
Publication of KR20020044339A publication Critical patent/KR20020044339A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 웨이블렛 변환 기능을 이용하여 기본 영상에서 다수의 부대역을 검출하고, 해당 부대역에서 경계 성분을 검출하여 기본 영상에 다른 멀티미디어 데이터를 삽입할 영역을 찾아 영상 합성을 수행하도록 한 영상에 대한 멀티미디어 합성 시스템 및 방법에 관한 것으로, 종래에는 편집자가 다른 멀티미디어 데이터를 삽입할 영역을 검출해야 하는 불편함이 있었을 뿐 아니라, 기본 영상의 경계 성분을 정확히 검출하지 못하거나, 연산이 복잡한 단점이 있었다.
따라서, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 통해 분리한 각각의 부대역으로부터 수직 및 수평 방향의 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입할 기본 영상의 비경계 영역을 검출함으로써, 편집자가 멀티미디어 데이터를 삽입할 영역을 일일이 찾지 않고도 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 자동으로 수행할 수 있게 된다.
또한, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 수행한 후에 수직 및 수평 방향의 경계 성분을 검출함으로써, 바둑판 형상의 셀로 분할된 경계 정보를 추출할 수 있도록 하여 화소 단위로 경계 정보를 추출하는 방법보다 잡음의 영향을 덜 받게 된다.

Description

영상에 대한 멀티미디어 합성 시스템 및 방법{Multimedia Synthesis System And Method For Image}
본 발명은 영상에 대한 멀티미디어 합성 시스템 및 방법에 관한 것으로, 특히 웨이블렛 변환 기능을 이용하여 부대역을 검출하고, 해당 부대역에서 경계 성분을 검출하여 기본 영상에 다른 멀티미디어 데이터를 삽입할 영역을 찾아 영상 합성을 수행하도록 한 영상에 대한 멀티미디어 합성 시스템 및 방법에 관한 것이다.
일반적으로, 어떤 기본 영상의 일부분에 글자를 써 넣거나 다른 영상을 삽입하기 위해서는 영상 편집기를 이용해야 하는데, 어느 영역에 어느 정도의 크기로 삽입할 것인지는 개인의 주관적인 기준으로 판단하여 판입하게 된다.
대부분의 경우에는 글자나 영상 삽입을 지원하는 영상 편집기를 이용하여, 기본 영상을 확인한 다음에 편집자가 원하는 영역에 원하는 크기로 다른 글자나 영상과 같은 멀티미디어 데이터를 삽입하고 있다.
이때, 기본 영상의 일부분에 다른 데이터를 삽입하려는 영역은 대개 중요하지 않은 배경을 선택하는 경우가 많은데, 이러한 배경은 영상의 경계 성분이 없는 평탄 영역이므로, 기본 영상에 다른 데이터를 삽입하기 위한 배경을 검출하기 위해서는 먼저 영상의 경계 성분을 검출하는 과정을 선행하게 된다.
여기서, 경계 성분을 검출하는 방법으로는 첨부된 도면 도 1에 도시된 바와같이, 중심에 양(+)의 값을 갖고, 외측 경계는 음(-)의 값을 갖는 고주파 여과기를 이용하는 방법이 있는데, 이를 이용하여 저주파 성분을 제거하고 경계 성분을 검출할 수 있다.
즉, 기본 영상의 모든 영역을 도 1의 고주파 여과기로 통과시키면, 해당 기본 영상을 이루는 이웃한 화소끼리의 차이가 클수록 출력 영상에서 큰 값을 갖게 되므로 경계 성분을 강조할 수 있으며, 이러한 과정을 반복적으로 수행하면 경계 부분이나 복잡한 영상이 강조되고, 배경과 같은 평탄 영역은 사라져 경계 성분을 검출할 수 있게 되는 것이다.
한편, 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성의 다른 방법으로는 첨부된 도면 도 2와 같이 분수령 알고리즘을 이용하여 관심있는 영역과 배경을 객체 단위로 분할하여 다른 데이터를 삽입하는 방법이 있는데, 이는 기본 영상을 입력받으면(스텝 S21), 입력받은 기본 영상에 대해 형태학적 연산자를 이용하여 공간 기울기를 계산한 후(스텝 S22), 계산 결과로 얻은 공간 기울기를 영상을 밝기가 균일한 영역으로 분할하기 위한 분수령 알고리즘의 입력 정보로 삽입하여 영상을 객체 단위 영역으로 분할한다(스텝 S23).
이후, 분할된 영역이 지나치지 않도록 하기 위해 과분할된 영역을 병합한 후(스텝 S24), 그 결과로 얻은 분할된 영역 정보를 이용하여 중요 영역과 비중요 영역을 구분함으로써, 비중요 영역에 다른 멀티미디어 데이터를 삽입할 수 있었다(스텝 S25).
전술한 바와 같이, 종래에는 기본 영상에 다른 멀티미디어 데이터를 삽입하여 영상을 합성하기 위해서 편집자가 멀티미디어 데이터를 삽입할 영역을 검출해야 했는데, 해당 멀티미디어 데이터를 삽입할 영역을 검출하기 위해 고주파 통과 여과기를 이용하여 경계 성분을 검출하는 방법은 연산이 간단하고 빠르지만 잡음에 민감하고, 마스크(mask) 계수 설정에 큰 영향을 받기 때문에 경계 성분을 효과적으로 검출하지 못했을 뿐 아니라, 기본 영상의 모든 화소를 대상으로 처리하기 때문에 영상에서 중요한 영역이 아님에도 불구하고 강조되는 오류가 발생할 수 있어 경계 성분을 정확히 검출하지 못하는 단점이 있었다.
또한, 분수령 알고리즘을 이용하여 관심있는 영역과 배경을 분할하는 방법을 사용하는 경우에는 연산량이 매우 많고 영상에 따라 과분할이 발생하는 경우가 있으므로, 기본 영상에 다른 멀티미디어 데이터를 삽입하기 위해 영역을 구분하는데 효과적이지 못한 단점이 있었다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 기본 영상에 대해 다단계의 웨이블렛 변환을 통해 분리한 각각의 부대역으로부터 수직 및 수평 방향의 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입할 기본 영상의 비경계 영역을 검출함으로써, 편집자가 멀티미디어 데이터를 삽입할 영역을 일일이 찾지 않고도 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 자동으로 수행할 수 있도록 하는데 있다.
본 발명의 다른 목적은, 기본 영상에 대해 다단계의 웨이블렛 변환을 수행한후에 수직 및 수평 방향의 경계 성분을 검출함으로써, 바둑판 형상의 셀로 분할된 경계 정보를 추출할 수 있도록 하여 화소 단위로 경계 정보를 추출하는 방법보다 잡음의 영향을 덜 받도록 하는데 있다.
도 1은 종래의 경계 성분 검출에 사용되는 고주파 여과기를 예시한 도면.
도 2는 종래의 분수령 알고리즘을 이용하여 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성 절차를 도시한 순서도.
도 3은 본 발명에 따른 영상에 대한 멀티미디어 합성 시스템의 구성 블록도.
도 4는 본 발명에서 웨이블렛 변환을 통해 얻어진 부대역을 나타낸 도면.
도 5는 본 발명에 따른 영상에 대한 멀티미디어 합성 절차를 도시한 순서도.
도 6은 도 5에 있어, 부대역에서 경계 성분 검출시의 셀 분할 상태를 예시한 도면.
도 7은 본 발명에 따라 케익에 생일 축하 메시지를 삽입하여 영상을 합성하는 과정을 예시한 도면.
도 8은 도 7에 있어, 각각의 부대역에서 경계 성분을 검출하여 하나의 이진 영상으로 통합하여 표시한 상태를 예시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
31 : 웨이블렛 변환부 32 : 경계 성분 검출부
33 : 비경계 영역 검출부 34 : 영상 합성부
상술한 바와 같은 목적을 달성하기 위한 본 발명의 특징은, 기본 영상을 입력받아 소정 크기와 해상도로 변환되기까지 다단계의 웨이블렛 변환을 수행하여 다수의 부대역 영상으로 분리하는 웨이블렛 변환부와; 상기 웨이블렛 변환부에 의해 분리된 각각의 부대역에서 수직 및 수평 방향의 경계 성분을 검출하여 이진 영상으로 통합하는 경계 성분 검출부와; 상기 경계 성분 검출부에 의해 통합된 경계 성분 이진 영상으로부터 경계 성분이 없는 최대 크기의 비경계 영역을 검출하는 비경계 영역 검출부와; 상기 비경계 영역 검출부에 의해 검출된 비경계 영역에 다른 멀티미디어 데이터를 삽입하여 기본 영상과 다른 멀티미디어 데이터에 대한 영상 합성을 수행하는 영상 합성부를 포함하는 영상에 대한 멀티미디어 합성 시스템을 제공하는데 있다.
여기서, 상기 웨이블렛 변환부는 편집자가 원하는 크기와 해상도를 갖는 출력 영상을 얻을 때까지 이전 단계의 웨이블렛 변환을 통해 얻은 'LL' 부대역을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 것을 특징으로 하며, 상기 경계 성분 검출부는 다단계의 웨이블렛 변환을 수행하여 최종 결과로 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역에서 경계 성분을 검출하여 이진 영상으로 통합하는 것을 특징으로 한다.
나아가, 상기 경계 성분 검출부는 'HL' 부대역에서 수직 방향의 경계 성분을 검출하고, 'LH' 부대역에서 수평 방향의 경계 성분을 검출하는 것을 특징으로 한다.
본 발명의 다른 특징은, 기본 영상을 웨이블렛 변환하여 일정 크기와 해상도를 갖는 다수의 부대역 영상으로 분리하는 과정과; 상기 분리된 각각의 부대역에서 수직 및 수평 방향의 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 과정과; 상기 경계 성분 이진 영상으로부터 다른 멀티미디어 데이터를 삽입할 비경계 영역을 검출하여 영상 합성을 수행하는 과정을 포함하는 영상에 대한 멀티미디어 합성 방법을 제공하는데 있다.
그리고, 상술한 영상에 대한 멀티미디어 합성 방법은, 상기 기본 영상을 웨이블렛 변환하여 얻은 출력 영상이 편집자가 원하는 크기와 해상도를 갖는 영상인지를 판별하여 다음 단계의 웨이블렛 변환을 수행해야 하는지를 확인하는 과정과; 다음 단계의 웨이블렛 변환을 수행해야 하는 경우 이전 단계의 웨이블렛 변환에서 얻은 'LL' 부대역 영상을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 과정을 더 포함하는 것을 특징으로 한다.
나아가, 상기 기본 영상을 웨이블렛 변환하여 다수의 부대역 영상으로 분리하는 과정은, 최종 단계의 웨이블렛 변환에서 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역을 분리하는 것을 특징으로 하며, 상기 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 과정은, 'HL' 부대역에서 수직 방향의 경계 성분을 검출하고, 'LH' 부대역에서 수평 방향의 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 것을 특징으로 하되, 상기 경계 성분은 각각의 부대역을 바둑판 형상의 다수의 셀로 분할한 후, 한 셀에 포함된 계수들의 절대값 합이 소정 임계값 이상이 될 때 경계 성분으로 검출하는 것을 특징으로 한다.
또한, 상기 비경계 영역은, 경계 성분 이진 영상에서 경계 성분이 없는 다수의 인접 셀로 구성될 수 있는 최대 크기의 영역을 비경계 영역으로 검출하는 것을 특징으로 한다.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
본 발명에 따른 영상에 멀티미디어 삽입을 위한 영역 검출 방법은 기본 영상에 대해 다단계의 웨이블렛(Wavelet) 변환을 수행하여 부대역 영상으로 분리한 후, 분리된 부대역 영상으로부터 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입하게 되는데, 이를 설명하기 전에 기본 영상 및 웨이블렛 변환에 대해 간략히 설명하면 다음과 같다.
대부분의 영상 정보는 디지털화된 형태로 저장 및 전송되는데, 해당 영상의 크기가 클수록 저장 용량과 전송에 필요한 시간과 비용이 많아지게 되며, 참고로, 멀티미디어를 지원하는 이동 단말기를 이용하여 인터넷에 존재하는 영상을 검색하고, 획득하기 위해서는 멀티미디어 데이터의 압축 기술이 필수적인데, 이때의 영상 압축 방법으로 웨이블렛 변환을 사용하게 되는 것이다.
이러한 웨이블렛 변환을 이용한 영상 압축 방법은 뛰어난 압축률과 고화질의 영상 압축을 제공하게 되며, 영상의 확대나 축소의 경우 영상에 손상을 주지 않으면서 다단계의 크기 및 해상도를 지원하는 특성을 갖는다.
그리고, 본 발명에서 웨이블렛 변환을 사용하는 이유는 웨이블렛 변환에서는 영상 신호의 공간적 정보와 주파수 정보를 동시에 갖고 있으므로 대역의 특성 정보를 효과적으로 사용할 수 있기 때문이며, 웨이블렛 변환된 고주파 대역은 경계 성분을 포함하고 있으므로 기본 영상의 배경에 존재하는 경계 성분의 방향을 추정하는데 사용할 수 있기 때문이다.
한편, 본 발명에 따른 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상에 대한 멀티미디어 합성 시스템은 첨부한 도면 도 3에 도시한 바와 같이, 웨이블렛 변환부(31)와, 경계 성분 검출부(32)와, 비경계 영역 검출부(33) 및 영상 합성부(34)를 구비하여 이루어진다.
해당 웨이블렛 변환부(31)는 기본 영상을 입력받아 소정 크기와 해상도로 변환되기까지 다단계의 웨이블렛 변환을 수행하여 다수의 부대역 영상으로 분리하며, 해당 경계 성분 검출부(32)는 웨이블렛 변환을 통해 분리된 각각의 부대역에서 경계 성분을 검출하여 이진 영상으로 통합한다.
해당 비경계 영역 검출부(33)는 경계 성분 검출부(32)에 의해 통합된 경계 성분 이진 영상으로부터 경계 성분이 없는 최대 크기의 비경계 영역을 검출하며, 해당 영상 합성부(34)는 비경계 영역 검출부(33)에 의해 검출된 비경계 영역 즉, 기본 영상의 비경계 영역에 다른 멀티미디어 데이터를 삽입하여 영상 합성을 수행한다.
이때, 무선 환경에서 영상을 전송하기 위해서는 기본 영상의 크기와 해상도를 낮출 필요가 있으므로 웨이블렛 변환부(31)에서는 다단계의 웨이블렛 변환을 수행하게 되는데, 해당 웨이블렛 변환부(31)에 의해 다단계의 웨이블렛 변환을 수행하게 되면, 첨부된 도면 도 4에 도시된 바와 같은 결과를 얻게 된다.
이를 보다 상세히 설명하면, 기본 영상과 동일한 크기를 갖는 출력 영상이 필요한 경우에는 1단계 웨이블렛 변환 결과로 얻은 부대역인 'HH1(횡축과 종축으로 모두 고주파 여과기를 통과한 결과로 얻은 부대역)', 'HL1(횡축으로는 고주파 여과기를, 종축으로는 저주파 여과기를 통과한 결과로 얻은 부대역)', 'LH1(횡축으로는 저주파 여과기를, 종축으로는 고주파 여과기를 통과한 결과로 얻은 부대역)', 'LL1(횡축과 종축으로 모두 저주파 여과기를 통과한 결과로 얻은 부대역으로 도시되어 있지 않음)'을 모두 필요로 하게 되고, 기본 영상보다 작은 크기와 해상도를 갖는 출력 영상이 필요한 경우에는 1단계 웨이블렛 변환에서 얻은 'LL1' 부대역을 이용하여 2단계 웨이블렛 변환을 수행하게 되며, 이보다 더 작은 크기와 해상도를 갖는 출력 영상이 필요한 경우에는 2단계 웨이블렛 변환에서 얻은 'LL2' 부대역을 이용하여 3단계 웨이블렛 변환을 수행하게 된다. 그리고, 이러한 웨이블렛 변환은 편집자가 원하는 크기와 해상도를 얻을 때까지 이전 단계에서 얻은 'LL' 부대역을 이용하여 반복 수행할 수 있으며, 이와 같이 편집자가 원하는 크기와 해상도를 지원하는다단계의 대역 처리가 가능해 짐에 따라 큰 대역에서 불필요한 많은 연산 과정을 없앨 수 있게 된다.
이때, 이전 단계에서 얻은 'LL' 부대역을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 이유는 'LL' 부대역이 기본 영상의 크기만 줄어들었을 뿐 대부분의 정보를 포함하고 있기 때문이다.
그리고, 해당 경계 성분 검출부(32)는 웨이블렛 변환부(31)에 의해 다단계의 웨이블렛 변환을 수행하여 최종 결과로 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역에서 경계 성분을 검출하여 이진 영상으로 통합하게 되는데, 이때, 'HL' 부대역에서는 수직 방향의 경계 성분을 검출하게 되고, 'LH' 부대역에서는 수평 방향의 경계 성분을 검출하게 되며, 'HH' 부대역을 이용하여 경계 성분을 검출하지 않는 이유는 대각 성분을 포함하므로 경계 성분의 검출에 적절하지 않기 때문이고, 'LL' 부대역의 경우에는 저주파 성분이므로 경계 성분이 나타나지 않기 때문이다.
이와 같이 구성된 시스템에서 웨이블렛 변환 기능을 이용하여 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상에 대한 멀티미디어 합성 동작을 첨부한 도면 도 5를 참조하여 설명하면 다음과 같다.
먼저, 다른 멀티미디어 데이터를 삽입하고자 하는 배경이 되는 기본 영상이 입력받으면(스텝 S51), 웨이블렛 변환부(31)에서 입력받은 기본 영상에 대한 1단계 웨이블렛 변환을 수행하여 일정 크기와 해상도를 갖는 다수의 부대역(HH, HL, LH, LL) 영상으로 분리된 출력 영상을 얻게 된다(스텝 S52).
이후, 해당 웨이블렛 변환부(31)는 현재의 웨이블렛 변환 결과로 얻은 출력영상이 편집자가 원하는 크기와 해상도를 갖는 영상인지를 판별하여 다음 단계의 웨이블렛 변환을 수행해야 하는지를 확인하게 된다(스텝 S53).
이때, 다음 단계의 웨이블렛 변환을 수행해야 하는 경우에는 이전 단계의 웨이블렛 변환에서 얻은 'LL' 부대역 영상을 이용하여 다음 단계의 웨이블렛 변환을 수행해서 다수의 부대역 영상으로 분리된 출력 영상을 얻게 되며(스텝 S54), 이러한 웨이블렛 변환은 편집자가 원하는 크기와 해상도를 갖는 영상과 동일한 출력 영상을 얻을 때까지 반복 수행하게 된다.
이러한 절차를 통해 편집자가 원하는 크기와 해상도를 갖는 영상을 얻게 되면, 다음 단계의 웨이블렛 변환을 수행할 필요가 없어지는데, 이와 같이 편집자가 원하는 크기와 해상도를 갖는 영상을 얻기까지의 다단계 웨이블렛 변환이 완료되면, 최종 단계의 웨이블렛 변환에서 얻은 다수의 부대역 영상 중에서 'HL' 부대역과 'LH' 부대역을 추출하게 된다(스텝 S55).
이에, 경계 성분 검출부(32)에서는 추출한 각각의 부대역에서 경계 성분을 검출하게 되는데, 이때, 웨이블렛 변환의 특성에 따라 'HL' 부대역에서는 수직 방향의 경계 성분을 검출하게 되고, 'LH' 부대역에서는 수평 방향의 경계 성분을 검출하게 된다(스텝 S56).
그리고, 각각의 부대역에서 경계 성분을 검출할 때에는 첨부한 도면 도 6에 도시한 바와 같이, 해당 부대역을 바둑판 형상의 다수의 셀로 분할한 후, 아래 수학식 1과 같이 한 셀(CN)에 포함된 계수(Xij; i=0~2, j=0~2)들의 절대값 합이 소정임계값(τ) 이상이 될 때 중요 영역으로 판단하게 되며, 이를 경계 성분으로 검출하게 되는데, 이로써, 화소 단위로 경계 성분을 검출할 때에는 잡음에 민감하지만 셀 단위로 경계 성분을 검출함으로써 잡음의 영향을 덜 받게 된다.
즉, 각각의 부대역을 이루는 각 셀에 대한 계수의 절대값이 클수록 해당 셀 위치에서 경계 영역을 나타내고 있음을 의미한다.
이후, 해당 경계 성분 검출부(32)가 'HL' 부대역과 'LH' 부대역에서 검출한 경계 성분을 하나의 이진 영상으로 통합하여 표시하여 비경계 영역 검출부(33)로 전달하게 되면(스텝 S57), 해당 비경계 영역 검출부(33)에서는 경계 성분 이진 영상으로부터 다른 멀티미디어 데이터를 삽입할 영역인 비경계 영역을 검출하게 되는데, 이는 중요 영역이 아닌 즉, 경계 성분이 없는 다수의 인접 셀로 구성될 수 있는 최대 크기의 영역을 선택하여 비경계 영역을 검출하게 되는 것이다(스텝 S58).
그리고, 해당 경계 성분 검출부(32)는 자신이 검출한 비경계 영역을 영상 합성부(34)에 통보하게 되고, 이에, 해당 영상 합성부(34)는 기본 영상에서 검출한 비경계 영역에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 수행하게 된다(스텝 S59).
예를 들어, 첨부한 도면 도 7은 케익에 생일 축하 메시지를 삽입하여 영상을 합성하는 과정을 예시한 도면으로, '케익'이라는 기본 영상에 'Happy Birthday !'라는 멀티미디어 데이터인 생일 축하 메시지를 삽입하여 영상 합성을 수행하는 경우 먼저, 웨이블렛 변환부(31)에서 기본 영상에 대해 다단계의 웨이블렛 변환을 수행하여 다수의 부대역 영상으로 분리한 후, 'HL' 부대역과 'LH' 부대역을 추출하게 되면, 경계 성분 검출부(32)는 도 8과 같이 각각의 부대역에서 경계 성분을 검출하여 하나의 이진 영상으로 통합하여 표시하게 되는데, 이때, 밝은 색으로 표현된 셀들은 경계 성분을 포함하는 중요 영역을 나타내고 있으며, 어둡게 표현된 셀들은 영상의 배경처럼 경계 성분이 없는 비경계 영역을 나타낸다.
그리고, 이렇게하여 비경계 영역 검출부(33)가 기본 영상에서 비경계 영역을 검출하게 되면, 영상 합성부(34)에서 기본 영상의 비경계 영역에 생일 축하 메시지를 삽입함으로써, 편집자가 다른 멀티미디어 데이터를 삽입할 영역을 찾을 필요없이 자동으로 기본 영상의 중요 영역이 아닌 비경계 영역을 검출하여 기본 영상과 다른 멀티미디어 데이터를 하나의 영상으로 합성할 수 있게 된다.
또한, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있는데, 이는 멀티미디어를 지원하는 이동 단말기, PDA 등에서 멀티미디어 합성 저작도구로 이용할 수 있으며, 예를 들어, 만화에서 등장 인물의 대화 내용을 삽입하려할 때 적절한 위치와 크기를 자동으로 선택하여 합성할 수 있으며, TV에서와 같은 방송에서 한 채널의 배경 화면 속에 다른 채널의 방송 화면을 작은 크기로 삽입하여 보여주고자 할 때에도 적절한 위치와 크기를 찾아 합성할 수 있게 된다.
이상과 같이, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 통해 분리한 각각의 부대역으로부터 수직 및 수평 방향의 경계 성분을 검출하여 다른 멀티미디어 데이터를 삽입할 기본 영상의 비경계 영역을 검출함으로써, 편집자가 멀티미디어 데이터를 삽입할 영역을 일일이 찾지 않고도 기본 영상에 다른 멀티미디어 데이터를 삽입하는 영상 합성을 자동으로 수행할 수 있게 된다.
또한, 본 발명은 기본 영상에 대해 다단계의 웨이블렛 변환을 수행한 후에 수직 및 수평 방향의 경계 성분을 검출함으로써, 바둑판 형상의 셀로 분할된 경계 정보를 추출할 수 있게 되어, 화소 단위로 경계 정보를 추출하는 방법보다 잡음의 영향을 덜 받게 된다.

Claims (11)

  1. 기본 영상을 입력받아 소정 크기와 해상도로 변환되기까지 다단계의 웨이블렛 변환을 수행하여 다수의 부대역 영상으로 분리하는 웨이블렛 변환부와;
    상기 웨이블렛 변환부에 의해 분리된 각각의 부대역에서 수직 및 수평 방향의 경계 성분을 검출하여 이진 영상으로 통합하는 경계 성분 검출부와;
    상기 경계 성분 검출부에 의해 통합된 경계 성분 이진 영상으로부터 경계 성분이 없는 최대 크기의 비경계 영역을 검출하는 비경계 영역 검출부와;
    상기 비경계 영역 검출부에 의해 검출된 비경계 영역에 다른 멀티미디어 데이터를 삽입하여 기본 영상과 다른 멀티미디어 데이터에 대한 영상 합성을 수행하는 영상 합성부를 포함하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 시스템.
  2. 제 1항에 있어서,
    상기 웨이블렛 변환부는, 편집자가 원하는 크기와 해상도를 갖는 출력 영상을 얻을 때까지 이전 단계의 웨이블렛 변환을 통해 얻은 'LL' 부대역을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 시스템.
  3. 제 1항에 있어서,
    상기 경계 성분 검출부는, 다단계의 웨이블렛 변환을 수행하여 최종 결과로 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역에서 경계 성분을 검출하여 이진 영상으로 통합하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 시스템.
  4. 제 1항 또는 3항에 있어서,
    상기 경계 성분 검출부는, 'HL' 부대역에서 수직 방향의 경계 성분을 검출하고, 'LH' 부대역에서 수평 방향의 경계 성분을 검출하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 시스템.
  5. 기본 영상을 웨이블렛 변환하여 일정 크기와 해상도를 갖는 다수의 부대역 영상으로 분리하는 과정과;
    상기 분리된 각각의 부대역에서 수직 및 수평 방향의 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 과정과;
    상기 경계 성분 이진 영상으로부터 다른 멀티미디어 데이터를 삽입할 비경계 영역을 검출하여 영상 합성을 수행하는 과정을 포함한 것을 특징으로 하는 영상에 대한 멀티미디어 합성 방법.
  6. 제 5항에 있어서,
    상기 기본 영상을 웨이블렛 변환하여 얻은 출력 영상이 편집자가 원하는 크기와 해상도를 갖는 영상인지를 판별하여 다음 단계의 웨이블렛 변환을 수행해야 하는지를 확인하는 과정과;
    다음 단계의 웨이블렛 변환을 수행해야 하는 경우 이전 단계의 웨이블렛 변환에서 얻은 'LL' 부대역 영상을 이용하여 다음 단계의 웨이블렛 변환을 수행하는 과정을 더 포함하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 방법.
  7. 제 5항 또는 6항에 있어서,
    상기 웨이블렛 변환은, 편집자가 원하는 크기와 해상도를 갖는 영상과 동일한 출력 영상을 얻을 때까지 반복 수행하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 방법.
  8. 제 5항에 있어서,
    상기 기본 영상을 웨이블렛 변환하여 다수의 부대역 영상으로 분리하는 과정은, 최종 단계의 웨이블렛 변환에서 얻은 부대역 중에서 'HL' 부대역과 'LH' 부대역을 분리하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 방법.
  9. 제 5항에 있어서,
    상기 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 과정은, 'HL' 부대역에서 수직 방향의 경계 성분을 검출하고, 'LH' 부대역에서 수평 방향의 경계 성분을 검출하여 하나의 이진 영상으로 통합하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 방법.
  10. 제 5항 또는 9항에 있어서,
    상기 경계 성분은, 각각의 부대역을 바둑판 형상의 다수의 셀로 분할한 후, 한 셀에 포함된 계수들의 절대값 합이 소정 임계값 이상이 될 때 경계 성분으로 검출하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 방법.
  11. 제 5항에 있어서,
    상기 비경계 영역은, 경계 성분 이진 영상에서 경계 성분이 없는 다수의 인접 셀로 구성될 수 있는 최대 크기의 영역을 비경계 영역으로 검출하는 것을 특징으로 하는 영상에 대한 멀티미디어 합성 방법.
KR1020000073381A 2000-12-05 2000-12-05 영상에 대한 멀티미디어 합성 시스템 및 방법 KR20020044339A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000073381A KR20020044339A (ko) 2000-12-05 2000-12-05 영상에 대한 멀티미디어 합성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000073381A KR20020044339A (ko) 2000-12-05 2000-12-05 영상에 대한 멀티미디어 합성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20020044339A true KR20020044339A (ko) 2002-06-15

Family

ID=27679666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000073381A KR20020044339A (ko) 2000-12-05 2000-12-05 영상에 대한 멀티미디어 합성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20020044339A (ko)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235591B1 (ko) * 2006-05-16 2013-02-21 엘지전자 주식회사 영상처리 기능을 구비한 이동단말기 및 그 방법
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101235591B1 (ko) * 2006-05-16 2013-02-21 엘지전자 주식회사 영상처리 기능을 구비한 이동단말기 및 그 방법
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10033944B2 (en) 2009-03-02 2018-07-24 Flir Systems, Inc. Time spaced infrared image enhancement
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9538038B2 (en) 2011-06-10 2017-01-03 Flir Systems, Inc. Flexible memory systems and methods
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9723228B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Infrared camera system architectures
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9716844B2 (en) 2011-06-10 2017-07-25 Flir Systems, Inc. Low power and small form factor infrared imaging
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10230910B2 (en) 2011-06-10 2019-03-12 Flir Systems, Inc. Infrared camera system architectures
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10250822B2 (en) 2011-06-10 2019-04-02 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor

Similar Documents

Publication Publication Date Title
KR20020044339A (ko) 영상에 대한 멀티미디어 합성 시스템 및 방법
EP2012527B1 (en) Visual processing device, visual processing method, program, display device, and integrated circuit
US7606415B2 (en) Image gradation correction based on switching resolution of correction coefficients
US7386181B2 (en) Image display apparatus
US6717622B2 (en) System and method for scalable resolution enhancement of a video image
US7551795B2 (en) Method and system for quantization artifact removal using super precision
EP0794513A1 (en) Method and enhancing image using quantized mean-separate histogram equalization and a circuit therefor
US6097847A (en) Method of and apparatus for calculating sharpness of image and apparatus for sharpening image
US20050248687A1 (en) Apparatus and method for filtering digital image signal
US8244056B2 (en) Image contrast enhancement apparatus and method thereof
US5883978A (en) Image compressing method and image compressing apparatus
US20010015768A1 (en) Deinterlacing apparatus
KR19990041784A (ko) 다이나믹 레인지 확대장치 및 방법
JP3445073B2 (ja) 広域ベクトルの相関性を用いた画素の補間方法及びその装置
EP1755044A2 (en) Digital signal processing
US6771837B1 (en) Method and apparatus for digital image rescaling with adaptive contrast enhancement
US6873742B2 (en) Method and circuit arrangement for enhancing the contrast of an image
US6466269B1 (en) Video signal converter, conversion method of video signal, image display unit using them and television receiver
EP1592235B1 (en) Image processing device, image processing program and recording medium for said program
US7778482B2 (en) Method and system for reducing mosquito noise in a digital image
JP3849817B2 (ja) 画像処理装置および画像処理方法
KR100700017B1 (ko) 조정 가능한 임계값을 이용한 컬러 보간 장치
JP2002015327A (ja) 画像種別判別装置およびこれを用いた画像処理装置ならびに画像種別判別方法。
EP1033886A1 (en) Arithmetic device, converter, and their methods
EP1387319A2 (en) Image processing apparatus

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination