KR20030070446A - 동영상의 영상합성장치 및 그 방법 - Google Patents

동영상의 영상합성장치 및 그 방법 Download PDF

Info

Publication number
KR20030070446A
KR20030070446A KR1020020009990A KR20020009990A KR20030070446A KR 20030070446 A KR20030070446 A KR 20030070446A KR 1020020009990 A KR1020020009990 A KR 1020020009990A KR 20020009990 A KR20020009990 A KR 20020009990A KR 20030070446 A KR20030070446 A KR 20030070446A
Authority
KR
South Korea
Prior art keywords
image
unit
information
feature information
motion
Prior art date
Application number
KR1020020009990A
Other languages
English (en)
Inventor
한성식
이성환
Original Assignee
(주)버추얼미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)버추얼미디어 filed Critical (주)버추얼미디어
Priority to KR1020020009990A priority Critical patent/KR20030070446A/ko
Publication of KR20030070446A publication Critical patent/KR20030070446A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 동영상의 영상합성장치 및 그 방법에 관한 것으로서, 사용자 인터페이스부와, 장면전환 검출부와, 움직임 분석부와, 영상합성부와, 영상 저장부와, 영상출력부를 포함하고, 연속적인 단위영상들의 흐름인 동영상신호가 입력되면 그 동영상신호를 분석하여 장면이 전환된 단위영상에 대한 정보인 장면전환영상정보를 검출하는 과정과, 외부로부터 삽입영상의 삽입영역정보를 전달받아 상기 검출된 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 모든 단위영상들 각각에 대한 특징정보에 의거하여 카메라 움직임 정보를 도출하는 과정과, 외부로부터 삽입영상을 전달받아 상기 과정에서 도출된 움직임정보에 의거하여 상기 동영상 신호 및 삽입영상을 합성하는 과정과, 상기 합성영상을 저장하고, 출력하는 과정을 수행함으로써, 가상의 영상을 실제 동영상 내에 보다 효과적으로 삽입할 수 있다는 효과가 있다. 이로 인해, 단순한 촬영으로 이루어진 동영상에 부가적인 효과를 극대화시킬 수 있고, 디지털 방송에 적용하기 위한 동영상 내에 광고를 용이하게 할 수 있다는 특징이 있다.

Description

동영상의 영상합성장치 및 그 방법{Apparatus and method for compositing image in video sequence}
본 발명은 동영상의 영상합성장치 및 그 방법에 관한 것으로서, 특히, 일반적인 동영상에서 하드웨어적인 도움 없이 그 동영상의 카메라 움직임을 고려하여 자연스럽게 가상영상과 동영상을 합성할 수 있도록 하는 동영상의 영상합성장치 및 그 방법에 관한 것이다.
디지털 방송 기술의 발달로 인해, 디지털 방송을 위한 동영상 편집이나, 획기적인 특수효과, 영상 합성 등의 동영상처리기술이 요구되고 있으며, 이러한 동영상처리기술이 점점 다양하게 발달되고 있는 추세이다.
기존의 동영상 편집이나, 영상합성 등의 동영상처리기술은 축구장, 테니스장 또는 야구장과 같은 스포츠 영상과 같이 규격화된 필드가 존재하는 동영상에 국한된 것이 일반적이다. 또한, 상기 동영상처리기술은 경기장 내의 골내나 간판 모서리 등의 위치에 설치된 센서나, 촬영하고 있는 카메라에 부착된 파라미터 생성기 등과 같은 하드웨어에 의존하여야 했다.
따라서, TV 드라마나 영화 등과 같은 동영상을 처리하기 위해서는 스포츠영상에서 사용된 추적방법보다 훨씬 복잡한 추적방법이 적용되어야만하며, 동영상 처리를 하드웨어에 의존하는 경우 보다 정확한 동영상 처리를 위해 고비용의 장치를 이용하여야 했다.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 일반적인 동영상에서 하드웨어적인 도움 없이 그 동영상의 카메라 움직임을 고려하여 자연스럽게 가상영상과 동영상을 합성할 수 있도록 하는 동영상의 영상합성장치 및 그 방법을 제공하는 데에 있다.
도 1은 본 발명의 실시예에 따른 동영상의 영상합성장치에 대한 개략적인 블록도,
도 2는 본 발명의 실시예에 따른 움직임 분석부에 대한 개략적인 블록도,
도 2a 및 도 2b는 본 발명의 실시예에 따른 움직임벡터 산출부에 대한 동작설명도,
도 2c는 본 발명의 실시예에 따른 유사도 분석부에 대한 동작설명도,
도 2d는 본 발명의 실시예에 따른 움직임 보정부에 대한 동작설명도,
도 3은 본 발명의 실시예에 따른 영상합성부에 대한 개략적인 블록도,
도 4는 본 발명의 실시예에 따른 동영상의 영상합성방법에 대한 처리 흐름도,
도 5는 본 발명의 실시예에 따른 장면전환검출과정에 대한 처리 흐름도,
도 6은 본 발명의 실시예에 따른 움직임정보도출과정에 대한 처리 흐름도,
도 6a는 본 발명의 실시예에 따른 움직임벡터산출과정에 대한 처리 흐름도,
도 6b는 본 발명의 실시예에 따른 움직임정보 보정과정에 대한 처리 흐름도,
도 7은 본 발명의 실시예에 따른 영상합성과정에 대한 처리 흐름도.
♣ 도면의 주요 부분에 대한 부호의 설명 ♣
100 : 장면전환검출부 200 : 움직임분석부
210 : 전처리영상 추출부 220 : 특징정보 추출부
230 : 움직임벡터 산출부 240 : 유사도 분석부
250 : 움직임 보정부 260 : 제어부
270 : 특징정보 DB 300 : 영상합성부
310 : 변환정보 검출부 320 : 영상처리부
330 : 영상효과부 400 : 영상저장부
500 : 영상출력부 600 : 동영상입력부
700 : 사용자 인터페이스부
상기 목적을 달성하기 위한 본 발명의 동영상의 영상합성장치는 연속적인 단위영상들의 흐름인 동영상신호를 입력하는 동영상 입력부와, 상기 동영상신호를 구성하는 단위영상들의 소정영역에 소정의 삽입영상을 삽입하기 위해 사용자와의 인터페이스를 수행하는 사용자 인터페이스부와, 상기 동영상 입력부를 통해 입력되는 동영상신호를 분석하여 장면이 전환된 단위영상에 대한 정보인 장면전환영상정보를검출하고, 그 장면전환영상정보에 해당되는 단위영상을 사용자 인터페이스부를 통해 사용자에게 디스플레이하는 장면전환 검출부와, 상기 사용자 인터페이스부로부터 사용자가 선택한 삽입영역정보를 전달받고, 상기 장면전환 검출부로부터 장면전환영상정보를 전달받고, 상기 동영상 입력부로부터 동영상신호를 전달받아, 상기 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 단위영상들 각각의 특징정보에 의거하여, 카메라의 움직임 정보를 도출하는 움직임 분석부와, 상기 사용자 인터페이스부로부터 사용자가 삽입하고자 하는 삽입영상 및 삽입영역정보를 전달받고, 상기 움직임 분석부에서 도출된 움직임 정보를 전달받고, 상기 동영상 입력부로부터 동영상신호를 전달받아, 상기 움직임정보에 의거하여 상기 동영상신호와 상기 삽입영상을 합성한 합성영상을 생성하는 영상합성부와, 상기 영상합성부로부터 합성영상을 전달받아 그 합성영상을 동영상신호로 저장하는 영상 저장부와, 상기 합성영상에 대한 동영상신호를 출력하는 영상출력부를 포함하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명의 동영상 합성방법은 연속적인 단위영상들의 흐름인 동영상신호가 입력되면, 그 동영상신호를 분석하여 장면이 전환된 단위영상에 대한 정보인 장면전환영상정보를 검출하는 제1 과정과, 외부로부터 삽입영상의 삽입영역정보를 전달받아, 상기 제1 과정에서 검출된 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 모든 단위영상들 각각에 대한 특징정보에의거하여 카메라 움직임 정보를 도출하는 제2 과정과, 외부로부터 삽입영상을 전달받아, 상기 제2 과정에서 도출된 움직임정보에 의거하여, 상기 동영상 신호 및 삽입영상을 합성하는 제3 과정과, 상기 합성영상을 저장하고, 출력하는 제4 과정을 포함하는 것을 특징으로 한다.
이하, 첨부한 도면에 의거하여, 본 발명에 따른 동영상의 영상합성장치 및 방법에 대한 바람직한 실시예를 좀 더 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 동영상의 영상합성장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 동영상의 영상합성장치는 장면전환검출부(100), 움직임 분석부(200), 영상합성부(300), 영상저장부(400), 영상출력부(500), 동영상입력부(600) 및 사용자 인터페이스부(700)를 포함한다.
동영상입력부(600)는 연속적인 단위영상들의 흐름인 동영상신호를 입력하고, 사용자 인터페이스부(700)는 동영상신호를 구성하는 단위영상들의 소정영역에 소정의 삽입영상을 삽입하기 위해 사용자와의 인터페이스를 수행한다.
장면전환검출부(100)는 동영상입력부(600)를 통해 입력되는 동영상신호를 분석하여 장면이 전환된 단위영상에 대한 정보인 장면전환영상정보를 검출한다. 이는 삽입영상이 삽입될 시작지점을 판단하기 위한 것이다. 일반적으로 소정의 삽입영상을 동영상 내에 자연스럽게 삽입하기 위해서는 장면이 전환된 단위영상으로부터 삽입영상이 삽입될 삽입영역을 포함하지 않는 단위영상까지 해당 삽입영상을 삽입하므로, 삽입영상이 최초로 삽입될 영상을 검출하기 위해 장면이 전환된 단위영상을 검출하는 것이다. 이 때, 장면이 전환된 단위영상을 검출하기 위한 장치 및 방법들은 이미 공지된 다양한 기술을 적용하는 것이 가능하다. 한편, 장면전환검출부(100)에서 검출되는 장면전환영상정보의 대표적인 예로 장면이 전환된 단위영상에 대한 프레임 번호를 들 수 있다.
또한, 장면전환검출부(100)는 그 장면전환영상정보에 해당되는 단위영상을 사용자 인터페이스부를 통해 사용자에게 디스플레이한다. 이는 사용자가 그 영상을 보고 삽입영상이 삽입될 초기 위치 즉, 삽입영역을 설정하도록 하기 위함이다.
움직임 분석부(200)는 사용자가 장면전환영상정보에 해당되는 영상을 보고 삽입영역을 선택하면, 그 선택정보를 사용자 인터페이스부(700)를 통해 전달받는다. 한편, 움직임 분석부(200)는 움직임장면전환 검출부(100)로부터 장면전환영상정보를 전달받고, 동영상입력부(600)로부터 동영상신호를 전달받아, 동영상신호로부터 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 사용자가 선택한 삽입영역을 포함하는 단위영상들을 추출한다. 그리고, 움직임분석부(200)는 추출된 단위영상들 각각의 특징정보를 산출한 후, 그 단위영상 별 특징정보에 의거하여 카메라의 움직임 정보를 도출한다.
영상합성부(300)는 사용자 인터페이스부(700)로부터 사용자가 삽입하고자 하는 삽입영상 및 삽입영역정보를 전달받고, 움직임 분석부(200)에서 도출된 움직임 정보를 전달받고, 동영상 입력부(600)로부터 동영상신호를 전달받아 합성영상을 생성한다. 즉, 영상합성부(300)는 움직임분석부(200)로부터 전달받은 움직임정보에 의거하여 동영상신호와 삽입영상을 합성한 합성영상을 생성한다.
영상저장부(400)는 영상합성부(300)로부터 합성영상을 전달받아 그 합성영상을 동영상신호로 저장하고, 영상출력부(500)는 영상합성부(300)로부터 전달된 합성영상에 대한 동영상신호를 출력한다.
도 2는 본 발명의 실시예에 따른 움직임 분석부(200)에 대한 개략적인 블록도이다. 도 2를 참조하면, 움직임 분석부(200)는 전처리영상 추출부(210), 특징정보 추출부(220), 움직임벡터 산출부(230), 유사도 분석부(240), 움직임 보정부(250), 제어부(260) 및 특징정보 DB(270)를 포함한다.
전처리영상 추출부(210)는 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 단위영상들에 대한 전처리영상을 순차적으로 도출하여 출력한다. 이 때, 전처리영상이란 DC 영상이 아닌 에지영상을 말하는 것으로서, 동영상입력부('도 1'의 600)를 통해 입력되는 단위영상들의 에지정보를 나타낼 수 있는 영상을 말한다.
특징정보 추출부(220)는 전처리영상 추출부(210)에서 순차적으로 출력되는 각각의 전처리영상에 포함된 코너점들에 대한 위치정보들을 해당 단위영상들에 대한 특징정보로 추출하여, 특징정보 DB(270)에 저장한다. 이 때, 특징정보 추출부(220)는 함수의 변화분(기울기)을 취하는 미분연산과, 소벨(Sobel)커널을 적용하여 전처리 영상들에 대한 특징정보를 구하는 것이 바람직하다. 이는, 단위영상들의 에지정보는 명암도가 급격히 변하는 부분을 포함하고 있는데, 이러한 단위영상의 윤곽선을 추출하기 위해서는 단위영상의 소정위치에 대한 기울기 값이 필요하고, 소벨(Sobel) 커널이 그 기울기 값을 구하기 위해 유용하게 사용되고 있기 때문이다. 한편, 미분연산과 소벨커널을 이용한 특징정보 추출방법은 영상처리분야에있어서, 이미 공지된 기술이므로 본 명세서에서는 구체적인 설명을 생략한다.
움직임벡터 산출부(230)는 특징정보 추출부(220)로부터 각 단위영상들에 대한 특징정보들이 순차적으로 입력되면, 그 특징정보들의 대응관계에 의거하여 각 단위영상들간의 움직임벡터를 산출한다. 즉, 움직임벡터 산출부(230)는 좌표점으로 표시되는 각 단위영상들의 특징정보들의 대응관계를 분석하여, 단위영상들간의 움직임벡터를 산출한다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 움직임벡터 산출부에 대한 동작설명도로서, 도 2a는 화소분할에 의해 보다 안정적인 코너점을 찾기 위한 방법을 설명하는 도면이고, 도 2b는 안정적인 움직임정보를 산출하기 위해 예상움직임 벡터와 실제움직임 벡터를 이용하는 방법을 설명하는 도면이다.
먼저, 도 2a를 참조하면, 특징점의 튀는 현상을 방지하고 보다 안정적인 움직임정보를 도출하기 위해, 기존에 선정된 q0라는 화소에 대해 이를 4분할한 후, q0'를 다시 설정하여 불필요한 화소의 값을 제거한다. 이를 통해 q0'에서 p0로 가는 움직임에 대한 벡터를 결정한다.
한편, 움직임벡터 산출부(230)는 안정적인 움직임정보를 산출하기 위해, 예상움직임 벡터와 실제움직임 벡터를 산출한 후, 그들간의 평균값에 의해 최종움직임 벡터를 산출한다. 즉, 움직임벡터 산출부(230)는 현재 입력된 현재특징정보 바로 이전의 특징정보인 이전특징정보와, 그 이전특징정보 바로 이전의 특징정보인 전전특징정보를 추출한 후, 전전특징정보와 이전특징정보들의 대응관계에 의거하여이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 예상움직임벡터를 산출하고, 이전특징정보와 현재특징정보들의 대응관계에 의거하여 이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 실제움직임벡터를 산출한다. 그리고, 움직임벡터 산출부(230)는 그 예상움직임벡터와 실제움직임벡터의 평균값을 구해, 최종움직임벡터로 산출한다.
도 2b에는 이러한 예가 도시되어 있다. 도 2b를 참조하면, 특정관심영역(21)으로부터 예상움직임영역(22) 방향으로의 움직임정보를 선형움직임으로 가정하고, 예상움직임벡터(23)와 실제움짐임벡터(24)를 구한 후, 그 평균값을 구해 최종움직임벡터(25)를 산출한다.
유사도 분석부(240)는 움직임벡터 산출부(230)에서 각 단위영상들간의 움직임벡터가 순차적으로 입력되면, 현재 입력된 현재움직임벡터와 바로 이전의 움직임벡터인 이전움직임벡터간의 유사도를 분석하고, 그 유사도가 기 설정된 소정치 이하인 경우, 이전움직임벡터에 의거하여 현재움직임벡터를 보정한 후 출력한다. 즉, 유사도 분석부(240)는 움직임벡터들의 보다 정확한 최종움직임을 끌어내기 위해 움직임벡터들간의 유사도를 분석한다.
도 2c는 본 발명의 실시예에 따른 유사도 분석부(240)에 대한 동작설명도이다. 도 2c를 참조하면, 프레임_t(frame_t)의 관심영역(32)에 대한 움직임벡터(31)를 프레임_(t+1)(frame_t+1)에 적용하면, 프레임_t(frame_t)에서의 P1은 P2로 이동하고, 프레임_t의 관심영역(32)은 프레임_(t+1)의 관심영역(32')으로 이동하게 될것이다. 만일, 움직임벡터 산출부(230)에서 산출된 '프레임_t'와 '프레임_(t+1)'간 움직임벡터(Vt→(t+1))와 프레임_t와 그 이전의 프레임(예컨대, 프레임_(t-1))간의 움직임벡터(V(t-1)→t)의 유사도를 분석한 결과, 그 유사도가 소정치 이하가 될 경우 유사도 분석부(240)는 움직임벡터(V(t-1)→t)에 의거하여 움직임벡터(Vt→(t+1))를 보정한 후 출력한다.
움직임 보정부(250)는 유사도 분석부(240)에서 출력되는 움직임벡터에 대하여 다시 한번 그 움직임벡터에 누적되는 오차를 줄여주는 작업을 수행한다. 즉, 움직임 보정부(250)는 각 단위영상들의 소정영역에 대하여 다수개의 패턴영상들을 설정하고, 각 단위영상별 패턴영상들 내의 특징정보들이 각각 동일한 선형움직임을 갖도록 카메라의 움직임정보를 보정한다.
일반적으로 움직임벡터 산출부(230) 및 유사도 분석부(240)를 거쳐 생성된 움직임 벡터는 관심영역에 대한 특징벡터들의 평균이므로 흔들림 현상에 민감할 수 있다. 따라서, 이러한 영역의 움직임에 대한 평균오차를 줄이기 위해 움직임 보정부(250)에서는 소정개의 단위 블록을 생성한 후, 그 단위 블록에 포함된 특징정보들에 대한 매칭 알고리즘을 수행하여 다시 한번 움직임을 분석하고, 그 분석 결과에 의해 움직임 정보를 보정하는 것이다.
도 2d는 본 발명의 실시예에 따른 움직임 보정부(250)에 대한 동작설명도로서, 단위 블록 및 매칭 알고리즘을 이용한 움직임 분석 방법의 예를 나타내고 있다.
도 2d의 (a)는 기본적인 블록매칭(Block Matching Algorithm)을 이용하는 경우에 대한 예로써, 도 2d(a)의 예에서는 소정의 단위 블록(41)을 설정하고, 그 단위 블록(41)에 대한 움직임 분석을 수행한다. 이 경우, 소정의 단위 블록(41)내에 관심 영역 이외의 다른 부분이 포함될 수 있고, 움직임 분석시 그 다른 부분을 배제할 수 없기 때문에 불필요한 계산을 필요로 한다는 단점이 있다.
도 2d의 (b)는 다수개의 블록을 이용하는 경우에 대한 예로써, 도 2d(b)에서는 관심영역들에 대한 블록(42, 43)을 각각 설정하고, 그 블록들(42, 43)에 대한 움직임을 분석한다. 따라서, 도 2d(a)의 경우에서와 같이 불필요한 계산을 할 필요가 없다는 장점이 있다. 하지만, 도 2d(b)의 경우 블록들(42, 43) 각각의 움직임을 고려해야 하기 때문에 각각의 오차가 늘어날 경우 전체의 평균오차가 심각하게 누적될 수 있다는 단점이 있다.
도 2d의 (c)는 도 2d(a) 및 도 2d(b)의 단점들을 보완하기 위해 고안된 방법에 대한 예로써, 비정형적인 블록을 이용하는 경우를 나타낸다. 다시 말하면, 도 2d(c)의 예에서 움직임 보정부(250)는 각 단위영상별로 소정영역들에 대한 다수개의 1차 블록들(44, 45)과, 그 1차 블록들(44, 45)을 모두 포함하는 2차 블록(46)을 설정한 후, 그 들간의 움직임을 고려한다. 즉, 움직임 보정부(250)는 1차 블록들(44, 45) 내의 특징정보들 중 동일한 선형움직임을 갖는 특징정보들에 의거하여 1차 블록들(44, 45) 각각에 대한 움직임벡터를 산출한 후, 그 1차 블록들 각각에 대한 움직임벡터들에 의거하여 2차 블록에 대한 움직임벡터를 산출하고, 상기 2차 블록에 대한 움직임벡터에 의거하여 카메라의 움직임정보를 결정한다. 이 때,움직임 보정부(250)는 매칭알고리즘에 의해 상기 1차 블록들(44, 45) 각각에 포함된 특징정보들의 움직임 형태를 분석하여, 상기 1차 블록들(44, 45) 각각에 포함된 특징정보들 중 선형움직임을 갖는 특징정보들을 선별한다.
한편, 제어부(260)는 사용자 인터페이스부('도 1'의 700)를 통해 입력되는 외부 제어신호에 의해, 전처리영상 추출부(210), 특징정보 추출부(220), 움직임벡터 산출부(230), 유사도 분석부(240) 및 움직임 보정부(250)의 동작을 제어한다.
도 3은 본 발명의 실시예에 따른 영상합성부(300)에 대한 개략적인 블록도이다. 도 3을 참조하면, 본 발명의 영상합성부(300)는 변화정보 검출부(310), 영상처리부(320) 및 영상효과부(330)를 포함한다.
변환정보 검출부(310)는 사용자 인터페이스부('도 1'의 700)를 통해 입력되는 삽입영역의 위치정보를 통해 그 삽입영역내의 원근변화율정보를 검출한다. 변환정보 검출부(310)에서는 다양한 원근변화율정보를 검출하기 위해 다양한 기준점을 이용한다. 예를 들어, 특징정보 추출시에 이동(Translation)이나 회전(Rotation) 변환이 일어나면 두 개의 기준점이 필요하고, 어파인(Affine) 변환이 일어날 경우에는 세 개의 기준점이 필요하고, 투영(Perspective) 변환이 일어날 경우에는 네 개의 기준점을 필요로 한다. 도 3a의 예와 같이 사용자 인터페이스부('도 1'의 700)를 통해 입력되는 삽입영역의 위치정보가 P3~P6인 경우, 그 네 점(P3~P6)의 위치정보를 이용하여 삽입영역 내의 원근변화율 정보를 검출한다. 이 때, 각 점의 위치정보를 이용하여 원근변화율 정보를 검출하는 방법은 영상처리 분야에서 이미 공지된 기술이므로 구체적인 설명을 생략한다.
영상처리부(320)는 동영상 입력부('도 1'의 600)로부터 동영상을 입력받고, 움직임 분석부('도 1'의 200)로부터 움직임 분석정보를 입력받고, 사용자 인터페이스부('도 1'의 700)로부터 삽입영상을 전달받고, 변환정보검출부(310)로부터 삽입영역에 대한 원근변화율정보를 전달받아 동영상신호의 해당영역에 삽입영상을 삽입한 합성영상을 생성한다.
영상효과부(330)는 사용자 인터페이스부('도 1'의 700)를 통해 입력된 사용자의 선택정보에 의거하여 영상처리부(320)에서 생성된 합성영상에 대한 흐림 및 그림자 처리를 수행한다.
한편, 단위영상별로 삽입하고자 하는 삽입영상이 다수개인 경우, 즉, 사용자 인터페이스부('도 1'의 700)를 통해 다수개의 삽입영역정보가 입력된 경우, 움직임 분석부('도 1'의 200)는 각 삽입영역을 포함하는 단위영상들 각각에 대한 카메라 움직임정보들을 도출하여 출력하고, 영상합성부(300)는 그 삽입영역들을 포함하는 단위영상들 각각에 대한 카메라 움직임정보들에 의거하여 상기 동영상신호와 상기 삽입영상들을 합성한 합성영상을 생성한다.
도 4는 본 발명의 실시예에 따른 동영상의 영상합성방법에 대한 처리 흐름도이다. 도 4를 참조하면, 본 발명의 실시예에 따른 동영상의 영상합성방법은 다음과 같다. 우선, 연속적인 단위영상들의 흐름인 동영상신호가 입력되면(s100), 그 동영상신호를 분석하여 장면이 전환된 단위영상에 대한 정보인 장면전환영상정보를 검출한다(s200).
그리고, 외부로부터 삽입영상의 삽입영역정보를 전달받아, 상기 과정(s200)에서 검출된 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 모든 단위영상들 각각에 대한 특징정보에 의거하여 카메라 움직임 정보를 도출한다(s300).
또한, 외부로부터 삽입영상이 입력되면(s400), 그 삽입영상을 전달받아, 상기 과정(s300)에서 도출된 움직임정보에 의거하여, 동영상 신호 및 삽입영상을 합성한다.
마지막으로 동영상 신호와 삽입영상의 합성 결과로 생성된 합성영상을 동영상신호의 형태로 저장하고, 출력한다(s600).
도 5는 본 발명의 실시예에 따른 장면전환검출과정(s200)에 대한 처리 흐름도이다.
도 5를 참조하면, 외부로부터 동영상신호가 입력되면 그 동영상신호에 대한 장면전환을 검출하기 위해, 압축된 단위영상(프레임)을 B프레임, P프레임, I프레임으로 각각 분할한 후, 그 중 I프레임의 DC 계수만을 복호화하여 DC 영상을 재구성한다(s210).
그리고, 그 DC 영상을 양자화한다(s220). 즉, 시각정보로부터 버리는 것이 용인될 수 있을 만큼 버릴 정보를 선택한다.
또한, 양자화된 DC 영상으로부터 특징벡터를 추출하여(s230), 인접 프레임간 특징차를 비교한다(s240). 이 때, 특징벡터 추출시에 프레임간 공간적 상관도를 고려할 수도 있다.
상기 비교(s240) 결과, 인접 프레임간 특징차가 기 설정된 소정의 임계치를 초과할 경우, 해당 프레임을 장면전환 프레임으로 검출(s270)하고, 그렇지 않으면 다음 프레임을 선택한 후(s260), 상기 과정들(s210 내지 s240)을 수행한다.
그리고, 외부로부터 입력되는 동영상 신호의 마지막 프레임이 입력될 때까지(s280) 상기 과정들(s210 내지 s270)을 반복 수행한다.
이 때, 외부로부터 입력되는 동영상신호로부터 장면전환을 검출하는 과정 및도 5의 예에서 나타난 각 과정들의 처리 방법들은 영상처리기술 분야에서 이미 공지된 기술이므로, 이미 공지된 다양한 기술 중 선택 적용하는 것이 가능하다.
도 6은 본 발명의 실시예에 따른 움직임정보도출과정(s300)에 대한 처리 흐름도이다. 도 6을 참조하면, 장면전환검출과정(s200)에서 검출된 장면전환영상 및 그 이후의 단위영상들 중 삽입영역을 포함하는 모든 단위영상들 각각에 대한 전처리 영상을 순차적으로 도출한다(s320). 이 때, 전처리 영상은 에지영상을 사용하는 것이 바람직하며, 도 6에서는 전처리 영상으로 에지영상을 사용하는 경우에 대한 예를 나타낸다.
그리고, 상기 과정(s320)에서 순차적으로 출력되는 각각의 전처리영상들, 즉, 에지영상에 포함된 코너점들에 대한 위치정보들을 각 단위영상들에 대한 특징정보로 추출한다(s330). 이 때, 에지영상에 포함된 코너점들에 대한 위치정보를 도출하기 위해서 함수의 변화분(기울기)을 취하는 미분연산 및 소벨(Sobel) 커널을 적용할 수 있는데, 미분연산은 윤곽선 추출을 위해, 소벨(Sobel) 커널은 윤곽선의 기울기 값을 추출하기 위해 적용하는 것이 바람직하다.
이와 같이 추출된 각 단위영상들에 대한 특징정보들이 순차적으로 입력되면, 그 특징정보들의 대응관계에 의거하여 각 단위영상들간의 움직임벡터를 산출하고(s340), 그 움직임벡터들간의 유사도 분석에 의해 움직임 벡터를 보정한다(s350). 즉, 현재 입력된 현재움직임벡터와 바로 이전의 움직임벡터인 이전움직임벡터간의 유사도를 분석하고, 그 유사도가 기 설정된 소정치 이하인 경우, 이전움직임벡터에 의거하여 현재움직임벡터를 보정한다.
그리고, 각 단위영상들의 소정영역에 대한 블록을 설정하고, 그 블록의 움직임정보 분석에 의해, 움직임 정보를 다시 한번 보정하는 과정(s360)을 수행하는데, 이를 위해, 각 단위영상들의 소정영역에 대하여 다수개의 패턴영상들을 설정하고, 각 단위영상별 패턴영상들 내의 특징정보들이 각각 동일한 선형움직임을 갖도록 카메라의 움직임정보를 보정한다.
이와 같이 최종적으로 보정된 움직임정보가 출력되면 그 움직임정보를 단위영상별로 저장하고(s370), 다음 단위영상을 선택하여(s380), 그 단위영상에 삽입대상이 포함되었는지를 확인한다(s390). 상기 확인(s390) 결과, 해당 단위영상에 삽입대상이 포함되었으면, 상기 일련의 처리과정들(s320 내지 s380)을 반복 수행하고, 그렇지 않으면 기 저장된 단위영상별 움직임정보를 출력한다(s395).
도 6a는 본 발명의 실시예에 따른 움직임벡터산출과정(s340)에 대한 처리 흐름도이다. 도 6a를 참조하면, 움직임벡터를 산출하기 위해, 현재 단위영상에 대한 특징정보가 입력되면(s341), 우선, 현재 입력된 현재특징정보 바로 이전의 이전특징정보와, 이전특징정보 바로 이전의 특징정보인 전전특징정보를 추출한다(s342).그리고, 전전특징정보와 이전특징정보들의 대응관계에 의거하여 이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 예상움직임벡터를 산출하고(s343), 이전특징정보와 현재특징정보들의 대응관계에 의거하여 이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 실제움직임벡터를 산출한다(s344).
이와 같이 예상움직임벡터 및 실제움직임벡터가 산출되었으면, 그 예상움직임벡터와 실제움직임벡터의 평균값을 계산하여 최종움직임벡터를 산출한다(s345).
한편, 움직임벡터산출 과정(s340)에 대한 보다 구체적인 설명은 도 2, 도 2a 및 도 2b를 참조한 설명과 유사하므로 생략한다.
도 6b는 본 발명의 실시예에 따른 움직임정보 보정과정(s360)에 대한 처리 흐름도이다. 도 6b를 참조하면, 움직임정보 보정과정(s360)은 우선, 각 단위영상별로 소정영역들에 대한 다수개의 1차 단위블록들과, 그 1차 단위블록들을 모두 포함하는 2차 단위블록을 설정하고(s361, s362), 그 1차 단위블록들 내의 특징정보들 중 동일한 선형움직임을 갖는 특징정보들에 의거하여 1차 단위블록들 각각에 대한 움직임벡터를 산출한다(s363). 그리고, 1차 단위블록들 각각에 대한 움직임벡터들에 의거하여 2차 단위블록에 대한 움직임벡터를 산출한다(s364). 마지막으로, 2차 단위블록에 대한 움직임벡터에 의거하여 카메라의 움직임정보를 결정한다. 이 때, 1차 단위블록들 각각에 포함된 특징정보들 중 선형움직임을 갖는 특징정보들을 선별하기 위해, 매칭 알고리즘을 이용하여 1차 단위블록들 각각에 포함된 특징정보들의 움직임 형태를 분석한다.
한편, 움직임정보 보정과정(s360)에 대한 보다 구체적인 설명은 도 2 및 도2d를 참조한 설명과 유사하므로 생략한다.
도 7은 본 발명의 실시예에 따른 영상합성과정(s500)에 대한 처리 흐름도이다. 도 7을 참조하면, 본 발명의 실시예에 따른 영상합성과정(s500)은 사용자가 선택한 삽입영역의 위치정보를 통해 그 삽입영역내의 원근변화율정보를 검출하는 과정(s510)과, 그 원근변화율정보에 의거하여, 동영상신호의 해당영역에 삽입영상을 삽입한 합성영상을 생성하는 과정(s520)과, 사용자의 선택정보에 의거하여 상기 과정(s520)에서 생성된 합성영상에 대한 흐림 및 그림자 처리를 수행하는 과정(s530)을 포함한다.
한편, 영상합성과정(s500)에 대한 보다 구체적인 설명은 도 3 및 도 3a를 참조한 설명과 유사하므로 생략한다.
이상의 설명은 하나의 실시예를 설명한 것에 불과하고, 본 발명은 상술한 실시예에 한정되지 않으며 첨부한 특허청구범위 내에서 다양하게 변경 가능한 것이다. 예를 들어 본 발명의 실시예에 구체적으로 나타난 각 구성 요소의 형상 및 구조는 변형하여 실시할 수 있는 것이다.
이상에서 설명한 바와 같이 본 발명에 따른 동영상의 영상합성장치 및 그 방법은 스포츠영상에 제한적으로 적용되던 동영상 처리기술을 TV 드라마나 영화 등과 같은 일반적인 동영상에도 적용할 수 있도록 한다. 즉, 동영상 처리기술의 활용범위를 확대할 수 있다는 장점이 있다.
또한, 하드웨어적인 도움 없이도 그 동영상의 카메라 움직임을 고려하여 자연스럽게 가상영상과 동영상을 합성할 수 있도록 한다. 따라서, 동영상 처리를 위한 고비용의 장치를 사용하지 않고도, 동영상의 편집 및 합성을 정확하게 수행할 수 있으며, 이로 인해 디지털 영상의 시청자들이 보다 자연스럽고, 현실감 있는 합성영상을 감상할 수 있도록 한다. 따라서, 단순한 촬영으로 이루어진 동영상에 부가적인 효과를 극대화시킬 수 있다.
한편, 디지털 방송에 적용하기 위한 동영상 또는 전자상거래 등을 위한 동영상 내에 광고를 용이하게 할 수 있어, 이로 인한 수익구조를 창출할 수도 있게 될 것이다.

Claims (13)

  1. 연속적인 단위영상들의 흐름인 동영상신호를 입력하는 동영상 입력부와,
    상기 동영상신호를 구성하는 단위영상들의 소정영역에 소정의 삽입영상을 삽입하기 위해 사용자와의 인터페이스를 수행하는 사용자 인터페이스부와,
    상기 동영상 입력부를 통해 입력되는 동영상신호를 분석하여 장면이 전환된 단위영상에 대한 정보인 장면전환영상정보를 검출하고, 그 장면전환영상정보에 해당되는 단위영상을 사용자 인터페이스부를 통해 사용자에게 디스플레이하는 장면전환 검출부와,
    상기 사용자 인터페이스부로부터 사용자가 선택한 삽입영역정보를 전달받고, 상기 장면전환 검출부로부터 장면전환영상정보를 전달받고, 상기 동영상 입력부로부터 동영상신호를 전달받아, 상기 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 단위영상들 각각의 특징정보에 의거하여, 카메라의 움직임 정보를 도출하는 움직임 분석부와,
    상기 사용자 인터페이스부로부터 사용자가 삽입하고자 하는 삽입영상 및 삽입영역정보를 전달받고, 상기 움직임 분석부에서 도출된 움직임 정보를 전달받고, 상기 동영상 입력부로부터 동영상신호를 전달받아, 상기 움직임정보에 의거하여 상기 동영상신호와 상기 삽입영상을 합성한 합성영상을 생성하는 영상합성부와,
    상기 영상합성부로부터 합성영상을 전달받아 그 합성영상을 동영상신호로 저장하는 영상저장부와,
    상기 합성영상에 대한 동영상신호를 출력하는 영상출력부를 포함하는 것을 특징으로 하는 동영상의 영상합성장치.
  2. 제1항에 있어서, 상기 움직임 분석부는
    상기 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 단위영상들에 대한 전처리영상을 순차적으로 도출하여 출력하는 전처리영상 추출부와,
    상기 전처리영상 추출부에서 순차적으로 출력되는 각각의 전처리영상들에 포함된 코너점들에 대한 위치정보들을 해당 단위영상들에 대한 특징정보로 추출하는 특징정보 추출부와,
    상기 특징정보 추출부로부터 출력되는 단위영상별 특징정보들을 저장 관리하는 특징정보 데이터베이스부와,
    상기 특징정보 추출부로부터 각 단위영상들에 대한 특징정보들이 순차적으로 입력되면, 그 특징정보들의 대응관계에 의거하여 각 단위영상들간의 움직임벡터를 산출하는 움직임벡터 산출부와,
    상기 움직임벡터 산출부에서 각 단위영상들간의 움직임벡터가 순차적으로 입력되면, 현재 입력된 현재움직임벡터와 바로 이전의 움직임벡터인 이전움직임벡터간의 유사도를 분석하고, 그 유사도가 기 설정된 소정치 이하인 경우, 이전움직임벡터에 의거하여 현재움직임벡터를 보정한 후 출력하는 유사도 분석부와,
    각 단위영상들의 소정영역에 대하여 다수개의 패턴영상들을 설정하고, 각 단위영상별 패턴영상들 내의 특징정보들이 각각 동일한 선형움직임을 갖도록 카메라의 움직임정보를 보정하는 움직임 보정부와,
    외부 제어신호에 의해, 상기 전처리영상 추출부, 특징정보 추출부, 움직임벡터 산출부, 유사도 분석부 및 움직임 보정부의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 동영상의 영상합성장치.
  3. 제2항에 있어서, 상기 움직임벡터 산출부는
    현재 입력된 현재특징정보 바로 이전의 특징정보인 이전특징정보와, 상기 이전특징정보 바로 이전의 특징정보인 전전특징정보를 추출한 후, 상기 전전특징정보와 이전특징정보들의 대응관계에 의거하여 상기 이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 예상움직임벡터를 산출하고, 상기 이전특징정보와 현재특징정보들의 대응관계에 의거하여 상기 이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 실제움직임벡터를 산출하고, 상기 예상움직임벡터와 실제움직임벡터의 평균값을 최종움직임벡터로 산출하는 것을 특징으로 하는 동영상의 영상합성장치.
  4. 제2항에 있어서, 상기 움직임 보정부는
    각 단위영상별로 소정영역들에 대한 다수개의 1차패턴영상들과, 그 1차패턴영상들을 모두 포함하는 2차패턴영상을 설정하고, 상기 1차패턴영상들 내의 특징정보들 중 동일한 선형움직임을 갖는 특징정보들에 의거하여 1차패턴영상들 각각에 대한 움직임벡터를 산출한 후, 그 1차패턴영상들 각각에 대한 움직임벡터들에 의거하여 2차패턴영상에 대한 움직임벡터를 산출하고, 상기 2차패턴영상에 대한 움직임벡터에 의거하여 카메라의 움직임정보를 결정하는 것을 특징으로 하는 동영상의 영상합성장치.
  5. 제4항에 있어서, 상기 움직임 보정부는
    매칭알고리즘에 의해 상기 1차패턴영상들 각각에 포함된 특징정보들의 움직임 형태를 분석하여, 상기 1차패턴영상들 각각에 포함된 특징정보들 중 선형움직임을 갖는 특징정보들을 선별하는 것을 특징으로 하는 동영상의 영상합성장치.
  6. 제1항에 있어서, 영상합성부는
    상기 삽입영역의 위치정보를 통해 그 삽입영역내의 원근변화율정보를 검출하는 변환정보검출부와,
    상기 변환정보검출부에서 검출된 원근변화율정보에 의거하여, 상기 동영상신호의 해당영역에 삽입영상을 삽입한 합성영상을 생성하는 영상처리부와,
    상기 사용자 인터페이스부를 통해 입력된 사용자의 선택정보에 의거하여 상기 영상처리부에서 생성된 합성영상에 대한 흐림 및 그림자 처리를 수행하는 영상효과부를 포함하는 것을 특징으로 하는 동영상의 영상합성장치.
  7. 제1항에 있어서,
    상기 삽입영역정보가 다수개인 경우,
    상기 움직임 분석부는
    각 삽입영역을 포함하는 단위영상들 각각에 대한 카메라 움직임정보들을 도출하여 출력하고,
    상기 영상합성부는
    각 삽입영역을 포함하는 단위영상들 각각에 대한 카메라 움직임정보들에 의거하여 상기 동영상신호와 상기 삽입영상들을 합성한 합성영상을 생성하는 것을 특징으로 하는 동영상의 영상합성장치.
  8. 연속적인 단위영상들의 흐름인 동영상신호가 입력되면, 그 동영상신호를 분석하여 장면이 전환된 단위영상에 대한 정보인 장면전환영상정보를 검출하는 제1 과정과,
    외부로부터 삽입영상의 삽입영역정보를 전달받아, 상기 제1 과정에서 검출된 장면전환영상정보에 해당되는 단위영상 및 그 단위영상 이후로 입력되는 단위영상들 중 상기 삽입영역정보에 해당되는 삽입영역을 포함하는 모든 단위영상들 각각에 대한 특징정보에 의거하여 카메라 움직임 정보를 도출하는 제2 과정과,
    외부로부터 삽입영상을 전달받아, 상기 제2 과정에서 도출된 움직임정보에 의거하여, 상기 동영상 신호 및 삽입영상을 합성하는 제3 과정과,
    상기 합성영상을 저장하고, 출력하는 제4 과정을 포함하는 것을 특징으로 하는 동영상의 영상합성방법.
  9. 제8항에 있어서, 상기 제2 과정은
    상기 삽입영역을 포함하는 모든 단위영상들 각각에 대한 전처리 영상을 순차적으로 도출하는 제2-1 과정과,
    상기 제2-1 과정에서 순차적으로 출력되는 각각의 전처리영상들에 포함된 코너점들에 대한 위치정보들을 각 단위영상들에 대한 특징정보로 추출하는 제2-2 과정과,
    상기 제2-2 과정에서 추출된 각 단위영상들에 대한 특징정보들이 순차적으로 입력되면, 그 특징정보들의 대응관계에 의거하여 각 단위영상들간의 움직임벡터를 산출하는 제2-3 과정과,
    상기 제2-3 과정에서 산출된 각 단위영상들간의 움직임벡터가 순차적으로 입력되면, 현재 입력된 현재움직임벡터와 바로 이전의 움직임벡터인 이전움직임벡터간의 유사도를 분석하고, 그 유사도가 기 설정된 소정치 이하인 경우, 이전움직임벡터에 의거하여 현재움직임벡터를 보정하는 제2-4 과정과,
    각 단위영상들의 소정영역에 대하여 다수개의 패턴영상들을 설정하고, 각 단위영상별 패턴영상들 내의 특징정보들이 각각 동일한 선형움직임을 갖도록 카메라의 움직임정보를 보정하는 제2-5 과정을 포함하는 것을 특징으로 하는 동영상의 영상합성방법.
  10. 제9항에 있어서, 상기 제2-3 과정은
    현재 입력된 현재특징정보 바로 이전의 이전특징정보와, 상기 이전특징정보 바로 이전의 특징정보인 전전특징정보를 추출하는 과정과,
    상기 전전특징정보와 이전특징정보들의 대응관계에 의거하여 상기 이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 예상움직임벡터를 산출하는 과정과,
    상기 이전특징정보와 현재특징정보들의 대응관계에 의거하여 상기 이전특징정보와 현재특징정보에 해당되는 각 단위영상들간의 실제움직임벡터를 산출하는 과정과,
    상기 예상움직임벡터와 실제움직임벡터의 평균값을 계산하여 최종움직임벡터를 산출하는 과정을 포함하는 것을 특징으로 하는 동영상의 영상합성방법.
  11. 제9항에 있어서, 상기 제2-5 과정은
    각 단위영상별로 소정영역들에 대한 다수개의 1차패턴영상들과, 그 1차패턴영상들을 모두 포함하는 2차패턴영상을 설정하는 과정과,
    상기 1차패턴영상들 내의 특징정보들 중 동일한 선형움직임을 갖는 특징정보들에 의거하여 1차패턴영상들 각각에 대한 움직임벡터를 산출하는 과정과,
    상기 1차패턴영상들 각각에 대한 움직임벡터들에 의거하여 2차패턴영상에 대한 움직임벡터를 산출하는 과정과,
    상기 2차패턴영상에 대한 움직임벡터에 의거하여 카메라의 움직임정보를 결정하는 과정을 포함하는 것을 특징으로 하는 동영상의 영상합성방법.
  12. 제11항에 있어서, 상기 제2-5 과정은
    매칭알고리즘에 의해 상기 1차패턴영상들 각각에 포함된 특징정보들의 움직임 형태를 분석하여, 상기 1차패턴영상들 각각에 포함된 특징정보들 중 선형움직임을 갖는 특징정보들을 선별하는 것을 특징으로 하는 동영상의 영상합성방법.
  13. 제8항에 있어서, 상기 제3 과정은
    상기 삽입영역의 위치정보를 통해 그 삽입영역내의 원근변화율정보를 검출하는 제3-1 과정과,
    상기 제3-1 과정에서 검출된 원근변화율정보에 의거하여, 상기 동영상신호의 해당영역에 삽입영상을 삽입한 합성영상을 생성하는 제3-2 과정과,
    외부로부터 입력되는 선택정보에 의거하여 제3-2 과정에서 생성된 합성영상에 대한 흐림 효과 및 그림자 효과 처리를 수행하는 제3-3 과정을 포함하는 것을 특징으로 하는 동영상의 영상합성방법.
KR1020020009990A 2002-02-25 2002-02-25 동영상의 영상합성장치 및 그 방법 KR20030070446A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020020009990A KR20030070446A (ko) 2002-02-25 2002-02-25 동영상의 영상합성장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020009990A KR20030070446A (ko) 2002-02-25 2002-02-25 동영상의 영상합성장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20030070446A true KR20030070446A (ko) 2003-08-30

Family

ID=32222516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020009990A KR20030070446A (ko) 2002-02-25 2002-02-25 동영상의 영상합성장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20030070446A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030090372A (ko) * 2002-05-23 2003-11-28 주식회사 밀리오네어즈 디지털 방송 중계를 위한 광고 교체 방법 및 그 장치
KR100466587B1 (ko) * 2002-11-14 2005-01-24 한국전자통신연구원 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법
KR101105467B1 (ko) * 2011-03-30 2012-01-17 주식회사 엑스디웍스 동영상 합성을 통한 광고 서비스 제공 방법
KR101446641B1 (ko) * 2012-03-21 2014-10-01 가시오게산키 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5264933A (en) * 1991-07-19 1993-11-23 Princeton Electronic Billboard, Inc. Television displays having selected inserted indicia
US5436672A (en) * 1994-05-27 1995-07-25 Symah Vision Video processing system for modifying a zone in successive images
KR20000054304A (ko) * 2000-06-01 2000-09-05 이성환 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR20030049642A (ko) * 2001-12-17 2003-06-25 한국전자통신연구원 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5264933A (en) * 1991-07-19 1993-11-23 Princeton Electronic Billboard, Inc. Television displays having selected inserted indicia
US5436672A (en) * 1994-05-27 1995-07-25 Symah Vision Video processing system for modifying a zone in successive images
KR20000054304A (ko) * 2000-06-01 2000-09-05 이성환 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
KR20030002919A (ko) * 2001-07-02 2003-01-09 에이알비전 (주) 방송 영상에서의 실시간 이미지 삽입 시스템
KR20030049642A (ko) * 2001-12-17 2003-06-25 한국전자통신연구원 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030090372A (ko) * 2002-05-23 2003-11-28 주식회사 밀리오네어즈 디지털 방송 중계를 위한 광고 교체 방법 및 그 장치
KR100466587B1 (ko) * 2002-11-14 2005-01-24 한국전자통신연구원 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법
KR101105467B1 (ko) * 2011-03-30 2012-01-17 주식회사 엑스디웍스 동영상 합성을 통한 광고 서비스 제공 방법
KR101446641B1 (ko) * 2012-03-21 2014-10-01 가시오게산키 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 기록 매체

Similar Documents

Publication Publication Date Title
Kopf 360 video stabilization
KR20050008245A (ko) 일반 동영상에서의 3차원 그래픽 영상합성을 위한 장치 및그 방법
US8116521B2 (en) Moving body image extraction apparatus and computer readable storage medium storing program
EP1984893B1 (en) Method and apparatus for modifying a moving image sequence
US8275219B2 (en) Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US9390535B2 (en) Image processing device and method, and program
US7710498B2 (en) Image processing apparatus, image processing method and program
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
CN106210449B (zh) 一种多信息融合的帧率上变换运动估计方法及系统
US20100014709A1 (en) Super-resolving moving vehicles in an unregistered set of video frames
JPH02239376A (ja) 動画像の動き検出方法及びその装置
JP5251410B2 (ja) カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法
KR20130102895A (ko) 동영상에서의 전경 레이어 추출 장치 및 방법
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
US20060192857A1 (en) Image processing device, image processing method, and program
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JPH10116359A (ja) カメラパラメータ演算装置及び画像合成装置
KR20030070446A (ko) 동영상의 영상합성장치 및 그 방법
CN112637573A (zh) 一种多镜头切换的显示方法、系统、智能终端及存储介质
US8582882B2 (en) Unit for and method of segmentation using average homogeneity
CN115834800A (zh) 一种控制拍摄内容合成算法的方法
Gastaud et al. Video segmentation using active contours on a group of pictures
Lee Novel video stabilization for real-time optical character recognition applications
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
Xue et al. Video retargeting using optimized crop-and-scale

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20020225

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20031031

Patent event code: PE09021S01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20040630

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20040821

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20041201

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20040821

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

Patent event date: 20031031

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I