KR20170097389A - Apparatus and method making moving image for masking - Google Patents

Apparatus and method making moving image for masking Download PDF

Info

Publication number
KR20170097389A
KR20170097389A KR1020160019063A KR20160019063A KR20170097389A KR 20170097389 A KR20170097389 A KR 20170097389A KR 1020160019063 A KR1020160019063 A KR 1020160019063A KR 20160019063 A KR20160019063 A KR 20160019063A KR 20170097389 A KR20170097389 A KR 20170097389A
Authority
KR
South Korea
Prior art keywords
module
image
masking
video
mean
Prior art date
Application number
KR1020160019063A
Other languages
Korean (ko)
Inventor
서희석
김재원
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020160019063A priority Critical patent/KR20170097389A/en
Publication of KR20170097389A publication Critical patent/KR20170097389A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

Disclosed are a video making apparatus capable of masking and a method thereof. The video making apparatus comprises an original input module, an HSV color space module, an image combining module, a MEAN-SHIFT module, a threshold determination module, a binarization module, an object imaging module, and a main object extract module. The method of the video making apparatus capable of masking comprises an original image input step, an HSV color space step, an image combining step, a MEAN-SHIFT step, a threshold determination step, a binarization step, an object imaging step, and a main object extract step. According to the video making apparatus capable of masking and a method thereof, financial/temporal efficiency is increased as a part, which has been manually made for a long time directly through an existing video special program such as Aftereffect or Vegas for a masking video, can be made within a short time. A method for extracting a masking video even if not a chromakey video can be designed/developed and can be variously utilized.

Description

마스킹이 가능한 동영상 제작 장치 및 방법{APPARATUS AND METHOD MAKING MOVING IMAGE FOR MASKING}[0001] APPARATUS AND METHOD MAKING MOVING IMAGE FOR MASKING [0002]

본 발명은 동영상 제작 장치 및 방법에 관한 것으로서, 구체적으로는 마스킹이 가능한 동영상 제작 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a moving image producing apparatus and method, and more particularly, to a moving image producing apparatus and method capable of masking.

최근 다양한 콘텐츠의 상위 레이어에 동영상을 올리려는 요구사항이 많아지고 있으며, 이러한 트랜드에 맞춘 다양한 이러닝을 제작하기 위해서는 동영상을 마스킹 해야 하는 경우가 많아지고 있다. 이러한 경우 기존의 동영상을 마스킹 하기 위해 마스킹 영상을 제작해야 하며, 이에 따른 추가 시간과 비용이 발생하게 되어, 제작의 어려움이 있다.Recently, there have been increasing demands to upload videos to the upper layers of various contents. In order to produce various e-learning to such a trend, it is becoming more and more necessary to mask the video. In this case, it is necessary to produce a masking image in order to mask an existing moving image, and additional time and costs are incurred thereby, which makes it difficult to produce the masking image.

본 발명의 목적은 마스킹이 가능한 동영상 제작 장치를 제공하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a motion picture production apparatus capable of masking.

본 발명의 다른 목적은 마스킹이 가능한 동영상 제작 방법을 제공하는 데 있다.Another object of the present invention is to provide a moving picture production method capable of masking.

상기 본 발명의 목적에 따른 마스킹이 가능한 동영상 제작 장치는, 원 이미지 입력 모듈, HSV 컬러 공간 모듈, 이미지 결합 모듈, MEAN-SHIFT 모듈, 임계 판단 모듈, 이진화 모듈, 객체 이미지화 모듈, 주요 객체 추출 모듈로 구성된다.The motion picture production apparatus capable of masking according to the object of the present invention includes a source image input module, an HSV color space module, an image combination module, a MEAN-SHIFT module, a threshold determination module, a binarization module, an object imaging module, .

상기 본 발명의 다른 목적에 따른 마스킹이 가능한 동영상 제작 방법은, 원 이미지 입력 단계, HSV 컬러 공간 단계, 이미지 결합 단계, MEAN-SHIFT 단계, 임계 판단 단계, 이진화 단계, 객체 이미지화 단계, 주요 객체 추출 단계로 구성된다.According to another aspect of the present invention, there is provided a method of producing a moving picture capable of masking, comprising the steps of: inputting an original image, HSV color space, image combining, MEAN-SHIFT, .

상술한 마스킹이 가능한 동영상 제작 장치 및 방법에 의하면, 마스킹 영상L 기존에는 직접 애프터 이펙트나 베가스 등의 영상 전문 프로그램을 통해 수동적으로 많은 시간을 통해 제작되었던 부분을 빠른 시간내에 제작할 수 있게 해주어, 금전적/시간적으로 많은 효율을 높여주는 효과가 있다.According to the above-described masking-capable moving image producing apparatus and method, the masking image L can be directly produced in a short period of time through passive manual processing through an image specializing program such as an after-effect or Vegas, It has the effect of increasing the efficiency in time.

크로마키 영상이 아니더라도 마스킹 영상으로 추출할 수 있는 방법을 고안/발전시켜 다양하게 활용할 수 있는 효과가 있다.It is possible to utilize various methods for devising / developing a method of extracting a masking image even if it is not a chroma key image.

도 1은 본 발명의 실시예에 따른 마스킹이 가능한 동영상 제작 방법의 흐름도이다.
도 2 내지 도 4는 본 발명에 따른 마스킹 영상의 예시도이다.
1 is a flowchart of a moving picture production method capable of masking according to an embodiment of the present invention.
FIGS. 2 to 4 are illustrations of a masking image according to the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail to the concrete inventive concept. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 마스킹이 가능한 동영상 제작 방법의 흐름도이고, 도 2 내지 도 4는 본 발명에 따른 마스킹 영상의 예시도이다.FIG. 1 is a flowchart of a moving picture production method capable of masking according to an embodiment of the present invention, and FIGS. 2 to 4 are illustrations of a masking image according to the present invention.

영상 속 객체와 배경의 컬러 특징을 이용하여 주요 객체를 자동적으로 추출하는 방법을 제시하고 있다. 인간이 객체를 판단할 때에는 배경과 객체의 색상 차이를 이용하는데 이러한 요소를 객체 추출 방법에 적용하기 위한 방법을 제시한다.This paper proposes a method for automatically extracting main objects using color features of objects and backgrounds in video. When a human judges an object, it uses a color difference between a background and an object, and presents a method for applying these elements to an object extraction method.

도 2에서는 인간의 시각 체계와 유사한 색 모델인 HSV 모델로 RGB모델을 변환을 진행한다.In FIG. 2, an RGB model is converted into an HSV model, which is a color model similar to a human visual system.

도 3에서는 HSV 모델의 영상은 객체와 배경 영역의 생상 구성이 고르지 않고 진행한다.In Fig. 3, the image of the HSV model has a uniform composition of objects and background regions.

다음으로 객체 영역과 배경 영역의 색치를 강조한 다음 추가적으로 색상 특징들을 군집화 하기 위하여 Mean Shift 방법을 적용한다. 정확한 영역 분할이 어렵기에 미디언 필터를 적용한 영상과 합산한다.Next, the color values of the object region and the background region are emphasized, and then the mean shift method is applied to further group color features. Since accurate segmentation is difficult, it is added to the image with the median filter applied.

최종적으로 위 도면3의 이진화 하여 원본 영상에서 이진화 영역으로 분리된 영상처리 분리를 하게 되면 최종적으로 객체가 추출된다.Finally, the image is separated from the original image into the binarization region by binarizing the image shown in FIG. 3, and finally, the object is extracted.

일반적으로 이러닝 콘텐츠에 사용되는 동영상은 대부분 크로마키에서 촬영된 영상을 사용하여 다양한 레이어의 배경에 동영상을 올리는 경우가 대부분이다. 따라서 크로마키에서 촬영된 영상을 직접 콘텐츠에 사용하기 위해 필요한 입력 영상과 마스킹 영상을 일일이 수동적으로 제작하여 금전적/시간적으로 비효율적인 측면을 효율적으로 대체할 수 있는 방안을 제공한다.Most of the videos used for e-learning content are mostly uploaded to the background of various layers using the images captured by the chroma key. Accordingly, it is possible to manually and manually create an input image and a masking image, which are necessary for directly using the image captured by the chroma key, and provide a method for efficiently replacing ineffective aspects in terms of money / time.

한편, 마스킹 영상을 추출하기 위해서는 전경(Foreground) 픽셀과 배경(Background) 픽셀을 구분하여 분리해야 하는 영상처리 알고리즘을 적용하였으며, 또한 전경 픽셀인데, 배경 픽셀로 판별되어 추출되지 못했거나, 배경 픽셀인데 전경 픽셀로 잘못 추출되는 부분들은 별도의 전처리 과정을 통해 수정될 수 있도록 진행하였다.In order to extract a masking image, a foreground pixel and a background pixel are separated from each other and an image processing algorithm is applied. In addition, foreground pixels are not extracted because they are discriminated as background pixels, The parts that were erroneously extracted as foreground pixels were processed so that they could be modified by a separate preprocessing process.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the following claims. There will be.

Claims (4)

원 이미지(original image)를 입력받는 원 이미지 입력 모듈;
상기 원 이미지 입력 모듈에서 입력받은 원 이미지의 RGB 모델을 HSV 모델로 변환하는 HSV 컬러 공간 모듈;
상기 HSV 컬러 공간 모듈에서 변환된 HSV 모델의 이미지를 결합하는 이미지 결합 모듈;
상기 이미지 결합 모듈에서 결합된 이미지의 색상 특징을 군집화하기 위해 평균-시프트(mean-shift) 알고리즘을 수행하는 평균-시프트(mean-shift) 모듈;
상기 평균-시프트 모듈에서 평균-시프트 알고리즘이 수행된 이미지에 미디언 필터를 적용하고 미디언 필터가 적용된 이미지를 합산하는 임계 판단 모듈;
상기 임계 판단 모듈에서 합산된 이미지를 이진화 영역으로 분리하여 영상 처리를 수행하는 이진화 모듈;
상기 이진화 모듈에서 영상 처리가 수행된 이미지를 객체 이미지화하는 객체 이미지화 모듈을 포함하는 마스킹이 가능한 동영상 제작 장치.
An original image input module for receiving an original image;
An HSV color space module for converting the RGB model of the original image received from the original image input module into an HSV model;
An image combining module for combining images of the transformed HSV model in the HSV color space module;
A mean-shift module for performing a mean-shift algorithm to cluster the color features of the combined image in the image combining module;
A threshold determining module for applying a median filter to an image in which the mean-shift algorithm is performed in the average-shift module and for summing the images to which the median filter is applied;
A binarization module for separating the summed image into binary regions and performing image processing in the threshold determination module;
And an object imaging module for object-imaging the image subjected to the image processing in the binarization module.
제1항에 있어서,
상기 객체 이미지화 모듈에서 객체 이미지화된 이미지에서 객체를 추출하는 주요 객체 추출 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 마스킹이 가능한 동영상 제작 장치.
The method according to claim 1,
Further comprising a main object extraction module for extracting an object from the object imaged image in the object imaging module.
원 이미지(original image)를 입력받는 원 이미지 입력 단계;
상기 입력받은 원 이미지의 RGB 모델을 HSV 모델로 변환하는 HSV 컬러 공간 단계;
상기 변환된 HSV 모델의 이미지를 결합하는 이미지 결합 단계;
상기 결합된 이미지의 색상 특징을 군집화하기 위해 평균-시프트(mean-shift) 알고리즘을 수행하는 평균-시프트(mean-shift) 단계;
상기 평균-시프트 알고리즘이 수행된 이미지에 미디언 필터를 적용하고 미디언 필터가 적용된 이미지를 합산하는 임계 판단 단계;
상기 합산된 이미지를 이진화 영역으로 분리하여 영상 처리를 수행하는 이진화 단계;
상기 영상 처리가 수행된 이미지를 객체 이미지화하는 객체 이미지화 단계를 포함하는 마스킹이 가능한 동영상 제작 방법.
An original image input step of inputting an original image;
An HSV color space step of converting the RGB model of the input original image into an HSV model;
An image combining step of combining images of the converted HSV model;
A mean-shift step of performing a mean-shift algorithm to cluster the color features of the combined image;
A threshold determining step of applying a median filter to the image on which the average-shift algorithm is performed and summing the images to which the median filter is applied;
A binarization step of separating the summed image into binary regions and performing image processing;
And an object imaging step of object-imaging the image subjected to the image processing.
제3항에 있어서,
상기 객체 이미지화된 이미지에서 객체를 추출하는 주요 객체 추출 단계를 더 포함하도록 구성되는 것을 특징으로 하는 마스킹이 가능한 동영상 제작 방법.
The method of claim 3,
Further comprising a step of extracting a main object from the object image, and extracting an object from the object image.
KR1020160019063A 2016-02-18 2016-02-18 Apparatus and method making moving image for masking KR20170097389A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160019063A KR20170097389A (en) 2016-02-18 2016-02-18 Apparatus and method making moving image for masking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160019063A KR20170097389A (en) 2016-02-18 2016-02-18 Apparatus and method making moving image for masking

Publications (1)

Publication Number Publication Date
KR20170097389A true KR20170097389A (en) 2017-08-28

Family

ID=59759916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160019063A KR20170097389A (en) 2016-02-18 2016-02-18 Apparatus and method making moving image for masking

Country Status (1)

Country Link
KR (1) KR20170097389A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062868A (en) * 2019-12-03 2020-04-24 广州极泽科技有限公司 Image processing method, device, machine readable medium and equipment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062868A (en) * 2019-12-03 2020-04-24 广州极泽科技有限公司 Image processing method, device, machine readable medium and equipment

Similar Documents

Publication Publication Date Title
CN106254933B (en) Subtitle extraction method and device
CN107067389B (en) A kind of blind evidence collecting method of distorted image
US9268993B2 (en) Real-time face detection using combinations of local and global features
KR101023207B1 (en) Video object abstraction apparatus and its method
JP7063039B2 (en) Target detection method, target detection device and image processing device
WO2020029518A1 (en) Monitoring video processing method, device and computer readable medium
JP6355346B2 (en) Image processing apparatus, image processing method, program, and storage medium
CN108960412B (en) Image recognition method, device and computer readable storage medium
CN109903294B (en) Image processing method and device, electronic equipment and readable storage medium
CN103198311A (en) Method and apparatus for recognizing a character based on a photographed image
GB2605723A (en) Video segmentation based on weighted knowledge graph
CN110248177B (en) Image data processing method and device
CN111223108A (en) Method and system based on backdrop matting and fusion
Kim et al. Effective character segmentation for license plate recognition under illumination changing environment
CN109543487B (en) Automatic induction triggering method and system based on bar code edge segmentation
JP5914046B2 (en) Image processing apparatus and image processing method
KR20170097389A (en) Apparatus and method making moving image for masking
Tarafdar et al. Image segmentation using background subtraction on colored images
Asif et al. A novel hybrid method for text detection and extraction from news videos
CN106611417B (en) Method and device for classifying visual elements into foreground or background
CN108133204B (en) Hand body identification method, device, equipment and computer readable storage medium
Zhang et al. Text extraction from images captured via mobile and digital devices
TW201944353A (en) Object image recognition system and object image recognition method
Garain et al. Machine reading of camera-held low quality text images: an ICA-based image enhancement approach for improving OCR accuracy
Montero et al. Watermark detection and clearance in video using simple signal and image processing techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application