KR102142567B1 - 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents
가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102142567B1 KR102142567B1 KR1020170118422A KR20170118422A KR102142567B1 KR 102142567 B1 KR102142567 B1 KR 102142567B1 KR 1020170118422 A KR1020170118422 A KR 1020170118422A KR 20170118422 A KR20170118422 A KR 20170118422A KR 102142567 B1 KR102142567 B1 KR 102142567B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- background
- foreground object
- virtual
- chroma key
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000004590 computer program Methods 0.000 title claims description 3
- 238000000926 separation method Methods 0.000 claims abstract description 49
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Circuits (AREA)
Abstract
가상 크로마키 배경을 이용하여 영상을 합성하는 영상 합성 장치는 제 1 영상에 합성될 전경 객체를 포함하는 제 2 영상을 수신하는 영상 수신부, 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 제 1 분리부, 제 1 분리부에 의해 분리된 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성 및 업데이트하는 가상 크로마키 배경 생성부, 가상 크로마키 배경에 기초하여 제 2 영상에서 전경 객체를 추출하는 제 2 분리부 및 추출된 전경 객체를 제 1 영상에 합성하는 영상 합성부를 포함할 수 있다.
Description
본 발명은 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
종래의 크로마키 기법은 주로 청색의 크로마 백(chroma back)을 배경으로 움직이는 피사체를 촬영한 후, 피사체를 추출하여 다른 화면에 합성하는 화면 합성 기법으로, 일기 예보 등에서 많이 사용되고 있다. 이러한, 크로마키 기법의 원리는 색(chroma)의 차이를 키(key)로 하여 피사체와 배경을 분리하고, 분리된 피사체를 다른 화면에 합성하는 것이다.
크로마키 기법을 이용하여 영상을 제작하기 위해서는 단색의 크로마 백, 피사체를 촬영하기 위한 카메라, 배경 영상 및 영상 제작 및 편집을 위한 컴퓨터가 필요하다. 이러한 종래의 크로마키 기법은 크로마키를 위한 특수 장비가 필요하기 때문에, 촬영 장소에 제약이 생기는 문제점이 있었다.
영상 합성을 위한 다른 방법으로서, 미리 학습된 배경에서 움직이는 피사체를 촬영한 후, 피사체를 추출하여 다른 화면에 합성하는 방법이 있다. 이와 같은 방법 또한 배경 학습을 위해 피사체가 없는 배경을 일정 시간 동안 촬영해야 하는 문제점이 있었다.
선행 기술인 한국등록특허 제10-1695209호에는 원본 크로마키 영상 파일에서 크로마키된 영역을 삭제하여 크로마키 피사체영상을 추출하고, 실시간 영상에 추출된 크로마키 피사체 영상을 합성하는 구성이 개시되어 있다.
가상 크로마키 배경을 이용하여 영상을 합성하고자 한다. 구체적으로, 전경 객체가 포함된 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하고, 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성하고자 한다. 또한, 가상 크로마키 배경과 전경 객체가 포함된 영상 간 비교를 통해 전경 객체를 추출하여 다른 영상에 합성하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 가상 크로마키 배경을 이용하여 영상을 합성하는 영상 합성 장치는 제 1 영상에 합성될 전경 객체를 포함하는 제 2 영상을 수신하는 영상 수신부; 상기 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 제 1 분리부; 상기 제 1 분리부에 의해 분리된 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성 및 업데이트하는 가상 크로마키 배경 생성부; 상기 가상 크로마키 배경에 기초하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 제 2 분리부; 및 상기 추출된 전경 객체를 상기 제 1 영상에 합성하는 영상 합성부를 포함할 수 있다.
본 발명의 제 2 측면에 따른 영상 합성 장치에서 수행되는 가상 크로마키 배경을 이용하여 영상을 합성하는 방법은 제 1 영상에 합성될 전경 객체를 포함하는 제 2 영상을 수신하는 단계; 상기 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 단계; 상기 분리된 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성 및 업데이트하는 단계; 상기 가상 크로마키 배경에 기초하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 단계; 및 상기 추출된 전경 객체를 상기 제 1 영상에 합성하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 피사체가 없는 단색의 배경 스크린을 촬영하지 않더라도 가상 크로마키 배경을 이용하여 전경 객체를 추출하고, 영상 합성을 수행할 수 있다. 또한, 가상 크로마키 배경을 이용하여 영상 합성을 수행하기 때문에 스튜디오와 같은 제한적 장소 또는 스튜디오 장비가 필요하지 않으며, 제작 시간 단축 및 제작 비용을 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 영상 합성 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 제 1 분리부의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 도 2에 도시된 메인 분리부의 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 제 2 분리부의 블록도이다.
도 5a 내지 5c는 본 발명의 일 실시예에 따른, 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 생성 및 업데이트하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 전경 객체를 추출하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른, 추출된 전경 객체를 다른 영상에 합성한 예시 도면이다.
도 9는 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 영상을 합성하는 방법을 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른, 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 방법을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 생성 및 업데이트하는 방법을 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 전경 객체를 추출하는 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 제 1 분리부의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 도 2에 도시된 메인 분리부의 블록도이다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 제 2 분리부의 블록도이다.
도 5a 내지 5c는 본 발명의 일 실시예에 따른, 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 생성 및 업데이트하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 전경 객체를 추출하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른, 추출된 전경 객체를 다른 영상에 합성한 예시 도면이다.
도 9는 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 영상을 합성하는 방법을 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른, 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 방법을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 생성 및 업데이트하는 방법을 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 전경 객체를 추출하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 영상 합성 장치(10)의 블록도이다.
도 1을 참조하면, 영상 합성 장치(10)는 영상 수신부(100), 제 1 분리부(110), 가상 크로마키 배경 생성부(120), 제 2 분리부(130) 및 영상 합성부(140)를 포함할 수 있다. 다만, 도 1에 도시된 영상 합성 장치(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 이하에서는 도 2 내지 8을 함께 참조하여 설명하기로 한다.
영상 수신부(100)는 전경 객체를 포함하는 제 2 영상을 수신할 수 있다. 여기서, 전경 객체는 움직임의 변화가 존재하는 움직이는 객체를 의미한다. 예를 들면, 영상 수신부(100)는 사용자 단말(미도시)에 의해 기촬영된 동영상 또는 실시간으로 촬영된 라이브 동영상(전격 객체가 포함된 제 2 영상)을 사용자 단말(미도시)로부터 입력받을 수 있다. 여기서, 사용자 단말(미도시)은 일정 대상을 영상으로 촬영하기 위한 카메라가 탑재된 단말로서, 예를 들면, 스마트폰, 캠코더, 웹캠, 네트워크 카메라, 디지털 카메라 등을 포함할 수 있다.
영상 수신부(100)는 제 2 영상에 포함된 전경 객체를 합성할 제 1 영상을 더 수신할 수 있다. 여기서, 제 1 영상은 제 2 영상의 배경과 다른 배경을 갖는 영상일 수 있다.
제 1 분리부(110)는 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리할 수 있다. 여기서, 전경 객체 영역은 움직이는 객체를 포함하는 영역을 의미하고, 배경 영역은 움직임이 없는 객체를 포함하는 영역을 의미한다.
제 1 분리부(110)는 각 프레임의 전경 객체 영역 및 배경 영역에 대한 색상 분포 및 엣지를 이용하여 전경 객체 영역과 배경 영역을 분리할 수 있다. 여기서, 엣지는 제 2 영상 내 인접한 화소 간의 밝기 차이가 상대적으로 큰 부분을 의미한다. 즉, 엣지는 제 2 영상 안에 있는 물체의 경계(Boundary)를 가리키는 것으로서, 모양(Shape), 방향성(Direction) 등을 탐지할 수 있는 여러 가지 중요한 정보를 포함하고 있다.
도 2를 참조하면, 제 1 분리부(110)는 메인 분리부(200) 및 서브 분리부(210)를 포함할 수 있다. 메인 분리부(200) 및 서브 분리부(210)는 앙상블 모델과 같은 효과를 제공하며, 전경 객체 영역과 배경 영역의 분리에 대한 연산 속도를 향상시키고 정밀도가 높은 결과물을 도출할 수 있다. 여기서, 앙상블 모델이란 주어진 데이터를 이용하여 여러 개의 서로 다른 예측 모델을 생성한 후, 예측 모델의 예측 결과를 종합하여 하나의 최종 예측 결과를 도출하는 방법을 의미한다.
메인 분리부(200)는 전경 객체 영역과 배경 영역 간의 분리를 비교적 정밀하게 수행하는 제 1 알고리즘에 의해 동작할 수 있다. 메인 분리부(200)는 분리의 정밀도가 높은 대신 연산 속도가 느리다. 예를 들어, 메인 분리부(200)는 기설정된 프레임(예컨대, 5 프레임마다)마다 전경 객체 영역과 배경 영역 간의 분리를 수행할 수 있다.
서브 분리부(210)는 전경 객체 영역과 배경 영역 간의 분리를 비교적 간단하게 수행하는 제 2 알고리즘에 의해 동작할 수 있다. 서브 분리부(210)는 분리의 정밀도가 낮은 대신 연산 속도가 빠르다. 예를 들어, 서브 분리부(210)는 모든 프레임마다 전경 객체 영역과 배경 영역 간의 분리를 수행할 수 있다.
이하에서 잠시 도 5a 내지 5c를 참조하여 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 방법을 설명하기로 한다.
메인 분리부(200)는 얼굴 랜드마크 검출기 알고리즘(제 1 알고리즘)을 이용하여 전경 객체 영역과 배경 영역을 분리할 수 있다. 도 3을 참조하면, 메인 분리부(200)는 얼굴 랜드마크 검출부(300), 스켈레톤 생성부(310) 및 전배경 분리부(320)를 포함할 수 있다.
얼굴 랜드마크 검출부(300)는 전경 객체의 얼굴 랜드마크를 검출할 수 있다. 구체적으로, 얼굴 랜드마크 검출부(300)는 얼굴 랜드마크 검출기 알고리즘을 이용하여 각 프레임에서 전경 객체의 얼굴 랜드마크(50)를 검출할 수 있다. 여기서, 얼굴 랜드마크 검출기 알고리즘은 도 5a와 같이 전경 객체 영역 내의 밝기 변화를 이용하여 전경 객체의 얼굴 랜드마크에 대한 특징(예컨대, 눈 코, 입)을 검출하는 알고리즘이다.
스켈레톤 생성부(310)는 검출된 얼굴 랜드마크(50)에 기초하여 전경 객체에 대한 스켈레톤(skeleton)(52)을 생성할 수 있다. 다른 실시예로, 스켈레톤 생성부(310)는 상반신 검출기, 보행자 검출기 등의 다양한 검출기를 이용하여 전경 객체에 대한 스켈레톤(skeleton)(52)을 생성할 수도 있다.
전배경 분리부(320)는 스켈레톤(52)에 기초하여 전경 객체 영역과 배경 영역을 분리할 수 있다. 전배경 분리부(320)는 배경 영역 후보군(54)을 생성하고, 진경 객체에 대한 스켈레톤(52) 및 배경 영역 후보군(54)을 이용하여 전경 객체 영역(56)과 배경 영역(58)을 분리할 수 있다.
전배경 분리부(320)는 영상 분리기 알고리즘을 이용하여 전경 객체 영역과 배경 영역을 분리할 수도 있다. 여기서, 영상 분리기 알고리즘은 프레임의 각 픽셀 간의 유사도를 나타내는 데이터와 데이터 항과 이웃하는 픽셀간의 유사도를 나타내는 스무드항으로 구성된 에너지 함수를 전역적으로 최소화함으로써 전경 객체 영역과 배경 영역을 분리하는 알고리즘이다.
서브 분리부(210)는 보행자 검출기 알고리즘을 이용하여 전경 객체 영역과 배경 영역을 분리할 수 있다. 여기서, 보행자 검출기 알고리즘은 도 5c와 같이, HOG(Histogram of Oriented Gradient) 및 픽셀의 그라데이션(gradation) 특징을 검출하는 알고리즘이다.
가상 크로마키 배경 생성부(120)는 제 1 분리부(110)에 의해 분리된 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성 및 업데이트할 수 있다. 여기서, 가상 크로마키 배경은 예를 들면, HSV(Hue Saturation Value) 컬러 모델, RGB 컬러 모델, 그레이스케일(GRAYSCALE) 컬러 모델 등을 포함하는 다양한 컬러 모델에 기초하여 생성될 수 있다. 여기서, HSV 컬러 모델은 색상(Hue), 채도(Saturation), 명도(Value)를 명시하여 색을 지정하는 모델이다.
잠시 도 6을 참조하여 가상 크로마키 배경을 생성 및 업데이트하는 방법을 설명하기로 한다.
도 6을 참조하면, 가상 크로마키 배경 생성부(120)는 제 1 분리부(110)에 의해 분리된 제 2 영상의 각 프레임의 배경 영역을 실시간으로 수신하고, 실시간으로 수신하는 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성할 수 있다.
가상 크로마키 배경 생성부(120)는 실시간으로 수신하는 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경의 크로마키 패치를 실시간으로 확장할 수 있다.
예를 들면, 가상 크로마키 배경 생성부(120)는 초기 프레임인 제 1 프레임에서 전경 객체 영역이 제거된 배경 영역으로 가상 크로마키 배경(60)을 생성할 수 있다.
가상 크로마키 배경 생성부(120)는, 예를 들어 제 5 프레임 후, 가상 크로마키 배경(60)에 순차적으로 수신된 배경 영역으로 크로마키 패치를 확장하여 가상 크로마키 배경(62)을 업데이트할 수 있다.
가상 크로마키 배경 생성부(120)는, 예를 들어 제 10 프레임 후, 계속적으로 수신된 배경 영역으로 크로마키 패치를 확장함으로써 가상 크로마키 배경(64)을 업데이트할 수 있다. 최종적으로 업데이트된 가상 크로마키 배경(64)은 제 2 영상의 배경 영역만 이루어진 영상에 대응될 수 있다.
제 2 분리부(130)는 가상 크로마키 배경에 기초하여 제 2 영상에서 전경 객체를 추출할 수 있다. 도 4를 참조하면, 제 2 분리부(130)는 객체 분리부(400) 및 노이즈 제거부(410)를 포함할 수 있다.
잠시 도 7을 참조하여 가상 크로마키 배경을 이용하여 전경 객체를 추출하는 방법을 설명하기로 한다.
도 7을 참조하면, 객체 분리부(400)는 제 2 영상과 가상 크로마키 배경을 비교하여 제 2 영상에서 전경 객체를 추출할 수 있다. 도면 부호 70은 제 2 영상과 가상 크로마키 배경의 비교를 통해 제 2 영상에서 배경 영역이 분리되어 전경 객체가 추출된 결과 도면이다.
노이즈 제거부(410)는 전격 객체 영역(도 5b의 도면부호56)과 추출된 전경 객체(70)를 비교하여 추출된 전경 객체의 노이즈를 제거할 수 있다. 도면 부호 72는 전격 객체 영역과 추출된 전경 객체에 대하여 비트와이즈(bitwise) 연산 및 가우시안 필터링을 적용한 도면이고, 도면부호 74는 비트와이즈 연산 및 노이즈 필터링 알고리즘(예컨대, 가우시안 필터링, 메디안 필터링 등)을 통해 노이즈가 제거된 전경 객체를 나타낸 도면이다. 여기서, 가우시안 필터링을 통해 가우시안 분포에 따라 전경 객체의 주위값을 고려하여 전경 객체의 현재값을 조정함으로써 노이즈를 제거할 수 있다.
영상 합성부(140)는 추출된 전경 객체를 제 1 영상에 합성할 수 있다. 도 8은 제 1 영상에 전경 객체(80)를 합성한 예시 도면이다.
기존의 크로마키 영상 합성 기술은 피사체를 촬영할 때 단색의 배경 스크린이 반드시 구비되어야 했으며, 고가의 장비가 요구되는 단점이 있었다. 이에 반해, 본원 발명은 단색의 배경 스크린에서 피사체를 촬영하지 않더라도 가상 크로마키 배경을 실시간으로 생성 및 업데이트하여 영상 합성을 수행할 수 있다.
한편, 당업자라면, 영상 수신부(100), 제 1 분리부(110), 가상 크로마키 배경 생성부(120), 제 2 분리부(130) 및 영상 합성부(140) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 9는 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 영상을 합성하는 방법을 나타낸 흐름도이다.
도 9를 참조하면, 단계 S901에서 영상 합성 장치(10)는 제 1 영상에 합성될 전경 객체를 포함하는 제 2 영상을 수신할 수 있다.
단계 S903에서 영상 합성 장치(10)는 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리할 수 있다.
단계 S905에서 영상 합성 장치(10)는 분리된 각 프레임의 배경 영역에 기초하여 크로마키 배경을 생성 및 업데이트할 수 있다.
단계 S907에서 영상 합성 장치(10)는 가상 크로마키 배경에 기초하여 제 2 영상에서 전경 객체를 추출할 수 있다.
단계 S909에서 영상 합성 장치(10)는 추출된 전경 객체를 제 1 영상에 합성할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 방법을 나타낸 흐름도이다.
도 10을 참조하면, 단계 S1001에서 영상 합성 장치(10)는 영상의 각 프레임에서 전경 객체의 얼굴 랜드마크를 검출할 수 있다.
단계 S1003에서 영상 합성 장치(10)는 검출된 얼굴 랜드마크에 기초하여 전경 객체에 대한 스켈레톤을 생성할 수 있다.
단계 S1005에서 영상 합성 장치(10)는 스켈레톤에 기초하여 전경 객체 영역과 배경 영역을 분리할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 생성 및 업데이트하는 방법을 나타낸 흐름도이다.
도 11을 참조하면, 단계 S1101에서 영상 합성 장치(10)는 분리된 각 프레임의 배경 영역을 실시간으로 수신할 수 있다.
단계 S1103에서 영상 합성 장치(10)는 실시간으로 수신하는 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경에 크로마키 패치를 실시간으로 확장할 수 있다. 여기서, 가상 크로마키 배경은 HSV 컬러 모델에 기초하여 생성될 수 있다.
도 12는 본 발명의 일 실시예에 따른, 가상 크로마키 배경을 이용하여 전경 객체를 추출하는 방법을 나타낸 흐름도이다.
도 12를 참조하면, 단계 S1201에서 영상 합성 장치(10)는 제 2 영상과 가상 크로마키 배경을 비교하여 제 2 영상에서 전경 객체를 추출할 수 있다.
단계 S1203에서 영상 합성 장치(10)는 전격 객체 영역과 추출된 전경 객체를 비교하여 추출된 전경 객체의 노이즈를 제거할 수 있다. 영상 합성 장치(10)는 전격 객체 영역과 추출된 전경 객체에 대하여 비트와이즈(bitwise) 연산을 수행하여 추출된 전경 객체의 노이즈를 제거할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 영상 합성 장치
100: 영상 수신부
110: 제 1 분리부
120: 가상 크로마키 배경 생성부
130: 제 2 분리부
140: 영상 합성부
200: 메인 분리부
210: 서브 분리부
300: 얼굴 랜드마크 검출부
310: 스켈레톤 생성부
320: 전배경 분리부
400: 객체 분리부
410: 노이즈 제거부
100: 영상 수신부
110: 제 1 분리부
120: 가상 크로마키 배경 생성부
130: 제 2 분리부
140: 영상 합성부
200: 메인 분리부
210: 서브 분리부
300: 얼굴 랜드마크 검출부
310: 스켈레톤 생성부
320: 전배경 분리부
400: 객체 분리부
410: 노이즈 제거부
Claims (16)
- 가상 크로마키 배경을 이용하여 영상을 합성하는 영상 합성 장치에 있어서,
제 1 영상에 합성될 전경 객체를 포함하는 제 2 영상을 수신하는 영상 수신부;
상기 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 제 1 분리부;
상기 제 1 분리부에 의해 분리된 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성 및 업데이트하는 가상 크로마키 배경 생성부;
상기 가상 크로마키 배경에 기초하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 제 2 분리부; 및
상기 추출된 전경 객체를 상기 제 1 영상에 합성하는 영상 합성부
를 포함하되,
상기 가상 크로마키 배경 생성부는 상기 제 1 분리부에 의해 분리된 각 프레임의 배경 영역을 포함하는 상기 각 프레임을 실시간으로 수신하고,
상기 실시간으로 수신하는 각 프레임의 배경 영역에 기초하여 상기 가상 크로마키 배경에 크로마키 패치를 실시간으로 확장하여 상기 가상 크로마키 배경을 업데이트하고,
상기 업데이트된 가상 크로마키 배경은 상기 제 2 영상의 배경 영역만으로 이루어진 영상인 것인, 영상 합성 장치.
- 제 1 항에 있어서,
상기 제 1 분리부는
얼굴 랜드마크 검출기 알고리즘을 이용하여 상기 전경 객체 영역과 배경 영역을 분리하는 메인 분리부; 및
보행자 검출기 알고리즘을 이용하여 상기 전경 객체 영역과 배경 영역을 분리하는 서브 분리부
를 포함하는 것인, 영상 합성 장치.
- 제 2 항에 있어서,
상기 메인 분리부는
상기 전경 객체의 얼굴 랜드마크를 검출하는 얼굴 랜드마크 검출부;
상기 검출된 얼굴 랜드마크에 기초하여 상기 전경 객체에 대한 스켈레톤(skeleton)을 생성하는 스켈레톤 생성부; 및
상기 스켈레톤에 기초하여 상기 전경 객체 영역과 배경 영역을 분리하는 전배경 분리부
를 포함하는 것인, 영상 합성 장치.
- 삭제
- 제 1 항에 있어서,
상기 제 2 분리부는 상기 제 2 영상과 상기 가상 크로마키 배경을 비교하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 객체 분리부
를 포함하는 것인, 영상 합성 장치.
- 제 5 항에 있어서,
상기 제 2 분리부는 상기 전격 객체 영역과 상기 추출된 전경 객체를 비교하여 상기 추출된 전경 객체의 노이즈를 제거하는 노이즈 제거부
를 더 포함하는 것인, 영상 합성 장치.
- 제 6 항에 있어서,
상기 제 2 분리부는 상기 전격 객체 영역과 상기 추출된 전경 객체에 대하여 비트와이즈(bitwise) 연산을 수행하는 것인, 영상 합성 장치.
- 제 1 항에 있어서,
상기 가상 크로마키 배경은 HSV 컬러 모델에 기초하여 생성되는 것인, 영상 합성 장치.
- 영상 합성 장치에서 수행되는 가상 크로마키 배경을 이용하여 영상을 합성하는 방법에 있어서,
제 1 영상에 합성될 전경 객체를 포함하는 제 2 영상을 수신하는 단계;
상기 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 단계;
상기 분리된 각 프레임의 배경 영역에 기초하여 가상 크로마키 배경을 생성 및 업데이트하는 단계;
상기 가상 크로마키 배경에 기초하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 단계; 및
상기 추출된 전경 객체를 상기 제 1 영상에 합성하는 단계
를 포함하되,
상기 가상 크로마키 배경을 생성 및 업데이트하는 단계는
상기 분리된 각 프레임의 배경 영역을 포함하는 상기 각 프레임을 실시간으로 수신하는 단계; 및
상기 실시간으로 수신하는 각 프레임의 배경 영역에 기초하여 상기 가상 크로마키 배경에 크로마키 패치를 실시간으로 확장하여 상기 가상 크로마키 배경을 업데이트하는 단계를 포함하고,
상기 업데이트된 가상 크로마키 배경은 상기 제 2 영상의 배경 영역만으로 이루어진 영상인 것인, 영상 합성 방법.
- 제 9 항에 있어서,
상기 제 2 영상의 각 프레임에서 전경 객체 영역과 배경 영역을 분리하는 단계는
상기 전경 객체의 얼굴 랜드마크를 검출하는 단계;
상기 검출된 얼굴 랜드마크에 기초하여 상기 전경 객체에 대한 스켈레톤(skeleton)을 생성하는 단계; 및
상기 스켈레톤에 기초하여 상기 전경 객체 영역과 배경 영역을 분리하는 단계
를 포함하는 것인, 영상 합성 방법.
- 삭제
- 제 9 항에 있어서,
상기 가상 크로마키 배경에 기초하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 단계는
상기 제 2 영상과 상기 가상 크로마키 배경을 비교하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 단계
를 포함하는 것인, 영상 합성 방법.
- 제 12 항에 있어서,
상기 가상 크로마키 배경에 기초하여 상기 제 2 영상에서 상기 전경 객체를 추출하는 단계는
상기 전격 객체 영역과 상기 추출된 전경 객체를 비교하여 상기 추출된 전경 객체의 노이즈를 제거하는 단계
를 더 포함하는 것인, 영상 합성 방법.
- 제 13 항에 있어서,
상기 전격 객체 영역과 상기 추출된 전경 객체를 비교하여 상기 추출된 전경 객체의 노이즈를 제거하는 단계는
상기 전격 객체 영역과 상기 추출된 전경 객체에 대하여 비트와이즈(bitwise) 연산을 수행하는 단계
를 포함하는 것인, 영상 합성 방법.
- 제 9 항에 있어서,
상기 가상 크로마키 배경은 HSV 컬러 모델에 기초하여 생성되는 것인, 영상 합성 방법.
- 청구항 제 9 항 내지 제 10 항 및 제 12 항 내지 제 15 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170118422A KR102142567B1 (ko) | 2017-09-15 | 2017-09-15 | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170118422A KR102142567B1 (ko) | 2017-09-15 | 2017-09-15 | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190030870A KR20190030870A (ko) | 2019-03-25 |
| KR102142567B1 true KR102142567B1 (ko) | 2020-08-07 |
Family
ID=65907908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170118422A KR102142567B1 (ko) | 2017-09-15 | 2017-09-15 | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102142567B1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200145420A (ko) | 2019-06-21 | 2020-12-30 | 유진상 | 마커를 이용한 증강현실 포토부스 |
| KR102434832B1 (ko) * | 2020-06-30 | 2022-08-22 | (주)에이에스티홀딩스 | 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 |
| KR102318683B1 (ko) * | 2020-08-07 | 2021-10-28 | 우윤우 | 그림을 동영상으로 제작하는 창의교육 시스템 |
| KR102342738B1 (ko) * | 2021-07-16 | 2021-12-24 | (주)플랜아이 | 거대 ar 영상 정보 생성 방법 및 장치 |
| KR102559410B1 (ko) | 2021-12-28 | 2023-07-26 | 한국과학기술원 | 심층 학습에 기반하여 시네마그래프를 생성하는 방법 |
| KR102515935B1 (ko) * | 2022-08-25 | 2023-03-30 | 주식회사 비브스튜디오스 | 신경망 모델을 위한 학습 데이터 생성 방법 |
| KR20240098889A (ko) * | 2022-12-21 | 2024-06-28 | 삼성전자주식회사 | 영상을 처리하는 방법 및 장치 |
| KR102610134B1 (ko) * | 2023-07-06 | 2023-12-05 | 주식회사 젠젠에이아이 | 합성 이미지 생성 방법 및 시스템 |
| KR102673347B1 (ko) * | 2023-12-29 | 2024-06-07 | 국방과학연구소 | 데이터 생성 방법 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010055414A1 (en) | 2000-04-14 | 2001-12-27 | Ico Thieme | System and method for digitally editing a composite image, e.g. a card with the face of a user inserted therein and for surveillance purposes |
| US20060209088A1 (en) | 2001-08-10 | 2006-09-21 | Simon Gibbs | System and method for data assisted chroma-keying |
| JP2015041254A (ja) | 2013-08-22 | 2015-03-02 | 大日本印刷株式会社 | Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム |
| JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100335617B1 (ko) * | 1995-12-14 | 2002-10-31 | 삼성전자 주식회사 | 3차원 입체영상 합성방법 |
| KR20050008246A (ko) * | 2003-07-14 | 2005-01-21 | (주)워치비젼 | 스포츠 비디오에서 카메라 모션 분석을 통한 그래픽 영상객체 합성 구현 장치 및 방법 |
| KR101143408B1 (ko) * | 2004-09-10 | 2012-05-22 | 주식회사 비즈모델라인 | 화상 또는 영상 합성 서비스 제공 시스템 |
| KR101237970B1 (ko) * | 2011-01-17 | 2013-02-28 | 포항공과대학교 산학협력단 | 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법 |
| KR20150084294A (ko) * | 2014-01-13 | 2015-07-22 | (주) 성한 | 피사체 영상처리 기반의 자전거 피팅 방법 |
-
2017
- 2017-09-15 KR KR1020170118422A patent/KR102142567B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010055414A1 (en) | 2000-04-14 | 2001-12-27 | Ico Thieme | System and method for digitally editing a composite image, e.g. a card with the face of a user inserted therein and for surveillance purposes |
| US20060209088A1 (en) | 2001-08-10 | 2006-09-21 | Simon Gibbs | System and method for data assisted chroma-keying |
| JP2015041254A (ja) | 2013-08-22 | 2015-03-02 | 大日本印刷株式会社 | Ｔｒｉｍａｐ生成装置、Ｔｒｉｍａｐ生成方法、及びプログラム |
| JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190030870A (ko) | 2019-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102142567B1 (ko) | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN106254933B (zh) | 字幕提取方法及装置 | |
| KR101471199B1 (ko) | 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치 | |
| KR101942987B1 (ko) | 동영상 배경 제거 방법, 시스템 및 컴퓨터 판독가능 저장장치 | |
| US20150254868A1 (en) | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images | |
| JP6546611B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US9153203B2 (en) | Temporally consistent superpixels | |
| KR101173559B1 (ko) | 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법 | |
| JP2013218660A (ja) | 画像処理方法、プログラム及び装置 | |
| Liu et al. | Scene background estimation based on temporal median filter with Gaussian filtering | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| KR101781942B1 (ko) | 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치 | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| CN104298961B (zh) | 基于口型识别的视频编排方法 | |
| CN111147924B (zh) | 一种视频增强处理方法及系统 | |
| JP2000348173A (ja) | 唇抽出方法 | |
| JP2013150203A (ja) | 画像処理プログラム、装置及び方法 | |
| KR101095859B1 (ko) | 영상 분할 장치 및 방법 | |
| WO2015154526A1 (zh) | 视频监控低照度图像色彩还原方法和装置 | |
| KR102735389B1 (ko) | 인페인팅 기법에 기반한 배경 모델링을 이용한 동적 객체 검출 장치 및 방법 | |
| CN106327500B (zh) | 深度信息获取方法及装置 | |
| KR101893142B1 (ko) | 객체 영역 추출 방법 및 그 장치 | |
| KR101108491B1 (ko) | 영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법 | |
| Panchal et al. | A comprehensive survey on shadow detection techniques | |
| KR101631023B1 (ko) | 이웃 기반의 강도 보정 장치, 백그라운드 획득 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20170915 |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20180911 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20170915 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20191014 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20200427 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20191014 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20200427 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20191212 Comment text: Amendment to Specification, etc. |
|
| PX0701 | Decision of registration after re-examination |
Patent event date: 20200602 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20200526 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20200427 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20191212 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200803 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200804 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230801 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240717 Start annual number: 5 End annual number: 5 |