KR20170139816A - 실시간 영상 합성 방법 - Google Patents

실시간 영상 합성 방법 Download PDF

Info

Publication number
KR20170139816A
KR20170139816A KR1020160072216A KR20160072216A KR20170139816A KR 20170139816 A KR20170139816 A KR 20170139816A KR 1020160072216 A KR1020160072216 A KR 1020160072216A KR 20160072216 A KR20160072216 A KR 20160072216A KR 20170139816 A KR20170139816 A KR 20170139816A
Authority
KR
South Korea
Prior art keywords
image
weight
new
pixel
data value
Prior art date
Application number
KR1020160072216A
Other languages
English (en)
Other versions
KR101819984B1 (ko
Inventor
임현국
Original Assignee
(주)한국미래기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한국미래기술 filed Critical (주)한국미래기술
Priority to KR1020160072216A priority Critical patent/KR101819984B1/ko
Priority to PCT/KR2017/003112 priority patent/WO2017213335A1/ko
Publication of KR20170139816A publication Critical patent/KR20170139816A/ko
Application granted granted Critical
Publication of KR101819984B1 publication Critical patent/KR101819984B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Abstract

복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계; 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계; 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함하는 실시간 영상 합성 방법이 소개된다.

Description

실시간 영상 합성 방법 {IMAGE SYNTHESIS METHOD IN REAL TIME}
본 발명은 복수의 영상을 하나의 영상으로 합성함에 있어서 실시간으로 매우 빠르게 합성이 이루어지며 동시에 경계부분에서의 왜곡이나 변형 내지 구별이 최소화될 수 있도록 하는 실시간 영상 합성 방법에 관한 것이다.
복수의 카메라로 취득한 영상을 하나의 모니터를 통해 출력함으로써 사용자가 여러 각도의 영상을 한눈에 볼 수 있도록 하는 기술이 많이 제공되고 있다. 그 중 대표적인 것이 자동차에 적용되는 어라운드뷰 시스템이며, 대형 로봇의 경우에도 사용자가 로봇의 주변 환경을 인식할 수 있도록 하기 위해 어라운드뷰가 탑재될 수 있다.
이를 위해서는 복수의 영상을 하나의 영상으로 합성하는 것이 필요하며 그 합성과 출력이 실시간으로 이루어져야 한다.
실시간 영상합성(image mosaic,image stitching, panoramic imaging)에 대한 기존 기술의 특징은, FPGA 기반으로 고속 영상처리기술을 활용하거나, GPU를 이용한 병렬 영상처리기술을 활용하거나, ASIC 기반 고속 영상처리 기술을 활용하는 사례가 있다. 이들은 모두 고가의 장비를 활용하고 시스템이 방대해지는 단점이 있어 최근에는 고속계산용 Hardware없이 CPU 기반으로 실시간 영상합성을 하지만, 단순한 픽셀평균 혹은 픽셀선택 등으로 합성영상을 생성하는 방안도 제시되고 있다.
종래의 영상 처리 장치는 영상 데이터를 나타내는 제1 색역의 입력 신호들을 리니어한 제1 영상 신호들로 변환하는 신호 입력부, 상기 제1 색역보다도 좁은 제2 색역을 표시하는 영상 출력 장치에 표시하기 위해 상기 제1 영상 신호들을 상기 제2 색역의 제2 영상 신호들로 변환하는 색역 변환부, 상기 입력 신호들로부터 얻을 수 있는 채도에 기초하여 상기 제1 영상 신호들과 상기 제2 영상 신호들의 합성의 비율을 규정하는 블랜드 계수를 설정하는 블랜드 계수 설정부, 및 상기 제1 영상 신호들과 상기 제2 영상 신호들을, 상기 설정된 블랜드 계수에 따른 비율로 합성한 합성 영상 신호들을 생성하는 색 합성부를 포함하고, 상기 블랜드 계수 설정부는, 상기 제1 색역의 경계와 상기 제2 색역의 경계를 L*a*b* 공간으로 변환할 때의 상기 제1 색역의 경계와 상기 제2 색역의 경계의 색차 및 상기 제1 색역의 경계의 Chroma 성분에 기초하여, 상기 블랜드 계수에 의해 상기 색 합성부에서 생성되는 상기 합성 영상 신호들이 상기 제2 영상 신호들로되는 상기 채도의 상한 값을 설정하도록 하였다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-2015-0098566 A
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 복수의 영상을 하나의 영상으로 합성함에 있어서 실시간으로 매우 빠르게 합성이 이루어지며 동시에 경계부분에서의 왜곡이나 변형 내지 구별이 최소화될 수 있도록 하는 실시간 영상 합성 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 실시간 영상 합성 방법은, 복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계; 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계; 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함한다.
중복영역은 합성 전에 존재하던 종래영상에 의한 종래경계선과 합성에 의해 추가되는 신규영상에 의한 신규경계선으로 구성될 수 있다.
종래가중치는 중복픽셀과 신규경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값일 수 있다.
신규가중치는 1에서 종래가중치를 뺀 값 또는 중복픽셀과 종래경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값일 수 있다.
종래가중치와 신규가중치를 도출하는 단계에서는 영상마다 각각 중복픽셀에 대하여 도출한 종래가중치와 신규가중치를 메모리에 테이블로 저장할 수 있다.
중복픽셀에 대한 최종 데이터값을 산출하는 단계에서는 합성하고자 하는 각 영상의 중복픽셀의 데이터값과 메모리에 테이블로 저장된 종래가중치와 신규가중치를 이용하여 해당하는 중복픽셀에 대한 최종 데이터값을 산출할 수 있다.
최초로 배치되는 최초 영상에 대한 영상별 데이터값은 최초 영상의 중복픽셀의 데이터값에 최초 영상의 신규가중치와 다음으로 배치되는 모든 영상들의 종래가중치들을 모두 곱하여 산출할 수 있다.
중간에 합성되는 중간 영상에 대한 영상별 데이터값은 해당하는 중간 영상의 중복픽셀의 데이터값에 해당하는 중간 영상의 신규가중치와 그 다음으로 배치되는 영상들의 종래가중치들을 모두 곱하여 산출할 수 있다.
최후로 합성되는 최후 영상에 대한 영상별 데이터값은 최후 영상의 중복픽셀의 데이터값에 최후 영상의 종래가중치를 곱하여 산출할 수 있다.
본 발명의 실시간 영상 합성 방법에 따르면, 복수의 영상을 하나의 영상으로 합성함에 있어서 실시간으로 매우 빠르게 합성이 이루어지며 동시에 경계부분에서의 왜곡이나 변형 내지 구별이 최소화될 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 수행을 위한 시스템 개념도.
도 2는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 순서도.
도 3 내지 4는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 과정을 나타낸 도면.
도 5 내지 7은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 합성 과정을 설명하기 위한 도면.
도 1은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 수행을 위한 시스템 개념도이고, 도 2는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 순서도이며, 도 3 내지 4는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 과정을 나타낸 도면이고, 도 5 내지 7은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 합성 과정을 설명하기 위한 도면이다.
본 발명에 따른 실시간 영상 합성 방법은, 복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계; 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계; 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함한다.
본 발명의 실시간 영상 합성 방법을 수행하기 위한 시스템은 도 1에 나타난 것과 같다. 우선 다수의 영상을 촬용할 수 있는 복수의 카메라가 마련되고, 각 카메라는 영상을 데이터수신부로 전달한다. 한편, 메모리부에는 영상을 합성하는 규칙이 미리 정해져 저장되어 있고, 연산부에서는 메모리로부터 합성 규칙을 불러들인 다음 데이터수신부에서 수신한 영상 데이터를 대입하여 최종적으로 합성된 영상데이터를 생성하고, 이를 출력모니터로 전송하여 영상을 출력하는 것이다.
메모리부에 저장할 합성 규칙을 지정함에 있어 먼저 도 3과 같이 복수의 각 카메라 영상들(210,220)과 출력모니터 영상(100) 사이의 Homography 행렬(H1 - 1,H2 - 1)을 도출한다. 이 행렬을 통해 각 카메라에서 취득된 영상이 정해진 위치에 반영되는 것이다. 그리고 도 4에 도시된 바와 같이 각 카메라 영상들의 모서리를 출력모니터 영상에 투영하고, 이를 통해 각 영상의 테두리 경계선을 인식할 수 있다.
그리고 복수의 영상 합성에 따른 중복영역을 산출한다. 복수의 영상을 하나의 영상으로 합성할 경우에는 복수의 영상이 경계부에서 마치 본래부터 하나의 영상이었던 것처럼 자연스럽게 연결되어야 한다. 따라서, 경계부는 최대한 자연스럽게 처리되어야 한다. 이를 위해 각 영상이 테두리에서 겹쳐지는 중복영역 내에 위치하는 중복픽셀에 대하여는, 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계를 수행한다. 그리고 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계를 수행한다. 또한, 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계를 수행하는 것이다.
즉, 만약 3개의 영상이 1개의 영상으로 합성되는 경우라면 영상의 합성 순서를 임의로 정하고, 제일 먼저 배치되는 영상은 합성이 되기 전이며, 그 다음 배치되는 영상부터 처음 배치된 영상과 일부 구간이 중첩되는 것이다. 이 경우 중첩되는 중복영역에 위치하는 픽셀의 경우 먼저 배치된 영상의 영향과 나중에 중복되는 영상의 영향을 모두 받도록 하고, 이를 각 영상의 테두리와의 거리에 따라 영향을 받도록 함으로써 복수의 영상이 테두리에서 중복되더라도 경계선이 명확하지 않고 자연스럽게 영상이 연결될 수 있게 된다.
도 5의 경우 3개의 영상이 합성되는 예를 나타낸다. 먼저 제1영상(210)이 출력영상에 배치되고, 이 상태에서는 합성이 이루어지지 않는다. 그 후 제2영상(220)이 배치되고, 제3영상(230)이 배치되면서, 제1영상(210)과 제2영상(220)이 중복되는 a구간이 나타나고, 제1영상(210)과 제2영상(220) 및 제3영상(230)이 모두 중복되는 b구간이 나타난다.
a영역의 경우, 도 6과 같이 볼 수 있다. 여기서 a영역 내에 위치되는 중복픽셀 Pa의 채도, 색상, 명암 등의 데이터값을 도출하는 것이 문제되는데, 이는 각 영상의 가중치에 따라 달려 있도록 하는 것이다. 즉, 중복픽셀 Pa로부터 각 영역의 경계선(210',220')까지의 최단거리를 통해 가중치를 도출한다.
도 5, 6과 같이, a영역의 경우 제1영상(210)과 제2영상(220)이 겹치는 구간이고, 따라서 제1영상과 제2영상에 의한 영향을 반영한다. 이를 위해 중복픽셀 Pa로부터 본래 존재하던 제1영상의 테두리(210')까지의 최단거리 dC(2)를 구한다. 그리고 나중에 합성된 제2영상(220')까지의 최단거리dN(2)를 구한다.
그리고 중복픽셀 Pa의 경우 제1영상에 있던 해당 픽셀의 데이터값과 제2영상에 있던 해당픽셀의 데이터값에 가중치를 적용하여 변환하고, 이를 합성하여 최종적인 중복픽셀 Pa의 데이터값을 산출한다.
즉, 중복영역은 합성 전에 존재하던 종래영상(210)에 의한 종래경계선(210')과 합성에 의해 추가되는 신규영상(220)에 의한 신규경계선(220')으로 구성될 수 있는데, 여기서 종래가중치는 중복픽셀 Pa과 신규경계선(220')간의 최단거리 dN(2)를 중복픽셀과 종래경계선간의 최단거리 dC(2)와 중복픽셀과 신규경계선간의 최단거리 dN(2)의 합으로 나눈 값일 수 있다. 그리고 신규가중치는 1에서 종래가중치를 뺀 값 또는 중복픽셀과 종래경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값일 수 있다.
즉, 도 6에서의 종래가중치는 아래의 식으로 표현될 수 있다.
Figure pat00001
여기서, wC는 종래가중치이고, wN는 신규가중치이다. 즉, 종래가중치의 경우는 종래의 제1영상의 경계(210')에 의한 영향을 나타내기 때문에 역으로 신규영상인 제2영상 경계(220')와의 떨어진 거리에 비례한다고 할 수 있는 것이고(제1영상과 많이 떨어질수록 제2영상과는 가깝다는 것이고, 그만큼 제1영상에 의한 영향을 적게 받도록 가중치를 두는 것이다), 신규가중치의 경우에는 역으로 볼 수 있는 것이다.
그에 따라 중복픽셀의 최종 데이터값은 아래와 같이 나타낼 수 있다.
Figure pat00002
여기서, Image1(u1,v1)은 제1영상에서 중복픽셀의 데이터값이며, Image2(u2,v2)는 제2영상에서 중복픽셀의 데이터값이고, w1은 제1영상의 중복픽셀 Pa에 대한 종래가중치로서 0이며, w2는 제2영상의 중복픽셀 Pa에 대한 종래가중치를 말한다. 이와 같은 수식에 의해 2개의 영상이 중복되는 경우에는 결국 제1영상의 중복픽셀의 데이터값에 제2영상의 중복시의 종래가중치를 곱한 값과 제2영상의 중복픽셀의 데이터값에 제2영상의 중복시의 신규가중치를 곱한 값의 합이라는 점을 알 수 있다. 직관적으로 본다면, 제1영상의 중복픽셀의 데이터값에는 제1영상에 의한 영향도가 반영되고, 제2영상의 중복픽셀의 데이터값에는 제2영상에 의한 영향도가 반영되어 합해지고 최종적인 중복픽셀의 데이터값이 얻어지는 것이다.
도 7은 3가지의 영상이 모두 중복되는 지점의 데이터값을 얻기 위한 과정을 나타낸 도면이다. 이를 위해서는 먼저 제1영상과 제2영상이 중복되는 상황하에 종래가중치인 w2를 먼저 구한다(여기서도, 종래가중치 w1은 0이라고 본다). 그리고 제3영상이 중복되는 것이라고 보고, 그에 따라 먼저 배치된 제1영상 및 제2영상의 경계선(210',220')과의 최단거리인 dC(3)을 구하고, 신규로 합성되는 제3영상(230')의 경계선과의 최단거리인 dN(3)을 구하고, 그에 따른 종래가중치 w3을 구한다. 중복픽셀 Pb의 경우 아래의 식에 따라 최종 데이터값을 얻는다.
Figure pat00003
즉, 3개의 영상이 합성되는 지점의 경우에는 3개 영상 모두 각각으로부터의 영향을 받는 것이다. 이 수식은 기존의 제1영상과 제2영상에 의한 중복픽셀의 데이터값(Pa를 구하는 수식과 동일한 방식으로 계산되는 값)에 제3영상에 의한 영향으로써 종래가중치인 w3를 곱하고, 신규로 합성되는 제3영상의 중복픽셀의 데이터값에 제3영상에 의한 영향으로써 신규가중치인 1-w3을 곱하여 얻어지는 것으로 볼 수도 있다.
즉, 복수의 영상이 중복되는 경우에는 순차적으로 영상을 중첩하면서 새로이 조합되는 중복픽셀의 데이터값을 업데이트하는 개념으로 볼 수 있는 것이다.
그에 따라, 최종적인 수식은 아래와 같이 표현될 수 있다.
Figure pat00004
즉, 최초로 배치되는 최초 영상에 대한 중복픽셀의 영상별 데이터값은 최초 영상의 중복픽셀의 데이터값 Image1(u1,v1)에 최초 영상의 신규가중치 1-w1와 다음으로 배치되는 모든 영상들의 종래가중치들(w2~wN)을 모두 곱하여 산출할 수 있다(
Figure pat00005
).
중간에 합성되는 중간 영상에 대한 중복픽셀의 영상별 데이터값은 해당하는 중간 영상의 중복픽셀의 데이터값에 해당하는 중간 영상의 신규가중치와 그 다음으로 배치되는 영상들의 종래가중치들을 모두 곱하여 산출할 수 있다(
Figure pat00006
).
최후로 합성되는 최후 영상에 대한 중복픽셀의 영상별 데이터값은 최후 영상의 중복픽셀의 데이터값에 최후 영상의 종래가중치를 곱하여 산출할 수 있다(
Figure pat00007
).
한편, 이러한 수식에 따라 메모리부의 테이블에는 아래의 값들이 미리 저장된다. 즉, 종래가중치와 신규가중치를 도출하는 단계에서는 영상마다 각각 중복픽셀에 대하여 도출한 종래가중치(wN)와 신규가중치(1-wN)를 메모리에 테이블로 저장할 수 있다.
Figure pat00008
Figure pat00009
상기와 같이 복수의 영상들이 합성되는 위치는 미리 정해진 것이고, 그에 따라 중복픽셀들의 각 지점에서 각 영상으로부터 받는 영향도를 미리 계산하여 둘 수 있는 것이다. 중복픽셀에 대한 최종 데이터값을 산출하는 단계에서는 합성하고자 하는 각 영상의 중복픽셀의 데이터값과 메모리에 테이블로 저장된 종래가중치와 신규가중치를 이용하여 해당하는 중복픽셀에 대한 최종 데이터값을 산출할 수 있다.
영상의 실제 데이터값들이 입력되면 입력된 각 영상의 데이터와 상기 미리 정해진 계수인 ρ값들을 이용하여 최종 데이터값을 간단히 도출하고, 이에 따라 출력모니터 영상에 표시하는 것이다. 물론, 흑백 영상의 경우 한번의 계산으로 처리될 수 있지만 컬러 영상의 경우에는 R,G,B각각 계산한 후 출력되어야 컬러로서 올바르게 출력될 것이다.
이와 같은 본 발명의 실시간 영상 합성 방법에 따르면, 복수의 영상을 하나의 영상으로 합성함에 있어서 메모리에 저장된 테이블을 이용하기 때문에 실시간으로 매우 빠르게 합성이 이루어지며, 동시에 메모리에 저장된 계수값들은 영상이 서로가 서로에게 영향을 미치는 정도를 거리에 따라 빠짐없이 반영된 것이기 때문에 경계부분에서의 왜곡이나 변형 내지 구별이 극히 최소화될 수 있게 된다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
100 : 출력모니터 영상 210,220,230 : 복수의 영상
210',220',230' : 복수의 영상 각각의 경계선

Claims (9)

  1. 복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계;
    중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계;
    영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및
    각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함하는 실시간 영상 합성 방법.
  2. 청구항 1에 있어서,
    중복영역은 합성 전에 존재하던 종래영상에 의한 종래경계선과 합성에 의해 추가되는 신규영상에 의한 신규경계선으로 구성된 것을 특징으로 하는 실시간 영상 합성 방법.
  3. 청구항 2에 있어서,
    종래가중치는 중복픽셀과 신규경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값인 것을 특징으로 하는 실시간 영상 합성 방법.
  4. 청구항 2에 있어서,
    신규가중치는 1에서 종래가중치를 뺀 값 또는 중복픽셀과 종래경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값인 것을 특징으로 하는 실시간 영상 합성 방법.
  5. 청구항 1에 있어서,
    종래가중치와 신규가중치를 도출하는 단계에서는 영상마다 각각 중복픽셀에 대하여 도출한 종래가중치와 신규가중치를 메모리에 테이블로 저장하는 것을 특징으로 하는 실시간 영상 합성 방법.
  6. 청구항 5에 있어서,
    중복픽셀에 대한 최종 데이터값을 산출하는 단계에서는 합성하고자 하는 각 영상의 중복픽셀의 데이터값과 메모리에 테이블로 저장된 종래가중치와 신규가중치를 이용하여 해당하는 중복픽셀에 대한 최종 데이터값을 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
  7. 청구항 1에 있어서,
    최초로 배치되는 최초 영상에 대한 영상별 데이터값은 최초 영상의 중복픽셀의 데이터값에 최초 영상의 신규가중치와 다음으로 배치되는 모든 영상들의 종래가중치들을 모두 곱하여 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
  8. 청구항 7에 있어서,
    중간에 합성되는 중간 영상에 대한 영상별 데이터값은 해당하는 중간 영상의 중복픽셀의 데이터값에 해당하는 중간 영상의 신규가중치와 그 다음으로 배치되는 영상들의 종래가중치들을 모두 곱하여 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
  9. 청구항 7에 있어서,
    최후로 합성되는 최후 영상에 대한 영상별 데이터값은 최후 영상의 중복픽셀의 데이터값에 최후 영상의 종래가중치를 곱하여 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
KR1020160072216A 2016-06-10 2016-06-10 실시간 영상 합성 방법 KR101819984B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160072216A KR101819984B1 (ko) 2016-06-10 2016-06-10 실시간 영상 합성 방법
PCT/KR2017/003112 WO2017213335A1 (ko) 2016-06-10 2017-03-23 실시간 영상 합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160072216A KR101819984B1 (ko) 2016-06-10 2016-06-10 실시간 영상 합성 방법

Publications (2)

Publication Number Publication Date
KR20170139816A true KR20170139816A (ko) 2017-12-20
KR101819984B1 KR101819984B1 (ko) 2018-01-18

Family

ID=60578819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072216A KR101819984B1 (ko) 2016-06-10 2016-06-10 실시간 영상 합성 방법

Country Status (2)

Country Link
KR (1) KR101819984B1 (ko)
WO (1) WO2017213335A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
KR102390433B1 (ko) * 2020-12-21 2022-04-25 서울시립대학교 산학협력단 글로벌 융합영상 제작 장치 및 제작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023196203A1 (en) * 2022-04-04 2023-10-12 Genome International Corporation Traveling in time and space continuum

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254499A (ja) * 1995-03-17 1996-10-01 Sharp Corp 表示・外観検査装置
FR2880453A1 (fr) * 2005-01-06 2006-07-07 Thomson Licensing Sa Procede et dispositif de traitement de mosaique d'images
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
US8923648B2 (en) 2008-01-21 2014-12-30 Denso International America, Inc. Weighted average image blending based on relative pixel position
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
KR102390433B1 (ko) * 2020-12-21 2022-04-25 서울시립대학교 산학협력단 글로벌 융합영상 제작 장치 및 제작 방법

Also Published As

Publication number Publication date
KR101819984B1 (ko) 2018-01-18
WO2017213335A1 (ko) 2017-12-14

Similar Documents

Publication Publication Date Title
JP5451782B2 (ja) 画像処理装置および画像処理方法
WO2013008653A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP7093015B2 (ja) パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP5225313B2 (ja) 画像生成装置、画像生成方法、及びプログラム
KR101819984B1 (ko) 실시간 영상 합성 방법
CN105205787A (zh) 用于对ldr视频序列进行动态范围扩展的方法和设备
JP6087612B2 (ja) 画像処理装置および画像処理方法
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP5195841B2 (ja) 車載カメラ装置および車両
JP6948810B2 (ja) 画像処理システム
JP2007067714A (ja) 画像処理回路およびこれを用いたカメラ装置と車載カメラ装置
WO2018025474A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP4828479B2 (ja) 合成画像生成装置および合成画像生成プログラム
JP2009141490A (ja) 合成画像生成装置および合成画像生成方法
JP2011205380A (ja) 画像処理装置
WO2018087856A1 (ja) 映像合成装置及び映像合成方法
US9723283B2 (en) Image processing device, image processing system, and image processing method
JP2006262062A (ja) 画像処理装置および画像処理プログラム
JP6770442B2 (ja) 画像処理装置及びそのプログラム
JP5588394B2 (ja) 色補正装置、色補正方法および色補正プログラム
JP2012150614A (ja) 自由視点画像生成装置
JP2018182550A (ja) 画像処理装置
JP2019036902A (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2017216634A (ja) 映像合成装置、映像合成方法、及びプログラム
JP6902425B2 (ja) カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant