KR101913035B1 - 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법 - Google Patents

Abstract

본 발명은 QR코드 영상과 보통의 칼라 배경 영상을 합성한 반투명 QR코드를 생성하는 방법과 반투명 QR코드를 촬영한 영상에서 QR코드와 보통의 칼라 영상을 분리하는 QR코드 검출 방법에 관한 것이다.

Description

반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법{SEMI TRANSPARENT MARK, A METHOD FOR COMPOSING AND DETECTING SEMI TRANSPARENT MARK,TRANSPARENT MARK AND A METHOD FOR COMPOSING AND DETECTING TRANSPARENT MARK}

본 발명은 칼라 배경 영상 위에 QR코드이미지를 반투명 또는 투명하게 합성하는 기술에 관한 것이다.

QR코드,스마트폰, 모바일 장치, 카메라, 영상처리, 착용형 컴퓨터,안경형 디스플레이,가상현실,증강현실,마크

본 발명은 QR코드와 같은 시각적 마크의 개선에 관한 것이다. QR코드는 2차원 바코드의 일종으로 예를 들면 잡지의 광고 사진 위에 관련된 URL을 QR코드로 인쇄한 것을 사용자가 스마트폰의 카메라로 촬영하고 인식하여 QR코드가 나타내는 URL에 스마트폰으로 접속할 수 있다. 그리고 이러한 QR코드는 카메라의 자세를 검출하여 증강현실 영상의 합성하는데 사용될 수 도 있다. 이러한 기존의 QR코드는 불투명하여 배경 영상을 가린다는 문제가 있다. 배경 영상을 가리는 것을 최소화 하기 위해서 종래의 QR 코드는 배경 영상의 일부분에 작게 인쇄되고 있어서 사용자는 이러한 QR코드를 카메라로 촬영하기 위해서 QR코드에 접근해야 하는 불편함이 있다. QR코드를 멀리서 촬영하기 위해서는 QR코드를 크게 디자인 하면 되지만 그렇게 하면 배경 영상을 많이 가린다는 문제가 있다.

본 발명은 배경 영상 위에 QR코드를 반투명 또는 투명하게 합성함으로써 QR코드를 크게 디자인 할 수 있고 배경 영상도 볼 수 있는 반투명 또는 투명한 QR코드와 이를 합성 및 검출 할 수 있는 영상처리 수단을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 반투명 또는 투명 마크는 보통의 칼라 배경 영상의 밝기 또는 변화폭(contrast)을 조절한 후 그 위에 청색 QR코드를 합성하되 청색 QR코드 영상의 밝기 변화폭은 상기 배경 영상의 청색 성분 영상의 밝기 변화폭 보다 크게 조절한 것을 특징으로 한다. 그리고 이러한 반투명 또는 투명 QR 코드를 검출하는 방법은 이러한 반투명 또는 투명 QR코드를 촬영한 영상의 청색 성분 영상을 이치화하여 QR코드를 검출하는 것을 특징으로 한다. 또한 이러한 이치화를 안정적으로 수행하기 위하여 이치화 하기 전에 청색 성분 영상에서 적색과 녹색 성분 영상을 어둡게 조절한 영상을 차분한 후 이치화하여 QR코드를 검출하는 것을 특징으로 한다.

본 발명에의한 반투명 또는 투명 마크를 사용하면 사용자 눈에 거슬리지 않게 QR코드를 주변 환경에 크게 부착하여 마케팅 수단으로 활용하거나 증강현실이나 가상현실의 마커로 사용할 수 있다.

도1은 두 영상을 합성하는 설명도
도2는 픽셀값 히스토그램의 변화를 나타낸 것
도3은 도2를 일반화한 것

실시예1

본 발명은 기존의 qr코드가 불투명하여 배경 영상을 가린다는 문제를 해결하기 위하여 칼라 배경 영상 위에 흑백 QR코드를 반투명하게 합성한 반투명 qr코드를 제공하는 것을 목적으로 한다. 구체적으로 본 발명에의한 반투명 qr코드 영상을 생성하는 방법은 다음과 같다.

(단계1-1)보통의 칼라 배경 영상을 삼원색 성분 영상으로 분해한다. 즉 칼라 영상으로부터 3개의 회색(gray)영상(빨강 성분 영상, 녹색 성분 영상, 파랑 성분 영상)을 생성한다. 회색 영상은 예를 들어서 가장 어두운 픽셀값은 0이고 가장 밝은 픽셀 값은 255인 256 단계의 영상일 수 있다.

(단계1-2)흑백 이치(binary) qr코드 영상의 백색 픽셀값을 64로 바꾸고 검정 픽셀 값을 -64로 바꾼다. 이렇게 변환된 영상의 픽셀 범위는 -64~64가 된다. 이러한 픽셀값의 범위(밝기 차)를 본 발명에서는 콘트라스트(contrast)라한다. 즉 픽셀 분포 범위 크기가 128이 된다. 이러한 이치값(-64,64)은 절대값이 같고 부호는 다르게 하는 것이 바람직하다.

(단계1-3) 단계1-1에서 구한 파랑 성분 회색 영상의 가장 어두운 픽셀 값과 가장 밝은 픽셀 값의 차이B(픽셀값의 분포 범위 크기,즉 콘트라스트)가 상기 단계1-2에서 구한 qr코드 영상의 픽셀 범위 크기Q(128)보다 충분히 작게 픽셀값을 변환하되 B + Q < 255 가 되게 조정한다. 즉 두 영상의 콘트라스트의 합은 영상의 최대 가능한 콘트라스트인 255보다 작아야 한다. 그래야만 합성된 영상을 디스플레이에 출력할 수 있거나 인쇄할 수 있다. 위 조건 B + Q < 255 의 의미는 보통 영상의 파랑 성분 회색 영상과 qr코드 영상을 합성한 영상의 픽셀 범위 크기가 255보다 작아야 한다는 뜻이다. 예를 들어서 파랑 성분 회색 영상의 가장 어두운 픽셀값이 0이고 가장 밝은 픽셀 값이 255라면 모든 픽셀 값에 60/255 를 곱한 새로운 픽셀 값을 어둡게 조정된 새로운 영상의 픽셀 값으로 한다. 이렇게 상수(60/255)를 모든 픽셀에 곱하면 이미지 전체가 어두워지므로 원본 칼라 영상이 어두워진다. 본 단계의 변환과정에서 원본 칼라 영상의 밝기를 최대한 유지하려면 파랑 성분 회색 영상의 평균 픽셀 값을 구해서 그보다 픽셀값이 큰(밝은)픽셀은 밝기를 줄이고 픽셀값이 평균 픽셀값보다 작은(어두운)픽셀은 픽셀 값을 증가시키는 것이 바람직하다. 도2는 이러한 변환 전후의 이미지의 픽셀값의 히스토그램을 나타낸 것이다. 도2에서 변환전의 파랑 성분 회색 영상의 픽셀 범위는 0~255이고 평균 픽셀값은 164이다. 이러한 영상이 본 단계1-3을 거치면 픽셀 범위가 164-30~164+30인 영상으로 변환된다. 도3은 도2를 일반화한 그림이다. 도3은 픽셀값 범위가 f1~t1 이고 평균 픽셀값이 a인 영상을 픽셀값 범위가 f2~t2인 영상으로 변화시킨 영상의 픽셀값의 히스토그램을 나타낸 것이다. 변환 전의 임의의 픽셀값p1,q1는 p2,q2로 각각 변환되고 그 구체적인 값은 다음과 같은 비례식으로부터 구할 수 있다. (비례식이 아닌 비선형 변환을 사용해도 무방하다. 여기서 비례식은 가능한 변환 중 하나의 예이다.)

a - f1 : p1 - f1 = a - f2 : p2 - f2

t1 - a : q1 - a = t2- a : q2 - a

이렇게 배경 영상의 파랑 성분 영상의 픽셀값의 분포 범위(콘트라스트)를 qr코드 영상의 픽셀값의 분포 범위(콘트라스트)보다 작게 제한함으로써 합성된 영상을 카메라로 촬영한 영상을 이치화해서 qr코드 영상을 검출 할 수 있다.만약 배경 영상의 파랑 성분 영상의 픽셀값의 분포 범위(예를 들면 60)가 qr코드 영상의 픽셀값의 분포 범위(예를 들면 128)보다 작으면 본 단계1-3은 통과한다.

이러한 구체적인 숫자들(255,128,60)은 설명의 편의를 위한 값으로 실제 본 발명을 구현할 때는 그 값이 다를 수도 있다.

그리고 상기한 비례식 이외의 다른 알고리즘을 사용할 수 도 있다.

이와 같이 배경 영상의 콘트라스트를 줄이는 것을 배경 영상 전체에 대해 동일 비례식 또는 알고리즘을 사용해서 수행 할 수도 있지만 배경 영상의 각 픽셀에 대해 그 픽셀에 가장 적합한 비례식 또는 알고리즘을 사용해서 수행 할 수도 있다. 예를 들면 배경 영상의 파랑색 성분 영상과 qr코드 영상의 합성된 영상에서 qr코드의 셀(cell)의 경계선의 콘트라스트가 그 경계선 근방의 일정 영역 안의 배경 영상의 경계선의 콘트라스트보다 크게 되도록 배경 영상의 경계선의 콘트라스트를 줄일 수도 있다.

여기서 qr코드의 셀(cell)은 qr코드의 정보를 표시하는 동일 픽셀값의 가장 작은 작은 단위 사각형 영역을 의미한다. 그리고 상기 근방의 일정 영역은 qr코드의 셀의 크기(셀의 사각형의 가로 또는 세로 변의 길이 중 작은 쪽)와 같거나 크도록 하는 것이 바람직하다. 이와 같이 콘트라스트를 조정하면 합성된 영상의 각 픽셀을 이치화할 때 그 픽셀 주변의 qr코드의 셀의 크기 정도의 영역 안의 픽셀들의 히스토그램을 조사해서 이치화를 쉽게 할 수 있다.

(단계1-4)단계1-2에서 구한 qr코드 영상(픽셀 범위 크기가 128인 영상)과 단계1-3에서 구한 파랑 성분 영상(픽셀 범위 크기가 60인 영상)의 덧셈 영상을 구한다.

여기서 두 입력 영상의 덧셈 영상은 두 입력 영상의 대응되는 동일 위치(x,y)의 픽셀들의 픽셀 값을 더한 값이 덧셈 영상의 대응되는 동일 위치(x,y)의 픽셀 값인 영상을 의미한다.

(단계1-5)상기 단계1-4에서 구한 덧셈 영상의 픽셀 값의 분포가 디스플레이에 출력 가능한 범위(예를 들면 0에서 255) 또는 인쇄 가능한 범위가 되도록 조정한다.

예를 들어서 단계1-3에서 구한 파랑 성분 영상의 픽셀 범위가 (255-60)~255 이고 qr코드 영상의 픽셀 범위가 -64~64이라면 두 영상을 픽셀별로 더해서 합성된 덧셈 영상의 픽셀 범위는 (255-60-64) ~ (255+64)이된다. 회색 영상의 최대 밝기는 255이고 합성된 픽셀 값 의 최대값(255+64)는 그 범위를 벗어나므로 적당한 상수를 합성된 덧셈 영상의 모든 픽셀에 더해 픽셀의 범위를 평행이동 시켜야 한다. 즉 255+64 가 255 보다 같거나 작게 되도록 덧셈 영상의 모든 픽셀에 -64를 더해주면 된다.

마찬가지로 예를 들어서 단계1-3에서 구한 파랑 성분 영상의 픽셀 범위가 0~60 이고 qr코드 영상의 픽셀 범위가 -64~64이라면 두 영상을 더해서 합성된 영상의 픽셀 범위는 (0-64) ~ (60+64)이된다. 회색 영상의 최소 밝기는 0이고 합성된 픽셀 값의 최소값 (0-64)는 그 범위를 벗어나므로 적당한 상수를 덧셈 영상의 모든 픽셀에 더해 픽셀의 범위를 평행이동 시켜야 한다. 즉 0-64 가 0 보다 같거나 크게 되도록 모든 픽셀에 64를 더해주면 된다.

(단계1-6)단계1-1에서 생성한 빨강 성분 영상과 녹색 성분 영상 그리고 단계1-4에서 합성한 새로운 파랑 성분 영상으로 구성된 새로운 칼라 영상을 생성한다. 그러면 그 새로운 칼라 영상이 본 발명에 의한 반투명 qr코드 영상이다.

이 경우 만약 녹색 성분 영상 또는 빨강 성분 영상이 지나치게 밝거나 콘트라스트가 강하면 밝기 또는 콘트라스트를 줄인 후 합성하는 것이 합성된 영상에서 qr코드를 검출하는데 유리하다. 또한 상기 (단계1-1)에서 구한 파랑 성분 영상의 특정 부분에 콘트라스트가 지나치게 큰 경우(즉 너무 밝은 영역과 너무 어두운 영역이 접하는 경우)에는 그 영역만 콘트라스트를 더 많이 줄이는 것도 가능하다. 예를 들어서 그 부분만 히스토그램 평활화를 한 영상으로 대체할 수도 있다. 이 경우 히스토그램 평활화 알고리즘으로 콘트라스트가 제한된 적응적 히스토그램 평활화(contrast limited adaptive histogram equalization (CLAHE) , https://en.wikipedia.org/wiki/Adaptive_histogram_equalization)또는 그와 유사한 방법을 사용 할 수도 있다. 그리고 히스토그램 평활화 대신 가우시안 블러(gaussian blur)와 같은 다른 영상처리를 통해 영상의 콘트라스트를 변화시킬 수도 있다.

이러한 반투명 qr코드 영상은 종이에 칼라로 인쇄되거나 LCD또는 빔프로젝터와 같은 칼라 디스플레이에 출력될 수 있고 그 출력 영상을 스마트폰의 카메라로 촬영하고 그 촬영된 영상을 스마트폰의 영상처리 프로그램에서 분석하여 다음과 같이 qr코드 영상과 배경 영상을 검출 할 수 있다.

(단계2-1)반투명 qr코드 칼라 영상을 칼라 카메라로 촬영한다.

(단계2-2)촬영된 칼라 영상을 삼원색 성분 영상 3개로 분해한다. 즉 촬영된 영상의 빨강 성분 영상, 녹색 성분 영상 그리고 파랑 성분 영상을 생성한다.

(단계2-3)단계2-2에서 생성한 빨강 성분 영상과 녹색 성분 영상의 대응되는 픽셀값을 합성한 값(가중 평균한것)을 새로운 합성 영상의 픽셀값으로 하는 합성 영상을 생성한다. 예를 들어서 빨강 성분 영상에서 위치가(x,y)인 픽셀값을 R(x,y)라 하고 녹색 성분 영상에서 위치가(x,y)인 픽셀값을 G(x,y)라 하고 하면 합성된 영상에서 위치가 (x,y)인 지점의 픽셀값은 R(x,y)*w1 + G(x,y)*w2 이다. 여기서 w1,w2는 가중 평균 합성 계수로 0 <= w1+w2 <=1 이다. (*는 곱셈을 의미한다) 삼원색 중 녹색의 감도가 가장 크므로 녹색의 가중치를 더 크게 하는 것이 바람직하다. 즉, w1 < w2 로 하는 것이 바람직하다.

구체적인 w1,w2 값은 여러 가지 w1,w2 값을 사용해서 본 단계들(단계2-1~ 단계2-6)을 거쳐서 qr코드를 검출해본 결과를 보고 검출이 가장 잘되는 w1,w2 값을 선택하는 것이 바람직하다.예를 들면 w1=1/6,w2=1/3 인 값을 사용할 수 있다.

(단계2-4)단계2-2에서 생성한 파랑 성분 영상에서 단계2-3에서 합성한 영상을 뺀 차분 영상을 구한다. 여기서 차분 영상은 대응되는 두 입력 영상의 픽셀 값을 뺀 값을 픽셀 값으로 하는 영상이다. 예를 들어서 두 입력 영상을 I1,I2라 하고 그 두 영상의 차분 영상을 D라 하면 위치(x,y)에서 차분 영상D의 픽셀 값D(x,y)은 위치(x,y)에서 I1의 픽셀값에서 위치(x,y)에서 I2의 픽셀값을 뺀 값I1(x,y)-I2(x,y)이 된다. 이렇게 차분을 해주는 이유는 이미지 센서의 파랑 칼라 필터가 파랑색 빛을 통과시킬 뿐만 아니라 약간의 빨강 빛과 약간의 녹색 빛도 통과시키기 때문에 촬영된 영상의 파랑 성분 영상에 희미하게 보이는 빨간 색 사물과 녹색 사물 영상(잡음)을 지우기 위함이다. 또는 카메라의 자동 백색 조정 기능(auto white balance) 때문에 원래 색이 다른 색으로 바뀌어 촬영될 수 도 있기 때문이다. 이와 같은 차분을 거치면 파랑 색 성분 영상에는 순수하게 파랑색 사물과 합성된 qr코드 영상만 남게 된다.

(단계2-5)상기 단계2-4에서 구한 차분 영상을 이치화해서 qr코드 영상을 생성한다. 상기 단계2-4에서 구한 차분 영상은 파란색 사물의 밝기 범위(60)는 상기 반투명 qr코드 생성 단계(1-1)~단계(1-6)에서 qr코드 영상의 밝기 범위(128)보다 크지 않도록 조정해서 합성한 것이므로 이러한 영상을 이치화 (binarize)하면 qr코드 영상을 쉽게 구할 수 있다. 이러한 밝기 범위값(60,128)은 설명의 편의를 위한 하나의 예일 뿐이므로 실제 구현할 때는 다른 값을 사용해도 무방하다.

(단계2-6) 상기 단계2-4에서 구한 차분 영상에서 상기 단계2-5에서 구한 qr코드 영상에 적당한 가중치를 곱해 어둡게 조절한 후 뺀 차분 영상을 구하면 이는 qr코드가 제거된 배경 영상의 파란색 성분 영상이 된다. 이러한 파란색 성분 영상의 밝기를 적당히 증가시킨 것과 단계 2-2에서 구한 빨강과 녹색 성분 영상으로 된 칼라 영상을 합성하면 이는 qr코드가 제거된 배경 영상이 된다.

상기 단계(2-1)~(2-6)을 수행한 결과 qr코드 영상을 검출하지 못했다면 이는 (단계1-1)의 보통의 칼라 배경 영상의 밝기 변화가 심하기 때문이다.(즉 영상의 콘트라스트가 지나치게 강하기 때문이다) 이 경우는 배경 영상의 밝기 변화가 적도록 조정한 후 반투명 qr코드 영상을 합성하면 된다. 예를 들어서 (단계1-1)의 보통의 칼라 배경 영상의 빨강과 녹색 성분 영상을 상기 단계(1-3)과 같은 과정을 거쳐서 밝기 변화폭을 줄여서 반투명 qr코드 영상을 합성하는 것이 바람직하다.

상기한 설명에서 배경 영상의 파랑 성분 영상에 qr코드 영상을 합성한 이유는 파랑이 사람 눈에 가장 감도가 낮기 때문에 합성된 영상에서 qr코드가 가장 눈에 띄지 않기 때문이다. 즉 파랑 성분 영상에 qr코드를 합성하는 것이 합성된 영상을 사람이 눈으로 봤을 때 배경 영상은 가장 원본 영상과 유사하고 qr코드 영상은 가장 희미하기 때문이다.

상기한 보통 배경 영상에 합성하는 qr코드 영상 대신 임의의 다른 마크 영상을 사용해도 무방하다. 예를 들어서 로고, 아이콘, 증강현실용 마커,바코드 또는 글자 등의 이미지를 qr코드 영상 대신 사용해서 합성해도 무방하다.

이러한 합성된 영상을 상기한 방법으로 분석하여 마커나 qr코드를 검출하여 카메라와 qr코드 또는 마커 사이의 3차원 상대위치와 방향을 계산해서 원근감 있게 가상 객체를 촬영된 영상에 합성하는 비디오 시 쓰루 (video see through) 방식의 증강 현실 시스템을 구성할 수 있다. 이때 촬영된 영상에서 qr코드나 마커를 지우고 가상 객체를 합성하는 것이 바람직하다. 사용자는 합성된 가상 객체의 영상의 배경에 qr코드나 마커가 지워져서 보이지 않으므로 더 자연스러운 가상 현실 영상을 볼 수 있다. 이러한 시스템은 스마트폰의 카메라를 사용하여 구성될 수도 있고 안경형 디스플레이에 부착된 카메라를 사용하여 구성될 수도 있다.

이러한 청색의 qr코드 또는 마커를 광학적 시 쓰루 방식(optical see through)의 증강 현실 시스템(예를 들면 마이크로소프트사의 홀로렌즈 시스템이나 구글 글라스)에 사용하려면 시선 방향을 촬영하는 카메라가 포함된 안경형 디스플레이에 노랑색 필터(적색과 녹색을 통과시키고 청색을 차단하는 필터)를 부착하면 된다. 이때 카메라 앞에는 노랑색 필터를 부착하면 안된다. 즉 노랑색 필터는 안경형 디스플레이 착용자의 눈 앞에만 설치해야 한다. 노랑 필터는 청색 성분의 qr코드 영상을 차단하는 역할을 한다. 이때 완전한 노랑보다는 약간의 청색도 통과시키는 필터를 사용하면 좀더 자연스런 칼라를 볼 수 있어서 바람직하다.

이러한 노랑색 필터 안경은 평소에는 투명 상태이고 카메라로 촬영한 영상에서 청색 qr코드가 검출된 경우에는 노랑으로 변색되는 가변 필터인 것이 바람직하다. 이러한 가변색 필터는 예를 들어서 LCD방식의 투명 디스플레이로 구현 할 수 있다. 또한 노랑색으로 변하는 부분은 착용자의 시야 중에서 qr코드가 차지하는 영역만 변하게 하는 것이 바람직하다.

이러한 청색 qr코드는 예를 들어서 방의 벽면, 천정과 바닥면에 촘촘히 다수 부착하고 안경형 디스플레이를 착용함으로써 방 안 전체에 증강 현실을 구현 할 수 있다. 또한 청소로봇과 같은 로봇의 카메라로 qr코드를 인식하여 자신의 위치를 인식하여 자율 주행을 할 수도 있다. 이러한 청색 qr코드는 기존의 검정 qr코드보다 사람 눈에 덜 띄므로 맨눈인 사람에게 시각적 불편함을 완화시킬 수 있다. 또한 보통의 사진이나 그림에 청색 qr코드를 반투명하게 합성하면 qr코드를 더 감출 수 있다.

실시예2

상기 실시예1에서 생성한 반투명 qr코드영상의 특정 칼라성분 영상(예를 들면 청색 성분 영상)은 qr코드 영상과 보통 영상의 청색 성분 영상의 합성 영상이다. 그리고 그러한 반투명 qr코드영상의 특정 칼라성분을 제외한 나머지 칼라 성분 영상(예를 들면 적색과 녹색 성분 영상)은 보통 영상이다. 이러한 반투명 qr코드영상(이를 본 실시예에서는 제2영상이라 한다.)에 사용된 qr코드 영상의 반전된 영상(흑백이 바뀐 영상,negative image)을 특정 칼라성분 영상(예를 들면 청색 성분 영상)으로 포함하는 영상(이를 본 실시예에서는 제1영상이라 한다.)을 생성할 수 있다. 이러한 제1영상의 특정 칼라성분 영상의 나머지 칼라 성분 영상(예를 들면 적색과 녹색 성분 영상)의 픽셀 값은 모두 0으로 한다. 즉 제1영상은 청색 영상이고 그 내용은 흑백 반전된 qr코드인 영상이다. 이러한 제1영상과 제2 영상을 번갈아 빠르게 디스플레이에 출력하면 사람은 qr코드 영상을 볼 수 없고 보통 영상만 볼 수 있다. 그러나 고속 카메라로 이러한 디스플레이를 촬영하면 qr코드 영상을 촬영할 수 있고 영상 처리 수단으로 qr코드를 검출 할 수 있다.

촬영된 영상에서 qr코드를 검출하는 것은 상기 실시예1에서 설명한 방법과 동일하다. 즉 촬영된 영상의 파랑 성분 영상을 이치화해서 qr코드 영상을 구할 수 있다.

이러한 사람 눈에 안보이는 qr코드는 tv화면에 출력하여 사용자가 스마트폰으로 그 qr코드를 촬영하여 현재 방송중인 프로그램에 관련된 정보를 얻을 수도 있다. 예를 들어 현재 방송중인 화면에 보여지는 상품에 관련된 정보를 얻을 수 도 있다. tv화면에 출력될 원래의 동영상의 각 프레임 영상을 배경 영상으로 하여 qr코드와 매 순간 마다 합성하여 tv화면에 출력하면 동영상을 배경으로 증강 현실 영상을 합성 할 수 있다. 이는 기존의 증강현실 영상이 정지 영상을 배경으로하는 것보다 우수한 기능이다. 예를 들면 tv속 상어가 화면 밖으로 튀어나오는 영상을 증강 현실 영상으로 합성 할 수도 있다.

본 실시예는 본 발명의 발명인의 이전 특허인 대한민국 특허 등록번호 10-2012-0109581 호 '스테레오 영상기반 영상처리 시스템 '과 유사하지만 본 실시예의 마크는 사람 눈에 보이지 않는 장점이 있다. 이에 비해 상기 등록번호 10-2012-0109581 호의 기술은 마크 영상과 보통영상을 번갈아 출력하기 때문에 맨눈으로 화면을 보면 마크가 보통 영상을 가린다는 문제가 있다.

실시예3

상기 실시예2의 제1영상과 제2 영상을 편광 방식의 3차원 디스플레이에 각각 오른쪽 눈에 보여질 영상과 왼쪽 눈에 보여질 영상으로 출력할 수 있다.

편광 방식의 3차원 디스플레이는 디스플레이 화면을 다수의 가느다란 수평선 영역으로 나누고 짝수 번째 영역과 홀 수 번째 영역에 각각 서로 다른 편광 필터를 부착한 형태이다. 이러한 디스플레이에 짝수 번째 영역에는 오른쪽 눈에 보여질 영상을 출력하고 홀 수 번째 영역에는 왼쪽 눈에 보여질 영상을 출력하고 좌우측 눈에 각각 서로 다른 편광 필터의 안경을 착용하면 좌우측 눈에 서로 다른 영상을 볼 수 있다.

편광방식의 3d디스플레이의 다른 예로 3d 극장에 사용하는 빔프로젝터가 있다. 이러한 빔 프로젝터는 스테레오 영상의 좌우측 눈에 보여질 영상을 서로 다른 편광으로 번갈아 스크린에 투사하는 방식이다. 이러한 빔 프로젝터를 통해 상기 실시예2의 제1영상과 제2영상을 번갈아 서로 다른 편광으로 스크린에 투사할 수 있다.

카메라 렌즈 앞에 제1영상의 편광만 통과시키는 편광 필터를 부착하여 이러한 편광 방식의 3d 화면을 촬영하면 제1영상의 qr코드를 쉽게 검출 할 수 있다. 편광 안경을 착용하지 않은 사람은 제1영상과 제2영상을 모두 보게 되므로 qr코드 영상을 볼 수 없다. 즉 편광 안경을 착용하지 않은 사람은 qr코드가 없는 원래의 보통 영상만 볼 수 있다.

OI : 보통의 칼라 영상
QI :QR코드 영상
4Q :합성된 반투명 QR코드 영상

Claims (7)

1. 마크 영상과 배경 영상을 포함하는 반투명 마크 영상을 생성 하는 영상 생성 장치에 있어서
   배경 영상을 서로 다른 칼라성분 영상들로 분해하는 칼라 영상 분해 수단;
   마크 영상의 경계선의 콘트라스트가
   상기 배경 영상의 분해된 칼라 성분 영상들의 칼라 중 특정 칼라의 성분 영상의 경계선의 콘트라스트보다 크도록 조절하는 콘트라스트 조절 수단;
   상기 콘트라스트가 조절된
   마크 영상과 배경 영상의 특정 칼라 성분 영상의 덧셈 영상을 생성하는 덧셈 영상 생성 수단;
   상기 덧셈 영상과 배경 영상의 특정 칼라 성분 영상을 제외한 나머지 칼라 성분 영상들을 칼라 성분 영상으로 하는
   칼라 영상을 생성하는 칼라 영상 생성 수단을 포함하는 것을 특징으로하는 반투명 마크 영상 생성 장치.
2. 제 1항에 있어서 상기 특정 칼라는 삼원색 중 하나인 것을 특징으로 하는 반투명 마크 영상 생성 장치.
3. 제 1항에 있어서
   상기 반투명 마크 영상의 특정 칼라가 아닌 나머지 칼라 성분 영상이 포함하는 마크 영상의 콘트라스트는
   상기 반투명 마크 영상의 특정 칼라가 아닌 나머지 칼라 성분 영상이 포함하는 배경 영상의 콘트라스트보다 작거나
   상기 반투명 마크 영상의 특정 칼라가 아닌 나머지 칼라 성분 영상에는 마크 영상이 포함되지 않는
   것을 특징으로하는 반투명 마크 영상 생성 장치.
4. 배경 영상을 서로 다른 칼라성분 영상들로 분해하는 단계(1);
   상기 단계(1)에서 분해된 배경 영상의 칼라 성분 영상들 중 특정 칼라 성분 영상의 콘트라스트가 마크 영상의 콘트라스트보다 크지 않도록 조절하는 단계(2);
   상기 콘트라스트가 조절된 배경 영상의 특정 칼라 성분 영상과 마크 영상의 덧셈 영상을 생성하는 덧셈 영상 생성 단계(3);
   상기 덧셈 영상의 밝기 또는 콘트라스트를 인쇄 가능 또는 디스플레이에 출력 가능한 범위로 조절하는 단계(4);
   상기 단계(4)의 밝기 또는 콘트라스트를 인쇄 가능 또는 디스플레이에 출력 가능한 범위로 조절한 영상과 배경 영상의 특정 칼라 성분 영상을 제외한 나머지 칼라 성분 영상을 칼라 성분영상으로하는 칼라 영상을 생성하는 칼라 영상 생성 단계;
   를 포함하는 반투명 마크 영상 합성 방법.
5. 제 4항에 있어서
   상기 마크 영상의 픽셀값의 최대값과 최소값은 절대값이 같고 부호가 다른 값인 것을 특징으로하는
   반투명 마크 영상 합성 방법.
6. 삭제
7. 삭제

Images