KR101617068B1 - 편광 차분 카메라를 이용한 영상처리 시스템 - Google Patents
편광 차분 카메라를 이용한 영상처리 시스템 Download PDFInfo
- Publication number
- KR101617068B1 KR101617068B1 KR1020130120216A KR20130120216A KR101617068B1 KR 101617068 B1 KR101617068 B1 KR 101617068B1 KR 1020130120216 A KR1020130120216 A KR 1020130120216A KR 20130120216 A KR20130120216 A KR 20130120216A KR 101617068 B1 KR101617068 B1 KR 101617068B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- polarized
- mark
- difference
- camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 편광 영상에 포함된 마크를 빠르고 안정적으로 인식하기 위한 영상처리 시스템에 관한 것이다.
Description
본 발명은 편광 마크를 포함하는 영상을 제1편광으로 촬영한 이전 프레임 영상과 제2편광으로 촬영한 그 다음 프레임 영상의 차분 이미지에서 픽셀값이 0이 아닌 픽셀들을 조사하여 편광 마크를 빠르고 용이하게 검출하는 영상처리 시스템에 관한 것이다.
마크인식, 포인팅, 마우스, 증강현실, 편광, 카메라, 차분 이미지, 영상처리
최근에는 카메라를 이용하여 컴퓨터 화면의 마우스 커서 아이콘을 촬영하고 인식하여 포인팅 작업을 할 수 있는 기술이 개발되고 있다. 본 발명은 컴퓨터 화면의 복잡한 배경 속에 있는 마우스 커서 아이콘을 빠르게 안정적으로 인식하는 시스템을 제공하는 것을 목적으로 한다.
또한 카메라가 컴퓨터 화면이 아닌 주변 환경을 촬영하는 동안에는 주변 사물을 마우스 커서 아이콘으로 잘못 인식하는 문제를 해결하는 것을 목적으로 한다.
본 발명에의한 편광 차분 카메라를 이용한 영상처리 시스템은 서로 다른 종류의 영상을 동시에 한 화면에 서로 다른 편광으로 출력시키고 카메라로 두 종류의 영상을 다른 편광으로 촬영하여 촬영된 두 종류의 영상을 비교하여 마크를 안정적으로 빠르게 검출하는 시스템을 제공하는 것을 특징으로 한다.
본 발명에 의한 편광 차분 카메라를 이용한 영상처리 시스템을 이용하여 빠르고 안정적으로 검출한 마크는 포인팅 작업이나 증강현실 기술에 활용될 수 있다. 또한 로봇이 주변 환경을 인식하는데 활용될 수도 있다.
본 발명에 의한 편광 차분 카메라를 이용한 영상처리 시스템은 두 영상을 차분하여 픽셀값을 조사하여 마크가 존재할 가능성이 높은 영역을 구하고 그 영역에서 마크를 검출한다. 만약 카메라가 컴퓨터 화면이 아닌 주변 사물을 촬영한다면 차분영상에서 마크가 존재할 가능성이 높은 영역이 나타나지 않아서 더 이상 마크를 검출하는 시도를 하지 않는다. 따라서 cpu 의 점유율을 낮출 수 있고 전력 소모량도 줄일 수 있다. 그러나 이 같은 본 발명에 의한 차분 방식을 사용하지 않는다면 항상 마크가 존재한다고 가정하고 마크를 검출하려고 시도하기 때문에 cpu 점유율이 높게 되고 전력 소모가 많게 되고 인식 속도도 느려지게 된다.
도1는 제1실시예 구성도
도2는 가변 편광 카메라 구성도
도3은 가변위상지연 필름 단면도
도4는 마크 이미지와 보통 이미지
도2는 가변 편광 카메라 구성도
도3은 가변위상지연 필름 단면도
도4는 마크 이미지와 보통 이미지
실시예1
최근에 카메라를 이용하여 컴퓨터 화면의 마우스 커서 아이콘을 촬영하고 인식하여 포인팅 작업을 할 수 있는 기술이 개발되었다. 예를 들면 본 발명의 발명인의 특허기술인 특허 10-0936816호 카메라와 마크 출력에의한 포인팅 장치 가 있다. 상기한 포인팅 기술은 디스플레이에 홀수 번째 프레임에는 마크 영상을 출력하고 짝수 번째 프레임에는 정상 영상을 출력하고 영상처리부는 홀수 번째 프레임을 촬영한 이미지에서 마크를 인식하여 포인팅 좌표를 산출하는 기술을 포함한다.
이러한 마크가 도1과 같이 같이 마우스 커서 아이콘(ICC)이고 화면 중심에 있어서 그 주변에 충분한 여백이 있다면 마우스커서 아이콘(ICC)을 검출하기 쉽다. 그러나 만약에 마우스 커서 아이콘(ICE)이 디스플레이의 화면(DS)의 경계선에 접하는 경우 화면 밖의 사물의 무늬(PT)와 마크가 유사한 경우 영상처리 프로그램은 마우스 커서 아이콘을 배경으로부터 구별하기 어려울 수도 있다. 또한 카메라를 광각 렌즈 카메라를 사용하거나 카메라와 디스플레이 사이의 거리가 멀면 촬영된 영상에 디스플레이 주변의 사물도 촬영되고 그 사물과 마우스 커서 아이콘을 구별하기 어려울 수도 있다.
본 발명은 이러한 문제를 해결하기 위하여 편광 방식의 3D디스플레이(또는 빔 프로젝터)에 마크 영상을 제1편광으로 출력시키고 그와 동시에 보통 영상을 제2편광으로 출력시키고 이 화면을 카메라로 촬영하되 제1편광으로 촬영한 후 제2 편광으로 촬영하여 촬영된 두 영상을 차분하여 마크를 안정적으로 빠르게 검출하는 시스템을 제공하는 것을 특징으로 한다. 제1편광과 제2편광은 각각 우회전 원편광과 좌회전 원편광일 수 있다.
카메라렌즈 앞에 도2와 같이 편광필름(PL)과 전기적으로 조정할 수 있는 가변 위상 지연필터(PR)를 부착하고 상기 편광 마크를 촬영하는 경우 가변 위상 지연 필터(PR)를 전기적으로 조정하면 투과되는 편광의 종류를 선택 할 수 있다. 가변 위상지연필터는 상품화 되어 판매되고 있다. 예를 들면 http://www.arcoptix.ch/variable_phase_retarder.htm 라는 웹싸이트에는 인가하는 전압을 조정하여 지연되는 위상값을 조정하는 가변 위상 지연자(variable phase retarder)를 소개하고 있다. 이 가변 위상 지연자는 도3과 같이 액정(L)을 일정 방향으로 정렬시키는 배향막과 투명 전극이 코팅된 두 유리판(G) 사이에 액정(L)을 채워 넣은 후 전압을 가해서 액정의 방향을 조정함으로써 위상 지연값을 변화시키는 구성이다. 이러한 장치는 전압을 가하지 않은 상태에서는 도3와 같이 액정이 두 유리판에 평행하게 배열되어있어서 최대 위상지연 기능을 하고 전압을 가할 수록 액정이 두 유리판에 수직인 방향으로 정렬함으로써 점차 위상 지연 값이 감소하게 된다. 이와 같은 가변 위상 지연 필터를 사용하면 가변 위상 지연 필터에 인가하는 전압을 조절함으로써 선편광을 원편광으로 바꿀 수 있고 편광의 방향도 바꿀 수도 있다. 따라서 사용자는 카메라에 설치된 전압 조절수단을 조정하여 원하는 편광을 촬영할 수 있다.
이러한 가변 편광필터(가변 위상 지연필름과 편광필름)에 제1전기 신호를 인가하여 제1편광으로 마크 영상을 촬영하고 다음 순간에 제2 전기신호를 인가하여 제2편광으로 보통 영상을 촬영한 두 영상의 차분 영상을 구하면 도1의 디스플레이 밖의 일반 사물(PT)은 두 영상에 모두 촬영되어 차분 값이 0이 된다. 여기서 차분 영상(difference image)은 두 이미지에서 대응되는 픽셀의 차이값을 픽셀값으로 하는 영상을 의미한다. 예를 들어서 차분 영상의 (x,y)의 픽셀 값은 두 영상의 (x,y)의 픽셀 값의 차이이다. 그러나 디스플레이 내부 영역은 두 영상에 각각 다르게 촬영되어 차분 값이 0이 아니게 된다. 마크 영역을 차분으로 검출하기 쉽도록 디스플레이에 출력할 보통 이미지(OI)에서 마크 이미지의 마크 영역(MK)에 대응하는 영역을 어둡게 조정하는 것이 바람직하다. 여기서 대응하는 영역이란 두 이미지를 겹쳐 놓았을 때 대응되는 영역도 겹치는 것을 의미한다. 예를 들어서 도4와 같이 보통 이미지의 마크 영역(MK)을 어둡게 밝기를 조정하면 마크 영역의 차분 값은 양수가 된다. 차분 순서를 도4와 같이 마크 영상(MI)에서 보통 영상(OI)을 빼도록 설정하면 마크 이미지의 마크 주변에는 검정 여백이므로 픽셀 값이 0 또는 매우 작은 값이고 보통 영상에는 픽셀 값이 0 또는 양수이므로 마크 영역을 제외한 그 주변 여백에서는 차분 값이 0 또는 음수가 된다. 따라서 차분 영상에서 차분 값이 양수인 영역이 마크가 존재할 가능성이 높은 영역이 되고 마크를 촬영한 제1 편광 영상에서 상기 마크가 존재할 가능성이 높은 영역을 조사하면 마크를 쉽고 빠르게 검출 할 수 있다. 본 발명에서는 이처럼 보통 영상의 마크 부분을 어둡게 조정한 보통 영상과 마크 영상의 차분 영상을 구하는 것을 1차 차분이라 한다.
카메라가 정지한 상태라면 차분 이미지에서 마크 영역만 차분 값이 양수이고 나머지 영역은 음수 또는 0이 된다. 그러나 카메라가 움직인 경우에는 마크와 디스플레이 주변 사물의 경계선에서도 차분 값이 양수가 될 수 있다. 이 경우 차분 값이 양수인 영역 중에서 사물의 경계선에 해당하는 영역을 제거하면 마크 영역만 구할 수 있다. 본 발명에서는 이와 같이 1차 차분 영상에서 사물의 경계선에 해당하는 영역을 제거하는 것을 2차 차분이라 한다. 보통 이미지를 촬영한 영상에서 사물의 경계선을 구하면 디스플레이 안의 보통 영상의 사물의 경계선도 구해지기 때문에 사물의 경계선 영역을 구하는 것은 마크 이미지를 촬영한 영상을 이용하는 것이 바람직하다.
이를 정리하면 다음과 같다
(단계1)디스플레이에 제1편광으로 출력된 마크 영상을 촬영한다.
(단계2)디스플레이에 제2편광으로 출력된 마크 영역의 밝기를 어둡게 조정한 보통 영상을 촬영한다.
(단계3)위 단계1,2에서 촬영된 두 영상의 차분 영상(1차 차분)에서 픽셀 값이 양수인 영역을 검출한다.
(단계4)단계1에서 촬영한 마크 영상에서 사물의 경계선 영역을 구한다.
(단계5)단계3에서 구한 차분 픽셀 값이 양수인 영역 중에서 단계4에서 구한 사물의 경계선 영역을 제외한 나머지 영역을 구해서(2차 차분) 그 영역을 조사해서 마크를 검출한다.
단계5에서 사물의 경계선 영역을 제외하는 경우 경계선 근방의 적당한 영역까지 제거하는 것이 바람직하다. 이 근방의 범위는 카메라가 빠르게 움직일수록 크게 하는 것이 바람직하다.
단계4에서 사물의 경계선을 구하는 방법은 예를 들어서 케니 에지 검출기(canny edge detector)를 사용할 수 있다. 그러나 이 방법은 임계값을 어떻게 주느냐에 따라 검출되는 경계선이 달라지는 문제가 있고 카메라가 움직이는 속도와 검출되는 경계선의 굵기가 무관하다는 문제가 있다. 본 발명에서는 케니 에지 검출기로 검출한 경계선 영상 대신 다음과 같은 차분에 의한 경계선 이미지를 사용하는 것이 바람직하다.
촬영 순서를 다음과 같다고 하자
시각 | 촬영한 영상 |
t-2 | 마크 이미지0 |
t-1 | 보통 이미지1 |
T | 마크 이미지2 |
T+1 | 보통 이미지3 |
현재 시각이 t라면 이전 순간(t-2)에 촬영한 마크 이미지0 과 현재 순간(t)에 촬영한 마크 이미지2의 차분 이미지(이를 본 발명에서는 차분에 의한 경계선 이미지라 한다.)를 경계선 영상으로 사용하는 것이 바람직하다.
이 방식을 사용하면 카메라 움직임이 많으면 검출되는 경계선 영역도 굵어지게 된다. 즉 1차 차분영상의 픽셀 값이 양수인 영역의 굵기와 차분에 의한 경계선 이미지의 픽셀값이 양수인 영역의 굵기가 서로 거의 같게 되므로 단계5에서 구한 2차 차분 이미지가 더 깨끗해지는 장점이 있다. 만약에 단계4에서 케니 에지 검출기로 경계선 이미지를 구해서 단계5에서 그것을 사용하면 케니 에지 검출기로 구한 경계선의 굵기는 카메라 움직임과 무관하게 항상 일정하지만 1차 차분 영상에서의 경계선의 굵기는 카메라 움직임에 따라 변하므로(카메라가 빠르게 움직일수록 굵어진다) 2차 차분 영상에서 경계선이 덜 지워질 수도 있다.
이렇게 검출한 마크나 마우스 커서 아이콘은 포인팅 작업에 이용될 수 있다. 즉 카메라가 촬영한 영상에서 검출한 마우스 커서 아이콘이 카메라의 시선 방향으로 이동하도록 포인팅 신호를 생성 할 수 있다.
포인팅 작업을 잠시 중단하는 경우 카메라를 책상 위에 놓고 다른 일을 할 수 있다. 이 경우 카메라는 디스플레이가 아닌 주변 환경을 촬영하게 된다. 이 경우에 종래의 기술인 특허 10-0936816호 카메라와 마크 출력에의한 포인팅 장치의 기술로 포인팅 작업을 한다면 주변 환경에 마우스 커서 아이콘과 유사한 무늬가 있다면 이를 영상처리프로그램이 잘못 인식하여 잘못된 포인팅 신호가 발생할 수 있다. 그러나 본 발명에의한 차분 방식을 사용하면 1차 차분 영상에서 모든 픽셀값이 0이므로 마크가 존재하지 않음을 쉽게 알 수 있어서 다음 단계로 진행하지 않을 수 있다. 즉 프로그램은 마크가 존재하지 않음을 쉽고 빠르게 알 수 있고 더 이상 마크를 검출하기 위한 단계(예를 들면 2차 차분을 구하는 단계)를 거치지 않아서 cpu를 점유하지 않게 되므로 전력 소모를 줄일 수 있다.
또한 카메라와 디스플레이 사이가 멀면 촬영된 이미지에서 마우스커서 아이콘이 작아지게 되고 영상처리 프로그램은 그 형태를 분석하기 어렵다. 그러나 본 발명에의한 포인팅 장치는 2차 차분 이미지의 픽셀 값이 양수인 지점만 검출하면 되므로 마크의 형태를 알아볼 수 없더라도 인식이 가능하다. 즉 종래의 기술보다 먼 거리에서도 안정적으로 마크를 검출 할 수 있다.
현재 홈쇼핑 프로그램 영상의 일부 영역에 QR코드를 출력하여 방송하고 있다. 이러한 QR코드 영상과 일반 방송 영상을 각각 서로 다른 편광으로 편광방식의 3D디스플레이에 동시에 출력하고 본 실시예의 방법으로 QR코드를 손쉽고 빠르게 검출 할 수 있다.
마우스 커서 아이콘 대신 디스플레이의 사각형의 네 꼭지점에 마크를 출력하고 이를 본 실시예의 방법으로 검출하여 카메라와 디스플레이 사이의 3차원 상대위치와 방향을 검출하여 증강현실 영상을 생성할 수도 있다.
실시예2
본 실시예는 상기 실시예1의 변형 예이다. 상기 실시예는 검정 공백 이미지(공백 이미지는 모든 픽셀 값이 동일한 이미지를 의미한다.)에 마크 이미지를 합성한 이미지를 제1 편광으로 디스플레이에 출력하고, 보통 이미지의 대응되는 마크 이미지 부분을 어둡게 조정한 보통 이미지를 제2편광으로 디스플레이에 출력한 영상을 각각 촬영하여 차분하는 방식이다.
이에 비해 본 실시예는 마크의 제1칼라 성분 이미지(예를 들면 빨강 성분 이미지)를 보통 영상의 상기 제1 칼라의 보색 칼라(예를 들면 시안) 성분 영상에 합성한 이미지를 제1 편광으로 출력하고, 마크의 제1칼라의 보색 성분 영상을 보통 영상의 제1 칼라 성분 영상에 합성한 영상을 제2 편광으로 출력하는 방식이다. 여기서 주어진 칼라 이미지의 제1칼라 성분 이미지(예를 들면 빨강 성분 이미지)란 각 픽셀의 빨강,파랑,녹색 성분 중 제1칼라 성분 값(예를 들면 빨강 성분 값)을 제외한 나머지 상분 값을 0으로 바꾼 이미지를 의미한다. 이러한 두 영상이 동시에 화면에 출력되면 사용자는 마크와 보통 이미지를 풀 칼라로 보게 된다. 이렇게 출력한 두 영상을 상기 실시예처럼 가변 편광 필터를 부착한 카메라를 사용하여 각각 제1 편광과 제2 편광으로 촬영해서 얻은 두 개의 칼라 이미지에서 제1 칼라 성분만 선택하면 도4와 같이 제1편광 영상(MI)에서는 마크 부분만 밝게 표시되고 그 주변의 디스플레이 영역은 어둡게 표시된다. 그리고 제2편광 영상(OI)에서는 마크 부분만 어둡고 그 주변 디스플레이 영역에서는 밝게 표시된다. 이러한 두 개의 제1칼라 성분 영상으로 1차 차분 영상을 구하면(즉 제1 편광 영상의 제1 칼라 성분 영상(MI)에서 제2편광 영상의 제1 칼라 성분 영상(OI)을 차분하면) 차분 영상에서 마크 부분은 차분 값이 양수가 되고 그 주변 디스플레이 영역은 음수 또는 0이 된다. 만약 카메라가 움직인 상태라면 디스플레이 밖의 영역에서도 물체의 경계선 부분에서 차분 값이 양수가 될 수도 있다. 이 경우에는 상기 실시예1처럼 2차 차분으로 사물의 경계선 영역을 구해서 그 부분만 1차 차분 영상에서 제외하면 마크 부분만 양수가 된다. 따라서 1,2차 차분 과정을 거쳐서 구한 최종 차분 이미지에서 양수인 픽셀의 영역을 조사하면 마크를 쉽게 검출 할 수 있다.
실시예3
편광 방식의 3D디스플레이에 QR코드를 출력할 수도 있지만 투명 편광 필름에 구멍을 뚫어서 편광 QR코드를 만들어 벽에 부착하고 카메라로 이를 촬영하고 상기 실시예1의 방법으로 인식하여 QR코드의 정보를 얻을 수 있다. 예를 들어서 qr코드의 흰색 영역에 대응하는 투명 편광 필름의 영역에 구멍을 뚫어 투명한 편광 필름 qr코드를 만들 수 있다. 이러한 투명 편광필름 qr코드는 흰색 벽면에 부착할 수 있다. 제1 편광으로 상기 투명 편광 qr코드를 촬영하면 편광 필름 부분이 검게 촬영되고 구멍 부분은 흰색으로 촬영된다. 그리고 제2편광으로 촬영하면 편광 필름 부분과 구멍 부분 모두 흰색으로 촬영된다. 이러한 두 영상을 차분하여 편광 필름 부분만 검출할 수 있다. 이러한 편광 QR코드는 기존의 흰 종이에 검정으로 인쇄한 QR코드가 사람 눈에 거슬린다는 문제를 해결 할 수 있다.
이러한 QR코드에 그 QR코드가 부착된 지점의 위도와 경도 또는 실내 위치 정보를 포함시키고 로봇(예를 들면 청소로봇)이 본 발명의 기술을 이용하여 인식하여 자율 주행을 하게 할 수도 있다.
실시예4
상기 실시예의 카메라는 제1편광 영상을 촬영한 후에 제2편광 영상을 촬영하는 방식이다. 이와 달리 이미지 센서의 짝수 번째 픽셀에는 제1편광필터를 부착하고 홀수 번째 픽셀에는 제2편광 필터를 부착하여 동시에 제1편광 영상과 제2편광 영상을 촬영할 수 도 있다. 이러한 이미지 센서를 편광 이미지 센서라 한다. 이는 마치 각 픽셀마다 삼원색에 대응하는 칼라 필터를 부착한 칼라 이미지 센서와 유사한 구조이다. 칼라 이미지 센서로 촬영한 칼라 이미지를 삼원색 성분으로 분리해 낼 수 있듯이 편광 이미지 센서로 촬영한 영상에서 제1 편광 영상과 제2 편광 영상을 분리해서 차분 이미지를 구할 수 있다.
ICC,ICE :마우스 커서 아이콘
DS : 디스플레이
CM : 카메라
PT :주변 환경 무늬
PL : 편광필름
PR :위상지연필터
L : 액정
G : 유리판
MI : 마크 이미지
OI : 보통 이미지
MK : 마크 영역
DS : 디스플레이
CM : 카메라
PT :주변 환경 무늬
PL : 편광필름
PR :위상지연필터
L : 액정
G : 유리판
MI : 마크 이미지
OI : 보통 이미지
MK : 마크 영역
Claims (16)
- 영상처리 시스템에 있어서
제1 편광 영상과 제2 편광 영상을 포함하는 편광 영상 표시부;
상기 두 편광 영상을 제1편광 영상과 제2편광 영상으로 분리하여 촬영하는 카메라;
상기 카메라에서 촬영한 제1편광 영상과 제2편광 영상의 차분 영상을 출력하는 영상처리수단을 포함하되
상기 제1편광 영상은 투명 편광 필름 영역이고 상기 제2 편광 영상은 상기 투명 편광 필름에 형성된 구멍의 영역인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 제 1항에 있어서 제1편광 영상 또는 제2편광 영상은 정보를 나타내는 코드나 문자 또는 패턴 또는 증강현실용 마크인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
- 영상처리 시스템에 있어서
제1 편광 영상과 제2 편광 영상을 포함하는 편광 영상 표시부;
상기 두 편광 영상을 제1편광 영상과 제2편광 영상으로 분리하여 촬영하는 카메라;
상기 카메라에서 촬영한 제1편광 영상과 제2편광 영상의 차분 영상을 출력하는 영상처리수단을 포함하되
상기 제1 편광 영상과 제2 편광 영상은 편광방식 3d디스플레이에 출력되는 스테레오 영상이고
제1 편광 영상은 마크 영상이고 제2편광 영상은 보통 영상이고 영상처리수단은 두 영상의 차분이미지를 조사하여 마크를 검출하는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 영상처리 시스템에 있어서
제1 편광 영상과 제2 편광 영상을 포함하는 편광 영상 표시부;
상기 두 편광 영상을 제1편광 영상과 제2편광 영상으로 분리하여 촬영하는 카메라;
상기 카메라에서 촬영한 제1편광 영상과 제2편광 영상의 차분 영상을 출력하는 영상처리수단을 포함하되
상기 제1 편광 영상과 제2 편광 영상은 편광방식 3d디스플레이에 출력되는 스테레오 영상이고
제1 편광 영상은 보통 영상의 제1 칼라의 보색 칼라 성분 영상에 마크 영상의 제1 칼라 성분 영상을 합성한 영상이고
제2편광 영상은 보통 영상의 제1 칼라 성분 영상에 마크의 제1 칼라의 보색 칼라 성분 영상을 합성한 영상이고
영상처리수단은 두 영상의 제1 칼라 성분 영상의 차분영상을 조사하여 마크를 검출하는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 제 3항내지 제 4항중 어느 한 항에 있어서
영상처리수단은 차분 영상에서 사물의 경계선 영역을 제외한 영역에서 마크를 검출하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 제 3항에 있어서
보통 영상은 마크 영역에 대응하는 영역의 밝기를 어둡게 조정한 영상인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 제 3항내지 제 4항중 어느 한 항에 있어서
제1 편광 영상은 마우스 커서 아이콘 영상이고
영상처리수단은 두 영상의 차분이미지를 조사하여 마우스 커서 아이콘을 검출하여 포인팅 신호를 출력하는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 제 3항내지 제 4항중 어느 한 항에 있어서
제1 편광 영상은 증강현실용 마크 영상이고
영상처리수단은 두 영상의 차분 이미지를 조사하여 마크를 검출하여 카메라와 마크 사이의 3차원 상대위치와 방향을 검출하여 증강현실 영상을 출력하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 제 5항에 있어서
영상처리수단은 이전 순간에 촬영한 마크 이미지와 현재 촬영한 마크 이미지의 차분 이미지로부터 사물의 경계선 이미지를 구하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템 - 제 3항내지 제 4항 중 어느 한 항에 있어서
영상처리수단은 차분 영상의 픽셀 값이 양수인 영역 중에서 마크를 검출하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20120113232 | 2012-10-11 | ||
KR1020120113232 | 2012-10-11 | ||
KR20120117563 | 2012-10-22 | ||
KR1020120117563 | 2012-10-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140046997A KR20140046997A (ko) | 2014-04-21 |
KR101617068B1 true KR101617068B1 (ko) | 2016-05-02 |
Family
ID=50477634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130120216A KR101617068B1 (ko) | 2012-10-11 | 2013-10-09 | 편광 차분 카메라를 이용한 영상처리 시스템 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9778755B2 (ko) |
JP (1) | JP6258337B2 (ko) |
KR (1) | KR101617068B1 (ko) |
CN (1) | CN104769486B (ko) |
WO (1) | WO2014058234A1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6500355B2 (ja) * | 2014-06-20 | 2019-04-17 | 富士通株式会社 | 表示装置、表示プログラム、および表示方法 |
US11050944B2 (en) | 2018-11-29 | 2021-06-29 | Microsoft Technology Licensing, Llc | Switched polarization imaging to detect display screen |
US10924645B2 (en) | 2018-11-29 | 2021-02-16 | Microsoft Technology Licensing, Llc | Polarization imaging to detect display screen |
CN113491497B (zh) * | 2021-07-27 | 2022-08-12 | 重庆西山科技股份有限公司 | 偏振光内窥镜装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039532A (ja) * | 2010-09-13 | 2011-02-24 | Sony Corp | 画像分離装置 |
JP2011164246A (ja) * | 2010-02-08 | 2011-08-25 | Seiko Epson Corp | 投写位置ずれ量検出装置、投写位置ずれ量検出方法及びプロジェクションシステム |
JP2012080285A (ja) * | 2010-09-30 | 2012-04-19 | Brother Ind Ltd | 撮像装置及びそれを備えたヘッドマウントディスプレイ |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121293A (ja) | 1993-10-26 | 1995-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 表示画面をアクセスするリモートコントローラ |
JP3579096B2 (ja) * | 1994-09-27 | 2004-10-20 | 株式会社日立製作所 | 表示装置 |
JP4020982B2 (ja) | 1995-03-10 | 2007-12-12 | 松下電器産業株式会社 | 動画像処理装置 |
US20010010514A1 (en) | 1999-09-07 | 2001-08-02 | Yukinobu Ishino | Position detector and attitude detector |
JP2001249008A (ja) | 2000-03-06 | 2001-09-14 | Nikon Corp | 監視装置 |
JP2001325069A (ja) | 2000-03-07 | 2001-11-22 | Nikon Gijutsu Kobo:Kk | 位置検出装置およびその方法 |
JP3961344B2 (ja) | 2002-05-31 | 2007-08-22 | 株式会社東芝 | 画像処理システム、画像処理方法、画像処理プログラム |
DE10233928A1 (de) | 2002-07-25 | 2004-02-12 | Giesecke & Devrient Gmbh | Verfahren und Vorrichtung zur Echtheitsprüfung eines Sicherheitselements |
DE602004003355T2 (de) | 2003-03-14 | 2007-10-04 | Koninklijke Philips Electronics N.V. | 3d-videokonferenzen |
JP4590858B2 (ja) * | 2003-11-18 | 2010-12-01 | 富士ゼロックス株式会社 | 書き込み可能プロジェクタおよび光ポインタ |
CN2840334Y (zh) | 2005-06-17 | 2006-11-22 | 深圳市比克电池有限公司 | 一种锂离子电池盖板、电池壳及电池 |
CN101686820A (zh) * | 2007-02-14 | 2010-03-31 | 路耐狄斯公司 | 用于将表面下结构投影到对象表面上的系统和方法 |
AU2008240987B2 (en) | 2007-04-24 | 2014-04-03 | Sicpa Holding Sa | Method of marking a document or item; method and device for identifying the marked document or item; use of circular polarizing particles |
KR100936816B1 (ko) | 2007-05-26 | 2010-01-14 | 이문기 | 카메라와 마크 출력에의한 포인팅 장치 |
US9317754B2 (en) | 2009-12-25 | 2016-04-19 | Ricoh Company, Ltd. | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
IT1397294B1 (it) * | 2010-01-07 | 2013-01-04 | 3Dswitch S R L | Dispositivo e metodo per il riconoscimento di occhiali per visione stereoscopica, e relativometodo di controllo della visualizzazione di un flusso video stereoscopico. |
US8217997B2 (en) | 2010-03-16 | 2012-07-10 | Interphase Corporation | Interactive display system |
US20120038668A1 (en) | 2010-08-16 | 2012-02-16 | Lg Electronics Inc. | Method for display information and mobile terminal using the same |
KR101814600B1 (ko) | 2010-08-26 | 2018-01-30 | 삼성전자주식회사 | 통신 연결 방법 및 장치 |
CN102421002A (zh) | 2011-11-21 | 2012-04-18 | 杨辉洲 | 一种实现多视频内容互不干扰观看的方法及系统 |
-
2013
- 2013-10-09 KR KR1020130120216A patent/KR101617068B1/ko not_active IP Right Cessation
- 2013-10-10 CN CN201380053070.7A patent/CN104769486B/zh not_active Expired - Fee Related
- 2013-10-10 US US14/434,617 patent/US9778755B2/en not_active Expired - Fee Related
- 2013-10-10 JP JP2015535573A patent/JP6258337B2/ja not_active Expired - Fee Related
- 2013-10-10 WO PCT/KR2013/009040 patent/WO2014058234A1/ko active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011164246A (ja) * | 2010-02-08 | 2011-08-25 | Seiko Epson Corp | 投写位置ずれ量検出装置、投写位置ずれ量検出方法及びプロジェクションシステム |
JP2011039532A (ja) * | 2010-09-13 | 2011-02-24 | Sony Corp | 画像分離装置 |
JP2012080285A (ja) * | 2010-09-30 | 2012-04-19 | Brother Ind Ltd | 撮像装置及びそれを備えたヘッドマウントディスプレイ |
Also Published As
Publication number | Publication date |
---|---|
CN104769486A (zh) | 2015-07-08 |
US20150286289A1 (en) | 2015-10-08 |
JP6258337B2 (ja) | 2018-01-10 |
US9778755B2 (en) | 2017-10-03 |
CN104769486B (zh) | 2018-02-27 |
WO2014058234A1 (ko) | 2014-04-17 |
KR20140046997A (ko) | 2014-04-21 |
JP2016500837A (ja) | 2016-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3248374B1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
KR102489402B1 (ko) | 디스플레이 장치 및 그의 영상 표시 방법 | |
WO2013146269A1 (ja) | 画像撮像装置、画像処理方法およびプログラム | |
CN108463840B (zh) | 信息处理设备、信息处理方法以及记录介质 | |
US20120237114A1 (en) | Method and apparatus for feature-based stereo matching | |
KR101617068B1 (ko) | 편광 차분 카메라를 이용한 영상처리 시스템 | |
US20160155009A1 (en) | Display apparatus and image processing method thereby | |
KR20140108078A (ko) | 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치 | |
TWI450024B (zh) | 立體深度影像建立系統及其方法 | |
JP2016540267A5 (ko) | ||
KR101516487B1 (ko) | 차분 카메라를 이용한 영상처리 장치 | |
TWI533256B (zh) | 影像感測裝置與影像感測的方法 | |
CN105551380A (zh) | 镜面显示设备 | |
TWI518603B (zh) | 影像編輯方法與電子裝置 | |
WO2018150569A1 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
TWI502271B (zh) | 控制方法及電子裝置 | |
JP5765418B2 (ja) | 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム | |
CN105203072B (zh) | 一种信息处理方法和电子设备 | |
TWI539139B (zh) | 物件距離計算方法以及物件距離計算裝置 | |
WO2015154491A1 (zh) | 一种照片拍摄方法、显示方法及装置 | |
EP2426930A1 (en) | System and method of analyzing a stereo video signal | |
CN105516706A (zh) | 制作立体影像方法 | |
KR20160078082A (ko) | 스테레오 카메라를 이용한 손 영역 검출 장치 및 방법 | |
TW201408990A (zh) | 空間定位方法以及空間定位裝置 | |
KR101316316B1 (ko) | 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |