KR20140046997A - 편광 차분 카메라를 이용한 영상처리 시스템 - Google Patents

편광 차분 카메라를 이용한 영상처리 시스템 Download PDF

Info

Publication number
KR20140046997A
KR20140046997A KR20130120216A KR20130120216A KR20140046997A KR 20140046997 A KR20140046997 A KR 20140046997A KR 20130120216 A KR20130120216 A KR 20130120216A KR 20130120216 A KR20130120216 A KR 20130120216A KR 20140046997 A KR20140046997 A KR 20140046997A
Authority
KR
South Korea
Prior art keywords
image
polarization
mark
camera
image processing
Prior art date
Application number
KR20130120216A
Other languages
English (en)
Other versions
KR101617068B1 (ko
Inventor
이문기
Original Assignee
이문기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이문기 filed Critical 이문기
Publication of KR20140046997A publication Critical patent/KR20140046997A/ko
Application granted granted Critical
Publication of KR101617068B1 publication Critical patent/KR101617068B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

본 발명은 편광 영상에 포함된 마크를 빠르고 안정적으로 인식하기 위한 영상처리 시스템에 관한 것이다.

Description

편광 차분 카메라를 이용한 영상처리 시스템{IMAGE PROCESSING SYSTEM USING POLARIZATION DIFFERENCE CAMERA}
본 발명은 편광 마크를 포함하는 영상을 제1편광으로 촬영한 이전 프레임 영상과 제2편광으로 촬영한 그 다음 프레임 영상의 차분 이미지에서 픽셀값이 0이 아닌 픽셀들을 조사하여 편광 마크를 빠르고 용이하게 검출하는 영상처리 시스템에 관한 것이다.
마크인식, 포인팅, 마우스, 증강현실, 편광, 카메라, 차분 이미지, 영상처리
최근에는 카메라를 이용하여 컴퓨터 화면의 마우스 커서 아이콘을 촬영하고 인식하여 포인팅 작업을 할 수 있는 기술이 개발되고 있다. 본 발명은 컴퓨터 화면의 복잡한 배경 속에 있는 마우스 커서 아이콘을 빠르게 안정적으로 인식하는 시스템을 제공하는 것을 목적으로 한다.
또한 카메라가 컴퓨터 화면이 아닌 주변 환경을 촬영하는 동안에는 주변 사물을 마우스 커서 아이콘으로 잘못 인식하는 문제를 해결하는 것을 목적으로 한다.
본 발명에의한 편광 차분 카메라를 이용한 영상처리 시스템은 서로 다른 종류의 영상을 동시에 한 화면에 서로 다른 편광으로 출력시키고 카메라로 두 종류의 영상을 다른 편광으로 촬영하여 촬영된 두 종류의 영상을 비교하여 마크를 안정적으로 빠르게 검출하는 시스템을 제공하는 것을 특징으로 한다.
본 발명에 의한 편광 차분 카메라를 이용한 영상처리 시스템을 이용하여 빠르고 안정적으로 검출한 마크는 포인팅 작업이나 증강현실 기술에 활용될 수 있다. 또한 로봇이 주변 환경을 인식하는데 활용될 수도 있다.
본 발명에 의한 편광 차분 카메라를 이용한 영상처리 시스템은 두 영상을 차분하여 픽셀값을 조사하여 마크가 존재할 가능성이 높은 영역을 구하고 그 영역에서 마크를 검출한다. 만약 카메라가 컴퓨터 화면이 아닌 주변 사물을 촬영한다면 차분영상에서 마크가 존재할 가능성이 높은 영역이 나타나지 않아서 더 이상 마크를 검출하는 시도를 하지 않는다. 따라서 cpu 의 점유율을 낮출 수 있고 전력 소모량도 줄일 수 있다. 그러나 이 같은 본 발명에 의한 차분 방식을 사용하지 않는다면 항상 마크가 존재한다고 가정하고 마크를 검출하려고 시도하기 때문에 cpu 점유율이 높게 되고 전력 소모가 많게 되고 인식 속도도 느려지게 된다.
도1는 제1실시예 구성도
도2는 가변 편광 카메라 구성도
도3은 가변위상지연 필름 단면도
도4는 마크 이미지와 보통 이미지
실시예1
최근에 카메라를 이용하여 컴퓨터 화면의 마우스 커서 아이콘을 촬영하고 인식하여 포인팅 작업을 할 수 있는 기술이 개발되었다. 예를 들면 본 발명의 발명인의 특허기술인 특허 10-0936816호 카메라와 마크 출력에의한 포인팅 장치 가 있다. 상기한 포인팅 기술은 디스플레이에 홀수 번째 프레임에는 마크 영상을 출력하고 짝수 번째 프레임에는 정상 영상을 출력하고 영상처리부는 홀수 번째 프레임을 촬영한 이미지에서 마크를 인식하여 포인팅 좌표를 산출하는 기술을 포함한다.
이러한 마크가 도1과 같이 같이 마우스 커서 아이콘(ICC)이고 화면 중심에 있어서 그 주변에 충분한 여백이 있다면 마우스커서 아이콘(ICC)을 검출하기 쉽다. 그러나 만약에 마우스 커서 아이콘(ICE)이 디스플레이의 화면(DS)의 경계선에 접하는 경우 화면 밖의 사물의 무늬(PT)와 마크가 유사한 경우 영상처리 프로그램은 마우스 커서 아이콘을 배경으로부터 구별하기 어려울 수도 있다. 또한 카메라를 광각 렌즈 카메라를 사용하거나 카메라와 디스플레이 사이의 거리가 멀면 촬영된 영상에 디스플레이 주변의 사물도 촬영되고 그 사물과 마우스 커서 아이콘을 구별하기 어려울 수도 있다.
본 발명은 이러한 문제를 해결하기 위하여 편광 방식의 3D디스플레이(또는 빔 프로젝터)에 마크 영상을 제1편광으로 출력시키고 그와 동시에 보통 영상을 제2편광으로 출력시키고 이 화면을 카메라로 촬영하되 제1편광으로 촬영한 후 제2 편광으로 촬영하여 촬영된 두 영상을 차분하여 마크를 안정적으로 빠르게 검출하는 시스템을 제공하는 것을 특징으로 한다. 제1편광과 제2편광은 각각 우회전 원편광과 좌회전 원편광일 수 있다.
카메라렌즈 앞에 도2와 같이 편광필름(PL)과 전기적으로 조정할 수 있는 가변 위상 지연필터(PR)를 부착하고 상기 편광 마크를 촬영하는 경우 가변 위상 지연 필터(PR)를 전기적으로 조정하면 투과되는 편광의 종류를 선택 할 수 있다. 가변 위상지연필터는 상품화 되어 판매되고 있다. 예를 들면 http://www.arcoptix.ch/variable_phase_retarder.htm 라는 웹싸이트에는 인가하는 전압을 조정하여 지연되는 위상값을 조정하는 가변 위상 지연자(variable phase retarder)를 소개하고 있다. 이 가변 위상 지연자는 도3과 같이 액정(L)을 일정 방향으로 정렬시키는 배향막과 투명 전극이 코팅된 두 유리판(G) 사이에 액정(L)을 채워 넣은 후 전압을 가해서 액정의 방향을 조정함으로써 위상 지연값을 변화시키는 구성이다. 이러한 장치는 전압을 가하지 않은 상태에서는 도3와 같이 액정이 두 유리판에 평행하게 배열되어있어서 최대 위상지연 기능을 하고 전압을 가할 수록 액정이 두 유리판에 수직인 방향으로 정렬함으로써 점차 위상 지연 값이 감소하게 된다. 이와 같은 가변 위상 지연 필터를 사용하면 가변 위상 지연 필터에 인가하는 전압을 조절함으로써 선편광을 원편광으로 바꿀 수 있고 편광의 방향도 바꿀 수도 있다. 따라서 사용자는 카메라에 설치된 전압 조절수단을 조정하여 원하는 편광을 촬영할 수 있다.
이러한 가변 편광필터(가변 위상 지연필름과 편광필름)에 제1전기 신호를 인가하여 제1편광으로 마크 영상을 촬영하고 다음 순간에 제2 전기신호를 인가하여 제2편광으로 보통 영상을 촬영한 두 영상의 차분 영상을 구하면 도1의 디스플레이 밖의 일반 사물(PT)은 두 영상에 모두 촬영되어 차분 값이 0이 된다. 여기서 차분 영상(difference image)은 두 이미지에서 대응되는 픽셀의 차이값을 픽셀값으로 하는 영상을 의미한다. 예를 들어서 차분 영상의 (x,y)의 픽셀 값은 두 영상의 (x,y)의 픽셀 값의 차이이다. 그러나 디스플레이 내부 영역은 두 영상에 각각 다르게 촬영되어 차분 값이 0이 아니게 된다. 마크 영역을 차분으로 검출하기 쉽도록 디스플레이에 출력할 보통 이미지(OI)에서 마크 이미지의 마크 영역(MK)에 대응하는 영역을 어둡게 조정하는 것이 바람직하다. 여기서 대응하는 영역이란 두 이미지를 겹쳐 놓았을 때 대응되는 영역도 겹치는 것을 의미한다. 예를 들어서 도4와 같이 보통 이미지의 마크 영역(MK)을 어둡게 밝기를 조정하면 마크 영역의 차분 값은 양수가 된다. 차분 순서를 도4와 같이 마크 영상(MI)에서 보통 영상(OI)을 빼도록 설정하면 마크 이미지의 마크 주변에는 검정 여백이므로 픽셀 값이 0 또는 매우 작은 값이고 보통 영상에는 픽셀 값이 0 또는 양수이므로 마크 영역을 제외한 그 주변 여백에서는 차분 값이 0 또는 음수가 된다. 따라서 차분 영상에서 차분 값이 양수인 영역이 마크가 존재할 가능성이 높은 영역이 되고 마크를 촬영한 제1 편광 영상에서 상기 마크가 존재할 가능성이 높은 영역을 조사하면 마크를 쉽고 빠르게 검출 할 수 있다. 본 발명에서는 이처럼 보통 영상의 마크 부분을 어둡게 조정한 보통 영상과 마크 영상의 차분 영상을 구하는 것을 1차 차분이라 한다.
카메라가 정지한 상태라면 차분 이미지에서 마크 영역만 차분 값이 양수이고 나머지 영역은 음수 또는 0이 된다. 그러나 카메라가 움직인 경우에는 마크와 디스플레이 주변 사물의 경계선에서도 차분 값이 양수가 될 수 있다. 이 경우 차분 값이 양수인 영역 중에서 사물의 경계선에 해당하는 영역을 제거하면 마크 영역만 구할 수 있다. 본 발명에서는 이와 같이 1차 차분 영상에서 사물의 경계선에 해당하는 영역을 제거하는 것을 2차 차분이라 한다. 보통 이미지를 촬영한 영상에서 사물의 경계선을 구하면 디스플레이 안의 보통 영상의 사물의 경계선도 구해지기 때문에 사물의 경계선 영역을 구하는 것은 마크 이미지를 촬영한 영상을 이용하는 것이 바람직하다.
이를 정리하면 다음과 같다
(단계1)디스플레이에 제1편광으로 출력된 마크 영상을 촬영한다.
(단계2)디스플레이에 제2편광으로 출력된 마크 영역의 밝기를 어둡게 조정한 보통 영상을 촬영한다.
(단계3)위 단계1,2에서 촬영된 두 영상의 차분 영상(1차 차분)에서 픽셀 값이 양수인 영역을 검출한다.
(단계4)단계1에서 촬영한 마크 영상에서 사물의 경계선 영역을 구한다.
(단계5)단계3에서 구한 차분 픽셀 값이 양수인 영역 중에서 단계4에서 구한 사물의 경계선 영역을 제외한 나머지 영역을 구해서(2차 차분) 그 영역을 조사해서 마크를 검출한다.
단계5에서 사물의 경계선 영역을 제외하는 경우 경계선 근방의 적당한 영역까지 제거하는 것이 바람직하다. 이 근방의 범위는 카메라가 빠르게 움직일수록 크게 하는 것이 바람직하다.
단계4에서 사물의 경계선을 구하는 방법은 예를 들어서 케니 에지 검출기(canny edge detector)를 사용할 수 있다. 그러나 이 방법은 임계값을 어떻게 주느냐에 따라 검출되는 경계선이 달라지는 문제가 있고 카메라가 움직이는 속도와 검출되는 경계선의 굵기가 무관하다는 문제가 있다. 본 발명에서는 케니 에지 검출기로 검출한 경계선 영상 대신 다음과 같은 차분에 의한 경계선 이미지를 사용하는 것이 바람직하다.
촬영 순서를 다음과 같다고 하자
시각 촬영한 영상
t-2 마크 이미지0
t-1 보통 이미지1
T 마크 이미지2
T+1 보통 이미지3
현재 시각이 t라면 이전 순간(t-2)에 촬영한 마크 이미지0 과 현재 순간(t)에 촬영한 마크 이미지2의 차분 이미지(이를 본 발명에서는 차분에 의한 경계선 이미지라 한다.)를 경계선 영상으로 사용하는 것이 바람직하다.
이 방식을 사용하면 카메라 움직임이 많으면 검출되는 경계선 영역도 굵어지게 된다. 즉 1차 차분영상의 픽셀 값이 양수인 영역의 굵기와 차분에 의한 경계선 이미지의 픽셀값이 양수인 영역의 굵기가 서로 거의 같게 되므로 단계5에서 구한 2차 차분 이미지가 더 깨끗해지는 장점이 있다. 만약에 단계4에서 케니 에지 검출기로 경계선 이미지를 구해서 단계5에서 그것을 사용하면 케니 에지 검출기로 구한 경계선의 굵기는 카메라 움직임과 무관하게 항상 일정하지만 1차 차분 영상에서의 경계선의 굵기는 카메라 움직임에 따라 변하므로(카메라가 빠르게 움직일수록 굵어진다) 2차 차분 영상에서 경계선이 덜 지워질 수도 있다.
이렇게 검출한 마크나 마우스 커서 아이콘은 포인팅 작업에 이용될 수 있다. 즉 카메라가 촬영한 영상에서 검출한 마우스 커서 아이콘이 카메라의 시선 방향으로 이동하도록 포인팅 신호를 생성 할 수 있다.
포인팅 작업을 잠시 중단하는 경우 카메라를 책상 위에 놓고 다른 일을 할 수 있다. 이 경우 카메라는 디스플레이가 아닌 주변 환경을 촬영하게 된다. 이 경우에 종래의 기술인 특허 10-0936816호 카메라와 마크 출력에의한 포인팅 장치의 기술로 포인팅 작업을 한다면 주변 환경에 마우스 커서 아이콘과 유사한 무늬가 있다면 이를 영상처리프로그램이 잘못 인식하여 잘못된 포인팅 신호가 발생할 수 있다. 그러나 본 발명에의한 차분 방식을 사용하면 1차 차분 영상에서 모든 픽셀값이 0이므로 마크가 존재하지 않음을 쉽게 알 수 있어서 다음 단계로 진행하지 않을 수 있다. 즉 프로그램은 마크가 존재하지 않음을 쉽고 빠르게 알 수 있고 더 이상 마크를 검출하기 위한 단계(예를 들면 2차 차분을 구하는 단계)를 거치지 않아서 cpu를 점유하지 않게 되므로 전력 소모를 줄일 수 있다.
또한 카메라와 디스플레이 사이가 멀면 촬영된 이미지에서 마우스커서 아이콘이 작아지게 되고 영상처리 프로그램은 그 형태를 분석하기 어렵다. 그러나 본 발명에의한 포인팅 장치는 2차 차분 이미지의 픽셀 값이 양수인 지점만 검출하면 되므로 마크의 형태를 알아볼 수 없더라도 인식이 가능하다. 즉 종래의 기술보다 먼 거리에서도 안정적으로 마크를 검출 할 수 있다.
현재 홈쇼핑 프로그램 영상의 일부 영역에 QR코드를 출력하여 방송하고 있다. 이러한 QR코드 영상과 일반 방송 영상을 각각 서로 다른 편광으로 편광방식의 3D디스플레이에 동시에 출력하고 본 실시예의 방법으로 QR코드를 손쉽고 빠르게 검출 할 수 있다.
마우스 커서 아이콘 대신 디스플레이의 사각형의 네 꼭지점에 마크를 출력하고 이를 본 실시예의 방법으로 검출하여 카메라와 디스플레이 사이의 3차원 상대위치와 방향을 검출하여 증강현실 영상을 생성할 수도 있다.
실시예2
본 실시예는 상기 실시예1의 변형 예이다. 상기 실시예는 검정 공백 이미지(공백 이미지는 모든 픽셀 값이 동일한 이미지를 의미한다.)에 마크 이미지를 합성한 이미지를 제1 편광으로 디스플레이에 출력하고, 보통 이미지의 대응되는 마크 이미지 부분을 어둡게 조정한 보통 이미지를 제2편광으로 디스플레이에 출력한 영상을 각각 촬영하여 차분하는 방식이다.
이에 비해 본 실시예는 마크의 제1칼라 성분 이미지(예를 들면 빨강 성분 이미지)를 보통 영상의 상기 제1 칼라의 보색 칼라(예를 들면 시안) 성분 영상에 합성한 이미지를 제1 편광으로 출력하고, 마크의 제1칼라의 보색 성분 영상을 보통 영상의 제1 칼라 성분 영상에 합성한 영상을 제2 편광으로 출력하는 방식이다. 여기서 주어진 칼라 이미지의 제1칼라 성분 이미지(예를 들면 빨강 성분 이미지)란 각 픽셀의 빨강,파랑,녹색 성분 중 제1칼라 성분 값(예를 들면 빨강 성분 값)을 제외한 나머지 상분 값을 0으로 바꾼 이미지를 의미한다. 이러한 두 영상이 동시에 화면에 출력되면 사용자는 마크와 보통 이미지를 풀 칼라로 보게 된다. 이렇게 출력한 두 영상을 상기 실시예처럼 가변 편광 필터를 부착한 카메라를 사용하여 각각 제1 편광과 제2 편광으로 촬영해서 얻은 두 개의 칼라 이미지에서 제1 칼라 성분만 선택하면 도4와 같이 제1편광 영상(MI)에서는 마크 부분만 밝게 표시되고 그 주변의 디스플레이 영역은 어둡게 표시된다. 그리고 제2편광 영상(OI)에서는 마크 부분만 어둡고 그 주변 디스플레이 영역에서는 밝게 표시된다. 이러한 두 개의 제1칼라 성분 영상으로 1차 차분 영상을 구하면(즉 제1 편광 영상의 제1 칼라 성분 영상(MI)에서 제2편광 영상의 제1 칼라 성분 영상(OI)을 차분하면) 차분 영상에서 마크 부분은 차분 값이 양수가 되고 그 주변 디스플레이 영역은 음수 또는 0이 된다. 만약 카메라가 움직인 상태라면 디스플레이 밖의 영역에서도 물체의 경계선 부분에서 차분 값이 양수가 될 수도 있다. 이 경우에는 상기 실시예1처럼 2차 차분으로 사물의 경계선 영역을 구해서 그 부분만 1차 차분 영상에서 제외하면 마크 부분만 양수가 된다. 따라서 1,2차 차분 과정을 거쳐서 구한 최종 차분 이미지에서 양수인 픽셀의 영역을 조사하면 마크를 쉽게 검출 할 수 있다.
실시예3
편광 방식의 3D디스플레이에 QR코드를 출력할 수도 있지만 투명 편광 필름에 구멍을 뚫어서 편광 QR코드를 만들어 벽에 부착하고 카메라로 이를 촬영하고 상기 실시예1의 방법으로 인식하여 QR코드의 정보를 얻을 수 있다. 예를 들어서 qr코드의 흰색 영역에 대응하는 투명 편광 필름의 영역에 구멍을 뚫어 투명한 편광 필름 qr코드를 만들 수 있다. 이러한 투명 편광필름 qr코드는 흰색 벽면에 부착할 수 있다. 제1 편광으로 상기 투명 편광 qr코드를 촬영하면 편광 필름 부분이 검게 촬영되고 구멍 부분은 흰색으로 촬영된다. 그리고 제2편광으로 촬영하면 편광 필름 부분과 구멍 부분 모두 흰색으로 촬영된다. 이러한 두 영상을 차분하여 편광 필름 부분만 검출할 수 있다. 이러한 편광 QR코드는 기존의 흰 종이에 검정으로 인쇄한 QR코드가 사람 눈에 거슬린다는 문제를 해결 할 수 있다.
이러한 QR코드에 그 QR코드가 부착된 지점의 위도와 경도 또는 실내 위치 정보를 포함시키고 로봇(예를 들면 청소로봇)이 본 발명의 기술을 이용하여 인식하여 자율 주행을 하게 할 수도 있다.
실시예4
상기 실시예의 카메라는 제1편광 영상을 촬영한 후에 제2편광 영상을 촬영하는 방식이다. 이와 달리 이미지 센서의 짝수 번째 픽셀에는 제1편광필터를 부착하고 홀수 번째 픽셀에는 제2편광 필터를 부착하여 동시에 제1편광 영상과 제2편광 영상을 촬영할 수 도 있다. 이러한 이미지 센서를 편광 이미지 센서라 한다. 이는 마치 각 픽셀마다 삼원색에 대응하는 칼라 필터를 부착한 칼라 이미지 센서와 유사한 구조이다. 칼라 이미지 센서로 촬영한 칼라 이미지를 삼원색 성분으로 분리해 낼 수 있듯이 편광 이미지 센서로 촬영한 영상에서 제1 편광 영상과 제2 편광 영상을 분리해서 차분 이미지를 구할 수 있다.
ICC,ICE :마우스 커서 아이콘
DS : 디스플레이
CM : 카메라
PT :주변 환경 무늬
PL : 편광필름
PR :위상지연필터
L : 액정
G : 유리판
MI : 마크 이미지
OI : 보통 이미지
MK : 마크 영역

Claims (16)

  1. 영상처리 시스템에 있어서
    제1 편광 영상과 제2 편광 영상을 포함하는 편광 영상;
    상기 편광 영상을 제1편광 영상과 제2편광 영상으로 분리하여 촬영하는 카메라;
    상기 카메라에서 촬영한 제1편광 영상과 제2편광 영상의 차분 영상을 출력하는 영상처리수단을 포함하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  2. 1항에 있어서 상기 제1 편광 영상과 제2 편광 영상은 편광방식 3d디스플레이에 출력되는 스테레오 영상인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  3. 1항에 있어서 상기 제1 편광 영상은 투명 편광 필름의 제1편광 영역 영상이고
    상기 제2 편광 영상은 상기 투명 편광 필름의 제2 편광 영역 영상인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  4. 3항에 있어서 상기 제1편광 영역은 투명 편광 필름 영역이고 상기 제2 편광 영역은 상기 투명 편광 필름에 형성된 구멍의 영역인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  5. 3항에 있어서 상기 제1편광 영역은 투명 편광 필름 영역이고 상기 제2 편광 영역은 상기 투명 편광 필름에 위상 지연 필름이 부착된 영역인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  6. 상기 4항 또는 5항 중 어느 한 항에 있어서 제1편광 영역 또는 제2편광 영역은 정보를 나타내는 코드나 문자 또는 패턴 또는 증강현실용 마크인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  7. 2항에 있어서 제1 편광 영상은 마크 영상이고 제2편광 영상은 보통 영상이고 영상처리수단은 두 영상의 차분이미지를 조사하여 그 픽셀 값이 0이 아닌 영역에서 마크를 검출하는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템
  8. 2항에 있어서
    제1 편광 영상은 보통 영상의 제1 칼라의 보색 칼라 성분 영상에 마크 영상의 제1 칼라 성분 영상을 합성한 영상이고
    제2편광 영상은 보통 영상의 제1 칼라 성분 영상에 마크의 제1 칼라의 보색 칼라 성분 영상을 합성한 영상이고
    영상처리수단은 두 영상의 제1 칼라 성분 영상의 차분영상을 조사하여 그 픽셀 값이 0이 아닌 영역에서 마크를 검출하는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템
  9. 7항내지 8항중 어느 한 항에 있어서
    영상처리수단은 차분 영상의 픽셀 값이 0이 아닌 영역 중에서 사물의 경계선 영역을 제외한 영역에서 마크를 검출하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  10. 7항에 있어서
    보통 영상은 마크 영역에 대응하는 영역의 밝기를 어둡게 조정한 영상인 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  11. 7항내지 8항중 어느 한 항에 있어서
    제1 편광 영상은 마우스 커서 아이콘 영상이고
    영상처리수단은 두 영상의 차분이미지를 조사하여 그 픽셀 값이 0이 아닌 영역에서 마우스 커서 아이콘을 검출하여 포인팅 신호를 출력하는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템
  12. 7항내지 8항중 어느 한 항에 있어서
    제1 편광 영상은 증강현실용 마크 영상이고
    영상처리수단은 두 영상의 차분 이미지를 조사하여 그 픽셀 값이 0이 아닌 영역에서 마크를 검출하여 카메라와 마크 사이의 3차원 상대위치와 방향을 검출하여 증강현실 영상을 출력하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  13. 9항에 있어서
    영상처리수단은 이전 순간에 촬영한 마크 이미지와 현재 촬영한 마크 이미지의 차분 이미지로부터 사물의 경계선 이미지를 구하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  14. 1항에 있어서
    상기 카메라는 전기신호로 촬영할 수 있는 편광의 종류를 선택할 수 있는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템
  15. 14항에 있어서
    상기 카메라는 편광 필름과 전기신호로 위상 지연 값을 조정할 수 있는 필터를 포함하는 것을 특징으로 하는 편광 차분 카메라를 이용한 영상 처리 시스템
  16. 1항에 있어서
    상기 카메라는 제1편광을 감지하는 픽셀과 제2편광을 감지하는 픽셀이 번갈아 분포된 이미지 센서를 포함하는 것을 특징으로하는 편광 차분 카메라를 이용한 영상 처리 시스템
KR1020130120216A 2012-10-11 2013-10-09 편광 차분 카메라를 이용한 영상처리 시스템 KR101617068B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020120113232 2012-10-11
KR20120113232 2012-10-11
KR20120117563 2012-10-22
KR1020120117563 2012-10-22

Publications (2)

Publication Number Publication Date
KR20140046997A true KR20140046997A (ko) 2014-04-21
KR101617068B1 KR101617068B1 (ko) 2016-05-02

Family

ID=50477634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130120216A KR101617068B1 (ko) 2012-10-11 2013-10-09 편광 차분 카메라를 이용한 영상처리 시스템

Country Status (5)

Country Link
US (1) US9778755B2 (ko)
JP (1) JP6258337B2 (ko)
KR (1) KR101617068B1 (ko)
CN (1) CN104769486B (ko)
WO (1) WO2014058234A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6500355B2 (ja) * 2014-06-20 2019-04-17 富士通株式会社 表示装置、表示プログラム、および表示方法
US10924645B2 (en) 2018-11-29 2021-02-16 Microsoft Technology Licensing, Llc Polarization imaging to detect display screen
US11050944B2 (en) 2018-11-29 2021-06-29 Microsoft Technology Licensing, Llc Switched polarization imaging to detect display screen
CN113491497B (zh) * 2021-07-27 2022-08-12 重庆西山科技股份有限公司 偏振光内窥镜装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121293A (ja) 1993-10-26 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 表示画面をアクセスするリモートコントローラ
JP3579096B2 (ja) * 1994-09-27 2004-10-20 株式会社日立製作所 表示装置
JP4020982B2 (ja) 1995-03-10 2007-12-12 松下電器産業株式会社 動画像処理装置
US20010010514A1 (en) 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
JP2001249008A (ja) 2000-03-06 2001-09-14 Nikon Corp 監視装置
JP2001325069A (ja) 2000-03-07 2001-11-22 Nikon Gijutsu Kobo:Kk 位置検出装置およびその方法
JP3961344B2 (ja) 2002-05-31 2007-08-22 株式会社東芝 画像処理システム、画像処理方法、画像処理プログラム
DE10233928A1 (de) * 2002-07-25 2004-02-12 Giesecke & Devrient Gmbh Verfahren und Vorrichtung zur Echtheitsprüfung eines Sicherheitselements
EP1606944B1 (en) * 2003-03-14 2006-11-22 Koninklijke Philips Electronics N.V. 3d video conferencing
JP4590858B2 (ja) * 2003-11-18 2010-12-01 富士ゼロックス株式会社 書き込み可能プロジェクタおよび光ポインタ
CN2840334Y (zh) 2005-06-17 2006-11-22 深圳市比克电池有限公司 一种锂离子电池盖板、电池壳及电池
WO2008101129A1 (en) * 2007-02-14 2008-08-21 Luminetx Corporation System and method for projection of subsurface structure onto an object's surface
WO2008128714A1 (en) 2007-04-24 2008-10-30 Sicpa Holding S.A. Method of marking a document or item; method and device for identifying the marked document or item; use of circular polarizing particles
KR100936816B1 (ko) * 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
KR101404924B1 (ko) * 2009-12-25 2014-06-09 가부시키가이샤 리코 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치
IT1397294B1 (it) 2010-01-07 2013-01-04 3Dswitch S R L Dispositivo e metodo per il riconoscimento di occhiali per visione stereoscopica, e relativometodo di controllo della visualizzazione di un flusso video stereoscopico.
JP2011164246A (ja) * 2010-02-08 2011-08-25 Seiko Epson Corp 投写位置ずれ量検出装置、投写位置ずれ量検出方法及びプロジェクションシステム
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
US20120038668A1 (en) 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
KR101814600B1 (ko) * 2010-08-26 2018-01-30 삼성전자주식회사 통신 연결 방법 및 장치
JP2011039532A (ja) * 2010-09-13 2011-02-24 Sony Corp 画像分離装置
JP2012080285A (ja) * 2010-09-30 2012-04-19 Brother Ind Ltd 撮像装置及びそれを備えたヘッドマウントディスプレイ
CN102421002A (zh) 2011-11-21 2012-04-18 杨辉洲 一种实现多视频内容互不干扰观看的方法及系统

Also Published As

Publication number Publication date
CN104769486A (zh) 2015-07-08
US9778755B2 (en) 2017-10-03
KR101617068B1 (ko) 2016-05-02
WO2014058234A1 (ko) 2014-04-17
US20150286289A1 (en) 2015-10-08
CN104769486B (zh) 2018-02-27
JP2016500837A (ja) 2016-01-14
JP6258337B2 (ja) 2018-01-10

Similar Documents

Publication Publication Date Title
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US8970672B2 (en) Three-dimensional image processing
KR102489402B1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
EP3281400A1 (en) Automated generation of panning shots
KR20140108078A (ko) 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
JP2006005608A (ja) 撮像装置
US9432645B2 (en) Information processing method and electronic device
KR101617068B1 (ko) 편광 차분 카메라를 이용한 영상처리 시스템
US9241141B1 (en) Projection block extraction
KR101516487B1 (ko) 차분 카메라를 이용한 영상처리 장치
Martinez et al. Kinect Unleashed: Getting Control over High Resolution Depth Maps.
JP2011134117A (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
US20230033956A1 (en) Estimating depth based on iris size
JP5765418B2 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
CN105301863B (zh) 液晶透镜成像装置及液晶透镜成像方法
JP6234366B2 (ja) グリッド変調された単一レンズ３−ｄカメラ
KR20130000929A (ko) 이동물체 감지장치 및 방법
KR101578030B1 (ko) 이벤트 발생 장치 및 방법
JP2014216783A (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee