KR101371831B1

KR101371831B1 - 스테레오 영상 기반 영상처리 시스템

Info

Publication number: KR101371831B1
Application number: KR1020120109581A
Authority: KR
Inventors: 이문기
Original assignee: 이문기
Priority date: 2011-09-30
Filing date: 2012-09-29
Publication date: 2014-03-26
Also published as: KR20130035984A; JP5905585B2; US20140232829A1; CN103828357A; WO2013048221A3; WO2013048221A2; CN103828357B; JP2015501560A; US9648301B2

Abstract

본 발명은 스테레오 영상 중 한 영상에 마크를 포함하고 카메라로 마크가 포함된 영상만 촬영하여 용이하게 마크를 검출하여 포인팅 작업이나 증강현실 영상을 합성할 수 있는 영상처리 시스템에 관한 것이다.

Description

스테레오 영상 기반 영상처리 시스템{STEREO IMAGE BASED IMAGE PROCESSING SYSTEM}

본 발명은 3D 디스플레이에 출력되는 스테레오 영상 중 한 영상을 선택적으로 카메라로 촬영하여 그 영상에서 영상처리수단으로 마크를 검출하여 검출된 마크 정보를 포인팅 작업이나 증강 현실 작업에 이용하는 영상처리 시스템에 관한 것이다.

본 발명은 포인팅 장치와 증강현실 장치에 사용할 수 있는 3D 디스플레이를 사용한 영상처리 시스템에 관한 것이다.

본 발명의 발명인이 이전에 출원한 특허 등록 번호가 10-0936816이고 발명의 명칭이 '카메라와 마크 출력에의한 포인팅 장치'인 특허는 화면에 출력된 마우스 커서 아이콘을 카메라로 촬영하여 포인팅 작업을 하는 기술이다. 이 기술에서는 화면에 출력된 마우스 커서 아이콘이나 기타 패턴의 마크를 촬영한 영상을 영상처리 수단으로 분석하여 마크를 인식하여 포인팅 작업을 하는 것이다. 이 기술은 배경 이미지와 마크의 색이 비슷하거나 배경 이미지에 마크와 유사한 형상이 있다면 마크를 영상처리 수단이 검출하기 어렵다는 단점이 있다.

본 발명의 발명인이 이전에 출원한 특허 출원번호가 10-2011-0050980이고 발명의 명칭이 '모니터 기반 증강현실 시스템'인 기술은 화면에 표시된 마우스 커서 아이콘이나 마크를 촬영한 영상에서 영상처리 수단으로 마우스 커서 아이콘이나 마크를 인식하여 촬영한 카메라와 마우스 커서 아이콘이나 마크 사이의 3차원 상대 위치를 산출하여 촬영된 영상에 그래픽 객체를 원근감 있게 합성하는 증강 현실 영상 합성 시스템에 관한 것이다. 이 기술도 상기 포인팅 기술과 마찬가지로 마크가 배경 이미지와 색이나 형태가 비슷하면 마크를 검출하기 어렵다는 단점이 있다.

본 발명은 촬영된 영상에서 배경 이미지로부터 마우스 커서 아이콘이나 기타 패턴의 마크를 영상처리수단으로 빠르고 용이하고 안정적으로 검출하기 위하여 배경 이미지와 마크 이미지를 각각 스테레오 영상의 왼쪽 눈에 보여질 영상과 오른쪽 눈에 보여질 영상으로 3D디스플레이에 출력하고 카메라는 3D디스플레이에 출력되는 상기 스테레오 영상 중 마크가 포함된 영상만 촬영하여 영상처리수단으로 분석함으로써 마크 검출을 용이하게 하는 것을 특징으로 한다.

본 발명에 의한 스테레오 영상기반 영상처리 시스템을 사용하면 배경 이미지의 색이나 형태가 마크와 유사해도 촬영된 이미지에서 마크를 빠르고 용이하고 안정적으로 검출할 수 있다.

도1은 본 발명의 구성도

3d 디스플레이에는 셔터 안경방식, 편광 안경방식,액티브리타더 방식,적청 안경방식 등이 있다. 이에 대한 각각의 설명은 다음과 같다.

실시예1

셔터 안경(shutter glasses)방식은 스테레오 영상(좌측 눈에 보여질 영상과 우측 눈에 보여질 영상)을 각각 순차적으로 번갈아 화면에 빠르게 번갈아 출력하는 방식이다. 이러한 디스플레이에 출력되는 스테레오 영상의 매 프레임의 출력 시간에 동기화된 셔터 안경의 좌우측 셔터가 번갈아 열리고 닫혀서 셔터 안경을 착용한 사용자는 좌우측 눈으로 각각 좌우측 영상을 보게 된다.이러한 3d 디스플레이와 셔터 안경은 삼성전자의 3d TV 로 상품화 되어 출시되고 있다. 이러한 셔터 안경식 디스플레이는 LCD디스플레이형태가 될 수도 있고 빔 프로젝터 형태가 될 수도 있다.

이러한 셔터 안경식 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상이 출력되는 순간에만 열리는 셔터를 부착하여 촬영하면 검정 배경에 마크만 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다.

영상처리수단은 마크 위치를 조정하여 제1 카메라 시선(line of sight) 쪽으로 이동시켜서 제1 카메라가 촬영한 영상의 중심에 오도록 하는 것이 바람직하다. 이렇게 함으로써 제1카메라가 움직여도 안정적으로 마크를 검출할 수 있다. 또한 영상처리수단은 마크 크기를 검출하여 카메라와 마크 사이의 거리에 비례하도록 마크 크기를 조정하여 제1카메라가 촬영한 영상에서 마크 크기가 일정한 크기가 되도록 하는 것이 바람직하다. 즉 제1 카메라가 마크에 접근하면 마크를 축소 조정하고 제1카메라가 마크로부터 멀어지면 마크를 확대 조정하는 것이 바람직하다. 이렇게 함으로써 촬영된 영상에서 마크 크기가 일정하게 유지되어 마크를 안정적으로 검출할 수 있다.

배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하는 대신 제1배경 이미지,제2배경 이미지 그리고 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상 그리고 포인팅이나 증강현실에 사용될 영상으로 출력하고 카메라는 마크 이미지만 촬영하여 포인팅이나 증강현실 영상을 합성할 수도 있다. 이때 제1배경 이미지와 제2배경 이미지를 셔터 방식의 스테레오 영상이고 사용자는 셔터 안경을 착용하면 입체 이미지를 보면서 포인팅 작업이나 증강현실 영상을 볼 수 있다.

실시예2

편광 안경 방식의 3d 디스플레이는 디스플레이 화면을 다수의 수평선 띠 영역으로 분할 하여 좌측 눈에 보여질 영상은 짝수 번째 띠 영역에 출력하고 우측 눈에 보여질 영상은 홀수 번째 띠 영역에 출력하는 방식이다. 여기서 짝수 번째 띠 영역과 홀수 번째 띠 영역 앞에는 각각 서로 다른 방향의 위상 지연 필름이 부착되어있어서 홀수번째 띠 영역의 영상과 짝수번째 띠 영역의 영상이 서로 반대방향의 원편광이 되게 해준다. 이를 패턴드 리타더(patterned retarder) 방식이라 한다. 그리고 그 원편광 방향과 각각 같은 방향의 원편광 필름이 좌우측 렌즈 앞에 부착된 편광 안경을 착용한 사용자는 좌우측 눈으로 각각 좌우측 영상을 볼 수 있다. 이러한 편광 안경식 3D디스플레이는 LCD디스플레이 형태가 될 수도 있고 빔프로젝터 형태가 될 수 도 있다. 빔 프로젝터인 경우는 두 개의 빔 프로젝터로 각각 좌우측 눈에 보여질 영상을 서로 다른 편광으로 하나의 스크린에 서로 겹치게 투사하면 된다. 여기서 스크린은 편광을 유지한 채로 반사할 수 있는 실버 스크린을 사용해야 한다.

이러한 편광 안경식 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상을 통과시키고 좌측 눈에 보여질 영상은 차단하는 편광 필름을 부착하여 촬영하면 검정 배경에 마크만 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다.

실시예3

상기 셔터 안경 방식과 편광 안경 방식의 장점만 선택한 기술로 액티브 리타더 방식(active retarder)의 3d 디스플레이가 있다. 액티브 리타더 방식(active retarder)의 3d 디스플레이는 기존의 셔터 안경대신 편광 안경을 사용하여 셔터 안경에 배터리를 충전하는 불편함을 해소할 수 있는 구성이다. 또한 기존의 패턴드 리타더 방식의 디스플레이의 해상도 저하 문제를 해결할 수 있는 방식이다. 액티브 리타더 방식의 디스플레이는 셔터 안경식 디스플레이와와 같이 순차적으로 좌우측 눈에 보여질 영상을 번갈아 출력하되 디스플레이 앞에는 전기적으로 원편광 방향을 바꿀 수 있는 위상지연판(retarder)을 설치하여 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상의 원편광 방향이 서로 다르게 만들어 준다.사용자는 편광 안경을 착용하여 좌우측 영상을 각각의 눈으로 볼 수 있다.

이러한 편광 안경식 3D디스플레이는 LCD디스플레이 형태가 될 수도 있고 빔프로젝터 형태가 될 수 도 있다. 빔 프로젝터인 경우는 하나의 빔 프로젝터로 각각 좌우측 눈에 보여질 영상을 번갈아 서로 다른 편광으로 하나의 스크린에 투사하면 된다. 여기서 스크린은 편광을 유지한 채로 반사할 수 있는 실버 스크린을 사용해야 한다.

이러한 편광 액티브 리타더방식의 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상을 통과시키고 좌측 눈에 보여질 영상은 차단하는 편광 필름을 부착하여 촬영하면 검정 배경에 마크만 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다.

실시예4

적청 안경방식의 3d 디스플레이는 좌우측 눈에 보여질 영상을 각각 적색과 청색으로 출력하는 방식으로 사용자는 좌우측에 각각 적색 필터와 청색 필터가 부착된 안경을 착용하여 입체 영상을 볼 수 있다.

이러한 적청 안경식 3D디스플레이에 배경 이미지와 마크 이미지를 각각 좌측 눈에 보여질 영상과 우측 눈에 보여질 영상으로 출력하고 카메라 앞에는 마크가 포함된 우측 눈에 보여질 영상을 통과시키고 좌측 눈에 보여질 영상은 차단하는 필름(적색 또는 청색 필터)을 부착하여 촬영하면 검정 배경에 마크만 적색 또는 청색으로 촬영된다. 이 영상을 영상처리 수단으로 분석하여 마크를 검출할 수 있고 검출된 마크와 카메라 사이의 상대 위치를 이용하여 포인팅 작업이나 증강 현실 영상을 합성할 수 있다. 적청 안경방식과 유사한 돌비 안경 방식도 있다. 돌비 방식의 3d디스플레이는 좌우측 영상을 각각 약간씩 다른 3원색으로 출력하고 그 색만 통과시키는 필터를 안경의 좌우측 눈에 부착하는 방식이다. 적청 안경방식과 차이점은 적청 안경 방식은 좌우측 눈에 각각 적색과 청색 영상이 보이지만 돌비 방식은 좌우측 눈에 칼라 영상이 보인다는 점이다.

실시예5

상기 실시예1~4의 구성에 도1과 같이 제2카메라를 추가하여 증강현실 시스템을 구성 할 수 있다.즉 상기 실시예1~4에서 사용된 카메라(제1카메라)에 마크가 포함된 영상만 촬영할 수 있게 셔터나 필터를 부착하여 마크만 촬영하여 영상처리 수단으로 제1 카메라와 마크 사이의 상대위치를 산출 할 수 있다. 그리고 새로 추가되는 제2카메라에는 마크가 포함되지 않은 배경 영상만 촬영할 수 있게 셔터나 필터를 부착하여 마크가 포함되지 않은 배경 영상만 촬영하여 그 영상에 상기 영상처리 수단으로 산출한 카메라와 마크 사이의 상대 위치 정보를 이용하여 그래픽 객체를 원근감 있게 합성할 수 있다.이렇게 합성된 영상에는 마크가 없어서 더 자연스럽다는 장점이 있다.제1 카메라와 제2 카메라는 상대위치를 고정하고 미리 그 상대 위치를 측정하여 그래픽 객체를 합성하는 데 사용하는 것이 바람직하다. 이러한 제1 카메라와 제2 카메라는 스마트폰에 포함 될 수 도 있고 헤드마운트 디스플레이(HMD) 에 포함될 수도 있다. 특히 헤드마운트 디스플레이에 포함되는 경우 헤드마운트 디스플레를 안경처럼 착용한 사람의 시선 방향을 촬영하도록 카메라를 설치하는 것이 바람직하다. 이러한 헤드마운트 디스플레이는 WRAP 920AR+ 라는 제품으로 출시되고 있다( http://www.vuzix.com/consumer/products_wrap920ar.html) 이러한 헤드마운트 디스플레의 양 눈 앞에 설치된 스테레오 카메라 중 한 카메라는 마크만 촬영하여 카메라와 마크 사이의 3차원 상대 위치를 영상처리수단으로 산출하고 나머지 카메라는 마크가 포함되지 않은 배경 이미지를 촬영하여 그래픽 객체를 원근감 있게 합성하여 그 합성된 영상을 헤드마운트 디스플레이에 출력할 수 있다.

실시예6

상기 실시예1~4의 구성으로 카메라를 리모컨이나 권총처럼 쥐고 화면을 촬영하여 포인팅 작업을 하는 사용자가 마크가 포함되지 않은 영상만 통과시키는 셔터나 필터가 좌우측 눈 앞에 모두 부착된 안경을 착용함으로써 3D 디스플레이에 출력되는 영상에서 마크가 보이지 않게 할 수 있다. 예를 들어서 카메라를 총 형태로 하여 포인팅 작업을 하면서 사격 게임을 하는 경우 3D디스플레이에 사격 게임 영상이 출력되는 경우 마크는 포인팅 작업을 하기 위해서는 카메라에 촬영되어야 하지만 사람에게는 보이지 않는 것이 바람직하므로 사람은 마크가 포함된 영상은 차단하고 마크가 포함되지 않은 배경 영상(게임 영상)은 통과시키는 필터나 셔터안경을 착용하는 것이 바람직하다.

실시예7

상기 실시예5에서 설명한 비디오 방식(video-through)의 증강현실용 헤드마운트 디스플레이 대신 투명한 안경 방식의 증강현실용 헤드마운트 디스플레이(See-Thru Augmented Reality Display)를 사용할 수도 있다. 이 경우 상기 실시예5의 제2 카메라는 생략될 수 있다. 이러한 투명한 안경 방식의 증강현실용 헤드마운트 디스플레이는 STAR 1200 이라는 제품이 출시되어있다.( http://www.vuzix.com/ar/products_star1200.html) 이 제품에는 시선 방향을 촬영하는 카메라가 부착된 안경을 착용하면 카메라가 촬영한 영상에서 마크를 검출하여 카메라와 마크 사이의 상대위치를 산출하여 그래픽 객체를 원근감 있게 생성하고 그 그래픽 객체를 안경형태의 투명한 디스플레이에 투사하여 공중에 그 객체가 떠 있는 것처럼 보이게 해준다. 이러한 투명한 디스플레이 앞 또는 뒤에 상기 실시예6의 마크가 포함되지 않은 영상만 통과시키는 셔터나 필터를 부착할 수 있다.(또는 투명한 디스플레이와 셔터나 필터를 일체형으로 형성 할 수 도 있다.) 그러면 사용자는 마크가 없는 배경 영상 위에 그래픽 객체가 원근감 있게 표시되는 것을 볼 수 있다.

Claims

영상처리 시스템에 있어서
특정 영상에만 마크를 출력하는 디스플레이를 포함하는 디스플레이부;
상기 특정 영상만 촬영하는 제1카메라를 포함하는 카메라부;
상기 제1카메라에서 촬영한 영상을 분석하여 마크를 검출하는 영상 처리부
를 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템.
제1항에 있어서
영상처리부는 마크를 검출하여 포인팅 신호를 출력하거나 투명 디스플레이 방식(optical see through,See-Thru)의 증강 현실 영상을 생성하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템.
제1항에 있어서
카메라부는 마크가 포함되지 않은 영상만 촬영하는 제2카메라를 더 포함하고
영상처리부는 제1카메라로 촬영한 영상을 분석하여 검출한 마크 정보를 이용하여 상기 제2카메라로 촬영한 영상에 증강현실 영상을 합성하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
2항 내지 3항 중 어느 한 항에 있어서
영상처리부는 검출된 마크 위치를 제1카메라 시선 방향쪽으로 이동시켜서 제1 카메라로 촬영된 이미지에서 마크가 이미지 중앙의 일정 영역안에 위치하도록하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
2항 내지 3항 중 어느 한 항에 있어서
영상처리부는 검출된 마크의 크기를 카메라와 카메라와 마크 사이의 거리에 비례하게 조정하여 제1카메라로 촬영한 영상에서 마크 크기가 일정 범위 안에 있도록 하는것을 특징으로하는 스테레오 영상기반 영상처리 시스템
1항에 있어서
마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 순간에 출력되고
제1카메라는 마크가 포함된 영상이 출력되는 순간에만 촬영하는 셔터수단을 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
1항에 있어서
마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 편광으로 출력되고
제1카메라는 마크가 포함된 영상의 편광과 동일한 편광의 영상만 촬영하는 필터수단을 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
1항에 있어서
마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 색으로 출력되고
제1카메라는 마크가 포함된 영상의 색과 동일한 색의 영상만 촬영하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
1항에 있어서
마크를 포함하는 영상과 마크를 포함하지 않는 영상은 서로 다른 색으로 출력되고
제1카메라는 마크가 포함된 영상을 칼라로 촬영하는 칼라 카메라 이고;
영상처리부는 상기 칼라 카메라에서 촬영한 영상에서 마크를 포함한 영상의 색 성분만 분석하여 마크를 검출하는 것을 특징으로 하는 스테레오 영상기반 영상처리 시스템
특정 영상에만 마크를 출력하는 단계;
상기 특정 영상만 촬영하는 단계;
상기 촬영된 영상을 분석하여 마크를 검출하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 방법.
특정 영상에만 마크를 출력하는 단계;
상기 특정 영상만 촬영하는 단계;
상기 촬영된 영상을 분석하여 마크를 검출하는 단계를 포함하는 것을 특징으로 하는 스테레오 영상기반 영상처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.