KR102430273B1 - 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법 - Google Patents

Abstract

광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법이 개시된다. 본 발명의 일 실시예에 따른 1인칭 비전 시스템은 사용자의 신체 부위에 부착되어 상기 사용자의 전면 방향을 촬영하며, 수직 방향으로 배치된 제1 렌즈와 제2 렌즈를 통해 촬영되는 피사체의 제1 영상과 제2 영상을 수신하고, 상기 수신된 제1 영상과 제2 영상을 지도 투영법으로 변환하며, 상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 세로 방향으로 스테레오 매칭을 수행함으로써, 상기 피사체의 깊이를 추출하는 스테레오 카메라 장치; 및 상기 스테레오 카메라 장치로부터 추출되는 상기 피사체의 깊이 맵을 이용하여 상기 사용자의 동작과 상기 사용자의 주변에 위치한 사물과 지형을 포함하는 주변 환경을 인식하고, 상기 인식된 사용자의 동작과 주변 환경을 상기 사용자에게 제공하는 비전 처리부를 포함한다.

Description

광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법 {WIDE VIEWING ANGLE STEREO CAMERA- BASED FIRST PERSON VISION SYSTEM AND IMAGE PROCESSING METHOD USING THE SAME}

본 발명은 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법에 관한 것으로, 보다 구체적으로는 두 개의 렌즈 예를 들어, 어안렌즈를 수직 방향으로 배치시켜 수평 시야각과 수직 시야각을 향상시킨 스테레오 카메라 장치를 이용하여 사용자의 동작을 인식하거나 사용자의 주변 환경을 인식할 수 있는 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법에 관한 것이다.

사람-컴퓨터 인터페이스(Human-Computer Interface)의 구현을 위하여 컬러 영상과 3D 정보인 깊이 맵을 함께 출력하는 RGB-D 카메라에 대한 연구가 많이 이루어지고 있다. 마이크로소프트사가 자사의 게임을 위해 보급하였던 RGB-D 카메라인 Kinect 센서는 복수의 사람의 몸동작 인식 기능을 제공하여 본연의 목적이었던 게임뿐만 아니라 다양한 사람-컴퓨터 인터페이스를 위한 목적으로 사용되었으며, 이후 다양한 RGB-D 카메라 제품이 출시되어 3D 콘텐츠 제작, 자율주행, 로봇 등으로 그 활용 범위를 넓혀 가고 있다.

RGB-D 카메라는 깊이 정보를 얻는 방식에 따라 스테레오 카메라와 TOF (Time of Flight) 카메라로 구분할 수 있다. 일반적인 스테레오 카메라는 기준선(Baseline)만큼 떨어뜨려 설치된 두 대의 카메라로 구성되며 카메라들 사이의 시점 불일치를 이용하여 깊이 정보를 얻는다. 깊이 정보를 얻기 위해서는 양쪽 카메라의 영상을 비교하는 스테레오 매칭 과정을 거쳐야 하며, 스테레오 매칭 과정의 속도와 정확도를 높이기 위해 패턴광이나 구조광을 사용하기도 한다. TOF 카메라는 2D 영상을 출력하는 일반적인 카메라와 깊이 정보를 제공하는 TOF 센서를 결합한 형태의 카메라이다. TOF 센서는 측정 대상에 레이저 등을 조사한 후 돌아오는 시간을 측정하여 대상물까지의 거리를 측정하는 센서로 일반적으로 스테레오 방식보다 정밀한 거리 정보를 제공하지만, 상대적으로 낮은 공간 해상도(Spatial Resolution)를 제공하며 측정 거리와 사용 환경에도 제약이 존재한다.

일반적인 카메라들은 직선 투영(Rectilinear Projection)을 위해 설계된 렌즈를 사용한다. 직선 투영에서는 실제 세계에서의 직선이 영상에서도 직선으로 나타나므로 사람이 인지하는 것과 유사한 영상을 얻을 수 있으나, 카메라의 시야각이 넓어질수록 영상 주변에 있는 물체들이 중앙부의 물체들보다 상대적으로 크게 표현되는 문제가 있다. 보통 수평 220도 정도의 시야각까지는 직선 투영 렌즈를 이용하고 그 이상의 시야각이 필요한 경우에는 어안 렌즈(Fisheye Lens)를 사용한다. 어안 렌즈는 실제 세계를 영상에 윈통형 왜곡(Barrel Distortion)이 있는 것처럼 투영하여 180도 이상의 시야각도 영상에 담을 수 있다.

RGB-D 카메라의 사용환경이 로봇, 드론, 자율주행차량과 같은 이동체로 확장되면서 넓은 시야각에 대한 요구가 증가하고 있지만, 대부분의 RGB-D 카메라는 직선 투영 렌즈를 이용하므로 수평 220도 이상의 시야각을 제공할 수 없었다. 일부 스테레오 카메라는 어안렌즈를 사용하여 보다 넓은 시야각을 제공하기는 하지만, 어안렌즈 영상에서는 직선투영 영상에서와 같은 1D 탐색을 통한 효율적인 스테레오 매칭이 어렵다는 단점이 있다. 또한, 어안렌즈를 사용하더라도 스테레오 카메라의 기준선(Baseline)과 같은 방향에서 거리 정보를 얻을 수 없으므로 수평 화각은 180도 이내로 제한된다.

본 발명의 실시예들은, 두 개의 렌즈 예를 들어, 어안렌즈를 수직 방향으로 배치시켜 수평 시야각과 수직 시야각을 향상시킨 스테레오 카메라 장치를 이용하여 사용자의 동작을 인식하거나 사용자의 주변 환경을 인식할 수 있는 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법을 제공한다.

본 발명의 일 실시예에 따른 1인칭 비전 시스템은 사용자의 신체 부위에 부착되어 상기 사용자의 전면 방향을 촬영하며, 수직 방향으로 배치된 제1 렌즈와 제2 렌즈를 통해 촬영되는 피사체의 제1 영상과 제2 영상을 수신하고, 상기 수신된 제1 영상과 제2 영상을 지도 투영법으로 변환하며, 상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 세로 방향으로 스테레오 매칭을 수행함으로써, 상기 피사체의 깊이를 추출하는 스테레오 카메라 장치; 및 상기 스테레오 카메라 장치로부터 추출되는 상기 피사체의 깊이 맵을 이용하여 상기 사용자의 동작과 상기 사용자의 주변에 위치한 사물과 지형을 포함하는 주변 환경을 인식하고, 상기 인식된 사용자의 동작과 주변 환경을 상기 사용자에게 제공하는 비전 처리부를 포함한다.

상기 스테레오 카메라 장치는 상기 제1 영상과 제2 영상을 등장방형도법(Equirectangular Projection)으로 변환할 수 있다.

상기 스테레오 카메라 장치는 구면 좌표계를 이용하여 등극선(Epipolar line)을 구면의 경도선과 일치시키는 회전 변환을 수행할 수 있다.

상기 스테레오 카메라 장치는 상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 경도선에 대응하는 수직선을 따라 검색함으로써, 스테레오 매칭을 수행할 수 있다.

상기 제1 렌즈와 상기 제2 렌즈는 어안 렌즈를 포함하며, 수평 시야각이 180도 이상인 어안 렌즈일 수 있다.

상기 스테레오 카메라 장치는 상기 추출된 피사체의 깊이를 이용하여 180도 이상의 수평 시야각과 180도 이상의 수직 시야각의 광시야각을 가지는 상기 피사체에 대한 영상을 획득할 수 있다.

상기 스테레오 카메라 장치는 상기 제1 영상을 촬영하기 위한 이미지 센서와 상기 제2 영상을 촬영하기 위한 이미지 센서를 포함하고, 상기 제1 영상과 상기 제2 영상 각각을 촬영하기 위한 이미지 센서 각각은 가로 길이가 세로 길이보다 긴 직사각형 형태인 경우 수직 시야각보다 넓은 수평 시야각을 얻도록 가로 방향으로 배치될 수 있다.

상기 비전 처리부는 상기 사용자의 동작과 상기 주변 환경에 대한 가상 영상을 생성하여 상기 사용자에게 제공할 수 있다.

본 발명의 일 실시예에 따른 1인칭 비전 시스템의 영상 처리 방법은 사용자의 신체 부위에 부착되어 상기 사용자의 전면 방향을 촬영하는 스테레오 카메라 장치를 포함하는 1인칭 비전 시스템의 영상 처리 방법에 있어서, 상기 스테레오 카메라 장치에 구성되며 수직 방향으로 배치된 제1 렌즈와 제2 렌즈를 통해 촬영되는 피사체의 제1 영상과 제2 영상을 수신하는 단계; 상기 수신된 제1 영상과 제2 영상을 지도 투영법으로 변환하는 단계; 상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 세로 방향으로 스테레오 매칭을 수행함으로써, 상기 피사체의 깊이를 추출하는 단계; 및 상기 추출된 피사체의 깊이 맵을 이용하여 상기 사용자의 동작과 상기 사용자의 주변에 위치한 사물과 지형을 포함하는 주변 환경을 인식하고, 상기 인식된 사용자의 동작과 주변 환경을 상기 사용자에게 제공하는 단계를 포함한다.

상기 변환하는 단계는 상기 제1 영상과 제2 영상을 등장방형도법(Equirectangular Projection)으로 변환할 수 있다.

상기 변환하는 단계는 구면 좌표계를 이용하여 등극선(Epipolar line)을 구면의 경도선과 일치시키는 회전 변환을 수행할 수 있다.

상기 추출하는 단계는 상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 경도선에 대응하는 수직선을 따라 검색함으로써, 스테레오 매칭을 수행할 수 있다.

상기 제1 렌즈와 상기 제2 렌즈는 어안 렌즈를 포함하며, 수평 시야각이 180도 이상인 어안 렌즈일 수 있다.

나아가, 본 발명의 일 실시예에 따른 1인칭 비전 시스템의 영상 처리 방법은 상기 추출된 피사체의 깊이를 이용하여 180도 이상의 수평 시야각과 180도 이상의 수직 시야각의 광시야각을 가지는 상기 피사체에 대한 깊이 영상을 획득하는 단계를 더 포함할 수 있다.

상기 수신하는 단계는 상기 제1 영상을 촬영하기 위한 이미지 센서와 상기 제2 영상을 촬영하기 위한 이미지 센서를 이용하여 수직 시야각보다 넓은 수평 시야각을 가지는 상기 제1 영상과 상기 제2 영상을 수신하고, 상기 제1 영상과 상기 제2 영상 각각을 촬영하기 위한 이미지 센서 각각은 가로 길이가 세로 길이보다 긴 직사각형 형태를 가질 수 있다.

상기 사용자에게 제공하는 단계는 상기 사용자의 동작과 상기 주변 환경에 대한 가상 영상을 생성하여 상기 사용자에게 제공할 수 있다.

본 발명의 실시예들에 따르면, 두 개의 렌즈 예를 들어, 어안렌즈를 수직 방향으로 배치시켜 수평 시야각과 수직 시야각을 향상시킨 사람의 시야각보다 넓은 광시야각의 스테레오 카메라 장치를 이용하여 사용자의 동작을 인식하거나 사용자의 주변 환경을 인식할 수 있다.

본 발명의 실시예들에 따르면, 광시야각의 스테레오 카메라 장치를 사용자의 머리와 몸통 등의 신체 부위에 부착하여 사용자의 전면 방향을 촬영하여도, 광시야각을 가지기 때문에 사용자의 손과 팔의 동작을 인식할 수 있을 뿐만 아니라 사용자의 자세와 행동 등을 파악할 수 있으며, 광시야각의 스테레오 카메라 장치를 이용하여 깊이 맵을 추출함으로써, 스테레오 카메라 장치에 의해 촬영되는 주변 환경 예를 들어, 충돌, 바닥이 평평한지 경사가 졌는지 등의 지형 파악 등을 감지 또는 인식할 수 있다.

이러한 본 발명이 VR, HMD 등의 장치에 적용되는 경우 인식된 사용자의 동작과 주변 환경 등을 가상 현실로 구현하여 제공할 수도 있다.

도 1은 본 발명의 일 실시예에 따른 1인칭 비전 시스템에 대한 구성을 나타낸 것이다.
도 2는 도 1에 도시된 스테레오 카메라 장치에 대한 일 실시예의 구성을 나타낸 것이다.
도 3은 스테레오 카메라 장치에서 어안 렌즈의 배치와 수직 시야각보다 넓은 수평 시야각을 얻기 위한 각각의 이미지 센서들 가로 방향 배치와 시야각을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 스테레오 카메라 장치에서 등극선 기하를 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 깊이를 추출하는 방법을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 어안 렌즈 영상에 대한 등장방형도법으로의 변환을 설명하기 위한 일 예시도를 나타낸 것이다.
도 7은 같은 크기의 디스패리티에 대한 깊이에 대한 일 예시도를 나타낸 것이다.
도 8은 본 발명의 스테레오 카메라 장치의 시야각을 설명하기 위한 일 예시도를 나타낸 것이다.
도 9는 본 발명의 일 실시예에 따른 1인칭 비전 시스템의 영상 처리 방법에 대한 동작 흐름도를 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명의 실시예들은, 두 개의 렌즈 예를 들어, 어안렌즈를 수직 방향으로 배치시켜 수평 시야각과 수직 시야각을 향상시킨 사람의 시야각보다 넓은 광시야각의 스테레오 카메라 장치를 이용하여 사용자의 동작을 인식하거나 사용자의 주변 환경을 인식할 수 있는 1인칭 비전 시스템을 제공하는 것을 그 요지로 한다.

이 때, 본 발명에서 스테레오 카메라 장치는 두 개의 어안 렌즈들 각각을 통해 촬영되는 어안 영상들을 지도 투영법 예를 들어, 등장방형도법(Equirectangular Projection)으로 변환한 후 등장방형도법으로 변환된 어안 영상들을 세로 방향 또는 수직 방향으로 스테레오 매칭을 수행함으로써, 어안 영상들에 의해 촬영된 피사체에 대한 깊이를 추출하고, 이렇게 추출된 깊이를 이용하여 광시야각의 영상을 획득할 수 있다.

나아가, 스테레오 카메라 장치는 두 개의 어안 렌즈 또는 어안 렌즈 카메라가 같은 방향을 바라보도록 수직으로 배치되기 때문에 구면 좌표계를 이용하면 등극선(Epipolar line)이 구면의 경도선(자오선)과 일치하게 되고, 어안 렌즈 영상을 등장방형도법으로 변환하면 경도선이 영상에서 수직선으로 표현되므로 수직선을 따라 검색함으로써, 효율적인 스테레오 매칭을 수행할 수 있다.

더 나아가, 스테레오 카메라 장치는 위쪽의 어안 렌즈와 아래쪽의 어안 렌즈를 통해 촬영되는 영상들에 대하여 등장방형도법으로 변환된 영상들 간의 각 디스패리티(angular disparity)로부터 피사체에 대한 깊이를 추출 또는 산출할 수 있으며, 이를 통해 스테레오 카메라 장치로 촬영되는 사용자의 팔과 손 동작, 사용자의 자세 그리고 주변 환경 예를 들어, 주변 지형, 주변 사물 등을 인식하고, 이를 가상 현실로 제공할 수도 있다.

이러한 본 발명에 대하여 도 1 내지 도 9를 참조하여 설명하면 다음과 같다.

도 1은 본 발명의 일 실시예에 따른 1인칭 비전 시스템에 대한 구성을 나타낸 것이고, 도 2는 도 1에 도시된 스테레오 카메라 장치에 대한 구성을 나타낸 것으로, 1인칭 비전 시스템과 스테레오 카메라 장치 또는 시스템에 대한 개념적인 구성을 나타낸 것이다.

도 1과 도 2를 참조하면, 본 발명의 일 실시예에 따른 1인칭 비전 시스템(100)은 스테레오 카메라 장치(110)와 비전 처리부(120)를 포함하며, 스테레오 카메라 장치(110)는 수신부(210), 변환부(220) 및 처리부(230)를 포함한다.

이 때, 스테레오 카메라 장치(110)는 사용자의 머리와 몸통 등의 신체 부위 나아가, 모자 등에 부착될 수 있으며, 사용자의 전면 방향을 촬영할 수 있다. 그리고, 스테레오 카메라 장치(110)에 의해 촬영되는 것은 스테레오 카메라 장치가 광시야각을 가지기 때문에 사용자의 전면을 촬영하더라도, 사용자의 팔과 손 등의 신체 부위도 촬영할 수 있고, 주변 환경 예를 들어, 사물, 건물, 지형 등을 촬영할 수도 있다. 본 발명에서는 이렇게 촬영되는 모든 것을 피사체라하고 설명한다.

수신부(210)는 수직 방향으로 배치되는 제1 렌즈 예를 들어, 제1 어안 렌즈(또는 제1 어안 렌즈 카메라)와 제2 렌즈 예를 들어, 제2 어안 렌즈(또는 제2 어안 렌즈 카메라)를 통해 촬영되는 피사체의 제1 영상(또는 제1 어안 영상)과 제2 영상(또는 제2 어안 영상)을 수신한다.

예를 들어, 수신부(210)는 도 3에 도시된 바와 같이 수직 방향으로 배치되는 제1 어안 렌즈와 제2 어안 렌즈를 통해 촬영되는 피사체의 제1 어안 영상과 제2 어안 영상을 수신한다. 여기서, 제1 어안 렌즈와 제2 어안 렌즈는 같은 방향을 바라보도록 수직 방향으로 배치되며, 200도 이상의 수평 시야각과 180도 이상의 수직 시야각을 가질 수 있다. 물론, 어안 렌즈 각각은 200도 이상의 수평 시야각과 180도 이상의 수직 시야각으로 제한되거나 한정되지 않으며, 수평 시야각과 수직 시야각을 사용되는 어안 렌즈에 따라 달라질 수 있다.

나아가, 수신부(210)는 제1 영상을 촬영하기 위한 제1 카메라의 제1 이미지 센서와 제2 영상을 촬영하기 위한 제2 카메라의 제2 이미지 센서가 가로 길이가 세로 길이보다 긴 직사각형 형태인 세로 시야각(또는 수직 시야각)보다 넓은 가로 시야각(또는 수평 시야각)을 얻도록 각각의 이미지 센서는 가로 방향으로 배치될 수 있다.

변환부(220)는 수신부(210)를 통해 수신되는 제1 어안 영상과 제2 어안 영상을 지도 투영법으로 변환한다.

이 때, 변환부(220)는 제1 어안 영상과 제2 어안 영상을 등장방형도법(Equirectangular Projection)으로 변환할 수 있다.

여기서, 등장방형도법은 지도 투영법의 하나로, 위도선과 경도선이 각각 수평선과 수직선으로 표현될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 변환부는 220도의 어안 영상을 등장방형도법으로 변환함으로써, 이퀴렉탱귤러 영상(equirectangular image)으로 변환할 수 있다. 이러한 등장방형도법은 360도 카메라 등에서 기존 직선 투영(Rectilinear Projection) 영상에 담을 수는 없는 넓은 시야각을 담기 위해 사용할 수 있다. 그리고, 180도 이상 시야각의 어안 렌즈 영상을 등장방형도법을 통해 변환하면, 영상의 위 아래 부분이 크게 좌우로 크게 늘어나는 왜곡이 발생할 수 있다.

나아가, 변환부(220)는 제1 어안 영상과 제2 어안 영상을 등장방형도법으로 변환하기 전에 제1 어안 영상과 제2 어안 영상을 회전시켜 자오선의 방향을 일치시키기 위한 영상 정렬(image rectification)을 수행할 수도 있다. 영상 정렬을 하게 되면, 두 영상 간의 비교가 1차원 탐색으로 단순화되어 스테레오 매칭의 속도를 높일 수 있다.

처리부(230)는 변환부(220)에 의해 등장방형도법으로 변환된 어안 영상들 즉, 제1 이퀴렉탱귤러 영상과 제2 이퀴렉탱귤러 영상을 세로 방향 또는 수직 방향으로 스테레오 매칭을 수행함으로써, 제1 어안 렌즈와 제2 어안 렌즈를 통해 촬영되는 피사체의 깊이 또는 깊이 맵을 추출한다.

즉, 처리부(230)는 스테레오 매칭을 통해 사용자의 신체 부위와 주변 환경에 대한 깊이 맵을 추출할 수 있다.

이 때, 처리부(230)는 도 5에 도시된 바와 같이, 두 개의 어안 렌즈 또는 어안 렌즈 카메라가 같은 방향을 바라보도록 수직으로 배치되기 때문에 구면 좌표계를 이용하면 등극선(Epipolar line)이 구면의 경도선(자오선)과 일치하게 되고, 어안 렌즈 영상을 등장방형도법으로 변환하면 경도선이 영상에서 수직선으로 표현되므로 수직선을 따라 검색함으로써, 효율적인 스테레오 매칭을 수행할 수 있다.

그리고, 처리부(230)는 도 6에 도시된 바와 같이, 위쪽의 어안 렌즈와 아래쪽의 어안 렌즈를 통해 촬영되는 영상들에 대하여 등장방형도법으로 변환된 영상들 간의 각 디스패리티(angular disparity) 즉, φ₁-φ₀로부터 피사체에 대한 깊이(d)를 추출 또는 산출할 수 있으며, 깊이는 아래 <수학식 1>에 의해 추출 또는 산출될 수 있다.

[수학식 1]

여기에서 각 디스패리티가 같더라도 깊이가 φ₁에 따라 달라지는 것을 알 수 있다. 또한, Baseline B와 같은 방향인 위쪽과 아래쪽 예를 들어, φ₁이 -90도 또는 90도에서는 깊이가 구해지지 않는 것을 확인할 수 있다.

이 때, 카메라가 바라보는 방향을 Z축, 베이스라인(Baseline)의 방향을 Y축으로 했을 때 같은 크기의 각 디스패리티에 대한 깊이는 도 7에 도시된 바와 같이 달라질 수 있다.

제한적인 시야각의 기존 스테레오에서는 깊이(또는 거리)와 디스패리티의 크기가 반비례 관계에 있다고 근사하여 계산하였었으나, 넓은 시야각을 사용할 때는 상기 수학식 1에서와 같이 깊이와 각 디스패리티는 복잡한 관계를 가지므로 이를 고려해야 한다.

나아가, 처리부(230)는 추출된 피사체의 깊이를 이용하여 180도 이상의 수평 시야각과 180도 이상의 수직 시야각의 광시야각을 가지는 피사체에 대한 영상을 획득할 수 있다.

비전 처리부(120)는 스테레오 카메라 장치(110)에 의해 획득되는 피사체의 깊이 맵을 이용하여 사용자의 동작과 사용자의 주변에 위치한 사물과 지형을 포함하는 주변 환경을 인식하고, 이렇게 인식된 정보 즉, 사용자의 동작과 주변 환경 정보를 사용자에게 제공한다.

이 때, 비전 처리부(120)는 인식된 사용자의 동작과 주변 환경을 가상 영상으로 생성한 후 1인칭 비전 시스템을 착용한 사용자에게 제공할 수 있다. 예컨대, 1인칭 비전 시스템이 HMD에 적용되는 경우 HMD를 통해 사용자의 동작과 주변 환경에 대한 가상 영상을 생성하여 가상 현실로 제공할 수 있다.

1인칭 비전 시스템(100)은 스테레오 카메라 장치(110) 예를 들어, 최대 180도, 수평 시야각은 180도보다 훨씬 큰 광시야각 RGB-D 카메라 장치를 통해 사람과 유사한 시야를 제공할 수 있기 때문에 스테레오 카메라 장치(110)에서 1인칭 비전 시스템(100)을 착용한 사용자의 상하 좌우 손동작이 모두 시야에 들어올 수 있기에, 비전 처리부(120)는 스테레오 카메라 장치(110)가 사용자의 전면을 촬영하더라도 사용자의 손과 팔의 동작 그리고 사용자의 행동, 자세 등을 인식할 수 있다.

비전 처리부(120)는 스테레오 카메라 장치(100)에 의해 뎁스 맵이 추출되기 때문에 주변 사물 검출을 통해 사용자의 충돌 가능성을 감지하여 이에 대한 정보를 사용자에게 제공할 수도 있고, 사용자의 손에 어떤 물건이 있는 경우 사용자의 손과 물건의 위치 검출을 통해 사용자의 손이 물건 뒤에 위치하거나 물건이 사용자의 손 안에 위치하는 등의 가상 영상을 생성하여 제공할 수도 있으며, 주변 환경 인식을 통해 주변 지형과 객체 등에 대한 가상 영상을 함께 실시간으로 제공할 수도 있다.

이와 같이, 본 발명의 실시예에 따른 1인칭 비전 시스템은 두 개의 렌즈 예를 들어, 어안렌즈를 수직 방향으로 배치시켜 수평 시야각과 수직 시야각을 향상시킨 사람의 시야각보다 넓은 광시야각의 스테레오 카메라 장치를 이용하여 사용자의 동작을 인식하거나 사용자의 주변 환경을 인식할 수 있다. 예를 들어, 본 발명에서 수직 시야각은 최대 180도, 수평 시야각은 180도보다 훨씬 큰 광시야각 RGB-D 카메라 장치를 구현하고, 이를 통해 1인칭 비전 시스템을 제공할 수 있다. 여기서, 280도 어안렌즈 사용시 수평 시야각 280도와 수직 시야각 180도 시야각도 가능하다.

또한, 본 발명의 시스템에서 사용하는 스테레오 카메라 장치는 수평 시야각과 수직 시야각을 향상시켜 광시야각을 가짐으로써, 사람의 시야각보다 넓은 RGB-D(depth) 카메라를 구현하고, 이를 통해 근접 객체 검출이 용이할 수 있다. 예컨대, 본 발명의 시스템에서 사용하는 스테레오 카메라 장치는 도 8에 도시된 바와 같이, 근접 객체 검출이 용이하기 때문에 1m 이내로 근접한 다른 사람의 전신 검출, 사용자의 손과 팔 동작 검출 또는 사물 등과 같은 근접 객체 검출이 가능한다.

상술한 바와 같이, 본 발명의 시스템에서 사용하는 스테레오 카메라 장치는 두 개의 어안 렌즈 또는 어안 렌즈 카메라를 수직 방향 또는 세로 방향으로 배치/하여 촬영한 영상을 등장방형도법(Equirectangular Projection)으로 변환함으로써, 위 아래 영상 간에 효율적인 스테레오 매칭이 가능하고, 이는 아래 세가지 내용을 고려하여 세로 방향으로 배치하는 것에 대한 장점을 이용한 것이다.

첫째, 180도 이상 시야각의 어안 스테레오에서는 심지어 두 카메라 간에도 가려짐이 발생한다. 예를 들어, 영상에서 옆 카메라 보인다. 그러므로, 가려짐이 최소화될 수 있도록 카메라들이 배치되어야 한다.

둘째, 등장방형도법(Equirectangular Projection)을 사용하는 경우 극지방(Pole)에 해당하는 영상의 위쪽과 아래쪽 영역은 실제보다 지나치게 확대되어 표현되는 문제가 있다.

셋째, 기존의 제한적인 시야각의 스테레오에서는 깊이의 크기는 디스패리티와 반비례한다고 근사하여 계산하였지만, 시야각이 넓어지면 동일한 크기의 디스패리티에 대해서도 카메라가 바라보는 방향에서부터 스테레오 카메라의 baseline 방향으로 갈 수록 깊이가 작아지므로 정확한 깊이를 얻기 어려워진다.

또한, 본 발명의 시스템에서 사용하는 스테레오 카메라 장치는 두 카메라 또는 두 렌즈 간의 간섭이 일어나는 방향과 깊이를 구할 수 없는 방향을 일치시켜 깊이를 구하지 못하는 영역을 최소화시키고, 수평 방향 깊이 맵의 시야각을 180도 이상 늘려 줄 수 있다. 물론, 본 발명의 스트레오 카메라 장치는 280도 어안 렌즈 사용시 수평 방향에 대하여 280도의 깊이 맵을 구할 수 있다.

나아가, 본 발명의 시스템에서 사용하는 스테레오 카메라 장치는 위쪽 카메라와 아래쪽 카메라 중 아래쪽 카메라의 영상을 기준으로 위쪽 카메라 영상을 탐색하여 스테레오 매칭을 수행하게 되면, 가려짐(occlusion)에 의한 홀(hole)이 객체의 아래 방향에 생기게 되는데, 본 발명은 홀이 생기더라도 객체의 아래쪽으로 생기기 때문에 객체 검출 등의 경우에 더 유리할 수 있다.

도 9는 본 발명의 일 실시예에 따른 1인칭 비전 시스템의 영상 처리 방법에 대한 동작 흐름도를 나타낸 것으로, 도 1 내지 도 8의 1인칭 비전 시스템에서의 동작 흐름도를 나타낸 것이다.

도 9를 참조하면, 본 발명의 실시예에 따른 1인칭 비전 시스템의 영상 처리 방법은 스테레오 카메라 장치에 구성되며 수직 방향으로 배치된 제1 렌즈와 제2 렌즈를 통해 촬영되는 피사체의 제1 영상 예를 들어, 제1 어안 영상과 제2 영상 예를 들어, 제2 어안 영상을 수신한다(S910).

단계 S910에 의해 제1 어안 영상과 제2 어안 영상이 수신되면, 수신된 제1 어안 영상과 제2 어안 영상을 지도 투영법으로 변환한다(S920).

이 때, 단계 S920은 제1 어안 영상과 제2 어안 영상을 등장방형도법(Equirectangular Projection)으로 변환할 수 있다. 또한, 단계 S920은 구면 좌표계를 이용하여 등극선(Epipolar line)을 구면의 경도선과 일치시키도록 변환할 수 있다.

단계 S920에 의해 제1 어안 영상과 제2 어안 영상이 지도 투영법으로 변환되면, 지도 투영법으로 변환된 제1 어안 영상과 제2 어안 영상을 세로 방향으로 스테레오 매칭을 수행함으로써, 피사체의 깊이를 추출한다(S930).

이 때, 본 발명의 방법은 단계 S930에 의해 추출된 피사체의 깊이를 이용하여 180도 이상의 수평 시야각과 180도 이상의 수직 시야각의 광시야각을 가지는 피사체에 대한 깊이 영상을 획득할 수도 있다.

이 때, 단계 S930은 상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 경도선에 대응하는 수직선을 따라 검색함으로써, 스테레오 매칭을 수행할 수 있다.

단계 S930에 의해 피사체의 깊이 또는 깊이 맵이 추출되면, 추출된 피사체의 깊이 맵을 이용하여 사용자의 동작과 사용자의 주변에 위치한 사물과 지형을 포함하는 주변 환경을 인식하고, 인식된 사용자의 동작과 주변 환경을 사용자에게 제공한다(S940).

이 때, 단계 S940은 사용자의 동작과 주변 환경에 대한 가상 영상을 생성하여 사용자에게 제공할 수도 있다.

비록, 도 9의 방법에서 그 설명이 생략되었더라도, 도 9를 구성하는 각 단계는 도 1 내지 도 8에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

1. 사용자의 신체 부위에 부착되어 상기 사용자의 전면 방향을 촬영하며, 수직 방향으로 배치된 제1 렌즈와 제2 렌즈를 통해 촬영되는 피사체의 제1 영상과 제2 영상을 수신하고, 상기 수신된 제1 영상과 제2 영상을 지도 투영법으로 변환하며, 상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 세로 방향으로 스테레오 매칭을 수행함으로써, 상기 피사체의 깊이를 추출하는 스테레오 카메라 장치; 및
   상기 스테레오 카메라 장치로부터 추출되는 상기 피사체의 깊이 맵을 이용하여 상기 사용자의 동작과 상기 사용자의 주변에 위치한 사물과 지형을 포함하는 주변 환경을 인식하고, 상기 인식된 사용자의 동작과 주변 환경을 상기 사용자에게 제공하는 비전 처리부
   를 포함하고,
   상기 스테레오 카메라 장치는
   상기 제1 영상과 제2 영상을 등장방형도법(Equirectangular Projection)으로 변환하는 과정에서 상기 제1 영상과 상기 제2 영상간의 비교가 1차원 탐색으로 단순화되도록 상기 제1 영상과 상기 제2 영상을 회전시켜 자오선의 방향을 일치시키는 영상 정렬을 수행하는 것을 특징으로 하는 1인칭 비전 시스템.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 스테레오 카메라 장치는
   상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 경도선에 대응하는 수직선을 따라 검색함으로써, 스테레오 매칭을 수행하는 것을 특징으로 하는 1인칭 비전 시스템.
   
5. 제1항에 있어서,
   상기 제1 렌즈와 상기 제2 렌즈는
   어안 렌즈를 포함하는 것을 특징으로 하는 1인칭 비전 시스템.
   
6. 제5항에 있어서,
   상기 제1 렌즈와 상기 제2 렌즈는
   수평 시야각이 180도 이상인 어안 렌즈인 것을 특징으로 하는 1인칭 비전 시스템.
   
7. 제1항에 있어서,
   상기 스테레오 카메라 장치는
   상기 추출된 피사체의 깊이를 이용하여 180도 이상의 수평 시야각과 180도 이상의 수직 시야각의 광시야각을 가지는 상기 피사체에 대한 영상을 획득하는 것을 특징으로 하는 1인칭 비전 시스템.
   
8. 제1항에 있어서,
   상기 스테레오 카메라 장치는
   상기 제1 영상을 촬영하기 위한 이미지 센서와 상기 제2 영상을 촬영하기 위한 이미지 센서를 포함하고,
   상기 제1 영상과 상기 제2 영상 각각을 촬영하기 위한 이미지 센서 각각은
   가로 길이가 세로 길이보다 긴 직사각형 형태인 경우 수직 시야각보다 넓은 수평 시야각을 얻도록 가로 방향으로 배치되는 것을 특징으로 하는 1인칭 비전 시스템.
   
9. 제1항에 있어서,
   상기 비전 처리부는
   상기 사용자의 동작과 상기 주변 환경에 대한 가상 영상을 생성하여 상기 사용자에게 제공하는 것을 특징으로 하는 1인칭 비전 시스템.
   
10. 사용자의 신체 부위에 부착되어 상기 사용자의 전면 방향을 촬영하는 스테레오 카메라 장치를 포함하는 1인칭 비전 시스템의 영상 처리 방법에 있어서,
    상기 스테레오 카메라 장치에 구성되며 수직 방향으로 배치된 제1 렌즈와 제2 렌즈를 통해 촬영되는 피사체의 제1 영상과 제2 영상을 수신하는 단계;
    상기 수신된 제1 영상과 제2 영상을 지도 투영법으로 변환하는 단계;
    상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 세로 방향으로 스테레오 매칭을 수행함으로써, 상기 피사체의 깊이를 추출하는 단계; 및
    상기 추출된 피사체의 깊이 맵을 이용하여 상기 사용자의 동작과 상기 사용자의 주변에 위치한 사물과 지형을 포함하는 주변 환경을 인식하고, 상기 인식된 사용자의 동작과 주변 환경을 상기 사용자에게 제공하는 단계
    를 포함하고,
    상기 변환하는 단계는,
    상기 제1 영상과 제2 영상을 등장방형도법(Equirectangular Projection)으로 변환하는 과정에서 상기 제1 영상과 상기 제2 영상간의 비교가 1차원 탐색으로 단순화되도록 상기 제1 영상과 상기 제2 영상을 회전시켜 자오선의 방향을 일치시키는 영상 정렬을 수행하는 것을 특징으로 하는 영상 처리 방법.
    
11. 삭제
12. 삭제
13. 제10항에 있어서,
    상기 추출하는 단계는
    상기 지도 투영법으로 변환된 제1 영상과 제2 영상을 경도선에 대응하는 수직선을 따라 검색함으로써, 스테레오 매칭을 수행하는 것을 특징으로 하는 영상 처리 방법.
    
14. 제10항에 있어서,
    상기 제1 렌즈와 상기 제2 렌즈는
    어안 렌즈를 포함하는 것을 특징으로 하는 영상 처리 방법.
    
15. 제14항에 있어서,
    상기 제1 렌즈와 상기 제2 렌즈는
    수평 시야각이 180도 이상인 어안 렌즈인 것을 특징으로 하는 영상 처리 방법.
    
16. 제10항에 있어서,
    상기 추출된 피사체의 깊이를 이용하여 180도 이상의 수평 시야각과 180도 이상의 수직 시야각의 광시야각을 가지는 상기 피사체에 대한 깊이 영상을 획득하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
    
17. 제10항에 있어서,
    상기 수신하는 단계는
    상기 제1 영상을 촬영하기 위한 이미지 센서와 상기 제2 영상을 촬영하기 위한 이미지 센서를 이용하여 수직 시야각보다 넓은 수평 시야각을 가지는 상기 제1 영상과 상기 제2 영상을 수신하고,
    상기 제1 영상과 상기 제2 영상 각각을 촬영하기 위한 이미지 센서 각각은
    가로 길이가 세로 길이보다 긴 직사각형 형태를 가지는 것을 특징으로 하는 영상 처리 방법.
    
18. 제10항에 있어서,
    상기 사용자에게 제공하는 단계는
    상기 사용자의 동작과 상기 주변 환경에 대한 가상 영상을 생성하여 상기 사용자에게 제공하는 것을 특징으로 하는 영상 처리 방법.
    

Images