KR101042171B1 - 입체영상 카메라의 관심물체 주시각 제어방법 및 장치 - Google Patents

입체영상 카메라의 관심물체 주시각 제어방법 및 장치 Download PDF

Info

Publication number
KR101042171B1
KR101042171B1 KR20090050601A KR20090050601A KR101042171B1 KR 101042171 B1 KR101042171 B1 KR 101042171B1 KR 20090050601 A KR20090050601 A KR 20090050601A KR 20090050601 A KR20090050601 A KR 20090050601A KR 101042171 B1 KR101042171 B1 KR 101042171B1
Authority
KR
South Korea
Prior art keywords
image
interest
parallax
camera
images
Prior art date
Application number
KR20090050601A
Other languages
English (en)
Other versions
KR20100131814A (ko
Inventor
남 김
권기철
송영준
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR20090050601A priority Critical patent/KR101042171B1/ko
Publication of KR20100131814A publication Critical patent/KR20100131814A/ko
Application granted granted Critical
Publication of KR101042171B1 publication Critical patent/KR101042171B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 입체영상 카메라에 관한 것으로, 특히 입체영상 카메라의 주시각 제어를 위해 관심 객체에 대한 시차 정보를 추출하여 관심 객체에 대해 카메라의 주시각을 제어할 수 있도록 한 입체영상 카메라의 관심물체 주시각 제어방법 및 장치에 관한 것이다. 이와 같은 본 발명은 좌,우측 카메라와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영하여 좌,우측 영상을 획득하는 단계; 상기 소정 횟수에 의해 획득된 좌,우측 영상으로부터 관심물체 이미지에 대한 시차정보를 획득하는 단계; 상기 시차정보를 고려하여 주시각 제어량을 추정하는 단계; 및 상기 추정된 제어량으로 상기 좌,우측 카메라의 주시각을 제어하는 단계를 포함하는 입체영상 카메라의 관심물체 주시각 제어방법 및 장치를 제공한다.
입체영상 카메라, 주시각, 관심 객체, 피사체, 시차, 시차량, 2차 랑그랑지 보간 다항식

Description

입체영상 카메라의 관심물체 주시각 제어방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING VERGENCE OF INTERSTING OBJECTS IN THE STEROSCOPIC CAMERA}
본 발명은 입체영상 카메라에 관한 것으로, 특히 입체영상 카메라의 주시각 제어를 위해 관심 객체에 대한 시차 정보를 추출하여 관심 객체에 대해 카메라의 주시각을 제어할 수 있도록 한 입체영상 카메라의 관심물체 주시각 제어방법 및 장치에 관한 것이다.
일반적으로, 동일 피사체를 서로 다른 두 지점에서 관찰했을 때에 생기는 방향의 차이를 '시차(Parallax)'라고 하며, 입체영상 카메라의 좌, 우 카메라를 각각 획득되는 좌영상과 우영상에는 피사체의 픽셀 좌표가 수직 및/또는 수평 방향으로 차이가 난다. 이러한 좌영상과 우영상에서의 피사체의 픽셀 좌표의 차이, 즉 위치 차이를 '시차량'이라고 한다.
일반적으로 주시하고자 하는 물체의 시차량이 '0'이 되었을 때 가장 편안하게 입체 영상을 관람할 수가 있다. 반면, 주시각 제어가 되지 않은 입체 영상을 보게 될 경우에는 피사체에 대한 시차량이 매우 크게 나타나서 피사체의 윤곽이 흐릿 할 뿐만 아니라 관측자는 초점이 맺히지 않은 물체의 관측에 따른 심한 관측 피로를 느끼게 된다.
입체 카메라를 통해서 획득한 영상도 이를 관람하는 사람의 관측 피로를 최소화하기 위해서는 시차량을 조절해주는 주시각 제어 기능이 요구된다. 일반적으로 입체 카메라의 경우에는 주시하고자 하는 물체의 방향이나 거리 등의 변화에 따라서 시차량이 최소가 되도록 좌우 카메라 사이의 거리나 각 카메라의 관측 방향 등을 제어하는 것이 요구된다.
이때 양안 입체영상 카메라의 주시각 제어 방법에는 관심물체의 거리정보를 계산하여 주시각을 제어하는 방법과, 영상에서 관심물체의 위치에 따른 좌, 우 영상간에 시차정보를 이용하는 방법 등이 있다.
관심물체의 거리정보를 계산하여 주시각을 제어하는 방법인 경우, 기계적인 방법에 의한 방법으로 복잡한 계산이 필요하며, 관심물체의 거리가 멀어질수록 정확성이 떨어지는 단점이 있다.
반면, 영상에서 관심물체의 위치에 따른 좌우 영상간에 시차정보를 이용하는 방법인 경우, 획득되는 좌, 우 영상에서 관심물체의 사이에 시차정보를 사용함으로써 단순하면서 정확한 주시각 제어를 할 수 있다. 이때 양안 입체영상 카메라의 주시각 제어를 위한 양안 시차추출 방법으로 평균값과 분산값을 추출하여 특징점들의 심도 분포를 사용하는 방법이 있다.
그러나, 특정한 환경 외에는 정확한 주시각 제어가 어렵다는 단점이 있다.
또한 좌, 우 영상의 에지(edge) 검출을 사용하는 ZDF(zero disparity filter)를 이용한 방법과 한 점에 대한 주시각 제어를 위해 cross correlation 에러 함수를 사용하는 방법 등이 연구되었으나, ZDF와 상관도에 의해 시차 값을 추출하는 방법 또한 정확성이 떨어지며, 처리시간이 많이 걸리는 단점이 있다.
최근에는 획득되는 좌, 우 입체영상에서 주시각 제어의 에러량을 추정하기 위해 Cepstral 필터를 사용한 실시간 주시각 제어 시스템이 연구되어졌다.
그러나 지금까지 입체영상 카메라의 주시각 제어를 위해 제안된 시차정보 추출 방법들은 처리시간이 오래 걸리거나 또는 정확성이 떨어지는 단점들을 가지고 있다.
관심물체의 거리에 따라 주시각 제어가 가능한 양안 입체영상 카메라의 방식에는 교차 방식과 수평이동 방식이 있다.
교차 방식은 도 1의 (a)와 같이 관심물체의 거리에 따라 카메라의 광축을 θ만큼 회전시켜 주시각을 제어하는 양안 입체영상 카메라 방식이다. 교차 방식과는 다르게 수평이동 방식은 렌즈와 CCD센서를 분리하여 렌즈 혹은 CCD 센서를 수평이동 하여 서로 대칭적으로 이동시켜 주시각을 제어하는 양안 입체영상 카메라 방식이다.
각각의 방식에 따른 주시각 제어량 θ와 h는 기하학 구조를 해석함으로써 쉽게 구할 수 있다. 렌즈와 관심물체 사이의 거리를 p, CCD센서와 렌즈 사이의 거리를 f, 그리고 좌, 우 카메라 사이의 거리를 2t라고 할 때, 교차 방식 카메라의 주시각 제어각 θ와 수평이동방식 카메라의 제어량 h는 아래의 수학식 1과 같이 표현할 수 있다.
Figure 112009034581363-pat00001
양안 입체영상 카메라의 제작에 있어서 좌, 우 카메라의 수직 시차가 존재하지 않도록 제작되었다면, 촬영 물체의 거리에 따라 획득되는 입체영상에서는 항상 수평방향의 시차만이 존재하게 된다.
따라서 획득되는 좌, 우 입체영상에서 관심물체에 대한 수평방향 시차정보만을 빠르고 정확하게 추출하고, 이를 이용한 주시각 제어가 필요하다.
본 발명은 상기와 같은 필요성을 감안하여 안출된 것으로, 입체영상 카메라의 주시각 제어를 위해 관심 객체에 대한 시차 정보를 추출하여 관심 객체에 대해 카메라의 주시각을 제어할 수 있도록 한 입체영상 카메라의 관심물체 주시각 제어방법 및 장치를 제공함에 그 목적이 있다.
본 발명의 다른 목적은 카메라의 주시거리와 관심물체 사이의 거리의 차가 최소가 되도록 하는 주시각을 용이하게 획득하여 카메라의 주시각을 제어할 수 있도록 한 입체영상 카메라의 관심물체 주시각 제어방법 및 장치를 제공함에 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 입체영상 카메라의 관심물체 주시각 제어방법은, 좌,우측 카메라와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영하여 좌,우측 영상을 획득하는 단계; 상기 소정 횟수에 의해 획득된 좌,우측 영상으로부터 관심물체 이미지에 대한 시차정보를 획득하는 단계; 상기 시차정보를 고려하여 주시각 제어량을 추정하는 단계; 및 상기 추정된 제어량으로 상기 좌,우측 카메라의 주시각을 제어하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 시차정보를 획득하는 단계는, 상기 좌,우측 영상에 대해 각각 영상 레이블링을 수행하는 단계; 상기 영상 레이블링된 영상으로부터 관심영역을 추출하고, 그 추출된 관심영역으로부터 상기 관심물체 이미지를 획득하는 단계; 및 상기 좌,우측 영상의 동일한 관심물체 이미지간의 시차량을 계산하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 시차정보를 획득하는 단계는, 좌, 우측의 컬러 영상을 그레이 영상으로 변환하는 전처리 단계를 더 포함하여, 상기 그레이 영상에 대해 영상 레이블링을 수행하는 것을 특징으로 한다.
여기서, 상기 관심물체 이미지를 획득하는 단계는, 상기 관심영역에 대한 명도값의 히스토그램 분포에서 empirical rule을 적용시켜 임계값을 설정하고, 상기 관심물체 이미지의 밝기 성분을 고려하여 상기 임계값 이상 또는 이하 중 하나를 선택하여 관심물체 이미지를 획득하는 것을 특징으로 한다.
여기서, 상기 임계값은, 하기의 수학식 1을 통해 획득되는 것을 특징으로 한다.
(수학식 1)
Figure 112009034581363-pat00002
여기서, Ath는 임계값,
Figure 112009034581363-pat00003
는 관심영역의 명도값 분포에서 평균값, s는 표 준편차를 의미한다.
여기서, 좌,우측 영상간 동일한 관심물체 이미지의 시차값을 계산하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 관심영역은, 좌,우측 영상의 중심점에서 가장 가까운 레이블링된 영역인 것을 특징으로 한다.
여기서, 상기 관심물체 이미지간의 시차량을 계산하는 단계는, 상기 좌,우측 영상에 해당하는 관심물체 이미지의 최외곽 에지를 검출하는 단계; 및 상기 좌,우측 영상의 관심물체 이미지간 최외곽 에지의 거리차를 계산하고, 그 계산된 거리차에 절대값을 취하여 시차량을 계산하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 주시각 제어량을 추정하는 단계는, 상기 시차 정보에 해당하는 시차량을 2차 라그랑지 근사 방정식에 대입하는 단계; 및 상기 2차 라그랑지 근사 방정식에 의해 획득되는 2차 곡선으로부터 추출되는 최소값을 주시각 제어량으로 추정하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 소정 횟수는 적어도 3이 되며, 상기 소정 횟수에 대응하는 시차정보의 개수를 획득하여 주시각 제어량을 추정하는 것을 특징으로 한다.
본 발명의 다른 면에 따른 입체영상 카메라의 관심물체 주시각 제어장치는, 좌,우측 카메라와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영하여 좌,우측 영상을 획득하는 영상 획득부; 상기 획득된 좌,우측 영상으로부터 관심물체 이미지에 대한 시차정보를 획득하도록 영상처리하는 영상 처리부; 및 상기 시차정보를 고려하여 주시각 제어량을 추정하고, 상기 주시각 제어량으로 상기 좌,우 측 카메라의 주시각을 제어하는 주시각 제어부를 포함하는 것을 특징으로 한다.
여기서, 상기 영상 처리부는, 상기 좌,우측 영상에 대해 각각 영상 레이블링을 수행하는 레이블링부; 및 상기 영상 레이블링된 영상으로부터 관심영역을 추출하고, 그 추출된 관심영역으로부터 상기 관심물체 이미지를 획득하는 이미지 획득부를 포함하는 것을 특징으로 한다.
여기서, 상기 영상 처리부는, 획득된 좌,우측 영상에 해당하는 관심물체 이미지의 최외곽 에지를 검출하는 검출부; 및 상기 좌,우측 영상의 관심물체 이미지간 최외곽 에지의 거리차를 계산하고, 그 계산된 거리차에 절대값을 취하여 시차정보에 해당하는 시차량을 획득하는 시차량 획득부를 더 포함하는 것을 특징으로 한다.
여기서, 상기 영상 처리부는, 상기 좌,우측의 컬러 영상을 그레이 영상으로 변환하는 영상 변환부를 더 포함하되, 상기 그레이 영상에 대해 영상 레이블링을 수행하는 것을 특징으로 한다.
여기서, 상기 레이블링부는, 상기 관심영역에 대한 명도값의 히스토그램 분포에서 empirical rule을 적용시켜 임계값을 설정하고, 상기 관심물체 이미지의 밝기 성분을 고려하여 상기 임계값 이상 또는 이하 중 하나를 선택하여 영상 레이블을 수행하는 것을 특징으로 한다.
여기서, 상기 임계값은, 하기의 수학식 2를 통해 획득되는 것을 특징으로 한다.
(수학식 2)
Figure 112009034581363-pat00004
여기서, Ath는 임계값,
Figure 112009034581363-pat00005
는 관심영역의 명도값 분포에서 평균값, s는 표준편차를 의미한다.
여기서, 주시각 제어부는, 상기 시차 정보에 해당하는 시차량을 2차 라그랑지 근사 방정식에 대입하여 시차량에 따른 2차 라그랑지 근사방정식을 획득하는 방정식 획득부; 상기 2차 라그랑지 근사 방정식에 의해 획득되는 2차 곡선으로부터 최소값을 추출하는 최소값 추출부; 및 상기 최소값을 상기 주시각 제어량으로 하여 상기 좌,우측 카메라의 주시각을 제어하는 제어부를 포함하는 것을 특징으로 한다.
전술한 과제해결 수단에 의해 본 발명은 관심물체와 카메라의 거리를 변화시키면서 획득되는 좌,우 영상의 시차정보를 사용하고, 이를 2차 랑그랑지 근사 방정식에 적용하여 주시각 제어량을 추정할 수 있도록 함으로써, 카메라의 주시거리와 관심 물체사이의 거리 차가 최소가 되도록 하는 효과가 있다.
이에, 좌,우 카메라의 수직시차가 존재하지 않도록 제작된 입체영상 카메라에 있어, 촬영물체의 거리에 따라 획득되는 입체영상에서는 항상 수평방향의 시차만이 존재하게 되므로, 좌,우 입체영상에서 관심물체에 대한 수평 방향 시차정보만 을 빠르고 정확하게 추출하여 주시각 제어를 정확하게 할 수 있는 효과가 있다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.
하기의 설명에서 본 발명의 입체영상 카메라의 관심물체 주시각 제어방법 및 장치의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
또한 하기의 설명에서 피사체와 좌,우측 카메라의 이격거리를 적어도 3회 이상 다르게 하면서 촬영되는 좌,우측 영상을 갖고, 정확한 주시각 제어를 할 수 있도록 하는 기술임을 인지해야 한다.
도 2는 본 발명의 실시예에 따른 입체영상 카메라의 관심물체 주시각 제어장치를 보인 구성도이고, 도 3은 본 발명의 실시예에 따른 입체영상 카메라의 관심물체 주시각 제어장치의 동작을 설명하기 위한 예시도이다. 여기서 좌,우측 카메라(1,2)는 모터(motor)를 통해 수평운동을 하게 되고, 그에 따라 주시각이 변화하게 되게 되고, 이에 물체와 좌,우측 커메라(1,2)의 이격거리 즉, 주시거리가 변하게 된다. 또한 좌,우측 카메라(1,2)는 영상 데이터를 촬영하며, 촬영된 광신호를 전기적 신호로 변환하는 카메라 센서(미도시)와, 카메라 센서로부터 촬영되는 아날 로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다.
여기서 카메라 센서는 CCD(Charge Coupled Device) 센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor: DSP)로 구현할 수 있다. 또한 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다. 이에 대한 기술은 일반적으로 당업자에게 공지된 기술이므로 이에 대한 상세한 설명은 이하 생략한다.
도 2 및 도 3을 참조하면, 본 발명에 따른 주시각 제어장치는 영상 획득부(10)와, 영상 처리부(20)와, 주시각 제어부(30) 등을 포함하여 구성된다.
영상 획득부(10)는 좌,우측 카메라(1,2)와 피사체(object)간의 이격 거리를 소정 횟수 변화시키며 피사체를 소정 횟수 촬영하여 좌,우측 영상을 획득한다. 그래서, 영상 획득부(10)는 소정 횟수마다 촬영되는 좌,우측 카메라(1,2)를 통해 촬영되는 피사체간의 이격거리가 상이해야 한다. 여기서 소정 횟수는 적어도 '3'이 되어야 하며, 이에 대한 상세한 설명은 이하 설명하도록 한다.
영상 처리부(20)는 영상 변환부, 레이블링부, 이미지 획득부, 검출부 및 시차량 획득부를 구비하여, 소정 횟수에 대응하는 소정 개수의 획득된 좌,우측 영상으로부터 관심물체 이미지에 대한 시차정보를 획득하도록 영상을 처리한다.
주시각 제어부(30)는 방정식 획득부(31)와, 최소값 추출부(33)와, 제어부(35) 등을 구비하여, 시차정보를 고려하여 주시각 제어량을 추정하고, 주시각 제어량으로 좌,우측 카메라(1,2)의 주시각을 제어한다.
도 4는 도 2에 있어, 영상 처리부의 내부 구성을 보인 구성도이고, 도 5는 본 발명에 따른 영상 처리부를 통해 처리되는 영상을 보인 예시도이다.
도 4 및 도 5를 참조하면, 본 발명에 따른 영상처리부(20)는 영상 변환부(21)와, 레이블링부(23)와, 이미지 획득부(25)와, 검출부(27)와, 시차량 획득부(29) 등을 포함하여 구성된다.
영상 변환부(21)는 좌,우측 카메라(1,2)로부터 획득된 컬러 영상을 그레이 영상으로 변환한다. 여기서 영상 변환부(21)는 그레이 레벨 영상으로 변환하여 레이블링의 처리시간을 단축할 수 있도록 하는 레이블링 전처리 과정이 된다. 이에 대한 영상을 보여주는 것이 도 5의 (a)가 된다.
레이블링부(23)는 좌,우측 영상에 대해 각각 영상 레이블링을 수행한다. 즉, 레이블링부(23)는 관심 물체를 추출하기 위한 영상 레이블링을 수행한다. 여기서 레이블링 과정은 관심 물체 이미지를 추출하기 위한 전처리 과정으로서, 도 5의 (b)가 된다.
이미지 획득부(25)는 레이블링부(23)에 의해 레이블링된 영상의 중심부분에 관심 물체 이미지가 존재한다고 가정하고, 중심점에서 가장 가까운 레이블링된 영역을 관심영역으로 추출하고, 그 추출된 관심영역으로부터 관심물체 이미지를 획득한다. 여기서 관심물체 이미지를 획득하는 방법은 다음과 같다.
즉, 관심영역에 대한 명도값의 히스토그램 분포에서 empirical rule을 적용시켜 임계값을 설정하고, 관심물체 이미지의 밝기 성분을 고려하여 임계값 이상 또는 이하 중 하나를 선택하여 영상 레이블을 수행함으로써, 관심 물체 이미지를 획득할 수 있는 것으로, 이에 따라 도 5의 (c)와 같은 관심물체 이미지를 갖게 된다.
여기서 임계값은, 하기의 수학식 2를 통해 획득된다.
Figure 112009034581363-pat00006
여기서, Ath는 임계값,
Figure 112009034581363-pat00007
는 관심영역의 명도값 분포에서 평균값, s는 표준편차를 의미한다.
검출부(27)는 이미지 획득부(25)를 통해 획득된 좌,우측 영상에 해당하는 관심물체 이미지의 최외곽 에지를 검출한다. 이에 대한 도면은 도 5의 (c)가 된다.
시차량 획득부(29)는 좌,우측 영상의 관심물체 이미지간 최외곽 에지의 거리차를 계산하고, 그 계산된 거리차에 절대값을 취하여 시차정보에 해당하는 시차량을 획득한다. 이에 대한 도면은 도 5의 (d)가 된다.
이러한 영상 처리부(20)의 동작 과정에 의해 획득된 시차량은 다음단의 주시각 제어부(30)에 입력된다.
그러면, 주시각 제어부(30)는 고정된 입체영상 카메라에 있어서, 관심물체의 거리 변화에 따른 양안 시차는 +에서 -로, 또는 -에서 +로 변하게 되는 것을 고려하여, 이를 카메라와 관심 물체와의 거리에 따른 좌우 양안의 거리차로서 절대값을 분석하고 시차정보를 추정하여 주시각 제어하고자 하는 것이다.
즉 이는 2차 방정식의 형태로 표현될 수 있고, 해가 되는 값이 관심 물체에 대한 주시각 제어가 완료된 지점이 된다. 2차 방정식의 해를 구하는 방법으로 본 발명에서는 주시각 제어부에서 계산시간이 비교적 짧고, 간단한 라그랑지 보간 방법을 사용하여 제어량을 추정한다.
도 6은 도 2에 있어, 주시각 제어부의 내부 구성을 보인 구성도이다.
도 6을 참조하면, 본 발명에 따른 주시각 제어부(30)는 방정식 획득부(31)와, 최소값 추출부(33)와, 제어부(35) 등을 포함하여 구성된다.
방정식 획득부(31)는 시차 정보에 해당하는 시차량을 2차 라그랑지 근사 방정식에 대입하여 시차량에 따른 2차 라그랑지 근사방정식을 획득한다. 여기서 2차 라그랑지 근사방정식은 아래의 수학식 2을 수학식 3에 대입하여 획득된다. 이때 점 x0, x1, ..., xn의 임의의 한점 xi에 대한 n차의 라그랑지 보간 다항식은 수학식 3과 같이 표현되고, 좌표점이 (x0, y0), (x1, y1),..., (xn, yn)과 같이 주어질 경우 보간 다항식은 아래의 수학식 4와 같이 표현된다.
Figure 112009034581363-pat00008
여기서,
Figure 112009034581363-pat00009
는 랑그랑지 다항식을 의미하고, Xi는 관심물체와 카메라간의 거리를 의미한다.
Figure 112009034581363-pat00010
여기서, p(x)는 라그랑지 보간 다항식을 의미하고, y0~yn은 시차값(절대값을 갖음)을 의미한다.
최소값 추출부(33)는 2차 라그랑지 근사 방정식에 의해 획득되는 2차 곡선으로부터 최소값을 추출한다.
제어부(35)는 최소값을 주시각 제어량으로 하여 좌,우측 카메라(1,2)의 주시각을 제어한다.
이에 따라, 입체영상 카메라의 관심물체 주시각 제어장치는 도 7과 같이, 피사체와 좌,우측 카메라의 이격거리(p1~p5)를 적어도 3회(p1~p5 중 적어도 3개) 이상 다르게 하면서 촬영되는 좌,우측 영상을 갖고, 2차 라그랑지 보간방법을 이용하여 정확한 주시각 제어(p3)를 한다.
도 8은 본 발명의 실시예에 따른 입체영상 카메라의 관심물체 주시각 제어방법을 보인 흐름도이다.
도 8을 참조하면, 입체영상 카메라의 관심물체 주시각 제어장치(100)는 좌,우측 카메라(1,2)와 피사체간의 이격 거리를 소정 횟수(적어도 '3'회 이상) 변화시키며 피사체를 촬영하여 좌,우측 영상을 획득한다(S801). 여기서 좌,우측 카메 라(1,2)를 통해 획득되는 좌,우측 영상은 컬러영상이 된다.
이후, 입체영상 카메라의 관심물체 주시각 제어장치(100)는 소정 횟수에 의해 획득된 좌,우측 컬러 영상을 그레이 영상으로 변환한다(S803).
입체영상 카메라의 관심물체 주시각 제어장치(100)는 그레이 영상에 대해 영상 레이블링을 수행한다(S805).
입체영상 카메라의 관심물체 주시각 제어장치(100)는 영상 레이블링된 영상으로부터 관심영역을 추출하고, 그 추출된 관심영역으로부터 관심물체 이미지를 획득한다(S807). 이때 입체영상 카메라의 관심물체 주시각 제어장치(100)는 좌,우측 영상의 중심점에서 가장 가까운 레이블링된 영역을 관심영역으로 추출한다. 그래서 관심영역에 대한 명도값의 히스토그램 분포에서 empirical rule을 적용시켜 임계값을 설정하고, 관심물체 이미지의 밝기 성분을 고려하여 임계값 이상 또는 이하 중 하나를 선택하여 관심물체 이미지를 획득한다.
이후, 입체영상 카메라의 관심물체 주시각 제어장치(100)는 좌,우측 영상에 해당하는 관심물체 이미지의 최외곽 에지를 검출하고(S809), 좌,우측 영상의 관심물체 이미지간 최외곽 에지의 거리차를 계산한 후, 그 계산된 거리차에 절대값을 취하여 시차량을 계산한다(S811).
이로써, 입체영상 카메라의 관심물체 주시각 제어장치(100)는 관심물체 이미지에 대한 시차정보를 획득한다.
다음 입체영상 카메라의 관심물체 주시각 제어장치(100)는 획득된 시차량을 2차 라그랑지 근사 방정식에 대입한다(S813).
그래서 입체영상 카메라의 관심물체 주시각 제어장치(100)는 2차 라그랑지 근사 방정식에 의해 획득되는 2차 곡선으로부터 추출되는 최소값을 주시각 제어량으로 추정한다(S815).
이후, 입체영상 카메라의 관심물체 주시각 제어장치(100)는 추정된 제어량으로 좌,우측 카메라(1,2)의 주시각을 제어한다(S817).
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 일반적인 교차방식과 수평이동방식을 설명하기 위한 예시도.
도 2는 본 발명의 실시예에 따른 입체영상 카메라의 관심물체 주시각 제어장치를 보인 구성도.
도 3은 본 발명의 실시예에 따른 입체영상 카메라의 관심물체 주시각 제어장치의 동작을 설명하기 위한 예시도.
도 4는 도 2에 있어, 영상 처리부의 내부 구성을 보인 구성도.
도 5는 도 2에 있어, 영상 처리부를 통해 처리되는 영상을 설명하기 위한 예시도.
도 6은 도 2에 있어, 주시각 제어부의 내부 구성을 보인 구성도.
도 7은 본 발명에 따른 입체영상 카메라의 관심물체 주시각 제어장치를 통해 추정되는 주시각을 설명하기 위한 예시도.
도 8은 본 발명의 실시예에 따른 입체영상 카메라의 관심물체 주시각 제어방법을 보인 흐름도.

Claims (17)

  1. 좌,우측 카메라와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영하여 좌,우측 영상을 획득하는 단계;
    상기 소정 횟수에 의해 획득된 좌,우측 영상으로부터 관심물체 이미지에 대한 시차정보를 획득하는 단계;
    상기 시차정보를 고려하여 주시각 제어량을 추정하는 단계; 및
    상기 추정된 제어량으로 상기 좌,우측 카메라의 주시각을 제어하는 단계를 포함하되,
    상기 주시각 제어량을 추정하는 단계는, 상기 시차 정보에 해당하는 시차량을 2차 라그랑지 근사 방정식에 대입하는 단계; 및 상기 2차 라그랑지 근사 방정식에 의해 획득되는 2차 곡선으로부터 추출되는 최소값을 주시각 제어량으로 추정하는 단계를 포함하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  2. 제1 항에 있어서, 상기 시차정보를 획득하는 단계는,
    상기 좌,우측 영상에 대해 각각 영상 레이블링을 수행하는 단계;
    상기 영상 레이블링된 영상으로부터 관심영역을 추출하고, 그 추출된 관심영역으로부터 상기 관심물체 이미지를 획득하는 단계; 및
    상기 좌,우측 영상의 동일한 관심물체 이미지간의 시차량을 계산하는 단계를 포함하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  3. 제2 항에 있어서, 상기 시차정보를 획득하는 단계는,
    좌, 우측의 컬러 영상을 그레이 영상으로 변환하는 전처리 단계를 더 포함하여,
    상기 그레이 영상에 대해 영상 레이블링을 수행하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  4. 제2 항에 있어서, 상기 관심물체 이미지를 획득하는 단계는,
    상기 관심영역에 대한 명도값의 히스토그램 분포에서 empirical rule을 적용시켜 임계값을 설정하고, 상기 관심물체 이미지의 밝기 성분을 고려하여 상기 임계값 이상 또는 이하 중 하나를 선택하여 관심물체 이미지를 획득하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  5. 제4 항에 있어서, 상기 임계값은,
    하기의 수학식 1을 통해 획득되는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
    (수학식 1)
    Figure 112009034581363-pat00011
    여기서, Ath는 임계값,
    Figure 112009034581363-pat00012
    는 관심영역의 명도값 분포에서 평균값, s는 표준편차를 의미함.
  6. 제2 항에 있어서, 좌,우측 영상간 동일한 관심물체 이미지의 시차값을 계산하는 단계를 포함하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  7. 제2 항에 있어서, 상기 관심영역은,
    좌,우측 영상의 중심점에서 가장 가까운 레이블링된 영역인 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  8. 제2 항에 있어서, 상기 관심물체 이미지간의 시차량을 계산하는 단계는,
    상기 좌,우측 영상에 해당하는 관심물체 이미지의 최외곽 에지를 검출하는 단계; 및
    상기 좌,우측 영상의 관심물체 이미지간 최외곽 에지의 거리차를 계산하고, 그 계산된 거리차에 절대값을 취하여 시차량을 계산하는 단계를 포함하는 것을 특 징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  9. 삭제
  10. 제1 항에 있어서, 상기 소정 횟수는 적어도 3이 되며, 상기 소정 횟수에 대응하는 시차정보의 개수를 획득하여 주시각 제어량을 추정하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어방법.
  11. 좌,우측 카메라와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영하여 좌,우측 영상을 획득하는 영상 획득부;
    상기 획득된 좌,우측 영상으로부터 관심물체 이미지에 대한 시차정보를 획득하도록 영상처리하는 영상 처리부; 및
    상기 시차정보를 고려하여 주시각 제어량을 추정하고, 상기 주시각 제어량으로 상기 좌,우측 카메라의 주시각을 제어하는 주시각 제어부를 포함하되,
    상기 주시각 제어부는, 상기 시차 정보에 해당하는 시차량을 2차 라그랑지 근사 방정식에 대입하여 시차량에 따른 2차 라그랑지 근사방정식을 획득하는 방정식 획득부; 상기 2차 라그랑지 근사 방정식에 의해 획득되는 2차 곡선으로부터 최소값을 추출하는 최소값 추출부; 및 상기 최소값을 상기 주시각 제어량으로 하여 상기 좌,우측 카메라의 주시각을 제어하는 제어부를 포함하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어장치.
  12. 제11 항에 있어서, 상기 영상 처리부는,
    상기 좌,우측 영상에 대해 각각 영상 레이블링을 수행하는 레이블링부; 및
    상기 영상 레이블링된 영상으로부터 관심영역을 추출하고, 그 추출된 관심영역으로부터 상기 관심물체 이미지를 획득하는 이미지 획득부를 포함하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어장치.
  13. 제12 항에 있어서, 상기 영상 처리부는,
    획득된 좌,우측 영상에 해당하는 관심물체 이미지의 최외곽 에지를 검출하는 검출부; 및
    상기 좌,우측 영상의 관심물체 이미지간 최외곽 에지의 거리차를 계산하고, 그 계산된 거리차에 절대값을 취하여 시차정보에 해당하는 시차량을 획득하는 시차량 획득부를 더 포함하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어장치.
  14. 제12 항에 있어서, 상기 영상 처리부는,
    상기 좌,우측의 컬러 영상을 그레이 영상으로 변환하는 영상 변환부를 더 포함하되,
    상기 그레이 영상에 대해 영상 레이블링을 수행하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어장치.
  15. 제12 항에 있어서, 상기 레이블링부는,
    상기 관심영역에 대한 명도값의 히스토그램 분포에서 empirical rule을 적용시켜 임계값을 설정하고, 상기 관심물체 이미지의 밝기 성분을 고려하여 상기 임계값 이상 또는 이하 중 하나를 선택하여 영상 레이블을 수행하는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어장치.
  16. 제15 항에 있어서, 상기 임계값은,
    하기의 수학식 2를 통해 획득되는 것을 특징으로 하는 입체영상 카메라의 관심물체 주시각 제어장치.
    (수학식 2)
    Figure 112009034581363-pat00013
    여기서, Ath는 임계값,
    Figure 112009034581363-pat00014
    는 관심영역의 명도값 분포에서 평균값, s는 표준편차를 의미함.
  17. 삭제
KR20090050601A 2009-06-08 2009-06-08 입체영상 카메라의 관심물체 주시각 제어방법 및 장치 KR101042171B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20090050601A KR101042171B1 (ko) 2009-06-08 2009-06-08 입체영상 카메라의 관심물체 주시각 제어방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20090050601A KR101042171B1 (ko) 2009-06-08 2009-06-08 입체영상 카메라의 관심물체 주시각 제어방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100131814A KR20100131814A (ko) 2010-12-16
KR101042171B1 true KR101042171B1 (ko) 2011-06-16

Family

ID=43507710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20090050601A KR101042171B1 (ko) 2009-06-08 2009-06-08 입체영상 카메라의 관심물체 주시각 제어방법 및 장치

Country Status (1)

Country Link
KR (1) KR101042171B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345971B1 (ko) * 2012-01-02 2014-01-06 성균관대학교산학협력단 입체영상촬영장치에서의 주시각 제어장치
KR101418167B1 (ko) * 2012-11-13 2014-07-09 재단법인대구경북과학기술원 스테레오 카메라 제어 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014493A (ko) * 2000-08-18 2002-02-25 이용범 초점과 주시각을 동시에 조절할 수 있는 입체영상 카메라및 입체영상 카메라의 초점과 주시각 동시 제어방법
KR20020042917A (ko) * 2000-12-01 2002-06-08 오길록 입체 카메라의 주시각 제어 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014493A (ko) * 2000-08-18 2002-02-25 이용범 초점과 주시각을 동시에 조절할 수 있는 입체영상 카메라및 입체영상 카메라의 초점과 주시각 동시 제어방법
KR20020042917A (ko) * 2000-12-01 2002-06-08 오길록 입체 카메라의 주시각 제어 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
권기철 외 1인, 시차 정보를 이용한 수평이동방식 입체영상 카메라의 주시각제어, 한국광학회지 제15권 제2호 2004. 4.

Also Published As

Publication number Publication date
KR20100131814A (ko) 2010-12-16

Similar Documents

Publication Publication Date Title
EP2426642B1 (en) Method, device and system for motion detection
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
EP3190781B1 (en) Autofocus method, device and electronic apparatus
US9344701B2 (en) Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US8026950B2 (en) Method of and apparatus for selecting a stereoscopic pair of images
KR101377325B1 (ko) 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
US9025009B2 (en) Method and systems for obtaining an improved stereo image of an object
KR101964861B1 (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
US20140049612A1 (en) Image processing device, imaging device, and image processing method
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
WO2012061549A2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
EP2795905B1 (en) Video processing apparatus and method for detecting a temporal synchronization mismatch
EP2757789A1 (en) Image processing system, image processing method, and image processing program
KR100934904B1 (ko) 거리 추정 장치 및 추정 방법
JP2017517727A (ja) 三次元情報の規模測定
JP3988574B2 (ja) 画像処理装置
KR101042171B1 (ko) 입체영상 카메라의 관심물체 주시각 제어방법 및 장치
KR20130057586A (ko) 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
JP2007096480A (ja) 対象物追跡装置及び対象物追跡方法
CN111382607A (zh) 活体检测方法、装置及人脸认证系统
KR101823657B1 (ko) 이종 카메라를 위한 스테레오 영상 교정 방법
JP2009237652A (ja) 画像処理装置および方法並びにプログラム
JP6066765B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140602

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160601

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee