KR101345971B1 - 입체영상촬영장치에서의 주시각 제어장치 - Google Patents

Abstract

본 발명은 입체영상촬영장치에서의 주시각 제어장치에 관한 것으로서, 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100); 상기 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300); 상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400); 상기 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450); 상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500); 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함한다. 이에 의하면, 스테레오 카메라 촬영 후 짧은 시간 내의 간단한 조작만으로도 VFL값에 따라 사용자가 원하는 객체에 초점을 맞추어 주시각을 제어할 수 있는 효과가 있다.

Description

입체영상촬영장치에서의 주시각 제어장치{APPARATUS FOR CONVERGENCE IN 3D PHOTOGRAPHING APPARATUS}

본 발명은 주시각 제어장치에 관한 것으로, 특히 VFL값을 이용하여 반자동에 의해 원하는 객체를 초점으로 단시간 내에 정확하게 주시각을 제어 할 수 있는 3D촬영장치에서의 주시각 제어장치에 관한 것이다.

본 발명은 주시각 제어장치에 관한 것이다. 본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2010-0131814호에 개시되어 있는 바와 같이, 3D촬영장치를(스테레오 카메라) 이용하여 영상 촬영 시 자동 초점 기능에 의해서 중앙에 초점이 맞춰지도록 구성되어 있고, 사용자에 의해 초점을 변경하기 위해서는 여러 수동 조정단계를 거쳐 피사체를 구성하는 특정 물체에 대해 초점을 변경할 수 있는 구성이다.

그러나, 상술한 바와 같은 종래 기술은 중앙에 위치한 물체에 의해 3D효과가 과해지거고 시각적 피로를 발생시킬 수 있는 문제점이 있다.

또한, 촬영 후 사용자가 원하는 물체에 초점을 맞추기 위한 수동 조절기능은 순차적으로 초점 위치를 변화시켜야 하므로 초점 위치 변경 과정이 상당히 복잡하고 불편한 문제점이 있다.

또한, 종래 기술은 3D촬영장치의 초점 설정 기능에 있어서 뎁스의 단계를 순차적으로 넘기게 되어있어 원하는 뎁스를 선택하는데 많은 불편과 장시간이 소요되는 문제점이 있다.

참고로 도 1은 종래기술을 설명하기 위한 도면으로서, 도 1에 기재된 도면부호는 본 발명과는 무관하다.

따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 스테레오 카메라에 의한 피사체 촬영 후 그 영상의 뎁스를 단계로 나누고 VFL값에 따라 디스플레이에 각 객체별로 구분되어 출력할 수 있는 3D촬영장치에서의 주시각 제어장치의 제공을 그 목적으로 한다.

또한, 사용자가 원하는 객체를 선택하여 초점을 맞출 수 있는 입체영상촬영장치에서의 주시각 제어장치의 제공을 그 목적으로 한다.

본 발명의 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치는 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100); 획득된 2개의 이미지의 시차로부터 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300); 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 디스패리티 맵을 이용하여 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400); 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 히스토그램을 이용하여 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450); 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500); 및 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함한다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 디스플레이에 출력된 스테레오 영상에 포함된 객체들 중 선택된 어느 하나의 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 제어하는 반자동 주시각 제어부를 더 포함하는 것이 바람직하다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, VFL 획득부(500)는, 하기의 수학식 1을 이용하여 CZF(Comfort Zone Function, 편한 구간 함수)를 구하는 CZF 함수 산출 단계와; CZF 함수와 하기의 수학식 2를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대한 가중치인 w를 구하는 가중치 산출 단계와; 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대하여 하기의 수학식 3과 상기 가중치(W)를 이용하여 VFL(Visual Ftigue Level) 값을 산출하는 VFL값 산출단계를 수행하는 것이 바람직하다.

[수학식 1]

(여기서, x는 거리(시차) 값, u(x)와 u(-x)는 단위 계단 함수, α, β 및 γ는 CZF(x)에 근사되는 2차 함수의 계수들임)

[수학식 2]

(여기서, 가중치 w_k,n는 거리(시차) 별로 구분된 서로 다른 두 객체들 n과 k에 대한 가중치로서, 즉 어느 한 객체 n에 주시각 초점이 맞았을 경우에 그 객체 n의 시차 Mlf[n]과 각각의 다른 객체 k의 시차 Mlf[k] 사이의 차이 -Mlf[n]+Mlf[k]에 해당하는 편한 구간 함수 CZF(-Mlf[n]+Mlf[k]) 값들을 가지고 연산됨)

[수학식 3]

(여기서, S[k]는 객체 k의 히스토그램 면적이고, VLF[n]은 1≤k≤n의 객체 k의 면적 S[k]에 가중치 w_k,n을 곱한 값들의 합임)

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, VFL 획득부(500)는, VFL 값 산출 단계 후에 상기 VFL 값과 하기의 수학식 4를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 초점을 맞추기 위한 시프트 값인 D값을 산출하는 시프트 값(D) 산출 단계를 더 수행하는 것이 바람직하다.

[수학식 4]

(여기서, Mlf[x]는 객체 x의 시차이고, arg max VFL은 VFL을 최대로 만드는 객체 x를 의미함)

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 자동 주시각 제어부(600)에서의 자동 주시각 제어는 산출된 VFL 값 중 가장 높은 값을 갖는 객체를 상기 산출된 시프트 값(D)에 따라 이동시킴으로써 초점이 제어되는 것이 바람직하다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 반자동 주시각 제어부에서의 반자동 주시각 제어는 상기 선택된 어느 하나의 객체를 산출된 시프트값(D)에 따라 이동시킴으로써 초점이 제어되는 것이 바람직하다.

본 발명에 따른 입체 영상촬영장치에서의 주시각 제어장치에 있어서, 디스플레이는 터치 스크린으로 구성되고, 반자동 주시각 제어부는, 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 선택된 객체를 초점으로 하여 스테레오 영상에 대한 주시각을 제어하는 것이 바람직하다.

상기한 바와 같이 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 따르면, 스테레오 카메라 촬영 후 짧은 시간 내의 간단한 조작만으로도 VFL값에 따라 사용자가 원하는 객체에 초점을 맞추어 주시각을 제어할 수 있는 효과가 있다.

또한, 사용자에게 피사체에 포함된 객체들 중 하나의 객체를 임의로 선택하여 초점을 변경할 수 있는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.

도 1은 본 발명의 배경기술에 대한 도면이다.
도 2는 주시각에 대한 설명도이다.
도 3은 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대한 블록 구성도이다.
도 4는 상기 촬영부의 좌측 카메라와 우측 카메라를 통해 획득된 시차가 다른 2개의 이미지에 대한 예시도이다.
도 5는 영상 처리부에서 생성된 도 4에 대한 제1 뎁스맵을 생성한 예시도이다.
도 6은 도 5의 뎁스맵의 히스토그램을 생성한 예시도이다.
도 7은 도 6의 히스토그램을 이용해 제2 뎁스맵을 생성한 예시도이다.
도 8은 세그먼테이션 방식에 대한 예시도이다.
도 9내지 도 11은 본 발명에 의한 VFL 알고리즘 및 주시각 제어방식에 대한 예시도이다.
도 12는 VFL값의 예시도이다.
도13은 본 발명에 의한 주시각 제어 방법의 전체 순서도이다.

이하, 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.

입체영상촬영장치에는 스테레오 영상을 출력하기 위해 스테레오 카메라, 즉 좌측 카메라(101)와 우측 카메라(102)가 포함된다. 좌측 카메라와 우측 스테레오 카메라의 주시각(注視角)이 임의의 거리로 고정된 좌측 카메라와 우측 카메라에 의해 2개의 이미지를 이용하여 스테레오 영상처리를 수행하고 얻어진 주시점으로 주시각이 자동으로 형성되는 구성을 갖는 것이 일반적이다.

이때, 주시각이란 도 2에 도시된 바와 같이 물체(객체)에 상기 좌측 카메라(101)와 우측 카메라(102)의 중심선이 일치될 때 두 중심선의 만나는 각도를 의미한다. 이때, 스테레오 카메라에 있어서, 상기 좌측 및 우측 카메라의 중심선이 주시하고자 하는 물체의 중심에 일치해야만 사람의 눈과 같이 물체를 입체적으로 볼 수 있고 주시 피로감도 줄일 수 있게 된다. 하지만 이런 방식을 위해서는 카메라의 광축을 움직이기 위한 기계요소가 필요해 비용이 많이 듦으로 본 특허에서는 카메라는 고정시켜 놓고 이미지를 좌우로 움직여 초점을 맞추는 가상 주시각 제어를 사용한다. 앞으로의 내용에 나오는 주시각 제어는 이 가상주시각 제어를 의미한다.

본 발명은 입체영상촬영장치에서의 주시각 제어장치에 관한 것으로서, 처음 얻어진 불명확한 뎁스 정보를 히스토그램화 하여 명확히 거리별 객체(Object, 오브젝트)들로 나누어 뎁스맵을 재구성한다. 여기서 새로 얻어진 뎁스정보를 이용하여 VFL(Visual Fatige Level)값을 산출하고 VFL(Visual Fatige Level)값에 따라 주시각을 제어하게 된다.

삭제

삭제

삭제

삭제

도 3은 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대한 블록 구성도이다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치는 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100)와, 상기 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300)와, 상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400)와, 상기 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450)와, 상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500) 및 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함한다.

즉, 본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치는 촬영부(100), 영상 처리부(300), 깊이 영역 획득부(400), 세그먼테이션부(450), VFL 획득부(500) 및 자동 주시각 제어부(600)을 포함한다.

상기 촬영부(100)는 스테레오 카메라, 즉 상기 좌측 카메라(101) 및 우측 카메라(102)와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영한다. 이때, 상기 좌측 카메라(101)와 우측 카메라(102)를 통해 스테레오 영상에 대하여 시차가 있는 2개의 이미지가 획득된다.

상기 영상 처리부(300)는 상기 2개의 이미지의 시차를 통해 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map) 정보를 생성하여 추출한다.

이때, 상기 디스패리티 정보 또는 디스패리티 맵 정보는 상기 촬영부(100)에서 획득된 시차가 다른 2개의 이미지간의 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보가 된다.

즉, 상기 영상 처리부(300)는 상기 촬영부(100)에서 획득된 시차가 다른 2개의 이미지를 전송받아 그 시차가 다른 두 이미지를 처리를 통해 상기 디스패리티 (맵) 정보를 생성하는 수단이다.

디시패리티 맵 생성은 해당 분야에 널리 알려진 스테레오 매칭 알고리즘 등을 통해 수행될 수 있다.

본 발명에 의한 입체 영상촬영장치에서의 반자동 주시각 제어장치는 상기 촬영부(100)에서 획득된 시차가 다른 두 이미지를 저장하는 영상 획득부(200)를 더 포함할 수 있다.

상기 영상 획득부(200)는 상기 촬영부(100)와 영상 처리부(300) 사이에 연결되어 상기 촬영부(100)에서 획득된 이미지를 저장하고 상기 영상 처리부(300)로 전달하는 수단이다.

상기 깊이 영역 획득부(400)는 상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 수단이다.

상기 세스먼테이션(Segmentation)부(450)는 상기 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 객체들 각각을 거리별로 구분, 즉 세그먼테이션(Segmentation)하는 제2 뎁스맵을 생성하는 수단이다.

즉, 상기 세스먼테이션(Segmentation)부(450)는 상기 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 스테레오 영상에 포함되는 객체들 각각을 거리별로 구분하는 제2 뎁스맵 정보를 생성하는 기능을 수행한다.

상기 히스토그램이란, 영상 안에서 픽셀들에 대한 명암 값의 분포를 나타내는 것으로, 막대그래프로 표현된다. 이때, 각 명암값의 빈도수를 조사해서 그래프의 높이로 나타낸다.

상기 VFL 획득부(500)는 상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 수단이다(구체적 설명은 후술함).

상기 자동 주시각 제어부(600)는 상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 수단이다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치는 상기 디스플레이에 출력된 스테레오 영상에 포함된 객체들 중 선택된 어느 하나의 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 제어하는 반자동 주시각 제어부(700)를 더 포함할 수 있다.

이때, VFL 획득부(500)는, CZF(Comfort Zone Function, 편한 구간 함수) 함수 산출 단계와 가중치 산출 단계 및 VFL값 산출단계를 수행한다.

상기 CZF 함수 산출 단계는 하기의 수학식 1을 이용하여 편한 구간 함수인 CZF를 구한다. 상기 CZF 함수 산출 단계는 하기의 수학식 1을 이용하여 편한 구간 함수인 CZF를 구한다. 스테레오 영상에서 초점이 맞는 부분(거리 값이 0인 comfort zone)을 기준으로 어떤 오브젝트가 그 초점이 맞는 부분에 가까울수록 눈의 피로가 적고 멀수록 피로도가 서서히 증가하는데, 수학식 1은 이러한 현상을 수치화한 것이다. 수학식 1에서, u(x)와 u(-x)는 공학 분야에 주지된 단위 계단 함수(unit step function)를 의미한다. 거리(시차 차이) 값을 x라 할 때, 도 11의 우측 그래프를 함께 참조하면, x<0인 구간에서는 αx²+γ의 형태만으로(x≥0일 때는 u(-x)=0임) 그래프가 근사화되고, x>0인 구간에서는 βx²+γ의 형태만으로(x≤0일 때는 u(x)=0임) 그래프가 근사화됨을 알 수 있다. α, β 및 γ는 그래프의 형태에 따라 적절하게 선택될 수 있는 2차 함수의 계수들이다.

[수학식 1]

또한, 상기 가중치 산출 단계는 상기 CZF와 하기의 수학식 2를 이용하여 상기 세그먼테이션부에서 거리(시차)별로 구분된 각각의 객체들 k, n에 대한 가중치인 w_k,n를 구한다. 여기서, 세그먼테이션부는 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성"하는데, 이 동작은 도 5 내지 도 7과 함께 설명될 수 있다. 도 5는 제1 뎁스맵이고, 도 6은 제1 뎁스맵에 대한 히스토그램이며, 그로부터 세그먼테이션부에 의해 도 7과 같은 제2 뎁스맵이 생성된다. 도 7을 보면, 제2 뎁스맵은 제1 뎁스맵의 정보가 히스토그램화되어, 오브젝트가 거리 별로 구별된. 도 4의 스테레오스코픽 화면과 도 7을 함께 보면, 피사체 사람이 내밀고 있는 오른손이 도 7에서 "가장 가까운 거리의 오브젝트"이고, 피사체 사람의 몸통 부분이 "두 번째 거리의 오브젝트"이며, 사람 뒤의 파란 기둥이 "세 번째 거리의 오브젝트"에 해당한다. 이러한 오브젝트들의 세그먼테이션은 도 6에서도 알 수 있는데, 도 6의 히스토그램의 피크들을 중심으로 오브젝트들을 식별할 수 있다. 도 6에서 Mlf은 각 오브젝트를 대표하는 거리(시차) 값(수학식 5 내지 8 참조)이고 S는 각 오브젝트의 면적(수학식 10 참조)이다. 도 6에서, 구체적으로, Mlf[4]와 S[4]가 도 7의 "가장 가까운 거리의 오브젝트"에 해당하고, 도 6의 Mlf[3]과 S[3]이 도 7의 "두 번째 거리의 오브젝트"에 해당하며, 도 6의 Mlf[2]와 S[2]가 "세 번째 거리의 오브젝트"에 해당한다. 애초에 VFL(Visual Fatigue Level)을 연산하는 것은 "출력된 스테레오 영상에 포함된 객체들 중 선택된 어느 하나의 객체를 초점으로 하여 스테레오 영상의 주시각을 제어"하기 위함이고, 또한 "사용자가 원하는 객체를 선택하여 초점을 맞출 수 있기 위함"이므로, 이를 위해 세그먼트된 오브젝트들의 각각에 초점을 맞춰본 경우에 CZF 값들을 이용할 필요가 있다. 다시 말해, 사람이 서로 공간감이 다른 오브젝트들 중에 어느 한 오브젝트에 초점을 맞추면 다른 오브젝트는 눈의 피로를 야기할 수 있는데, 그 정도가 어느 정도인지를 수치화하기 위해, 수학식 2와 같이 각각의 오브젝트들마다 초점을 맞춰보고, 각 경우마다 산출되는 나머지 오브젝트들에 의한 CZF 값을 이용한다. 수학식 2는 서로 다른 두 오브젝트들(객체들), n과 k에 대한 가중치 즉, 어느 한 오브젝트 n에 주시각 초점이 맞았을 경우에 그 오브젝트 n과 다른 각각의 오브젝트 k 사이의 거리 차이에 해당하는 CZF(-Mlf[n]+Mlf[k]) 값을 가지고, 각 오브젝트들의 시각적 피로도(VLF) 가중치 w_k,n를 연산하는 수식이다. 다시 말해, 아래 수학식 2에서 Mlf[n]은 오브젝트 n의 시차이고, Mlf[k]는 오브젝트 k의 시차이며, CZF(-Mlf[n]+Mlf[k])는 오브젝트 n를 중심으로 1부터 N까지의 정수인 k로 지칭되는 각각의 오브젝트 k 사이의 시차 차이(-Mlf[n]+Mlf[k])에 상응하는 편한 구간 함수 CZF 값을 의미한다. Mlf[]는 특정 오브젝트를 대표하는 시차 값 또는 거리 값으로서, 수학식 8에서 참조하여 설명될 수 있다. 특히, 수학식 2에서 분모는 모든 경우의 CZF 값들의 합이고 분자는 특정 오브젝트들 n과 k 사이의 CZF 값인데, 이는 가중치 w_k,n이 정규화된 가중치임을 의미한다. 또한 가중치가 1-()의 형태인 것은, 도 11에서 알 수 있듯이, 시차 차이가 크면 CZF가 크고, CZF가 크면 눈의 피로가 크다는 정성적 특성에 따라, 특정 오브젝트들 사이에서 CZF 값이 크면 그 CZF가 예상 시각 피로도 VFL에 기여하는 가중치 w는 작아지도록 설정한 것임을 관찰할 수 있다.

[수학식 2]

또한, 상기 VFL값 산출단계는 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대하여 하기의 수학식 3과 상기 가중치(w_k,n)를 이용하여 VFL(Visual Ftigue Level) 값을 산출한다. 수학식 3에 따라, 특정 오브젝트 n에 관한 예상 시각 피로도 VFL[n]는 1부터 n 사이의 오브젝트 k의 면적 S[k]와 특정 오브젝트 n에 대한 다른 오브젝트 k의 피로도 가중치 w_k,n을 곱한 값들의 합으로 정의된다.

[수학식 3]

이때, VFL 획득부(500)는 상기 VFL 값 산출 단계 후에 상기 VFL 값과 하기의 수학식 4를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 초점을 맞추기 위한 시프트 값인 D값을 산출하는 시프트 값(D)을 산출 단계를 더 수행하는 것이 바람직하다. 수학식 4에서 시프트 값 D는, 도 12와 같이, 여러 오브젝트들을 가리키는 명목 상(nominal)의 변수 x가 0부터 n까지 있을 때, 수학식 3에 의한 오브젝트들의 VFL 값인 VFL[n]을 가장 크게 만드는 어떤 오브젝트 x의 시차 Mlf[x]를 시프트 값 D로 정의함을 의미한다.

[수학식 4]

상기 자동 주시각 제어부(600)에서의 자동 주시각 제어는 상기 산출된 VFL 값 중 가장 높은 값을 갖는 객체를 상기 산출된 시프트 값(D)에 따라 이동시킴으로써 초점이 제어되도록 하는 것이 바람직하다.

또한, 상기 반자동 주시각 제어부에서의 반자동 주시각 제어는 상기 선택된 어느 하나의 객체를 상기 산출된 시프트값(D)에 따라 이동시킴으로써 초점이 제어되는 것이 바람직하다.

이때, 상기 디스플레이는 터치 스크린으로 구성되고, 상기 반자동 주시각 제어부는, 상기 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상에 대한 주시각이 제어되도록 할 수도 있다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치를 도 3을 참조하여 설명하면 다음과 같다.

스테레오 카메라, 즉 좌측 카메라(101)와 우측 카메라(102)를 통해 시차가 다른 두 이미지를 획득하고, 영상 획득부(200)에서 획득한 영상의 처리를 위해 저장한다.

상기 영상 처리부(300)는 상기 두 이미지 처리를 통해 디스패리티 정보를 구하고, 상기 깊이 영역 획득부(400)에서는 디스패리티 정보를 이용하여 디스패리티 맵을 구한다.

계속하여 상기 세그먼테이션부(450)에서 디스패리티 맵의 히스토그램을 이용하여 이미지에 포함된 각 객체들인 오브젝트를 세그먼테이션(Segmentation) 한다.

그 후, 상기 VFL 획득부(500)에서 고안한 알고리즘(상기 수학식 1 내지 수학식 4)을 이용하여 Visual Fatigue Level을 획득한다. 이때, VFL이 높을수록 눈의 피로도가 적다.

상기 자동 주시각 제어부(600)는 상기 VFL 획득부(500)에서 구한 VFL값을 이용하여 눈에 피로가 가장 적은 물체에 자동으로 초점을 맞춘다.

이때, 상기 반자동 주시각 제어부(700)는 잘못된 입체 영상 출력 시 터치버튼 혹은 조그다이얼 등을 이용하여 반자동 주시각 제어 할 수 있도록 한다.

이때, 상기 VFL 획득부(500)에서 얻은 VFL값을 통해 반자동 주시각 제어시 피로도가 가장 적은 물체에 우선적으로 초점을 맞춘다.

터치버튼 혹은 조그다이얼로 구성되는 사용자 입력부(800)를 통해 반자동 주시각 제어를 한다.

상기와 같은 구성에 의해 눈 피로도를 고려한 초점 설정이 된 3D영상을 디스플레이(850)를 통해 출력할 수 있다.

도 4는 상기 촬영부(100)의 좌측 카메라와 우측 카메라를 통해 획득된 시차가 다른 2개의 이미지의 예시도이고, 도 5는 상기 영상 처리부(30)에서 생성된 도 4에 대한 제1 뎁스맵을 생성한 예시도이고, 도 6은 상기 깊이 영역 획득부(60)에서 도 5의 뎁스맵의 히스토그램을 생성한 예시도이며, 도 7은 상기 깊이 영역 획득부(60)에서 도 6의 히스토그램을 이용해 제2 뎁스맵을 생성한 예시도이다.

하기의 수학식 5를 이용하여 처음 구한 뎁스맵을 통한 히스토그램을 low-pass filtering한다. 수학식 5는 이산 데이터에 관한 주지의 평활화 필터의 한 예시이기 때문에 설명을 생략한다.

[수학식 5]

하기의 수학식 6 및 수학식 7을 이용하여 오브젝트의 피크 픽셀 수(Mp[k])와 해당 오브젝트의 중앙 뎁스, 즉 중앙 디스패리티 위치(Ml[k])를 구한다. 수학식 6에서 H[n]은 어떤 뎁스 값 n에서 히스토그램 값 h[n]과 다음 뎁스 n+1에서 히스토그램 값 h[n+1] 사이의 차분(difference)을 의미한다. 수학식 7은, 차분 H[n]=0이고 H[n-1] < H[n] < H[n+1]인 어떤 n에 관하여, 그러한 n에서 k<n인 k에 관하여, 피크 픽셀 수 Mp[k]ㅇ와 중앙 뎁스의 Ml[k]를 정의한다. 먼저 차분 H[n]=0은 도 6의 히스토그램에서 로컬 최대 또는 최소인 점들이고, 그러한 점들 H[n] 중에서 H[n-1] < H[n] < H[n+1]은 그 H[n]=0인 점이 음수(H[n-1]<0)에서 양수 (0<H[n+1])로 크로싱하는 점 n이라는 의미이다. 다시 말해, n은 차분 값이 음수(점점 값이 커짐)였다가, 0이 되었다가, 양수(점점 작아짐)이 되는 점이며, 로컬 최대점을 의미한다. 수학식 7은 그러한 n들, 즉 로컬 최대점들의 중심으로 하는 작은 오브젝트들을 피크 픽셀 수(세로축) 및 중앙 뎁스의 위치(가로축)라는 두 가지 성분으로 대표한다.

[수학식 6]

[수학식 7]

하기의 수학식 8을 이용하여 임계값을 통해 많은 작은 오브젝트를 통일하고 유효한 포인트를 선별한다. 수학식 8은 수학식 7에서 찾은 많은 작은 오브젝트들을 "임계값(threshold value)"를 이용하여 합체시켜 진정 유효한 포인트들만 선별하는 과정으로서, 작은 오브젝트들을 Mp[k]와 Ml[k]로 대표되는 큰 오브젝트들로 반복적으로 묶는 과정이다. MDR은 전체 디스패리티 범위(Max Disparity Range) 즉, 뎁스 히스토그램의 가로축의 최대 값이다. 연산의 편의를 위해, 오브젝트라면 단지 어느 한 로컬 최소에서 로컬 최대를 거쳐 다음 로컬 최소 사이를 무조건적으로 오브젝트라고 할 것이 아니고, 어느 정도 규모를 가져야 독자적인 오브젝트라고 할 것이다. 이를 위해, 수학식 8에서는 인접한 오브젝트들 사이의 간격이 임계치인 MDR×α/100보다 작으면 두 인접한 오브젝트 중 어느 하나, 즉 Ml[k+1] 또는 Ml[k]만 선정되고, 선정된 값이 통합된 오브젝트의 중심인 시차 Mlf[i]가 된다. 만약 어떤 오브젝트가 통합된 후에도 새로 인접하게 된 옆 오브젝트와 거리가 임계치보다 작다면 다시 한번 옆 오브젝트와 통합된다. 만약 인접한 오브젝트와 간격이 임계치보다 크면, 그대로 독립된 오브젝트라 간주하고 그때의 Ml[k]가 i 번째 오브젝트 중심인 시차 Mlf[i]로 결정된다(Mlf[i] = Ml[k] otherwise).

[수학식 8]

하기의 수학식 9를 이용하여 각 오브젝트들 사이에서 가장 작은 값을 경계 값으로 설정한다. 수학식 8은 오브젝트들의 중심에 상응하는 시차 값 Mlf와 그 때의 피크 값 Mp에 관한 것이고, 이 상태에서 오브젝트들은 구별이 모호하므로 오브젝트들의 경계를 찾을 필요가 있다. 수학식 9는 수학식 8에서 구한 두 오브젝트의 중심인 시차 Mlf_n과 Mlf_n+1 사이에서 가장 작은 값을 만드는 시차 x를 찾아 그 지점을 오브젝트 n의 경계 ml[n]으로 정의한다.

[수학식 9]

하기의 수학식 10을 이용하여 오브젝트 n의 경계 값 ml_n과 오브젝트 n+1의 경계 ml_n+1에 의해 정의된 히스토그램 값들을 모두 더하여 오브젝트 n의 영역(면적)을 구한다.

[수학식 10]

도 8은 상기 수학식 8을 이용하여 임의의 히스토그램 그래프를 통한 설명이다.

도 9 및 도 10은 도 4의 경우보다 뎁스 단계가 많은 이미지를 사용한 예시도로서, 도 9는 뎁스맵을 통해 얻어진 히스토그램이고, 도 10은 히스토그램을 이용한 거리별 오브젝트 세그먼테이션된 뎁스맵의 예시도이다.

도 11을 참조하면 양안으로 디스플레이를 봤을 때 초점이 맞는 부분(시차 값이 0인 comfort zone)을 기준으로 가까울수록 눈의 피로가 적고 멀수록 피로도가 서서히 증가하는 것을 알 수 있다(도 11의 왼쪽 도면). 이것을 통해 comfort zone function(상기 수학식 1 참조)을 구한다. 즉, 도 11의 오른쪽 도면은 두 이미지의 시차를 통한 가중치를 나타낸 그래프이다.

이때, 시차가 0인 곳을 기준으로 좌측은 카메라와 가까운 물체, 우측은 카메라와 멀리 있는 물체를 나타내고, (눈이)편한구간 함수(Comfort Zone Function, CZF)를 구한다.

그 후, 상기 수학식 2와 앞 단계에서 구한 CZF값을 이용하여 세그먼테이션 된 물체별 가중치 값(w)를 구한다.

그 다음, 상기 수학식 3을 이용하여 세그먼테이션 된 각 물체별 면적(S)와 가중치(w)의 곱의 합으로 Visual Fatigue Level(VFL)을 구한다.

이때, VFL값이 높을수록 눈의 피로가 덜하다.

도 12는 세그먼테이션 된 각 물체별 VFL값을 나타낸 도표이다.

여기서, x축은 세그먼테이션을 통해 나뉘어진 오브젝트 수이고, y축 은 Visual Fatigue Level을 나타낸다. 이때. VFL값이 가장 높은 1번 물체에 초점을 맞추어 화면에 출력 한다.

또한, 상기 수학식 4를 이용하여 각 단계의 물체에 초점을 맞추기 위해 이미지를 좌,우로 이동시킬 크기를 구한다.

이때, 두 이미지 중 한 이미지를 D값만큼 쉬프트 시켜 초점을 맞춘다.

본 발명에 따른 알고리즘을 도 13을 참조하여 설명하면 다음과 같다.

우선, 상기 좌측 카메라(101)와 우측 카메라(102)인 양안 카메라를 통해 좌, 우 이미지를 획득한다(S10).

그 다음, 두 이미지 간의 정합점을 찾는 알고리즘을 이용해 시차 정보를 구하고, 상기 시차 정보를 통해 이미지의 깊이를 구하여 뎁스맵을 생성한다(S20).

그 다음, 상기 뎁스맵의 정보를 히스토그램화 하여 오브젝트를 거리 별로 확실히 구분하는 새로운 뎁스맵, 즉 제2 뎁스맵을 생성한다(S30).

이때, 알고리즘을 통해 VFL값을 획득한다. VFL값이 높은 물체에 초점을 맞출 수록 눈에 피로가 덜하다.

그 다음, VFL값을 통해 가장 눈에 피로가 적은 물체에 자동 주시각 제어를 실행하여 화면에 3D영상을 출력 한다. 즉, 자동 주시각 제어를 통한 입체 영상을 디스플레이한다(S40).

그 다음, 상기 디스플레이에 원하는 입체 영상이 나온 경우 종료시키고(S50), 잘못된 영상 획득 시 반자동 주시각 제어를 통해 입체영상의 초점을 수정한다(S60).

앞서 구한 VFL값을 통해 각 물체에 초점 설정시 눈 피로도를 계산하여 피로가 적은 물체 순서대로 버튼 입력시 화면에 출력한다.

본 발명에 따른 입체영상촬영장치에서의 주시각 제어장치에 대해 다시 설명하면 다음과 같다.

최근 3D 영상이 이슈가 되면서 3D기술 또한 빠르게 발달하고 있다. 3D디지털 카메라 뿐만 아니라 모바일에 기술 적용이 늘어나고 있다. 하지만 3D 영상을 디스플레이 하는데 에는 눈의 피로, 멀미 등 많은 어려움이 있다. 이러한 문제점을 해결하기 위해 H/W, S/W적으로 많은 연구가 이루어 지고 있다.

기존에 나와있는 3D카메라는 자동 중앙초점 주시각 제어 후 수동 주시각 제어를 제공한다. H/W적 버튼을 통해 순차적으로 이미지를 시프트 시켜 원하는 초점을 설정할 수 있도록 한다. 이는 중앙에 위치한 물체에만 초점이 맞춰져 원치 않는 물체에 초점이 설정 되는 경우가 많아 눈의 피로를 유발하게 된다. 뿐만 아니라 버튼을 통해 이미지를 쉬프트시켜 원하는 물체에 초점을 맞춰야 하기 때문에 많은 시간이 걸린다. 원하는 물체에 초점을 맞추더라도 시각적 피로가 발생하게 되면 재 초점 설정이 불가피하다.

본 발명은 처음 얻어진 불 명확한 뎁스 정보를 히스토그램화 한뒤 이를 이용해 거리별로 오브젝트를 세그먼테이션 하고, 각 오브젝트에 초점 설정 시 발생 할 눈 피로도 단계(Visual Fatigue Level)를 구한다. VFL값을 이용해 눈의 피로가 가장적은 오브젝트에 초점을 맞춰 화면에 출력한다. 이후 사용자가 원치 않거나 잘못된 물체에 초점이 설정된 경우 터치 버튼이나 조그다이얼을 통해 초점 재설정이 가능하다. 재설정할 경우 앞서 구해진 VFL값을 참조하여 눈의 피로가 적은 오브젝트 순으로 변경 됨으로 사용자가 빠르고 쉬운 조작이 가능하다(도 3 및 도 13 참조).

본 발명의 핵심은 3D기술에서 가장 문제가 되고있는 눈의 피로도를 고려한 초점방식인 데 있다.

좌측 카메라(101)와 우측 카메라(102)인 양안 카메라를 통해 두 이미지를 획득한다.

이때 획득한 두 이미지의 시차를 통해 디스패리티 맵을 획득한 후 Histogram화하여 오브젝트를 거리별로 경계가 확실한 새로운 뎁스맵을 생성한다.

각 오브젝트별 눈의 피로 정도를 나타내는 VFL(Visual Fatigue Level)값을 획득한다. 앞단계에서 구한 VFL값을 이용해 각 깊이 오브젝트별 D(shift value)값을 구한다.

여기서 구한 D값은 각 오브젝트에 초점을 맞출 때 이미지를 얼마나 쉬프트 시켜야 하는지의 값을 가지고 있다.

도 5를 보면 1번 오브젝트의 VFL값이 가장 크게 나타나있다. 이는 1번 오브젝트에 초점 설정 시 눈의 피로가 가장 적다는 것을 나타낸다. 자동 주시각 제어부(600)에서 VFL값이 가장 큰(눈의 피로가 가장 적은) 오브젝트에 자동으로 초점을 맞춰 화면에 3D영상을 출력한다.

이때, 잘못되거나 원하지 않는 물체에 초점이 맞춰질 경우 사용자가 터치 버튼이나 조그다이얼 등을 통해 재 초점설정이 가능하다. 재 초점 설정을 위한 버튼 클릭시 깊이 순서에 따른 재설정이 아닌 VFL값을 적용 하여 초점 설정 시 눈에 피로가 덜한 오브젝트부터 우선순위를 정하게 된다. 본 발명의 핵심 중 하나인 VFL값을 적용한 각 오브젝트별 우선순위에 따라 눈에 피로가 적은 물체 순서대로 재 설정 됨으로 시간 낭비를 줄일 수 있고 사용자가 쉽고 편하게 사용 가능하다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.

100: 촬영부 101: 좌측 카메라
102: 우측 카메라 200: 영상 획득부
300: 영상 처리부 400: 깊이 영역 획득부
450: 세그먼테이션부 500: VFL 획득부
600: 자동 주시각 제어부 700: 반자동 주시각 제어부
800: 사용자 입력부 850: 디스플레이부

Claims (7)

1. 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(100);
   상기 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티(Disparity) 정보를 추출하는 영상 처리부(300);
   상기 추출된 디스패리티 정보를 이용하여 디스패리티 맵(Disparity Map)을 생성하고, 상기 디스패리티 맵을 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map)을 생성하는 깊이 영역 획득부(400);
   상기 생성된 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵을 생성하는 세그먼테이션부(450);
   상기 생성된 제2 뎁스맵으로부터 상기 객체들 각각에 대한 VFL(Visual Fatigue Level)값을 산출하는 VFL 획득부(500); 및
   상기 산출된 VFL값 중 가장 높은 값을 갖는 객체를 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부(600)를 포함하는 입체 영상촬영장치에서의 주시각 제어장치.
   
2. 제1항에 있어서,
   상기 디스플레이에 출력된 스테레오 영상에 포함된 객체들 중 선택된 어느 하나의 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 제어하는 반자동 주시각 제어부를 더 포함하는 입체 영상촬영장치에서의 주시각 제어장치.
   
3. 제2항에 있어서, VFL 획득부(500)는,
   하기의 수학식 1을 이용하여 CZF(Comfort Zone Function, 편한 구간 함수)를 구하는 CZF 함수 산출 단계와;
   상기 CZF 함수와 하기의 수학식 2를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대한 가중치인 w를 구하는 가중치 산출 단계와;
   상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 대하여 하기의 수학식 3과 상기 가중치(w)를 이용하여 VFL(Visual Ftigue Level) 값을 산출하는 VFL값 산출단계를 수행하는 것을 특징으로 하는 입체 영상촬영장치에서의 주시각 제어장치.
   [수학식 1]
   

   

   
   (여기서, x는 거리(시차) 값, u(x)와 u(-x)는 단위 계단 함수, α, β 및 γ는 CZF(x)에 근사되는 2차 함수의 계수들임)
   [수학식 2]
   

   

   
   (여기서, 가중치 w_k,n는 거리(시차) 별로 구분된 서로 다른 두 객체들 n과 k에 대한 가중치로서, 즉 어느 한 객체 n에 주시각 초점이 맞았을 경우에 그 객체 n의 시차 Mlf[n]과 각각의 다른 객체 k의 시차 Mlf[k] 사이의 차이 -Mlf[n]+Mlf[k]에 해당하는 편한 구간 함수 CZF(-Mlf[n]+Mlf[k]) 값들을 가지고 연산됨)
   [수학식 3]
   

   

   
   (여기서, S[k]는 객체 k의 히스토그램 면적이고, VLF[n]은 1≤k≤n의 객체 k의 면적 S[k]에 가중치 w_k,n을 곱한 값들의 합임)
   
4. 제3항에 있어서, VFL 획득부(500)는,
   상기 VFL 값 산출 단계 후에 상기 VFL 값과 하기의 수학식 4를 이용하여 상기 세그먼테이션부에서 거리별로 구분된 각각의 객체들에 초점을 맞추기 위한 시프트 값인 D값을 산출하는 시프트 값(D) 산출 단계를 더 수행하는 것을 특징으로 하는 입체 영상촬영장치에서의 주시각 제어장치.
   [수학식 4]
   

   

   
   (여기서, Mlf[x]는 어떤 객체 x의 시차이고, arg max VFL은 VFL을 최대로 만드는 객체 x를 의미함)
   
5. 제4항에 있어서,
   상기 자동 주시각 제어부(600)에서의 자동 주시각 제어는 상기 산출된 VFL 값 중 가장 높은 값을 갖는 객체를 상기 산출된 시프트 값(D)에 따라 이동시킴으로써 초점이 제어되는 것을 특징으로 하는 입체 영상촬영장치에서의 주시각 제어장치.
   
6. 제4항에 있어서,
   상기 반자동 주시각 제어부에서의 반자동 주시각 제어는 상기 선택된 어느 하나의 객체를 상기 산출된 시프트값(D)에 따라 이동시킴으로써 초점이 제어되는 것을 특징으로 하는 입체 영상촬영장치에서의 주시각 제어장치.
   
7. 제2항에 있어서,
   상기 디스플레이는 터치 스크린으로 구성되고,
   상기 반자동 주시각 제어부는, 상기 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상에 대한 주시각을 제어하는 것을 특징으로 하는 입체 영상촬영장치에서의 주시각 제어장치.
   

Images