KR20140148080A

KR20140148080A - 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템

Info

Publication number: KR20140148080A
Application number: KR20130071520A
Authority: KR
Inventors: 노용만; 정용주
Original assignee: 한국과학기술원
Priority date: 2013-06-21
Filing date: 2013-06-21
Publication date: 2014-12-31
Also published as: KR101550065B1

Abstract

본 발명은 스테레오스코픽 영상의 촬영 방법 및 시스템에 관한 것으로서, 구체적으로는 스테레오스코픽 영상을 촬영함에 있어 영상 촬영 파라미터들을 자동으로 또는 간편하게 조절하여 입체 영상 시청시의 시각적 편안함 특성을 개선할 수 있는 스테레오스코픽 영상의 촬영 방법 및 시스템에 관한 것이다.
본 발명은 (a) 수렴위치 또는 초점거리를 변경하는 단계; (b) 상기 변경된 수렴위치 또는 초점거리에 따른 영상의 시각적 편안함 평가치를 산출하는 단계; 및 (c) 상기 시각적 편안함 평가치가 미리 설정된 기준치를 만족하는지 여부를 판단하는 단계를 포함하며, 상기 기준치를 만족하지 못할 경우 상기 (a) 단계 내지 (c) 단계를 반복하며, 상기 기준치를 만족하는 경우 상기 변경된 수렴위치 또는 초점거리를 촬영에 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법을 개시하며, 본 발명에 의하여 스테레오스코픽 영상을 촬영함에 있어 촬영된 영상의 시각적 편안함 특성을 평가하고, 이를 이용하여 영상 촬영 파라미터들을 자동으로 또는 간편하게 조절함으로써, 입체 영상의 시각적 편안함 특성을 개선하고, 또한 입체 영상 제작시의 수작업 및 재작업을 줄임으로써 입체 영상 콘텐츠의 제작 비용을 줄일 수 있는 스테레오스코픽 영상 촬영 방법 및 시스템을 제공하는 효과를 갖는다.

Description

시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템 {Stereoscopic imaging method and system for visually comfortable 3D images}

본 발명은 스테레오스코픽 영상의 촬영 방법 및 시스템에 관한 것으로서, 구체적으로는 스테레오스코픽 영상을 촬영함에 있어 영상 촬영 파라미터들을 자동으로 또는 간편하게 조절하여 입체 영상 시청시의 시각적 편안함 특성을 개선할 수 있는 스테레오스코픽 영상의 촬영 방법 및 시스템에 관한 것이다.

최근 3D 입체 영화의 성공, 3D TV의 대중화와 함께 본격적인 3D 콘텐츠 서비스 시대가 열리게 될 것이라는 기대가 커지고 있다. 영화와 방송 산업의 3D 진입 가속화는 3D 디스플레이 기술, 3D 콘텐츠 제작, 3D 전송 인프라 등 3D 콘텐츠 산업 활성화와 함께 3D 입체 영상 관련 제반 기술 발전의 토대가 되고 있다. 또한 3D 디스플레이 기술의 발전과 대중의 3D 콘텐츠에 대한 관심의 증가는 3D 방송, 영화, 게임 등과 같이 다양한 경로로 사용자들에게 3D 콘텐츠를 보급할 수 있는 여건을 마련하는 초석이 되고 있다.

하지만, 이와 같은 본격적인 3D 영상 시대에 대한 기대감에도 불구하고 3D 영상 콘텐츠의 부족과 시청 안전성 이슈는 향후 3D 시장 성장을 저해하는 요인으로 작용할 것이라는 우려도 또한 커지고 있다. 예를 들어, 인체의 입체 영상 인식 구조를 이용하여 양안의 시차를 입체 영상 구현에 활용하는 스테레오스코픽 방식의 경우, 3D 입체 영상의 구현을 위하여 많이 사용되는 방식임에도 불구하고 시청 안전성에 대한 이슈가 끊임없이 제기 되고 있기도 하다. 스테레오스코픽 방식의 3D 입체 영상의 경우 특히 시각적 불편감(visual discomfort)과 시각피로(visual fatigue) 등의 증상이 발생할 수 있는 것으로 알려져 있다.

또한, 현재 3D 콘텐츠 제작 워크플로우에서는 기술적 지원의 부족으로 인해 많은 시간과 비용이 소요되는 것으로 알려져 있다. 이러한 높은 비용은 주로 시각적 불편감 없는 영상 제작을 위해 촬영 시에 들어가는 고비용의 수작업 모니터링과 재편집 및 재촬영의 과정에 기인한다. 이러한 높은 제작 비용으로 인한 3D 콘텐츠의 부족은 3D영상 산업의 활성화에 걸림돌이 되고 있다. 따라서 적은 비용으로 보다 쉽게 시각적 불편감 없는 3D 콘텐츠의 제작을 가능하게 하는 방법 및 시스템이 필요하며, 이는 3D 콘텐츠 및 제반 시장을 본격적으로 활성화하는데 크게 기여할 수 있을 것이다.

종래 2D 카메라 기술을 살펴보면, 영상 및 카메라에 대한 이해가 부족한 일반 대중도 다양한 환경에서 쉽게 고품질의 영상 획득이 가능하도록 하기 위해, 장면과 상황에 맞는 촬영을 가능하게 하는 지능형 카메라 기술이 개발되어 활용되고 있다. 예를 들어, 영상 인식 기술을 적용하여 풍경의 구도나 인물 모드를 자동 검출하고, 인물 모드인 경우 얼굴 부분에 맞게 초점과 노출을 자동 조절하여 최적의 영상 품질로 촬영이 가능하도록 하는 기능 등이 이러한 예에 해당한다.

그러나, 인간의 3D 시각 인지 시스템 특성 및 스테레오스코픽 방식의 3D 디스플레이의 원론적 한계로 인해 종래의 2D 영상 콘텐츠 처리 기술로는 시각적 불편감 문제를 적절하게 해결하기에 부족한 점이 많다. 앞서 살핀 바와 같이, 3D 영상 촬영의 경우에는 촬영된 영상에서 시각적 불편감 문제가 발생 할 수 있기 때문에, 2D 카메라의 경우보다 더욱 촬영에 있어서 세심한 설정 및 주의가 요구된다. 그러나, 이를 비전문가인 사용자가 일일이 감안하여 시각적 불편감이 적은 영상을 촬영하기는 현실적으로 어려운 일이다. 또한, 3D 영상 콘텐츠 제작 전문가라 할 지라도 시각적 불편감을 지속적으로 고려하면서 복잡한 영상 제작 과정을 수행하기는 쉬운 일이 아니다.

따라서, 시각적 불편감 없는 3D 영상 촬영을 쉽게 가능하게 하는 스테레오스코픽 영상 촬영 방법 및 이에 따른 스테레오스코픽 영상 촬영 시스템에 대한 요구가 절실함에도 불구하고, 이러한 지능형 3D 카메라 촬영 기능은 아직까지 구현되지 못하고 있는 것이 현실이다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 스테레오스코픽 영상을 촬영함에 있어, 시각적 편안함 특성을 개선하기 위하여 영상 촬영 파라미터들을 자동으로 또는 간편하게 조절함으로써 시각적으로 편안한 입체 영상을 촬영할 수 있는 스테레오스코픽 영상 촬영 방법 및 시스템을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 스테레오스코픽 영상 촬영 방법은 (a) 양 카메라의 영상 센서 중심점과 렌즈 중심점을 일직선으로 연결한 직선이 수렴하는 위치로부터 상기 렌즈 중심점까지의 거리인 수렴위치, 또는, 평행하게 입사하는 빛이 굴절하여 한 점에 모일 때의 렌즈 중심점과 상기 한 점간의 거리인 초점거리를 변경하는 단계; (b) 상기 변경된 수렴위치 또는 초점거리에 따른 영상의 시각적 편안함 평가치를 산출하는 단계; 및 (c) 상기 시각적 편안함 평가치가 미리 설정된 기준치를 만족하는지 여부를 판단하는 단계를 포함하며, 상기 기준치를 만족하지 못할 경우 상기 (a) 단계 내지 (c) 단계를 반복하며, 상기 기준치를 만족하는 경우 상기 변경된 수렴위치 또는 초점거리를 촬영에 적용하며, 여기서, 상기 시각적 편안함 평가치는 시청자가 입체 영상을 시청하면서 느끼는 편안함(visual comfort)을 평가하는 수치를 뜻하는 것임을 특징으로 한다.

여기서, 상기 (a) 단계에 앞서, 초기 상태의 수렴위치 및 초점거리에서 시각적 편안함 평가치를 산출하여 미리 설정된 기준치를 만족하는지 여부를 판단하는 단계를 더 포함할 수 있다.

여기서, 상기 (a) 단계에 앞서, 상기 수렴위치만을 변경하면서 그에 따르는 시각적 편안함 평가치를 산출하여 미리 설정된 기준치를 만족하는지 여부를 판단하는 단계를 더 포함할 수 있다.

여기서, 먼저 상기 초점거리를 최소치에서 시작하여 소정의 간격으로 최대치까지 증가시키면서, 상기 각 초점거리에 대하여 상기 수렴위치를 변경하면서 상기 (a) 단계 내지 (c) 단계를 거쳐, 산출된 상기 영상의 시각적 편안함 평가치가 미리 설정된 기준치를 만족하게 되는 경우의 상기 초점거리와 수렴위치의 조합을 모두 저장한 후, 상기 저장된 초점거리와 수렴위치의 조합 중 소정의 기준에 의하여 최선의 조합을 선택하여 촬영에 적용할 수 있다.

여기서, 상기 저장된 초점거리와 수렴위치의 조합 중 최선의 조합을 선택함에 있어, 초기 상태의 초점거리에 가장 가까운 초점거리를 가지는 조합을 선택할 수 있다.

여기서, 상기 수렴위치를 변경함에 있어, 초기 상태의 수렴위치를 기준으로 가까운 수렴위치를 우선 적용하고 순차로 먼 수렴위치를 적용할 수 있다.

여기서, 상기 초점거리를 변경함에 있어, 초점거리의 최소치를 우선 적용하고 순차로 초점거리를 증가하면서 그 최대치까지 적용할 수 있다.

여기서, 상기 시각적 편안함의 평가치를 산출하는 단계는, (p1) 좌안 및 우안 영상을 입력 받는 단계; (p2) 시차 특징을 추출하는 단계; (p3) 상기 시차 특징을 양안 시차 단위로 변환하는 단계; 및 (p4) 시각적 편안함 평가치를 산출하는 단계를 포함할 수 있다.

여기서, 상기 (p2) 단계에 있어, 상기 입력 영상에 대한 시차맵을 이용하여 상기 시차 특징을 추출하거나, 상기 좌안 및 우안 영상의 픽셀간 차분값 또는 일정 크기의 블록간 차분값을 이용하여 상기 시차 특징을 추출하거나, 깊이 카메라(depth)가 사용된 경우, 이로부터 직접 깊이(depth) 정보를 전달받아 상기 시차 특징을 추출할 수 있다.

여기서, 상기 (a) 단계는 수렴위치, 초점거리 또는 카메라 간 거리를 변경하는 단계이고, 상기 (b) 단계는 상기 변경된 수렴위치, 초점거리 또는 카메라간 거리에 따른 영상의 시각적 편안함 평가치를 산출하는 단계이며, 상기 시각적 편안함 평가치가 미리 설정된 기준치를 만족하는 경우의 상기 변경된 수렴위치, 초점거리 또는 카메라 간 거리를 촬영에 적용할 수 있다.

본 발명의 다른 측면에 따른 스테레오스코픽 영상 촬영 시스템은 두 개 이상의 영상 촬영기로 구성되는 영상 촬영부; 상기 영상 촬영부에서 촬영된 스테레오스코픽 영상의 시각적 편안함 평가치를 산출하는 시각적 편안함 평가부; 상기 영상 촬영기의 수렴위치를 조절하는 수렴위치 조절부; 및 상기 영상 촬영부에서 촬영된 영상의 시각적 편안함 평가치를 고려하면서, 상기 수렴위치 조절부를 제어함으로써, 상기 스테레오스코픽 영상의 시각적 편안함 특성을 개선하는 제어부를 포함하는 것을 특징으로 한다.

여기서, 상기 영상 촬영기의 초점거리를 조절하는 초점거리 조절부를 더 포함하고, 상기 제어부는 상기 초점거리 조절부 및 상기 수렴위치 조절부를 제어할 수 있다.

여기서, 상기 제어부가 상기 수렴위치를 조절함에 있어, 초기 수렴위치를 기준으로 가까운 수렴위치를 우선 적용하고 순차로 먼 수련 수렴위치를 적용할 수 있다.

여기서, 상기 제어부가 상기 초점거리 조절부 및 상기 수렴위치 조절부를 제어함에 있어, 먼저 상기 초점거리가 최소치에서 시작하여 소정의 간격으로 최대치까지 증가하도록 상기 초점거리 조절부를 제어하면서, 상기 각 초점거리에 대하여 상기 수렴위치 조절부를 제어하면서 상기 영상의 시각적 편안함 평가치가 미리 설정된 기준치를 만족하게 되는 경우의 상기 초점거리와 수렴위치의 조합을 모두 저장한 후, 상기 저장된 초점거리와 수렴위치의 조합 중 소정의 기준에 의하여 최선의 조합을 선택하여 촬영에 적용할 수 있다.

여기서, 상기 수렴위치 조절부를 제어함에 있어, 초기 수렴위치를 기준으로 가까운 수렴위치가 우선 적용되고 순차로 먼 수렴위치가 적용되도록 제어할 수 있다.

여기서, 상기 시각적 편안함 평가부가 상기 입력 영상의 시각적 편안함 평가치를 산출함에 있어, 상기 입력 영상의 시차 특징을 추출하고, 이를 양안 시차 단위로 변환한 후, 시각적 편안함 평가치를 산출할 수 있다.

본 발명에 따르면, 스테레오스코픽 영상을 촬영함에 있어 촬영된 영상의 시각적 편안함 특성을 평가하고, 이를 이용하여 영상 촬영 파라미터들을 자동으로 또는 간편하게 조절함으로써, 입체 영상의 시각적 편안함 특성을 개선하고, 또한 입체 영상 제작시의 수작업 및 재작업을 줄임으로써 입체 영상 콘텐츠의 제작 비용을 줄일 수 있는 스테레오스코픽 영상 촬영 방법 및 시스템을 제공하는 효과를 갖는다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 스테레오스코픽 영상 촬영의 기하학적 모델 및 파라미터 정의.
도 2는 본 발명의 일 실시예에 따른 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법의 흐름도.
도 3은 도 2의 상세 흐름도.
도 4는 본 발명의 일 실시예에 따른 영상의 시각적 편안함 평가 단계의 세부 흐름도.
도 5는 본 발명의 일 실시예에 따른 새로운 수렴위치 검색 단계의 흐름도.
도 6은 본 발명의 일 실시예에 따른 새로운 수렴위치 및 초점거리 검색 단계의 흐름도.
도 7은 본 발명의 일 실시예에 따른 새로운 수렴위치 및 초점거리 검색 방법의 도해.
도 8은 본 발명의 일 실시예에 따른 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 시스템의 블록도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 종래 기술에 따른 스테레오스코픽 입체 영상의 경우 과도한 시차(disparity)에 의하여 시각적 불편감(visual discomfort)과 시각피로 (visual fatigue) 등과 같은 시청 안전성의 문제가 유발될 수 있다는 점에 착안하여, 스테레오스코픽 입체 영상의 촬영에 있어서 시각적 편안함(visual comfort) 특성을 평가하면서 수렴위치(convergence), 초점거리(focal length) 등의 영상 촬영 파라미터를 조정함으로써 시각적으로 편안한 영상을 촬영할 수 있는 스테레오스코픽 영상 촬영 방법 및 시스템을 개시하는 것을 특징으로 한다.

3D 입체 영상의 구현을 위하여 많이 사용되는 스테레오스코픽 영상은 실감나는 입체 영상의 제공이라는 장점에도 불구하고, 과도한 시차(excessive disparity)를 갖거나 영상의 가장자리에서의 물체의 잘림(window violation) 등에 의하여 시각적 불편감(visual discomfort)을 유발할 수 있기 때문에, 이를 개선하기 위해서 상기 스테레오스코픽 영상이 적절한 시차를 갖도록 조절하는 것이 필요하다. 일반적으로, 촬영되는 스테레오스코픽 영상의 시각적 편안함을 향상시키기 위해서, 스테레오 카메라에서 조절이 가능한 파라미터로는 카메라 간 거리(interaxial distance), 수렴위치(convergence), 초점거리 (focal length) 등 세 가지를 들 수 있다.

여기서, 카메라 간 거리는 양 카메라의 렌즈 중심점을 기준으로 한 거리를 뜻하며, 수렴위치는 양 카메라의 영상 센서 중심점과 렌즈 중심점을 일직선으로 연결한 직선이 수렴하는 위치로부터 상기 렌즈 중심점까지의 거리를 말하고, 초점거리는 평행하게 입사하는 빛이 굴절하여 한 점에 모일 때, 렌즈의 중심점과 상기 한 점간의 거리를 의미한다.

도 1은 스테레오스코픽 영상 촬영의 기하학적 모델 및 파라미터 정의를 도시하고 있다. 여기서 Zcvg는 수렴위치(convergence), f는 초점거리(focal length), Z는 촬영 객체까지의 거리, h는 이미지 센서 중심의 이동 거리, d는 시차(disparity), b는 카메라 간 거리(interaxial distance)를 나타낸다.

먼저, 도 1에서 볼 수 있듯이, 카메라 간 거리 (b)를 조절하게 되면, 좌/우안 영상에서의 시차(disparity)는 카메라 간 거리에 따라 비례하여 증가 또는 감소하게 된다. 이는 다음의 수학식 1과 같이 표현될 수 있다.

수학식 1

수학식 1에서와 같이 카메라 간 거리를 줄임으로써, 시차를 적절하게 줄일 수 있게 된다. 물론, 크기가 작은 디지털 스틸 카메라(digital still camera)와 같은 경우는 카메라의 크기 등 공정상의 이유로 모터에 의해 카메라 간의 거리를 조절하는 기능을 포함하기 어려울 수 있으나, 반드시 불가능한 것은 아니다.

두 번째로, 시각적 불편감을 줄이기 위해 수렴위치(convergence)를 조절하는 것이 가능한데, 수렴위치 조절은 일반적으로 두 형태의 카메라 구성으로 가능하다. 하나는 톤-인 카메라(toned-in camera) 형태이며, 다른 하나는 병렬 센서 이동 카메라(parallel sensor-shifted camera) 형태이다. 도 1에서 보이는 구성은 병렬 센서 이동 카메라 형태를 도시한 그림이다. 병렬 센서 이동 카메라에서 수렴위치의 조절은 영상 센서의 중심을 수평 이동(sensor shift) 또는 영상 캡쳐 후에 이미지 이동(image shift)에 의해 수행될 수 있다. 수렴위치는 이동값(shift value; 도 1에서 h값)에 따라 변화하게 된다. 수렴위치가 변화함에 따른 시차(disparity) 변화의 관계는 상기 수학식 1을 통해 알 수 있다. 즉, 이동값을 변화시킴에 따라 수렴위치를 조절함으로써, 영상의 시차는 일정한 오프셋(offset)(여기서는 수학식 1의 2h)을 더하거나 빼주는 효과가 있다.

세 번째로, 시각적 불편감을 줄이기 위해 초점거리(focal length)를 조절하는 것이 가능한데, 초점거리 조절은 상기 수학식 1에서 알 수 있듯이, 시차와 비례 관계에 있다. 즉, 초점거리(f)를 줄이면, 시차(d)가 줄어들며, 또한 초점거리를 늘리면, 시차가 커지게 된다.

상기한 스테레오 카메라의 파라미터들을 적절히 조절함으로써, 촬영되는 스테레오스코픽 영상의 시각적 편안함을 향상 시킬 수 있으며, 이를 위해서는 상기의 파라미터 설정을 자동적으로 처리해주는 방법과 이에 따르는 자동화된 스테레오 카메라의 구성이 필요하다. 특히, 카메라 크기의 제한 등에 따른 공정상의 이유로 카메라 간 거리(b)를 조절하는 기능을 탑재할 수 없을 때에는, 수렴위치(Zcvg)와 초점거리(f)를 유기적으로 조절함으로써 시각적 불편감을 효과적으로 줄여 나가는 것이 중요하다.

도 2는 본 발명의 일 실시예에 따른 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법의 흐름도이다. 본 발명의 일 실시예에 따른 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법은 크게 다음과 같은 일련의 단계들의 조합을 포함하여 구성될 수 있다.

(1) 사용자가 반셔터 버튼을 누름에 따라 초기 수렴면에서 영상을 캡쳐하는 단계

(2) 캡쳐된 영상의 시각적 편안함을 평가하는 단계

(3) 수렴위치를 조정하는 단계

(4) 수렴위치와 함께 초점거리를 조정하는 단계

(5) 사용자에게 경고 메시지를 표시하는 단계

(6) 셔터 버튼을 누름에 따라 영상을 촬영하는 단계

아래에서 상기 단계들에 대한 자세한 설명을 기술한다. 참고로, 여기서는 편의상 두 카메라로 구성되는 경우를 기술하였으나, 실시예에 따라서는 이에 국한되지 않고 다양한 구성을 가질 수 있다. 예를 들어, 디지털 스틸 카메라 등 하나의 카메라 본체 내에 두 개의 렌즈 또는 하나의 렌즈를 통해 스테레오스코픽 영상을 촬영하는 것도 가능하며, 본 발명은 이러한 다양한 스테레오스코픽 영상 촬영 시스템에 적용하는 것이 가능하다.

먼저 사용자가 반셔터 버튼을 누름에 따라 초기 수렴면에서 영상을 캡쳐하는 단계(S210)에서는 카메라의 촬영 준비 단계로서 사용자가 반셔터 버튼을 누를 경우, 초기 상태에서 영상을 캡쳐함으로써 그 시각적 편안함 특성을 평가하기 준비를 하게 된다.

이어서, 캡쳐된 영상의 시각적 편안함을 평가하는 단계(S220)에서는 카메라의 초기 상태에서의 영상에 대하여 시각적 편안함을 평가함으로써 추가적인 카메라 파라미터 조정이 필요한지 여부를 판단하게 된다. 상기 평가에 의하여 시각적 편안함이 미리 설정된 기준치에 미치지 못할 경우 추가적인 카메라 조정 단계에 진입하게 된다.

추가적인 카메라 조정 단계로서 먼저 수렴위치를 조정하는 단계(S230)를 거칠 수 있다. 상기 수렴위치 조정 단계는 다시 새로운 수렴면을 검색하는 단계(S232), 수렴위치를 산출하는 단계(S234), 수렴위치를 조정하는 단계(S236)를 포함할 수 있다.

상기 새로운 수렴면을 검색하는 단계(S232)에서 시각적 편안함 특성이 기준치를 만족하는 수렴면을 발견하지 못하는 경우, 다시 초점거리 조정 모드가 설정되어 있는지 여부를 판단(S240)한 다음, 수렴위치와 함께 초점거리를 조정하는 단계(S250)에 진입할 수 있다.

상기 수렴위치와 함께 초점거리를 조정하는 단계(S250)는 다시 새로운 초점거리 및 수렴위치를 검색하는 단계(S252), 초점거리 및 수렴위치를 산출하는 단계(S254), 초점거리 및 수렴위치를 조정하는 단계(S256)을 포함할 수 있다.

상기 새로운 초점거리 및 수렴위치를 검색하는 단계(S252)에서 시각적 편안함 특성이 기준치를 만족하는 초점거리 및 수렴위치를 발견하지 못하는 경우, 시각적 불편함 경고 신호를 발생(S260)하고 경고 메시지를 표시(S270)할 수 있다.

상기 S232 단계 또는 상기 S252 단계에서 시각적 편안함 특성이 기준치를 만족하는 적절한 설정을 발견하는 경우 이를 적용한 후, 사용자가 셔터 버튼을 누르는 것을 기다려(S280), 스테레오스코픽 영상을 촬영하여 산출하는 단계(S290)로 진입할 수 있다.

도 3은 도 2에 대한 보다 상세한 흐름도로서, 본 발명의 일 실시예에 따른 스테레오스코픽 영상 촬영 방법의 흐름을 단계별로 나타내고 있다. 사용자가 반셔터 버튼을 누르게 되면(S312), 초기 수렴면의 수렴위치를 기준으로 스테레오스코픽 영상을 캡쳐한다(S614). 캡쳐된 스테레오스코픽 영상에 대하여 시각적 편안함을 평가하고(S320), 시각적으로 편안한 영상이라면 초기의 수렴위치 값(S327)을 그대로 사용자에게 알려서(S375) 사용자가 셔터 버튼을 완전하게 누르게 함으로써 스테레오스코픽 영상을 최종적으로 촬영하게 된다(S380). 이때, 시각적으로 편안한 영상인지를 판단하기 위해서는 미리 기준치(threshold)를 정해 놓고, 이를 넘었는지 조사하는 방식으로 가능하다. 하지만, 만약 시각적으로 불편한 영상으로 판명이 되면, 수렴 조절 모드로 설정되어 있는지 조사(S331)한 후에, 수렴 조절 모드가 아니면 경고 메시지를 뷰파인더에 보여주고 종료한다(S362, S372). 반면, 수렴 조절로 설정되어 있으면, 시각적으로 편안한 영상이 되기 위한 수렴위치를 검색한다(S332). 수렴위치 검색이 성공하였다면(S334), 새로운 수렴위치로 조절하는 기능이 수행된다 (S358). 통상적으로 수렴위치를 조절하는 기능은 영상 센서를 수평 이동 (sensor shift)하거나, 영상 자체를 수평 이동 (image shift) 함으로써 이루어질 수 있으나, 반드시 이러한 현재의 조절 방법에 국한되지는 않는다. 새롭게 수렴위치가 조절이 완료되면, 사용자에게 성공적으로 완료되었음을 공지하고(S375), 사용자는 셔터를 완전하게 누름으로써 최종 스테레오스코픽 영상을 캡쳐한다 (S380). 검색된 수렴위치가 시각적 편안함의 기준치를 만족하지 못하면(S334), 초점거리 조절 모드가 설정되어 있는지 조사(S340)한 후에, 초점거리 조절 모드가 아니면, 경고 메시지를 뷰파인더에 보여주고(S360,S370), 검색된 수렴위치를 사용하여 조정(S358)한 후에 사용자에게 공지한다(S375). 초점 조절 모드이면, 새로운 초점거리와 이때의 수렴위치 조합을 검색한다(S352). 이때, 검색된 초첨거리와 수렴위치에 따르는 시각적 편안함을 평가하여(S354), 미리 정한 기준치를 만족하지 않으면 경고 메시지를 내보내게 된다(S360, S370). 반면, 검색된 초첨거리와 수렴위치에 따르는 시각적 편안함이 기준치를 만족하다면, 새로운 초점거리로 렌즈를 조정하고(S357), 이어서 새로운 수렴위치로 조정한다 (S358). 새로운 초점거리와 수렴위치의 조정이 완료 되었음을 사용자에게 공지(S375)한 후에, 사용자는 셔터 버튼을 완전하게 누름으로써, 최종적으로 스테레오스코픽 영상을 촬영하게 된다(S380).

도 4는 본 발명의 일 실시예에 따른 영상의 시각적 편안함 평가 단계의 세부 흐름도를 도시하고 있다. 좌안 및 우안 입력 영상(S410, S415)에 대한 시각적 편안함 평가 단계는 크게 1) 시차맵 추출(disparity map estimation)(S420), 2) 시차 특징 추출(disparity feature extraction)(S430), 3) 시차 특징을 양안 시차(binocular disparity) 단위로 변환(S440), 4) 입력 영상의 시각적 편안함 수치 산출(visual comfort score computation)(S460)의 네 부분으로 구성될 수 있다. 이때, 시각적 편안함을 정량적인 수치로 계산함에 있어서, 미리 입력된 디스플레이 크기, 시청 거리 등의 시청 환경을 고려하여(S450) 영상 픽셀 시차로부터 양안 시차 단위로 변환하고(S440), 시스템에 미리 저장되어 있는 시각적 편안함 예측 함수(prediction function)를 사용하여(S470) 상기 평가 방법을 구성할 수 있다.

스테레오 디스플레이에서 시각적 편안함은 다양한 요인에 의해 영향을 받을 수 있다. 그 중에서, 중요한 요인은 과도한 스크린 시차(excessive disparity), 주변 픽셀/물체 간의 과도한 시차 차이(disparity difference), 영상의 가장자리에서의 물체의 잘림(window violation) 등을 들 수 있으며 이를 선형 또는 비선형 시차 매핑(disparity mapping) 등을 통하여 시차맵을 추출(S420)할 수 있다. 시각적 편안함을 예측하기 위해 사용되는 시차 특징(disparity features) 값들은 이러한 요인들을 고려하여 산정(S430)될 수 있다. 이어서 상기 시차 특징 값을 미리 알려진 스크린의 크기 등 사용자의 사용 환경을 고려(S450)하여 양안 시차 단위로 변환(S440)한 후, 이를 미리 설정된 시각적 편안함 예측 함수(S470)을 사용하여 시각적 편안함 수치를 산출(S460)한 뒤, 상기 시각적 편안함 수치를 미리 정해진 기준치와 비교함으로써, 최종적으로 시각적 편안함 여부를 판단하게 된다.

또한, 시각적 편안함의 평가는 상기한 일련의 과정을 기본으로 하며, 응용에 따라 다양한 형태의 방법 실시 예가 가능하다. 특히, 시차 특징값들을 추출하기 위해 시차맵 추출(S420)을 수행하지 않고, 좌/우안 영상에서 각 대응 픽셀 위치의 차이 값 또는 일정 크기, 예를 들어 32x32 픽셀의 블록 단위로 영상의 변화를 계산하여 대략적인 시차 특징값들을 추출(S430)함으로써, 추출 시간을 단축시키는 다양한 형태의 시차 특징값 추출 방법들이 사용 될 수 있다. 또한, 경우에 따라서는 촬영 시스템에 거리(또는 깊이, depth) 정보를 직접적으로 센싱할 수 있는 깊이 카메라(depth camera)가 포함된 형태의 시스템에서는, 깊이 카메라로부터 깊이 정보가 센싱되어 입력되므로, 깊이 정보를 시차(disparity) 정보로 바로 변환하여 사용할 수 있다. 이러한 경우에도 시차맵 추출 단계(S420)는 수행되지 않고 바로 시차 특징 추출 단계(S430)를 수행하는 것으로 구성할 수 있다.

상기한 일련의 과정을 통하여 산출된 시각적 편안함에 대한 정량적인 수치는 입체 영상을 시청하는 시청자가 느낄 수 있는 시각적 불편감(visual discomfort) 및 시각 피로(visual fatigue)를 평가하는 수치, 내지는 시청자가 입체 영상을 시청하면서 느끼는 편안함(visual comfort)을 평가하는 수치 즉 시각적 편안함 평가치로서 사용될 수 있다.

도 5는 본 발명의 일 실시예에 따른 새로운 수렴위치 검색 단계의 흐름도를 도시하고 있다. 수렴위치 조절은 앞서 살핀 바와 같이, 영상 센서의 수평 이동(sensor shift) 또는 이미지 이동(image shift)에 의해 수행될 수 있으므로, 본 실시예에서는 이들의 변동치를 이동값(shift value)으로 묶어 표기하였다. 이 경우에, 기존의 이동값(h)으로부터 새로운 이동값(h')으로 수렴위치가 변화함에 따라, 시차(disparity)의 변화는 다음과 같은 수학식 2로 나타내어 질 수 있다.

수학식 2

여기서, d 는 현재의 시차이며, d'은 이동값의 변화에 따른 새로운 시차를 나타낸다. 상기 수학식 2를 이용하여, 수렴위치의 변경을 위한 센서 또는 영상의 이동값을 선정(S510)하고, 스테레오스코픽 영상의 새로운 이동값에 의한 시차 특징 값을 재계산한다(S520). 이어서, 새로운 시차 특징에 따른 시각적 편안함 수치를 산정하고(S530), 새로 계산된 시각적 편안함 수치가 정해진 기준치를 만족할 때까지 새로운 수렴위치를 계속해서 반복적으로 찾는 방법으로 동작한다(S540). 다만, 시각적 편안함을 만족하는 수렴위치가 여러 경우 일 때는 초기의 수렴위치 값에서 가장 가까운 값으로 정하는 것이 바람직하다. 이는 현재 사용자가 설정한 초기 수렴위치를 최대한으로 변화 없이 촬영하도록 하기 위한 것이다.

도 6은 본 발명의 일 실시예에 따른 새로운 수렴위치 및 초점거리 검색 단계의 흐름도를 도시하고 있다. 초점거리가 f로부터 새로운 값 f'으로 변화함에 따른 시차의 변화는 다음과 같이 수학식 3으로 나타내어질 수 있다.

수학식 3

여기서 d는 이전의 시차 값을 나타내며, d'은 새로이 변경된 시차 값을, h는 현재의 수렴위치 값을 나타낸다. 위의 수식을 이용하여, 시각적 편안함을 계산하기 위해, 우선 미리 설정한 검색범위에 있는 초점거리의 최소치로 이동하여(S610), 상기 초점거리에서 영상을 촬영한다(S620). 촬영된 영상에서 시차맵(disparity map)을 추출하고(S630), 도 5에서 도시한 방법에 의해 새로운 수렴위치를 산정한다(S640). 이어서, 초점거리를 미리 정해진 양으로 점진적으로 증가시키면서(S650), 상기 수학식 3을 이용하여 새로운 시차맵을 갱신한다(S660). 또한, 새로이 갱신된 시차 값으로 새로운 수렴위치를 검색한다(S670). 이 과정은 미리 정한 검색 범위의 최대의 초점거리가 될 때까지 반복적으로 수행되며, 초점거리 범위 전체에 대하여 수행한 후에, 소정의 방법에 따라 최적의 초점거리와 수렴위치 조합을 선택한다(S680).

도 7은 본 발명의 일 실시예에 따른 새로운 수렴위치 및 초점거리 검색 방법을 도해하고 있다. 앞서 소정의 방법에 따라 최적의 초점거리와 수렴위치 조합을 선택하는 단계(S680)에서 아래와 같은 방법을 적용할 수 있다. 먼저, 수렴위치 검색에서는 현재의 수렴위치(h _C )에서 순차적으로 가까운 곳에서 먼 곳으로 점진적으로 증가하면서 검색하며, 미리 정한 시각적 편안함의 기준치(VC _th )를 만족하면 검색을 마친다. 즉, 계산된 시각적 편안함의 수치가 미리 정해진 기준치를 만족할 때까지 현재의 수렴위치에서부터 시작하여 점차 먼 수렴위치로 변경시키면서 검색하는 방법으로 동작한다.

반면, 초점거리 검색에서는 우선 미리 정한 초점거리 검색 범위 내에서 초점거리 최소치(f _min )에서부터 순차적으로 일정 간격으로 증가하면서 검색하며, 이는 초점거리 최대치(f _max )까지 반복하여 수행된다. 도 7에서와 같이 시각적 편안함을 만족하는 초점거리가 여러 경우 일 때에는 초기의 초점거리 값 (f _C )에서 가장 가까운 값으로 정하는 것이 바람직하다. 이는 현재 사용자가 설정한 초기 초점거리를 최대한으로 작은 변경치를 가지고 촬영하기 위한 것이다.

도 8에서는 본 발명의 일 실시예에 따른 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 시스템(800)의 블록도를 도시하고 있다. 도 8에서 볼 수 있는 바와 같이 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 시스템(800)은 영상 촬영부(810), 시각적 편안함 평가부(820), 초점거리 조절부(830), 수렴위치 조절부(840), 제어부(850)를 포함하여 구성될 수 있다.

상기 영상 촬영부(810)는 두 개 이상의 카메라 등 영상 촬영기를 포함하여 구성될 수 있는데, 상기 영상 촬영기가 반드시 물리적으로 분리되어야 하는 것은 아니다. 상기 영상 촬영부(810)는 피사체에 대한 영상을 시각적 편안함 평가부(820)로 전달하여 그 시각적 편안함(visual comfort)를 수치화할 수 있고, 이를 이용하여 제어부(850)가 초점거리 조절부(830) 또는 수렴위치 조절부(840)을 제어함으로써, 상기 영상 촬영부(810)에 의하여 촬영되는 영상의 시각적 편안함을 개선할 수 있게 된다.

상기 시각적 편안함 평가부(820)가 입력 영상의 시각적 편안함을 평가함에 있어서는 상기 입력 영상의 시차 특징을 추출하여 양안 시차 단위로 변환한 후, 시각적 편안함 수치를 산출하여 이를 미리 설정된 기준치와 비교하는 방법을 사용할 수 있다.

상기 제어부(850)가 상기 수렴위치를 조절함에 있어서는 초기 수렴위치를 기준으로 가까운 수렴위치를 우선 고려하고 순차로 먼 수련 수렴위치를 고려하는 방식으로 수렴위치를 조절하면서 상기 입력 영상의 시각적 편안함을 평가하여 이를 개선할 수 있고, 또한 상기 제어부(850)가 상기 초점거리를 조절함에 있어서는 초점거리의 최소치를 우선 고려하고 순차로 초점거리를 증가하면서 그 최대치까지 고려하는 방식으로 초점거리를 조절하면서 상기 입력 영상의 시각적 편안함을 평가하여 이를 개선하는 것도 가능하다.

또한 상기 제어부(850)가 상기 초점거리 또는 상기 수렴위치를 조절함에 있어서, 먼저 초점거리만을 변경시키면서 상기 시각적 편안함의 평가치가 미리 설정된 기준치를 만족하게 되는 상기 초점거리를 산정한 후, 상기 산정된 초점거리에 대하여 수렴위치를 변경시키면서 최선의 수렴위치를 산출하는 방식으로 상기 입력 영상의 시각적 편안함을 개선해 나갈 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

800 : 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 시스템
810 : 영상 촬영부
820 : 시각적 편안함 평가부
830 : 초점거리 조절부
840 : 수렴위치 조절부
850 : 제어부

Claims

(a) 양 카메라의 영상 센서 중심점과 렌즈 중심점을 일직선으로 연결한 직선이 수렴하는 위치로부터 상기 렌즈 중심점까지의 거리인 수렴위치,
또는, 평행하게 입사하는 빛이 굴절하여 한 점에 모일 때의 렌즈 중심점과 상기 한 점간의 거리인 초점거리를 변경하는 단계;
(b) 상기 변경된 수렴위치 또는 초점거리에 따른 영상의 시각적 편안함 평가치를 산출하는 단계; 및
(c) 상기 시각적 편안함 평가치가 미리 설정된 기준치를 만족하는지 여부를 판단하는 단계를 포함하며,
상기 기준치를 만족하지 못할 경우 상기 (a) 단계 내지 (c) 단계를 반복하며,
상기 기준치를 만족하는 경우 상기 변경된 수렴위치 또는 초점거리를 촬영에 적용하며,
여기서, 상기 시각적 편안함 평가치는 시청자가 입체 영상을 시청하면서 느끼는 편안함(visual comfort)을 평가하는 수치를 뜻하는 것임을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제1항에 있어서,
상기 (a) 단계에 앞서,
초기 상태의 수렴위치 및 초점거리에서 시각적 편안함 평가치를 산출하여 미리 설정된 기준치를 만족하는지 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제1항에 있어서,
상기 (a) 단계에 앞서,
상기 수렴위치만을 변경하면서 그에 따르는 시각적 편안함 평가치를 산출하여 미리 설정된 기준치를 만족하는지 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제1항에 있어서,
먼저 상기 초점거리를 최소치에서 시작하여 소정의 간격으로 최대치까지 증가시키면서,
상기 각 초점거리에 대하여 상기 수렴위치를 변경하면서 상기 (a) 단계 내지 (c) 단계를 거쳐,
산출된 상기 영상의 시각적 편안함 평가치가 미리 설정된 기준치를 만족하게 되는 경우의 상기 초점거리와 수렴위치의 조합을 모두 저장한 후,
상기 저장된 초점거리와 수렴위치의 조합 중 소정의 기준에 의하여 최선의 조합을 선택하여 촬영에 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제4항에 있어서,
상기 저장된 초점거리와 수렴위치의 조합 중 최선의 조합을 선택함에 있어,
초기 상태의 초점거리에 가장 가까운 초점거리를 가지는 조합을 선택하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제1항 또는 제4항에 있어서,
상기 수렴위치를 변경함에 있어,
초기 상태의 수렴위치를 기준으로 가까운 수렴위치를 우선 적용하고 순차로 먼 수렴위치를 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제1항에 있어서,
상기 초점거리를 변경함에 있어,
초점거리의 최소치를 우선 적용하고 순차로 초점거리를 증가하면서 그 최대치까지 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제1항 또는 제4항에 있어서,
상기 시각적 편안함의 평가치를 산출하는 단계는,
(p1) 좌안 및 우안 영상을 입력 받는 단계;
(p2) 시차 특징을 추출하는 단계;
(p3) 상기 시차 특징을 양안 시차 단위로 변환하는 단계; 및
(p4) 시각적 편안함 평가치를 산출하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제8항에 있어서,
상기 (p2) 단계에 있어,
상기 입력 영상에 대한 시차맵을 이용하여 상기 시차 특징을 추출하거나,
상기 좌안 및 우안 영상의 픽셀간 차분값 또는 일정 크기의 블록간 차분값을 이용하여 상기 시차 특징을 추출하거나,
깊이 카메라(depth)가 사용된 경우, 이로부터 직접 깊이(depth) 정보를 전달받아 상기 시차 특징을 추출하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
제 1항에 있어서,
상기 (a) 단계는 수렴위치, 초점거리 또는 카메라 간 거리를 변경하는 단계이고,
상기 (b) 단계는 상기 변경된 수렴위치, 초점거리 또는 카메라간 거리에 따른 영상의 시각적 편안함 평가치를 산출하는 단계이며,
상기 시각적 편안함 평가치가 미리 설정된 기준치를 만족하는 경우의 상기 변경된 수렴위치, 초점거리 또는 카메라 간 거리를 촬영에 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 방법.
두 개 이상의 영상 촬영기로 구성되는 영상 촬영부;
상기 영상 촬영부에서 촬영된 스테레오스코픽 영상의 시각적 편안함 평가치를 산출하는 시각적 편안함 평가부;
상기 영상 촬영기의 수렴위치를 조절하는 수렴위치 조절부; 및
상기 영상 촬영부에서 촬영된 영상의 시각적 편안함 평가치를 고려하면서,
상기 수렴위치 조절부를 제어함으로써,
상기 스테레오스코픽 영상의 시각적 편안함 특성을 개선하는 제어부를 포함하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.
제11항에 있어서,
상기 영상 촬영기의 초점거리를 조절하는 초점거리 조절부를 더 포함하고,
상기 제어부는 상기 초점거리 조절부 및 상기 수렴위치 조절부를 제어하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.
제11항 또는 제 12항에 있어서,
상기 제어부가 상기 수렴위치를 조절함에 있어,
초기 수렴위치를 기준으로 가까운 수렴위치를 우선 적용하고 순차로 먼 수련 수렴위치를 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.
제 12항에 있어서,
상기 제어부가 상기 초점거리를 조절함에 있어,
초점거리의 최소치를 우선 적용하고 순차로 초점거리를 증가하면서 그 최대치까지 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.
제 12항에 있어서,
상기 제어부가 상기 초점거리 조절부 및 상기 수렴위치 조절부를 제어함에 있어,
먼저 상기 초점거리가 최소치에서 시작하여 소정의 간격으로 최대치까지 증가하도록 상기 초점거리 조절부를 제어하면서,
상기 각 초점거리에 대하여 상기 수렴위치 조절부를 제어하면서 상기 영상의 시각적 편안함 평가치가 미리 설정된 기준치를 만족하게 되는 경우의 상기 초점거리와 수렴위치의 조합을 모두 저장한 후,
상기 저장된 초점거리와 수렴위치의 조합 중 소정의 기준에 의하여 최선의 조합을 선택하여 촬영에 적용하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.
제15항에 있어서,
상기 저장된 초점거리와 수렴위치의 조합 중 최선의 조합을 선택함에 있어,
초기 상태의 초점거리에 가장 가까운 초점거리를 가지는 조합을 선택하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.
제15항에 있어서,
상기 수렴위치 조절부를 제어함에 있어,
초기 수렴위치를 기준으로 가까운 수렴위치가 우선 적용되고 순차로 먼 수렴위치가 적용되도록 제어하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.
제11항 또는 제 12항에 있어서,
상기 시각적 편안함 평가부가 상기 입력 영상의 시각적 편안함 평가치를 산출함에 있어,
상기 입력 영상의 시차 특징을 추출하고, 이를 양안 시차 단위로 변환한 후,
시각적 편안함 평가치를 산출하는 것을 특징으로 하는 스테레오스코픽 영상 촬영 시스템.