KR101219859B1 - 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법 - Google Patents

3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법 Download PDF

Info

Publication number
KR101219859B1
KR101219859B1 KR1020110087941A KR20110087941A KR101219859B1 KR 101219859 B1 KR101219859 B1 KR 101219859B1 KR 1020110087941 A KR1020110087941 A KR 1020110087941A KR 20110087941 A KR20110087941 A KR 20110087941A KR 101219859 B1 KR101219859 B1 KR 101219859B1
Authority
KR
South Korea
Prior art keywords
image
semi
automatic
display
information
Prior art date
Application number
KR1020110087941A
Other languages
English (en)
Inventor
조준동
박찬오
이동훈
김종학
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020110087941A priority Critical patent/KR101219859B1/ko
Application granted granted Critical
Publication of KR101219859B1 publication Critical patent/KR101219859B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques

Abstract

본 발명은 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법에 관한 것으로서, 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부; 상기 촬영부에서 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map)을 생성하는 영상 처리부; 상기 디스패리티 맵의 정보와 중앙 초점 방식을 이용하여 상기 스테레오 영상의 중앙을 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부; 및 상기 주시각이 자동으로 제어된 스테레오 영상에 포함된 객체들이 거리별로 구분되도록 분할하여 디스플레이에 출력하고, 구분되도록 분할되어 디스플레이에 출력된 객체들 중 어느 하나의 객체가 선택된 경우 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 다시 제어하는 반자동 주시각 제어부를 포함하는 것을 특징으로 한다. 이에 의하여, 스테레오 카메라 촬영 후 짧은 시간 내의 간단한 조작만으로도 사용자가 원하는 객체에 초점을 맞추어 주시각을 제어할 수 있는 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법을 제공할 수 있다.

Description

3Ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법{APPARATUS AND METHOD FOR SEMI-AUTO CONVERGENCE IN 3D PHOTOGRAPHING APPARATUS}
본 발명은 주시각 제어장치 및 주시각 제어방법에 관한 것으로, 특히 반자동에 의해 원하는 객체를 초점으로 하여 단시간 내에 주시각 제어를 할 수 있는 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법 에 관한 것이다.
본 발명은 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법에 관한 것이다. 본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2010-0131814호에 개시되어 있는 바와 같이, 3D촬영장치를(스테레오 카메라) 이용하여 영상 촬영 시 자동 초점 기능에 의해서 중앙에 초점이 맞춰지도록 구성되어 있고, 사용자에 의해 초점을 변경하기 위해서는 여러 수동 조정단계를 거쳐 피사체를 구성하는 특정 물체에 대해 초점을 변경할 수 있는 구성이다.
그러나, 상술한 바와 같은 종래 기술은 중앙에 위치한 물체에 의해 3D효과가 과해지거고 시각적 피로를 발생시킬 수 있는 문제점이 있다.
또한, 촬영 후 사용자가 원하는 물체에 초점을 맞추기 위한 수동 조절기능은 순차적으로 초점 위치를 변화시켜야 하므로 초점 위치 변경 과정이 상당히 복잡하고 불편한 문제점이 있다.
또한, 종래 기술은 3D촬영장치의 초점 설정 기능에 있어서 뎁스의 단계를 순차적으로 넘기게 되어있어 원하는 뎁스를 선택하는데 많은 불편과 장시간이 소요되는 문제점이 있다.
참고로 도 1은 종래기술을 설명하기 위한 도면으로서, 도 1에 기재된 도면부호는 본 발명과는 무관하다.
따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 스테레오 카메라에 의한 피사체 촬영 후 그 영상의 뎁스를 단계로 나누어 디스플레이(110)에 각 객체별로 구분되어 출력할 수 있는 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법의 제공을 그 목적으로 한다.
또한, 사용자가 원하는 객체를 선택하여 초점을 맞출 수 있는 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법의 제공을 그 목적으로 한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어장치는 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부; 상기 촬영부에서 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map)을 생성하는 영상 처리부; 상기 디스패리티 맵의 정보와 중앙 초점 방식을 이용하여 상기 스테레오 영상의 중앙을 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부; 및 상기 주시각이 자동으로 제어된 스테레오 영상에 포함된 객체들이 거리별로 구분되도록 분할하여 디스플레이에 출력하고, 구분되도록 분할되어 디스플레이에 출력된 객체들 중 어느 하나의 객체가 선택된 경우 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 다시 제어하는 반자동 주시각 제어부를 포함한다.
또한, 영상 처리부에서 생성되는 디스패리티 맵은 촬영부에서 획득된 시차가 다른 2개의 이미지간 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보인 것을 특징으로 한다.
또한, 영상 처리부는 디스패리티 맵의 정보를 이용하여 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map) 정보를 더 생성하는 것을 특징으로 한다.
또한, 제1 뎁스맵을 히스토그램(Histogrm)화 하고 히스토그램을 이용하여 객체들 각각을 거리별로 구분하는 제2 뎁스맵 정보를 생성하는 깊이 영역 획득부를 더 포함하는 것을 특징으로 한다.
또한, 반자동 주시각 제어부는 제2 뎁스맵의 정보를 이용하여 객체들 각각을 거리별로 구분되도록 분할하여 디스플레이에 출력하는 것을 특징으로 한다.
또한, 디스플레이는 터치 스크린으로 구성되고, 반자동 주시각 제어부는, 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 선택된 객체를 초점으로 하여 스테레오 영상에 대한 주시각을 다시 제어하는 것을 특징으로 한다.
또한, 촬영부에서 획득된 시차가 다른 두 이미지를 저장하는 영상획득부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 3D촬영장치에서 반자동 주시각 제어가 수행되는 방법은 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차가 다른 2개의 이미지가 획득되는 S1 단계; S1 단계에서 획득된 2개의 이미지의 시차로부터 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map) 정보가 생성되는 S2 단계; 디스패리티 맵의 정보와 중앙 초점 방식을 이용하여 스테레오 영상의 중앙을 초점으로 하여 주시각이 자동으로 제어되고 주시각이 자동으로 제어된 스테레오 영상이 디스플레이에 출력되는 S3 단계; 주시각이 자동으로 제어되어 디스플레이에 출력된 스테레오 영상에 대한 주시각의 초점 재설정 여부가 결정되는 S4 단계; S4 단계에서 주시각의 재설정이 선택된 경우, 스테레오 영상에 포함된 객체들이 거리별로 구분되도록 분할되어 디스플레이에 출력되고 그 중 어느 하나의 객체가 선택되는 S5 단계; S5 단계에서 어느 하나의 객체가 선택된 경우, 상기 선택된 객체를 초점으로 하여 스테레오 영상의 주시각이 다시 제어되고 주시각이 다시 제어된 스테레오 영상이 디스플레이에 표시되는 S6 단계를 포함한다.
또한, S2 단계에서 생성되는 디스패리티 맵은 S1 단계에서 획득된 2개의 이미지간 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보인 것을 특징으로 한다.
또한, S2 단계에서는 디스패리티 맵의 정보를 이용하여 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map) 정보가 더 생성되는 것을 특징으로 한다.
또한, S2 단계는 뎁스맵을 히스토그램(Histogram)화 하고 히스토그램을 이용하여 객체들 각각이 거리별로 구분되는 제2 뎁스맵 정보가 생성되는 S2-1 단계를 더 포함하는 것을 특징으로 한다.
또한, S5 단계에서는 제2 뎁스맵의 정보를 이용하여 객체들 각각이 거리별로 구분되어 디스플레이에 표시되는 것을 특징으로 한다.
상기한 바와 같이 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법에 따르면, 스테레오 카메라 촬영 후 짧은 시간 내의 간단한 조작만으로도 사용자가 원하는 객체에 초점을 맞추어 주시각을 제어할 수 있는 효과가 있다.
또한, 사용자에게 피사체에 포함된 객체들 중 하나의 객체를 임의로 선택하여 초점을 변경할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명의 배경기술에 대한 도면이다.
도 2는 주시각에 대한 설명도이다.
도 3은 본 발명에 따른 3D촬영장치에서의 주시각 제어장치에 대한 블록 구성도이다.
도 4는 상기 촬영부의 좌측 카메라와 우측 카메라를 통해 획득된 시차가 다른 2개의 이미지에 대한 예시도이다.
도 5는 영상 처리부에서 생성된 도 4에 대한 제1 뎁스맵을 생성한 예시도이다.
도 6은 깊이 영역 획득부에서 도 5의 뎁스맵의 히스토그램을 생성한 예시도이다.
도 7은 깊이 영역 획득부에서 도 6의 히스토그램을 이용해 제2 뎁스맵을 생성한 예시도이다.
도 8 (a) 내지 (d)는 반자동 주시각 제어부에 의해 제2 뎁스맵의 정보를 이용하여 스테레오 영상에 포함된 객체들 각각을 거리별로 구분되도록 분할하여 디스플레이에 출력된 것을 나타낸 예시도이다.
도 8 (a) 내지 (d)는 상기 반자동 주시각 제어부에 의해 상기 제2 뎁스맵의 정보를 이용하여 스테레오 영상에 포함된 객체들 각각을 거리별로 구분되도록 분할하여 디스플레이에 출력된 것을 나타낸 예시도이다.
도 9는 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어방법에 대한 순서도이다.
이하, 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법에 대하여 첨부된 도면을 참조하여 상세히 설명한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
3D촬영장치(100)에는 스테레오 영상을 출력하기 위해 스테레오 카메라, 즉 좌측 카메라(11)와 우측 카메라(12)가 포함된다. 좌측 카메라와 우측 스테레오 카메라의 주시각(注視角)이 임의의 거리로 고정된 좌측 카메라와 우측 카메라에 의해 2개의 이미지를 이용하여 스테레오 영상처리를 수행하고 얻어진 주시점으로 주시각이 자동으로 형성되는 구성을 갖는 것이 일반적이다.
이때, 이때, 주시각이란 도 2에 도시된 바와 같이 물체(객체)에 상기 좌측 카메라(11)와 우측 카메라(12)의 중심선이 일치될 때 두 중심선의 만나는 각도를 의미한다. 이때, 스테레오 카메라에 있어서, 상기 좌측 및 우측 카메라의 중심선이 주시하고자 하는 물체의 중심에 일치해야만 사람의 눈과 같이 물체를 입체적으로 볼 수 있고 주시 피로감도 줄일 수 있게 된다. 하지만 이런 방식을 위해서는 카메라의 광축을 움직이기 위한 기계요소가 필요해 비용이 많이 듦으로 본 특허에서는 카메라는 고정시켜 놓고 이미지를 좌우로 움직여 초점을 맞추는 가상 주시각 제어를 사용한다. 앞으로의 내용에 나오는 주시각 제어는 이 가상주시각 제어를 의미한다.
본 발명은 3D촬영장치에서의 주시각을 제어하는 장치 및 그 방법에 관한 것으로서, 처음 얻어진 불명확한 뎁스 정보를 히스토그램화 하여 명확히 거리별 객체(Object, 오브젝트)들로 나누어 뎁스맵을 재구성한다. 여기서 새로 얻어진 뎁스정보를 이용하여 화면상에 각 뎁스 단계의 메뉴를 제공함으로써, 이미지를 순차적으로 시프트시킬 필요 없이 한번의 클릭만으로 원하는 뎁스 단계에 초점을 맞출 수 있도록 하여 쉽고 간단하게 주시각 제어를 수행할 수 있는 주시각 제어장치에 관한 것이다.
이하는, 3D촬영장치에서의 주시각 제어장치에 대해 먼저 설명한 후 이를 참조하며 주시각 제어방법에 대해 설명하기로 한다.
3D촬영장치에서의 반자동 주시각 제어장치
도 3은 본 발명에 따른 3D촬영장치에서의 주시각 제어장치에 대한 블록 구성도이다.
본 발명에 따른 3D촬영장치에서의 주시각 제어장치는 스테레오 카메라(11,12)에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부(10), 상기 촬영부(10)에서 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map)을 생성하는 영상 처리부(30), 상기 디스패리티 맵의 정보와 중앙 초점 방식을 이용하여 상기 스테레오 영상의 중앙을 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이(110)에 출력하는 자동 주시각 제어부(40) 및 상기 주시각이 자동으로 제어된 스테레오 영상에 포함된 객체들이 거리별로 구분되도록 분할하여 디스플레이(110)에 출력하고, 상기 구분되도록 분할되어 디스플레이(110)에 출력된 객체들 중 어느 하나의 객체가 선택된 경우 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 다시 제어하는 반자동 주시각 제어부(50)를 포함한다.
즉, 본 발명에 따른 3D촬영장치에서의 주시각 제어장치는 좌측 카메라(11)와 우측 카메라(12)로 구성된 촬영부(10), 영상 처리부(30), 자동 주시각 제어부(40) 및 반자동 주시각 제어부(50)를 포함한다.
상기 촬영부(10)는 스테레오 카메라, 즉 상기 좌측 카메라(11) 및 우측 카메라(12)와 피사체간의 이격 거리를 소정 횟수 변화시키며 피사체를 촬영한다. 이때, 상기 좌측 카메라(11)와 우측 카메라(12)를 통해 스테레오 영상에 대하여 시차가 있는 2개의 이미지가 획득된다.
상기 영상 처리부(30)는 상기 2개의 이미지의 시차를 통해 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map)을 생성한다.
이때, 상기 디스패리티 맵은 상기 촬영부(10)에서 획득된 시차가 다른 2개의 이미지간의 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보가 된다.
즉, 상기 영상 처리부(30)는 상기 촬영부(10)에서 획득된 시차가 다른 2개의 이미지를 전송받아 그 시차가 다른 두 이미지를 처리를 통해 상기 디스패리티 맵 정보를 생성한다.
디시패리티 맵 생성은 해당 분야에 널리 알려진 스테레오 매칭 알고리즘 등을 통해 수행될 수 있다.
본 발명에 의한 3D촬영장치에서의 반자동 주시각 제어장치는 상기 촬영부(10)에서 획득된 시차가 다른 두 이미지를 저장하는 영상 획득부(20)를 더 포함할 수 있다.
상기 영상 획득부(20)는 상기 촬영부(10)와 영상 처리부(30) 사이에 연결되어 상기 촬영부(10)에서 획득된 이미지를 저장하고 상기 영상 처리부(30)로 전달하는 기능을 수행한다.
상기 자동 주시각 제어부(40)는 상기 디스패리티 맵의 정보를 이용하여 스테레오 영상의 중앙을 초점으로 하여 주시각을 자동 제어하는 기능을 수행한다.
또한, 상기 주시각이 자동 제어된 스테레오 영상을 3D 카메라의 디스플레이(110)에 출력하는 기능을 수행한다.
이때, 상기 자동 주시각 제어부(40)는 중앙 초점 방식을 적용함으로써 주시각의 초점이 화면의 중앙에 위치하도록 자동 제어할 수 있다.
상기 영상 처리부(30)는 디스패리티 맵의 정보를 이용하여 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map) 정보를 더 생성할 수 있다.
이때, 뎁스맵(Depth-Map)이란, 카메라와 사물간의 실제 거리를 정수 단위로 표현한 것으로서, 카메라와 가까울수록 큰 값(밝은 색)으로 표현되고 멀수록 작은 값(어두운 색)으로 표현되는 것을 말한다.
이때, 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어장치는 깊이 영역 획득부(60)를 더 포함할 수 있다.
상기 깊이 영역 획득부(60)는 상기 제1 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 스테레오 영상에 포함되는 객체들 각각을 거리별로 구분하는 제2 뎁스맵 정보를 생성하는 기능을 수행한다.
즉, 상기 깊이 영역 획득부(60)는 상기 영상 처리부(30)에서 생성된 제1 뎁스맵 정보를 정송받아 제2 뎁스맵 정보를 생성한다.
상기 히스토그램이란, 영상 안에서 픽셀들에 대한 명암 값의 분포를 나타내는 것으로, 막대그래프로 표현된다. 이때, 각 명암값의 빈도수를 조사해서 그래프의 높이로 나타낸다.
상기 반자동 주시각 제어부(40)는 상기 제2 뎁스맵의 정보를 이용하여 스테레오 영상에 포함된 객체들 각각을 거리별로 구분되도록 분할하여 디스플레이에 출력할 수 있다. 이때, 상기 디스플레이(110)에는 사용자의 선택을 간편하게 하도록 선택 메뉴(115) 또는 조그 다이얼(120)을 통해 상기 객체들을 선택할 수 있도록 하는 것이 바람직하다(도 8 참조).
상기 반자동 주시각 제어부(50)는 상기 깊이 영역 획득부(60)와 연결되어 상기 제1 뎁스맵을 전송받고, 상기 자동 주시각 제어부(40)에도 연결되어 상기 자동 주시각 제어부(40)에 의해 출력되는 스테레오 영상 정보를 전송받을 수 있다.
상기 반자동 주시각 제어부(50)는 상술한 바와 같이, 상기 자동 주시각 제어부(40)에서 자동으로 주시각이 제어된 스테레오 영상에 포함된 객체(Object)들을 각각의 거리별로 명확하게 구분되도록 분할하여 디스플레이(110)에 출력하는 기능을 수행한다.
이때, 디스플레이(110)에 출력된 객체들 중 어느 한 객체가 선택된 경우에는 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 다시 제어하는 기능을 수행한다.
이때, 객체들을 각각의 거리별로 명확하게 구분되도록 분할하는 방법으로는 각 객체별로 별도의 색상처리를 하거나 구별되는 태그를 붙이는 방법 등이 사용될 수 있다.
즉, 상기 반자동 주시각 제어부(50)는 상기 자동 주시각 제어부(40)에 의해 원하는 스테레오 영상이 출력되지 않은 경우 또는 주시각 제어가 잘못된 경우에, 사용자가 원하는 객체를 초점으로 하여 주시각의 제어를 다시 실행시켜 디스플레이(110)에 출력되도록 하는 기능을 수행한다. 즉, 사용자의 객체 선택에 의해 사용자가 원하는 객체를 초점으로 하여 주시각을 간단한 조작만으로 다시 제어할 수 있고 잘못된 주시각 제어를 올바로 바로잡을 수 있다.
이때, 상기 디스플레이(110)는 터치 스크린으로 구성되는 것이 바람직하다. 상기 디스플레이(110)가 터치 스크린으로 구성됨으로써, 상기 반자동 주시각 제어부(50)는 상기 디스플레이(110)에 출력된 객체들(111 내지 113, 도 8 참조)) 중 어느 하나가 터치되어 선택되면 상기 선택된 객체를 초점으로 하여 스테레오 영상에 대한 주시각을 다시 제어하게 된다.
즉, 상기 반자동 주시각 제어부(50)는 초점의 설정을 디스플레이(110)에 구별되어 함께 출력되는 객체들(111 내지 113) 중 하나를 터치하는 한번의 과정으로 간편하게 수행할 수 있다.
이때, 상기 객체들(111 내지 113, 도 8 참조) 중 하나를 선택하는 방법으로는, 터치 스크린을 이용한 방법 이외에 조그 다이얼(Jog Dial)을 이용한 방법도 가능할 것이다.
이 경우, 상기 터치 스크린 또는 조그 다이얼이 도 3에 표시된 사용자 입력부(70)가 될 것이다.
도 4는 상기 촬영부(10)의 좌측 카메라와 우측 카메라를 통해 획득된 시차가 다른 2개의 이미지의 예시도이고, 도 5는 상기 영상 처리부(30)에서 생성된 도 4에 대한 제1 뎁스맵을 생성한 예시도이고, 도 6은 상기 깊이 영역 획득부(60)에서 도 5의 뎁스맵의 히스토그램을 생성한 예시도이며, 도 7은 상기 깊이 영역 획득부(60)에서 도 6의 히스토그램을 이용해 제2 뎁스맵을 생성한 예시도이다.
도 8 (a) 내지 (d)는 상기 반자동 주시각 제어부에 의해 상기 제2 뎁스맵의 정보를 이용하여 스테레오 영상에 포함된 객체들(111 내지 113, 도 8 참조) 각각을 거리별로 구분되도록 분할하여 디스플레이(110)에 출력된 것을 나타낸 예시도이다.
이때, 거리별로 각각 구분되도록 분할되어 표시된 객체들(111,112,113) 중 하나를 사용자 입력부(700)를 구성하는 터치버튼(115) 또는 조이 다이얼(120)을 사용하여 선택함으로써, 선택된 객체를 초점으로 하여 주시각 제어를 다시 실시하게 된다.
이때, 도 8 (a)의 경우는 객체들 중 도면부호 '111'에 해당하는 객체를 초점으로 선택하였고, (b)의 경우는 도면부호 '112'에 해당하는 객체를 초점으로 선택하였으며, (c)의 경우는 도면부호 '113'에 해당하는 객체를 초점으로, (d)의 경우는 배경을 초점으로 각각 선택하여 주시각을 다시 제어하게 된다.
다음은, 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어방법에 대해 설명한다.
3D촬영장치에서의 반자동 주시각 제어방법
도 9는 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어방법에 대한 순서도이다.
본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어방법에 대한 설명 중 3D촬영장치에서의 반자동 주시각 제어장치의 설명에서 이미 설명된 사항들 대하여는 그 구체적인 설명은 생략하기로 한다.
도 9에 도시된 바와 같이 본 발명에 따른 3D촬영장치에서의 반자동 주시각 제어방법은, 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차가 다른 2개의 이미지가 획득되는 S1 단계, 상기 S1 단계에서 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map) 정보가 생성되는 S2 단계, 상기 디스패리티 맵의 정보와 중앙 초점 방식을 이용하여 상기 스테레오 영상의 중앙을 초점으로 하여 주시각이 자동으로 제어되고 주시각이 자동으로 제어된 스테레오 영상이 디스플레이(110)에 출력되는 S3 단계, 주시각이 자동으로 제어되어 디스플레이(110)에 출력된 스테레오 영상에 대한 주시각의 초점 재설정 여부가 결정되는 S4 단계, 상기 S4 단계에서 주시각의 재설정이 선택된 경우, 상기 스테레오 영상에 포함된 객체들이 거리별로 구분되도록 분할되어 디스플레이(110)에 출력되고 그 중 어느 하나의 객체가 선택되는 S5 단계, 및 상기 S5 단계에서 어느 하나의 객체가 선택된 경우, 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상의 주시각이 다시 제어되고 주시각이 다시 제어된 스테레오 영상이 디스플레이(110)에 표시되는 S6 단계를 포함한다.
이때, 상기 S2 단계에서 생성되는 디스패리티 맵은 상기 S1 단계에서 획득된 2개의 이미지간 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보가 된다.
또한, 상기 S2 단계에서는 상기 디스패리티 맵의 정보를 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map) 정보가 더 생성될 수 있다.
특히, 상기 S2 단계는 상기 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각이 거리별로 구분되는 제2 뎁스맵 정보가 생성되는 S2-1 단계를 더 포함할 수 있다.
또한, 상기 S5 단계에서는 상기 제2 뎁스맵의 정보를 이용하여 상기 객체들 각각이 거리별로 구분되어 디스플레이(110)에 표시할 수 있다. 즉, 상기 3D촬영자치(100)의 디스플레이(110)(110)에 선택 메뉴(115) 또는 조그 다이얼(120) 등을 통해 사용자가 원하는 객체를 초점으로 주시각을 간편하게 제어할 수 있다.
상술한 구성에 의하여 본 발명은 처음 얻어진 불명확한 뎁스 정보를 히스토그램화 하여 명확한 거리별 객체(Object)들로 나누어 뎁스맵을 재구성한다. 새로 얻어진 뎁스맵 정보를 이용하여 화면상에 각 뎁스단계의 메뉴를 제공하여 이미지를 순차적으로 시프트 시킬 필요없이 한번 클릭으로 원하는 뎁스단계에 초점을 맞출 수 있도록 하여 불필요한 시간 소요를 줄인다.
본 발명은 촬영부(10)의 좌측 및 우측 카메라를 통해 두 이미지를 획득한다(도 4 참조). 이때, 상기 영상 처리부(30)에 의해 획득한 두 이미지의 시차를 통해 디스패리티 맵과 제1 뎁스맵을 획득(S2 단계, 도 5 참조)한 후 Histogram화(도 6 참조)하여 오브젝트를 거리별로 경계가 확실한 제2 뎁스맵을 생성한다(S2-1단계, 도 7 참조). 그리고, 자동 주시각 제어를 통한 입체영상을 화면에 출력(도 8 참조)하여 사용자가 확인할 수 있게 한다. 도 8 (a) 내지 (d)에 도시된 바와 같이 디스플레이(110) 하단부에 각 거리별 객체들을 색상별 메뉴 등를 통해 사용자가 보기 쉽게 표시할 수 있다. 따라서, 잘못된 초점 설정이 이루어 졌거나 다른 객체에 초점을 맞추기 원한다면 디스플레이(110) 하단부에 표시된 거리 별 세그먼테이션(Segmentation) 된 객체를 클릭하여 원하는 물체에 초점을 빠르게 맞출 수 있다. 이는 순차적 초점 설정이 아닌 임의 선택이 가능하여 주시각 처리를 한번의 터치로 간편하게 수행할 수 있도록 한다.
삭제
삭제
삭제
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.
10: 촬영부 11: 좌측 카메라
12: 우측 카메라 20: 영상 획득부
30: 영상 처리부 40: 자동 주시각 제어부
50: 반자동 주시각 제어부 60: 깊이 영역 획득부
70: 사용자 입력부 100: 3D촬영장치
110: 디스플레이 111 내지 113: 객체
115: 선택 메뉴 120: 조그 다이얼

Claims (12)

  1. 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차(視差)가 다른 2개의 이미지를 획득하는 촬영부;
    상기 촬영부에서 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map)을 생성하는 영상 처리부;
    상기 디스패리티 맵의 정보와 중앙 초점 방식을 이용하여 상기 스테레오 영상의 중앙을 초점으로 주시각을 자동 제어하고, 주시각이 자동 제어된 스테레오 영상을 디스플레이에 출력하는 자동 주시각 제어부; 및
    상기 주시각이 자동으로 제어된 스테레오 영상에 포함된 객체들이 거리별로 구분되도록 분할하여 디스플레이에 출력하고, 구분되도록 분할되어 디스플레이에 출력된 객체들 중 어느 하나의 객체가 선택된 경우 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상의 주시각을 다시 제어하는 반자동 주시각 제어부를 포함하는 3D촬영장치에서의 반자동 주시각 제어장치.
  2. 제1항에 있어서,
    상기 영상 처리부에서 생성되는 디스패리티 맵은 상기 촬영부에서 획득된 시차가 다른 2개의 이미지간 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보인 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어장치.
  3. 제1항에 있어서,
    상기 영상 처리부는 상기 디스패리티 맵의 정보를 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map) 정보를 더 생성하는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어장치.
  4. 제3항에 있어서,
    상기 제1 뎁스맵을 히스토그램(Histogrm)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각을 거리별로 구분하는 제2 뎁스맵 정보를 생성하는 깊이 영역 획득부를 더 포함하는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어장치.
  5. 제4항에 있어서,
    상기 반자동 주시각 제어부는 상기 제2 뎁스맵의 정보를 이용하여 상기 객체들 각각을 거리별로 구분되도록 분할하여 디스플레이에 출력하는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어장치.
  6. 제5항에 있어서,
    상기 디스플레이는 터치 스크린으로 구성되고,
    상기 반자동 주시각 제어부는, 상기 디스플레이에 출력된 객체들 중 어느 하나가 터치되어 선택된 경우, 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상에 대한 주시각을 다시 제어하는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어장치.
  7. 제1항에 있어서,
    상기 촬영부에서 획득된 시차가 다른 두 이미지를 저장하는 영상획득부를 더 포함하는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어장치.
  8. 스테레오 카메라에 의하여 스테레오 영상을 구성하는 시차가 다른 2개의 이미지가 획득되는 S1 단계;
    상기 S1 단계에서 획득된 2개의 이미지의 시차로부터 상기 스테레오 영상의 변이 정보인 디스패리티 맵(Disparity Map) 정보가 생성되는 S2 단계;
    상기 디스패리티 맵의 정보와 중앙 초점 방식을 이용하여 상기 스테레오 영상의 중앙을 초점으로 하여 주시각이 자동으로 제어되고 주시각이 자동으로 제어된 스테레오 영상이 디스플레이에 출력되는 S3 단계;
    주시각이 자동으로 제어되어 디스플레이에 출력된 스테레오 영상에 대한 주시각의 초점 재설정 여부가 결정되는 S4 단계;
    상기 S4 단계에서 주시각의 재설정이 선택된 경우, 상기 스테레오 영상에 포함된 객체들이 거리별로 구분되도록 분할되어 디스플레이에 출력되고 그 중 어느 하나의 객체가 선택되는 S5 단계;
    상기 S5 단계에서 어느 하나의 객체가 선택된 경우, 상기 선택된 객체를 초점으로 하여 상기 스테레오 영상의 주시각이 다시 제어되고 주시각이 다시 제어된 스테레오 영상이 디스플레이에 표시되는 S6 단계를 포함하는 3D촬영장치에서의 반자동 주시각 제어방법.
  9. 제8항에 있어서,
    상기 S2 단계에서 생성되는 디스패리티 맵은 상기 S1 단계에서 획득된 2개의 이미지간 정합점을 찾는 스테레오 알고리즘을 이용하여 산출되는 시차정보인 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어방법.
  10. 제8항에 있어서,
    상기 S2 단계에서는 상기 디스패리티 맵의 정보를 이용하여 상기 스테레오 영상에 포함된 객체들 각각에 대한 이미지의 깊이를 나타내는 제1 뎁스맵(Depth-Map) 정보가 더 생성되는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어방법.
  11. 제10항에 있어서,
    상기 S2 단계는 상기 뎁스맵을 히스토그램(Histogram)화 하고 상기 히스토그램을 이용하여 상기 객체들 각각이 거리별로 구분되는 제2 뎁스맵 정보가 생성되는 S2-1 단계를 더 포함하는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어방법
  12. 제11항에 있어서,
    상기 S5 단계에서는 상기 제2 뎁스맵의 정보를 이용하여 상기 객체들 각각이 거리별로 구분되어 디스플레이에 표시되는 것을 특징으로 하는 3D촬영장치에서의 반자동 주시각 제어방법.
KR1020110087941A 2011-08-31 2011-08-31 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법 KR101219859B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110087941A KR101219859B1 (ko) 2011-08-31 2011-08-31 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110087941A KR101219859B1 (ko) 2011-08-31 2011-08-31 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법

Publications (1)

Publication Number Publication Date
KR101219859B1 true KR101219859B1 (ko) 2013-01-09

Family

ID=47841427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110087941A KR101219859B1 (ko) 2011-08-31 2011-08-31 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법

Country Status (1)

Country Link
KR (1) KR101219859B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140109605A (ko) * 2013-03-06 2014-09-16 한국전자통신연구원 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치
KR20140114940A (ko) * 2013-03-18 2014-09-30 (주)위니웍스 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
KR20160100199A (ko) 2015-02-13 2016-08-23 전심수 피사체 맞춤조절이 가능한 부스형 삼차원 촬영장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021707A (ko) * 2000-09-16 2002-03-22 이용범 듀얼 렌즈 스테레오 카메라
KR20050083352A (ko) * 2004-02-23 2005-08-26 주식회사 넥스페이스 휴대용 단말장치에서 스테레오 카메라를 이용하여 파노라믹 영상과 3차원 영상을 획득 및 디스플레이를 할 수 있는 장치 및 그 방법.
KR20090035880A (ko) * 2007-10-08 2009-04-13 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021707A (ko) * 2000-09-16 2002-03-22 이용범 듀얼 렌즈 스테레오 카메라
KR20050083352A (ko) * 2004-02-23 2005-08-26 주식회사 넥스페이스 휴대용 단말장치에서 스테레오 카메라를 이용하여 파노라믹 영상과 3차원 영상을 획득 및 디스플레이를 할 수 있는 장치 및 그 방법.
KR20090035880A (ko) * 2007-10-08 2009-04-13 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140109605A (ko) * 2013-03-06 2014-09-16 한국전자통신연구원 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치
KR102053943B1 (ko) * 2013-03-06 2019-12-11 (주) 소닉티어 3d 변이 정보에 따른 적응적 영상 포커스 조절 방법 및 그 장치
KR20140114940A (ko) * 2013-03-18 2014-09-30 (주)위니웍스 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
KR102145017B1 (ko) 2013-03-18 2020-09-21 (주)위니웍스 3d 가상스튜디오시스템 및 3d 가상스튜디오 영상합성방법
KR20160100199A (ko) 2015-02-13 2016-08-23 전심수 피사체 맞춤조절이 가능한 부스형 삼차원 촬영장치

Similar Documents

Publication Publication Date Title
CN103493484B (zh) 成像装置和成像方法
JP4657313B2 (ja) 立体画像表示装置および方法並びにプログラム
JP6849430B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10178299B2 (en) Control device and control method
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN103370943B (zh) 成像装置和成像方法
JP5464279B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JP2013005259A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5942195B2 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
JPWO2013038863A1 (ja) 単眼立体撮影装置、撮影方法及びプログラム
US20140176686A1 (en) Image processing device, image capturing apparatus, and method for adjusting disparity amount
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JP2015213299A (ja) 画像処理装置および画像処理方法
JP6611531B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
KR101219859B1 (ko) 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법
CN104756493A (zh) 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
US9369699B2 (en) Stereoscopic image display device, stereoscopic imaging device, and methods
JP2016039613A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2012257105A (ja) 立体画像取得装置
CN107155102A (zh) 3d自动对焦显示方法及其系统
US9124866B2 (en) Image output device, method, and recording medium therefor
JP5546690B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置
KR101345971B1 (ko) 입체영상촬영장치에서의 주시각 제어장치
JP5351878B2 (ja) 立体画像表示装置および方法並びにプログラム
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181004

Year of fee payment: 6

R401 Registration of restoration
LAPS Lapse due to unpaid annual fee