KR101201160B1 - 3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법 - Google Patents

3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법 Download PDF

Info

Publication number
KR101201160B1
KR101201160B1 KR1020110016349A KR20110016349A KR101201160B1 KR 101201160 B1 KR101201160 B1 KR 101201160B1 KR 1020110016349 A KR1020110016349 A KR 1020110016349A KR 20110016349 A KR20110016349 A KR 20110016349A KR 101201160 B1 KR101201160 B1 KR 101201160B1
Authority
KR
South Korea
Prior art keywords
center point
subject
depth map
image frame
camera
Prior art date
Application number
KR1020110016349A
Other languages
English (en)
Other versions
KR20120097035A (ko
Inventor
조준동
박찬오
김종학
함헌호
김정훈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020110016349A priority Critical patent/KR101201160B1/ko
Publication of KR20120097035A publication Critical patent/KR20120097035A/ko
Application granted granted Critical
Publication of KR101201160B1 publication Critical patent/KR101201160B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 3D 카메라에서의 자동 주시각 제어 장치(100)는 3D 카메라에서 촬영된 영상에 대한 깊이 맵(Depth Map) 이미지를 생성하는 깊이 맵 생성부(110), 깊이 맵 생성부(110)에서 생성된 깊이 맵 이미지에서 자동 주시각 제어 대상인 피사체를 선택하는 피사체 선택부(120), 초기 영상 프레임(d)과 완료 영상 프레임(d+2)에서 선택된 피사체의 중심점(Centroid)을 검출하는 중심점 검출부(130), 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이의 예측 영상 프레임(d+1)에서 선택된 피사체의 중심점 위치를 분석하는 중심점 예측부(140) 및 중심점 예측부(140)에서 분석된 중심점 위치를 이용하여 초기 영상 프레임에서 완료 영상 프레임까지 주시각 제어를 수행하는 주시각 제어부(150)를 포함한다.

Description

3Ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법{APPARATUS AND METHOD FOR CONTROLLING AUTO CONVERGENCE IN 3D CAMERA}
본 발명은 3D 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법에 관한 것이다. 특히 본 발명은 깊이 맵에서 프레임 간 피사체의 포커스를 예측하여 자동 주시각을 제어하는 장치 및 방법에 관한 것이다.
일반적으로 입체 카메라(3D 카메라)는 특성이 동일한 두 대의 카메라를 배치하여 사람의 눈과 같이 좌우 양안 영상을 획득하게 된다. 이 경우, 카메라의 간격과 초점거리 및 관측물체의 위치에 따라 영상 평면에 나타나는 물체의 픽셀 좌표가 각기 다르게 표현된다. 이러한 차이를 시차(parallax)라고 한다. 사람의 눈은 물체를 관측하고자 할 경우 관측물체의 시차량이 0이 되도록 좌우 눈동자를 움직이며 물체를 관측한다. 이렇게 시차량을 조절하는 것을 주시각 제어(Vergence Control)라 한다.
자동 주시각 제어(Auto Convergence)가 되지 않는 카메라로부터 얻은 입체 영상을 관측자가 보게 될 경우에는 시차량이 매우 크게 나타나 심한 피로감을 느끼게 된다. 이러한 관측 피로를 줄이기 위해서는 관측물체의 위치 변화에 상관없이 일정한 시차가 유지되도록 좌우 카메라의 관측 방향을 제어하는 자동 주시각 제어 기능이 필수적이다.
그러나 기존의 자동 주시각 제어 시스템에서는 영상 사이즈가 커질수록 연산시간이 길어져 자동 주시각 제어를 위하여 획득하는 깊이 맵(Depth Map)의 프레임 수가 높아 실시간으로 구현하기가 매우 어려운 문제점이 있었다.
본 발명에 따른 3D 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법은 다음과 같은 해결과제를 목적으로 한다.
첫째, 3D 카메라에서 영상의 크기가 큰 경우에도 자동 주시각 제어가 실시간으로 수행되도록 하고자 한다.
둘째, 3D 카메라에서 실시간으로 주시각 제어를 수행하기 위한 피사체의 움직임을 예측하고자 한다.
셋째, 3D 카메라에서 촬영된 영상의 크기가 큰 경우에도 피사체가 실시간으로 동작하는 하는 것처럼 보이도록 하고자 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
본 발명에 따른 3D 카메라에서의 자동 주시각 제어 장치는 3D 카메라에서 촬영된 영상에 대한 깊이 맵(Depth Map) 이미지를 생성하는 깊이 맵 생성부, 깊이 맵 생성부에서 생성된 깊이 맵 이미지에서 자동 주시각 제어 대상인 피사체를 선택하는 피사체 선택부, 선택된 피사체의 중심점(Centroid)을 검출하는 중심점 검출부, 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이의 예측 영상 프레임(d+1)에서 선택된 피사체의 중심점 위치를 분석하는 중심점 예측부 및 중심점 예측부에서 분석된 중심점 위치를 이용하여 초기 영상 프레임에서 완료 영상 프레임까지 주시각 제어를 수행하는 주시각 제어부를 포함한다.
본 발명에 따른 깊이 맵 생성부는 2개의 카메라가 촬영한 이미지에서 발생한 편차 오차를 수정하는 편차 오차 수정부 및 편차 오차 수정부에서 오차가 수정된 이미지에서 2개의 카메라가 촬영한 이미지 간의 정합점을 찾아 깊이 맵 이미지를 생성하는 깊이 맵 이미지 생성부를 포함한다.
본 발명에 따른 깊이 맵 생성부는 깊이 맵 이미지 생성부에서 생성한 깊이 맵 이미지에서 노이즈를 제거하는 노이즈 제거부를 더 포함할 수 있다.
본 발명에 따른 피사체 선택부는 깊이 맵 이미지에 촬영된 객체의 거리정보 및 크기 정보를 이용하여, 크기가 가장 큰 객체 또는 프레임 간 이동 거리가 가장 큰 객체를 선택하는 것을 특징으로 한다.
본 발명에 따른 중심점 검출부는 ((E(x), E(y))로 표현되는 선택된 피사체의 중심점을 검출하는 것을 특징으로 한다.
Figure 112011013334303-pat00001
Figure 112011013334303-pat00002
여기서, x는 피사체를 구성하는 픽셀의 x좌표 값이고, y는 피사체를 구성하는 픽셀의 y 좌표값이며 N은 피사체를 구성하는 픽셀의 전체 수이다.
본 발명에 따른 중심점 예측부는 선형 필터, 2차 이상 필터 또는 칼만 필터 중 하나 이상을 사용하여 중심점의 위치를 분석하는 것을 특징으로 한다.
본 발명에 따른 3D 카메라에서 자동 주시각 제어가 수행되는 방법은 3D 카메라를 통해 촬영된 이미지가 깊이 맵 이미지로 변환되는 S1 단계, 깊이 맵(Depth Map) 이미지에서 자동 주시각 제어 대상인 피사체가 선택되는 S2 단계, 초기 영상 프레임(d)에서 선택된 피사체의 중심점(Centroid)이 검출되는 S3 단계, 3D 카메라에서 촬영된 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이의 예측 영상 프레임(d+1)에서 피사체의 중심점 위치가 분석되는 S4 단계 및 S3 단계에서 분석된 예측 영상 프레임에서의 중심점을 이용하여 초기 영상 프레임에서 완료 영상 프레임까지 주시각 제어가 수행되는 S5 단계를 포함한다.
본 발명에 따른 S1 단계는 2개의 카메라로 촬영된 이미지에서 발생한 편차 오차가 수정되는 S1-1 단계 및 S1-1 단계에서 편차 오차가 수정된 이미지에서 2개의 카메라가 촬영한 이미지 간 정합점을 찾아 깊이 맵이 작성되는 S1-2 단계를 포함한다.
본 발명에 따른 S1 단계는 S1-2 단계에 작성된 깊이 맵에서 노이즈가 제거되는 S1-3 단계를 더 포함할 수 있다.
본 발명에 따른 S2 단계는 깊이 맵 이미지에 촬영된 객체의 거리정보 및 크기 정보를 이용하여, 크기가 가장 큰 객체 또는 프레임 간 이동 거리가 가장 큰 객체가 선택되는 것을 특징으로 한다.
본 발명에 따른 S3 단계는 ((E(x), E(y))로 표현되는 선택된 피사체의 중심점을 검출하는 것을 특징으로 한다.
Figure 112011013334303-pat00003
Figure 112011013334303-pat00004
여기서, x는 피사체를 구성하는 픽셀의 x좌표 값이고, y는 피사체를 구성하는 픽셀의 y 좌표값이며 N은 피사체를 구성하는 픽셀의 전체 수이다.
본 발명에 따른 S4 단계는 선형 필터, 2차 이상 필터 또는 칼만 필터 중 하나 이상을 사용하여 중심점의 위치가 분석되는 것을 특징으로 한다.
본 발명에 따른 S4 단계는 전 단계 프레임(d-1)에서 검출된 중심점과 초기 영상 프레임(d)에서 검출된 중심점을 이용하여 예측 영상 프레임(d+1)에서 피사체의 중심점 위치가 분석되는 것을 특징으로 한다.
본 발명에 따른 3D 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법은 다음과 같은 효과를 갖는다.
첫째, 3D 카메라에서 촬영된 영상의 크기가 크더라도 현재의 시스템으로도 피사체가 매끄럽게 동작가능하다.
둘째, 3D 카메라에서 촬영된 영상의 크기가 크기 때문에 깊이 맵의 프레임 수가 낮은 경우라도, 피사체의 프레임 간 움직임을 예측하여 주시각 제어가 수행된다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 3D 카메라에서의 자동 주시각 제어 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명에 따른 깊이 맵에서 피사체를 표시한 도면의 일 예이다.
도 3은 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이에 예측 영상 프레임(d+1)의 중심점 위치를 분석하는 예를 도시한 도면이다.
도 4는 본 발명에 따른 3D 카메라에서 자동 주시각 제어가 수행되는 방법의 순서를 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
이하에서는 도면을 참조하면서 3D 카메라에서의 자동 주시각 제어 장치(100) 및 자동 주시각 제어가 수행되는 방법에 관하여 구체적으로 설명하겠다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 본 발명의 무선 전력 전송 장치 따른 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 도 1과는 상이해질 수 있음을 명확히 밝혀둔다.
도 1은 본 발명에 따른 3D 카메라에서의 자동 주시각 제어 장치(100)의 구성을 개략적으로 도시한 블록도이다.
본 발명에 따른 3D 카메라에서의 자동 주시각 제어 장치(100)는 3D 카메라에서 촬영된 영상에 대한 깊이 맵(Depth Map) 이미지를 생성하는 깊이 맵 생성부(110), 깊이 맵 생성부(110)에서 생성된 깊이 맵 이미지에서 자동 주시각 제어 대상인 피사체를 선택하는 피사체 선택부(120), 초기 영상 프레임(d)과 완료 영상 프레임(d+2)에서 선택된 피사체의 중심점(Centroid)을 검출하는 중심점 검출부(130), 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이의 예측 영상 프레임(d+1)에서 선택된 피사체의 중심점 위치를 분석하는 중심점 예측부(140) 및 중심점 예측부(140)에서 분석된 중심점 위치를 이용하여 초기 영상 프레임에서 완료 영상 프레임까지 주시각 제어를 수행하는 주시각 제어부(150)를 포함한다.
깊이 맵 생성부(110)에서 생성되는 깊이 맵은 촬영된 객체(대상)에 대한 거리 정보를 갖고 있다. 즉 촬영에 사용된 카메라로부터 어떤 위치에 있는지에 대한 정보를 갖고 있다.
깊이 맵 생성부(110)는 2개의 카메라가 촬영한 이미지에서 발생한 편차 오차를 수정하는 편차 오차 수정부(111) 및 편차 오차 수정부(111)에서 오차가 수정된 이미지에서 2개의 카메라가 촬영한 이미지 간의 정합점을 찾아 깊이 맵 이미지를 생성하는 깊이 맵 이미지 생성부(112)를 포함한다.
한편 깊이 맵 생성부(110)는 깊이 맵 이미지 생성부(112)에서 생성한 깊이 맵 이미지에서 노이즈를 제거하는 노이즈 제거부(113)를 더 포함하는 것이 바람직하다. 노이즈 제거는 해당분야의 통상의 지식을 가진 자가 알고 있는 다양한 방법이 사용될 수 있다.
피사체 선택부(120)는 깊이 맵 이미지에 촬영된 객체의 거리정보 및 크기 정보를 이용하여, 크기가 가장 큰 객체 또는 프레임 간 이동 거리가 가장 큰 객체를 선택할 수 있다. 또는 3D 카메라로 촬영된 객체 중 특정한 피사체를 촬영자 또는 사용자가 임의로 선택할 수도 있다.
도 2는 본 발명에 따른 깊이 맵에서 피사체를 표시한 도면의 일 예이다. 도 2에서 선택된 피사체는 깊이 맵 중심 근처에 있는 사람이다. 좌측 상단의 이미지 원점은 상대적 위치를 파악하기 위해 필요한 것이다.
중심점 검출부(130)는 ((E(x), E(y))로 표현되는 선택된 피사체의 중심점을 검출한다. 피사체의 중심점은 아래의 수학식 1로 표현될 수 있다. 도 2에서는 선택된 사람의 중심점이 도시되어 있다. 피사체를 구성하는 픽셀의 중심점에 해당한다.
Figure 112011013334303-pat00005
Figure 112011013334303-pat00006
여기서, x는 피사체를 구성하는 픽셀의 x좌표 값이고, y는 피사체를 구성하는 픽셀의 y 좌표값이며 N은 피사체를 구성하는 픽셀의 전체의 수이다.
본 발명에서 가장 핵심적인 구성 중 하나는 중심점을 예측하는 구성이다. 중심점 예측부(140)는 선형 필터, 2차 이상 필터 또는 칼만 필터 중 하나 이상을 사용하여 중심점의 위치를 분석한다.
도 3은 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이에 예측 영상 프레임(d+1)의 중심점 위치를 분석하는 예를 도시한 도면이다.
본 발명에서 중심점을 예측하는 것은 2개 이상의 중심점 정보가 필요하다. 초기 영상 프레임이 현재의 프레임이라고 하면, 깊이 맵이 완료되는 시점의 프레임을 완료 영상 프레임이라고 한다. 이 사이에 중심점의 위치를 예측하고자 하는 프레임을 예측 영상 프레임이라고 한다.
2개 이상의 중심점으로 이동할 위치를 예측하여 예측되는 중심점으로 자동 주시각을 조절하게 되는데 여기서 피사체가 움직이게 될 경우, 도 3과 같이 중심점은 직선과 같은 궤적을 그리게 된다.
dt가 현재의 프레임 이라고 가정을 하면, dt의 시각으로부터 깊이 맵을 완료하는 시점이 dt+2 라고 한다면 dt+1 에서는 포커스를 어디에 맞추어야 할지 정보가 없게 된다. 따라서 dt의 포커스를 유지하게 되고 사용자의 입장에서는 포커스가 잠시 멈추어 있거나 끊기는 것처럼 보이게 된다.
본 발명은 이 문제를 해결하기 위해 중심점의 위치를 통해 선형 필터, 2차 이상 필터, 칼만 필터, 파티클 필터 등으로 dt+1의 위치를 예측하여 포커스를 맞추게 하고, 이후 dt+2가 계산되어 다음 포커스 위치가 나오기 전까지 실시간처럼 보이도록 동작이 가능하다. 주시각 제어부가 초기 영상 프레임 및 완료 영상 프레임의 중심점 위치를 이용하여 자동 주시각 제어를 수행하는 것이다.
선형 필터를 이용한 예측은 y = ax+b 로 표현되는 예측으로써 비례상수(또는 기을기) a와 offset b를 이용해 y의 값을 예측하는 것입니다. 전 단계 프레임(d-1)에서 중심점은 이미 검출되었고, 이 d-1 프레임의 중심점과 현재 검출된 초기 영상 프레임(d)의 중심점의 기울기로부터 a 값을 획득할 수 있고, b의 값 또한 추출이 가능하다.
이렇게 방정식의 파라메터를 구한 후에 x에 d+1을 대입하면 예측 영상 프레임(d+1)의 중심점 예측이 가능하고, 실제 깊이 맵을 통해 중심점이 검출되는 완료 영상 프레임(d+2)이 나오기 전에 d+1에서 주시각 제어를 어떻게 수행할지 결정이 가능하다.
설명의 편의를 위해 1차 방정식으로 설명했지만, 실제 2차원 평면에서 진행되므로 실제 선형 예측에 대한 식은 아래의 수학식 2와 같이 표현된다.
Figure 112011013334303-pat00007
나아가 방정식 차수에 따라 n차 예측이 가능하다. 만약 2차라면 y = ax^2 + bx +c 가 된다. 1차 선형 예측에서는 중심점 2개, 즉 d-1, d의 중심점이 필요하지만 n차에서는 n+1개의 점이 필요하다. 차수가 올라갈수록 정교한 곡선을 예측이 가능하므로 선형으로만 예측되는 1차 예측에 비해 정밀하다.
이러한 개념에 확률과정을 넣어 오차를 예상한 더욱 정밀한 예측을 가능하게 한 것이 칼만 필터이고, 칼만 필터에서 비선형 예측을 가능하게 해준 것이 파티클 필터이다. 해당 분야의 통상의 지식을 가진 자가 대체 사용할 수 있는 다양한 알고리즘이 사용될 수 있는 것은 자명하다.
이하 본 본 발명에 따른 3D 카메라에서 자동 주시각 제어가 수행되는 방법에 대해 설명하고자 한다. 전술한 3D 카메라에서의 자동 주시각 제어 장치(100)와 중복되는 내용은 간략하게 설명한다.
도 4는 본 발명에 따른 3D 카메라에서 자동 주시각 제어가 수행되는 방법의 순서를 도시한 순서도이다.
본 발명에 따른 3D 카메라에서 자동 주시각 제어가 수행되는 방법은 3D 카메라를 통해 촬영된 이미지가 깊이 맵 이미지로 변환되는 S1 단계, 깊이 맵(Depth Map) 이미지에서 자동 주시각 제어 대상인 피사체가 선택되는 S2 단계, 초기 영상 프레임(d)과 완료 영상 프레임(d+2)에서 선택된 피사체의 중심점(Centroid)이 검출되는 S3 단계, 3D 카메라에서 촬영된 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이의 예측 영상 프레임(d+1)에서 피사체의 중심점 위치가 분석되는 S4 단계 및 S3 단계에서 분석된 예측 영상 프레임에서의 중심점을 이용하여 초기 영상 프레임에서 완료 영상 프레임까지 주시각 제어가 수행되는 S5 단계를 포함한다.
S1 단계는 2개의 카메라로 촬영된 이미지에서 발생한 편차 오차가 수정되는 S1-1 단계 및 S1-1 단계에서 편차 오차가 수정된 이미지에서 2개의 카메라가 촬영한 이미지 간 정합점을 찾아 깊이 맵이 작성되는 S1-2 단계를 포함한다.
S1 단계는 S1-2 단계에 작성된 깊이 맵에서 노이즈가 제거되는 S1-3 단계를 더 포함하는 것이 바람직하다.
S2 단계는 깊이 맵 이미지에 촬영된 객체의 거리정보 및 크기 정보를 이용하여, 크기가 가장 큰 객체 또는 프레임 간 이동 거리가 가장 큰 객체가 피사체로 선택될 수 있다. 물론 사용자가 임의로 피사체를 선택할 수도 있음은 전술한 바와 같다.
S3 단계는 상기 수학식 1의 ((E(x), E(y))로 표현되는 선택된 피사체의 중심점을 검출한다.
S4 단계는 선형 필터, 2차 이상 필터 또는 칼만 필터 중 하나 이상을 사용하여 중심점의 위치가 분석된다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 자동 주시각 제어 장치 110 : 깊이 맵 생성부
111 : 편차 오차 수정부 112 : 깊이 맵 이미지 생성부
113 : 노이즈 제거부 120 : 피사체 선택부
130 : 중심점 검출부 140 : 중심점 예측부
150 : 주시각 제어부

Claims (13)

  1. 3D 카메라에서 촬영된 영상에 대한 깊이 맵(Depth Map) 이미지를 생성하는 깊이 맵 생성부;
    상기 깊이 맵 생성부에서 생성된 깊이 맵 이미지에서 자동 주시각 제어 대상인 피사체를 선택하는 피사체 선택부;
    상기 선택된 피사체의 중심점(Centroid)을 검출하는 중심점 검출부;
    초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이의 예측 영상 프레임(d+1)에서 상기 선택된 피사체의 중심점 위치를 분석하는 중심점 예측부; 및
    상기 중심점 예측부에서 분석된 중심점 위치를 이용하여 상기 초기 영상 프레임에서 상기 완료 영상 프레임까지 주시각 제어를 수행하는 주시각 제어부를 포함하되,
    상기 피사체 선택부는 상기 깊이 맵 이미지에 촬영된 객체의 거리정보 및 크기 정보를 이용하여, 크기가 가장 큰 객체 또는 프레임 간 이동 거리가 가장 큰 객체를 선택하는 것을 특징으로 하는 3D 카메라에서의 자동 주시각 제어 장치.
  2. 제1항에 있어서,
    상기 깊이 맵 생성부는
    2개의 카메라가 촬영한 이미지에서 발생한 편차 오차를 수정하는 편차 오차 수정부; 및
    상기 편차 오차 수정부에서 오차가 수정된 이미지에서 2개의 카메라가 촬영한 이미지 간의 정합점을 찾아 깊이 맵 이미지를 생성하는 깊이 맵 이미지 생성부를 포함하는 것을 특징으로 하는 3D 카메라에서의 자동 주시각 제어 장치.
  3. 제2항에 있어서,
    상기 깊이 맵 생성부는
    상기 깊이 맵 이미지 생성부에서 생성한 깊이 맵 이미지에서 노이즈를 제거하는 노이즈 제거부를 더 포함하는 것을 특징으로 하는 3D 카메라에서의 자동 주시각 제어 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 중심점 검출부는 ((E(x), E(y))로 표현되는 상기 선택된 피사체의 중심점을 검출하는 것을 특징으로 하는 3D 카메라에서의 자동 주시각 제어 장치.
    Figure 112011013334303-pat00008

    Figure 112011013334303-pat00009

    (여기서, x는 피사체를 구성하는 픽셀의 x좌표 값이고, y는 피사체를 구성하는 픽셀의 y 좌표값이며 N은 피사체를 구성하는 픽셀의 전체 수임)
  6. 제1항에 있어서,
    상기 중심점 예측부는 선형 필터, 2차 이상 필터, 칼만 필터 또는 파티클 필터 중 하나 이상을 사용하여 중심점의 위치를 분석하는 것을 특징으로 하는 3D 카메라에서의 자동 주시각 제어 장치.
  7. 3D 카메라에서 자동 주시각 제어가 수행되는 방법에 있어서,
    3D 카메라를 통해 촬영된 이미지가 깊이 맵 이미지로 변환되는 S1 단계;
    상기 깊이 맵(Depth Map) 이미지에서 자동 주시각 제어 대상인 피사체가 선택되는 S2 단계;
    초기 영상 프레임(d)에서 상기 선택된 피사체의 중심점(Centroid)이 검출되는 S3 단계;
    상기 3D 카메라에서 촬영된 초기 영상 프레임(d)과 완료 영상 프레임(d+2) 사이의 예측 영상 프레임(d+1)에서 상기 피사체의 중심점 위치가 분석되는 S4 단계; 및
    상기 S3 단계에서 분석된 예측 영상 프레임에서의 중심점을 이용하여 상기 초기 영상 프레임에서 상기 완료 영상 프레임까지 주시각 제어가 수행되는 S5 단계를 포함하되,
    상기 S2 단계는
    상기 깊이 맵 이미지에 촬영된 객체의 거리정보 및 크기 정보를 이용하여, 크기가 가장 큰 객체 또는 프레임 간 이동 거리가 가장 큰 객체가 선택되는 것을 특징으로 하는 3D 카메라에서 자동 주시각 제어가 수행되는 방법.
  8. 제7항에 있어서,
    상기 S1 단계는
    2개의 카메라로 촬영된 이미지에서 발생한 편차 오차가 수정되는 S1-1 단계; 및
    상기 S1-1 단계에서 편차 오차가 수정된 이미지에서 2개의 카메라가 촬영한 이미지 간 정합점을 찾아 깊이 맵이 작성되는 S1-2 단계를 포함하는 것을 특징으로 하는 3D 카메라에서 자동 주시각 제어가 수행되는 방법.
  9. 제8항에 있어서,
    상기 S1 단계는
    상기 S1-2 단계에 작성된 깊이 맵에서 노이즈가 제거되는 S1-3 단계를 더 포함하는 것을 특징으로 하는 3D 카메라에서 자동 주시각 제어가 수행되는 방법.
  10. 삭제
  11. 제7항에 있어서,
    상기 S3 단계는
    ((E(x), E(y))로 표현되는 상기 선택된 피사체의 중심점을 검출하는 것을 특징으로 하는 3D 카메라에서 자동 주시각 제어가 수행되는 방법.
    Figure 112011013334303-pat00010

    Figure 112011013334303-pat00011

    (여기서, x는 피사체를 구성하는 픽셀의 x좌표 값이고, y는 피사체를 구성하는 픽셀의 y 좌표값이며 N은 피사체를 구성하는 픽셀의 전체 수임)
  12. 제7항에 있어서,
    상기 S4 단계는
    선형 필터, 2차 이상 필터, 칼만 필터 또는 파티클 필터 중 하나 이상을 사용하여 중심점의 위치가 분석되는 것을 특징으로 하는 3D 카메라에서 자동 주시각 제어가 수행되는 방법.
  13. 제7항 또는 12항에 있어서,
    상기 S4 단계는
    전 단계 프레임(d-1)에서 검출된 중심점과 상기 초기 영상 프레임(d)에서 검출된 중심점을 이용하여 상기 예측 영상 프레임(d+1)에서 피사체의 중심점 위치가 분석되는 것을 특징으로 하는 3D 카메라에서 자동 주시각 제어가 수행되는 방법.
KR1020110016349A 2011-02-24 2011-02-24 3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법 KR101201160B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110016349A KR101201160B1 (ko) 2011-02-24 2011-02-24 3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110016349A KR101201160B1 (ko) 2011-02-24 2011-02-24 3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법

Publications (2)

Publication Number Publication Date
KR20120097035A KR20120097035A (ko) 2012-09-03
KR101201160B1 true KR101201160B1 (ko) 2012-11-13

Family

ID=47108450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110016349A KR101201160B1 (ko) 2011-02-24 2011-02-24 3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법

Country Status (1)

Country Link
KR (1) KR101201160B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102322354B1 (ko) * 2019-12-12 2021-11-05 한국과학기술원 자동으로 카메라워크를 생성하는 영상 처리 방법 및 장치
KR102339339B1 (ko) * 2020-12-30 2021-12-15 (주)해양정보기술 월파의 부피 산정 방법
KR102578057B1 (ko) * 2021-11-24 2023-09-13 주식회사 지에프티 입체 카메라의 주시점 자동 제어방법 및 이를 이용하는 입체 카메라 시스템

Also Published As

Publication number Publication date
KR20120097035A (ko) 2012-09-03

Similar Documents

Publication Publication Date Title
EP3414742B1 (en) Optimized object scanning using sensor fusion
JP5625976B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
US20120194905A1 (en) Image display apparatus and image display method
CN105100596B (zh) 相机设备和使用相机设备跟踪对象的方法
KR101737087B1 (ko) 카메라 시선 방향 보상을 통한 비디오 안정화 방법 및 장치
US9807310B2 (en) Field display system, field display method, and field display program
KR100793077B1 (ko) 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법
KR101201160B1 (ko) 3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법
KR101270025B1 (ko) 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
JP2014126612A5 (ko)
EP2512146A1 (en) 3-d video processing device and 3-d video processing method
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
US10567656B2 (en) Medical observation device, information processing method, program, and video microscope device
JP4977278B1 (ja) 画像処理装置、立体画像表示装置および画像処理方法
US20180045934A1 (en) Medical observation device, lens driving control device, lens driving control method, program, and video microscope device
US9143761B2 (en) Image processing device, image processing method, recording medium, and imaging device
KR101219859B1 (ko) 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법
JP2018507448A (ja) スマートデバイスに基づく体感制御の実現方法、システム及びスマートデバイス
US10359616B2 (en) Microscope system. method and computer-readable storage device storing instructions for generating joined images
KR101345971B1 (ko) 입체영상촬영장치에서의 주시각 제어장치
JP2014241473A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
KR20130019582A (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
JP5610579B2 (ja) ３次元寸法測定装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151109

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee