KR20150004989A - 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법 - Google Patents

삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법 Download PDF

Info

Publication number
KR20150004989A
KR20150004989A KR20130077956A KR20130077956A KR20150004989A KR 20150004989 A KR20150004989 A KR 20150004989A KR 20130077956 A KR20130077956 A KR 20130077956A KR 20130077956 A KR20130077956 A KR 20130077956A KR 20150004989 A KR20150004989 A KR 20150004989A
Authority
KR
South Korea
Prior art keywords
image
images
binocular
camera
rgb
Prior art date
Application number
KR20130077956A
Other languages
English (en)
Inventor
김낙우
손승철
김재인
이병탁
김영선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20130077956A priority Critical patent/KR20150004989A/ko
Priority to US14/306,136 priority patent/US20150009295A1/en
Publication of KR20150004989A publication Critical patent/KR20150004989A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

적외선 센서 기반 카메라 및 양안식 카메라를 결합하여 근접 접사 촬영 및 원거리 촬영을 동시에 수행하면서도, 깊이 기반의 삼차원 영상을 처리하도록 한 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법이 제시된다. 제시된 삼차원 영상 획득 장치는 복수의 카메라를 통해 양안식 영상들을 촬영하고, 적외선 센서를 기반으로 RGB 영상 및 깊이 영상을 촬영하는 촬영 수단; 및 촬영 수단에서 촬영된 깊이 영상의 사용 여부를 근거로 양안식 영상들과 RGB 영상 중에 적어도 한쌍의 영상을 보정하여 사용자에게 제공될 영상을 획득하는 영상 획득 수단을 포함한다.

Description

삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법{APPARATUS FOR ACQUIRING 3D IMAGE AND IMAGE PROCESSING METHOD USING THE SAME}
본 발명은 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법에 관한 것으로, 더욱 상세하게는 적외선 센서 기반 카메라 모듈과 양안식 카메라 모듈을 통해 촬영된 영상들을 이용하여 사용자에게 삼차원 영상을 제공하는 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법에 대한 것이다.
최근 삼차원 입체 영상을 이용하여 다양한 서비스를 제공하는 다양한 응용 프로그램 및 장치들이 개발되고 있다. 이때, 삼차원 입체 영상은 적외선 센서 기반 카메라 또는 양안식 카메라를 통해 촬영된다.
적외선 센서 장치를 기반으로 한 일례로는, 미국등록특허 제8,123,622호(명칭: Lens accessory for video game sensor device)에서 언급하고 있는 마이크로소프트사의 키넥트(Kinect), 아수스사(ASUS)의 Xtion 등이 있다. 이러한 적외선 센서 기반의 응용 프로그램은 기존의 고가 LIDAR 장치의 영역을 빠르게 대체하고 있으며 특히 실내 및 야간 환경에서의 깊이 영상 취득에 있어 매우 강건한 특성이 있다.
그러나, 실외 환경에 있어서는 태양광으로 인한 적외선 센서의 한계가 있어, 밝은 실외 환경에서는 여전히 LIDAR 장치나 양안식 카메라 장치 등이 폭넓게 활용되고 있다.
양안식 카메라 장치는 다양한 카메라 지지대 장치 및 연계된 이미지처리장치 등의 등장으로 사용자가 수동으로 주시각 및 초점거리 등을 제어하던 재래의 환경에서 벗어나 점차로 자동화되고 있다. 일례로, 한국등록특허 제10-0972572호(명칭: 양안식 입체영상 카메라 장치 및 그 카메라 장착 장치)에서는 두 대의 양안식 카메라를 이용하여 고화질의 3차원 입체영상을 획득하는 기술을 언급하고 있다.
그러나, 양안식 카메라 장치는 원거리 촬용을 위해서는 수평식 카메라 지지대를, 근접 접사 촬영을 위해서는 직교식 카메라 지지대를 사용해야 하는 등 관심 객체와의 거리에 따라 지지대를 달리해서 촬영해야하고, 대상 객체의 깊이 영상을 추출할 때는 두 개의 RGB 스테레오 영상 간 디스패리티(disparity) 만을 정보로 이용해야 하는 등의 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 적외선 센서 기반 카메라 및 양안식 카메라를 결합하여 근접 접사 촬영 및 원거리 촬영을 동시에 수행하면서도, 깊이 기반의 삼차원 영상을 처리하도록 한 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법을 제공하는 것을 목적으로 한다.
즉, 본 발명은 하이브리드 기반으로 적외선 센서 장치와 양안식 카메라 장치를 결합하여, 상면과 하면을 갖는 하나의 카메라 지지대 장치 위에 적외선 센서 장치와 양안식 카메라 장치를 각각 교정, 설치하고, 적외선 센서 장치에서의 깊이 영상/RGB영상과 양안식 카메라 장치에서의 두 RGB영상 간의 상호 특징점 매칭을 통해 근접 촬영용 영상 및 원거리 촬영용 영상을 실시간으로 교차 선택가능 하도록 하고, 실내/실외 촬영 시 자동으로 현장 촬영에 적합한 카메라를 선택하는 등의 방법을 제공한다.
본 발명은 기존의 삼차원 촬영용 카메라 장착 지지대가 스테레오 영상 및 적외선 영상 취득에 있어 독립적으로 운용되던 방식에서 벗어나, 상면과 하면의 지지대 통합·구축하여 동시에 다른 종류의 삼차원 영상을 획득하기 위한 새로운 형태의 카메라 장착용 지지대를 제공하는 것을 다른 목적으로 한다.
본 발명은 한 면에는 양안식 카메라를 장착하고, 다른 면에는 적외선센서 장치를 장착하여 자동적으로 깊이 기반의 삼차원 영상 및 양안식 기반의 삼차원 영상을 동시에 제공하도록 한 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법을 제공하는 것을 다른 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 삼차원 영상 획득 장치는, 복수의 카메라를 통해 양안식 영상들을 촬영하고, 적외선 센서를 기반으로 RGB 영상 및 깊이 영상을 촬영하는 촬영 수단; 및 촬영 수단에서 촬영된 깊이 영상의 사용 여부를 근거로 양안식 영상들과 RGB 영상 중에 적어도 한쌍의 영상을 보정하여 사용자에게 제공될 영상을 획득하는 영상 획득 수단을 포함한다.
촬영 수단은, 제1지지대; 제1지지대의 일면에 배치되어 양안식 영상을 촬영하는 제1양안식 카메라; 제1지지대의 일면에 제1양안식 카메라와 이격 배치되어 양안식 영상을 촬영하는 제2양안식 카메라; 제1지지대의 타면에 일면이 결합되는 제2지지대; 및 제2지지대의 타면에 배치되어, 깊이 영상 및 RGB 영상을 촬영하는 적외선 센서 기반 카메라를 포함한다.
양안식 카메라 모듈은, 일측이 제1양안식 카메라에 연결되고, 타측이 영상 획득 수단에 연결되어, 제1양안식 카메라에서 촬영된 영상을 영상 획득 수단으로 전송하는 제1영상 케이블; 및 일측이 제2양안식 카메라에 연결되고, 타측이 영상 획득 수단에 연결되어, 제2양안식 카메라에서 촬영된 영상을 영상 획득 수단으로 전송하는 제2영상 케이블을 더 포함한다.
양안식 카메라 모듈은, 영상 획득 수단으로부터 파라미터를 수신하는 제1통신 케이블; 제1지지대의 일면에 배치되어, 제1통신 케이블에서 수신된 파라미터를 근거로 제1양안식 카메라를 이동 및 회전시키는 제1샤프트; 및 제1지지대의 일면에 배치되어, 제1통신 케이블에서 수신된 파라미터를 근거로 제2양안식 카메라를 이동 및 회전시키는 제2샤프트를 더 포함한다.
적외선 센서 기반 카메라 모듈은, 일측이 적외선 센서 기반 카메라에 연결되고, 타측이 영상 획득 수단에 연결되어, 적외선 센서 기반 카메라에서 촬영된 깊이 영상 및 RGB 영상을 영상 획득 수단으로 전송하는 제3영상 케이블을 더 포함한다.
적외선 센서 기반 카메라 모듈은, 영상 획득 수단으로부터 파라미터를 수신하는 제3통신 케이블; 및 제2지지대의 타면에 배치되어, 제3통신 케이블에서 수신된 파라미터를 근거로 적외선 센서 기반 카메라를 이동 및 회전시키는 제3샤프트를 포함한다.
제1양안식 카메라와 제2양안식 카메라 간의 간격은 제1양안식 카메라와 적외선 센서 기반 카메라 모듈의 RGB 센서 간의 간격보다 넓게 형성된다.
제1양안식 카메라와 제2양안식 카메라 사이의 광축은 직선상에 배치되고, 제1양안식 카메라와 적외선 센서 기반 카메라의 RGB 센서 사이의 광축은 직선상에 배치되고, 제1양안식 카메라와 제2양안식 카메라 사이의 광축과, 제1양안식 카메라와 RGB 센서 사이의 광축은 직교한다.
영상 획득 수단은, 촬영 수단으로부터 전송받은 깊이 영상의 사용 여부를 근거로 촬영 수단으로부터 전송받은 RGB 영상들 중에서 2개의 RGB 영상을 상호간 보정하고, 보정된 RGB 영상 및 깊이 영상을 근거로 변위 맵을 산출하고, 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 영상 분석부; 및 영상 매칭표를 근거로 사용자에게 제공될 영상을 선택하는 영상 선택부를 포함한다.
영상 분석부는, 촬영 수단에서 촬영된 깊이 영상의 정보량을 근거로 깊이 영상의 사용 여부를 판단한다.
영상 분석부는, 깊이 영상의 사용으로 판단시 양안식 카메라 모듈에서 촬영된 양안식 영상들, 또는 양안식 카메라 모듈에서 촬영된 양안식 영상들 중 어느 하나와 적외선 기반 카메라 모듈에서 촬영된 RGB 영상을 상호간 보정하고, 보정된 영상들 상호간 얼라이먼트 일치 여부를 근거로 해당 영상들의 사용 여부를 판단하여 변위 맵을 산출하고, 산출한 변위 맵을 근거로 영상 매칭표를 생성한다.
영상 분석부는, 깊이 영상의 사용으로 판단시 양안식 카메라 모듈에서 촬영된 양안식 영상들, 또는 양안식 카메라 모듈에서 촬영된 양안식 영상들 중 어느 하나와 적외선 기반 카메라 모듈에서 촬영된 RGB 영상을 상호간 보정하고, 깊이 영상으로부터 검출한 깊이 정보를 근거로 영상들 내의 객체간 특징점을 매칭하여 변위 맵을 산출하고, 산출한 변위 맵을 근거로 영상 매칭표를 생성한다.
영상 선택부는, 3D 영상 표시 장치롤부터 입력된 영상 조합 선택 정보에 포함된 영상들을 근거로 파라미터값을 산출하고, 영상 획득 수단은, 영상 선택부에서 검출한 파라미터값을 양안식 카메라 모듈 및 적외선 센서 기반 카메라 모듈로 전송하여 양안식 카메라 모듈 및 적외선 센서 기반 카메라 모듈을 조정하는 파라미터 조정부를 더 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 삼차원 영상 획득 장치를 이용한 영상 처리 방법은, 촬영 수단에 의해, 복수의 양안식 카메라를 통해 양안식 영상들을 촬영하고, 적외선 센서 기반 카메라를 통해 RGB 영상 및 깊이 영상을 촬영하는 단계; 영상 획득 수단에 의해, 촬영된 양안식 영상과 RGB 영상 및 깊이 영상을 분석하여, 사용자에게 제공될 영상을 검출하는 단계; 및 영상 획득 수단에 의해, 검출한 영상들을 3D 영상 표시 장치로 전송하는 단계를 포함한다.
촬영하는 단계는, 촬영 수단에 의해, 2개의 양안식 영상을 촬영하는 단계; 촬영 수단에 의해, RGB 영상 및 깊이 영상을 촬영하는 단계; 및 촬영 수단에 의해, 촬영된 2개의 양안식 영상과 RGB 영상 및 깊이 영상을 영상 획득 수단으로 전송하는 단계를 포함한다.
검출하는 단계는, 영상 획득 수단에 의해, 촬영 수단으로부터 전송받은 깊이 영상의 사용 여부를 판단하는 단계를 포함하되, 판단하는 단계에서는, 깊이 영상의 정보량을 근거로 깊이 영상의 사용 여부를 판단한다.
검출하는 단계는, 판단하는 단계에서 깊이 영상의 사용으로 판단하면, 영상 획득 수단에 의해, 양안식 영상들 및 RGB 영상 중에서 2개의 영상을 상호간 보정하는 단계; 영상 획득 수단에 의해, 깊이 영상으로부터 검출한 깊이 정보를 근거로 영상 내의 객체간 특징점을 매칭하는 단계; 및 영상 획득 수단에 의해, 매칭된 객체간 특징점으로부터 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 단계를 포함한다.
검출하는 단계는, 판단하는 단계에서 깊이 영상의 사용하지 않는 것으로 판단하면, 영상 획득 수단에 의해, 양안식 영상들 및 RGB 영상 중에서 2개의 영상을 상호간 보정하는 단계; 영상 획득 수단에 의해, 보정된 영상들 상호간 얼라이먼트 일치 여부를 근거로 해당 영상들의 사용 여부를 판단하여 변위 맵을 산출하는 단계; 및 영상 획득 수단에 의해, 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 단계를 포함한다.
영상 획득 수단에 의해, 복수의 양안식 카메라 및 적외선 센서 기반 카메라를 보정하는 단계를 더 포함한다.
보정하는 단계는, 영상 획득 수단에 의해, 3D 영상 표시 장치로부터 영상 조합 선택 정보를 입력받는 단계; 영상 획득 수단에 의해, 입력된 영상 조합 선택 정보에 포함된 영상들로부터 복수의 양안식 카메라 및 적외선 센서 기반 카메라의 보정을 위한 파라미터값을 검출하는 단계; 및 영상 획득 수단에 의해, 검출한 파라미터값을 촬영 수단에게로 전송하는 단계를 포함한다.
본 발명에 의하면, 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법은 종래의 적외선 센서 장치나 양안식 카메라 장치 단독 사용에서 오는 한계를 개선하기 위해, 두 개의 서로 다른 카메라 장치를 하나의 지지대 위에 통합하여 구현함으로써, 고가의 LIDAR 장비를 사용하지 않고, 저렴한 가격의 적외선 센서 장치와 양안식 카메라 장치를 이용하여 고화질의 깊이 기반 영상 모델링 시스템을 구현할 수 있는 효과가 있다.
또한, 종래의 양안식 기반의 카메라 장치는 관심 객체의 거리에 따라 직교식 혹은 평행식 지지대를 이용해야하는 문제점이 있으나, 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법은 직교식 및 평행식 지지대를 동시에 사용하는 것과 같은 효과를 가진다.
또한, 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법은 실내 및 야간 환경에서의 적외선 센서를 활용을 통해 깊이 영상 기반의 정교화된 객체 처리가 가능함에 따라, 카메라 파라미터 및 지지대의 자동 제어가 기존의 방법보다 훨씬 빠르고 정확하게 처리할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 삼차원 영상 획득 장치를 설명하기 위한 블록도.
도 2 내지 도 4는 도 1의 촬영 수단을 설명하기 위한 도면.
도 5는 도 1의 영상 획득 수단을 설명하기 위한 블록도.
도 6은 본 발명의 실시예에 따른 삼차원 영상 획득 방법을 설명하기 위한 흐름도.
도 7은 도 6의 RGB 영상 및 깊이 영상 촬영 단계를 설명하기 위한 흐름도.
도 8 및 도 9는 도 6의 영상 분석 및 검출 단계를 설명하기 위한 흐름도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 삼차원 영상 획득 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 삼차원 영상 획득 장치를 설명하기 위한 블록도이다. 도 2 내지 도 4는 도 1의 촬영 수단을 설명하기 위한 도면이고, 도 5는 도 1의 영상 획득 수단을 설명하기 위한 블록도이다.
도 1에 도시된 바와 같이, 삼차원 영상 획득 장치(100)는 적외선 센서 및 양안식 카메라를 통해 깊이 영상 및 RGB 영상을 촬영하는 촬영 수단(200), 및 촬영 수단(200)에서 획득한 깊이 영상 및 RGB 영상들을 이용하여 3D 영상 표시 장치(400)를 통해 사용자에게 제공될 영상을 획득하는 영상 획득 수단(300)을 포함하여 구성된다.
촬영 수단(200)은 양안식 카메라 및 적외선 센서 기반 카메라(242)를 포함하여 구성된다. 즉, 촬영 수단(200)은 양안식 영상을 촬영하는 양안식 카메라 모듈(220)과, 깊이(Depth) 기반 영상을 촬영하는 적외선 센서 기반 카메라 모듈(240)을 포함하여 구성된다. 여기서, 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)을 첨부된 도면을 참조하여 더욱 상세하게 설명하면 아래와 같다.
도 2에 도시된 바와 같이, 양안식 카메라 모듈(220)은 제1지지대(221)의 일면에 한 쌍의 양안식 카메라(즉, 제1양안식 카메라(222), 제2양안식 카메라(223))가 배치된다. 이때, 제1지지대(221)의 타면에는 후술할 적외선 센서 기반 카메라 모듈(240)이 배치되는 지지대의 일면에 결합된다.
제1지지대(221) 및 양안식 카메라의 사이에는 양안식 카메라의 회전 및 이동을 조절하기 위한 샤프트가 배치된다. 즉, 제1지지대(221)의 일면에 제1샤프트(224)가 배치되고, 제1샤프트(224)의 상부에 제1양안식 카메라(222)가 배치된다. 제1지지대(221)의 일면에 제1샤프트(224)와 이격되어 제2샤프트(225)가 배치되고, 제2샤프트(225)의 상부에 제2양안식 카메라(223)가 배치된다.
제1양안식 카메라(222) 및 제2양안식 카메라(223)에는 촬영된 영상을 출력하는 영상 케이블들이 각각 연결된다. 즉, 제1영상 케이블(226)은 일측이 제1양안식 카메라(222)에 연결되고, 타측이 영상 획득 수단(300)에 연결되어, 제1양안식 카메라(222)에서 촬영된 양안식 영상을 영상 획득 수단(300)으로 전송한다. 제2영상 케이블(227)은 일측이 제2양안식 카메라(223)에 연결되고, 타측이 영상 획득 수단(300)에 연결되어, 제2양안식 카메라(223)에서 촬영된 양안식 영상을 영상 획득 수단(300)으로 전송한다.
제1지지대(221)에는 한 쌍의 양안식 카메라 및 샤프트들의 제어를 위한 제1통신 케이블(228)이 연결된다. 이때, 제1통신 케이블(228)은 일측이 제1양안식 카메라(222), 제2양안식 카메라(223), 제1샤프트(224), 제2샤프트(225)와 연결되며, 타측이 영상 획득 장치와 연결된다. 여기서, 제1통신 케이블(228)은 제1샤프트(224) 및 제2샤프트(225)에 각각 포함되는 구동장치(미도시)와 연결된다. 이를 통해, 제1통신 케이블(228)은 영상 획득 장치로부터 입력되는 외부 파라미터 및 내부 파라미터를 제1양안식 카메라(222), 제2양안식 카메라(223), 제1샤프트(224), 제2샤프트(225)로 전달한다. 여기서, 외부 파라미터는 양안식 카메라의 이동, 회전 등의 외부 인자를 제어하기 위한 파라미터로, 제1지지대(221)의 IOD(InterOcular Distance), 주시각(Convergence Angle), 카메라 이동 등을 제어하기 위한 신호로 구성된다. 내부 파라미터는 양안식 카메라의 양안식 카메라의 내부 파라미터를 제어하기 위한 파라미터로, 초점거리, 촬영 설정 등을 제어하기 위한 신호로 구성된다.
도 3에 도시된 바와 같이, 적외선 센서 기반 카메라 모듈(240)은 제2지지대(241)의 일면에 적외선 센서 기반 카메라(242)가 배치된다. 이때, 제2지지대(241)의 타면에는 상술한 양안식 카메라가 배치되는 지지대(즉, 제1지지대(221))의 일면에 결합된다.
제2지지대(241) 및 적외선 센서 기반 카메라(242)의 사이에는 적외선 센서 기반 카메라(242)의 회전 및 이동을 조절하기 위한 제3샤프트(243)가 배치된다. 즉, 제2지지대(241)의 일면에 제3샤프트(243)가 배치되고, 제3샤프트(243)의 상부에 적외선 센서 기반 카메라(242)가 배치된다.
적외선 센서 기반 카메라(242)는 적외선 방사체(244), RGB 센서(245), 적외선 수신체(246)로 구성되어, 깊이(Depth) 영상 및 RGB 영상을 촬영한다. 이때, 적외선 센서 기반 카메라(242)에는 촬영된 깊이 영상 및 RGB 영상을 출력하는 제3영상 케이블(247)이 연결된다. 즉, 제3영상 케이블(247)은 일측이 적외선 센서 기반 카메라(242)에 연결되고, 타측이 영상 획득 수단(300)에 연결되어, 적외선 센서 기반 카메라(242)에서 촬영된 깊이 영상 및 RGB 영상을 영상 획득 수단(300)으로 전송한다.
제2지지대(241)에는 적외선 센서 기반 카메라(242) 및 제3샤프트(243)의 제어를 위한 제2통신 케이블(248)이 연결된다. 이때, 제2통신 케이블(248)은 일측이 적외선 센서 기반 카메라(242) 및 제3샤프트(243)와 연결되며, 타측이 영상 획득 장치와 연결된다. 여기서, 제2통신 케이블(248)은 제2샤프트(225)에 포함되는 구동장치(미도시)와 연결된다. 이를 통해, 제2통신 케이블(248)은 영상 획득 장치로부터 입력되는 외부 파라미터 및 내부 파라미터를 적외선 센서 기반 카메라(242) 및 제2샤프트(225)로 전달한다. 여기서, 외부 파라미터는 적외선 센서 기반 카메라(242)의 이동, 회전 등의 외부 인자를 제어하기 위한 파라미터로, 적외선 센서 기반 카메라(242)의 이동, 회전 등을 제어하기 위한 신호로 구성된다. 내부 파라미터는 적외선 센서 기반 카메라(242)의 내부 파라미터를 제어하기 위한 파라미터로, 초점거리, 촬영 설정 등을 제어하기 위한 신호로 구성된다.
도 4에 도시된 바와 같이, 양안식 카메라 모듈(220)과 적외선 센서 기반 카메라 모듈(240)은 제1지지대(221) 및 제2지지대(241)의 일면이 결합됨에 따라, 각각 상부 및 하부에 배치된다. 이때, 근접 접사 촬영을 위해 제1양안식 카메라(222)와 제2양안식 카메라(223) 간의 간격(즉, 도 4의 D1)은 제1양안식 카메라(222)와 적외선 센서 기반 카메라 모듈(240)의 RGB 센서(245) 간의 간격(즉, 도 4의 D2)보다 넓게 형성되도록 배치된다. 특히, 직교식 영상이나 평행식 영상의 구성을 위해서는 수직 광축이나 수평 광축이 정렬되어 있어야 하기 때문에, 제1양안식 카메라(222)와 제2양안식 카메라(223) 사이의 광축(즉, 도 4의 A)은 직선상에 배치되고, 제1양안식 카메라(222)와 RGB 센서(245) 사이의 광축(즉, 도 4의 B)은 직선상에 배치된다. 이때, 제1양안식 카메라(222)와 제2양안식 카메라(223) 사이의 광축(즉, 도 4의 A)과, 제1양안식 카메라(222)와 RGB 센서(245) 사이의 광축(즉, 도 4의 B)은 상호간 직교하도록 배치된다. 여기서, 도 4에서는 영상 획득 수단(300)이 도시되지 않았으나, 하우징(260)의 내부에 회로기판, 칩 소자 등의 형태로 내장될 수 있다.
영상 획득 수단(300)은 촬영 수단(200)에서 촬영된 영상들을 이용하여 사용자에게 제공될 영상을 검출하여 3D 영상 표시 장치(400)에게로 전송한다. 이때, 영상 획득 수단(300)은 양안식 카메라 모듈(220)에서 촬영된 양안식 영상들(즉, 2개의 RGB 영상), 및 적외선 센서 기반 카메라 모듈(240)에서 촬영된 깊이 영상 및 RGB 영상 중에서 복수의 영상을 검출한다. 영상 획득 수단(300)은 검출된 복수의 영상을 보정하여 사용자에게 제공될 영상을 획득하고, 이를 3D 영상 표시 장치(400)에게로 전송한다.
이를 위해, 도 5에 도시된 바와 같이, 영상 획득 수단(300)은 영상 분석부(320), 영상 선택부(340), 파라미터 조정부(360)를 포함하여 구성된다.
영상 분석부(320)는 촬영 수단(200)으로부터 영상을 입력받는다. 즉, 영상 분석부(320)는 양안식 카메라 모듈(220)에서 촬영된 양안식 영상들(즉, 2개의 RGB 영상), 및 적외선 센서 기반 카메라 모듈(240)에서 촬영된 깊이 영상 및 RGB 영상을 입력받는다.
영상 분석부(320)는 적외선 센서 기반 카메라 모듈(240)로부터 입력되는 깊이 영상의 사용 여부를 판단한다. 즉, 깊이 영상은 촬영 환경에 따라 정보의 차이가 발생한다. 예를 들어, 깊이 영상은 실내 환경에서 관심 객체가 미리 정의된 일정 거리 내에 존재할 경우 높은 명암비를 갖게 되고 많은 정보를 담게 된다. 반면, 실외 환경에서는 명암비가 거의 존재하지 않게 되고, 취득된 정보도 거의 사용가치가 없게 된다. 영상 분석부(320)는 이러한 깊이 영상의 정보차를 이용하여 깊이 영상의 사용 유무를 판단한다. 여기서, 영상 분석부(320)는 기설정된 정보량을 근거로 깊이 영상의 사용 유무를 판단한다. 즉, 깊이 영상에 포함된 정보량이 기설정된 정보량을 초과하는 경우 해당 깊이 영상을 사용하는 것으로 판단한다. 그에 따라, 영상 분석부(320)는 실내의 경우 적외선 센서 기반 카메라 모듈(240)에서 촬영된 영상(즉, 깊이 영상 및 RGB 영상)을 사용하고, 실외의 경우 양안식 카메라 모듈(220)에서 촬영된 영상(즉, 2개의 RGB 영상)을 사용하는 것으로 판단하게 된다.
영상 분석부(320)는 깊이 영상의 사용 여부 판단 결과를 근거로 선택되는 영상들을 보정한다. 영상 분석부(320)는 보정된 영상들의 비교를 통해 영상의 사용 여부를 판단하여 근접 촬영용 입체 영상이나 원거리 촬영용 입체 영상 중 최소 하나 이상의 입체 영상을 활용할 수 있도록 할 수 있다.
이를 더욱 상세하게 설명하면, 깊이 영상의 미사용으로 판단한 경우, 영상 분석부(320)는 양안식 카메라 모듈(220)에서 촬영된 2개의 RGB 영상과 적외선 센서 기반 카메라 모듈(240)에서 촬영된 RGB 영상을 보정한다. 즉, 영상 분석부(320)는 제1양안식 카메라(222) 및 제2양안식 카메라(223)에서 각각 촬영된 2개의 RGB 영상, 또는 제1양안식 카메라(222) 및 적외선 기반 카메라 모듈의 RGB 센서(245)에서 각각 촬영된 2개의 RGB 영상을 상호간 보정처리 한다. 여기서, 영상 분석부(320)는 2개의 RGB 영상 간의 특징점 매칭을 통해 어느 하나의 RGB 영상에 대한 카메라 파라미터를 추출한다. 영상 분석부(320)는 추출한 카메라 파라미터를 근거로 다른 RGB 영상과 동일한 크기(Scale) 및 로테이션(Rotation)을 갖도록 해당 RGB 영상의 크기(Scale) 및 로테이션(Rotation) 등의 정보를 보정한다.
영상 분석부(320)는 보정한 영상들 간의 얼라이먼트(alignment) 일치 여부를 근거로 해당 영상들의 사용 여부를 판단한다. 즉, 영상 분석부(320)는 보정한 영상들 간의 얼라이먼트가 일치하면 해당 영상들을 입체 영상으로 사용하도록 설정한다. 영상 분석부(320)는 보정한 영상들 간의 얼라이먼트가 일치하지 않으면 해당 영상들을 입체 영상으로 사용하지 않는 것으로 설정한다. 여기서, 제1양안식 카메라(222) 및 제2양안식 카메라(223)에서 촬영된 RGB 영상들은 보정을 통해 항상 얼라이먼트를 일치시킬 수 있으므로, 영상 분석부(320)는 제1양안식 카메라(222) 및 RGB 센서(245)에서 촬영된 영상들 간의 얼라이먼트 일치 여부만을 분석한다.
영상 분석부(320)는 보정한 영상들을 비교하여 변위 맵(disparity map)을 산출한다. 영상 분석부(320)는 산출한 변위 맵을 해당 영상들의 깊이 정보로 설정한다. 이때, 영상 분석부(320)는 보정한 영상들의 전역적인 특징들을 모두 비교하여 변위 맵을 산출한다.
한편, 영상 분석부(320)에서 깊이 영상의 사용으로 판단하면, 영상 분석부(320)는 양안식 카메라 모듈(220)에서 촬영된 2개의 RGB 영상과 적외선 센서 기반 카메라 모듈(240)에서 촬영된 RGB 영상을 보정한다. 즉, 영상 분석부(320)는 제1양안식 카메라(222) 및 제2양안식 카메라(223)에서 각각 촬영된 2개의 RGB 영상, 또는 제1양안식 카메라(222) 및 적외선 기반 카메라 모듈의 RGB 센서(245)에서 각각 촬영된 2개의 RGB 영상을 상호간 보정처리 한다. 여기서, 영상 분석부(320)는 깊이 영상으로부터 깊이 정보를 검출한다. 영상 분석부(320)는 검출한 깊이 정보를 근거로 비교대상인 영상들을 관심 객체별로 분할하여, 각 영상 내의 객체간 특징점을 매칭한다. 영상 분석부(320)는 매칭된 객체간 특징점을 비교하여 변위 맵을 산출한다. 여기서, 영상 분석부(320)는 양안식 카메라 모듈(220)에서 촬영된 RGB 영상 간의 변위 맵 산출시, 깊이 정보를 기본검증자료(ground truth)로 활용할 수도 있다. 이를 통해, 깊이 정보가 없는 조건에서의 보정은 영상의 전역적인 특징을 모두 이용해야 하지만, 깊이 정보가 있으면 먼저 관심 객체별로 영상을 분할하여 RGB 영상 내의 객체 간 특징점을 매칭할 수 있기 때문에 훨씬 정교한 처리가 가능하다.
영상 분석부(320)는 기산출한 변위 맵을 근거로 영상 매칭표를 생성한다. 즉, 영상 분석부(320)는 제1양안식 카메라(222) 및 RGB 센서(245)에서 촬영된 RGB 영상들 간의 변위 맵, 제2양안식 카메라(223) 및 RGB 센서(245)에서 촬영된 RGB 영상들 간의 변위 맵, 및 제1양안식 카메라(222) 및 제1양안식 카메라(222)에서 촬영된 RGB 영상들 간의 변위 맵을 근거로 영상 매칭표를 생성한다. 여기서, 영상 매칭표는 보정된 영상들이 활용 가능한지를 표시하는 지표로, 수직 카메라 기반 양안식 영상, 수평 카메라 기반 양안식 영상, 깊이/변위 기반 깊이 영상 등에 대한 활용 가능성을 지표로 표시한다.
영상 선택부(340)는 영상분석부에서 생성한 영상 매칭표를 근거로 사용자에게 제공될 영상을 선택한다. 이때, 일반적으로 영상 선택부(340)는 기본조합인 양안식 카메라 모듈(220)에서 촬영된 RGB 영상들, 적외선 센서 기반 카메라 모듈(240)에서 촬영된 RGB 영상 및 깊이 영상을 주로 선택한다. 영상 선택부(340)는 근접촬영을 위해서 제1양안식 카메라(222) 및 RGB 센서(245)에서 촬영된 RGB 영상들의 조합을 선택한다. 영상 선택부(340)는 깊이 영상과 양안식 카메라 모듈(220)에서 촬영된 RGB 영상들의 변위 맵도 실내 촬영시 선택할 수 있다.
영상 선택부(340)는 3D 영상 표시 장치(400)로부터 영상 조합 선택 정보가 입력되면 선택된 영상 조합에 포함된 영상들 중 적어도 하나의 파라미터값을 검출한다.
즉, 영상 선택부(340)는 기선택된 영상들을 3D 영상 표시 장치(400)로 전송한다. 3D 영상 표시 장치(400)는 사용자 입력을 통해 전송된 영상들 중에서 2개 이상의 영상을 포함하는 영상 조합 선택 정보를 입력받는다. 이때, 3D 영상 표시 장치(400)는 양안식 영상들의 조합, 양안식 영상 및 깊이 영상의 조합 등의 영상 조합 선택 정보를 입력받는다. 3D 영상 표시 장치(400)는 입력받은 영상 조합 선택 정보를 영상 선택부(340)에게로 전송한다. 여기서, 영상 조합 선택 정보에 포함된 영상들 중에 적어도 하나의 영상은 보정된 영상이므로, 영상 선택부(340)는 보정된 영상을 촬영한 카메라(즉, 제1양안식 카메라(222), 제2양안식 카메라(223), RGB 센서(245))의 조정을 위한 파라미터값을 검출한다. 이때, 영상 선택부(340)는 보정된 영상으로부터 파라미터값을 검출하여 파라미터 조정부(360)에게로 전송한다. 여기서, 파라미터값은 내부 파라미터 및 외부 파라미터 중에 적어도 하나를 포함한다.
파라미터 조정부(360)는 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)의 조정을 위해 영상 선택부(340)로부터 수신한 파라미터값을 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)에게로 전송한다. 즉, 파라미터 조정부(360)는 제1통신케이블을 통해 영상 선택부(340)로부터 수신한 파라미터값을 양안식 카메라 모듈(220)에게로 전송한다. 파라미터 조정부(360)는 제2통신케이블을 통해 영상 선택부(340)로부터 수신한 파라미터값을 적외선 센서 기반 카메라 모듈(240)에게로 전송한다. 그에 따라, 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)은 수신한 파라미터값에 따라 샤프트들 및 카메라들을 제어한다.
이하, 본 발명의 실시예에 따른 삼차원 영상 획득 장치를 이용한 영상 처리 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 6은 본 발명의 실시예에 따른 삼차원 영상 획득 방법을 설명하기 위한 흐름도이다. 도 7은 도 6의 RGB 영상 및 깊이 영상 촬영 단계를 설명하기 위한 흐름도이고, 도 8 및 도 9는 도 6의 영상 분석 및 검출 단계를 설명하기 위한 흐름도이다.
촬영 수단(200)은 RGB 영상 및 깊이 영상을 촬영한다(S100). 즉, 촬영 수단(200)은 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)을 이용하여 복수의 RGB 영상 및 깊이 영상을 촬영한다. 이를 첨부된 도 7을 참조하여 더욱 상세하게 설명하면 아래와 같다.
양안식 카메라 모듈(220)은 2개의 양안식 영상(즉. RGB 영상)을 촬영한다(S120). 즉, 제1양안식 카메라(222) 모듈(220) 및 제2양안식 카메라(223) 모듈(220)은 기설정된 파라미터에 따른 촬영 조건에서 RGB 영상을 각각 촬영한다.
동시에, 적외선 센서 기반 카메라 모듈(240)은 RGB 영상 및 깊이 영상을 촬영한다(S140). 즉, 적외선 방사체(244)는 적외선을 방출하고, 적외선 수신체(246)에서 반사된 적외선을 수신하여 깊이 영상을 촬영한다. RGB 센서(245)는 기설정된 파라미터에 따른 촬영 조건에서 RGB 영상을 촬영한다. 여기서, 파라미터는 제1통신 케이블(228) 및 제2통신 케이블(248)을 통해 영상 획득 수단(300)으로부터 기수신하여 설정된 값이다. 이때, 파라미터는 내부 파라미터 및 외부 파라미터를 포함한다. 외부 파라미터는 양안식 카메라의 이동, 회전 등의 외부 인자를 제어하기 위한 파라미터로, 제1지지대(221)의 IOD(InterOcular Distance), 주시각(Convergence Angle), 카메라 이동 등을 제어하기 위한 신호로 구성된다. 내부 파라미터는 양안식 카메라의 양안식 카메라의 내부 파라미터를 제어하기 위한 파라미터로, 초점거리, 촬영 설정 등을 제어하기 위한 신호로 구성된다.
촬영 수단(200)은 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)에서 촬영된 3개의 RGB 영상 및 깊이 영상을 영상 획득 수단(300)으로 전송한다(S160). 즉, 제1양안식 카메라(222) 모듈(220)은 촬영한 RGB 영상을 제1영상 케이블(226)을 통해 영상 획득 수단(300)으로 전송한다. 제2양안식 카메라(223) 모듈(220)은 촬영한 RGB 영상을 제2영상 케이블(227)을 통해 영상 획득 수단(300)으로 전송한다. 적외선 센서 기반 카메라(242)는 촬영한 깊이 영상 및 RGB 영상을 제3영상 케이블(247)을 통해 영상 획득 수단(300)으로 전송한다.
영상 획득 수단(300)은 촬영된 RGB 영상 및 깊이 영상을 분석하여 사용자에게 제공될 영상을 검출한다(S200). 이를 첨부된 도 8을 참조하여 더욱 상세하게 설명하면 아래와 같다.
영상 획득 수단(300)은 촬영 수단(200)으로부터 입력된 깊이 영상의 사용 여부를 판단한다. 즉, 영상 획득 수단(300)은 기설정된 정보량을 근거로 깊이 영상의 사용 유무를 판단한다. 이때, 영상 획득 수단(300)은 깊이 영상에 포함된 정보량이 기설정된 정보량을 초과하는 경우 해당 깊이 영상을 사용하는 것으로 판단한다.
그에 따라, 영상 획득 수단(300)은 실내의 경우 적외선 센서 기반 카메라 모듈(240)에서 촬영된 영상(즉, 깊이 영상 및 RGB 영상)을 사용하고, 실외의 경우 양안식 카메라 모듈(220)에서 촬영된 영상(즉, 2개의 RGB 영상)을 사용하는 것으로 판단하게 된다.
깊이 영상의 사용을 판단하면(S205; 예), 영상 획득 수단(300)은 수신한 RGB 영상들 중 2개의 RGB 영상을 이용하여 상호가 보정을 수행한다(S210). 즉, 영상 획득 수단(300)은 제1양안식 카메라(222) 및 제2양안식 카메라(223)에서 각각 촬영된 2개의 RGB 영상, 또는 제1양안식 카메라(222) 및 적외선 기반 카메라 모듈의 RGB 센서(245)에서 각각 촬영된 2개의 RGB 영상을 상호간 보정처리 한다. 여기서, 영상 획득 수단(300)은 2개의 RGB 영상 간의 특징점 매칭을 통해 어느 하나의 RGB 영상에 대한 카메라 파라미터를 추출한다. 영상 획득 수단(300)은 추출한 카메라 파라미터를 근거로 다른 RGB 영상과 동일한 크기(Scale) 및 로테이션(Rotation)을 갖도록 해당 RGB 영상의 크기(Scale) 및 로테이션(Rotation) 등의 정보를 보정한다.
영상 획득 수단(300)은 수신한 깊이 영상으로 깊이 정보를 검출하고(S215), 검출한 깊이 정보를 근거로 영상 내의 객체간 특징점을 매칭한다(S220). 즉, 영상 획득 수단(300)은 깊이 영상으로부터 검출한 깊이 정보를 근거로 비교대상인 영상들을 관심 객체별로 분할하여, 각 영상 내의 객체간 특징점을 매칭한다.
영상 획득 수단(300)은 매칭된 객체간 특징점을 근거로 변위 맵을 산출한다(S225). 여기서, 영상 획득 수단(300)은 양안식 카메라 모듈(220)에서 촬영된 RGB 영상 간의 변위 맵 산출시, 깊이 정보를 기본검증자료(ground truth)로 활용할 수도 있다. 이를 통해, 깊이 정보가 없는 조건에서의 보정은 영상의 전역적인 특징을 모두 이용해야 하지만, 깊이 정보가 있으면 먼저 관심 객체별로 영상을 분할하여 RGB 영상 내의 객체 간 특징점을 매칭할 수 있기 때문에 훨씬 정교한 처리가 가능하다.
한편, 깊이 영상을 사용하지 않는 것으로 판단하면(S205; 아니오), 영상 획득 수단(300)은 수신한 RGB 영상들 중 2개의 RGB 영상을 이용하여 상호간 보정을 수행한다(S230). 즉, 영상 획득 수단(300)은 제1양안식 카메라(222) 및 제2양안식 카메라(223)에서 각각 촬영된 2개의 RGB 영상, 또는 제1양안식 카메라(222) 및 적외선 기반 카메라 모듈의 RGB 센서(245)에서 각각 촬영된 2개의 RGB 영상을 상호간 보정처리 한다. 여기서, 영상 획득 수단(300)은 2개의 RGB 영상 간의 특징점 매칭을 통해 어느 하나의 RGB 영상에 대한 카메라 파라미터를 추출한다. 영상 획득 수단(300)은 추출한 카메라 파라미터를 근거로 다른 RGB 영상과 동일한 크기(Scale) 및 로테이션(Rotation)을 갖도록 해당 RGB 영상의 크기(Scale) 및 로테이션(Rotation) 등의 정보를 보정한다.
영상 획득 수단(300)은 보정된 영상들간의 비교를 통해 사용할 영상을 검출한다(S235). 즉, 영상 획득 수단(300)은 보정한 영상들 간의 얼라이먼트(alignment) 일치 여부를 근거로 해당 영상들의 사용 여부를 판단한다. 이때, 영상 획득 수단(300)은 보정한 영상들 간의 얼라이먼트가 일치하면 해당 영상들을 입체 영상으로 사용하도록 설정한다. 영상 획득 수단(300)은 보정한 영상들 간의 얼라이먼트가 일치하지 않으면 해당 영상들을 입체 영상으로 사용하지 않는 것으로 설정한다. 여기서, 제1양안식 카메라(222) 및 제2양안식 카메라(223)에서 촬영된 RGB 영상들은 보정을 통해 항상 얼라이먼트를 일치시킬 수 있으므로, 영상 획득 수단(300)은 제1양안식 카메라(222) 및 RGB 센서(245)에서 촬영된 영상들 간의 얼라이먼트 일치 여부만을 분석한다.
영상 획득 수단(300)은 사용 가능한 영상들을 이용하여 변위 맵을 산출한다(S240). 즉, 영상 획득 수단(300)은 보정한 영상들 중에서 S235 단계에서 사용 가능한 것으로 판단된 영상들을 비교하여 변위 맵(disparity map)을 산출한다. 영상 획득 수단(300)은 산출한 변위 맵을 해당 영상들의 깊이 정보로 설정한다. 이때, 영상 획득 수단(300)은 보정한 영상들의 전역적인 특징들을 모두 비교하여 변위 맵을 산출한다.
영상 획득 수단(300)은 S225 단계 또는 S240 단계에서 산출한 변위 맵을 근거로 영상 매칭표를 생성한다(S245). 즉, 영상 획득 수단(300)은 제1양안식 카메라(222) 및 RGB 센서(245)에서 촬영된 RGB 영상들 간의 변위 맵, 제2양안식 카메라(223) 및 RGB 센서(245)에서 촬영된 RGB 영상들 간의 변위 맵, 및 제1양안식 카메라(222) 및 제1양안식 카메라(222)에서 촬영된 RGB 영상들 간의 변위 맵을 근거로 영상 매칭표를 생성한다. 여기서, 영상 매칭표는 보정된 영상들이 활용 가능한지를 표시하는 지표로, 수직 카메라 기반 양안식 영상, 수평 카메라 기반 양안식 영상, 깊이/변위 기반 깊이 영상 등에 대한 활용 가능성을 지표로 표시한다.
영상 획득 수단(300)은 생성한 영상 매칭표를 근거로 사용자에게 제공될 영상을 선택한다(S250). 이때, 상 획득 수단은 기본조합인 양안식 카메라 모듈(220)에서 촬영된 RGB 영상들, 적외선 센서 기반 카메라 모듈(240)에서 촬영된 RGB 영상 및 깊이 영상을 주로 선택한다. 상 획득 수단은 근접촬영을 위해서 제1양안식 카메라(222) 및 RGB 센서(245)에서 촬영된 RGB 영상들의 조합을 선택한다. 상 획득 수단은 깊이 영상과 양안식 카메라 모듈(220)에서 촬영된 RGB 영상들의 변위 맵도 실내 촬영시 선택할 수 있다.
영상 획득 수단(300)은 검출한 영상을 3D 영상 표시 장치(400)로 출력한다(S300). 그에 따라, 3D 영상 표시 장치(400)를 수신한 영상을 이용하여 3D 영상들을 사용자에게 제공한다.
이때, 영상 분석 및 검출 단계에서 보정된 영상에 따른 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)의 보정을 수행할 수도 있다. 이를 첨부된 도 9를 참조하여 더욱 상세하게 설명하면 아래와 같다.
영상 획득 수단(300)은 3D 영상 표시 장치(400)로부터 영상 조합 선택 정보를 입력받는다(S255). 즉, 3D 영상 표시 장치(400)는 사용자 입력을 통해 S300 단계에서 전송된 영상들 중에서 2개 이상의 영상을 포함하는 영상 조합 선택 정보를 입력받는다. 이때, 3D 영상 표시 장치(400)는 양안식 영상들의 조합, 양안식 영상 및 깊이 영상의 조합 등의 영상 조합 선택 정보를 입력받는다. 3D 영상 표시 장치(400)는 입력받은 영상 조합 선택 정보를 영상 획득 수단(300)에게로 전송한다.
영상 획득 수단(300)은 입력된 영상 조합 선택 정보에 포함된 영상들로부터 촬영 수단(200)의 보정을 위한 파라미터값을 검출한다(S260).
영상 조합 선택 정보에 포함된 영상들 중에 적어도 하나의 영상은 보정된 영상이므로, 영상 획득 수단(300)은 보정된 영상을 촬영한 카메라(즉, 제1양안식 카메라(222), 제2양안식 카메라(223), RGB 센서(245))의 조정을 위한 파라미터값을 검출한다. 여기서, 파라미터값은 내부 파라미터 및 외부 파라미터 중에 적어도 하나를 포함한다.
영상 획득 수단(300)은 검출한 파라미터값을 촬영 수단(200)에게로 전송한다(S265). 즉, 영상 획득 수단(300)은 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)의 조정을 위해 검출한 파라미터값을 촬영 수단(200)으로 전송한다. 이때, 영상 획득 수단(300)은 제1통신케이블을 통해 파라미터값을 양안식 카메라 모듈(220)에게로 전송한다. 영상 획득 수단(300)은 제2통신케이블을 통해 파라미터값을 적외선 센서 기반 카메라 모듈(240)에게로 전송한다.
촬영 수단(200)은 영상 획득 수단(300)으로부터 수신한 파라미터값을 근거로 보정을 수행한다(S270). 즉, 양안식 카메라 모듈(220) 및 적외선 센서 기반 카메라 모듈(240)은 수신한 파라미터값에 따라 샤프트들 및 카메라들을 제어한다.
상술한 바와 같이, 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법은 종래의 적외선 센서 장치나 양안식 카메라 장치 단독 사용에서 오는 한계를 개선하기 위해, 두 개의 서로 다른 카메라 장치를 하나의 지지대 위에 통합하여 구현함으로써, 고가의 LIDAR 장비를 사용하지 않고, 저렴한 가격의 적외선 센서 장치와 양안식 카메라 장치를 이용하여 고화질의 깊이 기반 영상 모델링 시스템을 구현할 수 있는 효과가 있다.
또한, 종래의 양안식 기반의 카메라 장치는 관심 객체의 거리에 따라 직교식 혹은 평행식 지지대를 이용해야하는 문제점이 있으나, 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법은 직교식 및 평행식 지지대를 동시에 사용하는 것과 같은 효과를 가진다.
또한, 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법은 실내 및 야간 환경에서의 적외선 센서를 활용을 통해 깊이 영상 기반의 정교화된 객체 처리가 가능함에 따라, 카메라 파라미터 및 지지대의 자동 제어가 기존의 방법보다 훨씬 빠르고 정확하게 처리할 수 있는 효과가 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 삼차원 영상 획득 장치 200: 촬영 수단
220: 양안식 카메라 모듈 221: 제1지지대
222: 제1양안식 카메라 223: 제2양안식 카메라
224: 제1샤프트 225: 제2샤프트
226: 제1영상 케이블 227: 제2영상 케이블
228: 제1통신 케이블 240: 적외선 센서 기반 카메라 모듈
241: 제2지지대 242: 적외선 센서 기반 카메라
243: 제3샤프트 244: 적외선 방사체
245: RGB 센서 246: 적외선 수신체
247: 제3영상 케이블 248: 제2통신 케이블
300: 영상 획득 수단 320: 영상 분석부
340: 영상 선택부 360: 파라미터 조정부
400: 3D 영상 표시 장치

Claims (20)

  1. 복수의 카메라를 통해 양안식 영상들을 촬영하고, 적외선 센서를 기반으로 RGB 영상 및 깊이 영상을 촬영하는 촬영 수단; 및
    상기 촬영 수단에서 촬영된 깊이 영상의 사용 여부를 근거로 양안식 영상들과 RGB 영상 중에 적어도 한쌍의 영상을 보정하여 사용자에게 제공될 영상을 획득하는 영상 획득 수단을 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  2. 청구항 1에 있어서,
    상기 촬영 수단은,
    제1지지대;
    상기 제1지지대의 일면에 배치되어 양안식 영상을 촬영하는 제1양안식 카메라;
    상기 제1지지대의 일면에 상기 제1양안식 카메라와 이격 배치되어 양안식 영상을 촬영하는 제2양안식 카메라;
    상기 제1지지대의 타면에 일면이 결합되는 제2지지대; 및
    상기 제2지지대의 타면에 배치되어, 깊이 영상 및 RGB 영상을 촬영하는 적외선 센서 기반 카메라를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  3. 청구항 2에 있어서,
    상기 양안식 카메라 모듈은,
    일측이 상기 제1양안식 카메라에 연결되고, 타측이 상기 영상 획득 수단에 연결되어, 상기 제1양안식 카메라에서 촬영된 영상을 상기 영상 획득 수단으로 전송하는 제1영상 케이블; 및
    일측이 상기 제2양안식 카메라에 연결되고, 타측이 상기 영상 획득 수단에 연결되어, 상기 제2양안식 카메라에서 촬영된 영상을 상기 영상 획득 수단으로 전송하는 제2영상 케이블을 더 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  4. 청구항 2에 있어서,
    상기 양안식 카메라 모듈은,
    상기 영상 획득 수단으로부터 파라미터를 수신하는 제1통신 케이블;
    상기 제1지지대의 일면에 배치되어, 상기 제1통신 케이블에서 수신된 파라미터를 근거로 상기 제1양안식 카메라를 이동 및 회전시키는 제1샤프트; 및
    상기 제1지지대의 일면에 배치되어, 상기 제1통신 케이블에서 수신된 파라미터를 근거로 상기 제2양안식 카메라를 이동 및 회전시키는 제2샤프트를 더 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  5. 청구항 2에 있어서,
    상기 적외선 센서 기반 카메라 모듈은,
    일측이 상기 적외선 센서 기반 카메라에 연결되고, 타측이 상기 영상 획득 수단에 연결되어, 상기 적외선 센서 기반 카메라에서 촬영된 깊이 영상 및 RGB 영상을 상기 영상 획득 수단으로 전송하는 제3영상 케이블을 더 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  6. 청구항 2에 있어서,
    상기 적외선 센서 기반 카메라 모듈은,
    상기 영상 획득 수단으로부터 파라미터를 수신하는 제3통신 케이블; 및
    상기 제2지지대의 타면에 배치되어, 상기 제3통신 케이블에서 수신된 파라미터를 근거로 상기 적외선 센서 기반 카메라를 이동 및 회전시키는 제3샤프트를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  7. 청구항 2에 있어서,
    상기 제1양안식 카메라와 상기 제2양안식 카메라 간의 간격은 상기 제1양안식 카메라와 상기 적외선 센서 기반 카메라 모듈의 RGB 센서 간의 간격보다 넓게 형성되는 것을 특징으로 하는 삼차원 영상 획득 장치.
  8. 청구항 2에 있어서,
    상기 제1양안식 카메라와 상기 제2양안식 카메라 사이의 광축은 직선상에 배치되고, 상기 제1양안식 카메라와 상기 적외선 센서 기반 카메라의 RGB 센서 사이의 광축은 직선상에 배치되고,
    상기 제1양안식 카메라와 상기 제2양안식 카메라 사이의 광축과, 상기 제1양안식 카메라와 상기 RGB 센서 사이의 광축은 직교하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  9. 청구항 1에 있어서,
    상기 영상 획득 수단은,
    상기 촬영 수단으로부터 전송받은 깊이 영상의 사용 여부를 근거로 상기 촬영 수단으로부터 전송받은 RGB 영상들 중에서 2개의 RGB 영상을 상호간 보정하고, 상기 보정된 RGB 영상 및 상기 깊이 영상을 근거로 변위 맵을 산출하고, 상기 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 영상 분석부; 및
    상기 영상 매칭표를 근거로 사용자에게 제공될 영상을 선택하는 영상 선택부를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  10. 청구항 9에 있어서,
    상기 영상 분석부는,
    상기 촬영 수단에서 촬영된 깊이 영상의 정보량을 근거로 상기 깊이 영상의 사용 여부를 판단하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  11. 청구항 10에 있어서,
    상기 영상 분석부는,
    상기 깊이 영상의 사용으로 판단시 양안식 카메라 모듈에서 촬영된 양안식 영상들, 또는 양안식 카메라 모듈에서 촬영된 양안식 영상들 중 어느 하나와 적외선 기반 카메라 모듈에서 촬영된 RGB 영상을 상호간 보정하고, 상기 보정된 영상들 상호간 얼라이먼트 일치 여부를 근거로 해당 영상들의 사용 여부를 판단하여 변위 맵을 산출하고, 상기 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  12. 청구항 10에 있어서,
    상기 영상 분석부는,
    상기 깊이 영상의 사용으로 판단시 양안식 카메라 모듈에서 촬영된 양안식 영상들, 또는 양안식 카메라 모듈에서 촬영된 양안식 영상들 중 어느 하나와 적외선 기반 카메라 모듈에서 촬영된 RGB 영상을 상호간 보정하고, 상기 깊이 영상으로부터 검출한 깊이 정보를 근거로 영상들 내의 객체간 특징점을 매칭하여 변위 맵을 산출하고, 상기 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  13. 청구항 9에 있어서,
    상기 영상 선택부는, 3D 영상 표시 장치롤부터 입력된 영상 조합 선택 정보에 포함된 영상들을 근거로 파라미터값을 산출하고,
    상기 영상 획득 수단은,
    상기 영상 선택부에서 검출한 파라미터값을 상기 양안식 카메라 모듈 및 상기 적외선 센서 기반 카메라 모듈로 전송하여 상기 양안식 카메라 모듈 및 상기 적외선 센서 기반 카메라 모듈을 조정하는 파라미터 조정부를 더 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치.
  14. 촬영 수단에 의해, 복수의 양안식 카메라를 통해 양안식 영상들을 촬영하고, 적외선 센서 기반 카메라를 통해 RGB 영상 및 깊이 영상을 촬영하는 단계;
    영상 획득 수단에 의해, 상기 촬영된 양안식 영상과 RGB 영상 및 깊이 영상을 분석하여, 사용자에게 제공될 영상을 검출하는 단계; 및
    영상 획득 수단에 의해, 상기 검출한 영상들을 3D 영상 표시 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치를 이용한 영상 처리 방법.
  15. 청구항 14에 있어서,
    상기 촬영하는 단계는,
    상기 촬영 수단에 의해, 2개의 양안식 영상을 촬영하는 단계;
    상기 촬영 수단에 의해, RGB 영상 및 깊이 영상을 촬영하는 단계; 및
    상기 촬영 수단에 의해, 상기 촬영된 2개의 양안식 영상과 RGB 영상 및 깊이 영상을 상기 영상 획득 수단으로 전송하는 단계를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치를 이용한 영상 처리 방법.
  16. 청구항 14에 있어서,
    상기 검출하는 단계는,
    상기 영상 획득 수단에 의해, 상기 촬영 수단으로부터 전송받은 깊이 영상의 사용 여부를 판단하는 단계를 포함하되,
    상기 판단하는 단계에서는, 상기 깊이 영상의 정보량을 근거로 상기 깊이 영상의 사용 여부를 판단하는 것을 특징으로 하는 삼차원 영상 획득 장치를 이용한 영상 처리 방법.
  17. 청구항 16에 있어서,
    상기 검출하는 단계는,
    상기 판단하는 단계에서 깊이 영상의 사용으로 판단하면,
    상기 영상 획득 수단에 의해, 상기 양안식 영상들 및 RGB 영상 중에서 2개의 영상을 상호간 보정하는 단계;
    상기 영상 획득 수단에 의해, 상기 깊이 영상으로부터 검출한 깊이 정보를 근거로 영상 내의 객체간 특징점을 매칭하는 단계; 및
    상기 영상 획득 수단에 의해, 상기 매칭된 객체간 특징점으로부터 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 단계를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치를 이용한 영상 처리 방법.
  18. 청구항 16에 있어서,
    상기 검출하는 단계는,
    상기 판단하는 단계에서 깊이 영상의 사용하지 않는 것으로 판단하면,
    상기 영상 획득 수단에 의해, 상기 양안식 영상들 및 RGB 영상 중에서 2개의 영상을 상호간 보정하는 단계;
    상기 영상 획득 수단에 의해, 상기 보정된 영상들 상호간 얼라이먼트 일치 여부를 근거로 해당 영상들의 사용 여부를 판단하여 변위 맵을 산출하는 단계; 및
    상기 영상 획득 수단에 의해, 상기 산출한 변위 맵을 근거로 영상 매칭표를 생성하는 단계를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치를 이용한 영상 처리 방법.
  19. 청구항 14에 있어서,
    상기 영상 획득 수단에 의해, 상기 복수의 양안식 카메라 및 상기 적외선 센서 기반 카메라를 보정하는 단계를 더 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치를 이용한 영상 처리 방법.
  20. 청구항 19에 있어서,
    상기 보정하는 단계는,
    상기 영상 획득 수단에 의해, 상기 3D 영상 표시 장치로부터 영상 조합 선택 정보를 입력받는 단계;
    상기 영상 획득 수단에 의해, 상기 입력된 영상 조합 선택 정보에 포함된 영상들로부터 상기 복수의 양안식 카메라 및 상기 적외선 센서 기반 카메라의 보정을 위한 파라미터값을 검출하는 단계; 및
    상기 영상 획득 수단에 의해, 상기 검출한 파라미터값을 상기 촬영 수단에게로 전송하는 단계를 포함하는 것을 특징으로 하는 삼차원 영상 획득 장치를 이용한 영상 처리 방법.
KR20130077956A 2013-07-03 2013-07-03 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법 KR20150004989A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130077956A KR20150004989A (ko) 2013-07-03 2013-07-03 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
US14/306,136 US20150009295A1 (en) 2013-07-03 2014-06-16 Three-dimensional image acquisition apparatus and image processing method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130077956A KR20150004989A (ko) 2013-07-03 2013-07-03 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR20150004989A true KR20150004989A (ko) 2015-01-14

Family

ID=52132546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130077956A KR20150004989A (ko) 2013-07-03 2013-07-03 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법

Country Status (2)

Country Link
US (1) US20150009295A1 (ko)
KR (1) KR20150004989A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005312A (ko) * 2015-07-03 2017-01-12 전자부품연구원 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법
WO2017183915A3 (ko) * 2016-04-20 2018-08-02 엘지이노텍 주식회사 영상취득 장치 및 그 방법
CN110675499A (zh) * 2019-07-23 2020-01-10 电子科技大学 基于双目结构光三维扫描系统的三维建模方法
KR20210149018A (ko) * 2020-05-27 2021-12-08 베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치. 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150015680A (ko) * 2013-08-01 2015-02-11 씨제이씨지브이 주식회사 특징점의 생성을 이용한 이미지 보정 방법 및 장치
WO2016192436A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
CN105931240B (zh) * 2016-04-21 2018-10-19 西安交通大学 三维深度感知装置及方法
CN107896274B (zh) * 2017-10-27 2020-08-21 Oppo广东移动通信有限公司 红外发射器控制方法、终端及计算机可读存储介质
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质
CN109215111B (zh) * 2017-12-19 2023-04-07 上海亦我信息技术有限公司 一种基于激光测距仪的室内场景三维建模方法
CN108460368B (zh) * 2018-03-30 2021-07-09 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
CN108510538B (zh) * 2018-03-30 2020-01-17 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
CN109886197A (zh) * 2019-02-21 2019-06-14 北京超维度计算科技有限公司 一种人脸识别双目三维相机
WO2020243968A1 (zh) * 2019-06-06 2020-12-10 深圳市汇顶科技股份有限公司 人脸识别的装置、方法和电子设备
CN111652942B (zh) * 2020-05-29 2024-03-22 维沃移动通信有限公司 摄像模组的标定方法、第一电子设备和第二电子设备
CN112118438B (zh) * 2020-06-30 2022-04-05 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法
CN113159161A (zh) * 2021-04-16 2021-07-23 深圳市商汤科技有限公司 目标匹配方法和装置、设备及存储介质
CN113158877A (zh) * 2021-04-16 2021-07-23 上海云从企业发展有限公司 成像偏差分析及活体检测方法、装置及计算机存储介质
CN114422768A (zh) * 2022-02-24 2022-04-29 珠海一微半导体股份有限公司 一种图像获取装置、机器人和机器人图像获取方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556236B1 (en) * 1992-11-16 2003-04-29 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
WO1996014641A1 (en) * 1994-11-04 1996-05-17 Kelly Shawn L Modular binocular electronic imaging system
US20070188603A1 (en) * 2005-10-21 2007-08-16 Riederer Thomas P Stereoscopic display cart and system
KR101382618B1 (ko) * 2007-08-21 2014-04-10 한국전자통신연구원 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치
US20130053657A1 (en) * 2009-09-28 2013-02-28 Illuminare Holdings Ltd. Intravaginal monitoring device and network
GB2475730A (en) * 2009-11-27 2011-06-01 Sony Corp Transformation of occluding objects in 2D to 3D image generation
US8118499B2 (en) * 2010-05-19 2012-02-21 LIR Systems, Inc. Infrared camera assembly systems and methods
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
KR101792501B1 (ko) * 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US9116011B2 (en) * 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US8553942B2 (en) * 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
TWI544447B (zh) * 2011-11-29 2016-08-01 財團法人資訊工業策進會 擴增實境的方法及系統

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005312A (ko) * 2015-07-03 2017-01-12 전자부품연구원 카메라와 거리 센서의 동시 캘리브레이션 시스템 및 방법
WO2017183915A3 (ko) * 2016-04-20 2018-08-02 엘지이노텍 주식회사 영상취득 장치 및 그 방법
US11151745B2 (en) 2016-04-20 2021-10-19 Lg Innotek Co., Ltd. Image acquisition apparatus and method therefor
CN110675499A (zh) * 2019-07-23 2020-01-10 电子科技大学 基于双目结构光三维扫描系统的三维建模方法
CN110675499B (zh) * 2019-07-23 2023-04-11 电子科技大学 基于双目结构光三维扫描系统的三维建模方法
KR20210149018A (ko) * 2020-05-27 2021-12-08 베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치. 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체

Also Published As

Publication number Publication date
US20150009295A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
KR20150004989A (ko) 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
TWI795425B (zh) 用於產生場景之表示的設備及方法
KR101827494B1 (ko) 이미지 수집 시스템과 이미지 수집 방법
US8648961B2 (en) Image capturing apparatus and image capturing method
CN107223330A (zh) 一种深度信息获取方法、装置及图像采集设备
US20110085789A1 (en) Frame Linked 2D/3D Camera System
KR20120051308A (ko) 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR101418167B1 (ko) 스테레오 카메라 제어 장치 및 그 방법
US20220303468A1 (en) Location positioning device for moving body and location positioning method for moving body
KR101814714B1 (ko) 스마트폰 카메라 원격 제어 방법 및 시스템
KR102147133B1 (ko) 스테레오 카메라
JP2016531470A (ja) 視聴場所についてのステレオ情報の取得、送信および受信、ならびに、眼点系のその自動測定のためのｔｖマルチアングル法
TW201205344A (en) Adjusting system and method for screen, advertisement board including the same
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법
JP6003613B2 (ja) 補助撮像装置
JP7175595B2 (ja) 撮像装置、制御装置、撮像システム及び撮像システムの制御方法
KR101121264B1 (ko) 입체 영상 카메라 장치 및 이의 구동 방법
KR101602299B1 (ko) 입체 영상 촬영 시스템
JP5526050B2 (ja) レンズ制御装置及びレンズ制御方法
KR20080107345A (ko) 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법
KR20190074585A (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
JP2008175635A (ja) ３次元計測装置および計測プログラム
CN112040058A (zh) 终端设备的姿态数据检测方法和系统
KR20230010480A (ko) 스테레오 비전을 이용한 프로젝터 제어 시스템 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid