KR20230076490A - 입체 카메라의 주시점 자동 제어방법 및 이를 이용하는 입체 카메라 시스템 - Google Patents

Abstract

본 발명은 입체 카메라의 주시점 자동 제어방법 및 이를 이용하는 입체 카메라 시스템을 제공한다. 상기 입체 카메라 시스템은 입체 카메라, 제어부 및 카메라 조정부를 포함한다. 상기 입체 카메라는 좌영상 카메라와 우영상 카메라를 포함한다. 상기 제어부는 상기 입체 카메라에 의하여 획득된, 제1 시점에서의 제1 영상과 제2 시점에서의 제2 영상으로부터 상기 제1 시점에서 피사체의 위치와 상기 제2 시점에서 상기 피사체의 위치가 변동되었는지를 체크하고, 상기 피사체의 위치가 변동된 경우에는 상기 좌영상 카메라와 상기 우영상 카메라의 주시점을 상기 피사체의 위치 변동에 부합하는 새로운 주시점으로 설정한다. 상기 카메라 조정부는 상기 좌영상 및 우영상 카메라를 컨트롤하여 현재의 주시점을 상기 새로운 주시점으로 조정한다.

Description

입체 카메라의 주시점 자동 제어방법 및 이를 이용하는 입체 카메라 시스템 {METHOD FOR AUTOMATICALLY CONTROLLING CONVERGENCE POINT IN STEREOSCOPIC CAMERA AND STEREOSCOPIC CAMERA SYSTEM USING THE SAME}

본 발명은 입체 카메라에 관한 것으로, 특히 입체 카메라의 주시점을 자동으로 조정할 수 있는 입체 카메라의 주시점 자동 제어방법 및 이를 이용하는 입체 카메라 시스템에 관한 것이다.

사람은 좌안(左眼)과 우안(右眼)이 대략 6.5㎝ 정도 떨어져 있어서 좌안에서 인식하는 것과 우안에서 인식하는 것의 차이가 발생하고, 이러한 좌안과 우안의 인식 차이에 의해서 입체감을 갖고 사물을 인지할 수 있다. 입체 영상 기술은 평면 디스플레이에 표시되는 대상물에 공간감을 느낄 수 있게 ‘입체감’이라는 시각 요소를 발생시켜 사람의 시각과 같은 동일한 경험을 제공하는 기술이다.

입체감을 발생시킬 수 있는 입체 영상은 입체 카메라에 의하여 얻을 수 있다. 입체 카메라는 '양안(兩眼) 카메라'라고도 하며 소정의 간격으로 떨어져 있는 2개의 카메라를 포함한다. 입체 카메라에 있어서 2개의 카메라에 의한 영상의 차이를 시차라 하며, 이는 입체 영상 기술에서 입체감을 느끼게 하는 중요한 요소이다. 상기 시차가 0이 되는 지점을 주시점이라 하며, 주시점이 입체 카메라에서 촬영하는 대상물의 중심에 일치하는 경우에 입체 영상 시청자의 시각적 피로감을 줄일 수 있다. 따라서 촬영 대상물의 중심에 주시점을 일치시키는 것이 바람직하며, 대상물의 위치가 변동되는 경우에는 변동 위치에 맞추어서 주시점을 조정할 필요가 있다.

본 발명은 상기한 사정을 감안하여 발명된 것으로, 움직이는 피사체에 대하여 피사체의 움직임에 맞추어 자동으로 주시점을 조정할 수 있는 입체 카메라의 주시점 자동 제어방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은 상기한 입체 카메라의 주시점 자동 제어방법을 이용하는 입체 카메라 시스템을 제공하는 것을 그 목적으로 한다.

또한 본 발명의 다른 목적들은 이하의 설명과 첨부한 도면으로부터 명확하게 이해될 수 있다.

상기한 목적을 달성하기 위한 본 발명의 실시예에 따른 입체 카메라의 주시점 자동 제어방법은, 좌영상 카메라와 우영상 카메라를 포함하는 입체 카메라에 있어서 상기 좌영상 카메라와 상기 우영상 카메라의 주시점을 자동으로 제어하는 방법으로서, 제1 시점에서 피사체의 제1 영상을 획득하는 제1 단계, 제2 시점에서 상기 피사체의 제2 영상을 획득하는 제2 단계, 상기 제1 및 제2 영상으로부터 상기 제1 시점에서 상기 피사체의 위치와 상기 제2 시점에서 상기 피사체의 위치가 변동되었는지를 체크하고, 상기 피사체의 위치가 변동된 경우에는 상기 피사체의 위치 변동에 부합하는 새로운 주시점을 설정하는 제3 단계, 그리고 상기 좌영상 및 우영상 카메라를 컨트롤하여 현재의 주시점을 상기 새로운 주시점으로 조정하는 제4 단계를 포함한다.

상기 입체 카메라의 주시점 자동 제어방법에 있어서, 상기 제3 단계에서는 상기 제1 및 제2 영상 속 피사체의 사이즈 변화 여부를 감지하여 상기 피사체의 위치가 변동되었는지를 체크할 수 있다.

상기 입체 카메라의 주시점 자동 제어방법에 있어서, 상기 피사체의 사이즈 변화와 상기 주시점의 위치 변동 사이의 대응관계를 나타내는 룩업테이블이 구비되며, 상기 제3 단계에서는 상기 룩업테이블을 이용하여 상기 피사체의 위치 변동에 부합하는 새로운 주시점을 설정할 수 있다.

본 발명의 실시예에 따른 입체 카메라 시스템은 입체 카메라, 제어부 및 카메라 조정부를 포함한다. 상기 입체 카메라는 좌영상 카메라와 우영상 카메라를 포함한다. 상기 제어부는 상기 입체 카메라에 의하여 획득된, 제1 시점에서의 제1 영상과 제2 시점에서의 제2 영상으로부터 상기 제1 시점에서 피사체의 위치와 상기 제2 시점에서 상기 피사체의 위치가 변동되었는지를 체크하고, 상기 피사체의 위치가 변동된 경우에는 상기 좌영상 카메라와 상기 우영상 카메라의 주시점을 상기 피사체의 위치 변동에 부합하는 새로운 주시점으로 설정한다. 상기 카메라 조정부는 상기 좌영상 및 우영상 카메라를 컨트롤하여 현재의 주시점을 상기 새로운 주시점으로 조정한다.

상기 입체 카메라 시스템에 있어서, 상기 제어부는 상기 제1 및 제2 영상 속 피사체의 사이즈 변화 여부를 감지하여 상기 피사체의 위치가 변동되었는지를 체크할 수 있다.

상기 입체 카메라 시스템에 있어서, 상기 제어부는 상기 피사체의 사이즈 변화와 상기 주시점의 위치 변동 사이의 대응관계를 나타내는 룩업테이블을 구비하며, 상기 룩업테이블을 이용하여 상기 피사체의 위치 변동에 부합하는 새로운 주시점을 설정할 수 있다.

본 발명의 입체 카메라의 주시점 자동 제어방법 및 이를 이용하는 입체 카메라 시스템에 따르면, 피사체의 움직임에 맞추어 자동으로 주시점을 조정할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 입체 카메라 시스템의 개략적인 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 입체 카메라의 주시점 자동 제어방법의 과정을 나타내는 흐름도이다.
도 3 내지 도 7은 도 2의 입체 카메라의 주시점 자동 제어방법의 각 단계를 구체적으로 나타내는 예시 도면이다.
도 8은 입체 카메라 주시점 자동 제어방법에 적용되는 작동원리를 예시적으로 설명하기 위한 도면이다.
도 9는 입체 카메라의 자동 주시점 제어방법에 있어서 인공지능을 이용하는 원리를 예시적으로 보여주는 도면이다.

이하, 실시예들을 통하여 본 발명을 상세하게 설명한다. 본 발명의 목적, 특징, 장점은 이하의 실시예들을 통해 쉽게 이해될 것이다. 본 발명은 여기서 설명되는 실시예들에 한정되지 않고, 다른 형태로 구체화될 수도 있다. 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 따라서, 이하의 실시예들에 의하여 본 발명이 제한되어서는 안 된다.

본 명세서에서 제1, 제2 등의 용어가 다양한 요소들(elements)을 기술하기 위해서 사용되었지만, 상기 요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이러한 용어들은 단지 상기 요소들을 서로 구별시키기 위해서 사용되었을 뿐이다. 또, 어떤 요소가 다른 요소 위에 있다고 언급되는 경우에 그것은 다른 요소 위에 직접 형성될 수 있거나 또는 그들 사이에 제3의 요소가 개재될 수도 있다는 것을 의미한다.

도면들에서 요소의 크기, 또는 요소들 사이의 상대적인 크기는 본 발명에 대한 더욱 명확한 이해를 위해서 다소 과장되게 도시될 수 있다. 또, 도면들에 도시된 요소의 형상이 제조 공정상의 변이 등에 의해서 다소 변경될 수 있을 것이다. 따라서, 본 명세서에서 개시된 실시예들은 특별한 언급이 없는 한 도면에 도시된 형상으로 한정되어서는 안 되며, 어느 정도의 변형을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 실시예에 따른 입체 카메라 시스템의 개략적인 블록 구성도이다. 도 1을 참조하면, 입체 카메라 시스템은 입체 카메라(10), 영상 처리부(20), 제어부(30), 카메라 조정부(40)를 포함한다.

입체 카메라(10)는 입체 영상을 획득하기 위한 장치이다. 사람은 두 눈으로 대상의 영상 정보를 지각한 후 이를 뇌에서 종합적으로 인지함으로써 시각 정보를 획득하는데, 양쪽 눈이 대략 6.5cm 정도 떨어져 있기 때문에 대상을 볼 때에 양쪽 눈은 화각의 차이로 인해 서로 다른 영상을 만들어 낼 수 있다. 이를 ‘양안시차(binocular disparity)’라고 하는데, 사람은 시각적 차이가 있는 영상을 합성하여 뇌에서 인식하면서 대상에 대한 입체감을 갖게 된다. 입체 카메라(10)는 '양안(兩眼) 카메라'라고도 하고 사람이 양안을 통하여 입체감을 갖는 원리를 이용하여 입체 영상을 획득하며, 이를 위해 사람의 좌안과 우안에 대응하는 2대의 카메라를 구비하고 있다. 2대의 카메라는 사람의 좌안/우안과 마찬가지로 서로 소정의 간격으로 이격되어 있는데, 이하에서 2대의 카메라 중 좌측에 배치되는 카메라를 '좌영상 카메라(11)'라 명명하고 우측에 배치되는 카메라를 '우영상 카메라(12)'라 명명하며, 좌영상 카메라(11)가 피사체(被寫體)를 촬영한 영상을 편의상 '좌영상'이라 하고 우영상 카메라(12)가 피사체를 촬영한 영상을 '우영상'이라 한다.

입체 카메라(10)에 의하여 촬영된 영상은 영상처리부(20)에 전달된다. 영상처리부(20)는 좌영상 카메라(11)에 의한 좌영상과 우영상 카메라(12)에 의한 우영상을 합성하여 입체 영상을 생성한다. 합성된 영상은 외부에 표시되어 사용자에게 제공될 수 있다. 합성 영상이 표시되는 디스플레이는 평면이기 때문에 입체 영상을 재현하기 위해서는 별도의 기기가 필요하며, 일반적으로 사용자는 3D 영상용 안경을 착용한 상태에서 평면 디스플레이에 표시되는 합성 영상을 보면서 촬영된 대상물의 입체감을 체감할 수 있다.

영상처리부(20)에 전달된 촬영 영상은 제어부(30)에 전달될 수 있다. 제어부(30)는 이전 시점에 촬영된 영상과 현재 시점에 촬영된 영상을 비교하여 영상 속 피사체의 위치가 변동되었는지를 체크하고, 상기 체크된 결과를 반영하여 입체 카메라(10)의 현재의 주시점을 새로운 주시점으로 설정할 수 있다. 제어부(30)에는 룩업테이블(31)이 구비되어 있고, 제어부(30)는 새로운 주시점을 설정할 때에 룩업테이블(31)을 이용할 수 있다. 피사체의 위치 변동과 새로운 주시점을 설정하는 상세과정에 대해서는 후술한다.

제어부(30)에서 현재의 주시점을 새로운 주시점으로 조정하고자 하는 경우에 새로운 주시점을 설정하기 위한 카메라 제어정보가 카메라 조정부(40)에 전달되고, 카메라 조정부(40)는 전달된 제어정보에 근거하여 좌영상 카메라(11)와 우영상 카메라(12)의 움직임을 컨트롤하고, 그 결과 입체 카메라(10)의 주시점을 변경할 수 있다. 카메라 조정부(40)는 좌영상 카메라(11)의 움직임을 조정하는 조정수단과 우영상 카메라(12)의 움직임을 조정하는 조정수단을 각각 구비할 수 있다. 좌영상 카메라(11) 및 우영상 카메라(12)에 대한 각각의 조정수단은 동력을 제공하는 동력제공수단과 상기 동력제공수단으로부터 제공받은 동력을 카메라에 적용하여 주시점이 변경되도록 카메라를 움직이는 카메라 조작수단 등을 포함한다. 구체적으로 상기 조정수단은 모터, 기어, 액추에이터 등과 같은 디바이스를 포함할 수 있으며, 동력을 이용하여 대상물의 움직임을 컨트롤하는 기술은 공지기술이라 할 수 있기 때문에 이에 대한 상세 설명은 생략한다.

도 1에 도시되어 있는 입체 카메라 시스템에는 입체 카메라의 주시점을 자동으로 제어할 수 있는 방법이 적용될 수 있다. 도 2는 본 발명의 실시예에 따른 입체 카메라의 주시점 자동 제어방법의 과정을 나타내는 흐름도이고, 도 3 내지 도 7은 도 2의 입체 카메라의 주시점 자동 제어방법의 각 단계를 구체적으로 나타내는 예시 도면이다.

도 2를 참조하면, 본 실시예에 따른 입체 카메라의 주시점 자동 제어방법은 제1 시점에서 제1 영상을 획득하는 제1 단계(S10), 제2 시점에서 제2 영상을 획득하는 제2 단계(S20), 제1 및 제2 단계(S10, 20)에서의 영상을 분석하여 피사체의 위치 변동에 부합하도록 주시점을 변경하는 제3 단계(S30), 현재의 주시점을 새로운 주시점으로 변경하도록 카메라를 조정하는 제4 단계(S40)를 포함한다.

도 3 및 도 4를 참조하면, 제1 단계(S10)에서 입체 카메라는 피사체를 촬영하여 영상을 획득한다. 입체 카메라는 좌영상 카메라(11)와 우영상 카메라(12)를 포함하며, 촬영대상 피사체는 좌영상 및 우영상 카메라(11, 12)의 전방에 좌영상 및 우영상 카메라(11, 12)로부터 소정의 거리(D1)만큼 이격되어 위치한다. 또한 현재 시점에서 좌영상 및 우영상 카메라(11, 12)에 있어서의 화각(畵角)의 중심선이 피사체에서 만나도록 좌영상 및 우영상 카메라(11, 12)가 세팅된다. 이와 같이 좌영상 및 우영상 카메라(11, 12)의 화각의 중심선이 피사체에서 만날 때에, 이 지점을 주시점(P1)이라 하며 주시점(P1)에서 좌영상 및 우영상 카메라(11, 12)의 중심선이 이루는 각도를 주시각(θ1)이라고 한다. 설명의 편의상 현재 시점을 제1 시점이라고 하면, 상기 주시점(P1)과 주시각(θ1)을 제1 시점에서의 주시점과 주시각이라는 의미로서 제1 주시점(P1)과 제1 주시각(θ1)이라고 명명한다. 또한 제1 시점에서 입체 카메라에 의하여 촬영된 영상을 제1 영상이라 하고, 피사체와 좌영상 및 우영상 카메라(11, 12) 사이의 거리를 제1 거리(D1)라고 한다. 도 4에 도시되어 있는 바와 같이, 제1 시점에 촬영된 제1 영상 속 이미지에서 피사체는 제1 픽셀 사이즈(PS1)만큼의 크기를 갖는다.

도 5 및 도 6을 참조하면, 제2 단계(S20)에서 입체 카메라는 제2 시점에서 피사체를 촬영하여 영상(제2 영상)을 획득한다. 제2 시점에서 피사체는 제1 시점에서의 위치와 다른 위치로 이동한다. 도 5에 도시되어 있는 바와 같이, 제2 시점에서 피사체는 제1 시점에서의 위치에서 좌영상 및 우영상 카메라(11, 12)쪽으로 더 이동하고, 이에 따라 좌영상 및 우영상 카메라(11, 12)와 피사체 사이의 거리는 제1 거리(D1) 보다 작은 제2 거리(D2)로 줄어든다. 도 6에 도시되어 있는 바와 같이, 제2 영상 속 이미지에서 피사체는 제2 픽셀 사이즈(PS2)만큼의 크기를 갖는다. 제2 시점에서 피사체는 카메라 쪽으로 이동한 상태이기 때문에 제2 영상 속 피사체는 제1 영상 속에서 보다 더 크게 보이며, 제2 픽셀 사이즈(PS2)는 제1 픽셀 사이즈(PS1) 보다 사이즈가 증가한다.

도 5에 도시되어 있는 바와 같이, 제2 시점에서 피사체의 위치가 변동되었음에도 불구하고, 좌영상 및 우영상 카메라(11, 12)의 주시점과 주시각은 여전히 제1 주시점(P1)과 제1 주시각(θ1)에 맞추어져 있다. 따라서 주시점 및 주시각을 제1 주시점(P1) 및 제1 주시각(θ1)으로부터 현재 시점(제2 시점)의 피사체의 위치에 맞추어 조정할 필요가 있다. 이와 같이 피사체의 움직임에 맞추어 주시점을 조정하는 것을 주시점의 제어라고 하는데, 주시점을 제어하지 않는 경우에는 영상 속 화면 내에 과도한 시차가 발생하여 사람의 눈에 피로감이 발생할 수 있다.

본 발명의 실시예에 따른 제3 단계(S30)에서는 제1 단계(S10)에서 획득한 제1 영상과 제2 단계(S20)에서 획득한 제2 영상을 분석하여 새로운 주시점(및/또는 새로운 주시각)을 찾아낸다. 도 2를 다시 참조하면, 제3 단계(S30)는 제1 및 제2 영상을 비교하는 단계(S31), 상기 비교를 통하여 촬영대상 피사체의 위치 변동 여부를 체크하는 단계(S32), 피사체의 위치 변동량이 소정의 문턱값 이상인 경우에 새로운 주시점을 설정하는 단계(S33) 등과 같은 복수의 서브 단계를 포함한다. 제3 단계(S30)에 있어서의 첫번째 서브 단계(S31)에서는 제1 영상 속 피사체의 제1 픽셀 사이즈(PS1)와 제2 영상 속 피사체의 제2 픽셀 사이즈(PS2)를 서로 비교한다. 이어서 제3 단계(S30)에 있어서의 두번째 서브 단계(S32)에서는 제1 및 제2 픽셀 사이즈(PS1, PS2)의 차이를 체크하여 피사체가 제1 시점과 제2 시점 사이에 그 위치가 어느 정도 변동되었는지를 확인한다. 제3 단계(S30)에 있어서의 마지막 서브 단계(S33)에서는 피사체의 위치 변동에 맞추어 현재의 주시점을 새로운 주시점으로 설정한다. 제3 단계(S30)에서 피사체의 영상 속 픽셀 사이즈(PS1, PS2)를 체크한 후 이로부터 새로운 주시점을 설정하는 방법에 대해서는 추후 도 8을 참조하여 설명한다.

도 7을 참조하면, 제4 단계(S40)에서 입체 카메라의 주시점을 제3 단계(S30)에서 찾아낸 새로운 주시점으로 변경한다. 즉 좌영상 및 우영상 카메라(11, 12)에 있어서의 화각의 중심선이 위치가 변동되어 있는 피사체에서 만나도록 좌영상 및 우영상 카메라(11, 12)의 움직임을 조정한다. 이에 따라 입체 카메라의 주시점이 제2 주시점(P2)으로 조정되고 주시각 또한 제2 주시각(θ2)으로 조정된다. 여기에서 좌영상 및 우영상 카메라(11, 12)의 움직임을 조정한다는 것은 좌영상 및 우영상 카메라(11, 12)를 움직여서 그 위치를 변경하는 동작 및/또는 좌영상 및 우영상 카메라(11, 12)의 위치는 그대로 두고 카메라의 촬영 방향만을 조정하는 동작 등과 같은 다양한 동작을 포함할 수 있다.

위에서 설명한 주시점 자동 제어의 전체 과정을 단순화하여 요약하면, 제1 시점에서 영상 속 피사체의 픽셀 사이즈(PS1)와 제2 시점에서 영상 속 피사체의 픽셀 사이즈(PS2)의 변화량(ΔPS)을 파악하고, 상기 피사체의 픽셀 사이즈 변화(ΔPS)에 근거하여 제1 시점에서 피사체의 위치(D1; 피사체의 위치는 카메라와 피사체 사이의 거리에 따라 달라질 수 있으므로, 편의상 피사체의 위치를 나타내는 파라미터로서 카메라와 피사체 사이의 거리를 사용한다)와 제2 시점에서 피사체의 위치(D2) 사이의 변화량(ΔD)을 파악하며, 상기 피사체의 위치 변화(ΔD)에 근거하여 현재의 주시점(제1 주시점(P1))을 새로운 주시점(제2 주시점(P2))으로 설정한 후, 새로운 주시점으로 변경하기 위하여 좌영상 카메라와 우영상 카메라의 움직임을 어떻게 컨트롤할 것인지 그 제어값을 결정하고, 상기 카메라 컨트롤 제어값에 따라 좌영상 카메라와 우영상 카메라를 조작하는 것이다. 여기에서 주시점을 제1 주시점(P1)에서 제2 주시점(P2)으로 변경하기 위하여, 좌영상 및 우영상 카메라를 제1 상태에서 제2 상태로 변경시킨다고 할 때에 제1 상태에서 제2 상태로의 상태 변경량을 ΔM(예를 들면 카메라의 위치 이동에 관한 제어값을 M1, 카메라의 촬영 방향 조정에 관한 제어값을 M2 라고 표현할 때에, ΔM은 제1 주시점(P1)을 제2 주시점(P2)로 바꾸기 위하여 변경되어야 하는 M1, M2, 기타 다른 카메라 조작 파라미터에 대한 제어값을 나타낸다)이라고 하면, 전체 과정은 하기의 ①, ②, ③, ④로 표현될 수 있다.

① ΔPS(PS1, PS2,...) ; 영상 속 픽셀사이즈 변화 체크

② ΔD(D1, D2,...) ; 피사체의 위치 변화 체크

③ P1 → P2 ; 새로운 주시점 설정

④ ΔM(M1, M2,...) ; 카메라 제어값에 따라 카메라 움직임 컨트롤

(여기에서 ...으로 표시된 것은 다른 파라미터가 더 개입될 수도 있음을 의미한다. 또한 ΔM, ΔD 등은 변화량뿐만 아니라 변화의 방향까지 포함하는 벡터가 될 수도 있다.)

위와 같은 ①→②→③→④의 과정에 있어서, ②→③은 피사체의 위치가 변경되었을 때에 변경된 피사체의 위치에 맞춰서 주시점을 변경하는 것이고, ③→④는 새로운 주시점 위치로 주시점을 조정하기 위해서 카메라를 움직이는 것으로 통상적인 카메라의 조작에 관한 것이므로, 이에 대한 상세 설명은 생략한다. 이하에서는 ①→②의 과정에 대해서 부연 설명한다.

도 8은 입체 카메라 주시점 자동 제어방법에 적용되는 작동원리를 예시적으로 설명하기 위한 도면이다.

도 8을 참조하면, 제1 시점에서 피사체가 제1 위치에 있을 때에 카메라 렌즈와 피사체 사이의 거리는 제1 거리(D1)가 되고, 제2 시점에서 피사체가 제2 위치에 있을 때에 카메라 렌즈와 피사체 사이의 거리는 제2 거리(D2)가 된다. 또한 제1 위치에 있는 피사체가 카메라의 이미지 센서에 포착되는 이미지의 사이즈는 제1 픽셀 사이즈(PS1)가 되고 제2 위치에 있는 피사체가 카메라의 이미지 센서에 포착되는 이미지의 사이즈는 제2 픽셀 사이즈(PS2)가 된다. 여기에서 카메라 렌즈를 기준으로 하여 좌측의 피사체와 우측의 피사체 이미지가 형성하는 삼각형은 서로 닮은 형태가 된다. 구체적으로 제1 시점에서 제1 거리(D1)를 밑변으로 하고 피사체의 높이(H)를 높이로 하는 좌측 직각 삼각형과, 카메라 렌즈의 촛점거리(f)를 밑변으로 하고 피사체 이미지의 제1 픽셀 사이즈(PS1)를 높이로 하는 우측 직각 삼각형은 서로 닮은 형태이다. 또한 제2 시점에서 제2 거리(D2)를 밑변으로 하고 피사체의 높이(H)를 높이로 하는 좌측 직각 삼각형과, 카메라 렌즈의 촛점거리(f)를 밑변으로 하고 피사체 이미지의 제2 픽셀 사이즈(PS2)를 높이로 하는 우측 직각 삼각형은 서로 닮은 형태이다.

따라서 제1 시점 및 제2 시점에서 삼각형의 닮음으로부터 다음과 같은 수식이 성립한다.

(제1 시점)

D1:H = f:PS1 → f = (D1×PS1)/H ....수식(1)

(제2 시점)

D2:H = f:PS2 → D2 = (f×H)/PS2 ....수식(2)

위의 수식(1), (2)에 있어서, 수식(2)의 f에 수식(1)을 대입하면 다음과 같은 수식이 성립한다.

D2 = (D1×PS1)/PS2 ....수식(3)

수식(3)에 따르면, D1(제1 거리), PS1(제1 픽셀 사이즈), PS2(제2 픽셀 사이즈)로부터 D2(제2 거리)를 알 수 있다. 여기에서 제1 및 제2 픽셀 사이즈(PS1, PS2)는 카메라가 촬영한 영상 속 이미지로부터 파악할 수 있고, 제1 거리(D1)는 제1 시점에서 카메라와 피사체 사이의 거리인데, 제1 시점을 최초에 카메라를 세팅하는 단계라고 하면 제1 거리(D1)도 파악할 수 있다. 이 상태에서 촬영이 시작되고 제2 시점에서 피사체가 이동하면 상기 수식(3)으로부터 제2 거리(D2)를 파악할 수 있고, 제1 및 제2 거리(D1, D2)에서 피사체의 위치 변화(ΔD)를 체크하여 상기 변화량이 소정의 문턱값 이상이 되면 주시점을 변경해야 하는 상황이라고 판단하고, 앞에서 설명한 ② → ③ → ④의 과정을 거쳐서 카메라의 주시점을 새로운 주시점으로 변경할 수 있다. 위와 같이 주시점이 변경된 상태에서 제3 시점에서 다시 피사체의 위치가 변경된 경우에는, 제2 시점에서의 피사체의 위치를 알고 있는 상태에서 수식(3)을 이용하여 변경된 피사체의 위치를 파악할 수 있고, 또한 ② → ③ → ④의 과정을 거쳐서 카메라의 주시점을 새로운 주시점으로 변경할 수 있다. 이러한 과정을 반복함으로써 이전 시점과 현재 시점 사이에 피사체의 위치가 변경된 경우에, 변경된 위치에 맞추어서 주시점을 다시 설정하면서 주시점을 자동으로 제어할 수 있다.

상기 ①→②→③→④의 과정을 진행함에 있어서, 이 과정이 보다 신속하게 진행할 수 있도록 룩업테이블을 이용할 수 있다.

예를 들면, 위의 표에 나타나 있는 바와 같이, 제1 시점과 제2 시점 사이에 문턱값 이상의 픽셀 사이즈의 변화(ΔPS)과 있을 때에, 해당하는 픽셀 사이즈 변화에 대응하는 피사체의 위치 변화(ΔD), 새로운 주시점의 설정(P1 → P2(ΔP)), 새로운 주시점으로 변경하기 위한 카메라 움직임 제어값(ΔM) 등에 대한 수치 정보를 미리 테이블로 작성하여 보관하고 있다면, 상기 룩업테이블을 참조하는 것만으로 주시점 변경에 대한 여러가지 변수의 변동량을 쉽게 파악할 수 있다. 상기 룩업테이블에 표시되어 있는 항목(ΔPS, ΔD, ΔP, ΔM)은 예시적인 것이며, 이들 항목 이외에 다른 항목이 추가되거나 또는 이들 항목 중 일부가 제외될 수도 있다.

이상 영상 속 픽셀 사이즈의 변동량을 체크해서 주시점을 자동으로 제어하는 과정 및 이 과정에서 룩업테이블을 이용하는 방법을 설명하였는데, 주시점 자동 제어를 위해 반드시 위에서 설명한 방법만 사용되는 것은 아니며, 다른 방법이 사용될 수도 있다. 다른 방법의 한 가지 예로서, 앞에서 설명한 ①→②→③→④의 과정 중 적어도 어느 하나의 단계를 인공지능을 이용하여 진행할 수 있다.

도 9는 입체 카메라의 자동 주시점 제어방법에 있어서 인공지능을 이용하는 원리를 예시적으로 보여주는 도면이다.

도 9를 참조하면, 제어부에서 영상 속 픽셀사이즈 변화(ΔPS)로부터 피사체의 위치 변화(ΔD)를 파악함에 있어서, 제어부는 상기한 과정을 인공지능을 이용하여 수행할 수 있다. 도 9(a)는 상기 인공지능에 머신러닝의 인공 신경망이 적용되어 있는 예를 나타내고 있다. 인공 신경망은 입력층(Input Layer; IL), 출력층(Output Layer; OL), 입력층(IL)과 출력층(OL) 사이의 복수의 은닉층(Hidden Layer; HL)으로 구성되어 있는 다중 계층 퍼셉트론(Multi-Layer Perceptron)의 구조를 가질 수 있다. 상기 구조에서 입력 데이터로서 제1 시점에서의 피사체 영상(제1 영상)과 제2 시점에서의 피사체 영상(제2 영상)을 입력받고 피사체의 위치 변화값을 출력 데이터로 출력할 수 있다. 상기 인공 신경망에 있어서 입력층(IL)은 상기 입력 데이터에 근거하는 복수의 노드로 구성되고 출력층(OL)은 상기 출력 데이터의 근거가 되는 적어도 하나 이상의 노드로 구성되며, 은닉층(HL)은 입력값들을 변환하여 형성되는 복수의 노드로 구성될 수 있다.

여기에서 상기 인공지능은 입력 데이터가 주어지기 전에 먼저 학습이 완료된 것일 수 있다. 여기에서의 학습은 학습 데이터에 의하여 이루어진다. 학습 데이터는 학습용 입력 데이터와 학습용 출력 데이터로 이루어지며, 학습용 입력 데이터를 X, 학습용 출력 데이터를 Y라고 하면, X는 피사체의 위치가 변동되었을 때에 변동 전의 촬영영상과 변동 후의 촬영영상이 될 수 있고, Y는 피사체의 위치 변동량이 될 수 있다. 복수의 입력 데이터에 대해 복수의 출력 데이터가 확보되어 있다면 학습 데이터는 [(X1, Y1), (X2, Y2), (X3, Y3)....]과 같은 X 데이터와 Y 데이터의 세트가 될 수 있다. 도 9(b)에 도시되어 있는 바와 같이, 데이터 세트[(X1, Y1), (X2, Y2), (X3, Y3)....]를 인공지능에게 제공하여 학습시키면 학습이 완료된 인공지능을 얻게되고, 학습이 완료된 인공지능에게 Y값을 알지 못하는 X값을 입력하면 학습된 내용을 바탕으로 하여 Y값을 도출해 낼 수 있다.

위에서 피사체의 촬영 영상 이미지를 입력데이터로 하여 피사체의 위치 변동을 출력데이터로 얻는 방법을 설명하였지만, 이 뿐만 아니라 피사체의 촬영 영상 이미지를 입력데이터로 하여 새로운 주시점을 설정하고 이에 맞추어 어떻게 카메라를 조작해야 하는지에 관한 제어값(ΔM)을 출력 데이터로 얻을 수 있도록 구성할 수 있으며, 이는 앞에서 설명한 ①→②→③→④의 과정에서 중간과정을 생략하고 ①→④를 다이렉트로 진행하는 것이다. 피사체의 위치가 변경되었을 때에 주시점을 제어하는 최종목표는 변경된 피사체 위치로 주시점을 조정하기 위해서 카메라 움직임을 어떻게 컨트롤해야 하는지에 대한 정보이며, ①→④를 진행함으로써 최종적으로 필요한 정보를 바로 획득할 수 있다.

위와 같이 본 발명의 구체적인 실시예들을 살펴보았지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 입체 카메라
11: 좌영상 카메라
12: 우영상 카메라
20: 영상 처리부
30: 제어부
31: 룩업테이블
40: 카메라 조정부

Claims (6)

1. 좌영상 카메라와 우영상 카메라를 포함하는 입체 카메라에 있어서 상기 좌영상 카메라와 상기 우영상 카메라의 주시점을 자동으로 제어하는 방법으로서,
   제1 시점에서 피사체의 제1 영상을 획득하는 제1 단계:
   제2 시점에서 상기 피사체의 제2 영상을 획득하는 제2 단계:
   상기 제1 및 제2 영상으로부터 상기 제1 시점에서 상기 피사체의 위치와 상기 제2 시점에서 상기 피사체의 위치가 변동되었는지를 체크하고, 상기 피사체의 위치가 변동된 경우에는 상기 피사체의 위치 변동에 부합하는 새로운 주시점을 설정하는 제3 단계; 및
   상기 좌영상 및 우영상 카메라를 컨트롤하여 현재의 주시점을 상기 새로운 주시점으로 조정하는 제4 단계를;
   포함하는
   입체 카메라의 주시점 자동 제어방법.
2. 제1항에 있어서,
   상기 제3 단계에서는 상기 제1 및 제2 영상 속 피사체의 사이즈 변화 여부를 감지하여 상기 피사체의 위치가 변동되었는지를 체크하는 입체 카메라의 주시점 자동 제어방법.
3. 제2항에 있어서,
   상기 피사체의 사이즈 변화와 상기 주시점의 위치 변동 사이의 대응관계를 나타내는 룩업테이블이 구비되며, 상기 제3 단계에서는 상기 룩업테이블을 이용하여 상기 피사체의 위치 변동에 부합하는 새로운 주시점을 설정하는 입체 카메라의 주시점 자동 제어방법.
4. 좌영상 카메라와 우영상 카메라를 포함하는 입체 카메라;
   상기 입체 카메라에 의하여 획득된, 제1 시점에서의 제1 영상과 제2 시점에서의 제2 영상으로부터 상기 제1 시점에서 피사체의 위치와 상기 제2 시점에서 상기 피사체의 위치가 변동되었는지를 체크하고, 상기 피사체의 위치가 변동된 경우에는 상기 좌영상 카메라와 상기 우영상 카메라의 주시점을 상기 피사체의 위치 변동에 부합하는 새로운 주시점으로 설정하는 제어부; 및
   상기 좌영상 및 우영상 카메라를 컨트롤하여 현재의 주시점을 상기 새로운 주시점으로 조정하는 카메라 조정부를;
   포함하는
   입체 카메라 시스템.
5. 제4항에 있어서,
   상기 제어부는 상기 제1 및 제2 영상 속 피사체의 사이즈 변화 여부를 감지하여 상기 피사체의 위치가 변동되었는지를 체크하는 입체 카메라 시스템.
6. 제5항에 있어서,
   상기 제어부는 상기 피사체의 사이즈 변화와 상기 주시점의 위치 변동 사이의 대응관계를 나타내는 룩업테이블을 구비하며, 상기 룩업테이블을 이용하여 상기 피사체의 위치 변동에 부합하는 새로운 주시점을 설정하는 입체 카메라 시스템.
   
   
   

Images