KR20150090647A - 비동기식 입체카메라의 동기최적화 방법 - Google Patents

Abstract

본 발명은 좌,우 카메라를 장착한 리그를 이용하여 입체영상을 촬영, 합성하는 과정에서 카메라가 동기되어있지 않은 비동기 카메라를 이용하여 촬영할때 발생하는 좌,우 카메라사이의 시간적인 비동기를 최적화하기 위한 영상신호처리 분야이다. 비동기 카메라를 사용할 경우, 좌,우 카메라는 서로가 완전히 독립적인 카메라이기 때문에 각각 촬영되는 영상은 시간적으로 일치하지 않는다. 시간적인 동기가 완전히 일치하지 않으면 합성된 입체 영상은 서로 겹쳐지지 않고 시간적으로 서로 다른 형태의 이전 영상과 이후 영상의 중복된 형태로 보일수가 있기 때문에 시각적으로 어지러움증을 발생시키게 된다. 본 발명은 좌,우 카메라에서 들어오는 영상을 이용하여 가장 시간적으로 일치하는 프레임을 찾아내고 동기화 시킴으로써 좌,우 카메라간에 발생하는 촬영시점의 오차를 최소화하여 최적의 입체영상을 합성하고자 한다. 즉 메모리에 저장된 3 프레임 이상의 연속적인 영상을 이용하여 가장 유사한 특성을 가지는 영상을 찾아내고 이것을 동기의 시점으로 재조종하고 합성함으로써 좌, 우 카메라간의 동기를 최적화 시키고, 각 카메라의 내부 클럭발생기의 차이에 의해서 시간에 따라서 편차가 발생하는것을 계속적으로 모니터링함으로써 최대 0.5 프레임 이내의 오차 범위에서 동기편차를 유지시킴으로써 시각적인 피로감을 최소화 시키고, 별도의 동기를 일치시키는 장비를 사용하지 않음으로써 비용을 절감할수 있도록 하였다.

Description

비동기식 입체카메라의 동기 최적화 방법 {The synchronization optimization method of non-synchronized stereoscophic camera}

본 발명은 좌,우 카메라를 장착한 리그를 이용하여 입체영상을 촬영하는 입체영상합성장비를 이용한 입체영상 합성에 대한 것으로, 카메라가 동기되어있지 않은 비동기 카메라를 이용하여 촬영할때 발생하는 좌,우 카메라사이의 시간적인 비동기를 최적화하기 위한 영상신호처리 분야이다.

입체영상을 촬영할 때는 기본적으로 좌,우 2개의 카메라를 장착하고 동시에 영상을 촬영하여야 한다. 비동기 카메라를 사용할 경우, 좌,우 카메라는 서로가 완전히 독립적인 카메라이기 때문에 각각 촬영되는 영상은 시간적으로 일치하지 않는다. 좌측 카메라와 우측 카메라가 영상을 촬영하는 시간적인 동기가 완전히 일치하지 않으면 합성된 입체 영상은 서로 겹쳐지지 않고 시간적으로 서로 다른 형태의 이전 영상과 이후 영상의 중복된 형태로 보일수가 있기 때문에 시각적으로 어지러움증을 발생시키게 된다. 카메라에 따라서는 외부 동기신호를 입력받아서 외부 동기신호에 맞추어 영상을 촬영하는 고가의 전문가용 입체 카메라도 있지만 통상적으로는 각각 독립적인 카메라를 2개 장착한 방법으로 입체카메라를 만들게 된다. 이런 경우 통상적으로 1∼3 프레임정도 범위의 시간차 범위에서 동기가 일치하지 않으며 본 발명은 좌,우 카메라에서 들어오는 영상중에서 최적의 일치되는 좌,우 영상을 찾아서 합성하도록 함으로써 입체영상 시청시에 시각적인 피로감을 최소화 하고자 한다.

본 발명은 상기와 같이, 좌,우 카메라의 동기기능이 없는 카메라를 사용하여 입체를 촬영하고자 할때 좌,우 카메라에서 들어오는 영상을 이용하여 가장 시간적인 일치하는 프레임을 찾아내고 동기화 시킴으로써 좌,우 카메라간에 발생하는 촬영시점의 오차를 최소화하여 최적의 입체영상을 합성하고자 한다. 즉 메모리에 저장된 3 프레임이상의 연속적인 영상을 이용하여 가장 유사한 특성을 가지는 영상을 찾아내고 이것을 동기의 시점으로 재조종하고 합성함으로써 좌, 우 카메라간의 동기를 최적화 시키고 시각적인 피로감을 최소화 시키고자 한다.

본 발명의 목적은 동기입력을 가지지 않은 일반적인 카메라 2 개를 이용하여 입체를 촬영할때 각각의 시간적인 동기를 최적화하고자 하는것으로 각각의 메모리에 저장된 좌, 우 영상을 상호 비교함으로써 가장 일치하는 영상을 찾아내고 이를 합성하고자 하는것으로,

보다 상세하게는 좌,우 영상의 에지특성을 추출하고 이런 에지특성이 얼마나 유사한지를 측정하고 이런 유사성이 가장 큰 좌,우의 영상을 동일시점에 촬영된 영상으로 판단하여 이를 동기시점으로 맞추고 합성하게 된다. 이런 카메라는 비동기이기 때문에 촬영시작 시점뿐만 아니고 각 카메라의 내부 클럭발생기의 차이에 의해서 시간에 지나면서 도면 5 와 같이 시간적인 편차가 발생하고 이를 계속적으로 모니터링함으로써 최대 0.5 프레임 이내의 오차 범위에서 동기편차를 유지시킬수 있도록 하고자 한다. 이런 시간적인 편차는 각 카메라의 내부 클럭발생기의 편차정도에 따라서 시간에 따른 편차정도가 다르지만 통상적으로 5∼20분 정도사이에 발생하게된다. 도면 5 는 예를 보이기 위해서 극단적인 편차의 예를 보여주고 있다.

입체를 볼때 시각적인 어지러움증이나 피로감을 발생시키는 요소들 많이 있기 때문에 입체 촬영은 상대적으로 일반적인 촬영보다 매우 어렵고 비용도 많이 발생하게 된다. 또한 사람마다 입체감을 느끼는 정도가 다르기 때문에 입체의 촬영은 매우 정교하게 반복적인 확인, 검사를 거치면서 이루어지게 된다. 좌 우 카메라의 밝기, 색상 및 초점특성, 객체와의 거리감, 좌우카메라의 거리 그리고 촬영동기등 고려해야할 요소들이 많기 때문에 일반인들은 촬영하기가 쉽지 않다. 전문가들이 사용하는 고가의 카메라 또는 장비들은 이런 요소들을 반영하여 좌,우 카메라의 오차를 최소화 함으로써 촬영시에 많은 도움이 되지만 일반인들이 사용하는 입체카메라의 경우에는 이런 고가의 측정 또는 제어장치들이 없다. 본 발명은 입체의 시각적인 어지러움증 또는 불편감을 발생시키는 요소중에서 좌,우 카메라의 촬영시간, 즉 동기 편차로 발생하는 동기오차를 최소화 시킴으로써 입체영상의 시청시에 발생하는 입체의 시각적인 불편감을 최소화 시키고 별도의 동기를 일치시키는 장비를 사용하지 않음으로서 비용을 절감할수 있도록 하였다.

도면 1 : 좌, 우 카메라의 실물 촬영의 예
(a) 시간 t1, t2 시점에서의 실사의 예
(b),(c) 동기편차의 유무에 따른 입체합성의 결과 예
도면 2 : 동기 편차 발생의 예
(a) 동기 시작신호의 차이에 따른 동기편차 발생의 예
(b) 클럭 발생기의 차이에 따른 동기편차 발생의 예
도면 3 : 좌, 우 카메라의 영상저장을 위한 메모리의 구성예
도면 4 : 동기편차보상을 위한 신호처리 절차도
도면 5 : 동기영상의 전환을 위한 타이밍시점의 예

통상적으로 카메라는 초당 30 프레임 또는 60 프레임과 같이 1초 동안에 수십장의 정지영상을 연속적으로 촬영함으로써 동영상을 표현한다. 일반적인 단일 카메라를 사용하는 촬영에서는 아무런 문제가 발생되지 않지만, 동시에 동일시점의 영상을 촬영하고 입체규격으로 합성해야 하는 입체카메라의 경우에는 각각의 카메라가 하나의 카메라 동작과 같이 완벽하게 동일시간에 동일시점의 영상을 촬영할수 있어야 한다. 사람의 눈은 항상 동일 객체를 동일 시간에 보고있기 때문에 가장 이상적인 입체 카메라에 해당한다. 하지만 물리적으로 만들어진 2 개의 좌, 우 카메라는 여러가지 면에서 편차가 발생하며 이런 편차가 반영된 좌, 우 카메라의 영상을 합성한 입체영상은 각각의 편차 정도에 따라서 다르지만 근본적으로 입체 시청감을 저해하는 요소가 된다. 이런 요소들중에서 입체촬영 시간을 의미하는 동기의 편차가 존재한다면, 시청자는 서로 다른 시간대의 영상을 합성한 영상을 보기 때문에 장시간 시청시에 시각적인 피로감을 유발한다.

도면 1 는 이와 같이 좌,우 카메라에 동기편차가 발생했을 때 입체영상을 시청하는 시청자의 입장에서 임의의 한 프레임을 보았을때의 입체 영상이 어떻게 다르게 구성되는가를 보여주는 예이다.

이해를 쉽게 하기 위해서, 시계추가 있는 시계를 촬영하는 경우에 도면 1(a)는 실제 시간 t1, 시간 t2 에서 시계추의 위치를 보여주는 실사의 예이다. 도면 1(b) 는 좌,우 카메라 동기가 일치되어 동시에 시간 t1 에서 촬영되었을 경우의 합성 예이고, 도면 1(c) 는 동기가 일치되어있지 않은 경우로, 좌측 카메라는 시간 t1, 우측 카메라는 시간 t2 시간에 촬영한 영상이다. 즉 좌측 카메라는 시계추가 왼쪽 정점에 도달했을때 촬영하였다면, 우측 카메라는 약간 늦게 촬영이 되어서 밑으로 내려오는 과정에서 촬영이 되었다. 이와 같이 동일시간에 촬영이 되지 않았을 경우에는 각 영상을 입체규격에 따라 합성하였을 경우 시계추에 해당하는 동일 객체가 합성된 영상으로 도면 1(c) 와 같이 중복된 입체영상이 형성되고 이것은 시각적으로 불편감을 발생시킨다. 통상적으로 시각적인 불편감은 좌,우 카메라의 촬영 시간차가 클수록, 즉 카메라간의 동기편차가 클수록 커지게 되며, 통상적으로 최소한 반프레임, 즉 0.5 프레임보다 작도록 동기편차가 유지되어야 한다. 따라서 동기시점이 0.5 프레임 이상이 발생한다면, 바로 이전 또는 이후 프레임과는 다시 0.5 프레임이내로 오차가 발생하는 것이기 때문에 입체를 합성하기 위한 영상의 위치를 이전 또는 이후 프레임으로 변경하여야 한다. 이렇게 함으로써 어떤 경우든 0.5프레임 이내의 동기편차를 가지는 가장 근접된 영상을 입체영상에 적용할 수 있도록 해야한다.

도면 2 은 통상적인 좌,우 입체 카메라를 이용하여 영상을 촬영할때 좌, 우 카메라의 특성에 따라서 발생하는 동기신호의 예이다. 동기신호의 편차는 영상을 촬영하는 장비의 동기신호 발생 시점과 동기를 생성하기 위해서 사용되는 카메라 내부의 클럭발생기의 편차에 의해서 발생한다. 도면 2(a) 에 해당하는 첫번째 경우는 좌,우 카메라의 동기시작시점의 차이에 따라서 발생한다. 그리고 도면 2(b) 에 해당하는 두번째는 근본적으로 클럭 발생기의 물리적인 물성 오차로 인해서 각 클럭발생기의 주파수가 다르기 때문에 시간이 지나가면서 서서히 동기편차가 발생하게 된다.

도면 3 은 본 특허의 목적인 최적의 좌,우 일치영상을 찾아내고 추적하기 위한 영상처리용 메모리 구조로 좌,우 카메라의 입력 영상을 저장한 후 최근접으로 일치하는 영상을 찾거나 또는 영상처리하기 위한 것이다. 좌측 카메라를 기준 영상으로 정의하였을 경우에 좌측 카메라는 1개의 프레임을 저장할수 있는 크기의 영상 메모리만 필요하며, 우측 카메라는 최소 3개의 영상 저장용 메모리가 필요하다. 우측 카메라의 영상저장용 메모리가 최소 3 프레임이 필요한 이유는 좌측 카메라의 영상을 기준으로 우측 카메라에서 최대한 동일시점에 촬영된 유사 영상을 찾아내기 위하여 현재의 우측 영상메모리(N=2) 와 이전(N=1), 이후(N=3)의 영상이 필요하다. 즉, 좌,우 카메라가 최대 1 프레임 이내의 편차를 발생시킨다는 전제하에 좌측 카메라의 동기를 기준으로 우측 카메라의 +/- 1 프레임 사이의 영상을 검사하게 되며, 만약 카메라간의 편차가 2 프레임이상의 오차를 발생시키는 경우라면 우측 카메라의 메모리는 최소 5 프레임의 영상을 저장할수 있는 메모리가 필요하다. 하지만 통상적으로 1 프레임의 오차가 발생하기 때문에 본 발명에서는 3 프레임의 메모리를 기준으로 설명하며, 이것은 통상적인 영상처리를 하는 분야의 기술자라면 충분히 유추가 가능하다.

본 특허의 목적은 별도로 동기장치를 이용하여 좌,우 카메라 동기를 맞추는 기능을 가지는 고가의 카메라와 달리 완벽한 동기를 맞추는것이 불가능한 일반적인 비동기 카메라를 사용하여 입체을 촬영할때 시각적인 불편감을 최소화 시킬수 있는 0.5 프레임 이내로 편차를 최소화 시키기 위한 것이다. 근본적으로 동기장치가 없이 100％ 완벽히 동기를 일치시키는것은 불가능하기 때문에 에지영상을 이용하여 가장 유사한 최근접 영상을 찾아 동기화 시키고, 계속적으로 동기의 위치를 측정하여 0.5 프레임이상 커지면 이전 또는 이후 프레임으로 재동기를 수행하여 항상 0.5 프레임 이내의 영상에 동기되도록 한다.

도면 4 는 좌측 카메라 입력영상의 에지 특징영상과 우측 카메라 에지 특징영상의 유사성을 비교하고 재동기화 시키기 위한 절차도이다. 일반 영상과 달리 에지영상은 영상내 객체들의 외곽형태를 표현하는것으로 영상의 형태에 대한 특징을 가지고 있고 상호 유사성을 비교하는데 있어서 보다 정확성을 가지고 있기 때문에 원영상보다 에지영상을 이용하여 유사성을 비교하고자 한다. 좌,우 영상은 매우 가까이 붙은 좌,우 카메라에서 촬영된 것이기 때문에 영상의 형태가 매우 유사하며, 결과적으로 에지영상의 차이가 작을수록 동일시간에 촬영된 영상으로 유추가 가능하다. 만약 영상의 움직임이 없는 거의 정지영상의 경우라면 우측 영상 메모리에 저장된 N1,N2,N3 (이전, 현재, 이후) 영상이 거의 동일하며, 위의 유사성 비교는 큰 의미가 없기 때문에 해당 기능을 사용하지 않고 이전의 마지막 상태를 유지한다. 따라서 재동기화 기능을 수행하기 전에 먼저 영상의 움직임이 있는지를 검출한 다음, 일정 이상의 움직임이 존재하는 경우에만 재동기화 기능을 수행한다. 영상의 움직임은 우측 영상에 저장된 3 프레임의 영상중 첫번째 및 두번째 영상간의 모션을 검출하여 해당 모션의 크기가 일정 이상되면 이를 움직임이 있는 영상으로 정의한다.

영상의 움직이 있는것으로 판단되면, 도면 3 와 같이 좌,우 카메라의 영상을 입력받는 메모리를 참고로 좌측 카메라의 에지 생성영상에 해당하는 Left_Edge 영상을 생성한다. 그리고 우측 카메라의 영상이 저장된 3개의 메모리중에서 첫번째 영상을 좌측 메모리의 에지영상 생성과 동일하게 우측 에지영상 Right_Edge[1] 을 생성한다. 각각 생성된 에지영상은 영상의 유사성을 측정하기 위하여 아래와 같이 영상내의 각각의 화소들에 대해서 절대차이를 연산하는 에지차이(Edge Difference) 영상을 생성한다. 그리고 유사성 값(Corelation Value)은 에지차이 영상의 모든 화소값의 평균값을 산출한다.

EdgeDiff[1] = ABS(Left_Edge - Right_Edge[1]), for all pixels

Coreleation Value[1] =

그리고 다음 메모리에 있는 N2, N3 영상에 대해서도 Right_Edge[2], Right_Edge[3] 을 생성한 후 동일한 연산을 수행하고, 얻어진 유사성값 3개 중에서 가장 작은 유사성값을 가지는 우측의 영상을 동일시간에 촬영된 영상으로 판정한다.

이와 같이 판정된 이후는, 위에서 설명한 각 카메라내의 클럭발생기의 편차에 의해서 시간이 지나감에 따라서 서서히 동기의 편차가 +/- 방향으로 변동하게 되며 일정시간 이후에는 다시 동기의 편차가 0.5 프레임 이상으로 커지게 된다. 따라서 도면 5 와 같이 동기의 편차값을 추적하고 있다가 상대적으로 좌측 카메라의 동기를 기준으로 우측 카메라의 동기의 편차가 0.5 프레임이상 변동이 생기게되면 동기의 편차방향에 따라서 이전 또는 이후 프레임으로 일치영상을 이동함으로써 항상 0.5 프레임이내로 동기편차를 유지할수 있도록 한다.

10. 시간 t1 서점에서의 실사
11. 시간 t2 시점에서의 실사
12. 시간 t1 에 동기된 좌, 우 카메라의 합성결과
13. 시간 t1, t2 에서 동기된 좌, 우 카메라의 합성 결과
20. 좌측 카메라의 동기신호
21. 우측 카메라의 동기신호
22. 프레임 영상신호
23. 좌측 카메라의 동기신호
24. 우측 카메라의 동기신호
30. 좌측 카메라의 영상저장용 메모리
31. 우측 카메라의 영상 저장용 메모리 구성
50. 좌측 카메라의 동기신호
51. 우측 카메라의 동기신호
52. 좌측 카메라의 동기주기시간
53. 우측 카메라의 동기주기시간

Claims (4)

1. 동기장치가 없는 비동기 카메라를 사용하여 입체영상을 촬영하고, 입체영상을 합성하는 방법으로,
   영상의 움직임이 있는지를 확인하기위한 모션을 검출하여,
   움직임이 있는 경우에, 좌, 우 각각의 에지영상을 생성하고,
   에지영상간의 차이를 추출한 유사성을 검출하고,
   가장 유사성이 큰 프레임을 입체의 동기영상으로 재조정하며,
   재조종된 이후에는 좌,우 동기를 비교함으로써 0.5 프레임 이내로
   일치화 시키기 위한 입체영상의 시간적 동기화 방법,
2. 제 1항에 있어서,
   움직임이 없는 경우, 우측 영상내의 변화가 거의없고, 따라서 유사성 검출의 효과가 없기때문에 잘못된 판단의 오류가 발생하지 않도록, 영상의 움직임이 있는지를 감지한 후, 움직임이 있는 경우에만 동기를 재조종함으로써 유사성 검출의 정확도를 높이는 방법,
3. 제 1항에 있어서,
   좌, 우 각각의 에지영상을 생성하고, 각 에지 영상의 절대 차이값을 산출한 후
   그 절대차이값의 평균값으로써 좌,우 영상간에 유사성 영상을 검출하는 방법,
4. 제 1항에 있어서,
   가장 유사한 영상으로 동기가 재조종된후에, 각 카메라의 내부 클럭발생기의 편차에 의해서 시간에 따라서 발생하는 편차를 0.5프레임 이내로 유지하여 동기의 편차를 최소화 하는 방법

Images