KR100778320B1 - 스테레오 입체 카메라 시스템의 실시간 주시각 자동제어방법 및 장치 - Google Patents

Abstract

본 발명은 스테레오 입체 카메라의 주시각이 실시간으로 자동 제어되도록 하여 스테레오 입체 카메라의 조작이 간편해 질 수 있도록 하고, 이에 따라 촬영자가 양질의 입체영상을 획득할 수 있도록 하기 위한 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법 및 장치에 관한 것으로서, 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법에 있어서, (1) 좌, 우 영상의 휘도신호가 저장된 프레임 메모리로부터 DSP로 전송된 영상 데이터 중 중앙 부분의 라인 데이터를 입력받는 과정; (2) 상기 입력된 라인 데이터를 허밍(Hamming) 윈도우로 가중시키는 과정; (3) 상기 허밍(Hamming) 윈도우로 가중된 좌, 우 중앙 부분의 라인 데이터를 하나의 라인 신호로 합성하는 과정; 및 (4) 상기 합성된 신호를 퓨리에 변환시키고, 절대치의 로그를 취한 후 역퓨리에 변환시켜 캡스트림(Cepstrum) 데이터를 생성하는 과정으로 이루어진 것을 특징으로 한다.

스테레오 입체 카메라, 주시각 제어, 캡스트림, Cepstrum 알고리듬, DSP

Description

스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법 및 장치{AUTOMATIC VERGENCE CONTROL METHOD AND APPARATUS FOR STEREO CAMERA SYSTEM}

도 1은 본 발명에 따른 스테레오 입체카메라의 실시간 주시각 자동 제어장치의 구성을 설명하기 위한 블록도,

도 2는 본 발명에 따라 좌, 우 영상으로 시차를 추출하는 알고리듬에 대한 흐름도,

도 3은 본 발명에 따라 추출된 시차를 이용한 주시각 제어모터 제어 알고리듬에 대한 흐름도,

도 4는 시차 추출 알고리듬의 결과로부터 시차를 추출하는 그래프,

도 5는 주시각과 주시각 제어 방식의 차이를 보여주는 도면이다.

*** 도면의 주요부분에 대한 부호 설명 ***

10 : A/D 컨버터 12 : 프레임 메모리

14 : FPGA 16 : DSP

18 : 마이크로 컨트롤러 20 : 주시각 제어모터

22 : 모터드라이버

본 발명은 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법 및 장치에 관한 것이다.

보다 상세하게는, 스테레오 입체 카메라의 주시각이 실시간으로 자동 제어되도록 하여 스테레오 입체 카메라의 조작이 간편해 질 수 있도록 하고, 이에 따라 촬영자가 양질의 입체영상을 획득할 수 있도록 하기 위한 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법 및 장치에 관한 것이다.

앞으로 차세대 영상 매체로 자리 잡을 입체영상 시스템에 대한 관심이 증대되고 있는 때에 맞추어, 입체 영상의 획득 장치인 입체 카메라에 대한 중요성이 크게 부각되고 있으며, 그 중에서도 스테레오 입체 카메라에 대한 연구가 활발히 진행되고 있다. 이러한 스테레오 입체카메라의 성능은 아직까지 초보적인 단계에 머무르고 있으며, 입체 영상 시스템의 보급을 위해서는 앞으로도 계속해서 발전해 나가야 할 분야이다.

스테레오 입체 카메라를 구성하는 좌, 우 두 대의 영상 획득장치는 수직 및 수평 방향으로 위치에 차이가 있기 때문에 이로부터 얻은 두 영상은 차이가 존재하게 되며, 이를 좌, 우 영상의 양안 시차라고 한다. 이러한 양안 시차가 커질수록 입체 영상을 관측하는 사람이 쉽게 피로를 느끼게 되기 때문에 이를 최소화 하도록 해야 한다.

양안 시차를 최소화하기 위해서는 좌, 우 두 대의 영상 획득장치가 촬영 대상을 주시하는 각도, 즉 주시각을 조절함으로써 가능하게 된다. 촬영자는 이미 양 손을 이용하여 줌과 초점을 조작하게 되는데, 여기에 주시각을 직접 조작하면서 촬영하기란 여간 까다로운 작업이 아닐 수 없다. 지금까지의 스테레오 입체카메라의 주시각 조절은 촬영자가 수동으로 조절하도록 되어있기 때문에 양질의 입체 영상획득에 어려움이 크다고 할 수 있다.

따라서, 주시각을 자동으로 제어하는 장치는 촬영자가 양질의 입체영상 획득을 용이하게 하기 위해서 반드시 필요한 장치라고 할 수 있다.

이러한 필요성에도 불구하고 스테레오 입체 카메라에 대한 기술은 아직 연구단계에 머무르고 있으며, 더군다나 주시각을 실시간으로 자동 제어하는 장치에 대한 기술은 실용화된 적이 없다고 할 것이다.

본 발명은 상기와 같이 종래 기술의 문제점을 해소하기 위해 안출된 것으로, 본 발명의 목적은 스테레오 입체 카메라의 주시각이 실시간으로 자동 제어되도록 하여 스테레오 입체 카메라의 조작이 간편해 질 수 있도록 하고, 이에 따라 촬영자가 양질의 입체영상을 획득할 수 있도록 하기 위한 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법 및 장치를 제공함에 있다.

상기와 같은 기술적 과제를 해결하기 위하여 제안된 본 발명의 일 실시예는, 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법에 있어서, (1) 좌, 우 영상의 휘도신호가 저장된 프레임 메모리로부터 DSP로 전송된 영상 데이터 중 중앙 부분의 라인 데이터를 입력받는 과정; (2) 상기 입력된 라인 데이터를 허밍(Hamming) 윈도우로 가중시키는 과정; (3) 상기 허밍(Hamming) 윈도우로 가중된 좌, 우 중앙 부분의 라인 데이터를 하나의 라인 신호로 합성하는 과정; 및 (4) 상기 합성된 신호를 퓨리에 변환시키고, 절대치의 로그를 취한 후 역퓨리에 변환시켜 캡스트림(Cepstrum) 데이터를 생성하는 과정으로 이루어진 것을 특징으로 한다.

또한 본 발명의 다른 실시예는, 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어장치에 있어서, 스테레오 입체 카메라의 좌, 우 영상신호 중 휘도신호만을 각각 입력받아 디지털 비디오 신호로 변환하는 A/D 컨버터; 외부로부터 입력되는 라이팅 주소에 상기 디지털 비디오 신호가 각각 저장되도록 하는 프레임 메모리; 외부로부터 입력되는 라이팅 제어신호에 응하여 상기 디지털 비디오 신호가 상기 프레임 메모리에 각각 저장될 수 있도록 라이팅 주소를 생성시켜 할당하고, 외부로부터 입력되는 리딩 주소에 응하여 상기 프레임 메모리에 저장된 디지털 비디오 신호가 각각 출력되도록 하는 FPGA; 상기 FPGA로 리딩주소를 출력하여 디지털 비디오 신호를 각각 입력받아 양안 시차를 추출하고, 양안 시차가 추출되면 다음 디지털 비디오 신호가 상기 프레임 메모리에 각각 저장되도록 상기 FPGA로 라이팅 제어신호를 출력하는 DSP; 상기 DSP로부터 입력되는 양안 시차 값을 이용하여 좌, 우 영상의 시차가 오차범위 이내로 최소화되도록 모터 제어신호를 출력하는 마이크로 컨트롤러; 및 상기 마이크로 컨트롤러로부터 입력되는 모터 제어신호에 응하여 주시각 제어모터를 구동시켜 주시각이 조절되도록 하는 모터드라이버를 포함하여 구성되는 것을 특징으로 한다.

이하, 첨부한 도면을 참조하여 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어장치에 대해 상세하게 설명한다.

첨부 도면 도 1에 도시된 바와 같이, 스테레오 입체 카메라의 좌, 우 영상신호 중 휘도신호만을 각각 입력받아 디지털 비디오 신호로 변환하는 A/D 컨버터(10)(11)와, 후술하는 FPGA(14, Field-Programmable Gate Array)로부터 입력되는 라이팅 주소에 상기 디지털 비디오 신호가 각각 저장되도록 하는 프레임 메모리(12)(13)와, 후술하는 DSP(16, Digital Signal Processor)로부터 입력되는 라이팅 제어신호에 응하여 상기 디지털 비디오 신호가 상기 프레임 메모리(12)(13)에 각각 저장될 수 있도록 라이팅 주소를 생성시켜 할당하고, 상기 DSP(16)로부터 입력되는 리딩 주소에 응하여 상기 프레임 메모리(12)(13)에 저장된 디지털 비디오 신호가 각각 출력되도록 하는 FPGA(14)와, 상기 FPGA(14)로 리딩주소를 출력하여 디지털 비디오 신호를 각각 입력받아 양안 시차를 추출하고, 양안 시차가 추출되면 다음 디지털 비디오 신호가 상기 프레임 메모리(12)(13)에 각각 저장되도록 상기 FPGA(14)로 라이팅 제어신호를 출력하는 DSP(16)와, 상기 DSP(16)로부터 입력되는 양안 시차 값을 이용하여 좌, 우 영상의 시차가 오차범위 이내로 최소화되도록 모터 제어신호를 출력하는 마이크로 컨트롤러(18)와, 상기 마이크로 컨트롤러(18)로부터 입력되는 모터 제어신호에 응하여 주시각 제어모터(22)를 구동시켜 주시각이 조절되도록 하는 모터드라이버(20)로 구성된다.

상기 DSP(16)는 좌, 우 영상의 휘도신호가 저장된 프레임 메모리(14)로부터 입력되는 영상 데이터 중 중앙 부분의 라인 데이터를 입력받고, 상기 입력된 라인 데이터를 허밍 윈도우로 가중시키고, 상기 허밍(Hamming) 윈도우로 가중된 좌, 우 중앙 부분의 라인 데이터를 하나의 라인 신호로 합성한 후 퓨리에 변환시키고, 절대치의 로그를 취한 후 역퓨리에 변환시켜 캡스트림(Cepstrum) 데이터를 생성한다.

그리고, 상기 DSP(16)는 상기 캡스트림 데이터를 기준으로 하여 + 방향 또는 - 방향으로 피크가 존재하는 지점을 추출하여 그 위치 값을 인식하고, 상기 좌우 각각의 라인 데이터의 화소수와 상기 위치 값을 연산하여 양안 시차 값을 산출하고, 산출된 양안 시차 값을 마이크로 컨트롤러(18)로 출력한다.

상기 마이크로 컨트롤러(18)는 상기 DSP(16)로부터 입력된 상기 양안 시차 값을 미리 설정되어 있는 오차범위와 비교하여 상기 양안 시차 값이 오차범위보다 큰 경우 상기 주시각 제어모터(22)를 구동시켜 주시각을 조절한다. 즉, 상기 마이크로 컨트롤러(18)는 상기 양안 시차 값이 0보다 큰 경우 모터드라이버(20)로 주시각 제어모터(22)가 정(+)방향으로 회전되도록 모터 제어신호를 출력하고, 상기 양안 시차 값이 0보다 작은 경우 모터드라이버(20)로 주시각 제어모터(22)가 부(-)방 향으로 회전되도록 모터 제어신호를 출력한다.

이에, 상기와 같은 구성을 갖는 본 발명에 따른 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어장치의 작용에 대하여 살펴보면 다음과 같다.

먼저, 첨부 도면 도 2에 도시된 바와 같이, DSP(16)는 상기 FPGA(14)로 라이팅 제어신호를 출력하여 FPGA(14)로 하여금 상기 A/D 컨버터(10)(11)를 통해 디지털 비디오 신호로 변환된 휘도신호가 프레임 메모리(12)(13)에 각각 저장시키도록 한다(S100).

상기 DSP(16)는 FPGA(14)로 리딩신호를 출력하여 프레임 메모리(12)(13)에 각각 저장된 디지털 비디오 신호를 입력받는다(S110).

DSP(16)는 상기 프레임 메모리(14)로부터 각각 입력된 좌, 우 디지털 비디오 신호인 영상 데이터 중 중앙 부분의 라인 데이터를 입력받는다(S120).

그리고, DSP(16)는 상기 입력된 라인 데이터를 허밍(Hamming) 윈도우로 가중시키고(S130), 상기 허밍(Hamming) 윈도우로 가중된 좌, 우 중앙 부분의 라인 데이터를 하나의 라인 신호로 합성한다(S140).

그리고, DSP(16)는 상기 합성된 신호를 퓨리에 변환시키고, 절대치의 로그를 취한 후 역퓨리에 변환시켜 캡스트림(Cepstrum) 데이터를 생성하고(S150), 상기 캡스트림 데이터를 기준으로 하여 + 방향 또는 - 방향으로 피크가 존재하는 지점을 추출하여 그 위치 값을 인식하고, 상기 좌우 각각의 라인 데이터의 화소수와 상기 위치 값을 연산하여 양안 시차 값을 산출한다(S160). 즉 첨부 도면 도 4에 도시된 바와 같이 좌, 우 각각의 라인 데이터의 화소수가 N개라고 하고, 시차가 전혀 없는 동일 영상일 경우에는 캡스트림 데이터의 피크값이 정확히 N번째에서 발생하게 되나, 양안 시차가 존재할 경우 N번째 캡스트림 데이터를 기준으로 + 혹은 - 방향으로 M번째에 피크가 존재하고, N값에서 M값의 차이가 바로 시차가 된다.

그리고, DSP(16)는 산출된 양안 시차 값을 마이크로 컨트롤러(18)로 출력한다.

그러면, 마이크로 컨트롤러(18)는 상기 양안 시차 값을 미리 설정되어 있는 오차범위와 비교하고(S200), 비교 결과 상기 양안 시차 값이 오차범위보다 큰지를 판단한다(S210). 판단 결과 양안 시차 값이 오차범위보다 큰 경우 마이크로 컨트롤러(18)는 모터드라이버(20)로 모터 제어신호를 출력하고, 모터드라이버(20)가 주시각 제어모터(22)를 구동시켜 주시각을 조절하도록 한다. 즉, 마이크로 컨트롤러(18)는 상기 양안 시차 값이 0보다 큰지를 판단하고(S220), 판단 결과 양안 시차 값이 0보다 큰 경우 주시각 제어모터(22)가 정(+)방향으로 회전되도록 모터드라이버(20)로 모터 제어신호를 출력한다(S230).

그리고, 상기 S220 과정의 판단 결과 양안 시차 값이 0보다 크지 않은 경우 상기 양안 시차 값이 0보다 작은지 판단하고(S240), 판단 결과 양안 시차 값이 0보다 작은 경우 주시각 제어모터(22)가 부(-)방향으로 회전되도록 모터 드라이버(20)로 모터 제어신호를 출력한다(S250).

상기와 같이 주시각 제어모터에 의한 주시각의 조절은 첨부 도면 도 5에 도 시된 바와 같이 대표적으로 2가지 방식이 있다. 첨부 도면 도 5 (a)의 폭주식의 경우는 스테레오 입체 카메라가 직접 물체를 주시할 수 있도록 주시각 제어모터를 구동하여 카메라를 회전시키는 방식이고, 첨부 도면 도 5 (b)의 수평이동식의 경우 렌즈 또는 센서만을 수평축 방향으로 이동되도록 주시각 제어모터를 조절하는 방식이다.

본 발명에서 설명한 주시각 자동 제어방식은 시차값을 지속적으로 추출 및 감시하면서 실시간으로 이루어지게 된다.

이상의 본 발명은 상기 실시예들에 의해 한정되지 않고, 당업자에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 포함되는 본 발명의 취지와 범위에 포함된다.

상기와 같은 구성 및 작용 그리고 바람직한 실시예를 가지는 본 발명은 스테레오 입체 카메라의 주시각을 실시간으로 자동 제어함으로써, 카메라 조작을 쉽게 간편하게 할 수 있도록 하는 효과가 있다.

또한, 본 발명은 DSP를 이용한 시차정보로부터 실시간으로 주시각을 정확히 제어하는 방법을 제공함으로써, 촬영자가 손쉽게 양질의 입체영상을 획득할 수 있도록 하는 효과가 있다.

Claims (9)

1. 스테레오 입체 카메라 시스템의 실시간 주시각 자동 제어방법에 있어서,

   (1) 좌, 우 영상의 휘도신호가 저장된 프레임 메모리로부터 DSP로 전송된 영상 데이터 중 중앙 부분의 라인 데이터를 입력받는 과정;

   (2) 상기 입력된 라인 데이터를 허밍(Hamming) 윈도우로 가중시키는 과정;

   (3) 상기 허밍(Hamming) 윈도우로 가중된 좌, 우 중앙 부분의 라인 데이터를 하나의 라인 신호로 합성하는 과정;

   (4) 상기 합성된 신호를 퓨리에 변환시키고, 절대치의 로그를 취한 후 역퓨리에 변환시켜 캡스트림(Cepstrum) 데이터를 생성하는 과정 ;

   (5) 상기 캡스트림 데이터를 기준으로 하여 + 방향 또는 - 방향으로 피크가 존재하는 지점을 추출하여 그 위치 값을 인식하고, 상기 좌우 각각의 라인 데이터의 화소수와 상기 위치 값을 연산하여 양안 시차 값을 산출하는 과정

   (6) 상기 양안 시차 값을 미리 설정되어 있는 오차범위와 비교하는 과정; 및

   (7) 비교 결과 상기 양안 시차 값이 0보다 큰 경우 주시각 제어모터가 정(+)방향으로 회전되도록 하고, 상기 양안 시차 값이 0보다 작은 경우 주시각 제어모터가 부(-)방향으로 회전되도록 제어하는 과정

   으로 이루어진 것을 특징으로 하는 스테레오 입체 카메라 시스템의 실시간 자동 주시각 제어방법.
2. 삭제
3. 삭제
4. 삭제
5. 스테레오 입체 카메라 시스템의 실시간 자동 주시각 제어장치에 있어서,

   스테레오 입체 카메라의 좌, 우 영상신호 중 휘도신호만을 각각 입력받아 디 지털 비디오 신호로 변환하는 A/D 컨버터;

   외부로부터 입력되는 라이팅 주소에 상기 디지털 비디오 신호가 각각 저장되도록 하는 프레임 메모리;

   외부로부터 입력되는 라이팅 제어신호에 응하여 상기 디지털 비디오 신호가 상기 프레임 메모리에 각각 저장될 수 있도록 라이팅 주소를 생성시켜 할당하고, 외부로부터 입력되는 리딩 주소에 응하여 상기 프레임 메모리에 저장된 디지털 비디오 신호가 각각 출력되도록 하는 FPGA;

   상기 FPGA로 리딩주소를 출력하여 디지털 비디오 신호를 각각 입력받아 양안 시차를 추출하고, 양안 시차가 추출되면 다음 디지털 비디오 신호가 상기 프레임 메모리에 각각 저장되도록 상기 FPGA로 라이팅 제어신호를 출력하는 DSP;

   상기 DSP로부터 입력되는 양안 시차 값을 이용하여 좌, 우 영상의 시차가 오차범위 이내로 최소화되도록 모터 제어신호를 출력하는 마이크로 컨트롤러; 및

   상기 마이크로 컨트롤러로부터 입력되는 모터 제어신호에 응하여 주시각 제어모터를 구동시켜 주시각이 조절되도록 하는 모터드라이버

   를 포함하여 구성되는 것을 특징으로 하는 스테레오 입체 카메라 시스템의 실시간 자동 주시각 제어장치.
6. 제 5 항에 있어서, 상기 DSP는,

   좌, 우 영상의 휘도신호가 저장된 프레임 메모리로부터 상기 DSP로 전송된 영상 데이터 중 중앙 부분의 라인 데이터를 입력받고, 상기 입력된 라인 데이터를 허밍 윈도우로 가중시키고, 상기 허밍(Hamming) 윈도우로 가중된 좌, 우 중앙 부분의 라인 데이터를 하나의 라인 신호로 합성한 후 퓨리에 변환시키고, 절대치의 로그를 취한 후 역퓨리에 변환시켜 캡스트림(Cepstrum) 데이터를 생성하는 것을 특징으로 하는 스테레오 입체 카메라 시스템의 실시간 자동 주시각 제어장치.
7. 제 6 항에 있어서, 상기 DSP는,

   상기 캡스트림 데이터를 기준으로 하여 + 방향 또는 - 방향으로 피크가 존재하는 지점을 추출하여 그 위치 값을 인식하고, 상기 좌우 각각의 라인 데이터의 화소수와 상기 위치 값을 연산하여 양안 시차 값을 산출하여 마이크로 컨트롤러로 출력하는 것을 특징으로 하는 스테레오 입체 카메라 시스템의 실시간 자동 주시각 제어장치.
8. 제 7 항에 있어서, 상기 마이크로 컨트롤러는,

   상기 양안 시차 값을 미리 설정되어 있는 오차범위와 비교하여 상기 양안 시차 값이 오차범위보다 큰 경우 상기 주시각 제어모터를 구동시켜 주시각을 조절하는 것을 특징으로 하는 스테레오 입체 카메라 시스템의 실시간 자동 주시각 제어장치.
9. 제 8 항에 있어서, 상기 마이크로 컨트롤러는,

   상기 양안 시차 값이 0보다 큰 경우 주시각 제어모터가 정(+)방향으로 회전되도록 하고, 상기 양안 시차 값이 0보다 작은 경우 주시각 제어모터가 부(-)방향으로 회전되도록 제어하는 것을 특징으로 하는 스테레오 입체 카메라 시스템의 실시간 자동 주시각 제어장치.

Images