KR20050100095A - 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템 - Google Patents

보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템 Download PDF

Info

Publication number
KR20050100095A
KR20050100095A KR1020040025273A KR20040025273A KR20050100095A KR 20050100095 A KR20050100095 A KR 20050100095A KR 1020040025273 A KR1020040025273 A KR 1020040025273A KR 20040025273 A KR20040025273 A KR 20040025273A KR 20050100095 A KR20050100095 A KR 20050100095A
Authority
KR
South Korea
Prior art keywords
moving
signal processing
pixel number
image signal
right images
Prior art date
Application number
KR1020040025273A
Other languages
English (en)
Other versions
KR100597587B1 (ko
Inventor
허남호
조숙희
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040025273A priority Critical patent/KR100597587B1/ko
Publication of KR20050100095A publication Critical patent/KR20050100095A/ko
Application granted granted Critical
Publication of KR100597587B1 publication Critical patent/KR100597587B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01—Ink jet
    • B41J2/17—Ink jet characterised by ink handling
    • B41J2/175—Ink supply systems ; Circuit parts therefor
    • B41J2/17503—Ink cartridges
    • B41J2/17506—Refilling of the cartridge
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01—Ink jet
    • B41J2/17—Ink jet characterised by ink handling
    • B41J2/175—Ink supply systems ; Circuit parts therefor
    • B41J2/17596—Ink pumps, ink valves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01—Ink jet
    • B41J2/17—Ink jet characterised by ink handling
    • B41J2/19—Ink jet characterised by ink handling for removing air bubbles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것임.
2. 발명이 해결하고자 하는 기술적 과제
본 발명은 종래의 평행축 입체 카메라 시스템에 이동 픽셀 수 보정수단을 추가하여 좌우 영상 확대 보간 과정에서 발생하는 불필요한 비선형 수평시차 왜곡 현상을 제거하여 주시각을 제어하기 위한, 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그 방법과 상기 주시각 제어 장치를 이용한 평행축 입체 카메라 시스템을 제공하는데 그 목적이 있다.
3. 발명의 해결방법의 요지
본 발명은, 보정 영상 신호 처리를 이용한 주시각 제어 장치에 있어서, 외부 기기로부터 좌우 영상을 입력받아 저장하기 위한 저장수단; 상기 저장수단에 저장한 좌우 영상에 대하여 수평방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정수단; 상기 이동 픽셀 수 결정수단에서 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정하기 위한 이동 픽셀 수 보정수단; 상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 상기 저장수단에 저장한 좌우 영상을 수평 및 수직방향으로 보정 영상 신호 처리를 수행하기 위한 영상 신호 처리수단; 및 상기 영상 신호 처리수단에서 보정 영상 신호 처리한 좌우 영상을 상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 원래의 크기로 확대하기 위한 영상 복원수단을 포함함.

Description

보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템{The apparatus and method for vergence control of a parallel-axis stereo camera system using compensated image signal processing}
본 발명은 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것으로, 더욱 상세하게는 신호 처리 과정에서 비선형 수평시차 왜곡 현상이 발생하는 종래의 평행축 입체 카메라 시스템에 이동 픽셀 수 보정수단을 추가하여 주시각 제어 효과를 향상시키기 위한, 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것이다.
일반적으로 입체 카메라는 특성이 동일한 두 대의 카메라를 배치하여 사람의 눈과 같이 좌우 양안 영상을 획득한다. 이 경우에, 카메라의 간격과 초점거리 및 관측물체의 위치에 따라 영상 평면에 촬상되는 관측물체의 픽셀 좌표가 각기 다르게 표현된다. 이러한 차이를 시차(parallax)라고 하며, 그 위치의 차이를 시차량이라고 한다. 이 때, 수직시차가 없는 경우, 이 시차는 곧 수평시차(horizontal parallax)가 된다.
사람의 눈은 물체를 관측하고자 할 경우 관측물체의 시차량이 0이 되도록 좌우 눈동자를 움직이며 물체를 관측한다. 이렇게 시차량을 조절하는 것을 주시각 제어(vergence control)라 한다.
주시각 제어가 되지 않는 카메라로부터 얻은 입체 영상을 관측자가 보게 될 경우에는 시차량이 매우 크게 나타나 심한 피로감을 느끼게 된다. 이러한 관측 피로를 줄이기 위해서는 관측물체의 위치 변화에 상관없이 일정한 시차가 유지되도록 좌우 카메라의 관측 방향을 제어하는 주시각 제어 기능이 필수적이다.
현재 사용되고 있는 입체 카메라는 구조에 따라 크게 교차축(toed-in), 평행축으로 구분되며, 평행축 입체 카메라는 다시 영상소자의 이동 유무에 따라 수평 이동축, 평행축으로 구분된다.
먼저, 교차축 입체 카메라는 카메라의 광축을 회전시킬 수 있는 구조로 관측물체의 거리 변화에 따라 영상소자의 광축을 회전시켜 항상 물체의 상이 좌우 영상소자의 중심에 맺히도록 주시각을 제어한다. 이는 가까운 물체를 볼 때 안쪽으로 모이고 멀리있는 물체를 볼 때 벌어지는 사람의 눈동자 움직임을 모방한 것이다.
그러나, 교차축 방식의 경우 영상소자를 교차시켜 주시각을 제어하기 때문에 주시각 제어에 따른 영상소자간의 간격 변화가 심하여 입체 영상 재생 시 왜곡이 심하며, 카메라 광축의 회전으로 주시각 제어를 해야 하기 때문에 소형화가 어려운 문제점이 있었다.
한편, 수평 이동축 입체 카메라는 교차축 방식과 같이 관측물체의 거리 변화에 따라 카메라의 주시각 제어가 가능한 카메라이다.
그러나, 교차축 방식과는 달리 영상소자를 분리시킨 후, 렌즈에 대해서 영상소자가 평행하게 수평으로 움직이게 하여 주시각을 조절하도록 설계되어 있다. 이러한 영상소자의 평행 이동에 의한 주시각 제어 방식은 좌우 영상소자 사이의 간격 변화량이 작아 교차축 방식에 비해 상대적인 영상 왜곡이 작다는 장점이 있지만, 렌즈와 영상소자를 분리시키고 영상소자를 이동하면서 주시각 제어를 해야 하므로 실제 입체 카메라 제작에 많은 어려움이 있다는 문제점이 있다.
한편, 평행축 입체 카메라는 양안식 입체 영상 카메라 중 가장 단순한 형태로서, 두 대의 영상소자를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 영상을 획득할 수 있게 설계되어 있다.
그러나, 평행축 방식은 주시각 제어 기능이 없어 관측물체의 거리 변화에 따른 시차량을 조절할 수 없는 문제점이 있다.
최근, 상기 평행축 입체 카메라의 단점을 보완하기 위해 대한민국 공개특허 제 10-2002-0037097 호로 "신호 처리를 이용한 주시각 제어 장치 및 그 방법과 그를 이용한 입체 카메라 시스템"이 출원되었다.
하지만, 이러한 종래 기술은 신호 처리 과정에서 좌우 원 영상의 일부가 사라지는 문제점과 함께 원 영상 크기로 확대하는 과정에서 불필요한 비선형 수평시차 왜곡 현상이 발생하는 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 종래의 평행축 입체 카메라 시스템에 이동 픽셀 수 보정수단을 추가하여 좌우 영상 확대 보간 과정에서 발생하는 불필요한 비선형 수평시차 왜곡 현상을 제거하여 주시각을 제어하기 위한, 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 상기 주시각 제어 장치를 이용한 평행축 입체 카메라 시스템을 제공하는데 다른 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 장치는, 보정 영상 신호 처리를 이용한 주시각 제어 장치에 있어서, 외부 기기로부터 좌우 영상을 입력받아 저장하기 위한 저장수단; 상기 저장수단에 저장한 좌우 영상에 대하여 수평방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정수단; 상기 이동 픽셀 수 결정수단에서 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정하기 위한 이동 픽셀 수 보정수단; 상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 상기 저장수단에 저장한 좌우 영상을 수평 및 수직방향으로 보정 영상 신호 처리를 수행하기 위한 영상 신호 처리수단; 및 상기 영상 신호 처리수단에서 보정 영상 신호 처리한 좌우 영상을 상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 원래의 크기로 확대하기 위한 영상 복원수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 방법은, 보정 영상 신호 처리를 이용한 주시각 제어 장치에 적용되는 주시각 제어 방법에 있어서, 좌우 영상을 저장하는 저장단계; 상기 저장한 좌우 영상에 대하여 수평방향으로의 이동 픽셀 수를 결정하는 이동 픽셀 수 결정단계; 상기 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정하는 이동 픽셀 수 보정단계; 상기 재결정한 유효 이동 픽셀 수를 이용하여 상기 저장한 좌우 영상을 수평 및 수직방향 영상 신호 처리를 수행하는 영상 신호 처리단계; 및 상기 보정 영상 신호 처리한 좌우 영상을 상기 재결정한 유효 이동 픽셀 수를 이용하여 원래의 크기로 확대하는 영상 복원단계를 포함하는 것을 특징으로 한다.
한편, 상기 다른 목적을 달성하기 위한 본 발명의 시스템은, 주시각 제어 기능을 갖는 평행축 입체 카메라 시스템에 있어서, 좌우 영상을 획득하기 위한 평행축 입체 영상 촬영 장치; 및 상기 평행축 입체 영상 촬영 장치에서 촬영한 좌우 영상에 대하여 유효 이동 픽셀 수를 이용하여 보정 영상 신호 처리를 한 후에 신호 처리한 좌우 영상을 복원하기 위한 주시각 제어 장치를 포함하는 것을 특징으로 한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 종래의 평행축 입체 카메라 시스템에서의 시차량 조절 과정에 대한 일예시도이다.
여기서 f, D, DV, B는 각각 카메라 초점거리, 점 P(x, y, z)의 z축 거리 성분, 수평시차가 0이 되는 주시거리, 카메라 간격을 의미한다.
도 1의 (a)는 종래의 평행축 입체 카메라의 관측물체 촬영 과정을 나타낸다. 한 지점 P에 있는 물체를 촬영하는 경우에 종래의 평행축 입체 카메라에서는 영상소자가 고정되어 있기 때문에 영상 평면에 맺히는 점 P가 영상 평면 중심에서 dL, dR만큼 좌우로 벗어나게 된다. 여기서, 영상소자의 중심을 영상 좌표계(u,v)의 원점으로 가정하면 공간상의 점 P(x,y,z)는 영상 좌표계에서 다음과 같은 u축 좌표 값을 가지게 된다.
그리고, 수직시차가 없다고 가정하고 수평시차 d를 dL-dR과 같이 정의하면, 도 1의 (a)에서 수평시차는 상기 [수학식 1]과 [수학식 2]를 이용하여 다음의 [수학식 3]과 같이 표현할 수 있다.
상기 [수학식 3]에서 일반적으로 초점거리 f와 카메라 간격 B는 0이 아니므로 수평시차가 0이 되는 경우는 점 P가 무한대에 존재할 때이다.
즉, 편안하게 입체 영상을 보기 위해서는 좌우 영상소자에 맺히는 점이 영상 평면의 중심에 위치해야 하는데, 영상 소자가 고정되어 영상 평면 중심에 상이 맺히지 못하고 좌우로 벗어나 입체 영상을 관측할 경우에 심한 피로감을 느끼게 된다.
도 1의 (b)는 영상소자를 수평방향으로 이동시킨 후 고정한 평행축 입체 카메라의 촬영 과정을 나타낸다. 여기서, 평행축 입체 카메라는 점 P에 대해서는 수평시차를 0으로 만들었으나, 점 P가 이동할 경우에는 영상 평면 중심에 상을 맺히게 할 수 없다. 영상소자를 좌우로 이동시킬 수 있는 수평축 입체 카메라와 같이 영상소자를 좌우로 이동시키면서 영상 평면 중심에 점 P의 상이 맺히게 할 수 없으므로, 영상 신호 처리 방식을 이용하여 점 P에 대한 수평시차를 실시간으로 조절해 주어야 한다.
즉, [수학식 1]과 [수학식 2]에 해당하는 픽셀 수만큼 영상소자를 좌우로 시키면 점 P의 상이 좌우 영상 평면의 u축 중심에 맺히게 되고 dL과 dR이 0이 되어 수평시차 d는 0이 된다. 이 때, 점 P보다 관측물체가 앞에 있으면 양의 수평시차를 가지게 되고, 뒤에 있으면 음의 수평시차를 가지게 된다.
도 2는 종래의 평행축 입체 카메라 시스템에서 신호 처리를 이용한 주시각 제어 과정을 설명하기 위한 도면이다.
도 2의 (a)는 좌우 원 영상을 나타내며, 도 2의 (b), (c), (d)는 관측물체의 이동시 영상소자가 이동한 것과 같은 영상을 생성하는 과정을 나타낸다. 영상소자의 직접 이동에 의해 나타나지 않게 될 영상의 영역을 계산하여 수평, 수직 신호를 제거하고 최초 영상의 크기에 맞추어 확대하는 것이다. 즉, 관측물체의 이동으로 주시거리가 변화할시 좌 영상은 좌측으로 s만큼, 우 영상은 우측으로 s만큼 이동시킨 후 가로세로비(aspect ratio)를 보존하기 위해 위쪽과 아래쪽 일부를 함께 제거하고 본 영상의 크기만큼 확대한다.
이러한 종래의 평행축 입체 카메라 시스템에서 신호 처리를 이용한 주시각 제어 과정은 원 영상의 일부가 사라지고, 확대하는 과정에서 불필요한 비선형 수평시차 왜곡 현상이 발생한다.
도 3은 종래의 평행축 입체 카메라 시스템에서 주시각 제어를 위해 이동시켜야 할 이동 픽셀 수를 계산하는 과정을 설명하기 위한 일실시예 도면이다.
여기서, 주시거리 변화량을 라고 하면 도 3과 [수학식 3]으로부터 다음의 [수학식 4]와 같이 수평방향 영상 이동 픽셀 수 s에 관한 식을 유도할 수 있다.
즉, 관측물체의 이동으로 주시거리가 만큼 변화될 경우 [수학식 4]의 s만큼 좌우 영상을 이동시키면 된다. 이것은, 좌우 영상 평면에 맺힌 점 P의 수평시차가 변한 것과 같다.
도 4는 본 발명에 따른 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 일실시예 구성도이다.
도 4에 도시된 바와 같이, 본 발명에 따른 주시각 제어 기능을 갖는 평행축 입체 카메라 시스템은, 좌우 영상을 획득하기 위한 좌우측 카메라(110, 120), 상기 좌우측 카메라(110, 120)에서 촬영한 좌우 영상에 대하여 유효 이동 픽셀 수를 이용하여 보정 영상 신호 처리를 한 후에 신호 처리한 좌우 영상을 복원하기 위한 주시각 제어 장치(200)를 포함한다.
그리고, 도 4에 도시된 바와 같이, 본 발명에 따른 보정 영상 신호 처리를 이용한 주시각 제어 장치(200)는, 좌우측 카메라(110, 120)로부터 촬영된 영상을 입력받아 저장하기 위한 저장부(210), 상기 저장부에 저장한 좌우 영상에 대하여 수평 방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정부(220), 상기 이동 픽셀 수 결정부(220)에서 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정하기 위한 이동 픽셀 수 보정부(230), 상기 이동 픽셀 수 보정부(230)로부터의 유효 이동 픽셀 수를 이용하여 상기 저장부에 저장한 좌우 영상을 수평 및 수직방향으로 보정 영상 신호 처리를 수행하기 위한 보정 영상 신호 처리부(240), 상기 보정 영상 신호 처리부(240)에서 보정 영상 신호 처리한 좌우 영상을 상기 이동 픽셀 수 보정부(230)로부터의 유효 이동 픽셀 수를 이용하여 원래의 크기로 확대하기 위한 영상 복원부(250)를 포함한다.
상기 주시각 제어 장치(200)의 각 구성요소의 동작을 상세히 살펴보면 다음과 같다.
상기 좌우측 카메라(110, 120)에서 획득한 좌우 영상 신호는 좌 영상 버퍼(211), 우 영상 버퍼(212)에 각각 저장된다. 이 때, 관측물체의 위치 이동으로 인해 주시거리가 변할 경우에 이동 픽셀 수 결정부(220)는 초기 카메라 파라미터(f, B), 초기 주시거리(DV) 및 주시거리 변화량()을 이용하여 상기 [수학식 4]와 같이 좌우 영상의 이동 픽셀 수 s를 결정한다. 상기 이동 픽셀 수 결정부(220)에서 결정한 이동 픽셀 수 s는 이동 픽셀 수 보정부(230)로 입력된다.
이 때, 상기 이동 픽셀 수 결정부(220)에서는 초기 카메라 파라미터, 주시거리 및 주시거리 변화량을 이용하여 수학적으로 이동 픽셀 수를 계산하는 방식을 사용하거나, 또는 스테레오 정합과 같은 영상 신호 처리에 의하여 이동 픽셀 수를 결정하는 방식을 사용하거나, 또는 인위적인 사용자 입력 방식을 통하여 이동 픽셀 수를 결정한다.
상기 이동 픽셀 수 보정부(230)는 종래의 신호 처리 과정에서 발생하는 비선형 수평시차 왜곡 현상을 보정하기 위해 상기 이동 픽셀 수를 보정한다. 즉, 영상의 수평크기가 W이고 초기 수평시차가 인 특정 대칭점에 대해 목표 수평시차가 +2s가 되어야 한다는 필요조건에 따라 다음과 같은 비선형 수평시차 왜곡 함수를 이용하여 유효 이동 픽셀 수 를 재결정한다.
이 때, 상기 이동 픽셀 수 보정부(230)에서는 상기 이동 픽셀 수 결정부(220)에서 결정한 이동 픽셀 수와 영상의 수평크기 및 특정 대칭점의 초기 수평시차를 이용하여 상기 비선형 수평시차 왜곡 함수 f를 통하여 유효 이동 픽셀 수를 재결정하는 방식을 사용하거나, 또는 동일한 목적으로 사용하는 다른 형태의 비선형 수평시차 쉐이핑 함수 g를 통하여 유효 이동 픽셀 수를 재결정한다.
그리고, 상기 이동 픽셀 수 보정부(230)에서 재결정한 유효 이동 픽셀 수 는 보정 영상 신호 처리부(240)와 영상 복원부(250)로 입력된다.
상기 보정 영상 신호 처리부(240)는 좌우 영상 처리기(241, 242)를 이용하여 상기 저장부(210)로부터 입력받은 좌우 영상을 상기 이동 픽셀 수 보정부(230)로부터 입력받은 유효 이동 픽셀 수 만큼 수평방향으로 좌우로 이동시키며 동시에 가로세로비(aspect ratio)를 보존하기 위해 수직방향의 일부 영역을 대칭적으로 제거한다. 이 때, 상기 보정 영상 신호 처리부(240)에서 처리된 좌우 영상은 영상 복원부(250)로 입력된다.
상기 영상 복원부(250)는 상기 보정 영상 신호 처리부(240)에서 수평 및 수직방향으로 제거된 좌우 영상을 원 영상과 동일한 크기가 되도록 하기 위하여, 상기 보정 영상 신호 처리부(240)로부터 입력된 좌우 영상을 좌우 영상 복원기(251, 252)를 이용하여 다음의 [수학식 6]과 같이 확대 보간 필터링을 수행한다.
여기서, 와 는 주시각 제어가 완료된 최종 좌우 영상, 는 축소된 좌우 영상 과 의 크기를 원 영상과 동일한 크기가 되도록 확대하는 필터링 연산자, 과 는 상기 보정 영상 신호 처리부(240)에서 처리된 좌우 영상을 나타낸다.
이 때, 최종 좌우 영상의 픽셀 값은 기본적으로 다음의 [수학식 7]과 같은 관계식으로부터 구하고 이 관계를 만족하지 않는 나머지 픽셀 값은 이미 결정된 이웃 픽셀로부터 필터링해서 구한다.
이렇게 함으로써 영상 복원부(250)에서 주시각이 제어된 최종 좌우 영상을 얻게 된다.
도 5는 본 발명에 따른 보정 영상 신호 처리를 이용한 평행축 입체 카메라 시스템에 있어서 보정 영상 신호 처리를 이용한 주시각 제어 과정을 설명하기 위한 도면이다.
도 5의 (a)는 좌우측 카메라(110, 120)에서 촬영된 좌우 영상을 나타낸다.
도 5의 (b)는 상기 이동 픽셀 수 보정부(230)에서의 비선형 수평시차 왜곡 함수를 나타낸다. 즉, 상기 이동 픽셀 수 결정부(220)에서 결정한 이동 픽셀 수 s를 유효 이동 픽셀 수 로 변환하는 과정을 나타낸다.
도 5의 (c)와 (d)는 좌우 영상을 상기 이동 픽셀 수 보정부(230)에서 재결정한 상기 유효 이동 픽셀 수 만큼 수평방향으로 좌우로 이동시키고 동시에 가로세로비(aspect ratio)를 보존하기 위해 수직방향의 일부 영역을 대칭적으로 제거하는 과정을 나타낸다.
도 5의 (d)는 상기 영상 복원부(250)에서 좌우 영상을 확대 보간 필터링한 최종 좌우 영상을 나타낸다.
도 6은 본 발명에 따른 보정 영상 신호 처리를 이용한 주시각 제어 방법에 대한 일실시예 흐름도이다.
먼저, 좌우측 카메라(110, 120)에 의해 촬영한 좌우 영상을 저장부(210)에 저장한다(610).
이후, 이동 픽셀 수 결정부(220)가 상기 저장부(210)에 저장한 좌우 영상에 대하여 수평방향으로의 이동 픽셀 수를 결정한다(620).
이후, 이동 픽셀 수 보정부(230)가 상기 이동 픽셀 수 결정부(220)에서 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정한다. 즉, 이동 픽셀 수를 보정한다(630).
이후, 보정 영상 신호 처리부(240)가 상기 이동 픽셀 수 보정부(230)에서 재결정한 유효 이동 픽셀 수를 이용하여 상기 저장부(210)에 저장한 좌우 영상을 수평 및 수직방향으로 보정 영상 신호 처리를 수행한다(640).
이후, 상기 보정 영상 신호 처리부(240)에서 보정 영상 신호 처리한 좌우 영상을 상기 이동 픽셀 수 보정부(230)로부터의 유효 이동 픽셀 수를 이용하여 원래의 크기로 복원한다(650).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형, 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 종래의 신호 처리를 이용한 평행축 입체 카메라의 문제를 보정 영상 신호 처리를 이용하여 해결함으로써, 종래의 신호 처리를 이용한 주시각 제어 과정에서 발생하는 비선형 수평시차 왜곡 현상을 방지할 수 있는 효과가 있다.
도 1은 종래의 평행축 입체 카메라 시스템에서의 시차량 조절 과정에 대한 일예시도.
도 2는 종래의 평행축 입체 카메라 시스템에서 신호 처리를 이용한 주시각 제어 과정을 설명하기 위한 도면.
도 3은 종래의 평행축 입체 카메라 시스템에서 주시각 제어를 위해 이동시켜야 할 이동 픽셀 수를 계산하는 과정을 설명하기 위한 일실시예 도면.
도 4는 본 발명에 따른 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 일실시예 구성도.
도 5는 본 발명에 따른 보정 영상 신호 처리를 이용한 평행축 입체 카메라 시스템에 있어서 보정 영상 신호 처리를 이용한 주시각 제어 과정을 설명하기 위한 도면.
도 6은 본 발명에 따른 보정 영상 신호 처리를 이용한 주시각 제어 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
100 : 평행축 입체 카메라 110 : 좌측 카메라
120 : 우측 카메라 200 : 주시각 제어 장치
210 : 저장부 211 : 좌 영상 버퍼
212 : 우 영상 버퍼 220 : 이동 픽셀 수 결정부
230 : 이동 픽셀 수 보정부 240 : 보정 영상 신호 처리부
241 : 좌 영상 처리기 242 : 우 영상 처리기
250 : 영상 복원부 251 : 좌 영상 복원기
252 : 우 영상 복원기

Claims (12)

  1. 보정 영상 신호 처리를 이용한 주시각 제어 장치에 있어서,
    외부 기기로부터 좌우 영상을 입력받아 저장하기 위한 저장수단;
    상기 저장수단에 저장한 좌우 영상에 대하여 수평방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정수단;
    상기 이동 픽셀 수 결정수단에서 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정하기 위한 이동 픽셀 수 보정수단;
    상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 상기 저장수단에 저장한 좌우 영상을 수평 및 수직방향으로 보정 영상 신호 처리를 수행하기 위한 보정 영상 신호 처리수단; 및
    상기 보정 영상 신호 처리수단에서 보정 영상 신호 처리한 좌우 영상을 상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 원래의 크기로 확대하기 위한 영상 복원수단
    을 포함하는 보정 영상 신호 처리를 이용한 주시각 제어 장치.
  2. 제 1 항에 있어서,
    상기 이동 픽셀 수 결정수단은,
    초기 카메라 파라미터, 주시거리 및 주시거리 변화량을 이용하여 상기 저장수단의 좌우 영상에 대한 수평방향 이동 픽셀 수를 결정하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 이동 픽셀 수 보정수단은,
    상기 이동 픽셀 수 결정수단에서 결정한 이동 픽셀 수, 영상의 수평크기 및 특정 대칭점의 초기 수평시차를 이용하여 실제로 이동시켜야 할 유효 픽셀 수를 재결정하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 장치.
  4. 제 3 항에 있어서,
    상기 보정 영상 신호 처리수단은,
    상기 이동 픽셀 수 보정수단에서 재결정한 유효 이동 픽셀 수를 이용하여 상기 저장수단으로부터의 좌우 영상을 수평방향으로 이동시키고, 수직방향의 일부 영역을 대칭적으로 제거하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 장치.
  5. 제 4 항에 있어서,
    상기 영상 복원수단은,
    상기 이동 픽셀 수 보정수단에서 재결정한 유효 이동 픽셀 수와 영상의 수평 크기를 이용하여 상기 보정 영상 신호 처리수단으로부터의 좌우 영상을 확대 보간 필터링하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 장치.
  6. 보정 영상 신호 처리를 이용한 주시각 제어 장치에 적용되는 주시각 제어 방법에 있어서,
    좌우 영상을 저장하는 저장단계;
    상기 저장한 좌우 영상에 대하여 수평방향으로의 이동 픽셀 수를 결정하는 이동 픽셀 수 결정단계;
    상기 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정하는 이동 픽셀 수 보정단계;
    상기 재결정한 유효 이동 픽셀 수를 이용하여 상기 저장한 좌우 영상을 수평 및 수직방향으로 보정 영상 신호 처리를 수행하는 보정 영상 신호 처리단계; 및
    상기 보정 영상 신호 처리한 좌우 영상을 상기 재결정한 유효 이동 픽셀 수를 이용하여 원래의 크기로 확대하는 영상 복원단계
    를 포함하는 보정 영상 신호 처리를 이용한 주시각 제어 방법.
  7. 제 6 항에 있어서,
    상기 이동 픽셀 수 결정단계는,
    초기 카메라 파라미터, 주시거리 및 주시거리 변화량을 이용하여 상기 저장한 좌우 영상의 수평방향 이동 픽셀 수를 결정하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 이동 픽셀 수 보정단계는,
    상기 이동 픽셀 수 결정단계에서 결정한 이동 픽셀 수, 영상의 수평크기 및 특정 대칭점의 초기 수평시차를 이용하여 실제로 이동시켜야 할 유효 픽셀 수를 재결정하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 방법.
  9. 제 8 항에 있어서,
    상기 보정 영상 신호 처리단계는,
    상기 이동 픽셀 수 보정단계에서 재결정한 유효 이동 픽셀 수를 이용하여 상기 저장한 좌우 영상을 수평방향으로 이동시키고, 수직 방향의 일부 영역을 대칭적으로 제거하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 방법.
  10. 제 9 항에 있어서,
    상기 영상 복원단계는,
    상기 재결정한 유효 이동 픽셀 수와 영상의 수평 크기를 이용하여 상기 보정 영상 신호 처리한 좌우 영상을 확대 보간 필터링하는 것을 특징으로 하는 보정 영상 신호 처리를 이용한 주시각 제어 방법.
  11. 주시각 제어 기능을 갖는 평행축 입체 카메라 시스템에 있어서,
    좌우 영상을 획득하기 위한 평행축 입체 영상 촬영 장치; 및
    상기 평행축 입체 영상 촬영 장치에서 촬영한 좌우 영상에 대하여 유효 이동 픽셀 수를 이용하여 보정 영상 신호 처리를 한 후에 신호 처리한 좌우 영상을 복원하기 위한 주시각 제어 장치
    를 포함하는 평행축 입체 카메라 시스템.
  12. 제 11 항에 있어서,
    상기 주시각 제어 장치는,
    상기 평행축 입체 영상 촬영 장치에서 촬영한 좌우 영상을 입력받아 저장하기 위한 저장수단;
    상기 저장수단에 저장한 좌우 영상에 대하여 수평방향으로의 이동 픽셀 수를 결정하기 위한 이동 픽셀 수 결정수단;
    상기 이동 픽셀 수 결정수단에서 결정한 이동 픽셀 수에 대하여 실제로 이동시켜야 할 유효 이동 픽셀 수를 재결정하기 위한 이동 픽셀 수 보정수단;
    상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 상기 저장수단에 저장한 좌우 영상을 수평 및 수직방향으로 보정 영상 신호 처리를 수행하기 위한 보정 영상 신호 처리수단; 및
    상기 보정 영상 신호 처리수단에서 보정 영상 신호 처리한 좌우 영상을 상기 이동 픽셀 수 보정수단으로부터의 유효 이동 픽셀 수를 이용하여 원래의 크기로 확대하기 위한 영상 복원수단
    을 포함하는 평행축 입체 카메라 시스템.
KR1020040025273A 2004-04-13 2004-04-13 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템 KR100597587B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040025273A KR100597587B1 (ko) 2004-04-13 2004-04-13 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040025273A KR100597587B1 (ko) 2004-04-13 2004-04-13 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템

Publications (2)

Publication Number Publication Date
KR20050100095A true KR20050100095A (ko) 2005-10-18
KR100597587B1 KR100597587B1 (ko) 2006-07-06

Family

ID=37279001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040025273A KR100597587B1 (ko) 2004-04-13 2004-04-13 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템

Country Status (1)

Country Link
KR (1) KR100597587B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100778085B1 (ko) * 2007-03-14 2007-11-22 주식회사 이시티 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치
WO2011129488A1 (ko) * 2010-04-15 2011-10-20 (주)에이직뱅크 평행축 입체카메라
KR101158492B1 (ko) * 2010-06-18 2012-06-20 주식회사 뉴크론 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101069209B1 (ko) 2008-12-22 2011-09-30 (주)브이쓰리아이 평행축 방식의 입체 카메라에서의 주시각 제어 장치 및 방법
CN103685951A (zh) 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
KR102113285B1 (ko) 2018-08-01 2020-05-20 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100778085B1 (ko) * 2007-03-14 2007-11-22 주식회사 이시티 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치
WO2011129488A1 (ko) * 2010-04-15 2011-10-20 (주)에이직뱅크 평행축 입체카메라
CN102939563A (zh) * 2010-04-15 2013-02-20 Asic银行股份有限公司 平行轴立体相机
KR101158492B1 (ko) * 2010-06-18 2012-06-20 주식회사 뉴크론 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라

Also Published As

Publication number Publication date
KR100597587B1 (ko) 2006-07-06

Similar Documents

Publication Publication Date Title
JP3653790B2 (ja) 立体電子ズーム装置及び立体画質制御装置
JP5742179B2 (ja) 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP5963422B2 (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
US9106906B2 (en) Image generation system, image generation method, and information storage medium
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
JP2000354257A (ja) 画像処理装置、画像処理方法、およびプログラム提供媒体
EP0707288A2 (en) Image processing method and apparatus
JPWO2011108277A1 (ja) 立体撮像装置および立体撮像方法
JP5444452B2 (ja) 立体撮像装置および立体撮像方法
WO2017217115A1 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
WO2020129280A1 (ja) 画像処理装置、画像処理プログラム、画像処理方法および撮像装置
JP5491617B2 (ja) 立体撮像装置、および立体撮像方法
JP5820985B2 (ja) 立体画像処理装置および立体画像処理方法
JP2001128195A (ja) 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
KR100597587B1 (ko) 보정 영상 신호 처리를 이용한 주시각 제어 장치 및 그방법과 그를 이용한 평행축 입체 카메라 시스템
JPWO2012098608A1 (ja) 立体画像処理装置および立体画像処理方法
KR100392381B1 (ko) 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템
JP6170725B2 (ja) 画像処理装置、及びプログラム
JP2004320189A (ja) ２次元画像の３次元化方法
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
KR20200014631A (ko) 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
JPH07296195A (ja) 画像処理装置及び方法
JP5582101B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JPH08116556A (ja) 画像処理方法および装置
KR100430528B1 (ko) 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치 및그 방법과, 그를 이용한 평행축 입체 카메라 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120611

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee