KR100307854B1 - 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치 - Google Patents

Abstract

본 발명은 단일 카메라를 이용한 시선 맞춤 보정 방법과 그 장치에 관한 것으로, 더욱 상세하게는 영상전화나 영상회의시 한 대의 카메라만을 이용하여 상대방에게 눈을 맞추어 대화의 친밀도를 증대시킬수 있도록 영상을 보정 처리하는 방법과 그 장치에 관한 것이다.

이를 위하여 본 발명은, 카메라에서 입력되는 영상을 분석하여 카메라가 바라보는 방향과 피사체가 바라보는 방향이 이루는 시선차값을 결정하는 시선차결정단계, 카메라에 의해 획득된 영상에 대한 시선 보정영상을 구하기 위해, 보정영상의 소정 좌표값에 해당되는 입력영상에서의 대응좌표를 구하는 대응점좌표계산단계, 카메라로부터의 입력영상을 이용하여 상기 대응점좌표계산단계에서 계산된 좌표에 해당하는 보정영상 화소값을 얻어내는 화소값계산단계로 이루어 진 것에 특징이 있다.

또한, 본 발명을 실현한 장치는 카메라에서 입력되는 영상을 분석하여 카메라가 바라보는 방향과 피사체가 바라보는 방향이 이루는 각을 결정하여 출력하는 각결정부, 보정영상상의 소정 위치의 좌표값을 입력받아 이에 대응되는 입력영상에서의 좌표를 출력하는 좌표계산부, 상기 좌표계산부에서 계산된 좌표를 입력받아 그 점에 해당하는 보정된 화소값을 출력하는 화소값계산부로 이루어 진 것에 특징이 있다.

Description

단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치{Method and Apparatus of Gaze Compensation for Eye Contact Using Single Camera}

본 발명은 영상전화나 영상회의 시스템에 있어 카메라에 의해 획득되는 얼굴영상의 시선보정 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 단일카메라를 이용하여 카메라에 의해 획득되는 피사체 영상의 시선방향이 이 영상을 바라보는 상대 통화자 시선과 마주치게 할 수 있는 영상보정 방법과 이를 실현한 영상보정 장치에 관한 것이다.

일반적으로 영상전화나 영상회의 시스템의 경우 종래의 전화기 형태의 장치에 카메라를 부착하여 통화자의 얼굴을 획득하거나, 컴퓨터를 영상전화기로 사용하기 위하여, 컴퓨터 모니터의 상단에 카메라를 위치시켜 통과자의 얼굴 영상을 획득하는 방법을 사용하여 왔다. 컴퓨터 시스템을 사용한 일례가 제 1도에 도시되어 있다. 즉, 사용자의 얼굴영상을 획득하기 위한 카메라(1)는 컴퓨터 모니터(2)위에 놓이게 되며, 이때 카메라가 바라보는 방향(3)은 사용자(5)를 향하지만, 사용자(5)는 모니터(2) 화면에 비추인 상대방의 얼굴을 보기 위하여 시선(4)이 카메라가 아닌 모니터 화면 중앙을 향하게 된다 그러므로 카메라(1)에 의해 획득되어 영상전화의 상대방 통화자에게 보여지는 영상은 제 2도에 나타난 것처럼 시선이 아래쪽을 향한 영상이 되어, 상대방과 시선이 마주치지 않는 단점이 발생하게 된다. 이는 영상전화의 특징인 서로 마주 보고 이야기한다는 현실감을 크게 감소시키는 문제가 된다. 카메라(1)를 모니터(2) 상단 대신에 아래나 측면 등 어느 곳에 놓더라도 서로 마주 보는 시선이 일치하지 않은 위의 문제점은 없어질 수 없다. 이 문제는 모니터(2) 화면 중간, 즉, 상대편의 얼굴이 보여지는 모니터(2)의 해당 장소에 카메라(1)를놓지 않는 이상 카메라에 의해 얻어진 피사체의 시선(4)은 카메라를 보지 않고 다른 곳을 보게 되는 단점이 항상 있게 된다. 이와 같은 문제점은 영상전화시스템을 컴퓨터 대신 전화기 형태로 하여도 통화자가 보는 시선 방향은 카메라가 아니고 항상 상대편 얼굴이 나타나는 모니터의 해당 부분이 되므로 똑 같은 문제가 발생하게 된다.

본 발명은 상기와 같은 문제점을 해소하기 위해, 카메라가 바라보는 방향과 피사체가 바라보는 방향이 이루는 시선차값을 결정한 후 이를 이용하여 카메라에 의해 얻어진 영상을 변형하여 마치 피사체가 카메라를 바라보고 있는 것과 같은 영상으로 보정하는 방법을 제공하는 데 목적이 있다.

위와 같은 본 발명의 목적을 달성하기 위해 본 발명은 카메라와 피시체가 각각 바라보는 방향사이의 시선차값을 결정하는 단계, 카메라에 의해 획득된 영상에 대한 시선보정 영상을 구하기 위해, 보정 영상의 소정의 좌표점에 대응될, 카메라로부터의 입력영상의 대응점 좌표를 구하는 단계, 카메라로부터의 입력영상을 이용하여 상기 단계에서 계산된 좌표에 해당하는 새로운 화소값을 얻어내는 단계로 이루어 진 것에 특징이 있다.

본 발명의 또 다른 목적은 카메라에 의해 얻어진 영상을 변형하여 마치 피사체가 카메라 쪽을 바라보고 있는 것과 같은 영상으로 보정하는 장치를 제공하는 데 목적이 있다.

위의 목적을 달성하기 위해 본 발명의 장치는, 시선보정을 위한 시선차값을결정하는 시선차결정부, 상기 시선차결정부에서 시선차값을 입력받고, 화소값계산부에서 보정영상 좌표값을 입력받아, 입력된 보정영상 좌표값에 해당하는 카메라로부터의 입력영상의 대응 좌표값을 출력하는 대응점좌표계산부, 카메라로부터의 입력영상을 이용하여 보정영상의 소정 좌표에 해당하는 화소값을 계산하는 화소값계산부로 이루어 진 것에 특징이 있다.

제 1도는 컴퓨터 시스템을 이용한 영상 전화기의 일례

제 2도는 상대방과 시선이 마주치지 않는 얼굴영상

제 3도는 본 발명의 시선 보정방법 흐름도

제 4도는 카메라와 피사체 시선 방향간의 시선차값을 보여주는 개념도

제 5도는 얼굴특징값의 정의도

제 6도는 입력영상과 보정영상의 일례

제 7도는 피사체의 얼굴 형태 모델

제 8도는 얼굴의 삼각형 기둥 모델

제 9도는 영상보정장치

<도면의 주요부분에 대한 부호의 설명>

1 : 카메라 3 : 카메라가 바라보는 방향

4 : 피사체가 바라보는 시선방향 11 : 카메라의 영상플레인

12 : 카메라와 피사체간의 시선차

이하 첨부된 도면에 의해 상세히 설명하면 다음과 같다.

제 3도는 본 발명의 시선 보정 방법을 보여주는 것으로, 구체적으로 시선차결정단계(21), 대응점좌표계산단계(22), 그리고 화소값계산단계(23)로 이루어진다.

시선차결정단계(21)에서는 제 4도의 카메라(1)가 보고 있는 방향(3)과 피사체의 시선 방향(4)사이의 사이각 THETA(12)를 시선차값으로 결정한다.

제 4도의 피사체와 모니터(2) 화면사이의 거리(L)와 카메라까지의 높이(H)를 알고 있는 경우 상기 수학식1과 같이 시선차값 THETA(12)를 결정할 수 있다. 그러나 거리(L)와 높이(H)를 알지 못하는 경우는 카메라에 의해 획득되는 영상을 분석함으로써 THETA(12)를 알 수 있다. 그 방법을 상술하면 다음과 같다. 먼저 피사체가 카메라 방향(3)으로 향한 후 기준영상을 획득한다. 이 기준 영상을 분석하여 양 눈동자와 입을 추출한 후, 제 5도에 나타난 것과 같이 양쪽 눈동자의 중심을 잇는 직선의 중심과 입의 중심부분까지의 거리(EMS0)와 양쪽 눈동자의 중심간의거리(EES0)를 구한다. 한편 피사체가 모니터 화면(2)을 보고 있는 정상상태에서 획득된 영상을 이용하여 마찬가지로 제 5도에 나타난 양쪽 눈동자의 중심을 이은 직선의 중심과 입의 중심부분까지의 거리(EMS)와 양쪽 눈동자의 중심간의 거리(EES)를 구한다.

카메라 방향(3)과 피사체 시선방향(4)이 서로 일치하는 상기 기준영상의 경우와, 제 4도와 같이 두 방향이 THETA(12)만큼 차이나는 일반적 상태의 입력영상의 경우 카메라 영상플레인(11)에 맺히는 각각의 피사체의 길이는 서로 다르며 이때 그 비는 다음의 수학식 2와 같이 된다.

그러므로 상기 기준영상으로부터 EMS0와 EES0를, 그리고 현재 입력된 일반적 상태의 입력영상에서 EMS와 EES를 구한 후, 상기 수학식 2를 이용하면 시선차 THETA(12)값을 알 수 있다. 여기에서 피사체의 길이에 해당하는 EMS0와 EMS값만을 이용하지 않고, EES0와 EES값으로 정규화된 값을 사용한 것은, 카메라와 피사체간의 거리가 기준영상을 찍을 때와 정상상태의 현재 입력영상을 찍을 때 서로 다른 경우에도 시선차 THETA(12)값을 신뢰도 있게 구하기 위함이다. 상기 수학식 2에서 EES, EES0, EMS, EMS0를 알기 위해 상기 시선차 결정단계에서는 입력된 영상을 분석하여 눈과 입을 찾아야 한다.

이는 참조문헌 (대한전자공학회 논문지 제 36권 S편 제1호, 1999년 1월, 함상진, 김형곤, '3차원 개인 얼굴 모델자동생성', 104～114쪽)에 개시되어 있는 것과 같은 공지의 기술을 사용하여 충족될 수 있다. 물론 본 발명의 어느 부분도 눈과 입을 찾는 특정 방법에 구애받지 않는다.

대응점좌표계산단계(22)에서는 제 4도의 카메라(1)가 보고 있는 방향(3)과 피사체의 시선 방향(4)사이의 사이각 THETA(12)를 이용하여 정상상태에서의 입력 영상(41), 즉 피사체가 모니터(2) 화면을 바라보고 있을 때, 카메라 영상플레인(11)에 잡히는 영상을 y축을 중심으로 THETA(12)만큼 회전시킨 보정영상(42)을 얻기 위해, 회전 후 보정영상(42)의 소정 위치 (xnew, ynew)에 대응하는 회전 이전의 영상, 즉, 카메라에서 입력 받은 정상상태의 입력영상(41)의 대응점 좌표 (xold, yold)를 계산한다. 이때 회전후 얻어지는 보정영상은 정상상태에서의 입력영상(41) 전체를 회전시켜서 얻을 수도 있고 입력영상의 일부분만을 회전시켜서 얻을 수 있다. 또한 소정 위치(xnew, ynew)의 범위 역시 전체 영상이 되거나 영상의 일부분 일 수 있다. 제 4도에서의 x-, y-, 그리고 z-축은 카메라 영상플레인(11)상에서의 좌표체계를 의미한다. 여기서 x축과 y축은 제 6도에 있는 것처럼 카메라에 의해 획득된 영상의 수직방향과 수평방향을 각각 의미하고, z축은 피사체에서 카메라를 보는 방향을 표시한다. 이때, 피사체를 z=0으로 정의한다. (xnew, ynew)에 대응하는 입력영상에서의 좌표 (xold,yold)는 하기 수학식 3에 의해 구해진다.

yold = ynew

현재 입력영상을 y축을 중심으로 THETA(12)만큼 회전시키므로 x축값은 변하지만 y축값은 동일하다. 상기 수학식 3에서 z(xnew,ynew)는 피사체를 z=0으로 보았을 때, 영상의 (xnew,ynew)면에 맺힌 화소에 해당하는 피사체의 z값이다. 이는 제7도에 나타난 것과 같이 얼굴의 z방향으로의 높낮이 때문에 생기는 것이다. 카메라에 찍힌 영상은 2차원 영상이므로 영상자체만을 가지고는 z축 정보는 알 수 없다. 그러나 이를 계산하기 위해 제 7도와 제 8도에 나타난 것처럼 간단한 모델을 사용할 수 있다. 제 7도와 제 8도에서 zN은 z방향으로 얼굴의 가장 높은 점을 코로 모델링했을 때, 코까지의 거리이다.

z = g(x,y)

즉, 얼굴을 제 8도에 나타난 것처럼 삼각기둥으로 근사화하여, 얼굴자체의 정확한 모양 대신 임의 좌표 (x,y)에서의 z값을 상기 수학식 4와 같이 놓을 수 있다. 함수 g(x,y)는 정확한 얼굴모양 분석에 의해 정하여야 하지만, 실용적인 목적상 간단한 함수식으로 정의하여 사용하여도 무방하다. 한 예로 제 8도와 같이 간단한 삼각형 기둥으로 근사하여 다음의 수학식 5로 표시할 수 있다.

g(x,y) = (zN / yM) X y, 0 ＜ y ＜ yM의 경우

= zN, y = yM의 경우

= -zN / (yN-yM) X (y - yM) + zN, yM ＜ y ＜ yN의 경우

제 3도에서의 화소값계산단계(23)에서는 카메라에 입력된 입력영상(41)을 이용하여 상기 수학식 3에 의해 계산된 (xold,yold)의 좌표값에 해당하는 화소값을 구한다. 만일, xold가 정수값을 갖는다면 화소값계산단계(23)에서는, 단순히 카메라에서 입력받은 화소값중 좌표 (xold, yold)에서의 화소값을 찾으면 된다. 그러나, 상기 수학식 3에 의하면 일반적으로 xold는 실수값을 갖는다. 이때의 화소값은 보간 방법을 사용하여 계산할 수 있는데, 한 예는 다음과 같다. 만일 xold값이 정수부분(xold_int)과 음수가 아닌 소수부분(xold_frac)으로 나뉘어 진다면, xold_frac는 0과 1사이의 어떤 양수가 되는데, 이때, 좌표 (xold, yold)에서의 값은 다음 수학식 6과 같다.

f (xold_int+1, yold)

상기 수학식 6에서의 함수 f(x,y)는 좌표(x,y)점에서의 화소값을 말한다.

이상 상술한 바와 같이 상기 시선차결정단계(21)에서 카메라와 피사체 시선사이의 시선차 THETA(12)값을 결정하면, THETA만큼 가상적으로 회전한 피사체에 대한 영상인 보정영상에서의 임의의 점에 해당하는 화소값은 먼저, 그점에 대응하는 카메라에서 입력된 보정전의 영상에서의 대응 좌표를 대응점좌표계산단계(22)에서 계산할 수 있으며, 이때 계산된 대응점에서의 화소값을 상기 화소값계산단계(23)에서 구할 수 있어, 결국 보정영상을 구할 수 있게 된다. 한편 본 발명의 방법에 대한 상기 시선차결정단계(21) 설명을 위하여 기술한 상기 구체적 방법은 한 일례에 해당하므로, 상기 단계의 목적인 카메라와 피사체 시선의 시선차값을 결정할 수 있는 또 다른 방법도 사용할 수 있음은 물론이다. 한가지 변형예로서, 상기 시선차결정단계(21)에서 카메라로 입력된 영상을 분석하거나, 피사체와 모니터 화면사이의 거리와 카메라까지의 높이 관계를 이용하여 시선차 사이각 THETA(12)를 결정하는대신, 사용자가 보기에 가장 자연스러운 보정 영상이 되도록 사이각 THETA 값을 사용자가 선택하도록 실현될 수 있다. 이 또한 본 발명에 있어서의 시선차결정단계(21)의 한 실현 예가 될 수 있다. 마찬가지로, 대응점좌표계산단계(22)의 설명에 기술한 방법도 본 발명의 실현의 한 예에 해당하는 것으로서, 보정후의 한점 좌표에 대응하는 보정 전, 즉 카메라로부터 입력된 영상에서의 대응점 좌표 산출이라는 목적에 부합되는 여타의 방법도 사용 가능함은 물론이다. 상기 화소값계산단계(23)에서 일례로 들은 상기 수학식 6을 이용한 방법은 여타의 구체적 실현들로 변경 가능하여, 상기 설명한 구체적 방법은 어느 측면에서도 본 발명의 사상을 제약하지 않는다.

본 발명의 또 다른 목적인, 카메라에 의해 얻어진 영상을 변형하여 마치 피사체가 카메라 쪽을 바라보고 있는 것과 같은 영상으로 보정하는 장치를 제 9도를 이용하여 설명하면 다음과 같다.

제 1도에 나타난 것과 같이 카메라(1)에 의해 얻어진 입력영상(41)은 제 9도의 시선차결정부(32)에 입력된다. 시선차결정부(32)는 본 장치의 초기화 시간이나, 또는 사용자가 원하는 시간에, 피사체가 카메라를 향한 상태에서 찍은 기준영상(제 9도에 미 도시됨)과 입력영상(41)을 입력받아 분석한 후 제 5도와 연관하여 이미 기술한 바와 같이 영상내의 양쪽 눈동자의 중심을 잇는 직선의 중심과 입의 중심부분까지의 거리(EMS0와 EMS)와 양쪽 눈동자의 중심간의 거리(EES0와 EES)를 구한 후, 상기 수학식 2를 이용하여 제 4도의 시선차값 THETA(12)를 결정한다. 이때 이미 기술한 것과 같이, 시선차값 THETA(12)를 결정한다는 목적에 부합된다면 여타의 형태로도 실현될 수 있다. 한 예로 시선차결정부(32)가 사용자로 하여금 사이각 THETA(12)값을 조정하도록 하고, 이를 입력받아 시선차결정부(32)가 사이각 THETA(12)값으로 결정하는 형태도 실현될 수 있다.

제 9도의 대응점좌표계산부(33)는 보정영상(42)의 임의 점에 대한 좌표값(35), (xnew,ynew)를 화소값계산부(34)로부터 입력받으면, 시선차결정부(32)에서 입력받은 THETA(12)값을 이용하여, 보정영상(42)의 좌표점 (xnew, ynew)에 해당하는 카메라부터의 입력영상(41) 상의 대응 좌표(36) (xold, yold)를 산출하여 화소값계산부(34)로 출력한다. 이때, 대응 좌표 (xold, yold)를 계산하는 구체적 일례는 상기 수학식 3, 수학식 4, 그리고 수학식 5와 연관하여 이미 상술한 바와 같으며, 대응 좌표 (xold, yold)를 계산하는 목적에 부합되는 여타의 형태로도 실현 가능하다.

제 9도의 화소값계산부(34)는 대응점좌표계산부(33)로 보정영상(42)의 각 좌표점 (xnew, ynew)을 출력하고, 이에 해당하는 입력영상(41)에서의 대응좌표(36) (xold, yold)를 입력받으면, 카메라로부터 입력받은 입력영상(41)의 화소값들을 이용하여 (xold, yold)위치에서의 화소값을 계산하여 보정영상(42)의 좌표점 (xnew, ynew)에서의 화소값으로 사용한다. 이때, 이 화소값을 계산하는 구체적 실현의 한 예는 이미 상기 수학식 6과 연관하여 상술한 바와 같으며, 좌표점 (xnew, ynew)에서의 화소값 계산이라는 목적에 부합하는 여타의 구체적 실현예들도 사용될 수 있다.

이상에서 상술한 바와 같이 본 발명은, 영상전화나 영상회의 등 상대편 얼굴을 보고 통화하는 응용에 있어서, 카메라가 바라보는 방향과 피사체가 바라보는 방향이 일치하지 않음에서 야기되는 시선 불일치 문제를, 하나의 카메라만을 사용하여 보정함으로써, 시선의 마주침 효과를 증대시키는 영상보정방법을 제공하며, 이로써 영상전화나 영상회의 등 상대편 얼굴을 보고 통화하는 응용의 친밀도와 사실감을 크게 향상시키는 효과가 있다.

Claims (20)

1. 카메라로부터의 입력영상을 받아 시선보정하는 방법에 있어,

   시선보정을 위한 시선차값을 결정하는 단계,

   상기 결정된 시선차값을 이용하여 보정영상에서의 소정 좌표값에 해당하는 입력 영상의 대응 좌표값을 결정하는 단계,

   카메라로부터의 입력영상을 이용하여 상기 계산된 대응 좌표값에서의 화소값을 계산하는 단계,

   상기 계산된 화소값을 보정영상의 상기 소정 좌표값에 해당하는 화소값으로 출력하는 단계로 이루어진 것을 특징으로 하는 시선보정 방법.
2. 상기 청구항 1의 시선차값을 결정하는 단계에 있어서, 카메라로부터 입력받은 영상과, 피사체가 카메라를 바라 보도록 하여 입력받은 기준영상을 비교함으로써 현재 입력된 영상에 해당하는 시선차값을 결정함을 특징으로 하는 시선보정 방법.
3. 상기 청구항 1의 시선차값을 결정하는 단계에 있어서 사용자가 상기 시선차값을 결정함을 특징으로 하는 시선보정 방법.
4. 상기 청구항 1의 시선차값은 피사체가 카메라쪽으로 바라보는 방향과 피사체가 모니터 화면을 바라보는 방향과의 사이각임을 특징으로 하는 시선보정방법.
5. 상기 청구항 1의 대응 좌표값을 결정하는 단계에 있어서, 상기 보정영상은 상기 입력영상을 상기 시선차값만큼 회전한 것임을 특징으로 하는 시선보정방법.
6. 카메라로부터의 입력영상을 시선보정하는 장치에 있어,

   시선보정을 위한 시선차값을 결정하는 시선차결정부,

   상기 시선차결정부에서 시선차값을 입력받고, 화소값계산부에서 보정영상의 소정의 좌표값을 입력받아, 입력된 보정영상 좌표값에 해당하는 카메라로부터의 입력영상의 대응 좌표값을 출력하는 대응점좌표계산부,

   카메라로부터의 입력영상을 이용하여 보정영상의 소정 좌표에 해당하는 보정영상의 화소값을 출력하는 화소값계산부로 구성됨을 특징으로 하는 시선보정 장치.
7. 상기 청구항 6항의 시선보정장치에 있어,

   상기 시선차결정부가 카메라로부터의 영상을 입력받음을 특징으로 하는 시선보정 장치.
8. 상기 청구항 6항의 시선보정장치에 있어,

   상기 시선차결정부가 사용자로부터의 소정의 시선차 값을 입력받음을 특징으로 하는 시선보정 장치.
9. 상기 청구항 6항의 시선보정장치에 있어,

   상기 화소값계산부로 출력하는 보정영상은 상기 입력영상을 상기 시선차값만큼 회전한 것임을 특징으로 하는 시선보정 장치.
10. 상기 청구항 1의 시선차값을 결정하는 단계에 있어서, 카메라로부터 입력받은 복수개의 영상을 이용하여 상기 시선차값을 결정함을 특징으로 하는 시선보정 방법.
11. 상기 청구항 10의 상기 복수개의 영상은 피사체가 카메라를 바라 보도록 하여 입력받은 기준 영상을 포함하는 것임을 특징으로 하는 시선보정 방법.
12. 상기 청구항 10의 상기 복수개의 영상을 분석하여 얻어진 특징을 분석하여 상기 시선차값을 결정함을 특징으로 하는 시선보정 방법.
13. 상기 청구항 1에 있어 상기 보정영상은 상기 카메라로부터의 입력영상의 소정부분을 상기 결정된 시선차값을 이용하여 회전하여 얻음을 특징으로 하는 시선보정방법.
14. 상기 청구항 1에 있어 보정영상에서의 상기 소정 좌표값은 영상 전체를 망라하는 것을 특징으로 하는 시선보정방법.
15. 상기 청구항 1에 있어 보정영상에서의 상기 소정 좌표값은 영상의 소정부분을 망라하는 것을 특징으로 하는 시선보정방법.
16. 상기 청구항 1의 대응 좌표값을 결정하는 단계에 있어 보정영상에서의 상기 소정좌표값 (xnew, ynew)에 대응하는 입력영상의 좌표값 (xold, yold)은 다음의 수학식을 이용하여 결정됨을 특징으로 하는 시선보정방법.

    xold = cos(THETA) X xnew + z(xnew, ynew) X sin(THETA)

    yold = ynew
17. 상기 청구항 16에 있어 z(xnew, ynew)는 얼굴모델링을 통해 얻어짐을 특징으로 하는 시선보정 방법.
18. 상기 청구항 16에 있어 z(xnew, ynew)는 얼굴을 삼각기둥으로 근사화하여 모델링하여 얻어짐을 특징으로 하는 시선보정 방법.
19. 상기 청구항 16에 있어 z(xnew, ynew)는 항상 0으로 하는 것을 특징으로 하는 시선보정 방법.
20. 상기 청구항 6항의 시선보정장치에 있어,

    상기 화소값계산부로 출력하는 보정영상은 상기 입력영상의 소정부분을 상기 시선차값만큼 회전한 것임을 특징으로 하는 시선보정 장치.