KR0153214B1 - 입체화상촬상 및 표시장치 - Google Patents

Abstract

본 발명은 입체화상을 촬영해서 표시하는 입체화상촬상 및 표시장치에 관한 것으로서, 2중상지각이나 위화감을 억제하여 감상하기 좋은 입체화상촬상 및 표시장치를 제공하는 것을 목적으로 한것이며, 그 구성에 있어서, 촬상화상의 양눈시차를 검출하고, 관찰자의 양눈융합범위내에 촬상화상의 시차가 들어가는 최적폭주점에 광축이 향하도록 촬상카메라의 광축을 제어하고, 또, 관찰자가 가장 넓은 범위에서 피사체의 안길이시야를 지각가능한 최적주시점을 계산하고, 이것이 3차원 입체화상표시부의 표면 혹은 표면으로부터 지정된 거리로 재현되도록 제어하여, 관찰자의 입체화상관상시의 위화감을 억제하는 것을 특징으로 한 것이다.

Description

입체화상촬상 및 표시장치

제1도는 본 발명에 있어서의 제1의 실시예의 입체화상촬상장치의 구성도.

제2도는 입체화상의 촬상좌표계와 표시좌표계를 표시한 도면.

제3도는 인간의 조절기구와 폭주기구의 허용범위를 표시한 도면.

제4도는 시차(視差)의 계산방법을 표시한 도면.

제5도는 입체화상표시장치에 있어서의 양눈융합범위를 표시한 도면(시거리71㎝).

제6도(a)는 폭주점까지의 거리dx와, 광축의 회전각의 정의를 표시한 도면. (b)는 폭주점까지의 거리dx와, 광축의 화전각의 관계를 표시한 도면.

제7도는 본 발명에 있어서의 제2의 실시예의 입체화상촬상장치의 구성도.

제8도는 본 발명에 있어서의 제3의 실시예의 입체화상촬상장치의 구성도.

제9도는 입체화상표시장치에 있어서의 양눈융합범위를 표시한 도면(시거리71㎝).

제10도는 종래의 입체화상촬상장치의 개략도.

제11도는 입체화상촬영방법을 표시한 도면(평행촬영·폭주촬영).

제12도는 입체화상표시장치의 개략도.

제13도는 입체화상표시위치를 표시한 도면.

제14도는 종래의 3차원화상표시장치의 외관도.

제15도는 양눈시차에 의한 관찰자의 안길이지각(知覺)의 성립에 대해서 표시한 도면.

제16도는 본 발명에 있어서의 제4의 실시예의 3차원화상표시장치의 구성도.

제17도는 웨이팅을 건 시차평균치를 구하는 수법을 표시한 도면.

제18도는 시차제어부(12)의동작을 표시한 도면.

제19도는 본 발명에 있어서의 제5의 실시예의 3차원화상표시장치의 구성도.

제20도는 시선센서부(14)의 동작을 표시한 도면.

제21도는 표시화상상의 주시점좌표계산방법을 표시한 도면.

제22도는 주시점위치의 계산방법을 표시한 도면.

제23도는 좌우화상의 수평판독타이밍의 제어량의 계산수법을 표시한 도면.

제24도는 본 발명에 있어서의 제6의 실시예의 3차원화상표시장치의 구성도.

제25도는 본 발명에 있어서의 제7의 실시예의 3차원화상표시장치의 구성도.

* 도면의 주요부분에 대한 부호의 설명

1,2 : 렌즈 3,4 : 회전제어부

5 : 카메라간격제어부 6 : 삼각

7,8 : 촬상면 9,10 : 프로젝터

11 : 평광판 12 : 스크린

13 : 편광안경 14a,14b : 신호처리부

15 : 시차계산부 16 : 시차처리부

17 : 안길이표시위치계산부 18 : 융합범위확인부

19 : 폭주각제어부 20 : 융합범위결정부

21,22 : CRT 23 : 하프미러

24 : 편광판 25 : 편광안경

26 : 왼쪽눈 27 : 오른쪽눈

28 : CRT표면위치 29 : 시차계산부

30 : 주시점계산부 31 : 시차제어부

32 : 화상표시부 33 : 시선센서부

34 : 시선검출부 35 : 주시점판정부

36 : 제어량계산부 37 : 입체촬상카메라

38 : 기록장치 39 : 주시의도지정부

40 : 재생장치

본 발명은, 입체화상을 촬영해서 표시하는 입체화상촬상 및 표시장치에 관한 것이다.

종래의 입체화상촬상장치로서는, 예를 들면 제10도와 같은 것이있다. 이것은, 본래 2대의 카메라를 2대의 삼각대위에 각각 고정한 것이며, 이 2대의 카메라가 사람의 좌우 눈에 상당한다. 각각의 카메라는 회전제어부(3)·(4)에 고정되어 있고, 각각 수평방향으로 회전가능하게 되어 있다. 또, 카메라간격제어부(5)에 의해, 2대의 카메라의 간격을 변화할 수도 있도록 되어있으며, 카메라전체는 삼각(6)에 고정되어 있다. 여기서, 이 종래의 입체화상촬상장치의 평면도를 제11도(a),(b)에 표시한다. (a)는 카메라의 광축을 평행으로 하는 평행촬영의 경우, (b)는 카메라의 광축을 경사시켜, 2개의 광축이 교차되도록 하는 폭주촬영의 경우이다. 상기한 회전제어부(3)·(4)의 움직임에 따라, 2대의 카메라를 회전해서 평행촬영, 폭주촬영에 대응한다. 또, 카메라간격은 Wc를 변화시키므로서 변경이 가능하도록 되어있다. 그런데, 입체화상의 촬상에 있어서, 폭주점까지의 거리dx와 카메라간격 Wc는, 입체화상의 화질에 크게 영향한다. 카메라 간격Wc는, 표시된 피사체의 크기와, 재현되는 수평시차의 크기에 영향된다. 폭주점까지의 거리dx는, 수평시차의 크기(관찰자의 양눈융합범위에 영향된다)와 촬상화상의 변형에 크게 관계된다. 종래의 입체화상촬상에 있어서는, 이 폭주점까지의 거리dx와 카메라간격Wc를 촬영자가 경험에 의해서, 촬영된 화상을 관찰자가 보는 경우에 깨끗이 보이도록 설정하고 있었다. 여기서, 주로, 「깨끗이보이도록」란, 관찰자가 보았을 때에 관찰자의 융합범위내에 입체화상의 수평시차가 들어가도록 하는 것을 가리킨다.

다음에, 융합범위에 대해서 더 상세히 설명한다. 제12도는 입체화상촬상장치에 의해 기록된 입체화상신호를 재생하는 종래의 입체화상표시장치의 개략도이다. 이것은, 입체화상촬상장치에서 촬상된 좌우 2종류의 화상을 프로젝터(9),(10)에서 재생하고, 서로 수직의 편광방향을 가진 편광판(11)으로 편광하고, 이것을 스크린(12)에 결상한다. 관찰자는 편광안경(13)을 장착하고, 오른쪽 눈용의 화상은 관찰자의 오른쪽 눈에만, 왼쪽눈용의 화상은 관찰자의 왼쪽눈에 각각 투영된다.

제13도는 입체화상표시장치의 스크린부분의 평면도이다. 입체화상촬상장치에 의해 얻게된 점화상이 오른쪽눈용, 왼쪽눈용으로 각각 IR, IL이라고 하면, 양눈간격We의 관찰자는 시선의 교차점C1에 가상적으로 피사체가 존재하는 것으로 지각한다. 이와 같이, 관찰자는 양눈 입체시를 사용해서 표시되는 화상의 안길이를 지각할 수 있다.

또, 제14도와 같이, 스크린을 사용하지 않고 2개의 직교하는 편광판을 부착한 CRT의 화상을 하프미러에 의해 합성하고 이것에 대응하는 편광판을 부착한 안경을 달아서 관찰하도록한 종래의 입체화상의 표시방법등도 있으나, 관찰자가 안길이를 지각하는 원리는 어느것이나 동일하다.

다음에, 안길이 지각에 대해서 또 제15도를 사용해서 상세하게 설명한다. 이것은, 양눈 시차에의한 관찰자의 안길이 지각의 성립에 대해서 설명한 도면이며, A,B,P는 피사체(점), CL은 관찰자의 왼쪽눈(26)의 회전중심, CR은 관찰자의 오른쪽 눈(27)의 회전중심이며, FL, FR는 각각 관찰자의 왼쪽눈, 오른쪽눈의 중심와(中心窩))(망막위에서 가장 해상도가 높은 부분이며, 인간은 물체를 주시할 때, 중심와에 물체의 상을 결상시킨다)이다. 관찰자가 점p를 주시했다고 하자, 이때, 좌우의 안구는 중심와 FL,FR에 점P의 상을 결상하도록 향한다. 이때, 주시점P보다 가까운점A의 상은 좌우눈의 망막상의 AL,AR에 결상한다. 마찬가지로 주시점P보다도 멀리있는 점B의 상은, 좌우눈의 망막상의 BL,BR에 결상한다. 이때, 각눈의 점A의 상과 점B의 망막상과의 거리ALBL와 AR BR는 다르다. 이 거리의 차는 점A와 점B의 안길이방향의 거리와 대응하고 있다. 또, 이점을 각도로 환언하면, 점p와 점A간의 양눈시차δPA는, δPA=γ0-γA로 표시되고, 이 크기가 점A와 점B의 안길이방향의 거리에 대응하고, 인간은 뇌속에서 이 차분을 계산해서 피사체의 안길이 위치를 지각한다. 즉, LAB를 지각한다. 또, 인간은 피사체까지의 거리가 멀면, 점A혹은 점B의 절대거리LA,LB의 지각감도는 낮고, 상대거리LAB의 지각감도가 높다.

그러나, 상기와 같은 종래의 구성에서는, 실제의 화상은 표시스크린(12)위에 결상되는데도 불구하고, 관찰자는 C1의 위치에 피사체가 있다고 지각한다. 즉, 실제의 화상이라고 보이는 화상에서는, 눈의 핀트위치가 다른 상황이다. 환언하면, 관찰자의 폭주(모들뜨기눈이 되는일, 즉 가까운위치C1에 얀눈을 향하는 일)와 조절(눈의 핀트)이 모순된 상태로 되어 있다. 이 모순량이 크게되면, 인간은 좌우의 화상을 1개의 것으로 지각할 수 없게 되고, 2중상의 지각이 되어 버린다. 또는, 2중상이 되지 않아도, 매우 위화감이 큰 입체화상이 되어, 관상해도 기분이 나쁘게 되는 일이 있다.

더 상세히 설명하면, 제15도에 있어서, 관찰자가 점P를 주시했을때, 인간이 이 안길이를 계산할 수 있는 양눈시차δ의 크기범위는 대략±0.5°이며, 그이상 안길이 거리가 크게되면(양눈시차°의절대치가 크게되면), 안길이방향의 거리사이가 감소되고, 더 크게되면 물체가 2중으로 관찰되어, 안길이를 알 수 없게되는 동시에 매우 관찰하기 어렵게된다. 또 제15도에 있어서, 점A,B,P를 제14도의 3차원화상표시장치로 표시했을 때, 재현되는 입체상의 위치가, 화상을 표시하고 있는 CRT표면의 위치(28)로부터 떨어지면, 눈의 렌즈의 초점조절위치(CRT표면)와 표시화상의 안길이위치의 어긋남이 크게 된다. 이 CRT표면의 위치와 입체화상제시위치의 어긋남에도 인간에게는 허용범위가 있고, 이것을 초과하면, 양눈의 중심와에 의도하는 피사체를 결상할 수없게되어, 관찰자는 2중상을 지각한다.

이상의 것을 고려하면, 양안 입체시에 의한 인간의 속길이 지각범위는, 주시점P를 중심으로 해서, 어떤 한정된 범위밖에 없는 것을 알 수 있다. 인간은, 보다 넓은 3차원 세계를 지각하기 위하여, 주시점P를 안길이 방향으로도 이동하고, 각각의 주시점의 위치에서, 그 주위의 3차원구조를 지각하고, 그것을 합성한다. 그러나, 종래의 3차원 화상제시장치에서는, 눈의 렌즈의 초점위치조절위치(CRT표면)와 표시화상의 안길이 위치의 어긋남 허용범위가 있기 때문에, 피사체의 전체공간을 관찰할 수가 없다.

또, 눈의 렌즈의 초점조절위치(CRT표면)와 표시화상의 안길이위치의 어긋남이 존재하기 때문에, 주시점을 신속히 이동하는 것이 곤란해지고, 이들 원인이 겹쳐서, 종래의 3차원화상 제시위치는, 피로하기 쉬운, 보기어려운 화상표시이였다.

또, 이와 같은 결점을 개선하기 위해, 종래의 입체화상촬상장치에서는, 촬영자가, 이와 같은 상태로 되지않도록, 촬영현장에 있어서 촬영거리를 측정하고, 이것을 표시하는 입체화상표시장치의 크기나 관객의 시거리를 상정하여, 제11도의 Wc와 dx를 결정하고 있었으나, 그계산은 대충적인 촬영거리나 촬영자의 경험에 의존한 것으로, 정확하지 않거나, 1개의 피사체에 대해서 주목하여, 이것이 무리없이 양눈입체시 될 수 있도록 카메라 파라미터를 설정하고 있었다. 또, 피사체가 안길방향으로 이동하는 경우등, 재현해야될 안길이와 시간적으로 변화되는 경우에 대해서는 최적하게 We와 dx를 결정할 수가 없었다.

본 발명은, 각가의 시점에 있어서 피사체를 촬상하는 촬상부와, 촬상부의 폭주각을 변화시키는 폭주각 이동기구부와, 각각의 촬상부로부터 화상데이터를 추출하는 신호처리부와, 신호처리부의 출력을 사용해서 화상의 시차를 계산하는 시차계산부와 시차계산부의 출력중에서 최소치(가장 가까운 피사체의 시차)를 검출하는 시차처리부와, 시차처리부의 출력을 사용해서 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 가장 가까운 점의 피사체의 안길이 위치를 계산하는 안길이 표시위치계산부와, 안길이표시위치계산부의 출력을 사용해서, 이것이 재생화상을 관상하는 관찰자의 융합허용범위내지인지 어떤지를 판단하는 융합범위확인부와, 융합범위확인부의 출력을 사용해서, 가장 가까운 점의 피사체가 관찰자의 융합허용범위내가 되도록 폭주각 이동기구부를 제어하는 폭주각제어부를 구비한 것을 특징으로 하는 입체화상촬상장치와, 피사체의 양눈시차 또는 3차원위치를 계산하는 시차계산부와, 시차계산부의 출력으로부터 피사체의 안길이위치의 화면전체의 평균치 또는 화면중앙부분에 높은 웨이팅을 붙인 가중평균치를 계산하는 주시점계산부와, 주시점계산부의 출력으로 표시되는 안길이위치를 3차원입체화상표시부의 표면 혹은 표면으로부터 지정된 거리로 재현되도록 제어하는 시차제어부를 구비한 입체화상표시장치를 조합한 입체화상촬상 및 표시장치이다.

본 발명은 상기한 구성에 의해, 촬상화상의 양눈시차를 검출하고, 이것으로부터 관찰자가 관찰하는 가장 가까운점의 피사체의 안길이 위치를 계산하고, 이것이 재생화상을 관상하는 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하고, 또 화상의 양눈시차로부터 관찰자가 가장 넓은 범위에서 피사체의 안길이시야를 지각가능한 최적 주시점을 계산하고, 이것이 입체화상표시부의 표면 혹은 표면으로부터 지정된 거리에 재현되도록 제어한다.

이하에, 본 발명을 그 실시예를 표시한 도면에 기초해서 설명한다.

제1도는, 본 발명의 제1실시예에 있어서의 입체화상촬상 및 표시장치의 촬상부분의 구성도를 표시한 것이다. 제1도에 있어서, (1)·(2)는 렌즈, (3a)·(3b)는 카메라본체, (4a)·(4b)는 회전제어부, (5)는 카메라간격제어부이며, 이들은 종래의 기술과 마찬가지의 것이다. (14a)·(14b)는 카메라본체로부터의 신호로부터 휘도신호로 변환하는 신호처리부, (15)는 좌우의 화상상으로부터 수평시차를 계산하는 시차계산부, (16)은 최소의 시차를 검출하는 시차처리부, (17)은 관찰자에게 가장 가까운 피사체의 공간위치를 계산하는 안길이표시위치계산부, (18)은 관찰자에게 가장 가까운 피사체의 공간위치가 관찰자의 융합범위내에 있는지 어떤지를 체크하는 융합범위확인부, (19)는 관찰자에게 가장 가까운 피사체의 공간위치가 관찰자의 융합범위내에 들어가도록 회전제어부(4a),(4b)를 제어하는 폭주각제어부이다.

이상과 같이 구성된 본 실시예의 입체화상표시부에 대해서, 이하 그 동작을 설명하기 전에, 촬상계와 표시계의 모델이론과, 관찰자의 양눈융합범위에 관한 특성에 대해서 설명한다.

먼저, 촬상계와 표시계의 모델에 대해서, 제2도를 사용해서 설명한다. 제2도(a)는 촬상계의 모델이다. 촬영카메라는 좌우대칭으로, 폭주점F(0,dx,0)로 광축이 향하고 있다. 이때 좌표원점을 2대의 카메라 중심에 잡고, 2대의 카메라를 배열하는 방향을 x축, 안길이방향을 y축, 높이방향을z 축으로 한다. 좌우의 렌즈는 x축위의 각각 (-Wc,0,0),(Wc,0,0)에 위치하고, 촬상면(촬상소자 또는 필름의 위치)(7),(8)에 대한 렌즈의 초점거리는 f이다. 이때 dx=∝로하면, 2대의 카메라의 광축은 평행이된다(제2도(a),파선), 제2도(b)는 표시계의 모델(입체화상표시장치의 모델)이다. 표시계의 좌표는 관찰자의 양눈의 중심을 원점으로해서, 양눈의 중심을 연결하는 선을 X축, 안길이방향을 Y축, 높이방향을 Z축으로 한다. 이때, 관찰자로부터 입체화상표시스크린까지의 거리는, ds, 좌우눈은 각각(-We, 0, 0)(Wo,0,0)에 위치하고, 재현되는 점화상의 위치가 오른쪽 눈용이 Pr, 왼쪽눈용이 P1이라고 하면, 관찰자는 Pr와(We, 0, 0)연결하는 선분과 P1(-We, 0, 0)을 연결하는 선분의 교차점P에 점화상이 있다고 지각한다. 일반적으로, 제2도(b)와 같은 평면의 스크린을 사용한 입체화상표시장치를 사용하면, dx=∝이며 또한, 무한원점(遠點)을 촬상한 위치(촬상화상의 중심위치)가, 제2도(b)에서 좌우화상 각각 NL(-We, ds, 0), NR(We, ds, 0)의 위치에 표시되면, 촬상공간의 x방향은 변형없이 재생된다. 또, 촬상공간의 y방향은,

일 때, 변형없이 재생된다. 여기서 M은, 촬상면(7)·(8)위의 상의 크기와 표시스크린(12)위의 상의 크기의 비이다(단, Y축위에 관찰자의 중심이 있는 경우).

이 경우, 무한원점의 재생화상을 관찰하는 경우는, 제2도(b)에서 양눈의 시선이 파선과 같이 평행으로 된다. 피사체가 무한원점으로부터 0의 거리의 사이에 존재하므로서, 관찰자의 2개의시선은 평행이나, 안쪽을 향하게되어, 바깥쪽을 향하는 일은 없어진다. 인간의 특성으로서, 2개의 시선이 평행보다 바깥쪽을 향하는 일은 있을 수 없기 때문에, 이 조건은 입체화상의 재생범위가 가장 넓게 되는 조건이다.

상기 무변형재생조건중에서, 제2도(a)의 dx=∝의 조건이 성립되지 않는 경우, 즉 dx가 유한의 값을 가진때에는, 재생되는 입체화상은 공간적으로 반드시 변형되기 때문에, 될 수있는 한 dx=∝의 조건에서 촬상하고, 재생되는 입체화상이 관찰자의 융합범위내에 없는 경우에만 dx를 변화시켜서 관찰자가 융합할 수 있도록 한다. 이때, 재생되는 입체화상의 변형을 최소한으로 억제하기 위해, dx는 될 수 있는한 큰값을 가지도록 설정한다. 실제의 dx의 제어에 대해서는 뒤에 설명한다. 이때, 입체화상재생쪽에서는, 입체화상의 재생범위를 최대로 하기위하여, 무한원점의 화상을 제2도의 NL,NR로 재생한다. 이를 위해서는, 제2도(a)의 촬상면(7)·(8)위에서의 무한원점의 수평방향의 좌표는 f×Wc/dx인 것을 사용해서

의 관계가 성립하도록 △S를 설정하고, 우화상을 △S만큼 우로 평행이동, 좌하상을 △S만큼 좌로 평행이동해서 좌우화상을 표시한다.

다음에, 인간의 양눈 융합특성에 대해서 설명한다. 본 발명은, 입체화상표시장치에서 입체화상을 표시했을때에, 관찰자가 좌우의 화상을 융합할 수 있는 범위내에 입체화상을 표시할 수 있도록, 촬상장치의 파라미터 dx를 제어하기 때문에, 제2도(b)에 있어서 관찰자가 양눈융합할 수 있는 조건을 알고 있을 필요가 있다. 예를 들면 제2도(b)에서, 점P의 위치를 관찰자가 주시하고 있었다고한다. 여기서, 실제의 화상은 표시스크린(12)위에 결상된다. 그러나, 양눈의 시선은 점P를 향하고 있다. 이와 같이 가까운점을 보기 위해서 양눈을 안쪽으로 돌리는 것을 폭주안구운동, p점을 폭주점이라고 하나, 이 폭주안구운동은, 눈의 핀트 정보와 점P의 망막투영위치정보를 사용해서 제어되고 있다.

이 경우, 핀트정보와 망막정보는 모순되고 있기 때문에, 관찰자쪽에 부담이 걸린다. 이 모순이 작은 범위이면 관찰자는 허용되나, 모순이 크게 되면, 관찰자는 좌우의화상을 한 개의 화상으로서 융합할 수 없게되어, 드디어 2중상의 지각이 되어 버린다. 2중상의 지각이 안된다고해도, 시각계에 부담이 발생되어, 피로를 초래한다.

상기 눈의 핀트위치(조절이라고함)와, 망막투여위치에 의한 폭주점의 위치(폭주라고함)의 허용범위를 측정한 결과가 있다. 이것을 제3도에 표시한다. 가로축의 폭주는, 양눈의 시선의 교차점과 관찰자의 거리, 세로축의 조절은, 안구의 수정체의 핀트를 맞추고 있는 위치와 관찰자의 거리(단위는 D,디옵터로, 거리의 역수)이다.

우측으로 올라가는 45°의 직선위가, 폭주와 조절이 일치하는 조건이며, 사선부는 눈의 초점심도내의 허용범위, ∝는 화상을 0.5초 표시했을때의 융합한계선이다. 이 상하의 융합한계선의 사이의 영역에서는, 관찰자는 입체화상을 융합할 수 있고, 2중상이 되는 일은 없다. 그래서 제2도의 dx를, 이 융합가능한 영역에 전체의 입체화상이 재현될 수 있는 조건으로 또한, 될 수 있는한 큰값을 가지도록 제어해서 촬상한다.

먼저, 초기치로서dx=∝(충분히 큰값)로 한다. 제1도에 있어서, 시차계산부(15)는 신호처리부(14a,b)의 출력인 좌우눈용의 화상으로부터, 시차지도(3차원지도)를 계산한다. 계산방법은 좌우화상의 휘도패턴의 상관을 계산하는 상관매칭법이나 좌우화상의 에지정보의 매칭을 행하는 방법등, 많은 방법이 제안되고 있으나, 여기서는 예로서 휘도패턴의 상관을 계산하는 상관매칭법을 사용하는 방법을 설명한다. 제4도를 사용해서 시차계산부(15)의 상세한 동작을 설명한다. 제4도에 있어서, 크기 N×M의 좌우화상을 고려해본다. 좌화상에서 n×m화소(도면에서는 3×3화소)의 블록창을 고려한다.

이 블록창과 동일화상을 우화상에서 동일 사이즈의 창을 사용해서 찾고, 이때의 좌우의 블록위치의 어긋남을 표시한 벡터(△x,△y)의 수평성분 △x가, 그 블록창의 중심좌표에서의 좌우화상의 양눈시차가 된다. 기준이되는 좌화상의 블록창의 위치를 전체화면에 걸쳐서 평행이동하고, 모든 경우에 있어서 우화상이 대응하는 블록의 위치(양눈시차)를 구하면, 화면전체의 시차지도(화면의 각장소에서의 안길이 거리를 표시한것)가 구해진다. 여기서 화상의 좌표(x,y)에 있어서의 좌우화상의 어긋남 즉 양눈시차(△x,△y)는

여기서

이다. 단 식③의 ∑은, n×m의 블록창내에 대해서 좌표xk,yk를 변화시켜서 절대치내의 총계를 취하는 것을 표시한다. N은 블록창내의 화소수이다. 양눈시차△x,△y중에서, 안길이위치를 직접 표시하는 것은 △x이다. 좌화상을 기준으로 하는 경우 양눈시차의 값이 정인때는, 기준화상에 대해서 우화상은 우측, 좌화상은 좌측에 위치하고, 양눈시차 0의 안길이위치보다 안쪽을 표시하고, 양눈시차의 값이 부인때는 양눈시차 0의 안길이위치보다 바로 앞쪽에 피사체가 존재하는 것을 표시한다.

이상과 같이 해서 얻게된 시차지도(화면전체에 대해서 각 좌표에 있어서의 시차△x를 계산한것)을 근본으로해서, 시차처리부(16)는, 화상전체의 시차의 최소치(가장 관찰자에 가까운 위치에 재생되는 피사체의 시차)를 추출하고, 이것을 △xmin로 한다. 다음에, △xmin을 근본으로 해서, 제5도에 표시한 입체화상표시에 있어서의 입체화상의 안길이재생위치Ypmin은 안길이표시위치계산부(17)에 의해 계산되나, 계산식은

로 표시된다. Ypmin는 표시좌표계의 원점으로부터 주목하고 있는 피사체의 위치까지의 거리의 Y좌표를 표시한다. 여기서, 제5도는 제2도(b)의 표시모델에 제3도의 관찰자의 양눈융합범위를 포개서 그린 것이다. 사선부분은 관찰자의 양눈융합가능영역이다. 여기서F(ds)min은, 제3도에 있어서 아래쪽의 곡선으로 부여된다. 예를 들면, 스크린까지의 시거리ds=71㎝일 때, F(ds)min=29㎝가 되어, 관찰자는 무한원(遠)으로부터 29㎝의 곳까지의 범위내에서 양눈융합이 가능하다.

제3도에서, 시거리가 71㎝이상인 때에는 관찰자는, 무한원으로부터 F(ds)min의 범위까지 양눈융합이 가능하다. 시거리가 71㎝이하의 경우에는, 제3도의 위쪽의곡선도 양눈융합범위를 제한하고, F(ds)max～F(ds)min까지의 거리가 양눈융합범위가 된다.

이하에서는, 시거리가 71㎝이상의 경우에 대해서 설명한다. 여기서 Ypmin이, 양눈융합범위의 경계에 있는지 어떤지를 융합범위 확인부(17)가 판단한다.

판단의 기준은

성립되는지 어떤지를 평가한다. 여기서,△F는 임의의 작은 값이다. 식⑥이 성립되는 경우에는, 입체화상의 재생표시위치는 양눈융합범위내에 있으므로, 융합범위확인부(18)는 폭주각제어부(19)에 현재의 dx의 값을 그대로 폭주각제어부(19)에 출력한다.

또, Ypmin이

을 만족시키는 경우, Ypmin의 재생표시위치는 양눈융합범위내에 완전 들어가 있기때문에, 융합범위확인부(18)는 현재의 dx에 △dx만큼 가산한 값을 새로운 dx로서 폭주각제어부(19)에 출력한다. 단, 후술하는(제6도)가 0에 가까워지면, 후술의 카메라광축 각도는 거의 변화되지 않으므로, dx는 갱신하지 않아도 된다.

또, 제5도에 표시한 바와 같이, Ypmin이

을 만족시키는 경우에는 Ypmin에 재생된 화상은 관찰자에게 있어서 양눈융합할 수 없는 화상이다. 이 경우, 현재의 dx로부터 △dx만큼 감산해서 이것을 새로운 dx로 한다.

이 dx로부터 △F를 감산한 값이, dx0(후술, 〉0)보다 작은 경우에는, dx0를 새로운 dx로 한다. 여기서, dx0의 계산에 대해서 설명한다. 융합범위확인부는, Ypmin의 y좌표를, 제5도의 F(ds)min으로하는 조건에서의 dx를 dx0으로서 계산한다.

dx의 계산식은 식 ⑤와 식 ②에 의해, △S를 소거하고, Yp=F(ds)min로하고, 또 dx로 풀면 얻게되어,

가 된다.

이와 같이 해서 얻게되는 dx를 사용해서, 폭주각제어부(19)는, 회전제어부(4a), (4b)를제어하고, 카메라본체(3a), (3b)가 제2도(a)에 표시한 폭주점에 카메라의 광축이 향하도록 제어한다. 이때의 카메라의 제어각도의 정의를 제6도(a)에 표시한.=0일 때 2대의 카메라의 광축은 평행이 된다. 여기서, dx의 갱신은 △dx씩으로했으나, 식⑧의 조건의 경우, 식 ⑨에서 표시되는 dx_0의 값을 dx에 직접 대입해도 된다.

이상과 같이 하면, 피사체의. 관찰자로부터 가장 가까운 점 Ypmin이 융합범위의 한계근처점인 F(ds)min이 되도록 제어된다. 이때, Ypmin이, 카메라본체(3a), (3b)의 광축이 평행이되는 조건에서 양눈 융합범위에 있는 경우에는, 2대의 카메라의 광축은 평행으로 유지된다.

이상과 같이, 본 실시예에 의하면, 촬상화면의 시차를 계산하고, 이것의 최소치를 관찰자의 융합범위내에 재현하도록 입체촬상카메라의 광축을 제어하므로서, 재생표시된 입체화상을 관찰자가 가장 넓은 범위에서 융합할 수 있는 화상을 촬상할 수 있다.

또, 제1의 실시예의 제6도(b)에서,=0근처에서는 dx의 변화범위가 크기 때문에, dx가 dx_∝의 곳에서,를 0으로해도 된다. 이때 dx의 최기치는dx∝로 한다.

또, 제6도(b)의 곡선을 직선근사해도 된다. 또, 식 ⑥～식 ⑧의 조건판단식에 있어서, Ypmin에 오프셋Yp-Off를 가산하고, 판단조건을 Y축방향으로 시프트해서 Ypmin의 위치가 융합범위내(사선영역)내에 들어가도록 조절해도 된다.

제7도는, 본 발명의 제2의 실시예를 표시한 입체화상촬상 및 표시장치의 촬상부의 구성도이다. 동도면에 있어서, (1)·(2)는 렌즈, (3a)·(3b)는 카메라본체, (4a), (4b)는 회전제어부, (5)는 카메라간격제어부, (17)은 관찰자에게 가장 가까운 피사체의 공간위치를 계산하는 안길이표시위치계산부, (19)는 관찰자에게 가장 가까운 피사체의 공간위치가 관찰자의 융합범위내에 들어가도록 회전제어부(4a), (4b)를 제어하는 폭주각제어부이며, 이들은 종래의 기술과 마찬가지의 것이다. 본 발명의 제1의 실시예와 다른점은, 안길이표시위치계산부(17)의 입력을, 가장 가까운 피사체의 좌표x0,y0를 직접 사용하고 있는 점과, 관찰자에게 가장 가까운 피사체의 공간위치를 관찰자의 융합범위내에 넣기 위한 dx의 값을 계산하는 융합범위결정부(20)가 사용되고 있는 점이다.

이상과 같이 구성된 제2의 실시예의 입체화상촬상부에 대해서, 이하 그 동작을 설명한다.

제2도(a)의 촬상조건에 있어서, 피사체중에서, 가장 카메라로부터 가까운 거리에 있는 점의 좌표를 N(x0,y0,z0)로 한다. 촬영자는 이 거리를 촬영전에 측정하고, x0,y0를 안길이 표시위치계산부(17)에 입력한다. 입력방법은, 계산기의 키보드와 같은 것등, 수치데이터를 입력할 수 있는 것이면 무엇이라도 된다. 이것을 근거로해서, 안길이표시위치계산부(17)는, 제2도(b)에 있어서의 입체화상재생표시좌표계에 있어서의 점N의 표시위치의 Y좌표를 계산한다. 계산식은

로 표시된다. 여기서 식 ⑩의 △S는, 본 발명의 제1의 실시예와 마찬가지로, 식②에 의해서 결정된다. 여기서 최초는 dx=∝(2대의 카메라광축이 평행조건)조건에서 Ypmin을 계산한다. 다음에 이 Ypmin을 사용해서, 융합범위결정부(20)는, 실제의 카메라의 폭주점dx를 결정한다. 결정방법은, 만약

이 만족되면, dx=∝(충분히큰값)로하고, 그렇지 않으면 식⑨에서 표시되는 dx_0을 계산하여, 이것을 새로운 dx로 한다.

이와 같이 해서 얻게된 dx를 근거로 해서, 폭주각제어부(19)는 2대의 카메라의 광축의 각도를 계산한다.는 제6도에 표시한 것과 마찬가지이다. 이와 같이 해서 결정된의 값이 되도록, 회전제어부(4a,b)는 카메라의 광축을 제어한다.

이상과 같이, 본 실시예에 의하면, 카메라로부터 가장 가까운 피사체의 위치를 입력으로해서, 관찰자의 융합범위내에 이것을 재현하는 폭주점dx를 결정하고, 이것에 맞추어 입체촬상카메라의 광축을 제어하므로서, 재생표시된 입체화상을 관찰자가 가장 넓은 범위에서 융합할 수 있는 화상을 촬상할 수 있다.

여기서 본 발명의 제2의 실시예에 있어서, 촬영자가 안길이 표시위치계산부(17)에, x0,y0를 직접입력했으나. 이것은 초음파센서등의 거리측정장치를 사용해서 자동적으로 입력해도 된다. 또, x0=일정한 조건으로 고정하고, y0의 값만을 입력해도 된다.

제8도는, 본 발명의 제3의 실시예를 표시한 입체화상촬상 및 표시장치의 촬상부의 구성도이다. 블록구성은 제1도와 동일하며, 동도면에 있어서, (1)·(2)는 렌즈, (3a)·(3b)는카메라본체, (4a)·(4b)는 회전제어부, (5)는 카메라간격제어부, (14a)·(14b)는 카메라 본체로부터의 신호로부터 휘도신호로 변환하는 신호처리부, (15)는 좌우의 화상으로부터 수평시차를 계산하는 시차계산부, (16)은 최소의 시차를 검출하는 시차처리부, (17)은 관찰자에게 가장 멀리있는 피사체의 공간위치를 계산하는 안길이 표시위치계산부, (18)은 관찰자에게 가장 멀리있는 피사체의 공간위치가 관찰자의 융합범위내에 있는지 어떤지를 체크하는 융합범위확인부이다.

(19)는 관찰자에게 가장 멀리 있는 피사체의 공간위치가 관찰부의 융합범위내에 들어가도록 회전제어부(4a),(4b)를 제어하는 폭주각제어부이다.

제1의 실시예와 다른 점은, 시차처리부(16)가 시차의 최대치를 계산하는 점과, 안길이표시위치계산부(17)가 관찰자에게 가장 멀리있는 피사체의 공간위치를 계산하는 융합범위내에 있는지 어떤지를 체크하는 점이다. 제1의 실시예에서는, 시차의 최소치, 가장 가까운 피사체에 대해서 제어하였다.

이상과 같이 구성된 제3의 실시예의 입체화상촬상부에 대해서, 이하 그동작을 설명한다.

본 발명의 제1의 실시예에서는, 관찰자의 시거리ds〉71㎝의 경우이며, 양눈융합범위는 ∝～F(ds)min이며, F(ds)min을 관찰자의 양눈융합범위에 들어가도록 ds를 제어하였다. 여기서, ds〈71㎝의 경우에는 상기한 바와 같이, F(ds)max～F(ds)min까지의 거리가 양눈융합범위가 되어, F(ds)min을 융합범위에 들어가도록 제어하기위해서는, 본 발명의 제1의 실시예와 동일한 동작으로 되지만, 본 발명의 제2의 실시예에서는, F(ds)max를 양눈융합범위에 들어가도록 제어한다.

먼저, 초기치로서dx=∝(충분히 큰값)로한다. 다음에, 본 발명의 제1의 실시예와 마찬가지로, 카메라본체(3a),(3b)·신호처리부(14a,b)에 의해 얻게된 화상신호를 사용해서, 시차계산부(15)는 시차지도를 계산한다. 계산의 방법은 본 발명의 제1의 실시예와 아주 동일하다. 이 시차지도를 근거로, 시차처리부는, 시차의 최대치△xmax(카메라로부터 가장 먼 거리에 있는 피사체의 시차)를 계산한다. 다음에 안길이 표시위치계산부(17)는, 식⑤을 사용해서, 가장 먼위치에있는 피사체가 재생표시되는 위치를 계산하는, 좌표계는 제2도(b)에 표시한 입체화상표시좌표계와 동일한 것이다. 여기서, 제9도는 제2도(b)의 표시모델에 제3도의 관찰자의 양눈융합범위를 포개서 그린 것이다. 사선부분은 관찰자의 양눈융합가능영역이다. 여기서F(ds)max는, 제3도에있어서 위쪽의 곡선으로 부여된다.

이때, 융합범위확인부(18)는, Ypmax의 값과 관찰자의 원(遠)점의 양눈융합 한계점 F(ds)max의 값이 관계에서

의 관계가 만족되는 경우에는, 입체화상의 재생표시위치는 양눈융합범위내에 있으므로, 융합범위확인부(18)는 폭주각제어부(19)에 현재의 dx의 값을 그대로 폭주각제어부(19)에 출력한다. 또, Ypmax가

를 만족시키는 경우, Ypmax의 재생표시위치는 양눈융합범위내에 완전들어가 있기 때문에, 현재의 dx로부터 △dx만큼 감산해서 이것을 새로운 dx로한다. 이 dx로부터 △F를 감산한 값이, dx1(후술,〉0)보다도 작은 경우에는, dx1을 새로운 dx로한다. 여기서, dx1의 계산에 대해서 설명한다. 융합범위확인부는, Ypmax의 y좌표를, 제5도의 F(ds)max로 하는 조건에서의 dx를 dx1로서 계산한다.

dx의 계산식은 본 발명의 제1의 실시예와 마찬가지로, 식 ⑤와 식②에 의해, △S를 소거하고, Yp=F(ds)min로하고, 또 dx로 풀면 얻게되어,

가 된다. 또, 제9도에 표시한 바와 같이 Ypmax가,

를 만족시키는 경우에는 Ypmax로 재생된 화상은 관찰자에게 있어서 양눈융합할 수 없는 화상이다. 이 경우, 융합범위확인부(18)는 현재의 dx에 △dx만큼 가산한 값을 새로운 dx로서 폭주각제어부(19)에 출력한다. 단, 후술의(제6도)가 0에 가까워지면, 후술의 카메라광축각도는 거의 변화하지 않으므로, dx는 갱신하지 않아도 된다.

이와 같이 해서 얻게되는 dx를 사용해서, 폭주각제어부(19)는, 회전제어부(4a), (4b)를 제어하고, 카메라본체(3a), (3b)가 제2도(a)에 표시한 폭주점에 카메라의 광축이 향하도록 제어한다. 이때의 카메라의 제어각도의 정의는 본 발명의 제1의 실시예의 제6도(a)와 동일하며=0인때, 2대의 카메라의 광축은 평행이 된다. 여기서, dx의 갱신은 △dx씩으로 했으나, 식⑮의 조건의 경우 식⑭으로 표시되는 dx_1의 값을 dx에 직접 대입해도 된다.

이상과 같이 하면, 피사체의 관찰자로부터 가장 멀리있는 점Ypmax가 융합범위의 한계 원점인 F(ds)max가 되도록 제어된다. 이때, Ypmax가, 카메라본체(3a), (3b)의 광축이 평행이되는 조건에서도 양눈융합범위에 없는 경우에는, 2대의 카메라의 광축은 평행한 그대로 유지된다.

이상과 같이, 본 실시예에 의하면, 촬상화면의 시차를 계산하고, 이들의 최대치를 관찰자의 융합범위내에 재현되도록 입체촬상카메라의 광축을 제어하므로서, 재생표시된 입체화상을 관찰자가 넓은 범위에서 융합할수 있는 화상을 촬상할 수가 있다.

또, 본 발명의 제1～제3실시예에 있어서, 시차계산부(15)의 출력은 피사체의 상태에 따라서는 잡음이 혼입하기 때문에, 시차계산부(15)의 출력에 시공간저역통과필터를 실시해서 잡음을 저감해도 되고, 2대의 카메라의 제어는 천천히 해도 되기 때문에 급격한 동작을 방지하기 위해, 시차처리부(16)의 출력△xmin 또는 융합범위확인부(18)의 출력 dx나 융합범위결정부(20)의 출력dx에, 시간방향의 저역통과필터를 실시해도 된다.

제16도는, 본 발명의 제4의 실시예에 있어서의 입체화상촬상 및 표시장치의 표시부의 구성도를 표시한 것이다. 제16도에 있어서, (29)는 시차계산부, (30)은 주시점계산부, (31)은 시차제어부, (32)는 화상표시부이다. 이상과 같이 구성된 본 실시예의 입체화상표시부에 대해서, 이하 그 동작을 설명한다.

먼저, 시차계산부(29)는, 좌우눈용의 화상으로부터, 시차지도(3차원지도)를 계산한다. 계산방법은 상술한 본 발명의 제1의 실시예와 마찬가지이며, 좌우화상의 휘도패턴의 상관을 계산하는 상관매칭법등을 사용한다. 즉, 제4도에 있어서, 좌화상에서 n×n화소(도면에서는 3×3화소)의 블록창을 고려하고, 이 블록창과 동일한 화상을 우화상에서 동일 사이즈의 창을 사용해서 찾아, 이때의 좌우의 블록위치의 어긋남(△x, △y)의 수평어긋남 성분△x가, 그 블록창의 중심좌표에서의 좌우화상의 양눈시차가 된다.

기준이 되는 좌화상의 블록창의 위치를 전체화면에 걸쳐서 평행이동하고, 모든 경우에 있어서 우화상의 대응하는 블록의 위치(양눈시차)를 구하면, 화면전체의 시차지도(화면의 각장소에서의 안길이 거리를 표시한것)를 구하게 된다. 계산식은 제1의 실시예에 표시한

여기서

이다.

이상과 같이 해서 얻게된 시차지도(화면 전체에 대해서 각 좌표에 있어서의 시차 △x를 계산한 것)를 근거로해서, 주시점계산부(30)는, 화상전체의시차의 평균치 또는 화면중앙부분에 웨이팅을 건 가중평균치 △xave를 산출한다. 제17도는 화면의 위치와 웨이팅계수의 예이다. 제17도는 단순히, 화면의 크기 XxY의 절반의 크기의 영역의 웨이팅계수를 K2,그 이외의 계수를 K1로 한 것이다. 영역의 형태는 다른 형태, 예를 들면 원형이라도 상관없고, 주변으로부터 중심을 향해서 연속적으로 웨이팅계수를 변화시켜도 된다. 이때 평균치 △xave는

단는, 화면전체의 좌표(i,j)에대해서 합을 취하는 것을 표시한다.

단, K=K2(영역A), K=K1(영역B)이 된다. K1=K2의 경우, 화면전체의 단순평균을 취하게된다.

상기, 양눈시차의 평균치 △xave를 사용해서, 시차제어부(31)는, 좌우화상의 수평판독타이밍을 제어하고, 화상을 수평방향으로 평행이동한다. 제18도는, 영상신호의 수평주사기간을 표시한 것이다. 점AL,AR은 좌화상, 우화상에 있어서의 동일피사체의 동일 위치를 표시하고 있는 것으로 한다. 상술한, 위치A에서의 양눈시차△x를 도면속에 표시하고 있다. 이 도면에 표시한 바와 같이, 양눈시차의 평균△xave분만큼, 이것을 취소하는 방향으로 우화상을 시프트한다(화상의 수평판독타이밍을 △xave분 어긋나게함). 이렇게하면, 양눈시차가 △xave의 화상부분이 화상표시부(32)의 표시디스플레이 표면에 재생되게 된다(좌우화상의 동일 위치에 재생된다). 여기서 화상전체를 평행이동하나, 제15도에 있어서 상술한 바와 같이, 이것은 LA,LB를 움직이는 것에 상당하고, 제어하는 양눈시차량이 작으면 관찰자는 그다지 이 변화를 알아차리지 못한다. 또, △xave의 값의 변화가 시간적으로 너무 빨라서, 표시화면이 빈번하게 운동할때에는, 이 신호에 저역여파처리를 행하여, 서행된 움직임만을 사용해서 표시화상을 제어해도 된다.

또, 주시점계산부(30)는, 화상전체의 시차의 평균치 대신, 시차의 최대치를 계산하고, 이것이 정의 값일때에는, 시차 제어부(31)가 화상표시부(32)의 표시면위에서의 좌우화상의 어긋남량을, 그 최대치가 관찰자의 양눈간격(약 65㎜)을 초과하지 않도록 설정하면, 관찰자의 시선이 평행보다 넓어지는 일이 없어지고, 표시화상을 양눈 융합범위내가 되도록 제어할 수 있다. 또, 주시점계산부(30)는, 화상전체의 평균치대신, 시차의 최소치를 계산하고, 이것이 부일때에는 시차제어부(31)가 화상표시부(32)의 표시면위에서의 좌우화상어긋남량을, 그 최소치가, 어떤소정의 크기β이하가 되지않도록 설정하면, 관찰자의 시점이 매우 가까운 위치가 되어 3차원화상표시면으로부터의 눈의 핀트정보와 시선의 폭주각의 큰 불일치상태를 없엘수 있고, 관찰자가 표시화상을 양눈융합하기 쉽도록 좌우화상을 제어할 수 있다.

또, 표시화상의 어긋남량을, △xave로부터 △xave-∝(∝는 임의의 값)로 변경하면, △xave가 표시한 시차의 부분을 어떤 일정한 양눈시차치∝로 설정할 수 있다. ∝=0의 경우가 화상디스플레이표면위치를 표시하고, ∝의 값에 따라서 이 위치가 화상디스플레이 표면에 대해서 바로앞 혹은 뒤쪽이 된다. 이때, 일화면에서 1개의 양눈시차평균치를 사용해서 제어했으나, 동화의 경우, 각각의 화면(NTSC화상에서 1프레임)에서의 양눈시차평균치를 구하고, 이것을 시계열데이터로 해서 시간축방향으로 저역여파한 신호를 사용해서 화상표시부를 제어해도 된다. 또, 제1의 실시예에서는, 우화상만을 시프트했으나, 우화상을 제어해야될 절반의 어긋남량만큼 시프트하고, 좌화상을 그반대방향으로 동일량만큼 시프트해도 된다. 또, 평균양눈시차대신, 중앙치(메디안처리필터)를 실시해도 된다.

또, 본 실시예에서는 수평시차에 의한 어긋남 △xave를 사용해서 표시화상을 수평방향만으로만 제어했으나, 시차계산부(29)에서 계산되는 양눈시차△y도 사용해서 △yave를 계산하고, 수직방향의 화상판독위치도 제어하면 수직방향의 시차를 작게한 3차원화상을 표시할 수가 있고, 또 관상하기 쉬운 3차원화상이 된다(좌우화상의 수직방향의 어긋남은, 관상자의 양눈융합기능에 대해서 매우 큰 방해가 된다).

이상과 같이, 본 실시예에 의하면, 양눈시차의 평균치(대략 시차지도의 중심부근의 안길이위치)가 표시한 입체화상을 표시디스플레이표면위 혹은 소정의 위치로 제어할 수 있고, 항상, 관찰자가 가장 넓은 범위에서 파사체의 안길이시야를 지각가능하게 된다.

제19도는, 본 발명의 제5의 실시예를 표시한 입체화상촬상 및 표시장치의 표시분의 구성이다. 제19도에 있어서, (29)는 시차계산부, (31)은 시차제어부, (32)는 화상표시부이며, 이들은 본 발명의 제16도의 것과 같은 것이다. 제16도의 구성과 다른 것은 시선센서부(33), 시선검출부(34), 주시점판정부(35)에 의해 표시화상의 관찰자가 보고 있는 화상의 장소를 표시한 시선을 측정하는 기능과, 시차계산부의 출력과 관찰자의 시선정볼르 사용해서 양눈시차량을 제어량계산부(36)에 의해 제어하는 기능을 부가한 점이다.

이상과 같이 구성된 제5의 실시예의 입체화상표시부에 대해서 이하 그 동작을 설명한다. 먼저, 본 발명의 제4실시예와 마찬가지로, 시차계산부(29)는 좌우눈용의 화상으로부터, 시차지도(3차원지도)를 계산한다. 계산방법에 대해서는, 제4의 실시예와 같은 것이면되고, 예를 들면 제4도에서 표시한 바와 같은 산법의, 좌우화상의 휘도패턴의 상관을 계산하는 상관매칭법을 사용할 수 있다. 이상과같이해서 얻게된 시차지도(화면전체에 대해서 각좌표에 있어서의 시차△x를 계산한 것)와, 화상표시부(32)의 표시면에 있어서 관찰자가 보고있는 장소(주시점)를 입력으로해서 제어량계산부(36)는, 시차제어부(31)의 입력신호인 좌우화상의 수평판독타이밍의 어긋남량을 계산한다.

여기서, 관찰자의 주시점(주시하고 있는 장소)의 검출방법에 대해서 설명한다. 먼저, 시각센서부(33)와 시선검출부(34)에 의해, 인간의 안구의 광축의 방향을 검출한다.

검출방법으로서는, 강막반사법·각막반사법·TV카메라로 눈의 부분을 촬영하는 방법등 여러 가지가 있으나, 어느 것을 채용해도 좋지만, 여기서는 강막 반사법에 대해서 설명한다. 제20도는 강막반사법에 있어서의 시선센서부(33)의 원리도이다. 동도면(a)는, 안구의정면도, (b)는 옆에서본 도면이다. 수평방향의 안구운동은 동도면(a)에 표시된 바와 같이, 적외LED에 의해, 약한 적외광을 안구에 조사하고, 포토·다이오드에 의해 안구로부터의 적외광의 반사광을 측정한다. 이때, 포토·다이오드의 지향성을 점선과 같이 검은눈 옆의 양쪽에 세트하여, 포토·다이오드의 출력의 차분을 연산증폭기로 계산하면, 수평안구운동을 검출할 수 있다. 수직안구운동에 대해서는, 동도면(b)에 표시한 바와 같이, 적외광을 안구의 아래쪽으로 맞추고, 그 반사광을 검은눈 아래부분에 지향성을 향하게한 포토·다이오드를 사용해서 검출한다. 이상과 같이해서 얻게된 수평·수직안구운동신호는, 시선검출부(34)에 의해, 시선의 각도(시선신호)로 변환된다. 즉, 미리 결정된 기준점에 대해서, 수평ax도, 수평ay도의 각도에시선이 있는 관찰자의 안구의 광축이 그 각도의 방향을 향하고 있다)것이 측정된다. 다음에, 주시점판정부(35)는, 시선신호를 근거로해서, 화상표시부(32)의 어느부분을 관찰자가 주시하고 있는 가를 계산한다. 구체적으로는, 제21도에 표시한 바와 같이, 관찰자와 화상표시부(32)의 디스플레이면과의 거리를 L로하고, 상기 기준점을 디스플레이면의 중심에 취하고, 이것을 원점으로 하는 2차원 좌표계 x,y를정의 하면 디스플레이면의 2차원 좌표계로 표시되는 시점F(x,y)는, 시선신호(ax,ay)를 사용해서 다음식으로 표시된다.

단, 관찰자는 디스플레이면 중심의 정면에 위치하고, 디스플레이면은 관찰자에 대해서 경사되어 있지 않다고 가정한다.

이와 같이 해서 얻게된 화면상에 있어서의 관찰자의 주시점(관찰자가 주시하고 있는 화상의 위치)을 사용해서, 또 주시점판정부(35)는, 관찰자가 장시간 동일장소를 보고 있는 점을 계산한다. 제22도(a)는, 주시점F의 x성분의 시간변화 예를 표시한 것이다.

이와 같이, 관찰자가 x1～x5의 위치까지 순번적으로 보고 갔다고 하면, 인간의 안구운동은 x1에서 x2,x2에서 x3등으로 주시점이 변화할때의 움직임은 매우 빠르고, 도약운동(사커드)이라고 호칭되고 있다. 또, 관찰자가 눈깜빡이를 했을때는 시점측정이 불가능하게되고, 눈꺼풀의 고속움직임에 의해 파형이 심하게 변화한다. 주시점판정부(35)는, 이와 같은 과도상태를 제거하고, 관찰자가 x1～x5의 위치를 보고있는 상태(주시상태)를 검출한다. 검출방법은, 제22도(b)에 표시한 바와 같이, 주시점의 이동속도를 계산하고, 이것이 어떤 임계치β이하의 경우에는 관찰자가 주시상태에 있다고 하면된다(제22도(b)※표시부분). 여기서는 주시점의 x성분만을 사용했으나, x,y양쪽의 성분을 사용해서 2차원적인 속도를 사용해서 주시상태를 검출해도 된다. 이와 같이 해서 추출된 관찰자의 주시점의 시간적변화를 제22도(c)에 표시한다.

다음에, 제22도(d)에 표시한 바와 같이, 주시점위치의 데이터를 0차 홀드하고, 주시점데이터가 없는 시간을 보간(補間)한다. 그후, 저역여파필터를 사용해서, 검출된 주시점의 시간변화를 스무스하게 한다. 이상과 같이해서, 주시점판정부(35)는, 관찰자가 주시하고 있는 표시화상위치를 검출하고, 주시점신호로서 제어양계산부(36)에 출력한다. 여기서, 주시점신호는 한눈의 시선방향에 대해서 처리했으나, 좌우양눈의 시선방향을 검출하고, 그것의 평균치를 사용해서 주시점신호를 계산해도 된다.

이상과 같이 해서 얻게된 시차지도와 주시점신호를 근거로해서, 제어량계산부(36)는 시차제어부(32)의 좌우화상의 수평판독타이밍의 제어량을 결정한다. 이것을 제23도를 사용해서 설명한다. F는 어떤시각에서의 주시점신호가 표시한 관찰자의 주시위치를 표시한다. 이 위치를 중심으로해서, MxM화소의 범위의 시차지도로 표시되는 양눈시차△x를 평균한다. 이것을 본 발명의 제4의 실시예로 설명한 양눈시차의 평균치△xave로 한다. 이것을 사용해서, 시차제어부(31)는, 좌우화상의 수평판독타이밍을 제어하고, 화상을 수평방향으로 평행이동한다. 제어방법은 본 발명의 제4의 실시예에 있어서의 제18도에서 설명한 것과 동일한 방법을 사용한다. 즉, 양눈시차의 평균△xave분만큼, 우화상을 시프트한다(화상의 수평판독타이밍을 △xave분 어긋나게함).

또, 본 발명의 제5의 실시예에 있어서, 제어량계산부(36)는 주시위치를 중심으로한 정사각형상내의 양눈 시차를 평균화했으나, 제4의 실시예의 제17도의 예와 같이, 중심의 웨이팅이 높은 웨이팅평균계산을 행하여도 된다.

또, 시선신호를 관상자의 안구의 광축방향에서만 검출했으나, 이 경우는 사람이 머리를 너무 움직이지 않는 경우에 대해서 유효하다. 또 자유로운 관상상태를 고려하면, 인간의 시선은 안구의 방향과 머리 부분이 향하고 있는 방향의 합성치로서 부여된다.

이와 같은 머리운동·안구운동을 통합한 시선 검출에 대해서는, TV카메라에서 관찰자의 머리 부분을 촬상하는 방법이나, 일본국 특허평4-182226호에 표시되어 있는 바와 같은 자계발생장치와 머리부분에 장착된 자계검출기를 사용한 방법이 있으나, 어느 방법을 채용해도 된다.

이상과 같이, 본실시예에 의하면, 관찰자가 현재 보려고 하고 있는 화상의 위치에 있어서의 양눈시차를 0(디스플레이표면상의 위치에 화상이 재생된다)또는 어떤 소정의 값으로 할 수가 있고, 항상, 관찰자가 의도하는 화상의 위치를 중심으로해서 입체화상을 구성하므로, 넓은 범위에서 피사체의 안길이 시야를 관상 가능하게 된다.

제24도는 본 발명의 제6의 실시예를 표시한 입체화상촬상 및 표시장치의 표시부의 구성도이다. 동 도면(a)는 입체화상촬상기록부, (b)는 입체화상표시부이다. 제24도에 있어서, (29)는 시차계산부, (31)은 시차제어부, (32)는 화상표시부(36)은 제어량계산부이며, 이들은 본 발명의 제5의 실시예(제19도)와 동일한 것이다. 제5의 실시예와 다른 것은, 입체촬상카메라(37), 기록장치(38), 주시의도지정부(38), 재생장치(40)가 추가된 점이다.

이상과 같이 구성된 제6의 실시예를 표시한 표시부에 대해서, 이하 그동작을 설명한다. 먼저, 제24도(a)에 있어서, 촬영자는 입체촬상카메라(37)를 사용해서 촬영을 한다. 입체촬상카메라는, 종래의 비디오카메라를 2대, 같은 삼각대에 좌우로 배열한 종래의 입체카메라이거나, 본 발명의 제1실시예에서 표시된 바와 같은 입체화상촬상부라도 된다. 이 촬상화상을 기록장치(종래의 VTR을 2대 동기시킨것)에서 기록한다.

이때, 촬영자는 주시의도지정부(39)에 의해, 관상자에게 주시를 바란다고 의도하는 화상의 위치(주시의도신호)를 입력한다. 주시의도신호는, 마우스나 타블렛등의 기존의 포인팅장치를 입력장치로서 입력하고, 촬영하고 있는 화상속의 어떤 1점을 표시한 신호에 의해, 시간적으로 변화하는 신호이며, 어떤 시각의 t에 있어서의 주시의도신호는, Fix(xt,yt)로 표시된다. 여기서, xt,yt는 시각t에 있어서의 포인팅장치의 출력 즉 촬영화상상의 2차원좌표치이다. 이 주시의도신호를, 기록장치(38)(VTR)를 사용해서, 촬영된 화상과 함께 기록한다. 구체적으로는, 주시의도신호를 1/60초마다의 필드주파수로표본화하여, 화상신호의 수직귀선기간(수직블랭킹기간)에 이것을 삽입한다.

또, 이 주시의도지정부(39)는, 편집기나 VTR에 장착하여, 촬영된 화상을 편집할때에 주시의도신호를 기록해도 된다.

이상과 같이 해서 기록된 화상신호와 주시의도신호는 제24도(b)에 표시한 입체화상표시부에 의해 처리되어, 3차원화상이 표시된다. 재생장치(40)(VTR)는 화상신호와 주시의도신호를 재생한다. 뒤의 동작은 본 발명의 제5의 실시예(제19도)에 있어서, 주시점신호를 재생장치(40)로부터 얻게되는 주시의도신호로 치환한 것과 동일하다.

즉, 시차계산부(29)에 의해 계산된 시차지도와, 재생장치(40)에 의해 재생된 주시의도 신호를 근거로해서, 제어량계산부(36)는 시차제어부(32)의 좌우화상의 수평판독타이밍의 제어량을 결정한다. 본 발명에 있어서의 제5의 실시예의 제23도에 표시한 바와 같이, 주시의도신호가 표시한 관찰자에게 주시시키고 싶은 화상위치를 중심으로해서, M×M화소의 범위의 시차지도로 표시되는 양눈시차 △x를 평균하여, 이것을 본 발명의 제4의 실시예에서 설명한 양눈시차의 평균치△xave로한다. 이것을 사용해서, 시차제어부(31)는, 좌우화상의 수평판독타이밍을 제어해서, 화상을 수평방향으로 평행이동한다. 제어방법은 본 발명의 제1의 실시예에 있어서의 제18도에서 설명한 것과 동일한 방법을 사용한다. 즉, 양눈시차의 평균△xave분만큼, 우화상을 시프트한다(화상의 수평판독타이밍을 △xave분어긋나게한다).

또, 제24도에 있어서, 주시의도신호를 재생장치(40)에서 재생하는 대신, 주시의도지정부(39)의 출력을 직접, 제어량계산부(36)에 입력하고, 직접재생화상을 관상자가 관상하면서 주시의도신호를 입력해도 된다.

또한, 제4～제6의 실시예에 있어서는 2안식입체화상에 대해서만의 예를 설명했으나, 다안식입체화상표시장치에 대해서도, 관상자의 좌우눈에 투영되는 2개의 화상에 대해서 마찬가지의 처리를 행할 수 있다. 단, 이 경우에는, 한꺼번에 관상되는 좌우눈용의 화상의 짝이 복수 존재하기 때문에, 그들 전부에 대해서 동일한 처리를 실시할 필요가 있다.

이상과 같이, 본 실시예에 의하면, 주시의도신호를 사용해서 입체화상의 판독위치를 제어하므로서, 영상프로그램제작자, 촬영자나, 관상자가 의도한 부분의 화상의 재생위치를 디스플레이표면상의 위치 또는 어떤 소정의 위치에 제어할 수있고, 항상, 관찰자가 의도하는 화상의 위치를 중심으로해서 융합범위가 넓은 입체화상을 구성하므로, 넓은 범위에서 피사체의 깊숙한 시야를 관상가능하게 된다.

제25도는 본 발명의 제7의 실시예를 표시한 입체화상촬상 및 표시장치의 구성도이다. 동 도면에 있어서, (1)·(2)는 렌즈, (3a)·(3b)는 카메라본체, (4a)·(4b)는 회전제어부, (5)는 카메라간격제어부(14a)·(14b)는 카메라본체로 부터의 신호로부터 휘도신호로 변환하는 신호처리부, (15)는 좌우의 화상으로부터 수평시차를 계산하는 시차계산부, (16)은 최소의 시차를 검출하는 시차처리부, (17)은 관찰자에게 가장 가까운 피사체의 공간위치를 계산하는 안길이 표시위치계산부, (18)은 관찰자에게 가장 가까운 피사체의 공간위치가 관찰자의 융합범위내에 있는지 어떤지를 체크하는 융합범위확인부, (19)는 관찰자에게 가장 가까운 피사체의 공간위치가 관찰자의 융합범위내에 들어가도록 회전제어부(4a), (4b)를 제어하는 폭주각제어부이며, 이들은 본 발명에 있어서의 입체화상촬상 및 표시장치의 촬상부의 구성(제1도)과 동일한 것이다. 또, (30)은 주시점계산부, (31)은 시차제어부, (32)는 화상표시부이며, 이들은 본 발명의 제4의 실시예를 표시한 입체화상촬상 및 표시장치의 표시부(제16도)와 마찬가지의 것이다.

즉, 상기 본 발명의 제7의 실시예는, 촬상부와 표시부 양쪽을 제어하고, 표시되는 입체화상이 관찰자의 양눈융합범위내에 들어가도록 제어하는 것이다. 이상과 같이 구성된 제7의 실시예를 표시한 입체화상촬상 및 표시장치에 대해서, 이하 그 동작을 설명한다. 먼저, 제2도(a)에서 표시되는dx를, 이 융합가능한 영역에 모든 입체화상이 재현되는 조건에서 또한, 될 수 있는한 큰 값을 가지도록 제어해서 촬상한다. 이 동작은, 본 발명의 제1의 실시예와 아주 똑같지만, 이것에 대해서 개략을 설명한다.

이를 위해서, 초기치로서 dx=∝(충분히 큰값)로 한다. 제25도에 있어서, 시차계산부(15)는 신호처리부(14a,b)의 출력인 좌우안용의 화상으로부터, 시차지도(화면전체에 대해서 각 좌표에 있어서의 시차△x를 계산한 3차원지도)를 계산한다.

상기 시차지도를 근거로해서, 시차처리부(16)는, 화상전체의 시차의 최소치(가장관찰자에게 가까운 위치에 재생되는 피사체의 시차)를 추출하고, 이것을 △xmin로한다.

다음에, △xmin을 근거로해서, 제5도에 표시한 입체화상표시에 있어서의 입체화상의 안길이재생위치Ypmin을 안길이표시위치계산부(17)에 의해

와 같이 계산한다. 이 Ypmin이, 양눈융합범위의 경계영역에 있으면, dx는 현재의 값그대로 세트하고, 그렇지 않는 경우에는,

의 경우는, dx에 미소한 값△dx를 가산하고,

의 경우는, dx로부터 미소한 값 △dx를 감산한다. 이들 계산방법은 본 발명의 제1의 실시예와 아주 똑같다. 이와 같이 해서 얻게되는 dx를 사용해서, 폭주각제어부(19)는, 회전제어부(4a), (4b)를제어한다. 이상과 같이해서, 피사체의, 관찰자로부터 가장 가까운점Ypmin이 융합범위의 한계 근처점인 F(ds)min이 되도록 제어된다.

또, 시차계산부(15)의 출력을 사용해서, 주시점계산부(30)는, 화상전체의 시차의 평균치 또는 웨이팅평균치△xave를 구하고, 시차제어부(31)가 이 △xave분 만큼의 좌우상의 어긋남을 없에도록 좌우화상을 스크롤한다. 이 처리는, 본 발명의 제4의 실시예와 마찬가지의 것이다.

이상과 같이 하므로서, 화상표시부(32)에서 표시되는 입체화상이 관찰자의 양눈 융합범위에 들어가도록, 촬상부의 폭주점 및 표시화상위치가 제어된다. 이에 의해서, 관찰자는 항상 양눈융합범위가 넓은 입체화상을 관상할 수 있고, 관상시의 안성피로가 적어진다.

여기서, 본 발명의 제7의 실시예에 있어서, 폭주각제어부(19)의 동작과 시차제어부(31)의 동작이 동시에 행하여 지도록 설명했으나, 시스템전체의 동작의 안정을 위하여, 이들 2개의 제어부가 교호로, 또는 한쪽이 안정된 후에 또 한쪽이 동작하도록해도된다.

이상과 같이 본 발명에 의하면, 화상의 양눈시차를 검출하고, 이것으로부터 관찰자가 가장 넓은 범위에서 피사체의 깊숙한 시야를 지각가능하게되는 카메라의 최적폭주점을 계산하고, 그 폭주점에 카메라의 광축이 향하도록 제어하고, 또, 표시화상의 양눈융합범위가 넓어지도록 자동적으로 표시화상을 제어하여, 안성 피로가 적은 입체화상을 표시할 수가 있다.

Claims (32)

1. 복수의 시점에 있어서 피사체를 촬상하는 촬상부와, 촬상부의 폭주각을 변화시키는 폭주각이동기구부와, 각각의 촬상부로부터 화상데이터를 추출하는 신호처리부와, 신호처리부의 출력을 사용해서 화상의 시차를 계산하는 시차계산부와, 시차계산부의 출력중 최소치(가장 가까운 피사체의 시차)를 검출하는 시차처리부와, 시차처리부의 출력을 사용해서 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 가장 가까운 점의 피사체의 안길이 위치를 계산하는 안길이 표시위치계산부와, 안길이표시위치계산부의 출력을 사용해서, 이것이 재생화상을 관상하는 관찰자의 융합허용범위내인지 아닌지를 판단하는 융합범위확인부와, 융합범위확인부의 출력을 사용해서, 가장 가까운 점의 피사체가 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하는 폭주각제어부를 구비하고, 상기 시차계산부의 출력으로부터 피사체의 안길이 위치의 중심위치를 계산하는 주시점계산부와, 주시점계산부의 출력으로 표시되는 안길이 위치를 3차원 입체화상표시부의 표면 혹은 표면으로부터 지정된 안길이 거리에 재현되도록 제어하는 시차제어부를 구비한 것을 특징으로 하는 입체화상촬상 및 표시장치.
2. 복수의 시점에 있어서, 피사체를 촬상하는 촬상부와, 촬상부의 폭주각을 변화시키는 폭주각이동기구부와, 피사체중 가장 가까운 피사체의 좌표데이터를 사용자가 입력하고, 이것을 근거로 하여 촬상화상이 입체화상표시장치로 표시되었을 경우에, 가장 가까운 점에 재생되는 피사체의 안길이 위치를 계산하는 안길이 표시위치 계산부와, 안길이 표시위치 계산부의 출력을 사용해서, 관찰자의 양안 융합범위내에 상기 가까운점의 피사체의 재생표시화상이 들어가는 폭주각조건을 계산하는 융합범위 결정부와, 융합범위 결정부의 출력을 사용해서 폭주각이동기구부를 제어하는 폭주각제어부를 구비하고, 상기 촬상부의 출력으로부터 얻어지는 복수시점의 화상의 시차를 계산하는 시차계산부와, 시차계산부의 출력으로부터 피사체의 안길이 위치의 중심위치를 계산하는 주시점계산부와, 주시점계산부의 출력에 의해 표시되는 안길이위치를 3차원 입체화상표시부의 표면 혹은 표면으로부터 지정된 안길이 거리에 재현하도록 제어하는 시차제어부를 구비한 것을 특징으로 하는 입체화상촬상 및 표시장치.
3. 복수의 시점에 있어서 피사체를 촬상하는 촬상부와, 촬상부의 폭주각을 변화시키는 폭주각 이동기구부와, 각각의 촬상부로부터 화상데이터를 추출하는 신호처리부와, 신호처리부의 출력을 사용해서 화상의 시차를 계산하는 시차계산부와, 시차계산부의 출력중 최소치(가장 가까운 피사체의 시차)를 검출하는 시차처리부와, 촬상된 화상이 입체 화상표시장치에 의해 표시된 경우에 재생되는 가장 가까운 점의 피사체의 안길이위치를 시차처리부의 출력을 사용해서 계산하는 안길이 표시위치 계산부와, 안길이 표시위치계산부의 출력을 사용해서, 가장 가까운점의 피사체가 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지를 판단하는 융합범위 확인부와, 융합범위 확인부의 출력을 사용해서, 가장 가까운 점의 피사체가 관찰자의 융합허용범위내가 되도록 폭주각을 제어하는 폭주각제어부를 구비하고, 촬영자가, 관상자에게 주시해 주었으면 하고 의도하는 촬영화상부분을 지정하는 주시의도 지정부(1)와, 주시의도 지정부(1)에 의해 지정된 촬영화상부분을 표시하는 주시의도신호와, 상기 촬상부의 출력화상을 기록하는 신호기록부와, 기록된 화상과 주시의도신호를 재생하는 재생부와, 재생부의 출력으로부터 재생화상의 양안시차 또는 3차원 위치를 계산하는 시차계산부와, 시차계산부의 출력과 주시의도신호를 사용해서 주시의도신호가 표시하는 화상부분의 시차를 구하는 제어량계산부와, 제어량계산부의 출력을 근거로해서, 주시점의도신호가 표시하는 화상부분이 3차원 입체화상표시부의 표면 혹은 표면으로부터 지정된 안길이거리에 재현하도록 제어하는 시차제어부를 구비한 것을 특징으로 하는 입체화상 촬상 및 표시장치.
4. 복수의 시점(視點)에 있어서 피사체를 촬상하는 촬상부와, 촬상부의 폭주각을 변화시키는 폭주각 이동기구부와, 피사체중 가장 가까운 피사체의 좌표데이터를 사용자가 입력하고, 이것을 근거로하여 촬상화상이 입체화상표시장치에 의해 표시되었을 경우에, 가장 가까운 점에 재생되는 피사체의 안길이 위치를 계산하는 안길이 표시위치 계산부와, 안길이 표시위치계산부의 출력을 사용해서, 관찰자의 양안 융합범위내에 상기 가까운 점의 피사체의 재생표시화상이 들어가는 폭주각조건을 계산하는 융합범위결정부와, 융합범위 결정부의 출력을 사용해서 폭주각이동기구부를 제어하는 폭주각제어부를 구비하고, 촬영자가, 관상자에게 주시해 주었으면 하고 의도하는 촬영화상부분을 지정하는 주시의도지정부(1)와, 주시의도지정부(1)에 의해 지정된 촬영화상부분을 표시하는 주시의도신호와, 상기 촬상부의 출력화상을 기록하는 신호기록부와, 기록된 화상과 주시의도신호를 재생하는 재생부와, 재생부의 출력으로부터 재생화상의 양안시차 또는 3차원 위치를 계산하는 시차계산부와, 시차계산부의 출력과 주시의도신호를 사용해서 주시의도신호가 표시하는 화상부분의 시차를 구하는 제어량계산부와, 제어량계산부의 출력을 근거로 해서, 주시의도신호가 표시하는 화상부분이 3차원 입체화상표시부의 표면 혹은 표면으로부터 지정된 안길이거리에 재현하도록 제어하는 시차제어부를 구비한 것을 특징으로 하는 입체화상 촬상 및 표시장치.
5. 적어도 2방향으로부터 촬상하는 입체촬상장치에 있어서, 각각의 시점에 있어서 피사체를 촬상하는 촬상부와, 촬상부의 폭주각을 변화시키는 폭주각이동기구부와, 각각의 촬상부로부터 화상데이터를 추출하는 신호처리부와, 신호처리부의 출력을 사용해서 화상의 시차를 계산하는 시차계산부와, 시차계산부의 출력중최소치(가장 가까운 피사체의 시차)를 검출하는 시차처리부와, 시처리부의 출력을 사용해서 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 가장 가까운점의 피사체의 안길이 위치를 계산하는 안길이표시위치계산부와, 안길이표시위치계산부의 출력을 사용해서, 이것이 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지를 판단하는 융합범위확인부와, 융합범위확인부의 출력을 사용해서, 가장 가까운 점의 피사체가 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하는 폭주각제어부를 구비한 것을 특징으로 하는 입체화상촬상장치.
6. 제1항에 있어서, 상기 시차처리부는, 시차계산부의 출력중 최대치(가장먼 피사체의 시차)를 검출하고, 상기 안길이 표시위치계산부는, 시차계산부의 출력을 사용해서, 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 먼 점의 피사체의 안길이 위치를 계산하고, 상기 융합범위확인부는, 먼 점 위치가 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지 판단하고, 상기 폭주각제어부는, 융합범위확인부의 출력을 사용해서, 가장 멀리있는 점의 피사체가 관찰자의 융합허용범위내에 되도록 폭주각이동기구부를 제어하는 것을 특징으로 하는 입체화상촬상장치.
7. 적어도 2개 방향으로부터 촬상하는 입체 촬상장치에 있어서, 각각의 시점에 있어서 피사체를 촬상하는 촬상부와, 촬상부의 폭주각을 변화시키는 폭주각이동기구부와, 피사체중 가장 가까운 피사체의 좌표데이터를 사용자가 입력하고, 이것을 근거로 하여 촬상화상이 입체 화상표시장치에 의해 표시되었을 경우에 가장 가까운 점에 재생되는 피사체의 안길이 위치를 계산하는 안길이 표시위치계산부와, 안길이 표시위치계산부의 출력을 사용해서, 관찰자의 양안 융합범위내에 상기 가까운 점의 피사체의 재생표시화상이 들어가는 폭주각조건을 계산하는 융합범위 결정부와, 융합범위 결정부의 출력을 사용해서 폭주각이동기구부를 제어하는폭주각제어부를 구비한 것을 특징으로 하는 입체화상촬상장치.
8. 제2항에 있어서, 상기 안길이 표시위치계산부는, 촬상되는 피사체중 가장 먼 피사체의 위치데이터를 사용해서, 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 먼점의 피사체의 안길이위치를 계산하고, 상기 융합범위결정부는, 먼 점위치가 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지를 판단하고, 상기 폭주각제어부는 융합범위확인부의 출력을 사용해서, 이것이 재생화상을 관상하는 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하는 것을 특징으로 하는 입체화상촬상장치.
9. 적어도 2개방향으로부터 피사체를 촬상했을때의 화상을 사용해서, 피사체의 양안시차 또는 3차원 위치를 계산하는 시차계산부와, 시차계산부의 출력으로부터 피사체의 안길이 위치를 계산하는 주시점계산부와, 주시점계산부의 출력으로 표시되는 안길이위치를 관찰자의 양안융합범위한계근방에 재현하도록 화상을 평행이동시킴으로써 평행이동량을 최소로 하고, 출력화상의 3차원변형이 작고 또한 관찰자가 양안융합할 수 있는 범위가 커지도록 제어하는 시차제어부를 구비한 것을 특징으로 하는 입체화상표시장치.
10. 제1항에 있어서, 상기 주시점계산부는, 시차계산부의 출력중, 화면전체 또는 화상속의 소영역을 평균, 또는 화면의 중심에 큰 웨이팅을 부가한 가중평균에 의해 시차제어부에서 제어되어야할 안길이위치를 계산하는 것을 특징으로 하는 입체화상표시장치.
11. 제1항에 있어서, 상기 주시점계산부는, 시차계산부의 출력중, 화면전체 또는 화상속의 소영역에 있어서의 최대치 혹은 최소치를 계산하므로서 시차제어부에서 제어되어야할 안길이 위치를 계산하는 것을 특징으로 하는 입체화상표시장치.
12. 제1항에 있어서, 상기 주시점계산부는, 관상자의 시선을 검출하는 시선 검출부와, 시선검출부의 출력으로부터 관상자의 표시화상속의 주시위치를 검출하는 주시점판정부와, 시차계산부의 출력과 주시점판정부의 출력으로부터 필요하게 되는 표시화상위치의 양안시차의 평균치를 계산하는 제어량계산부를 구비한 것을 특징으로 하는 입체화상표시장치.
13. 제12항에 있어서, 상기 주시점판정부는, 관찰자의 시선이동속도가 작은 기간만을 추출해서 홀드처리·저역여파처리를 행하여 관찰자의 주시위치를 검출하는 것을 특징으로 하는 입체화상표시장치.
14. 제12항에 있어서, 상기 제어량계산부는 주시점판정부의 출력이 표시한 관찰자의 표시화상상의 주시점을 중심으로한, 어떤 소정의 범위내의 시차계산부의 출력을 평균하므로서 시차제어부에서 제어되어야할 안길이위치를 계산하는 것을 특징으로 하는 입체화상표시장치.
15. 촬영자가, 관상자에게 주시해 주었으면 하고 의도하는 촬영화상부분을 지정하는 주시의도지정부(1)와, 주시의도지정부(1)에 의해 지정된 촬영화상부분을 표시하는 주시의도신호와, 적어도 2개방향으로부터 피사체를 촬상하였을때의 화상을 기록하는 신호기록부와, 기록된 화상과 주시의도신호를 재생하는 재생부와, 재생부의 출력으로부터 재생화상의 양안시차 또는 3차원 위치를 계산하는 시차계산부와, 시차계산부의 출력과 주시의도신호를 사용해서 주시의도신호가 표시하는 화상부분의 시차를 구하는 제어량 계산부와, 제어량계산부의 출력을 근거로해서, 주시의도신호가 표시하는 화상부분이 3차원 입체화상표시부의 표면 혹은 표면으로부터 지정된 안길이거리에 재현하도록 제어하는 시차제어부를 구비한 것을 특징으로 하는 입체화상표시장치.
16. 제3항에 있어서, 상기 재생부에 의해 재생되는 주시의도신호로서, 관상자가 주시하고저 의도하는 촬영화상부분을 지정하는 주시의도지정부(2)의 출력을 사용하는 것을 특징으로 하는 입체화상표시장치.
17. 제3항에 있어서, 상기 시차처리부는, 시차계산부의 출력중 최대치(가장먼 피사체의 시차)를 검출하고, 상기 안길이 표시위치계산부는, 시차계산부의 출력을 사용해서, 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 먼 점의 피사체의 안길이 위치를 계산하고, 상기 융합범위확인부는, 먼 점 위치가 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지 판단하고, 상기 폭주각제어부는, 융합범위확인부의 출력을 사용해서, 가장 멀리있는 점의 피사체가 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하는 것을 특징으로 하는 입체화상촬상 및 표시장치.
18. 제5항에 있어서, 상기 시차처리부는, 시차계산부의 출력중 최대치(가장먼 피사체의 시차)를 검출하고, 상기 안길이 표시위치계산부는, 시차계산부의 출력을 사용해서, 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 먼 점의 피사체의 안길이 위치를 계산하고, 상기 융합범위확인부는, 먼 점 위치가 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지 판단하고, 상기 폭주각제어부는, 융합범위확인부의 출력을 사용해서, 가장 멀리있는 점의 피사체가 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하는 것을 특징으로 하는 입체화상촬상장치.
19. 제4항에 있어서, 상기 안길이 표시위치계산부는, 촬상되는 피사체중 가장 먼 피사체의 위치데이터를 사용해서, 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 먼점의 피사체의 안길이 위치를 계산하고, 상기 융합범위결정부는, 먼 점위치가 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지를 판단하고, 상기 폭주각제어부는 융합범위확인부의 출력을 사용해서, 이것이 재생화상을 관상하는 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하는 것을 특징으로 하는 입체화상촬상 및 표시장치.
20. 제7항에 있어서, 상기 안길이 표시위치계산부는, 촬상되는 피사체중 가장 먼 피사체의 위치데이터를 사용해서, 촬상된 화상이 입체화상표시장치로 표시된 경우에 재생되는 먼 점의 피사체의 안길이위치를 계산하고, 상기 융합범위결정부는, 먼 점위치가 재생화상을 관상하는 관찰자의 융합허용범위내에 있는지 어떤지를 판단하고, 상기 폭주각제어부는 융합범위확인부의 출력을 사용해서, 이것이 재생화상을 관상하는 관찰자의 융합허용범위내가 되도록 폭주각이동기구부를 제어하는 것을 특징으로 하는 입체화상촬상장치.
21. 제2항에 있어서, 상기 주시점계산부는, 시차계산부의 출력중, 화면전체 또는 화상속의 소영역을 평균, 또는 화면의 중심에 큰 웨이팅을 부가한 가중평균에 의해 시차제어부에서 제어되어야할 안길이위치를 계산하는 것을 특징으로 하는 입체화상촬상 및 표시장치.
22. 제9항에 있어서, 상기 주시점계산부는, 시차계산부의 출력중, 화면전체 또는 화상속의 소영역을 평균, 또는 화면의 중심에 큰 웨이팅을 부가한 가중평균에 의해 시차제어부에서 제어되어야할 안길이위치를 계산하는 것을 특징으로 하는 입체화상표시장치.
23. 제2항에 있어서, 상기 주시점계산부는, 시차계산부의 출력중, 화면전체 또는 화상속의 소영역에 있어서의 최대치 혹은 최소치를 계산하므로서 시차제어부에서 제어되어야할 안길이 위치를 계산하는 것을 특징으로 하는 입체화상촬상 및 표시장치.
24. 제9항에 있어서, 상기 주시점계산부는, 시차계산부의 출력중, 화면전체 또는 화상속의 소영역에 있어서의 최대치 혹은 최소치를 계산하므로서 시차제어부에서 제어되어야할 안길이 위치를 계산하는 것을 특징으로 하는 입체화상표시장치.
25. 제2항에 있어서, 상기 주시점계산부는 관상자의 시선을 검출하는 시선 검출부와, 시선검출부의 출력으로부터 관상자의 표시화상속의 주시위치를 검출하는 주시점판정부와, 시차계산부의 출력과 주시점판정부의 출력으로부터 필요하게 되는 표시화상위치의 양안시차의 평균치를 계산하는 제어량계산부를 구비한 것을 특징으로 하는 입체화상촬상 및 표시장치.
26. 제9항에 있어서, 상기 주시점계산부는, 관상자의 시선을 검출하는 시선 검출부와, 시선검출부의 출력으로부터 관상자의 표시화상속의 주시위치를 검출하는 주시점판정부와, 시차계산부의 출력과 주시점판정부의 출력으로부터 필요하게 되는 표시화상위치의 양안시차의 평균치를 계산하는 제어량계산부를 구비한 것을 특징으로 하는 입체화상표시장치.
27. 제4항에 있어서, 상기 재생부에 의해 재생되는 주시의도신호로서, 관상자가 주시하고저 의도하는 촬영화상부분을 지정하는 주시의도지정부(2)의 출력을 사용하는 것을 특징으로 하는 입체화상촬상 및 표시장치.
28. 제15항에 있어서, 상기 재생부에 의해 재생되는 주시의도신호로서, 관상자가 주시하고저 의도하는 촬영화상부분을 지정하는 주시의도지정부(2)의 출력을 사용하는 것을 특징으로 하는 입체화상촬상 및 표시장치.
29. 제25항에 있어서, 상기 주시점판정부는, 관찰자의 시선이동속도가 작은 기간만을 추출해서 홀드처리·저역여파처리를 행하여 관찰자의 주시위치를 검출하는 것을 특징으로 하는 입체화상표시장치.
30. 제26항에 있어서, 상기 주시점판정부는, 관찰자의 시선이동속도가 작은 기간만을 추출해서 홀드처리·저역여파처리를 행하여 관찰자의 주시위치를 검출하는 것을 특징으로 하는 입체화상표시장치.
31. 제25항에 있어서, 상기 제어량계산부는, 주시점판정부의 출력이 표시한 관찰자의 표시화상상의 주시점을 중심으로한, 어떤 소정의 범위내의 시차계산부의 출력을 평균하므로서 시차제어부에서 제어되어야할 안길이위치를 계산하는 것을 특징으로 하는 입체화상표시장치.
32. 제26항에 있어서, 상기 제어량계산부는, 주시점판정부의 출력이 표시한 관찰자의 표시화상상의 주시점을 중심으로한, 어떤 소정의 범위내의 시차계산부의 출력을 평균하므로서 시차제어부에서 제어되어야할 안길이위치를 계산하는 것을 특징으로 하는 입체화상표시장치.