KR100519864B1 - 화상정보입력장치및그방법 - Google Patents

화상정보입력장치및그방법 Download PDF

Info

Publication number
KR100519864B1
KR100519864B1 KR10-1998-0002855A KR19980002855A KR100519864B1 KR 100519864 B1 KR100519864 B1 KR 100519864B1 KR 19980002855 A KR19980002855 A KR 19980002855A KR 100519864 B1 KR100519864 B1 KR 100519864B1
Authority
KR
South Korea
Prior art keywords
imaging
image
visual field
view
information input
Prior art date
Application number
KR10-1998-0002855A
Other languages
English (en)
Other versions
KR19980071007A (ko
Inventor
히로시 요시마츠
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR19980071007A publication Critical patent/KR19980071007A/ko
Application granted granted Critical
Publication of KR100519864B1 publication Critical patent/KR100519864B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

간편한 기구로, 촬상 대상에 촬상 장치를 추종시키면서 3차원 화상 정보를 얻을 수 있도록 함과 동시에, 현장감이 있으며 또한 시각 피로가 적은 3차원 화상 표시를 행할 수 있도록 한다.
제어 장치(15)는, 2개의 카메라(11, 12)에 의해서 촬상되는 화상에 따라서, 추미(追尾)해야 하는 촬상 대상을 특정하고, 팬틸터((1)13)를 제어하여, 카메라((1)11)의 시야를 촬상 대상에 추미시킨다. 또한, 제어 장치(15)는, 2개의 카메라(11, 12)에 의해 촬상되는 화상을 이용한 패턴 매칭을 행하여, 팬틸터((2)14)를 제어하여, 카메라((2)12)의 시야를 카메라((1)11)의 촬상 대상에 추종시킨다.

Description

화상 정보 입력 장치 및 그 방법
발명의 분야
본 발명은 복수의 촬상 장치에 의해서 촬상 대상을 촬상하여 3차원 화상 정보를 얻는 3차원 화상 정보 입력 장치 및 복수의 촬상 장치에 의해서 촬상 대상을 촬상하며, 얻어진 3차원 화상 정보에 따라서 3차원 화상 표시를 하는 3차원 화상 정보 입출력 장치에 관한 것이다.
발명의 관련 기술
최근, 버추얼리티(가상 현실감), 게임 등의 용도를 위해, 헤드 마운트 디스플레이나 헤드업 디스플레이 등을 사용한 3차원 화상 표시 기술의 연구 개발이 성황리에 행하여지고 있다.
일반적으로, 촬상 대상의 3차원 화상을 표시하기 위해서는, 촬상 대상을 서로 다른 방향으로부터 촬상하여 얻어진 영상 정보를, 각각 사람의 좌우의 각 눈에 대하여 부여하도록 하면 된다. 따라서, 촬상 대상의 3차원 화상을 표시하기 위해서는 촬상 대상을 서로 다른 방향으로부터 촬상하는 복수의 촬상 장치와, 이 복수의 촬상 장치에 의해서 얻어진 영상 정보에 근거하여 3차원 화상 표시를 하기 위해서 표시 장치가 필요하게 된다.
그런데, 3차원 화상을 표시하고자 하는 촬상 대상이 움직임이 있는 것인 경우에는, 복수의 촬상 장치를 움직임이 있는 촬상 대상에 추종시킬 필요가 있다. 종래, 이와 같이 복수의 촬상 장치를 촬상 대상에 추종시키기 위한 기술로서는, 문헌「안도우시게루:“리얼 타임 3차원 시각 센싱·시스템”, 인터페이스, 1995년 2월, 제 94 내지 104 페이지」에 기재된 기술이 있다. 이 기술에서는, 양 눈 CCD 카메라(2개의 CCD 카메라)를, 자율적으로 운동 가능한 두부(頭部)형 기대(基臺)에 고정하고, 양 눈 CCD 카메라의 각 출력으로부터, 시야 내에서의 운동의 발생 등의 사상(事象)의 발생을 검출하고, 사상이 발생한 방향에 양 눈 CCD 카메라를 향하여, 시야 속으로부터 가장 중요한 부분을 판단하여, 그 부분을 시야 중심으로 잡고, 대상이 이동하더라도 그것에 추종하도록 하고 있다.
그러나, 상기 기술에서는, 양 눈 CCD 카메라가 두부형 기대에 대하여 고정되어 있기 때문에, 시야를 자유롭게 이동시키더라도 또 대상성이 유지되도록 양 눈 CCD 카메라의 제어부에는 비디오 신호의 이득과 양 눈 폭주각(幅輳角)에 관한 고정밀도의 조정 기구가 내장되고 있는 등, 움직임이 있는 촬상 대상에 추종하기 위해서 각 카메라간의 고도의 조정 기구가 요구되는 문제점이 있었다.
한편, 3차원 화상 표시 기술에서는, 촬상 장치와 표시 장치에 있어서의 폭주각에 관해서, 이하와 같은 방식이 제안되어 있었다. 제 1 방식은, 2개의 촬상 장치가 폭주각0。(이하, 평행 폭주라고 한다.)로 배치되며, 각 촬상 장치에 의해서 얻어진 각 영상 정보를, 평행 폭주로 배치된 2개의 표시 장치에 의해서 표시하는 것이다. 제 2 방식은, 2개의 촬상 장치가 소정 크기의 폭주각을 갖도록 배치되며, 각 촬영 장치에 의해서 얻어진 각 영상 정보를, 소정 크기의 폭주각을 가지도록 배치된 2개의 표시 장치에 의해서 표시하는 것이다.
그런데, 감상 용도를 위해 3차원 화상 표시를 하는 경우에는, 현장감이 있고, 또한 시각 피로가 적은 3차원 화상 표시 기술이 요구된다. 이 관점에서, 상술한 2개의 방식에는, 각각 이하와 같은 문제점이 있다. 즉, 제 1 방식에서는, 촬상 장치 및 표시 장치에 폭주가 없기 때문에, 표시되는 2개의 화상에 인간의 경우보다도 과대한 시차량을 발생시키며, 3차원 화상 표시 특유의 시각 피로가 생기는 문제점이 있다. 또한, 제 2 방식에서는, 폭주각이 큰 가까운 것을 볼 때, 광학적으로 양 눈에 폭주각을 강제하게 되고, 제 2 방식과 비교하면 작지만, 역시, 3차원 화상 표시 특유의 시각 피로를 발생시키는 문제점이 있다. 또한, 제 2 방식을 채용하여 현재 실현되어 있는 많은 3차원 화상 표시 시스템에서는, 촬상 장치 및 표시 장치의 폭주각이 고정되어 있고, 임의의 촬상 대상 위치 및 임의의 감상 위치에 대응할 수가 없는 문제점이 있다.
본 발명은 이러한 문제점에 비추어 이루어진 것으로, 그 제 1 목적은, 간이한 기구로, 촬상 대상에 복수의 촬상 장치를 추종시키면서 3차원 화상 정보를 얻을 수 있도록 한 3차원 화상 정보 입력 장치를 제공하는 것에 있다.
본 발명의 제 2 목적은, 간이한 기구로, 촬상 대상에 촬상 장치를 추종시키면서 3차원 화상 정보를 얻는 것이 가능하게 되는 동시에, 현장감이 있고 또한 시각피로가 적은 3차원 화상 표시를 할 수 있도록 한 3차원 화상 정보 입출력 장치를 제공하는 것에 있다.
청구항 1항의 화상 정보 입력 장치는,
다수의 촬상 수단과,
다수의 상기 촬상 수단의 시야를 각각 독립적으로 이동시키는 다수의 시야 이동 수단과,
다수의 상기 촬상 수단중 제 1 촬상 수단이 촬상하고 있는 촬상 대상에, 다 수의 상기 촬상 수단중 제 2 촬상 수단의 시야가 추종하도록, 상기 제 2 촬상 수단에 대응하는 상기 시야 이동 수단을 제어하는 시야 추종 제어 수단을 구비하는 것을 특징으로 한다.
청구항 2의 화상 정보 입력 장치는, 청구항 1에 있어서, 상기 제 1 촬상 수단이 상기 촬상 대상에 대하여 자동 추미하도록, 상기 제 1 촬상 수단에 대응하는 시야 이동 수단을 제어하는 자동 추미 제어 수단을 구비하는 것을 특징으로 한다.
청구항 3의 화상 정보 입력 장치는, 청구항 1항에 있어서, 다수의 상기 촬상 수단 각각의 초점을 자동적으로 원하는 촬상 대상에 맞추는 자동 초점 조정 수단을 구비하는 것을 특징으로 한다.
청구항 4의 화상 정보 입력 장치는, 청구항 1항에 있어서, 다수의 상기 시야 이동 수단을 각각 상하방향 및 좌우방향으로 이동시킴으로써 다수의 상기 촬상 수단의 시야 각각을 이동시키는 것을 특징으로 한다.
청구항 5의 화상 정보 입력 장치는, 청구항 1항에 있어서, 상기 시야 추종 제어 수단은, 상기 제 1 촬상 수단에 의해서 촬상되는 화상과 상기 제 2 촬상 수단에 의해서 촬상되는 화상에 기초하여 패턴 매칭을 행하고 상기 제 1 촬상 수단이 촬상하고 있는 촬상 대상에, 상기 제 2 촬상 수단의 시야를 추종시키는 것을 특징으로 한다.
청구항 6의 화상 정보 입력 장치는, 청구항 1항에 있어서, 상기 제 1 촬상 수단에 대응하는 상기 시야 이동 수단을 원하는 위치로 이동시키기 위한 수동 제어기를 구비하는 것을 특징으로 한다.
청구항 7의 화상 정보 입력 장치는, 청구항 1항에 있어서, 다수의 상기 촬상 수단의 시야를 일체적으로 이동시키는 일체적 시야 이동 수단과,
상기 일체적 시야 이동 수단을 제어하는 일체적 시야 제어 수단을 구비하는 것을 특징으로 한다.
청구항 8의 화상 정보 입력 장치는, 청구항 1항에 있어서, 다수의 상기 촬상 수단으로부터의 영상 신호 중 원하는 영상 신호만을 선택하는 영상 신호 선택 수단과,
상기 영상 신호 선택 수단으로 선택된 영상 신호에 대응하는 화상을 표시하는 표시 수단을 구비하는 것을 특징으로 한다.
청구항 9의 화상 정보 입력 장치는, 청구항 1항에 있어서, 다수의 상기 촬상 수단으로부터의 영상 신호에 기초하여 화상을 표시하는 표시 수단을 구비하는 것을 특징으로 한다.
청구항 10의 화상 정보 입력 장치는, 청구항 2항에 있어서, 상기 자동 추미 제어 수단은, 다수의 상기 촬상 수단에 의해서 촬상되는 화상에 기초하여 추종해야 하는 촬상 대상을 특정하는 것을 특징으로 한다.
청구항 11의 화상 정보 입력 장치는, 청구항 7항에 있어서, 상기 일체적 시야 이동 수단을 원하는 위치로 이동시키기 위한 수동 제어기를 구비하고, 상기 일체적 시야 제어 수단은 상기 수동 제어기의 출력에 기초하여 상기 일체적 시야 이동 수단을 이동하는 것을 특징으로 한다.
청구항 12의 화상 정보 입력 장치는, 청구항 7항에 있어서, 상기 화상 대상을 관찰하는 사람의 시야 방향을 검출하여 시야 검출 결과를 출력하는 시야 방향 검출 수단을 구비하고, 상기 일체적 시야 제어 수단은 상기 시야 검출 결과에 기초하여 상기 일체적 시야 이동 수단을 이동시키는 것을 특징으로 한다.
청구항 13의 화상 정보 입력 장치는, 청구항 9항에 있어서, 상기 표시 수단은 0°이상 3°이하의 폭주각으로 상기 화상을 표시하는 것을 특징으로 한다.
청구항 14의 화상 정보 입력 장치는, 청구항 9항에 있어서, 상기 표시 수단은, 렌티큘러 디스플레이인 것을 특징으로 한다.
청구항 15의 화상 정보 입력 장치는, 청구항 9항에 있어서, 상기 표시 수단은 헤드 마운트 디스플레이인 것을 특징으로 한다.
청구항 16의 화상 정보 입력 장치는, 청구항 9항에 있어서, 상기 표시 수단은 헤드 업 디스플레이인 것을 특징으로 한다.
청구항 17의 화상 정보 입력 장치는, 청구항 12항에 있어서, 상기 시야 방향 검출 수단은 상기 관찰하는 사람의 두부의 운동을 검출함으로써 상기 시야 검출 결과를 출력하는 것을 특징으로 한다.
청구항 18항의 화상 정보를 입력하는 화상 정보 입력 방법은,
제 1 촬상 수단의 시야를 원하는 촬상 대상에 추미시키도록 상기 제 1 촬상 수단에 대응하는 제 1 시야 이동 수단을 제어하는 시야 추미 제어 공정과,
제 2 촬상 수단의 시야가 추미된 상기 촬상 대상에 추종하도록, 상기 제 2 촬상 수단에 대응하는 제 2 시야 이동 수단을 제어하는 시야 추종 제어 공정을 포함하는 것을 특징으로 한다.
청구항 19항의 화장 정보 입력 방법은, 청구항 18항에 있어서, 상기 시야 추미 제어 공정은 상기 제 1 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하고, 상기 시야 추종 제어 공정은 상기 제 2 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하는 것을 특징으로 한다.
청구항 20항의 화장 정보 입력 장치는, 청구항 18항에 있어서, 상기 시야 추종 제어 공정은, 상기 제 1 촬상 수단으로부터의 영상 신호에 기초하는 화상과 상기 제 2 촬상 수단으로부터의 영상 신호에 기초하는 화상을 패턴 매칭하는 공정을 포함하는 것을 특징으로 한다.
청구항 21항의 화장 정보 입력 방법은, 청구항 18항에 있어서, 상기 시야 추미 제어 공정은, 추미해야 하는 촬상 대상을 특정하는 동체 검출 공정을 포함하며, 상기 촬상 대상에 대하여 상기 제 1 촬상 수단은 자동 추미를 행하는 것을 특징으로 한다.
청구항 20항의 화장 정보 입력 방법은, 청구항 21항에 있어서, 상기 동체 검출 공정은 추종해야 하는 촬상 대상에 기초하는 제 1 화상과 상기 제 1 촬상 수단으로부터의 영상 신호에 근거하는 제 2 화상과의 차분인 시차 화상을 검출하는 시차 화상 검출 공정과,
상기 시차 화상의 시간 변화 부분을 검출하는 시간 변화 부분 검출 공정과,
상기 촬상 대상을 특정하는 촬상 대상 특정 공정을 포함하는 것을 특징으로 한다.
청구항 23항의 화장 정보 입력 방법은, 청구항 22항에 있어서, 상기 촬상 대상물 특정 공정에서 촬상 대상을 특정할 수 있는지를 판정하는 판정 공정과,
상기 판정 공정으로 촬상 대상을 특정할 수 없다고 판정되었을 때에, 윤곽추출에 의해서 촬상 대상의 특징을 검출하는 특징 검출 공정을 포함하는 것을 특징으로 한다.
청구항 24항의 화상 정보를 입력하는 화상 정보 입력 방법에 있어서,
제 1 촬상 수단의 시야와 제 2 촬상 수단의 시야를 비정밀하게 일체적으로 촬상 대상에 이동시키는 제 1 시야 이동 공정과,
상기 제 1 촬상 수단의 시야를 상기 촬상 대상에 정밀하게 추미하도록 이동시키는 제 2 시야 이동 공정과,
제 2 촬상 수단의 시야가, 상기 제 1 촬상 수단의 상기 촬상 대상에 추종하도록, 상기 제 2 촬상 수단을 이동시키는 제 3 시야 이동 공정을 포함하는 것을 특징으로 한다.
청구항 25항의 화상 정보 입력 방법은, 청구항 24항에 있어서, 상기 제 2 시야 이동 공정은, 상기 제 1 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하고, 상기 제 3 시야 이동 공정은, 상기 제 2 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하는 것을 특징으로 한다.
청구항 26항의 화상 정보 입력 방법은, 청구항 24항에 있어서, 상기 제 3 시야 이동 공정은 상기 제 1 촬상 수단으로부터의 영상 신호에 기초하는 화상과 상기 제 2 촬상 수단으로부터의 영상 신호에 기초하는 화상을 패턴 매칭하는 공정을 포함하는 것을 특징으로 한다.
청구항 27항의 화상 정보 입력 방법은, 청구항 24항에 있어서, 상기 제 2 시야 이동 공정은, 추미해야 하는 촬상 대상을 특정하는 동체 검출 공정을 포함하며, 상기 촬상 대상에 대하여 상기 제 1 촬상 수단은 자동 추미를 행하는 것을 특징으로 한다.
청구항 28항의 화상 정보 입력 방법은, 청구항 24항에 있어서, 관찰하는 사람의 시야 방향을 검출하여, 시야 방향 검출 결과를 출력하는 시야 방향 검출 공정을 포함하고,
상기 제 1 시야 이동 공정은, 상기 시야 방향 검출 결과에 기초하여 상기 제 1 촬상 수단의 시야와 상기 제 2 촬상 수단의 시야를 일체적으로 촬상 대상에 이동시키는 것을 특징으로 한다.
청구항 29항의 화상 정보 입력 방법은, 청구항 27항에 있어서, 상기 동체 검출 공정은 추종해야 하는 촬상 대상에 기초하는 제 1 화상과 상기 제 1 촬상 수단으로부터의 영상 신호에 기초하는 제 2 화상과의 차분인 시차 화상을 검출하는 시차 화상 검출 공정과,
상기 시차 화상의 시간 변화 부분을 검출하는 시간 변화 부분 검출 공정과,
상기 촬상 대상을 특정하는 촬상 대상 특정 공정을 포함하는 것을 특징으로 한다.
청구항 30항의 화상 정보 입력 방법은, 청구항 29항에 있어서, 상기 촬상 대상물 특정 공정에서 촬상 대상을 특정할 수 있는지를 판정하는 판정 공정과,
상기 판정 공정으로 촬상 대상을 특정할 수 없다고 판정되었을 때에 윤곽 추출에 의해서 촬상 대상의 특징을 검출하는 특징 검출 공정을 포함하는 것을 특징으로 한다.
이하, 본 발명의 실시 형태에 대하여 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 제 1 실시 형태와 관계되는 3차원 화상 정보 입력 장치 및 3차원 화상 정보 입출력 장치의 전체 구성을 도시하는 사시도이다. 또, 3차원 화상 정보 입력 장치는, 3차원 화상 정보 입출력 장치에 포함되는 것으로 이하에서는, 3차원 화상 정보 입출력 장치에 관해서 설명한다. 본 실시 형태에 관계되는 3차원 화상 정보 입출력 장치는 각각 자동 초점 조정(오토포커스) 기능을 가지며, 좌우의 각 화상을 촬상하기 위한 비디오 카메라(이하 단순히 카메라라고 기록한다)((1)11) 및 카메라((2)12)와, 각 카메라(11, 12)의 시야를 각각 독립으로 이동 가능한 시야 이동 수단으로서의 팬틸터((1)13) 및 팬틸터((2)14)와, 카메라(11, 12) 및 팬틸터(13, 14)가 접속된 제어 장치(15)와, 이 제어 장치(15)에 접속되어, 각 카메라(11, 12)에 의해서 얻어진 화상 정보에 따라서, 0。 이상 3。 이하의 폭주각으로 3차원 화상 표시를 행하는 표시 수단으로서의 디스플레이부(16)를 구비하고 있다. 팬틸터(13, 14)는 각각 카메라(11, 12)를 지지하며, 또한, 카메라(11, 12)를 팬 방향(좌우 방향) 및 틸트 방향(상하 방향)으로 회전함으로써, 카메라(11, 12)의 시야를 팬 방향 및 틸트 방향으로 이동하도록 되어 있다.
도 2는 본 실시 형태에 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도이다. 이 도면에 도시한 바와 같이, 각 카메라(11, 12)의 출력 신호(17,18)는 제어 장치(15)에 입력되며, 팬틸터(13, 14)에는 제어장치(15)로부터의 제어 신호(19, 20)가 입력되게 되어 있다. 제어 장치(15)는, 각 카메라(11, 12)의 출력 신호(17, 18)를 입력하며, 각 카메라(11, 12)에 의해서 촬상되는 화상에 근거하여, 추미해야 할 촬상 대상을 특정하는 동체 검출부(21)와, 카메라((1)11)의 시야가 동체 검출부(21)에 의해서 특정된 촬상 대상에 추미하도록, 제어신호(19)를 주고 팬틸터((1)13)를 제어하는 팬틸터 제어부((1)11)와, 각 카메라(11, 12)의 출력 신호(17, 18)를 입력하며, 각 카메라(11, 12)에 의해서 촬상되는 2개의 화상을 이용한 패턴 매칭을 행하여, 카메라((1)11)의 촬상 대상에 카메라(((2)12))의 시야를 추종시키기 위한 정보를 생성하는 패턴 매칭부(23)와, 이 패턴 매칭부(23)에 의해서 생성된 정보에 따라서, 카메라(1)11의 촬상 대상에 카메라(((2)12))의 시야가 추종하도록, 제어 신호(20)를 주고 팬틸터((2)14)를 제어하는 팬틸터 제어부((2)24)를 구비하고 있다. 또한, 패턴 매칭부(23)는, 패턴 매칭을 할 때에, 동체 검출부(21)에 의해서 특정된 촬상 대상의 정보를 이용하게 되어있다. 또한, 각 카메라(11, 12)의 출력신호(17, 18)는 제어 장치(15)를 통하여 디스플레이부(16)로 이송되게 된다.
제어 장치(15)에 있어서의 동체 검출부(21) 및 팬틸터 제어부((1)22)는, 본 발명에 있어서의 자동 추미 수단에 대응하여, 패턴 매칭부(23) 및 팬틸터 제어부((2)24)는, 본 발명에 있어서의 시야 추종 제어 수단에 대응하는 제어 장치(15)는 예를 들면, CPU(중앙 처리 장치), ROM(리드·온리·메모리) 및 RAM(랜덤 액세스 메모리)를 포함하여, RAM을 작업 에어리어로서, ROM에 격납된 프로그램을 실행함으로써, 도 2에 도시하는 각 부(21 내지 24)를 실현하게 되고 있다.
도 3은 도 1 및 도 2에 있어서의 카메라(11,12)의 구성을 도시하는 블록도이다. 카메라(11, 12)는, 초점 조정 가능한 결상 렌즈계와 이 결상 렌즈계에 의해서 결상되는 화상을 촬상하는 CCD(전하 결합 소자) 등을 사용한 촬상 소자를 포함하는 촬상부(31)와, 이 촬상부(31)의 출력 신호를 신호 처리하여, 출력 신호(17, 18)로서 제어 장치(15)에 보내는 신호 처리부(32)와, 촬상 대상의 포커스 상태를 검출하는 포커스 검출부(33)와, 촬상 대상에 대하여 핀트가 맞도록, 포커스 검출부(33)에 의해서 검출된 포커스 상태에 응해서 촬상부(31)에 있어서의 결상 렌즈계를 조정하는 포커스 구동부(34)를 구비하고 있다.
도 4는 도 1 및 도 2에 있어서의 팬틸터(13, 14)의 구성을 도시하는 블록도이다. 팬틸터(13, 14)는 카메라(11, 12)를 팬방향으로 회전 이동시키기 위한 팬방향 구동부(35)와, 카메라(11, 12)를 틸트 방향으로 회전 이동시키기 위한 틸트방향 구동부(36)와, 제어장치(15)로부터의 제어신호(19, 20)를 입력하고, 각 구동부(35, 36)용 제어신호로 분리하여 각 구동부(35, 36)에 보내는 제어신호 입력부(37)를 구비하고 있다.
도 1 및 도 2에 있어서의 디스플레이부(16)로서는 예컨대, 렌티큘러 디스플레이나, 헤드 마운트 디스플레이나, 헤드 업 디스플레이를 이용할 수 있다. 이하, 도5 내지 도 8을 참조하여, 이들에 관해 설명한다.
도 5는 본 실시예에서 사용하는 경우의 렌티큘러 디스플레이의 구성을 도시한 설명도이다. 이 렌티큘러 디스플레이는 각각 반원통형상을 이루는 여러개의 렌즈부를 갖는 렌티큘러 스크린(41)과, 이 렌티큘러 스크린(41)의 초점면에 배치된 확산 스크린(42)과, 이 확산 스크린(42)에 대하여 배면에서, 좌우화상을 스트라이프 형상으로 투사하는 액정 비디오 프로젝터(43, 44)를 구비하고 있다.
상기 렌티큘러 디스플레이를 사용하는 경우에는 제어장치(15)에 있어서, 카메라(11, 12)로 촬상한 화상을, 각각, 화상단위로 스트라이프형상으로 분리된 스트라이프 상으로 변환하는 처리를 행한다. 각 카메라(11, 12)에 대응하는 스트라이프 상의 화상신호는 각각 액정 비디오 프로젝터(43, 44)에 보내지고, 액정 비디오 프로젝터(43, 44)에 의해서, 각 카메라(11, 12)에 대응하는 스트라이프 상이 확산 스크린(42)에 투사된다. 카메라(11)에 대응하는 스트라이프 상은 렌티큘러 스크린(41)의 각 렌즈부 배치의 1 피치내에서의 한 쪽의 절반의 영역에 투사되어, 카메라(12)에 대응하는 스트라이프 상은 렌즈부 배치의 1 피치내의 다른 한쪽 절반의 영역에 투사되도록 되어 있다. 그 결과, 각 카메라(11, 12)에 의해서 촬상된 화상은 렌티큘러 스크린(41)의 작용에 의해서, 각각 관찰자의 좌우의 시계에 들어가고, 3차원 화상으로서 인식된다. 또, 신호처리에 의해서 각 카메라(11, 12)에 대응하는 스트라이프 상을 합성하고, 1대의 비디오 프로젝터에 의해서 확산 스크린(42)에 투사하도록 해도 된다.
또, 렌티큘러 디스플레이에 의한 3차원 화상표시의 원리에 관해서는 문헌「 기야지: "8안식 안경없이 3차원 텔레비젼", NHK 기술연구소 R&D, No. 38, 1995년, 제43 내지 54페이지」에 자세히 기재되어 있다.
상술의 렌티큘러 디스플레이에 있어서의 폭주각(θ)은 관찰자 위치에서의 결상점의 간격(좌우 눈의 간격)(D)과, 확산 스크린(42)으로부터 관찰자눈까지의 거리(L)를 이하의 식으로 나타낸다.
θ≒ D/L
여기서, 예컨대, D=0.065m, L= 5m로 하면, θ= 0.013(rad)=0.74˚로 되고, 렌티큘러 디스플레이는 0o 이상 3o 이하의 폭주각으로 3차원 화상 표시를 행하는 표시수단을 얻을 수 있다.
도 6은 헤드 마운트 디스플레이의 구성의 일례를 도시한 설명도이다. 이 헤드 마운트 디스플레이는 좌우 화상의 한쪽을 표시하기 위한 액정 디스플레이(51)와, 이 액정 디스플레이(51)에 의해서 표시되는 화상을, 관찰자의 좌우 한쪽 눈에 대하여 허상으로서 투영하는 접안 광학 시스템(52)을 구비하고 있다. 도 6에는 좌우 한쪽 눈에 대응하는 부분만을 도시하였지만, 다른쪽 눈에 대응하는 부분도 같은 구성이다.
도 7은 헤드 마운트 디스플레이 구성의 다른 예를 도시한 설명도이다. 2의 헤드 마운트 디스플레이는 액정 디스플레이(51)를 접안 광학 시스템(52)의 윗쪽에 배치하여, 액정 디스플레이(51)의 전방 및 접안 광학 시스템(52)의 전방에 각각 릴레이용 미러(53, 54)를 배치함과 동시에, 미러(53, 54)간에 릴레이 렌즈(55)를 배치한 것이다. 도 7에 도시된 헤드 마운트 디스플레이에는 미러(53, 54) 및 릴레이 렌즈(55)로 이루어진 릴레이 광학 시스템에 의해서, 접안 광학 시스템(52)의 전방에, 액정 디스플레이(51)에 의해서 표시되는 화상의 중간상(56)이 형성되며, 관찰자는 접안 광학 시스템(52)를 통해, 이 중간상(56)을 관찰하게 된다. 도 7에는 좌우 한쪽 눈에 대응하는 부분만을 도시하였지만, 다른쪽 눈에 대응하는 부분도 같은 구성이다.
도 6 또는 도 7에 도시된 헤드 마운트 디스플레이에 있어서, 각 구성요소는 관찰자가 장착하는 고글형상의 유지부재에 의해 유지되어 있다. 도 6 또는 도 7에 도시된 헤드 마운트 디스플레이에서는 좌우 각 눈에 대응하는 각 액정 디스플레이(51)에 의해서 표시되는 화상이 관찰자의 좌우의 각 눈에 투영되어, 3차원 화상으로서 인식된다. 도 6 또는 도 7에 도시된 헤드 마운트 디스플레이에 있어서의 폭주각은 각 구성요소의 배치에 의해서, 0o 이상 3o 이하로 설정된다.
도 8은 헤드 업 디스플레이의 구성의 일례를 도시한 설명도이다. 상기 헤드 업 디스플레이는 관찰자 눈의 전방에서 수평방향에 대하여 45도 각도를 이루도록 배치된 콤바이너(하프 미러)(61)와, 이 콤바이너(61)의 아래쪽에서 콤바이너(61)와 평행하게 배치된 미러(62)와, 미러(62)의 전방에 배치되어, 좌우 화상의 한쪽을 표시하기 위한 CRT(음극선관)(63)과, CRT(63)와 미러(62)간 및 미러(62)와 콤바이너(61) 간에 각각 배치된 콜리메이션 기능을 갖는 렌즈(64, 65)를 구비하고 있다. 도 8에는 좌우 한쪽 눈에 대응하는 부분만을 도시하였지만, 다른 쪽 눈에 대응하는 부분도 같은 구성이다.
상기 헤드 업 디스플레이에서는 CRT(63)로부터의 광은 렌즈(64)를 통과하여, 미러(62)로 반사되며, 렌즈(65)를 통과하여, 콤바이너(61)로 반사되어, 관찰자의 좌우 한쪽 눈에 들어간다. 이 눈에는 콤바이너(61)를 투과한 전방(前方) 경치의 광도 들어간다. 따라서, 관찰자는 전방의 경치와 그것에 중첩된 CRT(63)의 화상을 관찰할 수가 있다. 이 헤드 업 디스플레이에서는 좌우의 각 눈에 대응하는 각 CRT(63)에 의해서 표시되는 화상이 관찰자의 좌우의 각 눈에 의해 관찰되어, 3차원 화상으로서 인식된다. 상기 헤드 업 디스플레이에 있어서의 폭주각은 각 구성요소의 배치에 의해서, 0o 이상 3o 이하에 설정된다.
다음에, 본 실시예에 관한 3차원 화상 정보 입출력 장치의 동작에 관해서 설명한다.
먼저, 도 9의 흐름도를 참조하여, 본 실시예에 관한 3차원 화상 정보 입출력 장치에 있어서의 카메라(11, 12)의 시야 제어에 관한 동작에 관해 설명한다. 제어장치(15)는 전원 투입 후, 우선, 카메라((1)11)와 카메라((2)12)의 초기화를 행한다(스텝 S101). 구체적으로는 제어장치(15)내의 팬틸터 제어부(22, 24)에 의해서 팬틸터(13, 14)를 제어하고, 각 카메라(11, 12)의 시야를 소정의 방향으로 향한다. 다음에, 제어장치(15)는 자동추미를 행하는지의 여부를 판단한다(스텝 S102). 또, 자동추미를 행하는지의 여부는 도시하지 않은 스위치 등에 의해 사용자에 의해서 설정된다. 자동추미를 행하는 경우(Y)에는 제어장치(15)는 동체 검출부(21)에 의해서, 추미해야 할 촬상대상인 대상 물체를 특정하는 동체 검출을 행한다(스텝 S103). 다음에, 제어장치(15)는 팬틸터 제어부((1)22)에 의해서, 카메라((1)11)의 시야를, 동체 검출부(21)에 의해서 특정된 대상물체에 추미시킨다(스텝 S104). 여기서, 카메라((1)11)에서는 자동 초점 조정 기능에 의해, 촬상대상에 대하여 핀트가 맞춰진다.
다음에, 제어장치(15)는 패턴 매칭부(23)에 의해서, 각 카메라(11, 12)에 의해서 촬상되는 2개의 화상을 사용한 패턴 매칭을 행하여, 카메라((1)11)의 대상 물체에 카메라((2)12)의 시야를 추종시키기 위한 정보를 생성하고, 이 정보에 따라서, 팬틸터 제어부((2)24)에 의해서, 카메라((2)12)의 시야를 카메라((1)11)의 대상물체에 추종시키고(스텝 S105), 스텝 S102에 되돌아간다. 또, 카메라((2)12)에서도, 자동 초점 조정기능에 의해, 촬상대상에 대하여 핀트가 맞는다. 자동추미를 행하지 않는 경우(스텝 S102; N)는 제어장치(15)는 카메라(11, 12)의 시야의 제어를 종료한다. 또, 도 9에 있어서의 스텝 S102 내지 S105의 동작은 예컨대 프레임마다 행해진다.
도 10은 도 9에 있어서의 동체검출(스텝 S103)의 동작을 도시한 플로차트이다. 이 동체 검출에서는 우선, 동체 검출부(21)는 좌우의 각 화상의 차분인 시차 화상을 검출한다(스텝 S111). 다음에, 총체 검출부(21)는 시차화상의 시간 변화 부분을 검출한다(스텝 S112). 구체적으로는 시차화상의 각 부분 마다의 운동 벡터를 검출하여, 이 운동 벡터가 같은 정도의 영역을 하나의 블럭으로서 파악한다. 다음에, 동체 검출부(21)는 추미하기 위한 촬상 대상인 대상 물체를 특정한다(스텝 S113). 구체적으로는 예컨대, 스텝 S112에서 검출한 블럭 중, 가장 큰 블럭을 대상물체로 한다. 다음에, 동체 검출부(21)는 스텝 S113에 의해서 대상물체가 특정되었는지의 여부를 판단한다(스텝 S114). 특정된 경우(Y)는 동체 검출의 동작을 종료한다. 촬상 대상이 정지하고 있는 경우와 같이 스텝 S113에 의해서 대상물체가 특정되지 않은 경우(스텝 S114; N)는 윤곽추출에 의해서, 촬상 대상의 특징 검출을 행한다(스텝 S115). 구체적으로는 시차 화상의 윤곽을 추출하여, 닫힌 윤곽선으로 둘러싸인 영역을 하나의 블럭으로서 파악한다. 다음에, 동체 검출부(21)는 추미해야 할 촬상대상인 대상물체를 특정한다(스텝 S116). 구체적으로는 예컨대, 스텝 S115에서 검출한 블럭 중, 가장 큰 블럭을 대상 물체로 한다. 대상물체가 특정되면, 동체 검출동작을 종료한다.
도 9에 있어서의 스텝 S104에서는 상술의 동체 검출에 의해서 특정된 대상물체가 카메라((1)11)의 시야 중심에 위치하도록, 팬틸터((1)13)를 제어한다.
또, 동체검출(스텝 S103) 및 자동추미(스텝 S104)의 방법은 상술한 방법에 한정되지 않고, 예컨대, 문헌「하아부혜자: "시공간 화상을 이용한 동화상 해석", Pro c of the 2-nd Sony Research Forum, 1992년, 제277 내지 282 page」에 기재되어 있는 바와 같이, 소정의 설정테두리 영역내에서 최대 출력을 내는 색을 대상물체의 색으로 결정하고, 그 색에 관한 2차원 화상정보를 x, y 방향에 각각 압축하여 시공간 화상(x-t, y-t)을 형성하고, 그 시공간 화상에 있어서, 먼저 결정된 색깔의 대상물체를 추적하는 방법을 이용하여도 된다. 또한, 그외, 일반적으로 동작 검출로서 행해지도록, 시간 방향에 불변의 휘도를 갖는 화소를 추적해가는 옵티컬플로우법이나, 어떤 시간에서의 연속되는 화상의 2차원 패턴을 패턴 매칭에 의해서 추적해 가는 방법(패턴 매칭법) 등을 사용하여도 된다.
이렇게하여, 카메라((1)11)는 그 시야의 중심에 대상물체가 오도록, 대상물체에 추미한다. 한편, 카메라((2)12)는 패턴 매칭부(23) 및 팬틸터 제어부((2)24)의 작용에 의해, 카메라((1)11)의 대상물체에 추종한다. 여기에서, 패턴 매칭부(23)의 동작에 관해서 자세히 설명한다. 패턴 매칭부(23)는 각 카메라(11, 12)에 의해서 촬상되는 2개의 화상을 사용한 패턴 매칭을 행하지만, 그 때, 동체 검출부(21)에 의해서 특정된 대상 물체를, 비교대상으로 한다. 이렇게 하여, 비교 대상이 결정되면, 패턴 매칭부(23)는 카메라((1)11)에 의해서 촬상된 화상에 있어서의 비교 대상중, 물체를 특징짓는 부분(윤곽의 각이나 선분 등)(이하, 특징부분이라고 한다)을 추출한다. 다음에, 패턴 매칭부(23)는 추출된 특징부분을 템플레이트로서 패턴 매칭을 행하고, 카메라((2)12)에 의해서 촬상된 화상 중에서, 특징부분과 가장 정합하는 부분을 검출하여, 그 정합하는 부분의 위치를, 카메라((1)11)에 의해서 촬상된 화상 중에서의 특징부분의 위치와 일치시키기 위해서 필요한 카메라((2)12)의 시야의 이동방향 및 이동량을 구하여, 그 정보를 팬틸터 제어부((2)24)에 보낸다. 팬틸터 제어부((2)24)는 이 정보에 따라서 팬틸터(2)14)를 제어하고, 이것에 의해, 카메라((2)12)는 카메라((1)11)의 대상물체를 추종하게 된다. 즉, 카메라((2)12)에 있어서도, 동체검출에 의해서 특정된 대상물체가, 그 시야의 중심에 온다.
이렇게하여, 카메라(11, 12)는 동일한 대상물체에 핀트가 맞은 상태로, 동일의 대상 물체를 시야의 중심에 잡는다. 각 카메라(11, 12)의 출력신호는 제어장치(15)를 거쳐 디스플레이부(16)에 보내어지고, 이 디스플레이부(16)에 있어서, 0o 이상 3o이하의 폭주각으로 3차원 화상 표시가 행해진다.
이상 설명한 바와 같이, 본 실시예에 관한 3차원 화상정보 입출력장치에 의하면 , 카메라((1)11)의 시야를 촬상대상(대상물체)에 추미시켜, 카메라((2)12)의 시야를, 패턴 매칭을 사용한 카메라((1)11)의 촬상 대상에 추종시키도록 하였기 때문에, 여러 개의 카메라를 일체적으로 이동시켜 촬상 대상에 추종시키는 경우 같은 고도의 조정기구가 불필요하며, 간단한 기구로, 용이하게, 촬상 대상에 카메라(11, 12)를 추종시키면서, 더구나 각 카메라(11, 12)가 적정한 폭주각을 설정하여, 3차원 화상정보를 얻을 수 있다. 더구나, 카메라(11, 12)가 독립으로 촬상 대상에 추종하는 것이 아니고, 카메라((2)12)는 패턴 매칭을 사용한 카메라((1)11)의 촬상 대상에 추종시키기 때문에, 카메라(11, 12)가 보다 정확히, 동일의 촬상 대상을 시야의 중심에 잡을 수 있다.
또한, 본 실시예에 관계된 3차원 화상정보 입출력장치에 의하면, 촬상 대상의 위치에 따라서 2개의 카메라(11, 12)의 폭주각이 자동적으로 변화되기 때문에, 2개의 카메라가 폭주로 배치되거나, 2개의 카메라의 폭주각이 소정의 값에 고정되어 있거나 하는 경우와 비교하여, 촬상 대상의 위치에 관계없이 시차량을 적게 할 수 있어, 시각피로를 생기지 않게 3차원 화상정보를 얻을 수 있다.
또한, 본 실시예에 관계된 3차원 화상정보 입출력장치에서는 상술과 같이 하여 얻은 3차원 화상정보에 따라서, 0o 이상 3o 이하의 폭주각으로 3차원 화상표시를 행하도록 하였기 때문에, 카메라(11, 12)로 촬상된 가까운 영상은 물체의 실체보다도 큰 물체의 영상이, 먼쪽에, 입체적으로 투영된 것과 같이, 관찰자에게 지각되어지게 된다. 그 때문에, 피사체를 크게 비춤으로써 가까이에서 보고 있는 것을 표현려고 하는 영화의 클로즈 업의 기법과 같이, 현장감이 있는 3차원 화상표시를 할 수 있다. 더구나, 근거리일 때에도, 관찰자에게 큰 폭주각을 강제할 수 없기 때문에, 관찰자의 시각피로가 적다.
또한, 본 실시예에 관계된 3차원 화상정보 입출력장치에 의하면, 촬상대상의 위치에 따라서 2개의 카메라(11, 12)의 폭주각이 자동적으로 변화됨과 동시에, 3차원 화상표시인 것이 평행 폭주 또는 그것에 가깝기때문에, 임의의 촬상대상 위치 및 임의의 감상위치에 대응할 수 있다.
도 11은 본 발명의 제2 실시예에 관계된 3차원 화상정보 입출력장치의 구성을 도시한 블럭도이다. 본 실시예에 관계된 3차원 화상정보 입출력장치는 제2 실시예에 있어서의 제어장치(15)로부터 동체검출부(21)을 제외하고, 대신에, 팬틸터((1)13)를 수동으로 구동하기 위한 지시정보를 팬틸터 제어부((1)22)에 대하여 주어지는 수동 제어기(66)를 형성한 것이다.
본 실시예에서는 사용자가 수동 제어기(66)를 조작함으로써, 카메라((1)11)의 시야는 임의로 이동된다. 카메라((2)12)는 제1 실시예와 같이, 패턴 매칭부(23) 및 팬틸터 제어부((2)24)의 작용에 의해, 카메라((1)11)의 촬상대상에 추종한다. 또, 본 실시예에서는 동체 검출부(21)가 없는 것에서, 패턴 매칭부(23)는 패턴 매칭을 행할 때에, 카메라((1)11)에 의해 촬상된 화상에서만 특징부분을 추출한다. 본 실시예에 있어서의 그 밖의 구성, 동작 및 효과는 제1 실시예와 같다.
도 12는 본 발명의 제3 실시예에 관계된 3차원 화상정보 입출력장치의 구성을 도시한 블럭도이다. 본 실시예에 관계된 3차원 화상정보 입출력장치에서는 제1실시예에 있어서의 3차원 화상정보 입출력장치에 대하여, 또한 1개 이상의 카메라(카메라(3)71,…)와, 그 카메라에 대응하는 1개 이상의 팬틸터(팬틸터((3)72),…)가 추가되어 있다. 이하에서는, 추가된 카메라((3)71) 및 팬틸터((3)72)에 대응하는 부분에 관해서만 설명하지만, 추가된 다른 카메라 및 팬틸터에 대응하는 부분에 관해서도 같다.
본 실시예에 있어서의 제어 장치(15)에서는, 제 1의 실시예에 있어서의 제어 장치(15)에 대하여, 카메라((1)11)와 카메라((3)71)에 의해서 촬상되는 2개의, 화상을 사용한 패턴 매칭을 행하며, 카메라((1)11)의 촬상 대상으로 카메라((3)71)의 시야를 추종시키기 위해 정보를 생성하는 패턴 매칭부(73)와, 이 패턴 매칭부(73)에 의해서 생성된 정보에 따라서, 카메라((1)11)의 촬상 대상으로 카메라((3)71)의 시야가 추종하도록 팬틸터((3)72)를 제어하는 팬틸터 제어부((3)74)가 추가되고 있다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에서는, 또한, 팬틸터((1)13)를 수동으로 구동하기 위한 지시 정보를, 팬틸터 제어부((1)22)에 대하여 주는 수동 제어기(66)를 구비하고 있다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에서는, 또한, 제어 장치(15)을 통하여 출력되는 각 카메라(11, 12, 71, …)의 출력 신호를 모두 디스플레이부(16)에 보내거나, 그중 2개를 선택하여 디스플레이부(16)에 보내는 것이 가능한 카메라선택부(75)를 구비하고 있다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에서는, 3개 이상의 카메라가 사용되는 것부터, 디스플레이부(16)로서 사용되는 렌티큘러 디스플레이로는, 도 5에 도시하는 것이 아니라, 카메라 수에 대응한 것이 사용된다. 도 13은 한 방향에 따라 배열된 8개의 카메라를 사용하는 경우에 있어서의 렌티큘러 디스플레이의 구성의 일례를 도시하는 설명도이다. 이 렌티큘러 디스플레이는 기본적으로는 도 5에 나타낸 것과 같이, 렌티큘러 스크린(41), 확산 스크린(42) 및 액정 비디오 프로젝터(43, 44)를 구비하고 있다. 이 렌티큘러 디스플레이를 사용하는 경우에는, 제어 장치(15)에 있어서 8개의 카메라중 짝수번째의 4개의 카메라의 화상을 합성하여 스트라이프형상을 형성하고, 이 스트라이프형상을 액정 비디오 프로젝터(43)에 의해서 확산 스크린(42)에 투사한다. 이와 같이, 제어 장치(15)에 있어서 8개의 카메라중 홀수번째의 4개의 카메라의 화상을 합성하여 스트라이프형상을 형성하고, 이 스트라이프형상을 액정 비디오 프로젝터(44)에 의해서 확산 스크린(42)에 인터리브 투사한다. 그 결과, 확산 스크린(42)에는 렌티큘러 스크린(41)의 각 렌즈부 배치의 1피치내에 8개의 카메라에 대응하는 각 스트라이프형상의 1화소분씩 카메라 번호 순으로 규칙적으로 배열된다. 그리고 렌티큘러 스크린(41)의 작용에 의해서, 관찰자의 좌우의 눈에는, 8개의 카메라에 대응하는 각 화상중 2개의 화상이 선택적으로 들어가고, 3차원 화상으로서 인식된다. 관찰자가 관찰 위치를 좌우 방향으로 바꾸면, 관찰자 좌우의 눈에는, 다른 2개의 화상이 선택적으로 들어가, 다른 시점으로부터의 3차원 화상으로서 인식된다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에서는, 동체 검출부(21)를 사용하여 자동추미를 행하는 경우에는, 제 1의 실시예와 같이 하여 카메라((1)11)의 시야가 촬상 대상에 추미하여, 다른 카메라(12, 71, …)의 시야는, 각 카메라에 대응하는 패턴 매칭부(23, 73,…) 및 팬틸터 제어부(24, 74, …)의 작용에 의해, 카메라((1)11)의 촬상 대상으로 추종한다, 수동 제어기(66)를 사용하는 경우에는, 사용자가 수동 제어기(66)를 조작함으로써, 카메라((1)11)의 시야는 임의로 이동되어, 다른 카메라(12, 71, …)의 시야는 카메라((1)11)의 촬상 대상으로 추종한다.
또한, 본 실시예에 관한 3차원 화상 정보 입출력 장치에서는, 디스플레이부(16)로서 렌티큘러 디스플레이를 사용하는 경우에는, 카메라 선택부(75)에 있어서, 각 카메라(11, 12, 71. …)의 출력 신호를 모두 디스플레이부(16)에 보내도록 한다. 한편, 디스플레이부(16)로서 헤드 마운트 디스플레이나 헤드 업 디스플레이를 사용하는 경우에는, 카메라 선택부(75)에 있어서, 카메라((1)11)의 출력 신호와, 다른 카메라(12, 71, …)의 출력 신호중 하나를 선택하여 디스플레이부(16)에 보내도록 한다.
본 실시예에 있어서의 그 밖의 구성, 동작 및 효과는 제 1 또는 제 2의 실시예와 같다. 또한, 본 실시예에 있어서, 동체 검출부(21)와 수동 제어기(66)의 한쪽만을 설치하도록 하여도 좋다.
도 14는 본 발명의 제 4의 실시예에 관한 3차원 화상 정보 입출력 장치의 전체 구성을 도시하는 사시도이다. 이 도면에 도시하는 바와 같이 본 실시예에 관한 3차원 화상 정보 입출력 장치에서는 제 3의 실시예와 같이 카메라(11, 12, 71, …)와, 각 카메라에 대응하는 팬틸터(13, 14, 72, …)를 구비하고 있다. 본 실시예에 관한 3차원 화상 정보 입출력 장치에서는 또한, 각 팬틸터(13, 14, 72, …)를 지지하고, 또한 각 팬틸터(13, 14, 72, …)를 일체적으로 팬 방향 및 틸트 방향으로 회동하는 것으로, 각 카메라(11, 12, 71, …)의 시야를 일체적으로 팬 방향 및 틸트 방향으로 이동 가능한 일체적 시야 이동 수단으로서의 팬틸터대(76)를 구비하고 있다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에서는 또한, 촬상 대상을 관찰하는 자의 두부의 운동을 검출하는 두부 운동 검출 수단으로서의 두부 센서(80)를 구비하고 있다. 이 두부 센서(80)는, 도 15에 도시하는 바와 같이, 서로 직교하여, 3차원의 각 방향의 자계를 발생시키는 3개의 코일을 포함하는 소스 코일(81)과, 서로 직교하여, 3차원의 각 방향의 자계의 변화에 따른 전류를 발생하는 3개의 코일을 포함하는 센서 코일(82)과, 소스 코일(81)을 구동하는 구동 회로(83)와, 센서 코일(82)에 발생한 전류를 전압으로 변환하여 출력하는 검출 회로(84)를 구비하고 있다. 도 14에 나타낸 바와 같이, 센서 코일(82)은 촬상 대상을 관찰하는 자의 두부에 장착 되고, 소스 코일(81)은 촬상 대상을 관찰하는 자의 두부 근방에 배치된다. 구동 회로(83) 및 검출 회로(84)는 제어 장치(15)에 접속되어 있다.
도 16은 본 실시예에 관한 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도이다. 본 실시예에 있어서의 제어 장치(15)에서는, 제 3의 실시예에 있어서의 제어 장치(15)로부터 동체 검출부(21)가 제외되고, 대신에, 팬틸터대(76)를 제어하는 팬틸터대 제어부(77)와, 두부 센서(80)를 제어하는 두부 센서 제어부(85)가 설치되어 있다. 또한, 본 실시예에서는 제 3의 실시예에 있어서의 수동 제어기(66)는 설치되어 있지 않다.
두부 센서 제어부(85)는 두부 센서(80)의 구동 회로(83)를 제어하는 동시에, 검출 회로(84)의 출력 신호를 입력하고, 적분등의 연산을 행하며, 촬상 대상을 관찰하는 자의 두부의 위치, 상태를 검출하고, 촬상 대상을 관찰하는 자의 시선 방향을 검출하도록 되어 있다. 두부 센서 제어부(85)에 의해서 구해진 시선 방향의 정보는 팬틸터대 제어부(77)와 팬틸터 제어부((1)22)에 보내지도록 되어 있다. 본 실시예에 있어서의 그 밖의 구성은 제 3의 실시예와 같다.
다음에 본 실시예에 관한 3차원 화상 정보 입출력 장치의 동작에 관해서 설명한다. 도 17은 본 실시예에 관한 3차원 화상 정보 입출력 장치에 있어서의 각 카메라의 시야의 제어에 관한 동작을 도시하는 흐름도이다. 이 도면에 나타낸 바와 같이, 제어 장치(15)는 전원 투입후 우선, 각 카메라(11, 12, 71, …) 및 두부 센서(80)의 초기화를 행한다(스텝 S 121). 구체적으로는 제어 장치(15)내의 팬틸터 제어부(22, 24, 74, …) 및 팬틸터대 제어부(77)에 의해서 팬틸터(13, 14, 72, …) 및 팬틸터대(76)를 제어하고, 각 카메라(11, 12, 71, …)의 시야를 소정의 방향으로 향한다. 또한, 촬상 대상을 관찰하는 자에게 정면을 향해 주는, 그 때에 두부 센서 제어부(85)에 의해서 구해지는 시선 방향을 초기 방향(정면방향)으로 한다. 다음에, 제어 장치(15)는 자동추미를 행하는가의 여부를 판단한다(스텝 S1 22). 자동추미를 행하는 경우(Y)에는 제어 장치(15)는 두부 센서 제어부(85)에 의해서, 두부 센서(80)의 출력에 근거하여 시선 방향을 검출한다(스텝 S 123). 다음에, 제어 장치(15)는 검출된 시선 방향의 정보중 저주파 성분에 근거하여, 팬틸터대 제어부(77)에 의해서 각 카메라(11, 12, 71, …)의 시야가 시선 방향으로 세밀하지 않게 추미하도록, 팬틸터대(76)의 조제어를 행한다(스텝 S 124). 다음에, 제어 장치(15)는 검출된 시선 방향의 정보중 고주파 성분에 근거하여, 팬틸터 제어부((1)22)에 의해서, 카메라((1)11)의 시야가 시선 방향으로 정밀하게 추미하도록, 카메라((1)11)의 정밀 제어를 행한다(스텝 S 125). 여기서, 카메라((1)11)에서는 자동 촛점 조정 기능에 의해, 촬상 대상에 대하여 핀트가 맞는다.
다음에, 제어 장치(15)는 패턴 매칭부(23, 73,…)에 의해서 카메라((1)11)와 다른 각 카메라(12, 71, …)에 의해서 촬상되는 2개의 화상을 사용한 패턴 매칭을 행하고, 카메라((1)11)의 대상 물체에 카메라(12, 71,…)의 시야를 추종시키기 위한 정보를 생성하고, 이 정보에 따라서, 팬틸터 제어부(24, 74, …)에 의해서 카메라(12, 71, …)의 시야를 카메라((1)11)의 대상 물체에 추종시켜(스텝 S 126), 스텝 S 122로 되돌아간다. 또한, 카메라(12, 71, …)에서도 자동 촛점 조정 기능에 의해, 촬상 대상에 대하여 핀트가 맞는다. 자동추미를 행하지 않은 경우(스텝 S 122;N)는 제어 장치(15)는 카메라의 시야의 제어를 종료한다. 또한, 도 17에 있어서의 스텝 S 122 내지 S 126의 동작은 예를들면 프레임마다 행하여진다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에 의하면, 각 카메라의 시야를 촬상 대상을 관찰하는 자의 시선 방향으로 추종시킬 수 있는 동시에, 조제어와 정밀 제어를 병용하였기 때문에 추종의 정밀도와 속도가 향상된다.
또한, 본 실시예에 있어서 팬틸터대(76)가 구동되고 있는 동안은, 팬틸터((1)13)의 구동을 정지하도록 하여도 좋다. 또한, 두부 센서(80)에서는 소스 코일(81)과 센서 코일(82)을 사용하는 데에 한정되지 않고, 예를들면, 자이로 센서 같은 (각) 가속도 센서를 사용하여도 좋다. 이 경우에는 가속도 센서의 출력을 2층 적분 하는 것으로 두부의 위치, 상태를 검출할 수가 있다. 본 실시예에 있어서의 그 밖의 동작 및 효과는 제 3의 실시예와 같다.
도 18은 본 발명의 제 5의 실시예에 관한 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도이다. 본 실시예에 관한 3차원 화상 정보 입출력 장치는, 제 1의 실시예에 관한 3차원 화상 정보 입출력 장치의 구성에 가하여, 새롭게, 각 팬틸터(13, 14)를 지지하고, 또한 각 팬틸터(13, 14)를 일체적으로 팬 방향 및 틸트 방향으로 회동하는 것으로, 각 카메라(11, 12)의 시야를 일체적으로 팬 방향 및 틸트 방향으로 이동 가능한 팬틸터대(76)를 구비하고 있다. 또한, 본 실시예에 있어서의 제어 장치(15)는 제 1의 실시예에 있어서의 제어 장치의 구성에 가하여, 또한 팬 틸터 대(76)를 제어하는 팬틸터대 제어부(77)를 구비하고 있다. 또한, 본 실시예에서는 동체 검출부(21)에 의해서 특정된 촬상 대상의 위치 정보는, 팬틸터 제어부((1)22) 외에, 팬틸터대 제어부(77)에 보내여지도록 되어 있다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에서는, 팬틸터대 제어부(77)는, 동체 검출부(21)에 의해서 특정된 촬상 대상의 위치 정보중 저주파 성분에 근거하여, 각 카메라(11, 12)의 시야가 촬상 대상에 세밀하지 않게 추미하도록, 팬틸터대(76)의 조제어를 행한다. 한편, 팬틸터 제어부((1)22)는 동체 검출부(21)에 의해서 특정된 촬상 대상의 위치 정보중 고주파 성분에 근거하여, 카메라((1)11)의 시야가 촬상 대상에 정밀하게 추미하도록 카메라((1)11)의 정밀 제어를 행한다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에 의하면, 조제어와 정밀 제어를 병용하였기 때문에, 추종의 정밀도와 속도가 향상된다. 본 실시예에 있어서 그 밖의 구성, 동작 및 효과는, 제 1의 실시예와 같다.
도 19는 본 발명의 제 6의 실시예에 관한 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도이다. 본 실시예에 관한 3차원 화상 정보 입출력 장치는, 제 4의 실시예에 있어서, 또한 제어 장치(15)내에 동체 검출부(21)를 구비하고, 제 1의 실시예와 같이, 팬틸터 제어부((1)22)가 동체 검출부(21)에 의해서 특정된 촬상 대상에, 카메라((1)11)의 시야가 추미하도록 팬틸터((1)13)를 제어하도록 한 것이다. 또한, 팬틸터대 제어부(77)는 두부 센서 제어부(85)에 의해서 검출된 시선 방향의 정보에 따라서, 각 카메라(11, 12, 71, …)의 시야가 시선 방향으로 세밀하지 않게 추미하도록 팬틸터대(76)를 제어한다.
다음에, 본 실시예에 관한 3차원 화상 정보 입출력 장치의 동작에 관해서 설명한다. 도 20은 본 실시예에 관한 3차원 화상 정보 입출력 장치에 있어서의 각 카메라의 시야의 제어에 관한 동작을 도시하는 흐름도이다. 이 도면에 도시하는 바와 같이, 제어 장치(15)는 전원 투입후, 먼저 각 카메라(11, 12, 17, …) 및 두부 센서(80)의 초기화를 행한다(스텝 S 131). 다음에, 제어 장치(15)는 자동추미를 행하는가의 여부를 판단한다(스텝 S 132). 자동추미를 행하는 경우(Y)에는 제어 장치(15)는 두부 센서 제어부(85)에 의해서, 두부 센서(80)의 출력에 근거하여 시선 방향을 검출한다(스텝 S 133). 다음에, 제어 장치(15)는 검출된 시선 방향의 정보에 근거하여, 팬틸터대 제어부(77)에 의해서, 각 카메라(11, 12, 71, …)의 시야가 시선 방향으로 세밀하지 않게 추미하도록, 팬틸터대(76)의 조제어를 행한다(스텝 S 134). 다음에, 제어 장치(15)는 동체 검출부(21)에 의해서, 추미해야 할 촬상 대상인 대상 물체를 특정하는 동체 검출을 행하고(스텝 S 135), 팬틸터 제어부((1)22)에 의해서, 카메라((1)11) 의 시야를 대상 물체에 추미시킨다(스텝 S 136). 다음에, 제어 장치(15)는 패턴 매칭부(23, 73, …)에 의해서, 카메라((1)11)와 다른 각 카메라(12, 71, …)에 의해서 촬상되는 2개의 화상을 사용한 패턴 매칭을 하여, 카메라((1)11)의 대상 물체에 카메라(12, 71, …)의 시야를 추종시키기 위한 정보를 생성하고, 이 정보에 따라서, 팬틸터 제어부(24, 74, …)에 의해서, 카메라(12, 71, …)의 시야를 카메라((1)11)의 대상 물체에 추종시키고(스텝 S 137), 스텝 S 132으로 되돌아간다. 또한, 도 20에 있어서의 스텝 S 132 내지 S137의 동작은, 예를들면 프레임마다 행하여진다.
또한, 본 실시예에 있어서, 팬틸터대(76)가 구동되고 있는 동안은, 팬틸터((1)13)의 구동을 정지하도록 하여도 좋다. 본 실시예에 있어서 그 밖의 구성, 동작 및 효과는 제 4의 실시예와 같다.
도 21은 본 발명의 제 7의 실시예에 관한 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도이다. 본 실시예에 관한 3차원 화상 정보 입출력 장치는, 제 6의 실시예에 있어서, 두부 센서(80) 및 두부 센서 제어부(85)를 제외하고, 대신에, 팬틸터대(76)를 수동으로 구동하기 위한 지시 정보를 팬틸터대 제어부(77)에 대하여 주는 수동 제어기(90)를 설치한 것이다.
본 실시예에 관한 3차원 화상 정보 입출력 장치에서는 사용자가 수동 제어기(90)를 조작함으로써, 팬틸터대(76)가 구동되고, 각 카메라(11, 12, 71, …)의 시야가 임의로 일체적으로 이동된다. 본 실시예에 있어서의 그 밖의 구성, 동작 및 효과는 제 6의 실시예와 같다.
또한, 본 발명은 상기 각 실시예에 한정되지 않고, 예를들면, 강막(强膜)반사법 등에 의해, 촬상 대상을 관찰하는 자의 시선 방향을 직접적으로 검출하고, 그 시선 방향으로 카메라((1)11)를 추미시키도록 하여도 좋다. 또한, 본 발명의 3차원 화상 정보 입력 장치에 의해서 얻어지는 화상 정보는, 3차원 화상 표시에 이용할 뿐만 아니라, 3차원 계측등도 이용하도록 하여도 좋다.
이상 설명한 바와 같이 청구항 1 내지 9 중 어느 한 항에 기재된 3차원 화상 정보 입력 장치 또는 청구항 18 내지 23 중 어느 한 청구항의 3차원 화상 정보 입력 방법에 의하면, 시야 이동 수단에 의해서, 복수의 촬상 장치의 시야를 각각 독립으로 이동 가능하게 하고, 시야 추종 제어 수단에 의해서, 복수의 촬상 장치중 하나의 촬상 장치의 촬상 대상에 다른 촬상 장치의 시야가 추종하도록, 다른 촬상 장치에 대응하는 시야 이동 수단을 제어하도록 하였기 때문에, 간편한 기구로, 촬상 대상에 복수의 촬상 장치를 추종시키면서 3차원 화상 정보를 얻을 수 있다는 효과를 발휘할 수 있다.
또한, 청구항 2의 3차원 화상 정보 입력 장치 또는 청구항 21의 3차원 화상 정보 입출력 방법에 의하면, 1개의 촬상 장치의 시야가 움직임이 있는 촬상 대상에 추미하도록, 하나의 촬상 장치에 대응하는 시야 이동 수단을 제어하는 자동 추미 수단을 구비하기 때문에, 청구항 1의 3차원 화상 정보 입력 장치 또는 청구항 18의 3차원 화상 정보 입출력 방법의 효과에 첨가하여, 움직임이 있는 촬상 대상에 다수의 촬상 장치를 추종시킬 수 있다고 하는 효과가 있다.
또한, 청구항 7의 3차원 화상 정보 입력 장치에 의하면, 각 촬상 장치의 시야를 일체적으로 이동 가능한 일체적 시야 이동 수단과, 다수의 촬상 장치에 의해서 촬상시키는 화상에 따라서, 추미해야 하는 촬상 대상을 특정하여, 이 촬상 대상에 각 촬상 장치의 시야가 세밀하지 않게 추미하도록, 일체적 시야 이동 수단을 제어하는 일체적 시야 이동 제어 수단을 구비하기 때문에, 청구항 1의 3차원 화상 정보 입력 장치의 효과에 첨가하여, 각 촬상 장치의 시야를, 움직임이 있는 촬상 대상에 세밀하지 않게 추미시키는 것이 가능하게 된다고 하는 효과가 있다.
청구 범위 청구항 13의 3차원 화상 정보 입출력 장치에 의하면, 시야 이동 수단에 의해서, 다수의 촬상 장치의 시야를 각각 독립적으로 이동 가능하게 하여, 시야 추종 제어 수단에 의해서, 다수의 촬상 장치들 중 1개의 촬상 장치의 촬상 대상에 다른 촬상 장치의 시야가 추종하도록, 다른 촬상 장치에 대응하는 시야이동 수단을 제어함과 동시에, 각 촬상 장치에 의해서 얻어진 화상 정보에 따라서, 표시 수단에 의해서, 0° 이상 3° 이하의 폭주각으로 3차원 화상 표시를 하도록 하였기 때문에 간편한 기구로, 촬상 대상에 다수의 촬상 장치들을 추종시키면서 3차원 화상 정보를 얻을 수 있음과 동시에, 현장감이 있으며 또한 시각 피로가 적은 3차원 화상 표시를 할 수 있다고 하는 효과가 있다.
또한, 청구항 17의 3차원 화상 정보 입출력 장치에 의하면, 각 촬상 장치의 시야를 일체적으로 이동 가능한 일체적 시야 이동 수단과, 각 촬상 장치의 촬상 대상을 관찰하는 사람의 두부의 운동을 검출하는 두부 운동 검출 수단과, 각 촬상 장치의 시야가 움직임이 있는 촬상 대상에 세밀하지 않게 추미하도록, 두부 운동 검출 수단에 의해서 검출되는 운동에 따라서 일체적 시야 이동 수단을 제어하는 일체적 시야 이동 제어 수단을 구비하기 때문에, 청구항 1의 3차원 화상 정보 입력 장치 의 효과에 첨가하여, 각 촬상 장치의 시야를, 촬상 대상을 관찰하는 사람의 시선 방향으로 세밀하지 않게 추미시키는 것이 가능하게 된다고 하는 효과가 있다.
도 1은 본 발명의 실시 형태에 관계되는 3차원 화상 정보 입력 장치 및 3차원 화상 정보 입출력 장치의 전체 구성을 도시하는 사시도.
도 2는 본 발명의 제 1 실시 형태에 관한 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
도 3은 도 1 및 도 2에 있어서의 카메라의 구성을 도시하는 블록도.
도 4는 도 1 및 도 2에 있어서의 팬틸터의 구성을 도시하는 블록도.
도 5는 본 발명의 제 1 실시 형태에 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
도 6은 본 발명의 제 1 실시 형태에서 사용하는 핸드 마운트 디스플레이의 구성의 일 예를 도시하는 설명도.
도 7은 본 발명의 제 1 실시 형태에서 사용하는 헤드 마운트 디스플레이의 구성의 다른 예를 도시하는 설명도.
도 8은 본 발명의 제 1 실시 형태에서 사용하는 헤드 업 디스플레이의 구성의 일 예를 도시하는 설명도.
도 9는 본 발명의 제 1 실시 형태에 관계되는 3차원 화상 정보 입출력 장치 에 있어서의 카메라의 시야의 제어에 관한 동작을 도시하는 흐름도.
도 10은 도 9에서의 동체 검출의 동작을 도시하는 흐름도.
도 11은 본 발명의 제 2 실시 형태에 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
도 12는 본 발명의 제 3 실시 형태와 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
도 13은 본 발명의 제 3 실시 형태에 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
도 14는 본 발명의 제 4 실시 형태와 관계되는 3차원 화상 정보의 입출력 장치의 전체 구성을 도시하는 사시도.
도 15는 도 14에 있어서의 두부 센서의 구성을 도시하는 블록도.
도 16은 본 발명의 제 4 실시 형태에 관계되는 3차원 화상 정보 입출력 장치의 전체 구성을 도시하는 블록도.
도 17은 본 발명의 제 4 실시의 형태에 관계되는 3차원 화상 정보의 입출력 장치에 있어서의 각 카메라의 시야 제어에 관한 동작을 도시하는 흐름도.
도 18은 본 발명의 제 5 실시 형태에 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
도 19는 본 발명의 제 6 실시 형태와 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
도 20은 본 발명의 제 6 실시 형태에 관계되는 3차원 화상 정보 입출력 장치에 있어서의 각 카메라의 시야의 제어에 관한 동작을 도시하는 흐름도.
도 21은 본 발명의 제 7 실시 형태에 관계되는 3차원 화상 정보 입출력 장치의 구성을 도시하는 블록도.
* 도면의 주요 부분에 대한 부호의 설명 *
11, 12 : 카메라 13, 14 : 팬틸터
15 : 제어 장치 16 : 디스플레이부

Claims (30)

  1. 화상 정보 입력 장치에 있어서,
    다수의 촬상 수단과,
    다수의 상기 촬상 수단의 시야를 각각 독립적으로 이동시키는 다수의 시야 이동 수단과,
    다수의 상기 촬상 수단 중 제 1 촬상 수단이 촬상하고 있는 촬상 대상에, 다수의 상기 촬상 수단 중 제 2 촬상 수단의 시야가 추종하도록, 상기 제 2 촬상 수단에 대응하는 상기 시야 이동 수단을 제어하는 시야 추종 제어 수단을 구비하는, 화상 정보 입력 장치.
  2. 제 1 항에 있어서,
    상기 제 1 촬상 수단이 상기 촬상 대상에 대하여 자동 추미(追尾)하도록, 상기 제 1 촬상 수단에 대응하는 시야 이동 수단을 제어하는 자동 추미 제어 수단을 구비하는, 화상 정보 입력 장치.
  3. 제 1 항에 있어서,
    다수의 상기 촬상 수단 각각의 초점을 자동적으로 원하는 촬상 대상에 맞추는 자동 초점 조정 수단을 구비하는, 화상 정보 입력 장치.
  4. 제 1 항에 있어서,
    다수의 상기 시야 이동 수단을 각각 상하방향 및 좌우방향으로 이동시킴으로써 다수의 상기 촬상 수단의 시야 각각을 이동시키는, 화상 정보 입력 장치.
  5. 제 1 항에 있어서,
    상기 시야 추종 제어 수단은, 상기 제 1 촬상 수단에 의해서 촬상되는 화상과 상기 제 2 촬상 수단에 의해서 촬상되는 화상에 기초하여 패턴 매칭을 행하고, 상기 제 1 촬상 수단이 촬상하고 있는 촬상 대상에, 상기 제 2 촬상 수단의 시야를 추종시키는, 화상 정보 입력 장치.
  6. 제 1 항에 있어서,
    상기 제 1 촬상 수단에 대응하는 상기 시야 이동 수단을 원하는 위치로 이동시키기 위한 수동 제어기를 구비하는, 화상 정보 입력 장치.
  7. 제 1 항에 있어서,
    다수의 상기 촬상 수단의 시야를 일체적으로 이동시키는 일체적 시야 이동 수단과,
    상기 일체적 시야 이동 수단을 제어하는 일체적 시야 제어 수단을 구비하는, 화상 정보 입력 장치.
  8. 제 1 항에 있어서,
    다수의 상기 촬상 수단으로부터의 영상 신호 중 원하는 영상 신호만을 선택하는 영상 신호 선택 수단과,
    상기 영상 신호 선택 수단으로 선택된 영상 신호에 대응하는 화상을 표시하는 표시 수단을 구비하는, 화상 정보 입력 장치.
  9. 제 1 항에 있어서,
    다수의 상기 촬상 수단으로부터의 영상 신호에 기초하여 화상을 표시하는 표시 수단을 구비하는, 화상 정보 입력 장치.
  10. 제 2 항에 있어서,
    상기 자동 추미 제어 수단은, 다수의 상기 촬상 수단에 의해서 촬상되는 화상에 기초하여 추종해야 하는 촬상 대상을 특정하는, 화상 정보 입력 장치.
  11. 제 7 항에 있어서,
    상기 일체적 시야 이동 수단을 원하는 위치로 이동시키기 위한 수동 제어기를 구비하고, 상기 일체적 시야 제어 수단은 상기 수동 제어기의 출력에 기초하여 상기 일체적 시야 이동 수단을 이동시키는, 화상 정보 입력 장치.
  12. 제 7 항에 있어서,
    상기 화상 대상을 관찰하는 사람의 시야 방향을 검출하여 시야 검출 결과를 출력하는 시야 방향 검출 수단을 구비하고, 상기 일체적 시야 제어 수단은 상기 시야 검출 결과에 기초하여 상기 일체적 시야 이동 수단을 이동시키는, 화상 정보 입력 장치.
  13. 제 9 항에 있어서,
    상기 표시 수단은 0°이상 3°이하의 폭주각(輻輳角)으로 상기 화상을 표시하는, 화상 정보 입력 장치.
  14. 제 9 항에 있어서,
    상기 표시 수단은 렌티큘러 디스플레이인, 화상 정보 입력 장치.
  15. 제 9 항에 있어서, 상기 표시 수단은 헤드 마운트 디스플레이인, 화상 정보 입력 장치.
  16. 제 9 항에 있어서,
    상기 표시 수단은 헤드 업 디스플레이인, 화상 정보 입력 장치.
  17. 제 12 항에 있어서,
    상기 시야 방향 검출 수단은 상기 관찰하는 사람의 두부(頭部)의 운동을 검출함으로써 상기 시야 검출 결과를 출력하는, 화상 정보 입력 장치.
  18. 화상 정보를 입력하는 화상 정보 입력 방법에 있어서,
    제 1 촬상 수단의 시야를 원하는 촬상 대상에 추미시키도록 상기 제 1 촬상 수단에 대응하는 제 1 시야 이동 수단을 제어하는 시야 추미 제어 공정과,
    제 2 촬상 수단의 시야가 추미된 상기 촬상 대상에 추종하도록, 상기 제 2 촬상 수단에 대응하는 제 2 시야 이동 수단을 제어하는 시야 추종 제어 공정을 포함하는, 화상 정보 입력 방법.
  19. 제 18 항에 있어서,
    상기 시야 추미 제어 공정은 상기 제 1 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하고, 상기 시야 추종 제어 공정은 상기 제 2 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하는, 화상 정보 입력 방법.
  20. 제 18 항에 있어서,
    상기 시야 추종 제어 공정은, 상기 제 1 촬상 수단으로부터의 영상 신호에 기초하는 화상과 상기 제 2 촬상 수단으로부터의 영상 신호에 기초하는 화상을 패턴 매칭하는 공정을 포함하는, 화상 정보 입력 방법.
  21. 제 18 항에 있어서,
    상기 시야 추미 제어 공정은, 추미해야 하는 촬상 대상을 특정하는 동체 검출 공정을 포함하며, 상기 촬상 대상에 대하여 상기 제 1 촬상 수단은 자동 추미를 행하는, 화상 정보 입력 방법.
  22. 제 21 항에 있어서,
    상기 동체 검출 공정은,
    추종해야 하는 촬상 대상에 기초하는 제 1 화상과 상기 제 1 촬상 수단으로부터의 영상 신호에 기초하는 제 2 화상과의 차분(差分)인 시차 화상을 검출하는 시차 화상 검출 공정과,
    상기 시차 화상의 시간 변화 부분을 검출하는 시간 변화 부분 검출 공정과,
    상기 촬상 대상을 특정하는 촬상 대상특정 공정을 포함하는, 화상 정보 입력 방법.
  23. 제 22 항에 있어서,
    상기 촬상 대상물 특정 공정에서 촬상 대상을 특정할 수 있는지를 판정하는 판정 공정과,
    상기 판정 공정으로 촬상 대상을 특정할 수 없다고 판정되었을 때에, 윤곽추출에 의해서 촬상 대상의 특징을 검출하는 특징 검출 공정을 포함하는, 화상 정보 입력 방법.
  24. 화상 정보를 입력하는 화상 정보 입력 방법에 있어서,
    제 1 촬상 수단의 시야와 제 2 촬상 수단의 시야를 비정밀하게 일체적으로 촬상 대상에 이동하는 제 1 시야 이동 공정과,
    상기 제 1 촬상 수단의 시야를 상기 촬상 대상에 정밀하게 추미하도록 이동시키는 제 2 시야 이동 공정과,
    제 2 촬상 수단의 시야가, 상기 제 1 촬상 수단의 상기 촬상 대상에 추종하도록, 상기 제 2 촬상 수단을 이동시키는 제 3 시야 이동 공정을 포함하는, 화상 정보 입력 방법.
  25. 제 24 항에 있어서,
    상기 제 2 시야 이동 공정은, 상기 제 1 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하고, 상기 제 3 시야 이동 공정은, 상기 제 2 촬상 수단의 초점을 상기 촬상 대상에 맞추는 포커스 공정을 포함하는, 화상 정보 입력 방법.
  26. 제 24 항에 있어서,
    상기 제 3 시야 이동 공정은 상기 제 1 촬상 수단으로부터의 영상 신호에 기초하는 화상과 상기 제 2 촬상 수단으로부터의 영상 신호에 기초하는 화상을 패턴 매칭하는 공정을 포함하는, 화상 정보 입력 방법.
  27. 제 24 항에 있어서,
    상기 제 2 시야 이동 공정은, 추미해야 하는 촬상 대상을 특정하는 동체 검출 공정을 포함하며, 상기 촬상 대상에 대하여 상기 제 1 촬상 수단은 자동 추미를 행하는, 화상 정보 입력 방법.
  28. 제 24 항에 있어서,
    관찰하는 사람의 시야 방향을 검출하여, 시야 방향 검출 결과를 출력하는 시야 방향 검출 공정을 포함하고,
    상기 제 1 시야 이동 공정은, 상기 시야 방향 검출 결과에 기초하여 상기 제 1 촬상 수단의 시야와 상기 제 2 촬상 수단의 시야를 일체적으로 촬상 대상에 이동시키는, 화상 정보 입력 방법.
  29. 제 27 항에 있어서,
    상기 동체 검출 공정은,
    추종해야 하는 촬상 대상에 기초하는 제 1 화상과 상기 제 1 촬상 수단으로부터의 영상 신호에 기초하는 제 2 화상과의 차분인 시차 화상을 검출하는 시차 화상 검출 공정과,
    상기 시차 화상의 시간 변화 부분을 검출하는 시간 변화 부분 검출 공정과,
    상기 촬상 대상을 특정하는 촬상 대상특정 공정을 포함하는, 화상 정보 입력 방법.
  30. 제 29 항에 있어서,
    상기 촬상 대상물 특정 공정에서 촬상 대상을 특정할 수 있는지를 판정하는 판정 공정과,
    상기 판정 공정으로 촬상 대상을 특정할 수 없다고 판정되었을 때에 윤곽 추출에 의해서 촬상 대상의 특징을 검출하는 특징 검출 공정을 포함하는, 화상 정보 입력 방법.
KR10-1998-0002855A 1997-01-22 1998-01-22 화상정보입력장치및그방법 KR100519864B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP97-009377 1997-01-22
JP9009377A JPH10210506A (ja) 1997-01-22 1997-01-22 ３次元画像情報入力装置および３次元画像情報入出力装置

Publications (2)

Publication Number Publication Date
KR19980071007A KR19980071007A (ko) 1998-10-26
KR100519864B1 true KR100519864B1 (ko) 2005-12-14

Family

ID=11718774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1998-0002855A KR100519864B1 (ko) 1997-01-22 1998-01-22 화상정보입력장치및그방법

Country Status (3)

Country Link
US (1) US6326994B1 (ko)
JP (1) JPH10210506A (ko)
KR (1) KR100519864B1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP4428761B2 (ja) * 1999-07-07 2010-03-10 Ｈｏｙａ株式会社 ステレオカメラ
US6603503B1 (en) * 1999-11-18 2003-08-05 Avaya, Inc. Methods, systems and devices for displaying live 3-D, parallax and panoramic images
GB0004499D0 (en) * 2000-02-26 2000-04-19 Orad Hi Tec Systems Ltd Television illustration system
AU2001253345A1 (en) * 2000-04-12 2001-10-30 T3D, Inc. Interactive video device and method of use
US6864911B1 (en) * 2000-10-26 2005-03-08 Hewlett-Packard Development Company, L.P. Linkable digital cameras for an image capture system
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
GR1004309B (el) * 2001-03-15 2003-08-28 . Συστημα και μεθοδος ζωντανης πολλαπλης αναμεταδοσης τηλεορασης ή κινηματογραφου
US20030220723A1 (en) * 2002-01-31 2003-11-27 Bonilla Victor G. Apparatus system and method for remotely controlling a vehicle over a peer-to-peer network
US6909790B2 (en) * 2002-02-15 2005-06-21 Inventec Corporation System and method of monitoring moving objects
US20030164875A1 (en) * 2002-03-01 2003-09-04 Myers Kenneth J. System and method for passive three-dimensional data acquisition
US20030164841A1 (en) * 2002-03-01 2003-09-04 Edward Greenberg System and method for passive three-dimensional data acquisition
US7126627B1 (en) * 2002-03-06 2006-10-24 Lewis Thomas B Video conferencing device and method
KR100434876B1 (ko) * 2002-03-23 2004-06-07 (주)맥스소프트 스테레오 물체 추적 방법 및 시스템
US7643055B2 (en) * 2003-04-25 2010-01-05 Aptina Imaging Corporation Motion detecting camera system
JP4478510B2 (ja) * 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
WO2006034144A2 (en) * 2004-09-18 2006-03-30 The Ohio Willow Wood Company Apparatus for determining the three dimensional shape of an object
KR100761075B1 (ko) 2005-02-22 2007-09-21 삼성에스디아이 주식회사 3ｄ용 카메라를 구비하는 액정표시장치
US7643056B2 (en) * 2005-03-14 2010-01-05 Aptina Imaging Corporation Motion detecting camera system
DE102005058867B4 (de) * 2005-12-09 2018-09-27 Cine-Tv Broadcast Systems Gmbh Verfahren und Vorrichtung zum Bewegen einer auf einem Schwenk- und Neigekopf angeordneten Kamera entlang einer vorgegebenen Bewegungsbahn
US8982181B2 (en) * 2006-06-13 2015-03-17 Newbery Revocable Trust Indenture Digital stereo photographic system
GB2452041B (en) 2007-08-20 2012-09-26 Snell Ltd Video framing control
JP5229726B2 (ja) * 2008-08-20 2013-07-03 国立大学法人東京工業大学 遠距離視標探査カメラシステム
JP5210843B2 (ja) * 2008-12-12 2013-06-12 パナソニック株式会社 撮像装置
US8199186B2 (en) 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
US7933512B2 (en) * 2009-03-24 2011-04-26 Patrick Campbell Stereo camera with controllable pivot point
JP2011043986A (ja) * 2009-08-21 2011-03-03 Seiko Epson Corp 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法
US8090251B2 (en) * 2009-10-13 2012-01-03 James Cameron Frame linked 2D/3D camera system
JP5644097B2 (ja) * 2009-12-08 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN102122074B (zh) * 2010-01-08 2013-10-09 鸿富锦精密工业（深圳）有限公司 立体显示装置
US8170413B2 (en) 2010-03-31 2012-05-01 James Cameron Single seat-kill camera system
US20120056987A1 (en) * 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
US9545188B2 (en) 2010-12-02 2017-01-17 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
US20120288140A1 (en) * 2011-05-13 2012-11-15 Carnegie Mellon University Method and system for selecting a video analysis method based on available video representation features
JP5821300B2 (ja) 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US8655163B2 (en) 2012-02-13 2014-02-18 Cameron Pace Group Llc Consolidated 2D/3D camera
GB2499427A (en) * 2012-02-16 2013-08-21 Overview Ltd Video tracking apparatus having two cameras mounted on a moveable unit
BR112014029605B1 (pt) 2012-06-01 2023-10-31 Ultradent Products Inc Sistema para gerar imagens de vídeo estereoscópicas de dispositivo de controle de gesto e sistemas para gerar imagens de vídeo estereoscópicas
CN109040556A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 成像装置及电子设备
CN110779688B (zh) * 2019-10-17 2021-08-10 北京空间机电研究所 一种大视场面阵器件视场拼接精度测试方法
CN111721266B (zh) * 2020-05-28 2021-04-20 中国科学院西安光学精密机械研究所 一种空间天文相机导星ccd与探测ccd的拼接方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04274694A (ja) * 1991-03-01 1992-09-30 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視におけるカメラ制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3876308A (en) * 1971-05-24 1975-04-08 Us Navy Automatic command guidance system using optical trackers
US3858001A (en) * 1973-05-11 1974-12-31 Honeywell Inc Stereoscopic display system
US4851905A (en) * 1984-10-12 1989-07-25 Diffracto Ltd. Vision target fixture construction
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
JP3244798B2 (ja) * 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
WO1994017636A1 (en) * 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
AU7975094A (en) * 1993-10-12 1995-05-04 Orad, Inc. Sports event video
US5598208A (en) * 1994-09-26 1997-01-28 Sony Corporation Video viewing and recording system
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5953056A (en) * 1996-12-20 1999-09-14 Whack & Track, Inc. System and method for enhancing display of a sporting event

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04274694A (ja) * 1991-03-01 1992-09-30 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視におけるカメラ制御方法

Also Published As

Publication number Publication date
JPH10210506A (ja) 1998-08-07
US6326994B1 (en) 2001-12-04
KR19980071007A (ko) 1998-10-26

Similar Documents

Publication Publication Date Title
KR100519864B1 (ko) 화상정보입력장치및그방법
EP2593835B1 (en) Variable three-dimensional camera assembly for still photography
EP0618471B1 (en) Image display apparatus
US10591735B2 (en) Head-mounted display device and image display system
EP0642275B1 (en) Multi-eye image pick-up apparatus
US5175616A (en) Stereoscopic video-graphic coordinate specification system
US6215461B1 (en) Image viewing system and image display device
RU2554299C2 (ru) Устройство формирования стереоскопических изображений
JPH0954376A (ja) 立体表示装置
KR101046259B1 (ko) 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
US10992928B1 (en) Calibration system for concurrent calibration of device sensors
JPH06339155A (ja) ３次元画像撮影システム
JPH06235885A (ja) 立体映像表示装置
JPH0685590B2 (ja) 立体表示システム
JP4236345B2 (ja) 実体顕微鏡
JP2557406B2 (ja) ３次元画像表示装置
JP3425402B2 (ja) 立体画像を表示する装置および方法
JP3976860B2 (ja) 立体映像撮像装置
JPH02291787A (ja) 広視野表示装置
JP4235291B2 (ja) 立体映像システム
JP2001016620A (ja) 撮像装置、その輻輳距離決定方法、記憶媒体および光学装置
JP2000182058A (ja) 三次元運動入力方法及び三次元運動入力システム
JPH05244643A (ja) 立体テレビ装置
KR20120056434A (ko) 3차원 영상 촬상 장치
WO2023126571A1 (en) Optical focus adjustment with switching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080813

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee