KR101197692B1 - 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치 - Google Patents

정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치 Download PDF

Info

Publication number
KR101197692B1
KR101197692B1 KR1020050022654A KR20050022654A KR101197692B1 KR 101197692 B1 KR101197692 B1 KR 101197692B1 KR 1020050022654 A KR1020050022654 A KR 1020050022654A KR 20050022654 A KR20050022654 A KR 20050022654A KR 101197692 B1 KR101197692 B1 KR 101197692B1
Authority
KR
South Korea
Prior art keywords
display
image
subject
information processing
data
Prior art date
Application number
KR1020050022654A
Other languages
English (en)
Other versions
KR20060044400A (ko
Inventor
츠토무 하라다
히로토시 후지사와
쿄헤이 이와모토
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20060044400A publication Critical patent/KR20060044400A/ko
Application granted granted Critical
Publication of KR101197692B1 publication Critical patent/KR101197692B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06C—FINISHING, DRESSING, TENTERING OR STRETCHING TEXTILE FABRICS
    • D06C3/00—Stretching, tentering or spreading textile fabrics; Producing elasticity in textile fabrics
    • D06C3/06—Stretching, tentering or spreading textile fabrics; Producing elasticity in textile fabrics by rotary disc, roller, or like apparatus
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06J—PLEATING, KILTING OR GOFFERING TEXTILE FABRICS OR WEARING APPAREL
    • D06J1/00—Pleating, kilting or goffering textile fabrics or wearing apparel
    • D06J1/12—Forms of pleats or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

보다 자연스러운 형태로 커뮤니케이션을 취할 수 있게 한다. I/O 디스플레이(1)를 구성하는 화소에 의해 사용자(#1)의 개안상이 촬상된다. 촬상된 개안상은 소정의 화상처리가 시행된 후, I/O 디스플레이(2)에 송신된다. I/O 디스플레이(2)에는, I/O 디스플레이(1)에서 촬상된 개안상이, 각각 대응하는 위치의 영역에 표시되고, 사용자(#1)의 입체상이 재현된다. 반대로, I/O 디스플레이(2)를 구성하는 화소에 의해 촬상된 사용자(#2)의 개안상이 I/O 디스플레이(1)에 송신되고, 그 대응하는 위치에 표시됨으로써 사용자(#2)의 입체상이 재현된다. 본 발명은, 외부로부터의 광이 조사함으로써 누설 전류를 발생하는 트랜지스터나 EL 소자가 각 화소에 설치되는 디스플레이에 적용할 수 있다.
Figure R1020050022654
디스플레이, 표시장치, 정보처리, 기록, 입체화상, 통신

Description

정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치{INFORMATION PROCESSING APPARATUS AND METHOD, RECORDING MEDIUM, PROGRAM, AND DISPLAY DEVICE}
도 1은 본 발명을 적용한 IP 입체화상 시스템의 구성예를 나타내는 도면이다.
도 2는 도 1의 I/O 디스플레이의 평면도이다.
도 3은 도 1의 I/O 디스플레이의 단면도이다.
도 4는 도 3의 격벽에 의해 둘러싸여지는 1개의 영역을 나타내는 도면이다.
도 5는 I/O 디스플레이를 구성하는 1화소의 회로구성의 예를 나타내는 도면이다.
도 6은 I/O 디스플레이를 구성하는 1화소의 회로구성의 예를 나타내는 도면이다.
도 7은 TFT의 드레인 전류의 값의 측정예를 나타내는 도면이다.
도 8은 I/O 디스플레이를 구성하는 1화소의 다른 회로구성의 예를 나타내는 도면이다.
도 9는 I/O 디스플레이를 구성하는 1화소의 다른 회로구성의 예를 나타내는 도면이다.
도 10은 도 8 및 도 9의 화소에서 검출되는 전류의 측정값의 예를 나타내는 도면이다.
도 11은 도 10의 0V 근방을 확대해서 나타내는 도면이다.
도 12는 입체상의 재현을 모식적으로 나타내는 도면이다.
도 13은 개안상의 촬영 위치와 표시 위치에 대하여 나타내는 도면이다.
도 14는 입체상이 얻어지는 원리에 대하여 나타내는 도면이다.
도 15는 입체상이 얻어지는 원리에 대하여 나타내는 다른 도면이다.
도 16은 표시영역과 촬상영역의 이동의 예에 대하여 나타내는 도면이다.
도 17은 정보처리장치의 구성예를 나타내는 블록도이다.
도 18은 정보처리장치의 기능적인 구성예를 나타내는 블록도이다.
도 19는 정보처리장치의 촬영처리에 대하여 설명하는 플로우차트이다.
도 20은 정보처리장치의 표시 처리에 대하여 설명하는 플로우차트이다.
도 21은 본 발명을 적용한 통신시스템의 구성예를 나타내는 블록도이다.
도 22는 표시영역에 표시되는 개안상의 예를 나타내는 도면이다.
도 23은 표시영역에 표시되는 개안상의 다른 예를 나타내는 도면이다.
도 24는 표시영역에 표시되는 개안상의 또 다른 예를 나타내는 도면이다.
도 25는 도 22의 개안상이 표시됨으로써 재현되는 입체상의 예를 나타내는 도면이다.
도 26은 입체상이 보이는 방법의 예를 나타내는 도면이다.
도 27은 도 23의 개안상이 표시됨으로써 재현되는 입체상의 예를 나타내는 도면이다.
도 28은 입체상이 보이는 방법의 다른 예를 나타내는 도면이다.
도 29는 도 24의 개안상이 표시됨으로써 재현되는 입체상의 예를 나타내는 도면이다.
도 30은 입체상이 보이는 방법의 또 다른 예를 나타내는 도면이다.
도 31은 I/O 디스플레이가 작은 경우의 입체상의 보이는 방법의 예를 나타내는 도면이다.
도 32는 I/O 디스플레이가 작은 경우의 입체상의 다른 보이는 방법의 예를 나타내는 도면이다.
도 33은 입체상의 재현위치를 조정할 수 있는 것의 원리에 대하여 나타내는 도면이다.
도 34는 도 18의 화상 처리부의 구성예를 나타내는 블록도이다.
도 35는 도 19의 스텝 S4에서 행해지는 화상처리에 대하여 설명하는 플로우차트이다.
도 36은 정보처리장치의 다른 기능적인 구성예를 나타내는 블록도이다.
도 37은 입체상의 재현예의 원리에 대하여 나타내는 도면이다.
도 38은 입체상의 재현예의 원리에 대하여 나타내는 다른 도면이다.
*도면의 주요 부분에 대한 부호의 설명*
1, 2 : I/O 디스플레이 3 : 통신로
11 : TFT 21 : EL 소자
61 : 검출부 62 : 개안상 생성부
63 : 화상 처리부 64 : 버퍼
65 : 압축 신장 처리부 66 : 송수신 제어부
67 : 버퍼 68 : 표시 제어부
81 : 촬상영역 설정부 91 : 표시영역 설정부
111 : 반전 처리부 112 : 확대/축소 처리부
본 발명은, 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치에 관한 것으로, 특히, 보다 자연스러운 형태로 커뮤니케이션을 취할 수 있게 하는 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치에 관한 것이다.
시점선택이 가능한, 소위 풀 패럴랙스(full parallax)한 화상제시 시스템으로서, 예를 들면, IP(Integral Photography) 입체화상 시스템이 있다.
IP 입체화상 시스템으로 사용할 수 있는 IP 기술 자체는, 20세기 초두에 그 원리가 이미 제안되어 있는 것이다.
즉, IP는, 곤충의 복안과 같은 렌즈 어레이를 통해 촬영을 행함으로써 얻어지는 복수의 작은 피사체의 상이 결상된 사진 건판에 대하여, 사진 건판을 끼워서 피사체의 위치와 반대의 위치에서 조명을 받고, 촬영시의 피사체로부터 사진 건판으로 향하는 광선과 동일한 궤적을 찾아 가는 역방향의 광선을 재생함으로써 그 피사체가 있었던 위치에 피사체의 삼차원의 상을 재현시킬 수 있는 것이다.
이것을, 예를 들면, 디지털 카메라나 액정 모니터 등을 사용하여 전자적으로 실현한 것이 IP 입체화상 시스템이다. 따라서, IP 입체화상 시스템은, 기본적으로는, 피사체의 촬영을 행하는, 렌즈 어레이가 전방에 설치된 디지털 카메라와, 피사체의 상의 재생을 행하는, 표면에 렌즈 어레이가 설치된 액정 모니터에 의해 구성된다.
그런데, 특허문헌 1에는, IP를 사용한 입체상의 촬영표시장치가 개시되어 있다. 이 촬영표시장치는, 촬영용 광파이버에 입사된 피사체로부터의 광을, 장치 자체를 끼워서 피사체의 방향과 반대 방향으로부터 출사함으로써 입체상을 얻는 것이다. 광의 출사 방향에는 표시용 렌즈가 설치된다.
또한, 특허문헌 2에는, 각주 미러군에 의해 반사된 피사체로부터의 광선을 카메라에 의해 촬상함으로써, 공간 해상도가 높은 피사체의 상을 취득하는 기술이 개시되어 있다. 이렇게 하여 촬상된 화상은 공간 해상도가 높은 입체상을 실시간으로 제공하기 위해 사용되고, 이에 따라 입체표시 시스템이 실현되는 것도 개시되어 있다.
[특허문헌 1] 일본 특허공개 2004-54153호 공보
[특허문헌 2] 일본 특허공개 2004-23203호 공보
그러나, IP 입체화상 시스템을 실현하기 위해서는, 촬영시의 피사체로부터의 광선과, 재생시의 역방향의 광선의 궤적을 일치시킬 필요가 있기 때문에, 디지털 카메라와 렌즈 어레이의 위치 관계를, 액정 모니터와 렌즈 어레이의 위치 관계로서 정확하게 재현하는 것이 요구된다는 과제가 있었다.
따라서, 이 요구를 만족시키는 시스템을 실현하기 위해서는, 기술적인, 또는 비용적인 면에서의 제약이 상당히 있다.
또한, 당연, 디지털 카메라가 렌즈 어레이로 이루어지는 촬영계의 구성과, 액정 모니터와 렌즈 어레이로 이루어지는 재생계의 구성을 각각 준비할 필요가 있기 때문에, 비용이 들뿐만 아니라, 시스템 구성이 비교적 크게 되어 되어버린다는 과제도 있었다.
그런데, 이러한 IP 입체화상 시스템을 적용하는 것에 따라서도 실현 가능한 시스템으로는 있지만, 최근, 휴대전화기 등에도 탑재되기 시작하여, 본격적으로 보급되고 있는 커뮤니케이션의 툴로서 화상 전화 시스템으로, 이 화상 전화 시스템에서는, 예를 들면, 커뮤니케이션을 행하고 있는 2명의 사용자의 시선을 일치시킬 수 없다는 것이 문제시 되고 있다.
즉, 화상 전화를 행하기 위한 기기에는, 그 다른 위치에 디지털 카메라와 디스플레이가 설치되어 있기 때문에, 한쪽의 사용자가, 자기가 가지고 있는 기기의 디스플레이에 표시되어 있는 상대의 얼굴을 본 경우, 그 상대의 기기의 디스플레이에는, 자기의 기기의 디스플레이를 향하고 있는 사용자(상대)의 얼굴이 표시되게 된다.
또한, 한쪽의 사용자가, 반대로, 상대의 얼굴을 선명하게 보고 있는 얼굴이 상대의 기기의 디스플레이에 표시되도록 자기의 기기의 디지털 카메라를 향한 경우, 당연, 그 사용자는, 그 때 자기의 기기의 디스플레이에 표시되어 있는 상대의 얼굴을 볼 수 없다.
본 발명은 이러한 상황에 감안하여 이루어진 것으로, 보다 자연스러운 형태로 커뮤니케이션을 취할 수 있게 하는 것이다.
본 발명의 제1 정보처리장치는, 인가되는 전압에 따라 표시동작과 촬영 동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 수단과, 취득 수단에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 수단과, 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 수단과, 수신 수단에 의해 수신된 다른 피사체의 상의 데이터에 근거하여 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시제어수단을 구비한 것을 특징으로 한다.
취득 수단은, 복수의 촬상영역을 구성하는 화소로부터의 출력에 근거하여 복수의 피사체의 상의 데이터를 취득하도록 할 수 있다.
표시제어수단은, 수신 수단에 의해 수신된 복수의 다른 피사체의 상의 데이터에 근거하여 복수의 다른 피사체의 상의 각각을 복수의 표시영역에 표시시키도록 할 수 있다.
촬상영역과 표시영역은, 표시장치의 다른 위치에, 각각의 위치가 순차 이동하도록 형성되게 할 수 있다.
본 발명의 제1 정보처리장치는, 취득 수단에 의해 취득된 피사체의 상을 정립된 상으로 변환하는 변환 수단을 더 구비하도록 할 수 있다. 이 경우, 송신 수단은, 변환 수단에 의해 변환된 정립의 피사체의 상의 데이터를 다른 정보처리장치에 송신한다.
본 발명의 제1 정보처리장치는, 변환 수단에 의해 정립된 상으로 변환된 피사체의 상을 확대 또는 축소하는 확대축소 처리수단을 더 구비하도록 할 수 있다.
본 발명의 제1 정보처리장치는, 수신 수단에 의해 데이터가 수신된 다른 피사체의 상을 정립된 상으로 변환하는 변환 수단을 더 구비하도록 할 수 있다. 이 경우, 표시제어수단은, 변환 수단에 의해 변환된 정립의 다른 피사체의 상을 표시영역에 표시시킨다.
본 발명의 제1 정보처리장치는, 변환 수단에 의해 정립된 상으로 변환된 피사체의 상을 확대 또는 축소하는 확대축소 처리수단을 더 구비하도록 할 수 있다.
본 발명의 제1 정보처리장치는, 취득 수단에 의해 취득된 피사체의 제1 상의 데이터를, 피사체의 제1 상과, 기준이 되는 피사체의 제2 상과의 차이를 사용하여 압축하는 압축 수단을 더 구비하도록 할 수 있다. 이 경우, 송신 수단은, 압축 수단에 의해 압축된 피사체의 제1 상의 데이터를, 피사체의 제2 상의 데이터와 함께 다른 정보처리장치에 송신한다.
본 발명의 제1 정보처리장치는, 기준이 되는 다른 피사체의 제1 상의 데이터와, 다른 피사체의 제1 상과의 차이로 표시되는 다른 피사체의 제2 상의 데이터가 수신 수단에 의해 수신된 경우, 다른 피사체의 제2 상의 데이터를, 다른 피사체의 제1 상의 데이터와, 다른 피사체의 제1과 제2 상의 차이에 근거하여 생성하는 생성 수단을 더 구비하도록 할 수 있다.
본 발명의 제1 정보처리방법은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치의 정보처리방법으로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 스텝과, 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 스텝과, 수신 스텝의 처리에 의해 수신된 다른 피사체의 상의 데이터에 근거하여 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함 하는 것을 특징으로 한다.
본 발명의 제1 기록 매체는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득시키는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신시키는 송신 스텝과, 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신시키는 수신 스텝과, 수신 스텝의 처리에 의해 수신된 다른 피사체의 상의 데이터에 근거하여, 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함하는 프로그램이 기록되어 있는 것을 특징으로 한다.
본 발명의 제1 프로그램은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램으로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득시키는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신시키는 송신 스텝과, 다른 정보처리장치로부터 송신되어 오는, 다른 피사체 상의 데이터를 수신시키는 수신 스텝과, 수신 스텝의 처리에 의해 수신된 다른 피사체의 상의 데이터에 근거하여, 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함하는 것을 특징으로 한다.
본 발명의 제2 정보처리장치는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 수단과, 취득 수단에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 수단을 구비하는 것을 특징으로 한다.
본 발명의 제2 정보처리방법은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치의 정보처리방법으로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 스텝을 포함하는 것을 특징으로 한다.
본 발명의 제2 기록 매체는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득시키는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신시키는 송신 스텝을 포함하는 프로그램이 기록 되어 있는 것을 특징으로 한다.
본 발명의 제2 프로그램은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램으로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득시키는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 피사체의 상의 데이터를, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신시키기는 송신 스텝을 포함하는 것을 특징으로 한다.
본 발명의 제3 정보처리장치는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치로서, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 수단과, 수신 수단에 의해 수신된 다른 피사체의 상의 데이터에 근거하 여 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시제어수단을 구비하는 것을 특징으로 한다.
본 발명의 제3 정보처리방법은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치의 정보처리방법에 있어서, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 스텝과, 수신 스텝의 처리에 의해 수신된 다른 피사체의 상의 데이터에 근거하여 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함하는 것을 특징으로 한다.
본 발명의 제3 기록 매체는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체로서, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신시키는 수신 스텝과, 수신 스텝의 처리에 의해 수신된 다른 피사체의 상의 데이터에 근거하여 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시 제어 스텝을 포함하는 프로그램이 기록되어 있는 것을 특징으로 한다.
본 발명의 제3 프로그램은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램으로서, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신시키는 수신 스텝과, 수신 스텝의 처리에 의해 수신된 다른 피사체의 상의 데이터에 근거하여 다른 피사체의 상이 결상하는 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함하는 것을 특징으로 한다.
본 발명의 표시장치는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을 나타내는 신호를 정보처리장치에 출력하고, 정보처리장치에 의한 제어에 따라, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 소정의 화상을 표시하는 것을 특징으로 한다.
본 발명의 제1 정보처리장치 및 방법, 기록 매체, 및 프로그램에 있어서는, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상이, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득되고, 취득된 피사체의 상의 데이터가, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보 처리장치에 송신된다. 또한 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터가 수신되고, 수신된 다른 피사체의 상의 데이터에 근거하여 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상이 표시된다.
본 발명의 제2 정보처리장치 및 방법, 기록 매체, 및 프로그램에 있어서는, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상이, 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득되고, 취득된 피사체의 상의 데이터가, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신된다.
본 발명의 제3 정보처리장치 및 방법, 기록 매체, 및 프로그램에 있어서는, 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터가 수신되고, 수신된 다른 피사체의 상의 데이터에 근거하여 다른 피사체의 상이 결상한 다른 표시장치의 위치에 대응하는 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 다른 피사체의 상이 표시된다.
본 발명의 표시장치에 있어서는, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을 나타내는 신호가 정보처리장치에 출력되고, 정보처리장치에 의한 제어에 따라, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 소정의 화상이 표시된다.
본 발명에 의하면, 입체상을 생기게 할 수 있다.
또한, 본 발명에 의하면, 보다 자연스러운 형태로 상대와의 커뮤니케이션을 취할 수 있다.
또한, 본 발명에 의하면, 커뮤니케이션을 취하기 위한 기기의 소형화를 실현할 수 있다.
[발명의 실시예]
이하에 본 발명의 실시예를 설명하지만, 본 명세서에 기재한 발명과, 발명의 실시예와의 대응관계를 예시하면, 다음과 같아진다. 이 기재는, 청구항에 기재되어 있는 발명을 서포트하는 실시예가 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시예 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되어 있지 않은 실시예가 있었다고 해도, 그것은, 그 실시예가, 그 발명에 대응하지 않는 것을 의미하는 것은 아니다. 반대로, 실시예가 발명에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그 것은, 그 실시예가, 그 발명 이외의 발명에는 대응하지 않는 것을 의미하는 것은 아니다.
또한, 이 기재는, 본 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 바꾸어 말하면, 이 기재는, 본 명세서에 기재되어 있는 발명으로서, 이 출원에서는 청구되어 있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나, 보정에 의해 추가되는 발명의 존재를 부정하는 것은 아니다.
제1 국면에 기재의 정보처리장치는, 인가되는 전압에 따라 표시동작(예를 들 면, 도 5의 동작)이라고 촬상동작(예를 들면, 도 6의 동작)의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치(예를 들면, 도 1의 I/O 디스플레이 1)를 제어하는 정보처리장치(예를 들면, 도 17의 정보처리장치(31))로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체(예를 들면, 도 1의 사용자 #1)의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 수단(예를 들면, 도 18의 개안상 생성부(62))과, 상기 취득 수단에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치(예를 들면, 도 1의 I/O 디스플레이 2)를 제어하는 다른 정보처리장치에 송신하는 송신 수단(예를 들면, 도 19의 스텝 S6의 처리를 실행하는 도 18의 송수신 제어부(66))과, 상기 다른 정보처리장치로부터 송신되어 오는, 다른 피사체(예를 들면, 도 1의 사용자 #2)의 상의 데이터를 수신하는 수신 수단(예를 들면, 도 20의 스텝 S11의 처리를 실행하는 도 18의 송수신 제어부(66))과, 상기 수신 수단에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는(예를 들면, 도 13에 나타내는 바와 같이 I/O 디스플레이 2의 영역 a51에서 취득된 사용자 #2의 상을, I/O 디스플레이 1의 영역 A57에 표시시키는) 표시제어수단(예를 들면, 도 18의 표시 제어부(68))을 구비하는 것을 특징으로 한다.
제4 국면에 기재의 정보처리장치의 상기 촬상영역과 상기 표시영역은, 상기 표시장치의 다른 위치에, 각각의 위치가 순차 이동하도록 형성되는(예를 들면, 도 16에 나타내는 바와 같이 아래쪽으로 이동하는) 것을 특징으로 한다.
제5 국면에 기재의 정보처리장치(송신측에서 화상처리를 행하는 경우의 정보처리장치)는, 상기 취득 수단에 의해 취득된 상기 피사체의 상을 정립된 상으로 변환하는 변환 수단(예를 들면, 도 34의 반전 처리부(111))을 더 구비하고, 상기 송신 수단은, 상기 변환 수단에 의해 변환된 정립된 상기 피사체의 상의 데이터를 상기 다른 정보처리장치에 송신하는 것을 특징으로 한다.
제6 국면에 기재의 정보처리장치는, 상기 변환 수단에 의해 정립된 상으로 변환된 상기 피사체의 상을 확대 또는 축소하는 확대축소 처리수단(예를 들면, 도 34의 확대/축소 처리부(112))을 더 구비하는 것을 특징으로 한다.
제7 국면에 기재의 정보처리장치(수신측에서 화상처리를 행하는 경우의 정보처리장치)는, 상기 수신 수단에 의해 데이터가 수신된 상기 다른 피사체의 상을 정립된 상으로 변환하는 변환 수단(예를 들면, 도 36의 화상 처리부(63)에 설치되는 도 34의 반전 처리부(111))을 더 구비하고, 상기 표시제어 수단은, 상기 변환 수단에 의해 변환된 정립된 상기 다른 피사체의 상을 상기 표시영역에 표시시키는 것을 특징으로 한다.
제8 국면에 기재의 정보처리장치는, 상기 변환 수단에 의해 정립된 상으로 변환된 상기 피사체의 상을 확대 또는 축소하는 확대축소 처리수단(예를 들면, 도 36의 화상 처리부(63)에 설치되는 도 34의 확대/축소 처리부(112))을 더 구비하는 것을 특징으로 한다.
제9 국면에 기재의 정보처리장치는, 상기 취득 수단에 의해 취득된 상기 피사체의 제1 상의 데이터를, 상기 피사체의 제1 상과, 기준이 되는 상기 피사체의 제2 상과의 차이를 사용하여 압축하는 압축 수단(예를 들면, 도 19의 스텝 S5의 처리를 실행하는 도 18의 압축 신장 처리부(65))을 더 구비하고, 상기 송신 수단은, 상기 압축 수단에 의해 압축된 상기 피사체의 제1 상의 데이터를, 상기 피사체의 제2 상의 데이터와 함께 상기 다른 정보처리장치에 송신하는 것을 특징으로 한다.
제10 국면에 기재의 정보처리장치는, 기준이 되는 상기 다른 피사체의 제1 상의 데이터와, 상기 다른 피사체의 제1 상과의 차이로 표시되는 상기 다른 피사체의 제2 상의 데이터가 상기 수신 수단에 의해 수신된 경우, 상기 다른 피사체의 제2 상의 데이터를, 상기 다른 피사체의 제1 상의 데이터와, 상기 다른 피사체의 제1과 제2 상의 차이에 근거하여 생성하는 생성 수단(예를 들면, 도 20의 스텝 S12의 처리를 실행하는 도 18의 압축 신장 처리부(65))을 구비하는 것을 특징으로 한다.
제11 국면에 기재의 정보처리방법은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치(예를 들면, 도 1의 I/O 디스플레이 1)를 제어하는 정보처리장치(예를 들면, 도 17의 정보처리장치(31))의 정보처리방법으로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체(예를 들면, 도 1의 사용자 #1)의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 스텝(예를 들면, 도 19의 스텝 S3)과, 상기 취득 스텝의 처리에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치(예를 들면, 도 1 의 I/O 디스플레이 2)를 제어하는 다른 정보처리장치에 송신하는 송신 스텝(예를 들면, 도 19의 스텝 S6)과, 상기 다른 정보처리장치로부터 송신되어 오는, 다른 피사체(예를 들면, 도 1의 사용자 #2)의 상의 데이터를 수신하는 수신 스텝(예를 들면, 도 20의 스텝 S11)과, 상기 수신 스텝의 처리에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치가 형성되는, 표시동작을 행하는 복수의 화소에서 되는 표시영역에 상기 다른 피사체의 상을 표시시키는(예를 들면, 도 13에 나타내는 바와 같이 I/O 디스플레이 2의 영역 a51에서 취득된 사용자 #2의 상을, I/O 디스플레이 1의 영역 A57에 표시시키는) 표시제어 스텝(예를 들면, 도 20의 스텝 S14)을 포함하는 것을 특징으로 한다.
제12 국면에 기재의 기록 매체에 기록되어 있는 프로그램 및, 제13 국면에 기재의 프로그램에 있어서도, 각 스텝이 대응하는 실시예(단 일례)는, 제11 국면에 기재의 정보처리방법과 동일하다.
제14 국면에 기재의 정보처리장치는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치(예를 들면, 도 1의 I/O 디스플레이 1)를 제어하는 정보처리장치(예를 들면, 도 17의 정보처리장치(31))로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체(예를 들면, 도 1의 사용자 #1)의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 수단(예를 들면, 도 18의 개안 상 생성부(62))과, 상기 취득 수단에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치(예를 들면, 도 1의 I/O 디스플레이 2)를 제어하는 다른 정보처리장치에 송신하는 송신 수단(예를 들면, 도 19의 스텝 S6의 처리를 실행하는 도 18의 송수신 제어부(66))을 구비하는 것을 특징으로 한다.
제15 국면에 기재의 정보처리방법은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치(예를 들면, 도 1의 I/O 디스플레이 1)를 제어하는 정보처리장치(예를 들면, 도 17의 정보처리장치(31))의 정보처리방법으로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체(예를 들면, 도 1의 사용자 #1)의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 스텝(예를 들면, 도 19의 스텝 S3)과, 상기 취득 스텝의 처리에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치(예를 들면, 도 1의 I/O 디스플레이 2)를 제어하는 다른 정보처리장치에 송신하는 송신 스텝(예를 들면, 도 19의 스텝 S6)을 포함하는 것을 특징으로 한다.
제16 국면에 기재의 기록 매체에 기록되어 있는 프로그램 및 제17 국면에 기재의 프로그램에 있어서도, 각 스텝이 대응하는 실시예(단 일례)는, 제15 국면에 기재의 정보처리방법과 동일하다.
제18 국면에 기재의 정보처리장치는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장 치(예를 들면, 도 1의 I/O 디스플레이 1)를 제어하는 정보처리장치(예를 들면, 도 17의 정보처리장치(31))로서, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치(예를 들면, 도 1의 I/O 디스플레이 2)를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체(예를 들면, 도 1의 사용자 #2)의 상의 데이터를 수신하는 수신 수단(예를 들면, 도 20의 스텝 S11의 처리를 실행하는 도 18의 송수신 제어부(66))과, 상기 수신 수단에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는(예를 들면, 도 13에 나타내는 바와 같이I/O 디스플레이 2의 영역 a51에서 취득된 사용자 #2의 상을, I/O 디스플레이 1의 영역 A57에 표시시키는) 표시제어 수단(예를 들면, 도 18의 표시 제어부(68))을 구비하는 것을 특징으로 한다.
제19 국면에 기재의 정보처리방법은, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치(예를 들면, 도 1의 I/O 디스플레이 1)를 제어하는 정보처리장치(예를 들면, 도 17의 정보처리장치(31))의 정보처리방법으로서, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치(예를 들면, 도 1의 I/O 디스플레이 2)를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체(예를 들면, 도 1의 사용자 #2)의 상의 데이터를 수신하는 수신 스텝(예를 들면, 도 20의 스텝 S11)과, 상기 수신 스텝의 처 리에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 상기 표시영역에 상기 다른 피사체의 상을 표시시키는(예를 들면, 도 13에 나타내는 바와 같이 I/O 디스플레이 2의 영역 a51에서 취득된 사용자 #2의 상을, I/O 디스플레이 1의 영역 A57에 표시시키는) 표시제어 스텝(예를 들면, 도 18의 표시 제어부(68))을 포함하는 것을 특징으로 한다.
제20 국면에 기재의 기록 매체에 기록되어 있는 프로그램 및 제21 국면에 기재의 프로그램에 있어서도, 각 스텝이 대응하는 실시예(단 일례)는, 청구항 19에 기재의 정보처리방법과 동일하다.
제22 국면에 기재의 표시장치는, 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치(예를 들면, 도 1의 I/O 디스플레이 1)로서, 촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을 나타내는 신호를 정보처리장치(예를 들면, 도 17의 정보처리장치(31))에 출력하고, 상기 정보처리장치에 의한 제어에 따라, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 소정의 화상을 표시하는 것을 특징으로 한다.
이하, 본 발명의 실시예에 대하여 도면을 참조해서 설명한다.
도 1은, 본 발명을 적용한 IP 입체화상 시스템의 구성예를 나타내는 도면이다.
이 IP 입체화상 시스템은, 예를 들면 I/O(IN/OUT) 디스플레이 1, 2 및 I/O 디스플레이 1과 I/O 디스플레이 2를 접속하는 통신로(3)로 구성된다.
I/O 디스플레이 1은, 예를 들면, 그것을 이용하고 있는 사용자 #1을 촬영할 수 있음과 동시에(IN 기능(촬영기능)), I/O 디스플레이 2로부터 통신로(3)를 통해 송신되어 오는 정보에 근거하여 I/O 디스플레이 2를 이용하고 있는 사용자 #2를, 현실 세계에서 각 시점으로부터 볼 수 있는 입체상(3차원의 상)으로서 관찰자인 사용자 #1에 제시할 수 있는(OUT 기능(표시 기능)) 디스플레이다.
사용자 #2의 입체상은, 사용자 #1이 I/O 디스플레이 1 너머로 볼 수 있는 위치에 재현된다.
마찬가지로, I/O 디스플레이 2는, 그것을 이용하고 있는 사용자 #2를 촬영 할 수 있음과 동시에, I/O 디스플레이 1로부터 통신로(3)를 통해 송신되어 오는 정보에 근거하여 I/O 디스플레이 1을 이용하고 있는 사용자 #1의 입체상을 사용자 #2에 제시할 수 있는 디스플레이다. 사용자 #1의 입체상도, 사용자 #2가 I/O 디스플레이 2 너머로 볼 수 있는 위치에 재현된다.
후술하는 바와 같이, I/O 디스플레이 1 및 2에 의한 피사체(사용자 #1 또는 #2)의 촬영은, I/O 디스플레이 1 및 2의 표시면을 구성하는 각각의 화소를 사용하여 행해진다. 또한 입체상의 제시도, I/O 디스플레이 1 및 2의 표시면을 구성하는 각각의 화소를 사용하여 행해진다.
따라서, I/O 디스플레이 1 및 2에 의해 도입된 각각의 피사체의 상의 데이터를 통신 상대의 디스플레이에 송신하고, 그것을 입체상으로서 실시간으로 재현시키 도록 함으로써 사용자 #1과 #2는, 실시간으로 커뮤니케이션을 도모할 수 있다.
또한, 피사체의 촬영을 행하는 구성과, 커뮤니케이션의 상대의 상을 재현하는 구성이 동일한 구성에 의해 실현되기 때문에, 예를 들면, 사용자 #1은, I/O 디스플레이 1에 의해 재현되는 사용자 #2(입체상)의 눈을 보면서, 자기 자신의 상의 인출을 I/O 디스플레이 1에 행하게 할 수 있다.
이 경우, I/O 디스플레이 2에서는, 사용자 #2의 눈을 보고 있는 상태의 사용자 #1의 상이 재현되기 때문에, 사용자 #2는, 그 재현되는 사용자 #1(입체상)의 눈을 보면서, 사용자 #1과 커뮤니케이션을 도모할 수 있다. 이, 사용자 #1의 눈을 보고 있는 상태의 사용자 #2도, I/O 디스플레이 2에 의해 촬상되고, I/O 디스플레이 1에 의해 사용자 #2의 입체상으로서 실시간으로 제시된다.
즉, 디지털 카메라와 디스플레이와 같이, 촬영을 행하는 구성으로 표시를 행하는 구성이 각각 따로 따로인 하드웨어로서 준비되는 경우에는 실현 불가능한, 시선을 일치시킨 상태에서의 원격지간의 커뮤니케이션을 실현할 수 있다.
또한, 기기를 일체의 것으로 실현할 수 있기 때문에, 촬영을 행하는 구성과 표시를 행하는 구성이 각각 따로 따로인 하드웨어로서 준비되는 경우에 비교해서 장치의 소형화 및 비용의 삭감을 도모할 수 있다.
이때, 통신로(3)는, 예를 들면, 인터넷 등으로 이루어지는 네트워크이다. 유선, 무선 중 어느 하나의 형태로 이루어지는 것이라도 된다. 또한, 도시하지 않은 마이크로폰에 의해 집음된 한쪽의 사용자의 음성도, 다른쪽의 사용자의 I/O 디스플레이에 송신된다.
여기서, IN 기능(촬영기능)에 대하여 설명한다. 이하에 있어서는, I/O 디스플레이 1의 기능(구성)으로서 주로 설명하지만, I/O 디스플레이 2도 동일한 기능을 갖는다.
피사체(예를 들면, 사용자 #1)에 대향하는 I/O 디스플레이 1의 표면에는, 도 2의 평면도와 도 3의 단면도에 나타내는 바와 같이 다수의 마이크로 렌즈를 평면 모양으로 배치해서 구성되는 렌즈 어레이가 설치된다.
도 3의 단면도에 나타내는 바와 같이, 피사체의 상이 결상하는 화소의 층과, 마이크로 렌즈의 층의 사이에는, 각각의 마이크로 렌즈로 집광된 광선과, 이웃의 마이크로 렌즈로 집광된 광선이 간섭하는 경우가 없도록 격벽의 층이 설치된다.
또한, 후술하는 바와 같이, I/O 디스플레이 1에서는, 예를 들면, 촬상동작을 행하는 화소와, 표시동작을 행하는 화소가 인접하는 상태로 되는 것도 있고, 이 격벽의 층이 설치됨으로써, 표시동작을 행하고 있는 한쪽의 화소에서 출사된 광이, 촬상동작을 행하고 있는 다른쪽의 화소에 입사한다고 한 것도 방지된다.
이러한 구성을 가지고 있기 때문에, I/O 디스플레이 1에서는, 다수의 마이크로 렌즈 각각 너머로 본 피사체의 화상, 소위 개안상을 얻을 수 있다.
도 4는, 도 3의 격벽에 의해 둘러싸여지는 화소로 이루어지는 1개의 영역의 예를 나타내는 평면도이다.
이 1개의 영역은, 예를 들면, 15ㅧ15개의 화소(RGB의 3개의 서브 화소를 1쌍으로 한 화소(15ㅧ3ㅧ15개의 서브 화소))로 구성된다. 이렇게, 15ㅧ15개 등의 화소로 구성되는 1개의 영역의 전방(피사체측)에 1개의 마이크로 렌즈가 설치되기 때문 에, 이 15ㅧ15개의 화소의 영역에, 도 4에 나타내는 바와 같이 광축을 중심으로 해서 180도 회전한 피사체의 상이 결상한다.
이하, 적의, 촬상동작을 행하고 있는, 피사체의 1개의 상이 결상하는 소정의 수의 화소로 이루어지는 영역을 촬상영역이라 한다. 또한, 표시동작을 행하고 있는, 피사체의 1개의 상을 표시하는 소정의 수의 화소로 이루어지는 영역을 표시영역이라 한다.
이때, 도 4에서는, 1개의 개안상을 15ㅧ15개의 화소를 사용하여 촬상한다고 했지만, 화소수는 이것에 한정되는 것은 아니며, 당연, 이것 이상의 화소수로 촬영이 행해지도록 해도 된다. 1개의 마이크로 렌즈에 대하여 할당되는 화소의 수를 많게 할수록, 해상도의 높은 피사체의 상을 얻을 수 있다.
전술한 바와 같이, I/O 디스플레이 1에서는, 표시뿐만 아니라, 촬영, 즉 마이크로 렌즈에 의해 집광된 광의 검출도 각각의 화소에 의해 행해진다.
도 5 및 도 6은, I/O 디스플레이 1을 구성하는 1화소의 회로구성의 예를 나타내는 도면이다.
예를 들면, 각각의 화소에는 TFT(Thin Film Transistor)(11)와 액정(14)이 설치된다. 즉, 도 5 및 도 6에 나타내는 구성의 화소로 이루어지는 I/O 디스플레이 1은 TFT 액정 모니터(LCD(Liquid Crystal Display))이다.
TFT(11)의 게이트 전극 G에 정방향의 전압(바이어스 전압)이 인가되었을 때, 도 5의 실선 화살표로 나타내는 바와 같이 소스 전극 S에 인가된 전압에 따라, 비결정질 실리콘이나 폴리실리콘으로 이루어지는 활성 반도체층(채널) 중을, 소스 전 극 S로부터 드레인 전극 D 방향으로 전류가 흐른다.
TFT(11)의 드레인 전극 D에는 액정(14)의 한쪽의 전극이 접속되어 있고, TFT(11)의 채널 중을 전류가 흐르는 것에 의해 생기는 액정(14)의 전극 사이(드레인 전극 D가 접속되어 있는 전극과 대향전극(15)의 사이)의 전위차에 따라 액정(14)의 분자배열이 변화되고, 백라이트로부터의 광이 도 5의 화소의 외부에 출사된다.
백라이트로부터의 광은, 도 3의 격벽층, 마이크로 렌즈층을 통해, I/O 디스플레이 1의 외부에 출사된다. 따라서, 이에 따라 화상의 표시가 행해진다.
한편, TFT(11)의 게이트 전극 G에, 0V 근방인가 또는 역방향의 전압이 인가되었을 경우, 소스 전극 S에 전압이 인가되어 있을 때라도 채널 중을 전류가 흐르지 않는다.
이 상태에서, 마이크로 렌즈에 의해 집광된 외부로부터의 광이, 도 6의 투명한 화살표로 나타내는 바와 같이 TFT(11)를 조사했을 때, TFT(11)의 채널의 광전도성에 의해, 미량이지만 드레인 전극 D로부터 소스 전극 S 방향으로 누설 전류(오프 전류)가 발생한다.
이렇기 때문에, 0V 근방인가 또는 역방향의 전압을 인가한 화소(TFT(11))가 발생하는 누설 전류를 증폭해서 그 유무를 검출함으로써, 그 화소에 대하여 외부로부터 광이 조사되어 있는지 아닌지를 식별하는 것이 가능하게 된다. 또한 그 누설 전류의 양에 의해, 광의 양도 식별하는 것이 가능하게 된다.
RGB의 각각의 화소에 의해 RGB 각각의 광이 식별되게 되기 때문에, 도 4의 촬상영역을 구성하는 모든 화소의 출력을 합성함으로써, 컬러의 피사체(사용자 #1)의 개안상을 얻을 수 있다.
이상으로부터, 인가하는 전압을 제어함으로써, 1개의 화소(TFT(11))에 표시동작과 촬상동작을 선택적으로 행하게 할 수 있는 것을 안다.
이때, 도 5에서는, 설명의 편의상, 투명 화살표로 나타내는 바와 같이 액정(14)으로부터 우측 방향으로 광이 출사되고 있지만, 실제로는, 액정(14)의 전극이 투명전극에 의해 구성되고, 그 투명전극을 투과해서 백라이트로부터의 광이 외부에 출사된다.
도 7은, 광이 조사되어 있는 경우와, 조사되어 있지 않은 경우의 TFT(11)의 드레인 전류 Id의 값의 측정예를 나타내는 도면이다. 세로축은 드레인 전류 Id를 나타내고, 가로축은 게이트 전압 Vg를 나타낸다.
도 7에 나타내는 바와 같이, 정방향의 게이트 전압 Vg가 인가되어 있는 경우에는, 광이 조사되어 있을 때라도 조사되어 있지 않을 때라도, 동일한 값의 드레인 전류 Id가 검출된다.
한편, 0V 근방인가 또는 역방향의 전압이 인가되어 있는 상태에서 광이 조사된 경우, 조사되어 있지 않은 경우와 비교해서 큰 값의 드레인 전류 Id가 검출된다.
이와 같이, 정방향의 전압이 인가되어 있을 때와, 0V 근방인가 또는 역방향의 전압이 인가되어 있을 때로, 광의 유무에 의해 검출되는 전류값이 다른 것으로 되기 때문에, 외부로부터의 광의 유무의 검출이 가능하게 된다.
이때, 정방향의 전압이 인가되어 있을 때에 광의 유무에 의해 검출되는 전류값에 차이가 생기지 않는 것은, 전압을 인가함으로써 흐르는 전류가, 광을 조사함으로써 흐르는(발생하는) 전류에 비해 충분히 크기 때문이다.
도 8 및 도 9는, I/O 디스플레이 1을 구성하는 1화소의 다른 회로구성의 예를 나타내는 도면이다. 도 5 및 도 6과 동일한 구성에는 동일한 부호를 부착해 놓는다.
도 8 및 도 9의 예에 있어서는, 각각의 화소에는, 도 5, 도 6의 액정(14) 대신에 EL(Electroluminescence) 소자(21)가 설치된다. 즉, 도 8 및 도 9에 나타내는 구성의 화소로 이루어지는 I/O 디스플레이 1은 자발광형의 EL 디스플레이다.
TFT(11)의 게이트 전극 G에 정방향의 전압이 인가되었을 때, 도 8의 실선 화살표로 나타내는 바와 같이 소스 전극 S에 인가된 전압에 따라, 소스 전극 S로부터 드레인 전극 D 방향으로 채널 중을 전류가 흐른다.
TFT(11)의 드레인 전극 D에는 EL 소자(21)의 애노드 전극이 접속되어 있고, TFT(11)의 채널 중을 전류가 흐름으로써 생기는 애노드-캐소드 전극 사이의 전위차에 따라, 도 8의 투명 화살표로 나타내는 바와 같이 EL 소자(21)가 발광한다.
EL 소자(21)로부터의 광은, 도 3의 격벽층, 마이크로 렌즈층을 통해, I/O 디스플레이 1의 외부에 출사된다. 따라서, 이에 따라 화상의 표시가 행해진다.
한편, TFT(11)의 게이트 전극 G에, 0V 근방인가 또는 역방향의 전압이 인가되었을 경우, 소스 전극 S에 전압이 인가되어 있을 때라도 채널 중을 전류가 흐르지 않고, EL 소자(21)의 애노드-캐소드 전극 사이에는 전위차가 생기지 않기 때문 에 발광하지 않는다.
이 상태에서, 마이크로 렌즈에 의해 집광된 외부로부터의 광이, 투명 화살표로 나타내는 바와 같이 도 9의 화소를 조사했을 때, 전술한 바와 같이, TFT(11)의 채널의 광전도성에 의해, 미량이지만 드레인 전극 D로부터 소스 전극 S 방향으로 누설 전류(오프 전류)가 발생한다. 또한, 마찬가지로, EL 소자(21)에 있어서도 누설 전류가 발생한다.
이렇기 때문에, 0V 근방인가 또는 역방향의 전압을 인가한 화소(TFT(11), EL 소자(21))가 발생하는 누설 전류를 증폭해서 그 유무를 검출함으로써, 그 화소에 대하여 외부로부터 광이 조사되고 있는 것인지 아닌지를 식별하는 것이 가능하게 된다. 또한 그 누설 전류의 양에 의해, 광의 양도 식별하는 것이 가능하게 된다.
RGB의 각각의 화소(R을 발광하는 EL 소자(21)가 설치되어 있는 화소, G를 발광하는 EL 소자(21)가 설치되어 있는 화소, B를 발광하는 EL 소자(21)가 설치되어 있는 화소)에 의해 RGB 각각의 광의 유무와 양이 식별되게 되므로, 도 4의 촬상영역을 구성하는 모든 화소의 출력을 합성함으로써, 컬러의 피사체의 개안상을 얻을 수 있다.
이때, 도 8 및 도 9의 구성의 화소는, 예를 들면, 0V 근방의 전압이 인가된 상태에서 외부로부터 광이 조사된 경우, TFT(11)에 부가하여, EL 소자(21)가 발생하는 누설 전류도 검출되기 때문에, 도 5 및 도 6의 구성의 화소로 이루어지는 TFT 액정 디스플레이보다도, TFT가 각 화소에 배치된 EL 디스플레이 쪽이 외부로부터의 광에 비해 감도가 높아진다.
도 10은, 도 8 및 도 9에 나타내는 화소에서 생긴 전류의 측정값의 예를 나타내는 도면이다. 세로축은 화소중의 전류를 나타내고, 가로축은 게이트 전극 G에 인가한 전압을 나타낸다.
계측 결과를 나타내는 선 L1은, 정방향의 전압이 인가된 상태에서 광이 조사되었을 때에 화소로부터 검출되는 전류(TFT(11)의 채널 중을 흐르는 전류와, EL 소자(21) 중을 흐르는 전류)의 값을 나타내고 있고, 선 L2는, 정방향의 전압이 인가된 상태에서 광이 조사되어 있지 않을 때에 화소에서 발생된 전류의 값을 나타내고 있다.
이 선 L1 및 L2에 의해, 정방향의 전압이 인가되어 있는 경우에는, 외부로부터의 광의 유무에 상관없이, 검출되는 전류값에는 차이가 보이지 않는다.
한편, 도 10의 선 L3은, 역방향의 전압이 인가되어 있는 상태에서 외부로부터 광이 조사되었을 때에, 그 화소가 발생한 전류의 값을 나타내고 있고, 선 L4는, 역방향의 전압이 인가되어 있는 상태에서 외부로부터 광이 조사되어 있지 않을 때에, 그 화소가 발생한 전류의 값을 나타내고 있다.
선 L3과 선 L4를 비교해서 알 수 있는 바와 같이, 역방향의 전압이 인가되어 있는 경우, 외부로부터 광이 조사되었을 때와, 조사되어 있지 않을 때로, 그 화소가 발생하는 전류에 차이가 생기고 있다. 예를 들면, 약 -5볼트의 전압(역방향의 전압)이 인가되어 있는 상태에 있어서, 외부로부터 소정의 광량의 광이 조사된 경 우, 「1E-8(A)」 정도의 전류(TFT의 활성반도체층 중에 있어서 발생한 전류와, EL 소자가 발생한 전류)가 발생한다.
도 10에서는, 외부로부터 광이 조사되어 있지 않은 경우라도, 「1E-10(A)」 정도의 미소한 전류가 발생하고 있는 것이 선 L4에 의해 나타나 있지만, 이것은 계측 중인 노이즈에 의한 것이다. 이때, RGB 중 어느 하나의 색을 발광하는 EL 소자라도, 도 10에 나타내는 것과 거의 동일한 계측 결과를 얻을 수 있다.
도 11은, 도 10의 0V 근방을 확대해서 나타내는 도면이다.
도 11의 선 L3과 선 L4에 의해 나타내는 바와 같이 0V 근방의 전압이 인가되어 있는 상태라도, 광이 조사되어 있을 경우와, 조사되어 있지 않은 경우로, 그 전류값에 차이가 검출된다.
따라서, 0V 근방의 전압이 인가되어 있는 상태라도, 발생한 전류를 증폭시킴으로써 이 차이, 즉, 광이 조사되어 있는 것인지 아닌지의 검출이 가능해진다.
이렇기 때문에, 의식적으로 역방향의 전압을 인가하지 않고, 게이트 전압이 0V 근방의 값이 되도록 제어함으로써, 어떤 화소에 촬상동작을 행하게 할 수 있다.
게이트 전압이 0V 근방의 값이 되도록 제어해서 촬상동작을 행하게 하도록 함으로써, 역방향의 전압을 인가해서 그 동작을 행하게 하는 경우에 비교하여, 역방향의 전압만큼만 소비전력을 억제할 수 있다.
또한, 제어하는 전압의 수가 적어지기 때문에, 그 제어, 그 위에 시스템 구성이 용이해진다. 즉, 게이트 전압이 0V 근방의 값이 되도록 제어하는 것은, 정방 향의 전압이 인가되지 않도록 제어하는 것도 있기 때문에, 정방향의 전압이 인가되도록 게이트 전압을 제어하는 제어선이나 전원회로만을 갖고 실현할 수 있다.(역방향의 전압이 인가되도록 게이트 전압을 제어하는 제어선을 별도로 설치할 필요가 없음).
이에 따라 I/O 디스플레이 1의 구동기판이나 시스템 기판 상에서 전원회로의 구성을 간략화할 수 있고, 저소비전력화를 실현할 수 있을 뿐만 아니라, 그것들의 기판 위의 한정된 스페이스의 효율적인 이용도 실현할 수 있다.
또한, 역방향의 전압을 인가하지 않도록 함으로써, 역방향의 전압을 인가했을 때에 생기는 경우가 있는 TFT(11)나 EL 소자(21)의 파괴를 회피할 수 있다. 예를 들면, 채널 길이(L 길이)를 길게 함으로써 TFT(11)의 내전압성을 높일 수 있지만, 이 경우, ON시 (도통시)의 전류가 내려가 버려, 충분한 전류를 확보하려면, 채널 폭(W 길이)을 크게 할 필요가 있다.
이 결과, TFT(11)를 흐르는 전류값을 변경하지 않고 내전압성을 높이기 위해서는, 1개의 TFT(11)의 사이즈를 크게 할 필요가 있고, 각 화소의 사이즈가 작고 정밀한 디스플레이의 각 화소에, 그 TFT(11)를 배치하는 것이 곤란하게 된다.
따라서, 역방향의 전압을 없앰으로써 TFT(11)나 EL 소자(21)의 내압설계가 용이하게 되고, 또한, TFT(11)나 EL 소자(21) 그 자체의 사이즈를 작게 할 수 있고, 이에 따라 고정밀한 디스플레이를 실현하는 것이 가능하게 된다.
이상과 같이 , I/O 디스플레이 1을 구성하는 각 화소에 적어도 TFT(11)가 설치되는 경우, 0V 근방인가, 그것보다 역방향의 전압을 인가함으로써, 화소를 이용 하여 촬영을 행하는 것이 가능하게 된다.
예를 들면 I/O 디스플레이 1의 모든 화소에 촬상동작을 행하게 함으로써, 마이크로 렌즈의 수만큼(촬상영역의 수만큼), 각각의 위치를 시점으로 했을 때의 피사체(사용자 #1)의 상을 얻을 수 있다.
다음에, OUT 기능(표시 기능)에 대하여 설명한다.
도 12는, 사용자 #1의 입체상의 재현을 모식적으로 나타내는 도면이다.
도 12의 좌측은, I/O 디스플레이 1에 의해 사용자 #1의 개안상 P1 내지 P6이 촬상되어 있는 모양을 나타내고 있다. 또한, 도 12의 우측은, I/O 디스플레이 2에 의해 사용자 #1의 상인 개안상 P1 내지 P6이 표시되어 있는 모양을 나타내고 있다.
이때, 도 12에 있어서는, 설명의 편의상, 개안상 P1 내지 P6을 각각 동일한 상으로 나타내고 있지만, 1개의 피사체에 대한 촬영의 위치가 다르기 때문에, 실제로는, 각각의 위치에 따라 약간 다른 상이 된다. 또한, 도 3의 격벽의 층은 생략하고 있다.
I/O 디스플레이 1에 설치되는 각각의 마이크로 렌즈에 의해 결상되고, I/O 디스플레이 1에 의해 얻어진 개안상은, 예를 들면, 광축을 중심으로 한 반전 처리 등의 소정의 화상처리가 I/O 디스플레이 1에 의해 시행되고, I/O 디스플레이 2에 송신된다.
I/O 디스플레이 2에 있어서는, I/O 디스플레이 1에서 촬상된 개안상이, 각각 대응하는 위치에 있는 영역(표시영역)에 표시된다. 도 12의 예에 있어서는, 개안상 P1 내지 P6이 위로부터 순차적으로 각각의 표시영역에 표시되어 있다.
도 13은, 개안상의 촬영위치와 표시 위치의 예에 대하여 나타내는 도면이다.
도 13에 있어서는, I/O 디스플레이 1과 I/O 디스플레이 2에는, 도 4의 영역이 5ㅧ7개 형성되어 있다. 실제로는, 마이크로 렌즈의 수만큼, 또한 많은 영역이 형성된다.
지금, I/O 디스플레이 1의 영역을, 좌측 위의 영역을 기준으로서 영역 Aij(i행째, j열째의 영역)로 나타내고, I/O 디스플레이 2의 영역을, 좌측 위의 영역을 기준으로서 영역 aij로 나타내는 것으로 하면, I/O 디스플레이 1의 영역 A11(촬상영역)에서 촬상된 개안상은, 그 위치에 대응하는 위치에 있는 I/O 디스플레이 2의 영역 a17(표시영역)에 표시된다.
즉, 사용자 #1과 사용자 #2가 I/O 디스플레이를 끼워서 대향한 상태를 재현하려고 하고 있기 때문에, I/O 디스플레이 1에 대향하고 있는 피사체의 사용자 #1을 I/O 디스플레이 1의 영역 A11에서 촬상한 개안상이, I/O 디스플레이 2의 우측 위의 영역 a17에 표시됨으로써 촬상시에, 사용자 #1로부터 그 촬영위치를 향하는 광선을, 사용자 #2로 향하는 광선으로서 I/O 디스플레이 2에 의해 재현하는 것이 가능하게 된다.
이 촬상시의 광선을 재현할 수 있는 위치에 있는 I/O 디스플레이 2의 영역 aij가, I/O 디스플레이 1의 영역 Aij에 대응하는 영역이 된다.
마찬가지로, 영역 A12에서 촬상된 개안상은 영역 a16에 표시되고, 영역 A13에서 촬상된 개안상은 영역 a15에 표시되고, 영역 A14에서 촬상된 개안상은 영역 a14에 표시된다. I/O 디스플레이 1의 다른 영역 Aij에서 촬상된 개안상도, I/O 디스플레이 2가 대응하는 영역 akl에 표시된다.
또한, I/O 디스플레이 2의 영역 a51(촬상영역)에서 촬상된 개안상은, 그 위치에 대응하는 위치에 있는 I/O 디스플레이 1의 영역 A57(표시영역)에 표시된다.
마찬가지로, 영역 a52에서 촬상된 개안상은 영역 A56에 표시되고, 영역 a53에서 촬상된 개안상은 영역 A55에 표시되고, 영역 a54에서 촬상된 개안상은 영역 A54에 표시된다. I/O 디스플레이 2의 다른 영역 aij에서 촬상된 개안상도, I/O 디스플레이 1이 대응하는 영역 Akl에 표시된다.
이렇게, I/O 디스플레이 1과 I/O 디스플레이 2가 대응하는 영역을 구성하는 화소끼리는, 예를 들면, 화상의 송수신에 걸리는 시간, 화상의 재생 등의 처리에 걸리는 시간을 무시할 수 있는 것으로 하면, 반전한 동작을 행하게 된다.
즉, I/O 디스플레이 1의 1개의 영역에서 촬상이 행해지고 있는 경우, 거기에 대응하는 위치에 있는 I/O 디스플레이 2의 영역에서는 표시가 행해지고, 반대로, I/O 디스플레이 1의 다른 1개의 영역에서 표시가 행해지고 있는 경우, 거기에 대응하는 위치에 있는 I/O 디스플레이 2의 영역에서는 촬상이 행해짐으로써 피사체의 촬상과, 입체상의 재현이 실시간으로 행해지게 된다.
도 12의 설명에 되돌아와, 사용자 #2는, 이렇게 하여 I/O 디스플레이 2에 표시된 복수의 개안상을 렌즈 어레이 너머로 본다. 이에 따라, 사용자는, 그 시점에서 본 피사체(사용자 #1)의 입체상을 볼 수 있다.
여기서, 현실세계에 있어서 사용자가 볼 수 있는 것과 동일한 피사체의 입체상을 얻을 수 있는 원리에 대하여 설명한다.
전술한 바와 같이, 예를 들면 I/O 디스플레이 1에서는, 복수의 시점(각각의 영역)에서 촬상된 사용자 #1의 개안상의 데이터가 취득되어 있다. 이것은, 도 14에 나타내는 바와 같이 I/O 디스플레이 1의 표면의 평면 Ω 상의 복수의 점을 시점으로서, 피사체를 촬상한 화상 데이터가 취득되어 있다고 볼 수 있다.
지금, 도 15에 나타내는 바와 같이 평면 Ω의, 피사체와 반대측의 어떤 위치에 시점 P를 설정하고, 그 시점 P에서 피사체를 본 경우의 시각에 비추는 화상을 생각한다.
이때, 시점 P는, 그 시점 P와, 피사체 상의 임의의 점을 잇는 직선이, 평면 Ω과 교차하는 위치에 취하는 것으로 한다.
또한, 여기서는, 설명을 간단하게 하기 위해, 평면 Ω 상의 임의의 모든 점을 시점으로서, 피사체를 촬상한 화상 데이터가 I/O 디스플레이 1에 의해 취득되어 있는 것으로 하는 동시에, 관찰자가 피사체를 관측하려고 하는 공간(매질) 내에 있어서, 광선은 직진하고, 감쇠하지 않는 것으로 한다.
시점 P에서 피사체를 보았을 때의 광선의 궤적(피사체로부터 시점 P에 입사 하는 광선의 궤적)은, 시점 P와 마이크로 렌즈의 광축을 지나, 피사체 상의 각 점을 잇는 직선(도 15의 점선 화살표)에 의해 표현할 수 있다. 이 광선은, 반드시, 평면 Ω과 교차하기 때문에, 그 광선과 일치하는 궤적의 광선에 대응하는 화소값(시점 P에서 피사체를 본 경우의 광선정보와 동일한 광선정보)이, I/O 디스플레이 1에 의해 반드시 취득되어 있다.
즉, 지금, 시점 P와 피사체 상의 어떤 점 Ri를 잇는 직선 Li에 주목하고, 그 직선 Li와 평면 Ω과의 교점을 Qi로 나타낸다. 지금의 경우, 평면 Ω 상의 임의인 점을 시점으로서, 피사체를 촬상한 화상 데이터가 I/O 디스플레이 1에 의해 취득 되어 있기 때문에, 점 Qi를 시점으로 피사체를 촬상한 화상 데이터는, I/O 디스플레이 1에 의해 취득되어 있다.
또한, 지금의 경우, 광선은 직진하고, 또한 감쇠하지 않기 때문에, 피사체 상의 점 Ri로부터, 평면 Ω 상의 점 Qi에 입사하는 광선과, 시점 P에 입사하는 광선과는 동일하다.
따라서, 시점 P에서 피사체를 본 경우, 그 피사체 상의 점 Ri로부터 시점 P로 향하는 광선에 대응하는 화소값은, 피사체상의 점 Ri로부터 평면 Ω상의 점 Qi로 향하는 광선에 대응하는 화소값에 일치하고, 이 점 Ri로부터 점 Qi로 향하는 광선에 대응하는 화소값은, I/O 디스플레이 1에 의해 취득되어 있다.
이상으로부터, 시점 P에서, 피사체 상의 점 Ri를 보았을 때의 화소값은, 평 면 Ω 상의 점 Qi를 시점으로 촬상된 화상 데이터로부터 얻을 수 있다.
시점 P에서, 피사체 상의 다른 점을 보았을 때의 화소값도, 마찬가지로, 평면 Ω 상의 점을 시점으로 촬상된 화상 데이터로부터 얻을 수 있기 때문에, 결과적으로, 평면 Ω 상의 임의의 점을 시점으로 촬상된 화상 데이터가 존재하면, 그 화상 데이터를 구성하는 화소의 화소값으로부터, 시점 P와 피사체를 연결하는 광선정보와 동일한 광선정보의 광선에 대응하는 화소값을 선택함으로써, 시점 P에서 피사체를 본 화상 데이터를 얻을 수 있게 된다.
또한, 시점 P를 사용자 #2의 시점으로 하고, I/O 디스플레이 1로부터 I/O 디스플레이 2에 송신되어 오는 화상 데이터에 근거하여, 그 화상 데이터를 구성하는 각 화소의 화소값으로부터, 시점 P와 피사체(I/O 디스플레이 1측의 공간에 있어서 사용자 #1이 있는 위치)를 연결하는 광선정보와 동일한 광선정보의 광선에 대응하는 화소값을 선택해서 I/O 디스플레이 2 상에 재현(표시)함으로써, I/O 디스플레이 1측의 공간에서 시점 P에서 사용자 #1을 보았을 때와 마찬가지로, I/O 디스플레이 2측의 공간에서도 사용자 #1의 입체상을 얻을 수 있게 된다.
도 16은, 각 화소의 동작의 예에 대하여 나타내는 도면이다.
예를 들면, 1 프레임 내의, 소정의 수의 행의 화소 전체에 의해 촬상동작이 행해지고, 촬상동작을 행하고 있는 화소와 다른, 소정의 수의 행의 화소 전체에 의해 표시동작이 행해지도록, 각 화소의 동작이 제어된다. 따라서, 1 프레임의 표시(촬영) 시간을 본 경우, 촬영과 표시가 동시에 행해지게 된다.
도 12의 예에 있어서는, 제Y1행째로부터 제Y1-y1행째까지의 화소 전체에 의해 표시동작이 행해지고, 제Y2행째로부터 제Y2-y2행째까지의 화소 전체에 의해 촬상동작이 행해지고 있다.
또한, 촬상동작, 표시동작을 행하게 하는 대상의 행이, 1 프레임 마다, 제Y행째, 제Y+1행째, 제Y+2행째 ···로 했던 바와 같이 I/O 디스플레이 1 위로부터 아래로 순차적으로 전환되고, I/O 디스플레이 1의 하단의 행에 왔을 때, 상단의 행으로부터 그 전환을 반복시킴으로써, 소정의 프레임수의 표시(촬영) 기간을 본 경우, I/O 디스플레이 1을 구성하는 모든 화소에 의해 촬영과 표시가 이루어지게 된다.
이에 따라, 마이크로 렌즈의 수만큼, 각각의 위치를 시점으로 했을 때의 피사체(사용자 #1)의 상을 얻을 수 있다.
또한, 사용자 #1의 촬영과 함께, 마이크로 렌즈의 수만큼, 사용자 #2의 개안상을 표시할 수 있고, 사용자 #2의 입체상의 재현이 행해진다.
I/O 디스플레이 1의 상단으로부터 하단까지를, 예를 들면, 30Hz ,60Hz 등의 주기로 촬영을 행하는 화소의 행과 표시를 행하는 화소의 행을 전환함으로써, 화상을 표시하지 않는, 촬상 동작하는 화소의 존재를 사용자 #1에 인식시키지 않고, 사용자 #1의 촬영을 행할 수 있다.
이상과 같이 해서, I/O 디스플레이 1과 I/O 디스플레이 2의 각각에 의해, 피사체의 촬영(IN)과, 통신 상대로부터 송신되어 온 화상에 근거하는 입체상의 재현 (OUT)이 행해진다.
도 17은, I/O 디스플레이 1에 설치되는 정보처리장치(31)의 구성예를 나타내는 블록도이다. I/O 디스플레이 2에도 동일한 구성의 장치가 설치된다.
이때, 정보처리장치(31)는, I/O 디스플레이 1과 일체로 형성되게 해도 되고, 다른 케이스의 것으로 형성되게 해도 된다.
CPU(Central Processing Unit)(41)는, ROM(Read Only Memory)(42)에 기억되어 있는 프로그램, 또는, 기억부(48)로부터 RAM(Random Access Memory)(43)에 로드 된 프로그램에 따라 각종의 처리를 실행한다. RAM(43)에는 또한 CPU(41)가 각종의 처리를 실행하는 데에 있어서 필요한 데이터 등이 적의 기억된다.
CPU(41), ROM(42),및 RAM(43)은, 버스(44)를 통해 서로 접속되어 있다. 이 버스(44)에는 또한, 입출력 인터페이스(45)도 접속되어 있다.
입출력 인터페이스(45)에는, I/O 디스플레이 1, 키보드, 마우스 등으로 이루어지는 입력부(46), 스피커 등으로 이루어지는 출력부(47), 하드디스크 등으로 구성되는 기억부(48), 통신로(3)를 통한 통신을 행하는 통신부(49)가 접속되어 있다.
입출력 인터페이스(45)에는 또한, 필요에 따라 드라이브(50)가 접속되고, 자기디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 리무버블 미디어(51)가 적의 장착되고, 그것으로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(48)에 인스톨된다.
도 18은, 정보처리장치(31)의 기능적인 구성예를 나타내는 블록도이다. 도 18에 나타내는 구성의 적어도 일부는, 도 17의 CPU(41)에 의해 소정의 프로그램이 실행됨으로써 실현된다.
검출부(61)는, I/O 디스플레이 1의 화소 중, 촬상동작을 행하고 있는 화소로부터의 출력을 검출하고, 각각의 화소에 대하여 외부로부터 광이 조사되어 있는 것인지 아닌지 및 광의 양을 검출한다. 검출부(61)에 의한 검출 결과(화소값)는 개안상 생성부(62)에 출력된다.
검출부(61)의 촬상영역 설정부(81)는, I/O 디스플레이 1의 화소의 구동을 제어하고, 촬상영역을 설정한다. 즉, 촬상영역 설정부(81)는, 촬영을 행하게 하는 화소에 대하여 예를 들면, 0V 근방의 전압을 인가하고, 그 화소에 의해 촬상영역을 형성시킨다.
개안상 생성부(62)는, 검출부(61)로부터 공급되어 오는 검출 결과에 근거하여, 각 화소의 화소값을 합성함으로써 개안상을 생성한다. 개안상 생성부(62)에 의해 생성된 개안상의 화상 데이터는, 화상 처리부(63)에 출력된다.
화상 처리부(63)는, 개안상 생성부(62)로부터 공급되어 오는 화상 데이터에 근거하여 각각의 개안상의 화상처리를 행하고, 처리를 실시해서 얻을 수 있는 화상 데이터를 버퍼(64)에 기억시킨다.
예를 들면, 화상 처리부(63)는, 촬상된 개안상을 그대로 표시한 경우, 재현되는 입체상은, 그 깊이 방향, 즉, 요철이 역전한 상이 되기 때문에, 그것을 정립상으로 변환하는 처리를 행한다. 이때, 요철이 역전한 상이 되는 것은, 피사체의 우측에서 촬상한 상을, 좌측에서 관찰자가 관찰하게 되기 때문이다.
버퍼(64)에 소정의 수의 개안상의 화상 데이터가 기억된 경우, 압축 신장 처 리부(65)는, 그것들의 개안상의 화상 데이터를 압축하고, 압축해서 얻어지는 데이터를 송수신 제어부(66)에 출력한다.
각각의 개안상은 매우 서로 비슷하기 때문에, 압축 신장 처리부(65)는, 예를 들면, 어떤 위치에서 취득된 기준이 되는 1개의 개안상을 중심으로 하여, 주위의 위치에서 취득된 5ㅧ5개 등의 소정의 수의 개안상을 1개의 그룹으로 하고, 그 기준이 되는 개안상에 대해서는, JPEG(Joint Photographic Expert Group) 방식 등으로 압축된 1개의 화상 전체의 화상 데이터가 송신되고, 다른 24개의 개안상에 대해서는, 기준이 되는 개안상과의 차이의 데이터만이 송신되도록 해서 화상 데이터의 압축을 행한다.
또한, 압축 신장 처리부(65)는, I/O 디스플레이 2에서 촬상된 화상 데이터가 송수신 제어부(66)로부터 공급되어 왔을 때, 그것을 신장하고, 신장해서 얻어지는 화상 데이터를 버퍼(67)에 기억시킨다. 버퍼(67)에 기억되는 화상 데이터는, 예를 들면, 사용자 #2의 개안상의 데이터이다.
송수신 제어부(66)는, 도 17의 통신부(49), 통신로(3)를 통해 I/O 디스플레이 2와의 사이에서 행해지는 통신을 제어한다. 송수신 제어부(66)는, 압축 신장 처리부(65)로부터 공급되어 온 화상 데이터를 I/O 디스플레이 2(I/O 디스플레이 2의 정보처리장치(31))에 송신하는 동시에, I/O 디스플레이 2로부터 송신되어 온 화상 데이터를 압축 신장 처리부(65)에 출력한다.
표시 제어부(68)는, 버퍼(67)에 기억되어 있다, I/O 디스플레이 2에 의해 촬상된 개안상의 화상 데이터에 근거하여 표시동작을 행하고 있는 화소에 개안상을 표시시킨다. 표시 제어부(68)에 의해 개안상이 표시되는 영역은, 그 개안상의 촬영이 행해진 I/O 디스플레이 2의 영역에 대응하는 위치에 있는 영역이다.
표시 제어부(68)의 표시영역 설정부(91)는, I/O 디스플레이 1의 화소의 구동을 제어하고, 표시영역을 설정한다. 즉, 표시영역 설정부(91)는, 표시를 행하게 하는 화소에 대하여 정방향의 전압을 인가하고, 그 화소에 의해 표시영역을 형성시킨다.
다음에, 도 19 및 도 20의 플로우차트를 참조하여, 정보처리장치(31)의 동작에 대하여 설명한다. 이때, 도 19의 촬영처리와, 도 20의 표시 처리는 병렬적으로 행해지는 것이다.
처음에, 도 19의 플로우차트를 참조하여, 정보처리장치(31)의 촬영처리에 대하여 설명한다.
스텝 S1에서, 검출부(61)의 촬상영역 설정부(81)는, 촬상을 동작을 행하게 하는 I/O 디스플레이 1의 화소에 대하여 예를 들면, 0V 근방의 전압을 인가하고, 촬상영역을 설정한다.
스텝 S2에서, 검출부(61)는 피사체의 촬영을 행한다. 즉, I/O 디스플레이 1의 화소 중, 촬상동작을 행하고 있는 화소로부터의 출력을 검출하고, 그 화소에 대하여 외부로부터 광이 조사되어 있는 것인지 아닌지 및 광의 양을 검출한다. 검출부(61)에 의한 검출 결과인 화소값은 개안상 생성부(62)에 출력된다.
스텝 S3에서, 개안상 생성부(62)는, 검출부(61)로부터 공급되어 오는 검출 결과에 근거하여 개안상을 생성한다. 생성된 개안상의 화상 데이터는 화상 처리부 (63)에 출력된다.
스텝 S4에서, 화상 처리부(63)는, 개안상 생성부(62)로부터 공급되어 오는 화상 데이터에 근거하여 각각의 개안상에 대하여 소정의 화상처리를 행하고, 처리를 실시해서 얻어지는 화상 데이터를 버퍼(64)에 기억시킨다. 화상처리의 상세에 대해서는, 도 35를 참조해서 설명한다.
버퍼(64)에 소정의 수의 개안상의 화상 데이터가 기억되었을 때, 압축 신장 처리부(65)는, 스텝 S5에서, 그것들의 개안상의 화상 데이터를 압축하고, 압축해서 얻어지는 데이터를 송수신 제어부(66)에 출력한다. 상기한 바와 같이, 여기에서의 압축은, 기준이 되는 1개의 개안상을 중심으로 해서 5ㅧ5개 (25개) 등의 소정의 수의 개안상을 1개의 그룹으로 하고, 그 기준이 되는 개안상에 대해서는, 전체의 화상 데이터가 송신되고, 다른 24개의 개안상에 대해서는, 기준이 되는 개안상과의 차이의 데이터만이 송신되도록 해서 화상 데이터의 압축이 행해진다.
스텝 S6에서, 송수신 제어부(66)는, 도 17의 통신부(49)를 제어하고, 통신로(3)를 통해, 압축된 사용자 #1의 개안상의 화상 데이터를 I/O 디스플레이 2에 송신하고, 처리를 종료시킨다.
이상의 처리가 반복되어, 촬상영역을 구성하는 화소가 순차적으로 전환됨으로써 I/O 디스플레이 1(정보처리장치(31))에 의해, I/O 디스플레이 1 상의 복수의 점을 시점으로 한 사용자 #1의 개안상을 얻을 수 있다.
다음에 도 20의 플로우차트를 참조하여, 입체상을 재현하는 정보처리장치(31)의 표시 처리에 대하여 설명한다.
스텝 S11에서, 송수신 제어부(66)는, I/O 디스플레이 2로부터 송신되어 온 화상 데이터를 수신하고, 수신한 화상 데이터를 압축 신장 처리부(65)에 출력한다.
스텝 S12에서, 압축 신장 처리부(65)는, I/O 디스플레이 2로부터 송신되어 온 화상 데이터를 신장하고, 신장해서 얻어지는 화상 데이터를 버퍼(67)에 기억시킨다.
표시 제어부(68)의 표시영역 설정부(91)는, 스텝 S13에서, 표시를 동작을 행하게 하는 I/O 디스플레이 1의 화소에 대하여 정방향의 전압을 인가하고, 표시영역을 설정한다. 표시영역은, 도 19의 스텝 S1에서 설정되는 촬상영역과 다른 위치에 설정된다.
표시 제어부(68)는, 버퍼(67)에 기억되어 있는 화상 데이터에 근거하여 표시영역을 구성하는 화소에 개안상을 표시시킨다. 표시 제어부(68)에 의해 개안상이 표시되는 영역은, 그 개안상의 촬영이 행해진 I/O 디스플레이 2의 영역에 대응하는 위치에 있는 영역이다.
이상의 처리가 반복되고, 표시영역을 구성하는 화소가 순차 전환됨으로써 I/O 디스플레이 1에 의해, 사용자 #2의 입체상이 재현된다.
이상의 도 19 및 도 20의 처리가 I/O 디스플레이 2에서도 행해짐으로써 I/O 디스플레이 2를 이용하는 사용자 #2도, 사용자 #1의 입체상을 실시간으로 볼 수 있고, 커뮤니케이션을 취할 수 있다.
또한, 촬영과 표시가 1개의 I/O 디스플레이에 의해 행해지기 때문에, 시선을 일치시킨 상태에서, 즉, 사용자 #1은 I/O 디스플레이 1에 의해 재현되는 사용자 #2 의 눈을 보면서, 한편, 사용자 #2는 I/O 디스플레이 2에 의해 재현되는 사용자 #1의 눈을 보면서, 커뮤니케이션을 취할 수 있고, 원격지간에서의 커뮤니케이션에 있어서 문제시 되어 있었던 시선의 불일치의 문제를 해소할 수 있다.
이때, 시선의 불일치의 문제를 해소시킨다는 관점에서 보면, I/O 디스플레이에 의해 재현되는 상대의 상은 입체상인 것에 한정되지 않는다.
도 21은, 본 발명을 적용한 통신시스템의 구성예를 나타내는 도면이다. 구성 자체는, 도 1의 시스템과 동일하다.
즉, I/O 디스플레이 1에, I/O 디스플레이 2에 의해 촬상된 사용자 #2의 화상(평면상)이 실시간으로 표시됨으로써, 사용자 #1은, I/O 디스플레이 1에 표시되는 사용자 #2의 눈을 보면서 사용자 #2와 커뮤니케이션을 취할 수 있다.
또한, 전술한 바와 같이 하여, 표시되는 사용자 #2의 눈을 보고 있는 사용자 #1의 상도, I/O 디스플레이 1에 의해 촬상되고, 그것이 I/O 디스플레이 2에서 재현되기 때문에, 사용자 #2도, I/O 디스플레이 2에 표시되는, 사용자 #2의 눈을 보고 있는 사용자 #1의 눈을 보면서, 사용자 #1과 커뮤니케이션을 취할 수 있다.
이렇게, 입체상이 재현되는 것은 아니며, 간단히, 한쪽의 I/O 디스플레이에 의해 촬상된 피사체의 화상이, 다른쪽의 I/O 디스플레이에 표시되는 것에 의해서도, 시선의 불일치를 해소할 수 있다.
이때, 이 경우, 마이크로 렌즈 어레이는 불필요하게 되고, I/O 디스플레이에 1개의 렌즈가 설치되고, 1개의 상을 얻을 수 있으면 된다.
이때, 이상에 있어서는, TFT가 각 화소에 설치된다고 했지만, 외부로부터의 광을 수광하는 것에 의해 누설 전류를 발생하고, 또한, 그 온/오프에 의해 화소의 동작을 전환할 수 있는 것이면, 어떤 트랜지스터가 설치되도록 해도 된다.
또한, 이상에 있어서는, 촬상된 개안상을 정립된 상으로 변환하는 처리는, I/O 디스플레이 1에서 촬상된 것이면 I/O 디스플레이 1의 정보처리장치(31)에서, 또는, I/O 디스플레이 2에서 촬상된 것이면 I/O 디스플레이 2의 정보처리장치(31)에서, 즉, 촬상측의 장치로 행해진다고 했지만, 이 처리는 개안상을 수신한 표시측의 장치로 행해지도록 해도 된다.
이 경우, I/O 디스플레이 1에 의해 촬상된 사용자 #1의 개안상은, 도립한 상태 그대로 I/O 디스플레이 2의 정보처리장치(31)에 송신되고, I/O 디스플레이 2의 정보처리장치(31)에서 정립으로 변환하는 처리가 행해지고, 표시되게 된다. 반대로, I/O 디스플레이 2에 의해 촬상된 사용자 #2의 개안상은, 도립한 상태 그대로I/O 디스플레이 1의 정보처리장치(31)에 송신되고, I/O 디스플레이 1의 정보처리장치(31)에서 정립으로 변환하는 처리가 행해지고, 표시되게 된다.
또한, 이렇게 하여 촬상측 또는 표시측에서 행해지는 화상처리는, 도립의 상을 정립된 상으로 변환하는 처리에 한정되는 것은 아니며, 확대/축소 등의 다른 처리가 행해지도록 하는 것도 가능하다.
처음에, 촬상된 개안상을 확대/축소함으로써 얻어진 개안상을, 입체상을 재현시키기 위해 사용하는 경우에 대하여 설명한다. 확대/축소함으로써 크기가 조정된 개안상을 입체상의 재현 시에 사용함으로써, 입체상의 재현위치를 조정하는 것이 가능하게 된다.
도 22 내지 도 24는, 입체상의 재현 시에 1개의 표시영역에 표시되는 개안상의 크기의 예를 나타내는 도면이다.
도 22 내지 도 24의 표시영역에는 사용자 #1의 개안상이 표시되어 있기 때문에, 이 표시영역이 형성되어 있는 디스플레이는 I/O 디스플레이 2이다.
도 22의 개안상은, 도 23의 개안상보다도 크고, 도 24의 개안상보다도 작은 상이다. 마이크로 렌즈에 의해 촬상영역에 결상하는 피사체의 상은, 촬상영역(I/O 디스플레이 표면)으로부터 피사체까지의 거리 등에 의해 변경되어 오지만, 이 도 22의 개안상은, 예를 들면, 촬상된 그대로의 상, 즉, 확대/축소 처리가 행해져 있지 않은 상이다.
도 23의 개안상은, 도 22 내지 도 24의 개안상 중에서 가장 작은 상이고, 도 22의 개안상을 축소해서 얻어지는 것이다. 도 24의 개안상은, 도 22 내지 도 24의 개안상 중에서 가장 큰 상이고, 도 22의 개안상을 확대해서 얻어지는 것이다.
예를 들면, 촬상측의 디스플레이인 I/O 디스플레이 1에서 촬상된 사용자 #1의 개안상(도 22의 크기의 개안상)은, 정립된 상으로 변환되고, 필요에 따라, 또한, 도 23에 나타내는 바와 같은 크기로 조정하도록 축소 처리가 시행된 후, 혹은, 도 24에 나타내는 바와 같은 크기로 조정하도록 확대 처리가 시행된 후, 표시측의 디스플레이인 I/O 디스플레이 2의 각각의 표시영역에 표시된다.
도 25는, 도 22의 개안상이 표시측의 디스플레이인 I/O 디스플레이 2에 표시됨으로써 재현되는 사용자 #1의 입체상을 나타내는 도면이다. I/O 디스플레이 1에서 촬상된 사용자 #1의 개안상에 대하여 확대/축소 처리는 시행되어 있지 않다.
도 12를 참조해서 설명한 바와 같이, I/O 디스플레이 2의 각각의 표시영역에, 대응하는 I/O 디스플레이 1의 촬상영역에서 촬상되고, 반전된 개안상이 표시됨으로써, 관찰자인 사용자 #2는, I/O 디스플레이 2 너머로, 사용자 #1의 입체상이 재현되어 있는 것처럼 관찰할 수 있다.(도 25의 점선으로 나타내는 사용자 #1의 입체상의 위치로부터 사용자 #2로 향하는 광선이 I/O 디스플레이 2에 의해 재현된다).
여기서, 도 22의 개안상이 각각의 표시영역에 표시됨으로써 재현되는 사용자 #1의 입체상과, I/O 디스플레이 2의 사이의 거리를 도 25에 나타내는 바와 같이 거리 L1로 한다.
도 26은, 도 25에 나타내는 바와 같이, I/O 디스플레이 2로부터 거리 L1의 위치에 사용자 #1의 입체상이 재현되어 있는 경우의 I/O 디스플레이 2의 표시예(사용자 #2가 보이는 방법)를 나타내는 도면이다.
도 26에 나타내는 바와 같이, 거리 L1에 따른 크기의 사용자 #1의 입체상을 사용자 #2는 관찰할 수 있다. 도 26의 사용자 #1의 그림은 입체상을 나타낸다. 또한, 도 26의 상의 예를 들면, 상하 방향의 길이는, 도 25의 사용자 #1의 입체상의 상단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점으로부터, 입체상의 하단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점까지의 길이에 해당하는 것이다.
도 27은, 도 23의 개안상(작은 개안상)이 I/O 디스플레이 2에 표시됨으로써 재현되는 사용자 #1의 입체상을 나타내는 도면이다.
I/O 디스플레이 2에 형성되는 각각의 표시영역에, 대응하는 I/O 디스플레이 1의 촬상영역에서 촬상되고, 반전 처리와 축소 처리가 시행된 개안상이 표시됨으로써, 관찰자인 사용자 #2는, I/O 디스플레이 2 너머로, 도 22의 개안상에 의해 재현되는 위치보다도 먼 위치에 사용자 #1의 입체상이 재현되어 있는 것처럼 관찰 할 수 있다.(도 27의 점선으로 나타내는 사용자 #1의 입체상의 위치로부터 사용자 #2로 향하는 광선이 I/O 디스플레이 2에 의해 재현된다).
즉, 도 23의 개안상이 각각의 표시영역에 표시된 경우에 재현되는 사용자 #1의 입체상과 I/O 디스플레이 2의 사이의 거리는, 도 27에 나타내는 바와 같이 도 25의 거리 L1보다 긴 거리인 거리 L2가 된다. 이때, 도 27에서, 사용자 #1의 입체상과 I/O 디스플레이 2의 사이에 나타내는 점선의 원은, 개안상의 축소를 행하지 않으면 입체상이 재현되는 본래의 위치, 즉 도 25의 사용자 #1의 입체상의 위치를 나타낸다.
도 28은, 도 27에 나타내는 바와 같이 I/O 디스플레이 2로부터 거리 L2의 위치에 사용자 #1의 입체상이 재현되어 있는 경우의 I/O 디스플레이 2의 표시예를 나타내는 도면이다.
이 경우, 도 26일 때보다 멀리 입체상이 재현되어 있는 것이기 때문에, 도 28에 나타내는 바와 같이 도 26의 입체상보다 작은 입체상을 사용자 #2는 관찰할 수 있다. 도 28의 사용자 #1의 그림도 입체상을 나타낸다. 또한 도 28의 상 위하방의 길이는, 도 27의 사용자 #1의 입체상의 상단으로부터 사용자 #2의 눈으로 향하 는 직선이 I/O 디스플레이 2와 교차하는 점으로부터, 입체상의 하단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점까지의 길이에 해당하는 것이다.
도 29는, 도 24의 개안상(큰 개안상)이 I/O 디스플레이 2에 표시됨으로써 재현되는 사용자 #1의 입체상을 나타내는 도면이다.
I/O 디스플레이 2에 형성되는 각각의 표시영역에, 대응하는 I/O 디스플레이 1의 촬상영역에서 촬상되고, 반전 처리와 확대 처리가 시행된 개안상이 표시됨으로써, 관찰자인 사용자 #2는, I/O 디스플레이 2 너머로, 도 22의 개안상에 의해 재현되는 위치보다도 가까운 위치에 사용자 #1의 입체상이 재현되어 있는 것처럼 관찰 할 수 있다.(도 29의 점선으로 나타내는 사용자 #1의 입체상의 위치로부터 사용자 #2로 향하는 광선이 I/O 디스플레이 2에 의해 재현된다).
즉, 도 24의 개안상이 각각의 표시영역에 표시되었을 경우에 재현되는 사용자 #1의 입체상과 I/O 디스플레이 2의 사이의 거리는, 도 25의 거리 L1보다 짧은 거리인 거리 L3이 된다. 이때, 도 29에서, 사용자 #1의 입체상으로부터, 또한 I/O 디스플레이 2로부터 떨어진 위치에 나타내는 점선의 원은, 개안상의 확대를 행하지 않으면 재현되는 본래의 위치, 즉 도 25의 사용자 #1의 입체상의 위치를 나타낸다.
도 30은, 도 29에 나타내는 바와 같이, I/O 디스플레이 2로부터 거리 L3의 위치에 사용자 #1의 입체상이 재현되어 있는 경우의 I/O 디스플레이 2의 표시예를 나타내는 도면이다.
이 경우, 도 26일 때보다 가깝게 입체상이 재현되어 있는 것이기 때문에, 도 30에 나타내는 바와 같이 도 26의 입체상보다 큰 입체상을 사용자 #2는 관찰 할 수 있다. 도 30의 사용자 #1의 그림도 입체상을 나타낸다. 또한, 도 30의 상하 방향의 길이는, 도 29의 사용자 #1의 입체상의 상단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점으로부터, 입체상의 하단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점까지의 길이에 해당하는 것이다.
이상과 같이, 표시영역에 표시되는 개안상의 크기를 조정함으로써, 입체상의 재현위치를 조정할 수 있다.
이 입체상의 재현위치를 조정하는 것은, 예를 들면, 입체상을 재현하는 I/O 디스플레이가 작을 경우 등에 사용할 수 있다.
전술한 바와 같이, 예를 들면, 도 25에 나타내는 바와 같이 거리 L1만큼 I/O 디스플레이 2로부터 떨어진 위치에 재현되는 사용자 #1의 입체상(얼굴 부근) 전체를 사용자 #2가 보기 위해서는, 사용자 #2가 위치를 변경하지 않는다고 하면, I/O 디스플레이 2의 세로방향의 길이는, 적어도, 사용자 #1의 입체상의 상단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점으로부터, 입체상의 하단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점까지의 길이만큼 확보할 필요가 있다.
또한, I/O 디스플레이 2의 횡방향의 길이는, 적어도, 사용자 #1의 입체상의 좌단(사용자 #2에서 본 사용자 #1의 입체상의 좌단)으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점으로부터, 입체상의 우단으로부터 사용자 #2의 눈으로 향하는 직선이 I/O 디스플레이 2와 교차하는 점까지의 길이만큼 확보할 필요가 있다.
이렇기 때문에, 사용자 #1의 입체상을 재현하는 I/O 디스플레이가, 도 31에 나타내는 바와 같이 최저한 확보할 필요가 있는 범위보다 작은 표시 범위밖에 없는 I/O 디스플레이 101일 경우, 개안상의 축소 처리가 행해지지 않는다고 하면, 이 I/O 디스플레이 101을 이용하는 사용자 #2는, 재현되는 사용자 #1의 입체상의 전체를 볼 수 없게 된다. 즉, 상대의 눈을 보면서 커뮤니케이션을 취한다는 것이 곤란해지는 경우가 있다.
도 31에서, 점선의 직선은 I/O 디스플레이 2의 크기를 나타낸다. 또한 사용자 #1의 입체상 중, 실선으로 나타내는 범위는 I/O 디스플레이 101을 사용해서 사용자 #2가 볼 수 있는 범위를 나타내고, 점선으로 나타내는 범위는 사용자 #2가 볼 수 없는 범위를 나타낸다. I/O 디스플레이 101은, I/O 디스플레이 1 및 2와 동일한 구성을 갖는 디스플레이로, 이것을 이용하는 사용자 #2의 개안상을 촬상하고, I/O 디스플레이 1에 송신할 수 있는 동시에, I/O 디스플레이 1로부터 송신되어 온 데이터에 근거하여 사용자 #1의 입체상을 재현할 수 있는 것이다.
따라서, 이렇게, 관찰자인 사용자 #2가, 재현되는 사용자 #1의 입체상의 얼굴 부근의 전체를 볼 수 없는 경우, 사용자 #2가 그 전체를 볼 수 있는 위치가 되도록, 입체상의 재현위치가, 도 27을 참조해서 설명한 바와 같이 해서 I/O 디스플레이 101로부터 떨어지도록 조정된다.
도 32는, 사용자 #1의 입체상의 재현위치가, I/O 디스플레이 101로부터 떨어 진 위치가 되도록 조정된 경우의 I/O 디스플레이 101의 표시예를 나타내는 도면이다. 도 32에서, 도 31에 점선으로 나타내고 있는 I/O 디스플레이 2는 생략하고 있다.
이렇게, 도 24에서 나타내는 개안상이 I/O 디스플레이 101의 각각의 표시영역에 표시됨으로써, 표시할 수 있는 개안상의 수가 줄어들기 때문에, 입체상의 해상도가 내려가고, 또한 볼 수 있는 각도도 제한되지만, 도 28의 입체상과 동일한, I/O 디스플레이 101에서도 사용자 #2가 그 전체를 볼 수 있는 크기의 입체상이 재현되게 된다. 따라서, 사용자 #2는, 사용자 #1의 얼굴 전체를 보면서, 사용자 #1과 커뮤니케이션을 취할 수 있다.
한편, I/O 디스플레이 2보다 작은 I/O 디스플레이 101이라도, 사용자 #2의 개안상을 취득시켜, 그것을 I/O 디스플레이 1의 정보처리장치(31)에 송신시키는 것이 가능하고, 이에 따라 사용자 #1은, I/O 디스플레이 1에 의해 재현되는 사용자 #2의 입체상을 볼 수 있다.
이때, 개안상을 확대시켜, 입체상의 재현위치를 관찰자 근처로 이동시키는 것은, 예를 들면, 디스플레이의 크기에 대하여, 관찰자가 볼 수 있는 입체상이 작을 경우, 그것을 크게 하기 위함 등에 사용되게 해도 된다. 또한, 촬상시에는, 각각의 마이크로 렌즈의 위치로부터, 즉 복수의 시점으로부터 촬영이 이루어지기 때문에, 촬상된 각각의 개안상에 근거하여 촬상측의 I/O 디스플레이로부터 피사체까지의 거리가 측정되고, 그 거리의 정보에도 근거해서 입체상의 재현위치가 조정되도록 해도 된다.
여기서, 입체상의 재현위치를 조정할 수 있는 것의 원리에 대하여 도 33을 참조해서 설명한다.
도 33에서는, 설명의 편의상, 표시영역은 1개의 마이크로 렌즈에 대하여 충분히 넓은 것으로 한다. 또한 개안상과, 재현되는 입체상을 3각형으로 나타낸다.
색칠된 삼각형인 삼각형 #1 및 #2는, 반전 처리만이 시행된 개안상을 나타내고, 삼각형 #3은, 삼각형 #1 및 #2에 의해 재현되는(재현되어 있는 것처럼 관찰자가 보이는) 입체로 나타낸다. 삼각형 #1 및 #2는 동일한 크기이다.
빗금친 삼각형인 삼각형 #11 및 #12는, 반전 처리에 부가하여 또 축소 처리(50%로 축소)도 시행된 개안상을 의미하고, 삼각형 #13은, 삼각형 #11 및 #12에 의해 재현되는 입체상을 나타낸다. 삼각형 #11 및 #12는 동일한 크기이다.
도 33에서는, 렌즈 어레이면으로부터 I/O 디스플레이 2의 표시면(화소면)까지의 거리는 f로 나타내고, 마이크로 렌즈 #21, #22를 통해, 관찰자인 사용자 #2의 눈에 오는 광선을 생각하는 것으로 한다. 또한 마이크로 렌즈 #21과 #22의 거리는 B이다.
삼각형 #1의 저변을 마이크로 렌즈 #21의 광축상, 삼각형 #2의 저변을 마이크로 렌즈 #22의 광축으로부터 D2만큼 떨어진 위치로 하고, 각각의 삼각형의 높이를 D1로 하면, 이들 삼각형 #1 및 #2가 I/O 디스플레이 2에 표시됨으로써 마이크로 렌즈 #21 및 #22를 각각 통해 사용자 #2의 눈에 들어오는 광선은, 가상적으로, 렌즈 어레이면에서 거리 L1만큼 떨어진 위치에 있는 삼각형 #3으로부터 유래하는 광선과 동일한 것으로 된다.
따라서, 사용자 #2는, 가상적으로, 렌즈 어레이면으로부터 거리 L1만큼 떨어진 위치에 있는 삼각형 #3을 볼 수 있다. 이 삼각형 #3의 높이는, 마이크로 렌즈 #21의 광축을 기준으로 하여 A이다.
한편, 삼각형 #1을 축소해서 얻어지는 삼각형 #11의 저변을 마이크로 렌즈 #21의 광축상, 삼각형 #2를 축소해서 얻어지는 삼각형 #12의 저변을 마이크로 렌즈 #22의 광축으로부터 D2a만큼 떨어진 위치로 하고, 각각의 삼각형의 높이를 D1a로 하면, 이들 삼각형 #11 및 #12가 I/O 디스플레이 2에 표시됨으로써 마이크로 렌즈 #21 및 #22를 각각 통해 사용자 #2의 눈에 들어오는 광선은, 가상적으로, 렌즈 어레이면에서 거리 L1a(L1a>L1)만큼 떨어진 위치에 있는 삼각형 #13으로부터 유래하는 광선과 동일한 것으로 된다. 예를 들면, 삼각형 #11이 표시됨으로써, 삼각형 #13의 점 P11로부터 사용자 #2의 눈에 전해지는 광선이, 삼각형 #11의 점 P1로부터 전해지는 광선에 의해 재현되게 된다. 이 거리 L1a는, 삼각형 #13의 높이로서 삼각형 #3과 같은 높이 A를 확보하는 경우에 정해지는 거리이다.
이에 따라, 사용자 #2는, 가상적으로, 렌즈 어레이면으로부터 거리 L1a만큼 떨어진 위치에 있는 삼각형 #13을 볼 수 있다.
이상으로부터, 하기 식 (1), (2)가 성립된다.
f:D1 = L1:A…(1)
f:D1a = L1a:A…(2)
식 (1), (2)로부터 하기 식 (3)이 성립된다.
D1:D1a = L1a:L1…(3)
또한, 하기 식(4), (5)가 성립한다.
f:D2 = L1:B…(4)
f:D2a = L1a:B…(5)
식 (4), (5)로부터 하기 식 (6)이 성립된다.
D2:D2a = L1a:L1…(6)
이상으로부터, 어느 개안상에 있어서도, 각 마이크로 렌즈의 광축을 중심으로 하여 확대/축소시킴으로써 입체상의 재현위치를 변경할 수 있는 것을 안다.
이때, I/O 디스플레이 2로부터 떨어진 위치에 재현되는 것처럼 보이는 상일 수록, 깊이가 느껴지는 상이 된다. 도 33에서는, 삼각형 #3의 저변의 길이보다, 삼각형 #13의 저변의 길이 쪽이 길다.
다음에, 이상과 같은 화상처리를 행하는 화상 처리부(63)(도 18)의 구성에 대하여 설명한다.
도 34는, 화상 처리부(63)의 구성예를 나타내는 블록도이다.
화상 처리부(63)는, 반전 처리부(111)와 확대/축소 처리부(112)로 구성된다. 이 중의 반전 처리부(111)는, 개안상 생성부(62)로부터 공급되어 온 개안상에 대하여 마이크로 렌즈의 광축을 중심으로 한 반전 처리를 실시하고, 얻어진 개안상을 확대/축소 처리부(112)에 출력한다.
확대/축소 처리부(112)는, 반전 처리부(111)로부터 공급되어 온 개안상을, 외부로부터 입력되는 제어신호에 따라 확대/축소하고, 얻어진 개안상을 버퍼(64)에 기억시킨다. 확대/축소 처리부(112)에 대하여 입력되는 제어신호는, 예를 들면, 피사체와의 거리, 입체상을 재현하는 표시측의 I/O 디스플레이의 크기 등에 근거하여 어느 크기의 개안상으로 하는지를 결정하는 도시하지 않는 기능부로부터 공급되어 오는 것이다.
버퍼(64)에 기억된 개안상은, 도 18의 압축 신장 처리부(65)에 의해 압축된 후, 다른 I/O 디스플레이를 제어하는 정보처리장치에 송신된다. 즉, 도 34는, 촬상측의 I/O 디스플레이를 제어하는 정보처리장치(31)에 있어서, 개안상의 반전 처리 및 확대/축소 처리가 행해지는 경우의 예를 나타내고 있다.
다음에, 도 35의 플로우차트를 참조하여, 도 19의 스텝 S4에서 행해지는 화상처리에 대하여 설명한다.
개안상 생성부(62)에 의해 개안상이 생성된 후, 스텝 S21에서, 화상 처리부(63)의 반전 처리부(111)는, 개안상 생성부(62)로부터 공급되어 온 개안상에 대하여, 각각의 개안상을 표시영역으로 결상시킨 마이크로 렌즈의 광축을 중심으로 반전 처리를 실시하고, 얻어진 개안상을 확대/축소 처리부(112)에 출력한다.
확대/축소 처리부(112)는, 스텝 S22에서, 반전 처리부(111)로부터 공급되어 온 개안상을, 외부로부터 입력되는 제어신호에 따라 확대/축소하고, 얻어진 개안상을 버퍼(64)에 기억시킨다. 그 후, 처리는 도 19의 스텝 S4로 되돌아오고, 그것 이후의 처리가 행해진다.
이상에 있어서는, 도 34에 나타내는 구성은, 촬상측의 정보처리장치(31)에 설치되고, 도 35에 나타내는 처리가 행해진다고 했지만, 화상처리가 표시시에 행해지는 경우, 그 정보처리장치(31)의 구성은 도 36에 나타내는 것으로 된다.
도 36에서는, 도 18과 동일한 구성에 동일한 부호를 부착하고 있다. 도 36에 나타내는 바와 같이 화상처리가 표시시에 행해지는 경우, 도 18에서는 개안상 생성부(62)와 버퍼(64)의 사이에 설치된 화상 처리부(63)가, 압축 신장 처리부(65)와 버퍼(67)의 사이에 설치된다.
이 화상 처리부(63)는, 도 34에 나타내는 구성과 동일한 구성을 가지고 있고, 압축 신장 처리부(65)에 의해 신장되며, 공급되어 온 개안상에 대하여 반전 처리로 확대/축소 처리를 실시하고, 얻어진 개안상을 버퍼(67)에 기억시킨다.
이러한 구성에 의해, 개안상의 표시시에, 개안상의 수신측의 정보처리장치(31)에 의해 화상처리가 행해지도록 하는 것이 가능하게 된다.
또한, 이상에 있어서는, 반전 처리 외에 행해지는 화상처리가 확대/축소 처리인 경우에 대하여 설명했지만, 개안상 자체의 형태를 변형시킴으로써, 혹은, 개안상의 표시 위치를 이동시킴으로써, 관찰자인 사용자에게, 그것들의 처리를 행하지 않을 때와는 달리 보이는 방법이 이루는 입체상을 제공할 수 있다.
도 37은, 입체상의 재현위치를 이동시킬 수 있는 원리에 대하여 나타내는 도 면이다.
도 37에서, 도 33에 대응하는 부분에는 동일한 부호를 부착하고 있다. 즉, 색칠된 삼각형인 삼각형 #1은 반전 처리만이 시행된 개안상을 의미하고, 삼각형 #2는, 반전 처리에 부가하여 또 변형 처리도 시행된 개안상을 의미한다. 삼각형 #3은 삼각형 #1 및 #2에 의해 재현되는(재현되어 있는 것처럼 관찰자가 보이는) 입체상을 나타낸다.
빗금친 삼각형인 삼각형 #11 및 #12는, 반전 처리에 부가하여 또 변형 처리도 시행된 개안상을 의미하고, 삼각형 #13은 삼각형 #11 및 #12에 의해 재현되는 입체상을 나타낸다.
이 경우, 도 37에 나타내는 바와 같이 소정의 변형 처리를 실시한 삼각형 #11과 #12를, 각각 삼각형 #1과 #2의 위치로부터 위의 위치에 표시함으로써, 마이크로 렌즈 #21 및 #22를 각각 통해 사용자 #2의 눈에 오는 광선은, 가상적으로, 본래의 재현위치로부터 거리 M만큼 위로 이동한 위치에 있는 삼각형 #13으로부터 나오는 광선과 동일하게 된다. 예를 들면, 삼각형 #11이 표시됨으로써, 삼각형 #13의 점 P11로부터 사용자 #2의 눈에 전해지는 광선이, 삼각형 #11의 점 P1로부터 전해지는 광선에 의해 재현되게 된다. 따라서, 사용자 #2는, 가상적으로, 이 재현위치가 이동된 삼각형 #13을 볼 수 있다.
이때, 재현위치를 이동시키기 전의 삼각형 #3의 높이와, 이동한 후의 삼각형 #13의 높이는 모두 A이다. 이러한 입체상의 재현은, 재현하고자 하는 입체상의 위치, 크기, 형상을 상정하고, 변형하지 않는 개안상을 표시시켰을 경우에 재현되는 입체상(본래의 입체상)과 비교하여, 입체상 자체의 크기나 형태를 변경하지 않고, 그 위치에 입체상을 재현하기 위해서는 각각의 개안상을 어떻게 변형하고, 그것들을 어느 화소에 의해 표시하면 되는지가 연산에 의해 구해짐으로써 실현된다.
도 38은, 본래의 입체상의 재현위치와 동일한 위치에, 확대시킨 입체상을 재현시키는 경우의 원리에 대하여 나타내는 도면이다.
도 38에서, 도 33에 대응하는 부분에는 동일한 부호를 부착하고 있다. 즉, 색칠된 삼각형 #1 및 #2는 반전 처리만이 시행된 개안상을 의미하고, 삼각형 #3은 삼각형 #1 및 #2에 의해 재현되는(재현되어 있는 것처럼 관찰자가 보이는) 입체상을 나타낸다. 삼각형 #1 및 #2는 동일한 크기이다.
빗금친 삼각형 #11 및 #12는, 반전 처리에 부가하여 또 변형 처리도 시행된 개안상을 의미하고, 삼각형 #13은 삼각형 #11 및 #12에 의해 재현되는 입체상을 나타낸다. 이 예에 있어서는, 삼각형 #11은, 삼각형 #1의 저변의 길이와 높이 중 어느 길어지도록 변형된 것으로, 삼각형 #12는, 삼각형 #2의 저변의 길이는 거의 그대로, 높이가 길어지도록 변형된 것이다.
도 38에서도, 렌즈 어레이면에서 I/O 디스플레이 2의 표시면까지의 거리는 f로 나타내고, 마이크로 렌즈 #21, #22를 통해, 관찰자인 사용자 #2의 눈에 들어오는 광선을 생각하는 것으로 한다.
도 38에 나타내는 바와 같이 삼각형 #11과 #12를 표시함으로써, 마이크로 렌즈 #21 및 #22를 각각 통해 사용자 #2의 눈에 들어오는 광선은, 가상적으로, 원래 재현되는 입체상인 삼각형 #3을 확대시킨 것과 거의 같은, 삼각형 #13으로부터 유 래하는 광선과 동일하게 된다. 예를 들면, 삼각형 #11이 표시됨으로써, 삼각형 #13의 점 P11로부터 사용자 #2의 눈에 전해지는 광선이, 삼각형 #11의 점 P1로부터 전해지는 광선에 의해 재현되게 된다. 따라서, 사용자 #2는, 가상적으로, 이 확대된 삼각형 #13을 볼 수 있다.
마찬가지로, 소정의 변형 처리를 실시함으로써 얻어진 개안상을 표시함으로써, 원래 재현되는 입체상인 삼각형 #3을 축소시킨 삼각형을 사용자 #2에 제시하는 것도 가능하다.
이렇게, 각각의 개안상에 변형 처리 등도 시행함으로써, 관찰자인 사용자에 대하여, 본래의 재현위치와는 다른 위치에 재현된 입체상을 제시 할 수 있고(도 37), 또한 본래의 재현위치와 같은 위치에, 확대 또는 축소된 입체상을 제시하는 것도 할 수 있다(도 38).
이들 화상처리도, 촬상측 또는 표시측 중 어느 하나의 정보처리장치에 있어서 행해진다. 당연, 복수의 화상처리 중 일부의 처리는 촬상측에서, 나머지의 처리는 표시측에서 각각 처리가 행해지도록 하는 것도 가능하다.
전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다.
일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 삽입되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써 각종의 기능을 실행하는 것이 가능한, 예를 들면, 범용의 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 도 17에 나타나는 바와 같이, 장치 본체와는 별도로, 사용자에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기디스크(플렉서블 디스크를 포함함), 광디스크(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광자기 디스크(MD(등록상표)(Mini-Disk)을 포함함), 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(51)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 삽입된 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(42)이나, 기억부(48)에 포함되는 하드디스크 등으로 구성된다.
이때, 본 명세서에 있어서, 각 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
본 발명에 의하면, 입체상을 생기게 할 수 있다.
또한, 본 발명에 의하면, 보다 자연스러운 형태로 상대와의 커뮤니케이션을 취할 수 있다.
또한, 본 발명에 의하면, 커뮤니케이션을 취하기 위한 기기의 소형화를 실현할 수 있다.

Claims (22)

  1. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치에 있어서,
    촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 수단과,
    상기 취득 수단에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 수단과,
    상기 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 수단과,
    상기 수신 수단에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는 표시제어수단을 구비한 것을 특징으로 하는 정보처리장치.
  2. 제1항에 있어서,
    상기 취득 수단은, 복수의 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 복수의 상기 피사체의 상의 데이터를 취득하는 것을 특징으로 하는 정보처리장치.
  3. 제1항에 있어서,
    상기 표시제어수단은, 상기 수신 수단에 의해 수신된 복수의 상기 다른 피사체의 상의 데이터에 근거하여 복수의 상기 다른 피사체의 상의 각각을 복수의 상기 표시영역에 표시시키는 것을 특징으로 하는 정보처리장치.
  4. 제1항에 있어서,
    상기 촬상영역과 상기 표시영역은, 상기 표시장치의 다른 위치에, 각각의 위치가 순차 이동하도록 형성되는 것을 특징으로 하는 정보처리장치.
  5. 제1항에 있어서,
    상기 취득 수단에 의해 취득된 상기 피사체의 상을 정립된 상으로 변환하는 변환 수단을 더 구비하고,
    상기 송신 수단은, 상기 변환 수단에 의해 변환된 정립의 상기 피사체의 상의 데이터를 상기 다른 정보처리장치에 송신하는 것을 특징으로 하는 정보처리장치.
  6. 제5항에 있어서,
    상기 변환 수단에 의해 정립된 상으로 변환된 상기 피사체의 상을 확대 또는 축소하는 확대축소 처리수단을 더 구비하는 것을 특징으로 하는 정보처리장치.
  7. 제1항에 있어서,
    상기 수신 수단에 의해 데이터가 수신된 상기 다른 피사체의 상을 정립된 상으로 변환하는 변환 수단을 더 구비하고,
    상기 표시제어수단은, 상기 변환 수단에 의해 변환된 정립의 상기 다른 피사체의 상을 상기 표시영역에 표시시키는 것을 특징으로 하는 정보처리장치.
  8. 제7항에 있어서,
    상기 변환 수단에 의해 정립된 상으로 변환된 상기 피사체의 상을 확대 또는 축소하는 확대축소 처리수단을 더 구비한 것을 특징으로 하는 정보처리장치.
  9. 제1항에 있어서,
    상기 취득 수단에 의해 취득된 상기 피사체의 제1 상의 데이터를, 상기 피사체의 제1 상과, 기준이 되는 상기 피사체의 제2 상과의 차이를 이용하여 압축하는 압축 수단을 더 구비하고,
    상기 송신 수단은, 상기 압축 수단에 의해 압축된 상기 피사체의 제1 상의 데이터를, 상기 피사체의 제2 상의 데이터와 함께 상기 다른 정보처리장치에 송신하는 것을 특징으로 하는 정보처리장치.
  10. 제1항에 있어서,
    기준이 되는 상기 다른 피사체의 제1 상의 데이터와, 상기 다른 피사체의 제1 상과의 차이로 표시되는 상기 다른 피사체의 제2 상의 데이터가 상기 수신 수단에 의해 수신된 경우, 상기 다른 피사체의 제2 상의 데이터를, 상기 다른 피사체의 제1 상의 데이터와, 상기 다른 피사체의 제1과 제2 상의 차이에 근거하여 생성하는 생성 수단을 더 구비한 것을 특징으로 하는 정보처리장치.
  11. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치의 정보처 리방법에 있어서,
    촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 스텝과,
    상기 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 스텝과,
    상기 수신 스텝의 처리에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함한 것을 특징으로 하는 정보처리방법.
  12. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체에 있어서,
    촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득시키는 취득 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신시키는 송신 스텝과,
    상기 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신시키는 수신 스텝과,
    상기 수신 스텝의 처리에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함한 것을 특징으로 하는 프로그램이 기록되어 있는 기록 매체.
  13. 삭제
  14. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치에 있어서,
    촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 수단과,
    상기 취득 수단에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 수단을 구비한 것을 특징으로 하는 정보처리장치.
  15. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치의 정보처리방법에 있어서,
    촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득하는 취득 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신하는 송신 스텝을 포함하는 것을 특징으로 하는 정보처리방법.
  16. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체에 있어서,
    촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을, 상기 촬상영역을 구성하는 화소로부터의 출력에 근거하여 취득시키는 취득 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 피사체의 상의 데이터를, 상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치에 송신시키는 송신 스텝을 포함한 것을 특징으로 하는 프로그램이 기록되어 있는 기록 매체.
  17. 삭제
  18. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치에 있어서,
    상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 수단과,
    상기 수신 수단에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는 표시제어수단을 구비한 것을 특징으로 하는 정보처리장치.
  19. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 정보처리장치의 정보처리방법에 있어서,
    상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신하는 수신 스텝과,
    상기 수신 스텝의 처리에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함하는 것을 특징으로 하는 정보처리방법.
  20. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치를 제어하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체에 있어서,
    상기 표시장치와 동일한 구성을 갖는 다른 표시장치를 제어하는 다른 정보처리장치로부터 송신되어 오는, 다른 피사체의 상의 데이터를 수신시키는 수신 스텝과,
    상기 수신 스텝의 처리에 의해 수신된 상기 다른 피사체의 상의 데이터에 근거하여 상기 다른 피사체의 상이 결상한 상기 다른 표시장치의 위치에 대응하는 상기 표시장치의 위치에 형성되는, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 상기 다른 피사체의 상을 표시시키는 표시제어 스텝을 포함하는 것을 특징으로 하는 프로그램이 기록되어 있는 기록 매체.
  21. 삭제
  22. 인가되는 전압에 따라 표시동작과 촬상동작의 전환이 가능한 화소로 이루어지고, 렌즈 어레이가 표면에 설치되는 표시장치에 있어서,
    촬상동작을 행하는 복수의 화소로 이루어지는 촬상영역에 결상한 피사체의 상을 나타내는 신호를 정보처리장치에 출력하고,
    상기 정보처리장치에 의한 제어에 따라, 표시동작을 행하는 복수의 화소로 이루어지는 표시영역에 소정의 화상을 표시하는 것을 특징으로 하는 표시장치.
KR1020050022654A 2004-03-19 2005-03-18 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치 KR101197692B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00080031 2004-03-19
JP2004080031 2004-03-19
JPJP-P-2004-00153017 2004-05-24
JP2004153017A JP4103848B2 (ja) 2004-03-19 2004-05-24 情報処理装置および方法、記録媒体、プログラム、並びに表示装置

Publications (2)

Publication Number Publication Date
KR20060044400A KR20060044400A (ko) 2006-05-16
KR101197692B1 true KR101197692B1 (ko) 2012-11-05

Family

ID=35060507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050022654A KR101197692B1 (ko) 2004-03-19 2005-03-18 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치

Country Status (5)

Country Link
US (1) US7705886B2 (ko)
JP (1) JP4103848B2 (ko)
KR (1) KR101197692B1 (ko)
CN (1) CN1717065B (ko)
TW (1) TWI271099B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820187B2 (ja) * 2006-03-02 2011-11-24 日本放送協会 立体画像撮像表示システム、立体画像撮像装置および立体画像生成装置
JP6149339B2 (ja) 2010-06-16 2017-06-21 株式会社ニコン 表示装置
JP2016001326A (ja) * 2010-06-16 2016-01-07 株式会社ニコン 画像表示装置
US9124881B2 (en) 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images
CN103188512B (zh) * 2011-12-28 2015-05-27 华晶科技股份有限公司 三维影像产生装置
JP6031260B2 (ja) * 2012-05-31 2016-11-24 日本放送協会 画像符号化装置および画像復号装置
JP5774550B2 (ja) 2012-06-27 2015-09-09 日立マクセル株式会社 ピンホールアレイ並びにそれを用いた表示装置
CN104685423B (zh) * 2012-10-23 2017-07-28 李阳 动态立体与全息显示器
US8947563B2 (en) 2013-03-15 2015-02-03 Hewlett-Packard Development Company, L.P. Reducing crosstalk
JP6313569B2 (ja) * 2013-11-07 2018-04-18 日本放送協会 立体映像生成装置、そのプログラム及び立体映像表示装置
CN104599649A (zh) * 2014-12-30 2015-05-06 西安乾易企业管理咨询有限公司 一种液晶屏
JP6907616B2 (ja) * 2017-03-14 2021-07-21 株式会社リコー 立体画像の撮像・表示兼用装置及びヘッドマウント装置
JP7307031B2 (ja) * 2020-05-29 2023-07-11 株式会社日立エルジーデータストレージ 虚像投射装置
WO2023052914A1 (ja) * 2021-09-30 2023-04-06 株式会社半導体エネルギー研究所 表示装置、電子機器、及び発光装置の動作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234702A (ja) 1997-12-10 1999-08-27 Sony Corp 撮像装置、表示装置、撮像／表示装置およびそれらを使用した３次元画像表示システム
US20030071932A1 (en) 2000-02-22 2003-04-17 Yasushi Tanigaki Image displaying and picking-up device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712210B2 (ja) * 1982-06-02 1995-02-08 株式会社日立製作所 撮像表示装置
JP2761829B2 (ja) 1992-11-25 1998-06-04 株式会社日鉄エレックス 三次元立体像表示装置
US5760834A (en) * 1992-09-30 1998-06-02 Lsi Logic Electronic camera with binary lens element array
JP3194258B2 (ja) 1992-11-12 2001-07-30 日本電気株式会社 画像の符号化方式
JP3653790B2 (ja) 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
GB9600804D0 (en) * 1996-01-17 1996-03-20 Robb Garry D Multiphone
US5696371A (en) * 1996-05-23 1997-12-09 Eastman Kodak Company Diffractive/refractive lenslet array
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
GB9806945D0 (en) * 1998-03-31 1998-06-03 British Telecomm Signalling
US6148149A (en) * 1998-05-26 2000-11-14 Microsoft Corporation Automatic image rotation in digital cameras
JP3668651B2 (ja) * 1999-10-01 2005-07-06 ローム株式会社 不揮発性メモリを用いた光−電気変換装置、およびこれを利用した画像装置
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
GB2357650A (en) * 1999-12-23 2001-06-27 Mitsubishi Electric Inf Tech Method for tracking an area of interest in a video image, and for transmitting said area
JP2002218505A (ja) 2001-01-17 2002-08-02 Fuji Xerox Co Ltd ３次元画像撮像装置
US20060256436A1 (en) * 2002-01-23 2006-11-16 The University Of Connecticut Integral three-dimensional imaging with digital reconstruction
US7196728B2 (en) * 2002-03-27 2007-03-27 Ericsson, Inc. Method and apparatus for displaying images in combination with taking images
JP4178089B2 (ja) 2003-09-18 2008-11-12 富士フイルム株式会社 撮像表示装置
JP4616559B2 (ja) 2004-01-15 2011-01-19 大日本印刷株式会社 表示装置及び表示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234702A (ja) 1997-12-10 1999-08-27 Sony Corp 撮像装置、表示装置、撮像／表示装置およびそれらを使用した３次元画像表示システム
US20030071932A1 (en) 2000-02-22 2003-04-17 Yasushi Tanigaki Image displaying and picking-up device

Also Published As

Publication number Publication date
CN1717065A (zh) 2006-01-04
US20050226319A1 (en) 2005-10-13
CN1717065B (zh) 2011-06-15
TWI271099B (en) 2007-01-11
US7705886B2 (en) 2010-04-27
KR20060044400A (ko) 2006-05-16
JP4103848B2 (ja) 2008-06-18
JP2005303966A (ja) 2005-10-27
TW200618611A (en) 2006-06-01

Similar Documents

Publication Publication Date Title
KR101197692B1 (ko) 정보처리장치 및 방법, 기록 매체, 프로그램, 및 표시장치
JP4616559B2 (ja) 表示装置及び表示システム
US7535468B2 (en) Integrated sensing display
JP4677175B2 (ja) 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
CN113038111A (zh) 用于图像捕获和处理的方法、系统和介质
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN105474273A (zh) 后期重投影
CN105393283A (zh) 增强现实体验的重投影oled显示
US8908054B1 (en) Optics apparatus for hands-free focus
WO2016107329A1 (en) Light field display control methods and apparatuses, light field display devices
KR20160134714A (ko) 가변 초점 및/또는 객체 인식 기능을 가진 웨어러블 3d 증강 현실 디스플레이
KR20070052131A (ko) 중간 요소 영상을 이용한 입체 영상 표시 장치
CN102124749A (zh) 立体图像显示装置
WO2016056735A1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR20140107469A (ko) 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체
JP5078781B2 (ja) 画像表示装置及び撮像装置
KR100430381B1 (ko) 입체 영상 표시 장치
JP3501359B2 (ja) 全焦点撮像方法および立体表示方法
US20240129450A1 (en) Pre-Processing in a Display Pipeline
US8125555B2 (en) Image display device
JPH1132251A (ja) 画像処理装置
JP2007108626A (ja) 立体映像生成システム
JP2013186254A (ja) 映像提示装置および映像提示プログラム
JP5330623B2 (ja) 表示装置、その表示装置を備えた電子機器、及び投影ユニット
JP2016167740A (ja) 立体画像生成装置及びそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee