KR20120050376A - 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체 - Google Patents

3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20120050376A
KR20120050376A KR1020110089786A KR20110089786A KR20120050376A KR 20120050376 A KR20120050376 A KR 20120050376A KR 1020110089786 A KR1020110089786 A KR 1020110089786A KR 20110089786 A KR20110089786 A KR 20110089786A KR 20120050376 A KR20120050376 A KR 20120050376A
Authority
KR
South Korea
Prior art keywords
image
pixels
dimensional image
image display
display device
Prior art date
Application number
KR1020110089786A
Other languages
English (en)
Other versions
KR101289544B1 (ko
Inventor
야마모토 다쿠마
다구치 야스노리
마츠모토 노부유키
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20120050376A publication Critical patent/KR20120050376A/ko
Application granted granted Critical
Publication of KR101289544B1 publication Critical patent/KR101289544B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

일반적으로, 1실시예에 따르면, 3차원 이미지 디스플레이 장치는 디스플레이 유닛과 생성 유닛을 포함한다. 디스플레이 유닛은, 매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공된 다수의 광선 제어 엘리먼트를 포함한다. 생성 유닛은, 생성된 이미지 또는 입력 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도를 나타내는 광선 분포를 기초로 계산된 가중치와의 가중합으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성한다. 디스플레이 유닛은 최적 요소 이미지를 디스플레이한다.

Description

3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체{THREE-DIMENSIONAL IMAGE DISPLAY APPARATUS, METHOD AND COMPUTER READABLE MEDIUM}
여기에 개시된 실시예는 일반적으로 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체에 관한 것이다.
최근, 나안(naked eye)에서 관찰 가능한 3차원 이미지를 디스플레이하기 위한 장치가 개발되고 있다. 하나의 이러한 장치는 관찰되어지는 이미지가 관찰자의 시점에서의 변화에 따라 그 모양이 변하는 인티그럴 이미징 (Ⅱ) 방식(integral imaging (Ⅱ) scheme)을 이용한다. Ⅱ 디스플레이 장치에 있어서, 광선의 방향 및 확산을 제어하기 위한 렌즈 및 배리어로서의 다수의 이러한 광선 제어 엘리먼트는 오른쪽 및 왼쪽 눈에 대해 다른 이미지를 만들어 입체 효과를 생성하도록 종래의 2차원 이미지 디스플레이의 전면에 제공된다.
그러나, Ⅱ 방식은 이미지가 소정 시점으로부터 보여질 때, 다중 이미지와 블러링(blurring)이 야기될 수 있다는 결점을 갖고 있다. 이 효과는 "다중 블러링(multiple blurring)"으로 불려진다.
실시예는 다중 블러링된 이미지(multiple blurred images)를 감소시키기 위한 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체를 제공한다.
1실시예에 따르면, 3차원 이미지 디스플레이 장치는 디스플레이 유닛과 최적 요소 이미지 생성 유닛을 포함한다. 디스플레이 유닛은, 매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 디스플레이 데이터 항목으로서 요소 이미지의 위치에 따른 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공된 다수의 광선 제어 엘리먼트를 포함한다. 광선 제어 엘리먼트는 픽셀로부터의 광선을 제어한다. 최적 요소 이미지 생성 유닛은, 잠정적 요소 이미지로서의 초기 요소 이미지인, 생성된 이미지 또는 입력 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도를 나타내는 광선 분포를 기초로 계산된 가중치와의 가중합으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성한다. 디스플레이 유닛은 최적 요소 이미지를 디스플레이한다.
실시예에 따르면, 다중 블러링된 이미지를 감소시키기 위한 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체가 제공될 수 있다.
도 1은 3차원 이미지 디스플레이 장치를 설명하는 예시도,
도 2는 3차원 이미지 디스플레이 장치의 일부를 설명하는 예시적 확대도,
도 3은 Ⅱ 방식의 3차원 이미지가 어떻게 보여지는가를 설명하는데 유용한 예시적 개념도,
도 4는 요소 이미지(elemental images)와 타일 이미지(tile images) 사이의 관계를 설명하는 예시적 개념도,
도 5는 다중 블러링된 이미지(multiple blurred images)의 야기를 설명하는데 유용한 예시도,
도 6은 다중 블러링이 야기되는 상태를 설명하는 예시적 개념도,
도 7은 제1실시예에 따른 3차원 이미지 디스플레이 장치를 설명하는 예시적 블록도,
도 8은 제1실시예에 따른 3차원 이미지 디스플레이 장치의 동작 예를 설명하는 예시적 플로우차트,
도 9는 제1실시예에 따른 3차원 이미지 디스플레이 장치의 하드웨어 구성을 설명하는 예시도,
도 10은 제2실시예에 따른 3차원 이미지 디스플레이 장치를 설명하는 예시적 블록도,
도 11은 제2실시예에 따른 3차원 이미지 디스플레이 장치의 동작 예를 설명하는 예시적 플로우차트,
도 12는 제2실시예에서 채택된 문제 해결 방법을 설명하는 예시적 개념도,
도 13은 제2실시예에서 처리의 내용을 설명하는데 유용한 예시도,
도 14는 제3실시예에 따른 3차원 이미지 디스플레이 장치를 설명하는 예시적 블록도,
도 15는 제3실시예에 따른 3차원 이미지 디스플레이 장치의 동작 예를 설명하는 예시적 플로우차트,
도 16은 제4실시예에 따른 3차원 이미지 디스플레이 장치를 설명하는 예시적 블록도,
도 17은 제4실시예에 따른 3차원 이미지 디스플레이 장치의 동작 예를 설명하는 예시적 플로우차트,
도 18은 제4실시예에 따른 3차원 이미지 디스플레이 장치의 외관을 설명하는 예시도이다.
첨부 도면을 참조하여, 본 발명의 일 실시예에 따른 3차원 이미지 디스플레이 장치, 방법, 및 컴퓨터 판독가능 매체가 이하에서 상세하게 설명될 것이다. 실 시 예에서, 동일한 참조번호는 동일한 구성요소를 가리키고, 중복된 설명은 생략한다.
우선, 도 1 내지 도 6을 참조하여, 다중 블러링된 이미지의 발생 원리에 대해 설명한다.
상술한 바와 같이, 렌즈 어레이는 오른쪽 눈과 왼쪽 눈에 상이한 이미지를 보내기 위한 광선 제어 엘리먼트(102)의 어레이로서, Ⅱ 방식의 3차원 이미지 디스플레이 장치(100)에 통합된 2차원 이미지 디스플레이 장치(101)의 앞에서 제공된다. 특히, 단지 수평적으로 광선을 제어하기 위한 렌티큘러 시트(lenticular sheet)를 사용하는 방식은 1차원 Ⅱ(이하, 1D-Ⅱ) 방식이라고 불린다. 도 2는 도 1에 도시된 영역(103)의 확대도이다. 도 2에서 도시된 바와 같이, 2차원 이미지 디스플레이 장치(액정 디스플레이 또는 CRT 디스플레이)의 픽셀들로부터 방출된 광선들은 렌즈(201)로 들어가고, 제어된 분포 및 이동 방향을 가지고 디스플레이의 앞면으로 출력된다. 관찰자의 눈에 도달하는 광선은, 양안 시차(binocular parallax)에 의해서, 관찰자로 하여금 도 3에 도시된 바와 같이 물체가 디스플레이지 장치의 깊이를 따라 존재하는 것처럼 느끼게 한다. 다시 말해, 사용자는 입체 모델을 보게 된다. 도 2에서 시차 번호는 렌즈에 관해 동일한 위치에 배치된 픽셀들에 할당된 번호이다. 예를 들어, 프리셋(preset) 기준점이 렌즈 상에서 설정되고, 시차 번호로서 기능하는 일련 번호들이 연속적으로 배치된 픽셀들에 할당된다. 나아가, 이하에서 시차 번호들 중 최고 번호는 시차 카운트(parallax count)라고 하고, 디스플레이면 상에서 발광될 디스플레이 데이터는 요소 이미지(elemental image)라고 하고, 대응하는 시차 번호의 픽셀들을 포함하는 이미지를 타일 이미지(tile image)라고 한다(도 4 참조). 도 4에서 "A" 내지 "F"에 의해서 표시된 각각의 예들은 시차 번호 (1), (2), 및 (3)을 가진 3개의 픽셀들(202)로 구성된 단일한 요소 이미지를 포함한다.
특정 시점(viewpoint)에서 관찰자의 한쪽 눈에 도달하는 빛에 대해 설명한다. 설명을 용이하게 하기 위해서, 1D-Ⅱ 방식을 예로서 설명한다. 도 5는 하나의 렌즈(201)와 3개의 타일 이미지들이 존재하는 경우의 광선 분포를 도시하는데, 여기서 각각의 타일 이미지의 폭과 높이는 둘 다 1(이 경우에는 1 픽셀)이다. 하나의 픽셀로부터 방출된 광선은 렌즈로 들어가서, 제어된 방향으로 출력된다. 광선이 산란되기 때문에, 렌즈로부터 특정 거리에서 측정된 강도(intensity)는 도 5에서 도시된 바와 같이 특정 범위 내에 분포한다. 도 5에서, 수평축은 위치를 나타내고, 수직축은 강도를 나타낸다. 더욱 구체적으로, 참조번호 506은 픽셀 501의 광선 분포를 나타내고, 참조번호 505는 픽셀 502의 광선 분포를 나타내고, 참조번호 504는 픽셀 503의 광선 분포를 나타낸다. 관찰자가 특정 시점으로부터 이 렌즈를 볼 때, 그의 눈에 도달하는 광선은 광선 분포에 따른 픽셀들의 값의 믹스쳐(mixture)(예컨대, 혼합된 색을 나타냄)이다. 예를 들어, 렌즈가 위치 507에서 보일 때 눈에 도달하는 빛은, 위치 507에서 가정되는 광선 분포의 값들 508, 509, 및 510을 각각의 가중치(weight)로 이용해서 얻어지는, 픽셀들 501, 502, 및 503의 값의 가중합(weighted sum)이다.
또한, 다수의 렌즈의 경우에, Ⅱ 3차원 이미지 디스플레이 장치가 특정 시점으로부터 하나의 눈에 의해서 보일 때 얻어지는 관찰 이미지(observed image)는 타일 이미지들의 픽셀들이 그 시점에서 그들의 광선 강도 분포를 가지고 중첩될 때 얻어지는 중첩 이미지(overlap image)이다. 상술한 바와 같이, 각각의 타일 이미지는 양안 시차 효과를 제공하기 위해서 물체에 대응해서 위치적으로 쉬프트된다. 따라서, 타일 이미지들을 중첩해서 얻어진 이미지는 필연적으로 다중 블러링(blurring)을 가진다. 예를 들어, 도 6에서 도시된 바와 같이, 만약 각각의 타일 이미지가 상이한 위치들로부터 동일한 물체의 이미지를 갭쳐하여 얻어진 이미지의 조합으로서 설정된다면, 특정 시점으로부터 보인 관찰 이미지는 상이한 위치에서 캡쳐된 이미지들의 조합이고, 따라서 다중 블러링을 가진다. 그래서, 광선 분포는 시점에 따라서 변하기 때문에, 상이한 관찰 이미지들은 상이한 시점으로부터 획득된다.
이 실시예에서, 시차 카운트가 3인 경우를 예로 설명하였지만, 시차 카운트는 임의의 값으로 설정될 수 있다. 예를 들어, 9로 설정될 수 있다. 이 경우에도 상술한 것과 유사하게 설명될 수 있다.
(제1실시예)
도 7을 참조하여, 제1실시예에 따른 3차원 이미지 디스플레이 장치(700)에 대해서 설명한다. 도 7은 3차원 이미지 디스플레이 장치(700)를 도시하는 블록도이다.
제1실시예의 3차원 이미지 디스플레이 장치(700)는 최적 요소 이미지 생성 유닛(701) 및 디스플레이 유닛(702)을 포함한다. 최적 요소 이미지 생성 유닛(701)은 최적 요소 이미지를 생성한다. 디스플레이 유닛(702)은 2차원 디스플레이 장치(101) 및 광선 제어 엘리먼트(102)를 포함한다.
최적 요소 이미지 생성 유닛(701)은 초기 요소 이미지(751)를 수신하고, 초기 요소 이미지(751)를 기초로 하여 최적 요소 이미지(752)를 생성한다. 초기 요소 이미지(751)는 예컨대, JP-A 2004-212666 (KOKAI)에서 개시된 방법에 의해 생성된 요소 이미지이다. 이와 달리, 최적 요소 이미지 생성 유닛(701)은 예컨대, 초기 요소 이미지의 생성 전에 준비된 원본 이미지를 기초로 하여 최적 요소 이미지(752)를 생성할 수 있다. 최적 요소 이미지 생성 유닛(701)은 광선 분포로부터 계산된 가중치와, 생성되거나 수신된 잠정적인 요소 이미지인 초기 요소 이미지(751)의 둘 이상의 픽셀값들의 가중합을 기초로 하여 적어도 하나의 픽셀값을 결정해서, 관찰 이미지에서 다중 블러링이 생성되지 않도록 초기 요소 이미지(751)를 변환하여 최적 요소 이미지(752)를 생성한다.
디스플레이 유닛(702)은 2차원 디스플레이 장치(101) 및 광선 제어 엘리먼트(102)를 포함한다. 이차원 디스플레이 장치(101)는 매트릭스로 배열된 다수의 픽셀들을 가진 디스플레이면을 가지고, 2차원의 면 위에 이미지를 디스플레이한다. 광선 제어 엘리먼트(102)는 픽셀들의 디스플레이 데이터인 요소 이미지에 대응하는 위치에서 2차원 이미지 디스플레이 장치의 디스플레이면 상에서 제공되고, 픽셀들로부터 방출된 광선을 제어하도록 설계된다.
도 7 및 도 8을 참조하여, 제1실시예에 따른 3차원 이미지 디스플레이 장치(700)의 동작 예를 설명한다. 도 8은 제1실시예에 따른 3차원 이미지 디스플레이 장치의 동작 예를 설명하는데 유용한 플로우차트이다.
단계 S801에서, 최적 요소 이미지 생성 유닛(701)은 초기 요소 이미지(751)를 수신하고, 초기 요소 이미지를 기초로 하여 최적 요소 이미지(752)를 생성한다.
단계 S802에서, 디스플레이 유닛(702)은 최적 요소 이미지(752)를 수신해서, 관찰자를 위해 3차원 이미지를 디스플레이한다.
도 9를 참조하여, 3차원 이미지 디스플레이 장치(700)의 하드웨어 구조를 설명한다. 이 하드웨어 구조는 제1실시예의 3차원 이미지 디스플레이 장치와 이후에 설명할 다른 실시예에 따른 3차원 이미지 디스플레이 장치들 사이에서 공통된다.
3차원 이미지 디스플레이 장치(700)는 CPU(central processing unit)(901), 디스플레이 유닛(702), 및 메모리 유닛(902)을 포함하고, 버스(903)에 의해서 서로 연결된다.
CPU(901)는 예컨대, 메모리 유닛(902)에 포함된 RAM(random access memory)에서 프리셋 영역을 작업 영역으로 이용하고, 메모리 유닛(902)에 포함된 ROM(read only memory)에 미리 저장된 다양한 제어 프로그램들에 따라서 다양한 프로세스들을 수행하고, 이로써 3차원 이미지 디스플레이 장치(700)의 구성요소들의 동작을 완전히 제어한다. 나아가, CPU(901)는 메모리 유닛(902)에 미리 저장된 프리셋 프로그램에 따라서 상술한 최적 요소 이미지 생성 유닛(701)의 기능을 구현한다.
메모리 유닛(902)은 자기적으로 또는 광학적으로 기록가능한 기록 매체를 포함한다. 메모리 유닛(902)은 획득된 이미지 데이터 및/또는 통신 유닛 또는 인터페이스(도시하지 않음)를 통해서 입력된 이미지 데이터와 같은 외부 데이터를 기록한다. 예를 들어, 메모리 유닛은 3차원 이미지 디스플레이 장치(700)의 제어와 관련된 프로그램 및 다양한 설정 데이터를 예컨대 ROM에 저장하여, 이들이 덮어 써지지 않게 한다. 나아가, RAM은 예컨대 SRAM이고, CPU(901)를 위한 작업 영역으로서 기능하고, 또한 예컨대 버퍼로서 기능한다.
상술한 제1실시예에서, 관찰 이미지 내에서 다중 블러링을 제공하지 않는 최적 요소 이미지(752)가 가중합에 의해 생성되어, 이미지에서 다중 블러링을 억제한다.
(제2실시예)
이제 도 10을 참조하여, 제2실시예에 따른 3차원 이미지 디스플레이 장치(1000)에 대해서 설명한다. 도 10은 제2실시예의 3차원 이미지 디스플레이 장치(1000)를 설명하는 블록도이다. 제2실시예는 최적 요소 이미지 생성 유닛에 있어서 제1실시예와 다르다.
제2실시예에 통합된 최적 요소 이미지 생성 유닛(1001)은 초기 요소 이미지(751)뿐 아니라 타겟 이미지(1052)를 수신하고, 이 이미지들을 기초로 하여 최적 요소 이미지(752)를 생성한다. 타겟 이미지(1052)는 디스플레이 유닛 상에 디스플레이된 이미지이고, 관찰자가 적어도 하나의 시점으로부터 하나의 눈에 의해서 3차원 이미지 디스플레이 장치를 볼 때 관찰되길 바라는 것이다.
도 10 및 도 11을 참조하여, 제2실시예에 따른 3차원 이미지 디스플레이 장치(1000)의 동작 예를 설명한다. 도 11은 제2실시예의 3차원 이미지 디스플레이 장치(1000)의 동작 예를 설명하는데 유용한 플로우차트이다.
단계 S1101에서, 최적 요소 이미지 생성 유닛(1001)은 초기 요소 이미지(751)와 타겟 이미지(1052)를 수신하고, 이 이미지들을 기초로 하여 최적 요소 이미지(752)를 생성한다. 더욱 구체적으로는, 최적 요소 이미지 생성 유닛(1001)은 광선 분포로부터 계산된 가중치와 타겟 이미지(1052)에 포함된 하나 이상의 픽셀값들의 가중합을 획득해서 적어도 하나의 픽셀값을 결정하고, 이로써 도 12에 도시된 바와 같이 관찰 이미지가 타겟 이미지에 가깝도록 초기 요소 이미지(751)를 변환하고 최적 요소 이미지(752)를 생성한다.
임의의 설정 시점으로부터 관찰자에 의해 관찰되길 원하는 이미지가 타겟 이미지로 설정된다. 예를 들어, 만일 설정 시점에 대응하는 위치로부터 3차원 이미지 디스플레이 장치(1000) 상에 디스플레이될 물체의 이미지를 캡쳐하여 획득된 시차 이미지가 상이한 위치로부터 물체의 이미지를 캡쳐하여 획득된 다수의 시차 이미지들로부터 선택되어 타겟 이미지로 이용된다면, 이것은 관찰자에게 다중 블러링을 보이지 않는다. 타겟 이미지를 설정하기 위한 시점은 시점으로부터 보이는 관찰 이미지를 타겟 이미지로 제한하기 때문에, 이하에서는 제한 시점(restricting viewpoint)이라고 할 것이다. 나아가, 타겟 이미지는 상이한 위치로부터 물체의 이미지를 캡쳐하여 획득된 다수의 시차 이미지들로부터 항상 선택될 필요가 있는 것은 아니다. 이와 달리, 타겟 이미지는 물체의 이미지와는 완전히 다른 이미지를 포함할 수 있다. 이 경우에, 최적 요소 이미지 생성 유닛은 타겟 이미지를 수신해야만 한다. 달리 말해, 타겟 이미지가 초기 요소 이미지와는 완전히 다른 이미지를 포함한다면 제2실시예의 3차원 이미지 디스플레이 장치(1000)에서 보일 수 있는 이미지는 제1실시예의 3차원 이미지 디스플레이 장치에서 보일 수 없다. 반대로, 제2실시예의 3차원 이미지 디스플레이 장치(1000) 상에서 타겟 이미지가 초기 요소 이미지에 포함된다면, 이것은 제1실시예의 3차원 이미지 디스플레이 장치(700) 상에서도 보일 수 있다.
가중치를 계산하고 초기 요소 이미지를 변환하기 위한 방법의 예를 설명한다.
이해를 용이하게 하기 위해서, 도 13에 도시된 경우에 대해 설명하는데, 여기서 하나의 렌즈(201), 하나의 제한 시점(u1), 및 세 개의 타일 이미지가 채택되고, 각각의 타일 이미지는 폭이 1이고 넓이가 1이다. 여기서, 2차원 이미지 디스플레이 장치상에 디스플레이된 세 개의 타일 이미지들(이들 각각은 이 경우에 단지 하나의 픽셀로 구성됨)의 휘도들은 각각 x1, x2, 및 x3으로 설정되고, 각각의 시점 u와 관련된 픽셀들 i(i = 1, 2, 3)로부터 방출된 광선의 강도 분포를 나타내는 함수들, 즉 위치 u에서 픽셀들 i(i = 1, 2, 3)과 관련된 광선 분포를 나타내는 함수들은 각각 a1(u), a2(u), 및 a3(u)으로 설정된다고 가정한다. 시점 u1로부터 보이는 관찰 이미지는 단일한 픽셀로 구성되고, 이 단일한 픽셀의 휘도 y(u1)는 다음의 수학식 (1)에 의해서 주어진다:
Figure pat00001
이 수학식으로부터, 이미지 y(u1) 또는 이에 근접한 이미지가 시점 u1으로부터 보이는 것을 허용하기 위해서, 다음의 수학식 (2)에 의해서 주어진 에너지 함수를 최소화하는 휘도 x1, x2, 및 x3이 타일 이미지의 것으로 설정되어야 한다고 이해된다. 다시 말해, y(u1), a1(u), a2(u), 및 a3(u)가 알려진 값이라고 가정하면, 에너지 함수를 최소화하는 x1, x2, 및 x3가 계산된다.
Figure pat00002
상술한 예를 일반화해서 얻어진 에너지 함수가 다음의 수학식 3에 의해서 주어진다:
Figure pat00003
여기서, X는 획득하고자 하는 요소 이미지의 픽셀 수에 대응하는 벡터이고, Y는 하나 이상의 제한 시점으로부터 얻어진 타겟 이미지의 픽셀값들을 구성요소로서 포함하는 벡터이고, A는 제한 시점으로부터 검출된 광선 분포의 값들로 구성된 매트릭스이다.
상술한 에너지 함수를 최소화하는 최적 요소 이미지(752)는 다음의 수학식 (4)에 의해서 주어진다:
Figure pat00004
이 수학식은 예컨대 다음의 수학식 (5)에 의해서 정의된 무어-펜로즈(Moore-Penrose) 일반 역 매트릭스을 이용해서 획득된다:
Figure pat00005
여기서,
Figure pat00006
는 무어-펜로즈 일반 역 매트릭스이고, I는 단위 매트릭스이고, Z는 X와 동일한 사이즈를 가진 임의 벡터이다. 제한 시점의 수가 시차 카운트보다 적은 경우에는 불충분 결정 문제(underdetermined problem)가 포함될 것이다. 해를 유일하게 결정하기 위해서, Z의 값을 설정할 필요가 있다. 다음의 설명에서, Z로 정해진 값이 Z0에 의해서 나타내어 진다. 예를 들어, 제한 시점이 아닌 임의의 다른 시점으로부터 보일 때 얻어진 이미지 품질의 저하를 막기 위해서, 초기 요소 이미지(751)는 Z0로서 이용될 수 있다.
나아가, 제한 시점의 수가 시차 카운트보다 큰 경우에는(이것은 과도 결정 문제(overdetermined problem)를 포함함), 수학식 (3)에 의해 주어진 에너지 함수를 최소화하기 위해 수학식 (4)에 의해서 주어진 최적 요소 이미지가 다음의 수학식 (6)에 의해서 표현된다. 이 경우에, 최적 요소 이미지 생성 유닛(1001)은 초기 요소 이미지(751)를 수신하지 않고, 단지 타겟 이미지(1052)를 수신한다. 역 매트릭스
Figure pat00007
는 사전에 계산될 수 있고, 최적 요소 이미지 생성 유닛(1001)에서 테이블로 저장될 수 있다. 이 경우에 대한 블록도가 제시되지 않았으나, 도 10에서 초기 요소 이미지(751)이 존재하지 않는 경우가 여기에 대응된다.
Figure pat00008
매트릭스 A는 3차원 이미지 디스플레이 장치(1000)의 광선 제어 엘리먼트와 타겟 이미지를 설정하기 위한 제한 시점에 대해서 고유하기 때문에, 제한 시점이 미리 결정된다면 일반 역 매트릭스
Figure pat00009
가 미리 계산될 수 있다. 다시 말해, 제한 시점이 미리 결정된다면, 일반 역 매트릭스
Figure pat00010
는 3차원 이미지 디스플레이 장치(1000)에서 테이블로 미리 저장될 수 있다. 3차원 이미지 디스플레이 장치(1000)는 예컨대 ROM(904)에 일반 역 매트릭스
Figure pat00011
의 테이블을 저장한다. 나아가, 타겟 이미지 Y가 Z0의 선형 변환에 의해서 표현될 수 있는 경우에 Y는 다음의 수학식 (7)에 의해서 주어진다:
Figure pat00012
여기서, T는 Z0를 Y로 변환하기 위한 매트릭스이다. 만일 수학식 (7)이 수학식 (5)로 대체되고, Z가 Z0로 교체된다면, 다음의 수학식 (8)이 얻어질 수 있다:
Figure pat00013
여기서, H는 다음의 수학식에 의해서 주어진다.
Figure pat00014
매트릭스 H는 상술한 가중치의 그룹의 예이다. 가중치는 최적 요소 이미지 생성 유닛(1001)에 테이블의 형태로 저장될 수 있다. 예를 들어, 테이블에 포함된 값들이 장치의 제조 동안 결정될 수 있다. Ⅱ 방식에서, 상술한 필터는 하나의 렌즈에 대응하는 시차 카운트에 대응하는 각각의 그룹의 픽셀에 대해 제공될 수 있다. 예컨대, 도 13에서 도시된 1D-Ⅱ 방식의 경우에, Z0는 일렬로 배열된 픽셀값들 x1, x2, 및 x3을 구성요소로서 포함하는 벡터이고, X는 3차원 벡터이고, H는 (3,3) 매트릭스이다. 따라서,
Figure pat00015
의 각각의 엘리먼트, 즉 최적 요소 이미지 생성 유닛(1001)에서 각각의 픽셀은 Z0를 위한 3탭 필터를 이용해서 계산될 수 있다. 만일, 시차 카운트가 상술한 3이 아닌 다른 값(예컨대, 9)이라면, 가중치는 상술한 바와 같은 방식으로 계산될 수 있다.
나아가, 수학식 (4)에 의해서 주어진 최적 요소 이미지(752)는 최대 하강법(steepest descent method) 또는 공액 경사법(conjugate gradient method)과 같은 반복 연산(iterative computation)을 이용해서 계산될 수 있다. 또한, 반복 연산을 이용하는 경우에, 이러한 연산은 수학식 (8)과 유사한 산술 표현에 의해서 표현될 수 있다. 예를 들어, 최대 하강법이 반복 연산으로서 이용되는 경우에, (t+1)th 반복 프로세스는 다음의 수학식 (9)에 의해서 주어진다:
Figure pat00016
여기서, ε는 상수이다. 이때, 만일 Y가 Xt의 선형 변환에 의해서 표현될 수 있다면 다음의 수학식 10에 의해서 주어진다:
Figure pat00017
여기서, Tt'는 Xt를 Y로 변환하기 위한 매트릭스이다. 만일, 수학식 (10)이 수학식 (9)로 교체된다면 다음의 수학식 (11)이 얻어진다:
Figure pat00018
여기서, Ht'는 다음의 수학식에 의해서 주어진다:
Figure pat00019
반복 수행을 n번 반복한 경우에, 수학식 (4)의 좌변은 수학식 (12)와 같이 주어진다:
Figure pat00020
여기서, 초기 요소 이미지(751)는 제한 시점이 아닌 다른 시점으로부터 이미지 품질의 저하를 피하기 위하여 X0로 이용될 수 있다.
(수정) 에너지 함수의 수정
상술한 에너지 함수와 같이, 정규화 항이 부가된 다음의 수학식 (13)에 의해 주어진 에너지 함수가 사용될 수 있다:
Figure pat00021
여기서, R은 미분을 나타내는 매트릭스이고, α 및 β는 상수이고, Z는 X와 동일한 사이즈의 벡터이다. 예를 들어, 제한 시점이 아닌 시점으로부터 이미지 품질의 저하를 피하기 위하여, 초기 요소 이미지(751)는 Z로서 이용될 수 있다. 방정식 (13)에 의해 주어진 에너지 함수를 최소화하기 위해, 수학식 (4)의 좌변은 다음의 수학식 (14)에 의해 정의된 무어-펜로즈 일반 역 매트릭스을 이용하여 획득될 수 있다:
Figure pat00022
나아가, 수학식 (4)의 좌변은 또한 다음의 에너지 함수 (15)를 이용해서 이 에너지 함수에 최대 하강법 또는 공액 경사법과 같은 반복 연산을 적용함으로써 얻어질 수 있다:
Figure pat00023
예를 들어, 반복 연산법으로서 최대 하강법을 이용하는 경우에, (t+1)th 반복 프로세스는 다음의 수학식 (16)에 의해서 주어진다:
Figure pat00024
여기서, ε는 상수이다. 이때, 만일 Y가 Xt의 선형 변환에 의해서 표현될 수 있다면 다음의 수학식 17에 의해서 주어진다:
Figure pat00025
여기서, Tt'는 Xt를 Y로 변환하기 위한 매트릭스이다. 만일, 수학식 (17)이 수학식 (16)으로 교체된다면 다음의 수학식 (18)이 획득된다:
Figure pat00026
여기서, Ht"는 다음의 수학식에 의해서 주어진다:
Figure pat00027
반복 수행을 n번 반복한 경우에, 수학식 (4)의 좌변은 수학식 (19)에 의해서 주어진다:
Figure pat00028
여기서, 초기 요소 이미지(751)는 제한 시점이 아닌 다른 시점으로부터 이미지 품질의 저하를 피하기 위하여 X0로 이용될 수 있다.
단일한 제한 시점 또는 다수의 제한 시점이 채택될 수 있고, 제한 시점의 수가 변한다고 하더라도 연산을 위해 사용된 매트릭스의 크기(scale)가 변하지 않기 때문에 연산량은 변하지 않는다는 점에 주목하라.
그래서, 수학식 (13)에 의해 표현된 그러한 수정된 에너지 함수가 이용되는 경우조차도, 다중 블러링이 없는 이미지가 타겟 이미지로 사용되기 때문에 다중 블러링이 감소될 수 있고, 최적 요소 이미지(752)는 관찰 이미지가 타겟 이미지와 일치하도록 가중합에 의해서 생성된다. 나아가, 검은 픽셀이 요소 이미지로 삽입되지 않기 때문에, 관찰 이미지의 휘도가 감소되지 않는다. 게다가, 정규화 항의 효과 덕분에, 수학식 (4)의 좌변인 최적 요소 이미지에서 불연속이 발생하는 것이 방지되어, 자연스러운 최적 요소 이미지의 생성을 가능하게 한다.
상술한 제2실시예에서, 다중 블러링이 없는 이미지가 타겟 이미지로 사용되고, 최적 요소 이미지(752)는 관찰 이미지가 타겟 이미지와 일치하도록 가중합에 의해 생성되어, 다중 블러링을 감소시킨다. 나아가, 타겟 이미지가 임의로 설정될 수 있기 때문에, 제한 시점으로부터 관찰 이미지는 임의로 설계될 수 있다.
(제3실시예)
도 14를 참조하면, 설명은 제3실시예에 따른 3차원 이미지 디스플레이 장치(1400)에 대해 주어진다. 제3실시예의 3차원 이미지 디스플레이 장치(1400)는 시차 이미지 생성 유닛(1401)을 제2실시예의 3차원 이미지 디스플레이 장치(1000)에 부가함으로써 얻어진다. 시차 이미지 생성 유닛(1401)은 모델링 데이터(1451)를 수신하고, 하나 이상의 프리셋 시점으로부터 보여지는 시차 이미지를 생성하며, 타겟 이미지(1052)로서 시차 이미지를 출력한다. 모델링 데이터(1451)는 3차원 이미지 디스플레이 장치(1400) 상에 디스플레이되어지는 물체의 3차원 좌표 및 휘도 값을 나타낸다. 시차 이미지 생성 유닛(1401)은 모델링 데이터(1451)를 수신하고, 예컨대 컴퓨터 그래픽(CG) 렌더링을 수행함으로써 시차 이미지를 생성한다.
도 14 및 도 15를 참조하면, 설명은 제2실시예와 다른, 제3실시예에 따른 3차원 이미지 디스플레이 장치(1400)의 동작의 부분에 대해 주어진다. 도 15는 제3실시예에 따른 3차원 이미지 디스플레이 장치(1400)의 동작 예를 설명하는데 유용한 플로우차트이다.
단계 S1501에서, 시차 이미지 생성 유닛(1401)은 모델링 데이터(1451)를 수신하고, 하나 이상의 프리셋 시점으로부터 보여지는 시차 이미지를 생성하며, 타겟 이미지(1052)로서 시차 이미지를 출력한다.
상기한 바와 같이, 제3실시예에 있어서, 최적 요소 이미지(752)가 가중합에 의해 생성되어 관찰된 이미지가 타겟 이미지와 일치하기 때문에, 다중 블러링이 감소될 수 있게 된다. 더욱이, 타겟 이미지로서 기능하는 시차 이미지는 모델링 데이터로부터 임의로 생성될 수 있으므로, 제한되는 시점으로부터 이미지 캡쳐링에 의해 시차 이미지를 미리 획득하는 것이 필요로 되지 않는다.
(제4실시예)
도 16을 참조하면, 설명은 제4실시예에 따른 3차원 이미지 디스플레이 장치(1600)에 대해 주어진다. 제4실시예의 3차원 이미지 디스플레이 장치(1600)는 검출 유닛(1603)과 획득 유닛(1602)을 제2실시예의 3차원 이미지 디스플레이 장치(1000)에 부가함으로써 얻어진다.
도 18에 도시된 바와 같이, 제4실시예의 3차원 이미지 디스플레이 장치(1600)는 디스플레이 장치(1600)를 관찰하고 있는 관찰자의 머리의 위치를 검출하기 위해 카메라(1801)와 통합된다.
획득 유닛(1602)은 카메라(1801)로부터 이미지를 획득하고 카메라 이미지(1651)를 출력한다.
검출 유닛(1603)은 카메라 이미지(1651)를 수신하고, 카메라 이미지(1651)로부터 적어도 하나의 관찰자의 얼굴 영역을 얼굴 검출에 의해 검출하며, 이어 오른쪽 눈 또는 왼쪽 눈의 위치 또는 양쪽 눈의 위치를 설정하고, 3차원 이미지 디스플레이 장치(1600)로부터 본 것으로서의 관찰자의 공간 X 및 Y 좌표를 결정한다. 눈의 위치로서, 통계적으로 눈이 존재할 가장 강한 가능성이 있는 얼굴 영역의 위치가 설정될 수 있다. 한편, 오른쪽 눈 또는 왼쪽 눈의 위치 또는 양쪽 눈의 위치는 카메라 이미지(1651)를 기초로 눈 검출에 의해 직접적으로 설정될 수 있다. 다른 한편으로는, 카메라 이미지(1651)에서 얼굴의 크기를 기초로, 관찰자와 3차원 이미지 디스플레이 장치(1600) 사이의 거리가 추정될 수 있고, 그에 따라 3차원 이미지 디스플레이 장치(1600)로부터 본 것으로서 관찰자의 공간 Z 좌표를 결정한다. 적어도 하나의 X, Y, Z 좌표는 관찰자 위치 데이터(1652)로서 출력된다.
최적 요소 이미지 생성 유닛(1601)은 초기 요소 이미지(751), 타겟 이미지(1052), 및 관찰자 위치 데이터(1652)를 수신하고, 관찰자 위치 데이터(1652)가 제한되는 시점 데이터로서 이용되는 것을 제외하고, 제2실시예의 최적 요소 이미지 생성 유닛(1001)과 동일한 방법으로 최적 요소 이미지(752)를 생성한다.
도 16 및 도 17을 참조하면, 설명은 제4실시예의 3차원 이미지 디스플레이 장치(1600)의 동작에 대해 주어진다. 도 17은 제4실시예의 3차원 이미지 디스플레이 장치(1600)의 동작 예를 설명하는데 유용한 플로우차트이다.
단계 S1701에서, 획득 유닛(1602)은 카메라(1801)로부터의 이미지를 획득하고 카메라 이미지(1651)를 출력한다.
단계 S1702에서, 검출 유닛(1603)은 카메라 이미지(1651)를 수신하고, 카메라 이미지(1651)를 기초로 얼굴 검출에 의해 적어도 하나의 관찰자의 얼굴의 영역을 검출하며, 그에 의해 3차원 이미지 디스플레이 장치(1600)로부터 본 것으로서 관찰자의 공간 X 및 Y 좌표를 검출하도록 오른쪽 눈 또는 왼쪽 눈의 위치 또는 양쪽 눈의 위치를 설정한다.
단계 S1703에서, 최적 요소 이미지 생성 유닛(1601)은 초기 요소 이미지(751), 타겟 이미지(1052), 및 관찰자 위치 데이터(1652)를 수신하고, 관찰자 위치 데이터(1652)가 제한되는 시점 데이터로서 이용되는 것을 제외하고, 제2실시예의 최적 요소 이미지 생성 유닛(1001)과 동일한 방법으로 최적 요소 이미지(752)를 생성한다.
상기한 바와 같이, 제4실시예의 3차원 이미지 디스플레이 장치(1600)에 있어서, 최적 요소 이미지(752)는 가중합에 의해 생성되어 관찰된 이미지가 타겟 이미지와 일치하게 되고, 그에 의해 다중 블러링이 감소된다. 더욱이, 제4실시예에 있어서, 최적 요소 이미지가 카메라(1801)에 의해 검출된 적어도 하나의 관찰자의 위치에 따라 생성될 수 있으므로, 타겟 이미지는 적어도 하나의 관찰자의 오른쪽 눈 또는 왼쪽 눈의 위치에서 인식되어질 수 있다. 이는 타겟 이미지가 프리셋 제한 시점에서만(또는 프리셋 제한 시점에서) 인식되어질 수 있는 제2실시예와는 다른다.
상기 설명한 제4실시예에 있어서, 다중 블러링은 디스플레이 이미지의 휘도를 감소시키는 것 없이 감소시킬 수 있다.
예컨대, 다중 블러링을 감소시키기 위해 인접하는 2개의 픽셀 중 하나가 흑색(black)을 디스플레이하도록 만들어지면, 이들 픽셀과 다른 픽셀의 광선 분배의 중첩이 감소될 수 있다. 그러나, 요소 이미지에서 흑색 픽셀의 삽입은 관찰된 이미지의 휘도를 감소시키게 된다. 제4실시예에서, 다중 블러링은 디스플레이 이미지의 휘도를 감소시키는 것 없이 감소될 수 있다.
상기 설명한 3차원 이미지 디스플레이 장치에 있어서, 시차 이미지 생성 유닛(1401), 획득 유닛(1602), 검출 유닛(1603), 및 최적 요소 이미지 생성 유닛(701,1001,1601)은 프로그램을 실행하도록 다목적 컴퓨터에 설치된 프로세서에 의해 실현될 수 있다. 이 경우, 프로그램은 미리 직접 컴퓨터에 설치될 수 있다. 한편, 프로그램은 CD-ROM와 같은, 컴퓨터에 대해 판독되어지는 기록 매체에 저장될 수 있다. 다른 한편으로는, 프로그램은 네트워크를 매개로 컴퓨터에 다운로드될 수 있다.
실시예의 플로우차트는 실시예에 따른 방법 및 시스템을 설명한다. 플로우차트 설명의 각 블록, 플로우차트 설명에서의 블록의 조합은 컴퓨터 프로그램 명령에 의해 구현될 수 있음을 이해하게 된다. 이들 프로그램 명령은 컴퓨터 또는 기계를 제조하기 위한 다른 프로그램가능 장치 상으로 로드되고, 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행되는 명령은 플로우차트 블록 또는 블록들에서 특정된 기능을 수행하기 위한 수단을 야기시킨다. 이들 컴퓨터 프로그램 명령은 직접 특정 방법으로 컴퓨터 또는 다른 프로그램가능 장치를 기능하게 할 수 있는 컴퓨터-판독가능 메모리에 또한 저장될 수 있고, 따라서 컴퓨터 판독가능 메모리에 저장된 명령은 플로우차트 블록 또는 블록들에서 특정된 기능을 구현하는 명령 수단을 포함하는 제조의 항목을 발생시킨다. 컴퓨터 프로그램 명령은 플로우차트 블록 또는 블록들에서 특정된 기능을 구현하기 위한 단계를 제공하는 컴퓨터 프로그램가능 장치를 제조하기 위해 컴퓨터 또는 다른 프로그램가능 장치 상에서 수행되어지는 일련의 동작 단계를 야기시키도록 컴퓨터 또는 다른 프로그램가능 장치 상으로 또한 로드될 수 있다.
이상 본 발명의 몇 가지 실시형태를 설명하였으나, 이들의 실시형태는 예로 제시한 것으로, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들 신규한 실시형태는 기타의 여러 가지 형태로 실시될 수가 있는바, 발명의 요지를 벗어나지 않는 범위에서 여러 가지의 생략, 치환, 변경을 해서 실시할 수가 있다. 이들 실시형태나 그의 변형은 발명의 범위나 요지에 포함됨과 더불어, 특허청구의 범위에 기재된 발명과 그 균등의 범위에 포함된다.

Claims (18)

  1. 매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공되고 픽셀로부터의 광선을 제어하도록 구성된 다수의 광선 제어 엘리먼트를 갖추어 이루어진 디스플레이 유닛과;
    생성된 이미지 또는 입력 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도(scattering degrees)를 나타내는 광선 분포를 기초로 계산된 가중치(weights)와의 가중합(weighted sum)으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성하도록 구성된 최적 요소 이미지 생성 유닛;을 구비하여 구성되고,
    디스플레이 유닛이 최적 요소 이미지를 디스플레이하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  2. 제1항에 있어서,
    최적 요소 이미지 생성 유닛은, 적어도 하나의 소정의 시점으로부터 디스플레이 유닛 상에 디스플레이된 타겟 이미지를 수신하고, 광선 분포로부터 계산되고 소정 시점으로부터 관찰한 중첩 이미지와 타겟 이미지 사이의 차이를 나타내는 에너지 함수를 감소시키기 위한 가중치를 얻는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  3. 제2항에 있어서,
    최적 요소 이미지 생성 유닛은 에너지 함수의 경사(gradient)를 기초로 가중치를 계산하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  4. 제2항에 있어서,
    가중치는 에너지 함수를 감소시키고, 최적 요소 이미지 생성 유닛은 광선 분포로부터 결정된 매트릭스의 일반 역 매트릭스를 기초로 가중치를 계산하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  5. 제2항에 있어서,
    타겟 이미지가 3차원 이미지 디스플레이 장치 상에 디스플레이되어지는 다수의 시차(parallax) 이미지로부터 선택되는 시차 이미지이고, 소정 시점에 대응하는 위치로부터 캡쳐되는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  6. 제2항에 있어서,
    3차원 이미지 디스플레이 장치 상에 디스플레이되어지는 물체의 3차원 좌표와 휘도를 기초로, 임의의 시점으로부터 관찰되어지는 시차 이미지를 생성하도록 구성된 시차 이미지 생성 유닛을 더 구비하여 구성되고,
    최적 요소 이미지 생성 유닛은 타겟 이미지로서 시차 이미지를 수신하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  7. 제2항에 있어서,
    3차원 이미지 디스플레이 장치를 관찰하고 있는 관찰자의 얼굴 영역을 검출하도록 구성된 카메라와;
    카메라에 의해 캡쳐된 카메라 이미지를 획득하도록 구성된 획득 유닛; 및
    카메라 이미지에서 관찰자의 얼굴 영역을 나타내는 관찰자 위치를 검출하도록 구성된 검출 유닛을 더 구비하여 구성되고,
    최적 요소 이미지 생성 유닛은 소정 시점으로서 관찰자 위치를 이용하여 최적 요소 이미지를 생성하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  8. 매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공되고 픽셀로부터의 광선을 제어하도록 구성된 다수의 광선 제어 엘리먼트를 갖추어 이루어진 디스플레이 유닛과;
    적어도 하나의 소정 시점으로부터 디스플레이 유닛 상에 디스플레이된 타겟 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도(scattering degrees)를 나타내는 광선 분포를 기초로 계산된 가중치(weights)와의 가중합(weighted sum)으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성하도록 구성된 최적 요소 이미지 생성 유닛;을 구비하여 구성되고,
    디스플레이 유닛이 최적 요소 이미지를 디스플레이하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  9. 제8항에 있어서,
    최적 요소 이미지 생성 유닛은, 광선 분포로부터 계산되고 소정 시점으로부터 관찰한 중첩 이미지와 타겟 이미지 사이의 차이를 나타내는 에너지 함수를 감소시키기 위한 가중치를 얻는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  10. 제9항에 있어서,
    최적 요소 이미지 생성 유닛은 에너지 함수의 경사(gradient)를 기초로 가중치를 계산하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  11. 제9항에 있어서,
    가중치는 에너지 함수를 감소시키고, 최적 요소 이미지 생성 유닛은 광선 분포로부터 결정된 매트릭스의 일반 역 매트릭스를 기초로 가중치를 계산하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  12. 제8항에 있어서,
    타겟 이미지가 3차원 이미지 디스플레이 장치 상에 디스플레이되어지는 다수의 시차(parallax) 이미지로부터 선택되는 시차 이미지이고, 소정 시점에 대응하는 위치로부터 캡쳐되는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  13. 제8항에 있어서,
    3차원 이미지 디스플레이 장치 상에 디스플레이되어지는 물체의 3차원 좌표와 휘도를 기초로, 임의의 시점으로부터 관찰되어지는 시차 이미지를 생성하도록 구성된 시차 이미지 생성 유닛을 더 구비하여 구성되고,
    최적 요소 이미지 생성 유닛은 타겟 이미지로서 시차 이미지를 수신하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  14. 제8항에 있어서,
    3차원 이미지 디스플레이 장치를 관찰하고 있는 관찰자의 얼굴 영역을 검출하도록 구성된 카메라와;
    카메라에 의해 캡쳐된 카메라 이미지를 획득하도록 구성된 획득 유닛; 및
    카메라 이미지에서 관찰자의 얼굴 영역을 나타내는 관찰자 위치를 검출하도록 구성된 검출 유닛을 더 구비하여 구성되고,
    최적 요소 이미지 생성 유닛은 소정 시점으로서 관찰자 위치를 이용하여 최적 요소 이미지를 생성하는 것을 특징으로 하는 3차원 이미지 디스플레이 장치.
  15. 매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공되고 픽셀로부터의 광선을 제어하는 다수의 광선 제어 엘리먼트를 갖추어 이루어진 디스플레이 유닛을 준비하는 단계와;
    생성된 이미지 또는 입력 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도(scattering degrees)를 나타내는 광선 분포를 기초로 계산된 가중치(weights)와의 가중합(weighted sum)으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성하는 단계;를 갖추어 이루어지고,
    디스플레이 유닛이 최적 요소 이미지를 디스플레이하는 것을 특징으로 하는 3차원 이미지 디스플레이 방법.
  16. 매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 디스플레이 데이터 항목(items)으로서 요소 이미지의 위치에 따라 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공되고 픽셀로부터의 광선을 제어하는 다수의 광선 제어 엘리먼트를 갖추어 이루어진 디스플레이 유닛을 준비하는 단계와;
    적어도 하나의 소정 시점으로부터 디스플레이 유닛 상에 디스플레이된 타겟 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도(scattering degrees)를 나타내는 광선 분포를 기초로 계산된 가중치(weights)와의 가중합(weighted sum)으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성하는 단계;를 갖추어 이루어지고,
    디스플레이 유닛이 최적 요소 이미지를 디스플레이하는 것을 특징으로 하는 3차원 이미지 디스플레이 방법.
  17. 컴퓨터 실행가능 명령을 포함하는 컴퓨터 판독가능 매체로서, 명령이 프로세서에 의해 실행될 때, 프로세서가,
    매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공되고 픽셀로부터의 광선을 제어하는 다수의 광선 제어 엘리먼트를 갖추어 이루어진 디스플레이 유닛을 준비하는 단계와;
    생성된 이미지 또는 입력 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도(scattering degrees)를 나타내는 광선 분포를 기초로 계산된 가중치(weights)와의 가중합(weighted sum)으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성하는 단계;를 갖추어 이루어지고,
    디스플레이 유닛이 최적 요소 이미지를 디스플레이하는 방법을 수행하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  18. 컴퓨터 실행가능 명령을 포함하는 컴퓨터 판독가능 매체로서, 명령이 프로세서에 의해 실행될 때, 프로세서가,
    매트릭스로 배열된 다수의 픽셀을 갖는 디스플레이면을 포함하는 2차원 이미지 디스플레이 장치와, 픽셀에 대응하는 디스플레이 데이터 항목으로서 요소 이미지의 위치에 따라 2차원 이미지 디스플레이 장치의 디스플레이면 상에 제공되고 픽셀로부터의 광선을 제어하는 다수의 광선 제어 엘리먼트를 갖추어 이루어진 디스플레이 유닛을 준비하는 단계와;
    적어도 하나의 소정 시점으로부터 디스플레이 유닛 상에 디스플레이된 타겟 이미지의 적어도 2개의 픽셀의 값과, 광선 제어 엘리먼트로부터의 광선의 방향과 산란도(scattering degrees)를 나타내는 광선 분포를 기초로 계산된 가중치(weights)와의 가중합(weighted sum)으로부터 적어도 하나의 픽셀의 값을 결정함으로써 최적 요소 이미지를 생성하는 단계;를 갖추어 이루어지고,
    디스플레이 유닛이 최적 요소 이미지를 디스플레이하는 방법을 수행하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
KR1020110089786A 2010-11-10 2011-09-05 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체 KR101289544B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-252337 2010-11-10
JP2010252337A JP5289416B2 (ja) 2010-11-10 2010-11-10 立体画像表示装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20120050376A true KR20120050376A (ko) 2012-05-18
KR101289544B1 KR101289544B1 (ko) 2013-07-24

Family

ID=46019194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110089786A KR101289544B1 (ko) 2010-11-10 2011-09-05 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체

Country Status (5)

Country Link
US (1) US9081194B2 (ko)
JP (1) JP5289416B2 (ko)
KR (1) KR101289544B1 (ko)
CN (1) CN102469326B (ko)
TW (1) TWI497979B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170029364A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 영상 생성 방법 및 영상 생성 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5818674B2 (ja) * 2011-12-21 2015-11-18 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、画像表示装置
TWI504933B (zh) * 2012-06-13 2015-10-21 Innolux Corp 可切換式二維／三維顯示裝置及其製造方法
US9069177B2 (en) 2012-06-15 2015-06-30 Innocom Technology(Shenzhen)Co., Ltd. Two dimensional/ three dimensional switchable display module and display deice having the same
CN104469337A (zh) * 2013-09-25 2015-03-25 联咏科技股份有限公司 视差计算方法及其立体匹配系统
KR102140080B1 (ko) 2013-09-27 2020-07-31 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
TWI556623B (zh) * 2015-07-03 2016-11-01 友達光電股份有限公司 三維影像控制方法
KR102463170B1 (ko) 2015-10-07 2022-11-04 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
CN110288523B (zh) * 2019-07-02 2023-10-13 北京字节跳动网络技术有限公司 图像生成方法和装置
JP2021141423A (ja) * 2020-03-04 2021-09-16 富士フイルムビジネスイノベーション株式会社 表示システム、表示制御装置及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096614B2 (ja) * 1995-05-30 2000-10-10 三洋電機株式会社 立体映像表示装置の映像信号処理装置
JP3579162B2 (ja) * 1995-06-29 2004-10-20 松下電器産業株式会社 立体ｃｇ画像生成装置
JPH09101482A (ja) * 1995-10-03 1997-04-15 Canon Inc 立体画像表示方法及びそれを用いた画像表示装置
US7176878B2 (en) * 2002-12-11 2007-02-13 Nvidia Corporation Backlight dimming and LCD amplitude boost
JP3892808B2 (ja) 2002-12-27 2007-03-14 株式会社東芝 ３次元画像表示装置、この表示装置に視差画像を配分する方法及びこの表示装置に３次元画像を表示する方法
WO2005009052A1 (en) * 2003-07-16 2005-01-27 Koninklijke Philips Electronics N.V. Head tracked autostereoscopic display
JP4363224B2 (ja) * 2004-03-04 2009-11-11 ソニー株式会社 立体表示装置および立体表示方法
JP4521342B2 (ja) * 2005-09-29 2010-08-11 株式会社東芝 三次元画像表示装置、三次元画像表示方法および三次元画像表示プログラム
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
JP2008134617A (ja) 2006-10-23 2008-06-12 Nec Lcd Technologies Ltd 表示装置、端末装置、表示パネル及び光学部材
JP2009049751A (ja) * 2007-08-21 2009-03-05 Toshiba Corp 立体画像表示装置
JP2009251098A (ja) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp 画像表示装置
US8331023B2 (en) * 2008-09-07 2012-12-11 Mediatek Inc. Adjustable parallax barrier 3D display
KR20100063300A (ko) * 2008-12-03 2010-06-11 삼성전자주식회사 3차원 디스플레이에서 뷰간 누화를 보상하는 장치 및 방법
JP2010224129A (ja) * 2009-03-23 2010-10-07 Sharp Corp 立体画像表示装置
US8520061B2 (en) * 2009-12-14 2013-08-27 3M Innovative Properties Company Zero-D dimming for 3D displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170029364A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 영상 생성 방법 및 영상 생성 장치

Also Published As

Publication number Publication date
KR101289544B1 (ko) 2013-07-24
TW201230775A (en) 2012-07-16
CN102469326B (zh) 2014-12-03
US9081194B2 (en) 2015-07-14
CN102469326A (zh) 2012-05-23
JP2012105101A (ja) 2012-05-31
US20120113101A1 (en) 2012-05-10
TWI497979B (zh) 2015-08-21
JP5289416B2 (ja) 2013-09-11

Similar Documents

Publication Publication Date Title
KR101289544B1 (ko) 3차원 이미지 디스플레이 장치, 방법 및 컴퓨터 판독가능 매체
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
KR101732836B1 (ko) 셰이더 기반의 그래픽스 콘텐츠에 대한 뷰잉 배향에 의한 입체 변환
EP3350989B1 (en) 3d display apparatus and control method thereof
EP2728888B1 (en) Multi-view display apparatus and image processing therefor
US20130127861A1 (en) Display apparatuses and methods for simulating an autostereoscopic display device
US20090174705A1 (en) Parallax scanning through scene object position manipulation
US10466485B2 (en) Head-mounted apparatus, and method thereof for generating 3D image information
JP5987267B2 (ja) 画像処理装置および画像処理方法
WO2012140397A2 (en) Three-dimensional display system
JP5752638B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
CN108345108A (zh) 头戴式显示设备、三维图像信息的生成方法及装置
JP4535954B2 (ja) ２眼式立体表示装置およびプログラム
TW201320719A (zh) 立體畫像顯示裝置、畫像處理裝置及畫像處理方法
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
US20140313199A1 (en) Image processing device, 3d image display apparatus, method of image processing and computer-readable medium
CN113597758B (zh) 用于校正柱状透镜失真的方法和装置
Zhdanov et al. Analysis of the vergence correction method in video see-through mixed reality systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee