KR101779423B1 - 영상처리방법 및 영상처리장치 - Google Patents

영상처리방법 및 영상처리장치 Download PDF

Info

Publication number
KR101779423B1
KR101779423B1 KR1020110056459A KR20110056459A KR101779423B1 KR 101779423 B1 KR101779423 B1 KR 101779423B1 KR 1020110056459 A KR1020110056459 A KR 1020110056459A KR 20110056459 A KR20110056459 A KR 20110056459A KR 101779423 B1 KR101779423 B1 KR 101779423B1
Authority
KR
South Korea
Prior art keywords
user
image
eye view
image data
face
Prior art date
Application number
KR1020110056459A
Other languages
English (en)
Other versions
KR20120137122A (ko
Inventor
하래주
임효준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110056459A priority Critical patent/KR101779423B1/ko
Priority to PCT/KR2011/006078 priority patent/WO2012169693A1/ko
Priority to US14/123,955 priority patent/US9269177B2/en
Publication of KR20120137122A publication Critical patent/KR20120137122A/ko
Application granted granted Critical
Publication of KR101779423B1 publication Critical patent/KR101779423B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 실시예에 따른 영상처리방법은 애플리케이션으로부터 3차원 영상 데이터를 수신하는 단계, 사용자의 좌안에 대응하는 좌안 시점 및 우안에 대응하는 우안 시점을 설정하는 단계, 및 좌안 시점 및 우안 시점에 따라 좌안 시점 영상 및 우안 시점 영상을 포함하는 양안시차 영상을 생성하는 단계를 포함한다.

Description

영상처리방법 및 영상처리장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}
본 발명은 영상처리방법 및 영상처리장치에 관한 것으로, 보다 상세하게는 입체영상 또는 양안시차영상을 표시하기 위한 영상처리방법 및 영상처리장치에 관한 것이다.
3차원 그래픽을 이용하면 2차원으로 표시되는 디스플레이 장치에서도 보다 사실적으로 3차원 모델을 표현할 수 있다. 그러나, 3차원 그래픽으로 3차원 모델을 표현하는 경우에도, 사용자가 확인할 수 있는 디스플레이 장치는 2차원 화면이기 때문에, 3차원 모델을 사용자의 시점에서 바라본 2차원 화면으로 변환하는 과정이 필요하다.
일반적으로 변환되는 2차원 이미지는 좌안용 영상과 우안용 영상이 서로 동일하므로 양안시차를 이용하는 스테레오스코픽 디스플레이(Stereoscopic Display)에서도 양안시차에 의한 입체효과를 느낄 수 없다.
스테레오스코픽 디스플레이를 통해 양안시차를 가지는 입체영상을 제공하기 위해서는 애플리케이션에서 좌안용 영상과 우안용 영상을 생성해야 한다. 또한, 애플리케이션이 이와 같은 기능을 갖지 않는 경우에는, 양안시차영상을 제공할 수 있도록 애플리케이션의 수정이 이루어져야 한다.
한편, 최근 입체영상을 제공하지 않는 영상표시장치에서 사용자의 눈 위치를 파악함으로써 입체영상의 효과를 제공하기 위한 방법이 제시되고 있다. 그러나 이러한 방식은 사용자의 눈 위치에 따라 이미지를 그려 주는 기능을 애플리케이션에 일일이 구현해 주어야 하는 번거로움이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 3차원 영상 데이터를 이용하여 양안시차 영상을 제공할 수 있는 영상처리방법 및 영상처리장치를 제공하는 데 있다.
또한, 본 발명의 다른 목적은 3차원 영상 데이터를 이용하여 사용자의 관점에 대응되는 영상을 제공할 수 있는 영상처리방법 및 영상처리장치를 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 영상처리방법은 애플리케이션으로부터 3차원 영상 데이터를 수신하는 단계, 사용자의 좌안에 대응하는 좌안 시점 및 우안에 대응하는 우안 시점을 설정하는 단계, 및 좌안 시점 및 우안 시점에 따라 좌안 시점 영상 및 우안 시점 영상을 포함하는 양안시차 영상을 생성하는 단계를 포함한다.
양안시차 영상을 생성하는 단계는 좌안 시점을 기준으로 3차원 영상 데이터를 변형하여 좌안 시점 영상 데이터를 생성하는 단계, 좌안 시점 영상 데이터를 렌더링(rendering)하여 좌안 시점 영상을 생성하는 단계, 우안 시점을 기준으로 3차원 영상 데이터를 변형하여 우안 시점 영상 데이터를 생성하는 단계, 우안 시점 영상 데이터를 렌더링하여 우안 시점 영상을 생성하는 단계, 및 좌안 시점 영상 및 우안 시점 영상을 조합하여 양안시차 영상을 생성하는 단계를 포함할 수 있다.
3차원 영상 데이터는 오픈지엘(openGL) 기반 데이터일 수 있다.
좌안 시점 및 우안 시점은 양안시차 영상을 표시하는 영상표시장치의 특성에 따라 설정될 수 있다. 영상표시장치의 특성은 영상표시장치의 화면크기를 포함할 수 있다.
한편, 본 발명의 실시예에 따른 영상처리장치는 애플리케이션으로부터 3차원 영상 데이터를 수신하고, 사용자의 좌안에 대응하는 좌안 시점 및 우안에 대응하는 우안 시점을 생성하며, 좌안 시점을 기준으로 3차원 영상 데이터를 변형하여 좌안 시점 영상 데이터를 생성하고, 우안 시점을 기준으로 3차원 영상 데이터를 변형하여 우안 시점 영상 데이터를 생성하는 시차영상 생성 모듈, 좌안 시점 영상 데이터를 렌더링하여 좌안 시점 영상을 생성하고, 우안 시점 영상 데이터를 렌더링하여 우안 시점 영상을 생성하는 렌더링 엔진 및 좌안 시점 영상 및 우안 시점 영상을 조합하여 양안시차 영상을 생성하는 드라이버(driver)를 포함한다.
영상처리장치는 렌더링 엔진에서 생성된 좌안 시점 영상을 저장하고 드라이버로 출력하는 좌안 프레임 버퍼, 및 렌더링 엔진에서 생성된 우안 시점 영상을 저장하고 드라이버로 출력하는 우안 프레임 버퍼를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른 영상처리방법은 애플리케이션으로부터 3차원 영상 데이터를 수신하는 단계, 사용자의 위치를 판단하는 단계, 사용자의 위치에 따른 시점을 생성하는 단계, 및 시점에 따라 3차원 영상 데이터를 변형하여 사용자 위치기반 영상을 생성하는 단계를 포함한다.
이때, 사용자의 위치를 판단하는 단계에서, 이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나의 출력으로부터 사용자의 위치정보를 검출할 수 있다.
또한, 사용자의 위치를 판단하는 단계에서, 이미지 센서와 광센서 중 어느 하나의 출력으로부터 사용자 얼굴의 3차원 위치정보를 산출하여 사용자의 위치정보를 검출할 수 있다.
또한, 사용자 위치기반 영상을 생성하는 단계는 시점을 기준으로 3차원 영상 데이터를 변형하여 사용자 위치기반 영상 데이터를 생성하는 단계, 및 사용자 위치기반 영상 데이터를 렌더링하여 사용자 위치기반 영상을 생성하는 단계를 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른 영상처리장치는 사용자의 위치를 판단하는 사용자 위치 검출 모듈, 애플리케이션으로부터 3차원 영상 데이터를 수신하고, 사용자 위치 검출 모듈에서 검출한 사용자의 위치에 따른 시점을 생성하며, 시점에 따라 3차원 영상 데이터를 변형하여 사용자 위치기반 영상 데이터를 생성하는 시차영상 생성 모듈, 및 시차영상 생성 모듈에서 생성된 사용자 위치기반 영상 데이터를 렌더링하여 사용자 위치기반 영상을 생성하는 렌더링 엔진을 포함한다.
이때, 사용자 위치 검출 모듈은 이미지 센서와 특정파장의 광을 감지하는 광센서 중 어느 하나를 포함할 수 있다.
본 발명에 의하면, 애플리케이션에서 제공되는 3차원 영상 데이터를 이용하여 양안시차 영상을 제공할 수 있게 된다. 이때, 사용자는 애플리케이션이 양안시차 영상을 제공하지 않는 경우에도 선택에 따라 양안시차에 의한 깊이 감을 갖는 입체영상을 감상할 수 있게 된다.
또한, 디스플레이 패널의 화면 크기, 최대허용 시차 등과 같은 디바이스의 특성을 고려하여 좌안 및 우안 시점을 설정할 수 있게 되므로, 영상표시장치에 최적화된 양안시차 영상을 제공할 수 있다.
또한, 본 발명에 의하면, 사용자의 시점을 실시간으로 검출하여 이에 대응하는 사용자 위치기반 영상을 출력할 수 있다. 이에 따라 사용자는 입체영상을 제공하지 않는 2차원 영상표시장치에서도 입체효과를 가지는 영상을 감상할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 영상표시방법을 나타낸 순서도이다.
도 2는 3차원 영상 데이터를 표시하기 위한 좌표공간을 예시한 개략도이다.
도 3은 도 2의 좌표공간에 표시되는 3차원 영상 데이터를 2차원 영상 데이터로 변환하기 위한 프로젝션 매트릭스(projection matrix)의 예를 나타낸 도면이다.
도 4는 도 1의 양안시차 영상을 생성하는 단계를 보다 상세하게 나타낸 순서도이다.
도 5는 3차원 영상을 예시한 개략도이다.
도 6은 좌안 시점 영상을 예시한 개략도이다.
도 7은 우안 시점 영상을 예시한 개략도이다.
도 8은 좌안 시점 영상과 우안 시점 영상을 조합하여 양안시차 영상을 생성하는 것을 나타낸 개략도이다.
도 9는 본 발명의 제2 실시예에 따른 영상표시방법을 나타낸 순서도이다.
도 10은 카메라가 설치된 영상표시장치에서의 사용자 얼굴의 위치정보를 나타내는 개략도이다.
도 11은 도 10의 카메라에 의해 촬영된 사용자의 이미지를 나타내는 개략도이다.
도 12는 적외선 센서가 설치된 영상표시장치에서의 사용자 얼굴의 위치정보를 나타내는 개략도이다.
도 13은 도 12의 적외선 센서에 의해 검출되는 사용자의 이미지를 나타내는 개략도이다.
도 14는 사용자가 정면에 위치하는 경우에 표시되는 이미지를 예시한 개략도이다.
도 15는 사용자가 좌측에 위치하는 경우에 표시되는 이미지를 예시한 개략도이다.
도 16은 사용자가 우측에 위치하는 경우에 표시되는 이미지를 예시한 개략도이다.
도 17은 본 발명의 실시예에 따른 영상표시장치를 나타낸 개략도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 먼저, 도 1 내지 도 7을 참조하여 본 발명의 제1 실시예를 상세하게 설명한다. 본 실시예에서는 3차원 영상 데이터에 근거하여 양안시차 영상을 생성 및 표시하는 방법을 제공한다.
도 1은 본 발명의 제1 실시예에 따른 영상처리방법을 포함하는 영상표시방법을 나타낸 순서도이다. 도 1에 도시한 바와 같이, 본 발명의 제1 실시예에 따른 영상표시방법에서는 먼저, 애플리케이션에서 제공되는 3차원 영상 데이터를 수신(S100)한다. 이때, 3차원 공간 상의 좌표정보를 포함하는 3차원 영상 데이터를 제공하는 애플리케이션은 오픈지엘(openGL, Open Graphics Library)에 기반한 게임 애플리케이션 일 수 있다. 그러나 본 발명이 여기에 한정되는 것은 아니고, 3차원 영상 데이터를 제공하는 다양한 애플리케이션에 적용이 가능하다.
다음으로, 애플리케이션으로부터 출력된 3차원 영상 데이터를 양안시차 영상으로 변환할 것인지의 여부를 판단(S200)한다. 이때, 영상출력 모드가 양안시차 영상이 아닌 일반 2차원 영상출력 모드인 경우에는, 단일 시점에 대한 영상을 생성(S300)하고, 단일 시점으로 생성된 영상을 출력(S400)한다.
한편, 영상출력 모드가 양안시차 영상출력 모드인 경우에는, 사용자(16)의 좌안에 대응하는 좌안 시점 및 우안에 대응하는 우안 시점을 설정(S500)한다.
도 2는 3차원 영상 데이터를 표시하기 위한 좌표공간을 예시한 개략도이고, 도 3은 도 2의 좌표공간에서 표시되는 3차원 영상 데이터를 2차원 화면에 표시하기 위한 데이터로 변환하기 위한 기본 프로젝션 매트릭스를 예시한 도면이다. 도 2에 도시한 바와 같이, r은 좌표공간의 x축에서 우측 경계, l은 좌표공간의 x축에서 좌측 경계, b는 좌표공간의 y축에서 아래 측 경계, t는 좌표공간의 y축에서 위 측 경계, n은 좌표공간의 z축에서 가까운 측의 경계, f는 좌표공간의 z축에서 먼 측의 경계 값을 나타낸다. 이때, r, t, n은 양의 값을 가지며, l, b, f는 각각 r, t, n과 동일한 절대값을 가지는 음의 값을 가질 수 있다.
도 3의 기본 프로젝션 매트릭스의 r 및 l의 값을 동일하게 감소 또는 증가 시킴에 따라 좌안 시점 및 우안 시점을 설정할 수 있다. 이때, 도 2에 예시한 공간에서 객체들의 위치, 파 플레인(far plain)의 폭, 디스플레이 화면의 크기 및 최대허용 시차 측정 수치와 같은 특성들을 고려하여 좌안 시점 및 우안 시점을 설정할 수 있다.
예를 들어, 한정된 공간에 객체들이 모여있는 경우에는 사용자(16)가 깊이 감을 느끼기 어렵다. 따라서 객체의 위치에 따라서 좌안 및 우안 시점 사이의 거리를 스캐일링(scaling)하여 깊이 감을 최적화 할 수 있다.
이때, 객체들의 평균 위치가 z축 방향의 파 플레인에 가까울수록 좌안 및 우안 시점간의 거리가 일정 비율로 커지도록 하는 것이 바람직하다.
또한, 파 플레인에서 시차는 가장 큰 값을 가지므로 이곳에서 최대 허용 시차를 가질 수 있도록 좌안 및 우안 시점 사이의 거리를 조절할 수 있다.
또한, 최종 화면에 렌더링 시 파 플레인은 디스플레이 패널(160)의 화면 크기에 맞게 스케일링되므로 파 플레인의 폭과 화면 크기의 비율을 계산하여 최종 쉬프트 값이 최대허용 시차 이내가 되도록 좌안 및 우안 시점 사이의 거리를 조절할 수 있다. 이때, 최대허용 시차는 영상표시장치(100)에서 일정 거리를 가정하여 계산 된 값으로 픽셀 단위로 정해질 수 있다.
다음으로, 좌안 시점을 및 우안 시점에 따라 좌안 시점 영상 및 우안 시점 영상을 포함하는 양안시차 영상을 생성(S600)한다. 도 4는 도 1의 양안시차 영상을 생성하는 단계를 보다 상세하게 나타낸 순서도이다. 도 4를 참고하여 양안시차 영상을 생성하는 방법에 대하여 상세하게 설명한다.
먼저, 좌안 시점을 기준으로 3차원 영상 데이터를 변형하여 좌안 시점 영상 데이터를 생성(S610)하고, 좌안 시점 영상 데이터를 렌더링하여 좌안 시점 영상을 생성(S620)한다.
예를 들어, 설정된 좌안 시점의 값에 따라, 도 3의 기본 프로젝션 매트릭스 내의 r과 l의 값을 동일하게 감소시켜 좌안 시점 데이터를 생성하기 위한 좌안 시점 프로젝션 매트릭스를 구할 수 있다. 이와 같이 생성된 좌안 시점 프로젝션 매트릭스를 이용하여 3차원 영상 데이터를 좌안 시점 영상 데이터로 변환할 수 있다. 도 5는 기본 프로젝션 매트릭스에 의해 표시되는 3차원 영상(10)을 예시한 개략도이고, 도 6은 좌안 시점 프로젝션 매트릭스에 의해 변환된 좌안 시점 영상 데이터에 따라 생성된 좌안 시점 영상(12)을 예시한 개략도이다. 도 6에 도시한 바와 같이, 좌안 시점 프로젝션 매트릭스에 의해 사용자(16)의 좌안 시점에 대응하는 비대칭 영상이 생성될 수 있다.
다음으로, 우안 시점을 기준으로 3차원 영상 데이터를 변형하여 우안 시점 영상 데이터를 생성(S630)하고, 우안 시점 영상 데이터를 렌더링하여 우안 시점 영상을 생성(S640)한다.
예를 들어, 설정된 우안 시점의 값에 따라, 도 3의 기본 프로젝션 매트릭스 내의 r과 l의 값을 동일하게 증가시켜 따라 우안 시점 데이터를 생성하기 위한 우안 시점 프로젝션 매트릭스를 구할 수 있다. 이와 같이 생성된 우안 시점 프로젝션 매트릭스에 의해 3차원 영상 데이터를 우안 시점 영상 데이터로 변환할 수 있다. 도 7은 우안 시점 프로젝션 매트릭스에 의해 변환된 우안 시점 영상 데이터에 따라 생성된 우안 시점 영상(14)을 예시한 개략도이다. 도 7에 도시한 바와 같이, 우안 시점 프로젝션 매트릭스에 의해 사용자(16)의 우안 시점에 대응하는 비대칭 영상이 생성될 수 있다.
다음으로, 좌안 시점 영상(12) 및 우안 시점 영상(14)을 조합하여 양안시차 영상을 생성(S650)한다. 도 8은 양안시차 영상을 생성하는 것을 나타낸 개략도이다. 이때, 좌안 시점 영상(12) 및 우안 시점 영상(14)을 조합하여 객체 편광방식, 시분할방식, 렌티큘러(lenticular)방식 또는 베리어(barrier)방식을 위한 양안시차 영상을 생성할 수 있으며, 본원 발명이 특정된 입체영상 구현방식에 한정되는 것은 아니다.
다음으로, 디스플레이 패널(160)을 이용하여 생성된 양안시차 영상을 출력(S700)한다.
이상 설명한 본 발명의 제1 실시예에 따른 영상표시방법에 의해서, 애플리케이션에서 제공되는 3차원 영상 데이터를 이용하여 양안시차 영상을 제공할 수 있게 된다. 이때, 사용자(16)는 애플리케이션이 양안시차 영상을 제공하지 않는 경우에도 선택에 따라 양안시차에 의한 깊이 감을 갖는 입체영상을 감상할 수 있게 된다.
또한, 디스플레이 패널(160)의 화면 크기, 최대허용 시차 등과 같은 디바이스의 특성을 고려하여 좌안 및 우안 시점을 설정할 수 있게 되므로, 영상표시장치(100)에 최적화된 양안시차 영상을 제공할 수 있다.
이하에서는 도 9 내지 도 16을 참고하여 본 발명의 제2 실시예에 따른 영상처리방법을 포함하는 영상표시방법에 대하여 상세하게 설명한다. 본 실시예에서는, 사용자(16)의 위치를 감지하고 이에 기반하여 3차원 영상 데이터를 변환함으로써 사용자(16) 위치에 기반한 영상을 출력하는 방법을 제공한다. 도 8은 본 발명의 제2 실시예에 따른 영상표시방법을 나타낸 순서도이다.
먼저, 애플리케이션으로부터 3차원 영상 데이터를 수신(S800)한다. 이때, 3차원 공간 상의 좌표정보를 포함하는 3차원 영상 데이터를 제공하는 애플리케이션은 오픈지엘(openGL, Open Graphics Library)에 기반한 애플리케이션 일 수 있다.
다음으로, 사용자(16)의 위치를 판단(S810)한다. 이때, 사용자(16)의 위치를 판단하기 위해 영상표시장치(100)에는 이미지 센서 또는 광센서(104)를 구비할 수 있으며, 이미지 센서와 특정파장의 광을 감지하는 광센서(104) 중 어느 하나의 출력으로부터 사용자(16)의 위치정보를 검출할 수 있다.
이하에서는 이미지 센서를 구비하는 카메라(102)를 이용하여 사용자(16)의 위치를 판단하는 방법에 대하여 상세하게 설명한다. 도 10은 카메라(102)가 설치된 영상표시장치(100)에서의 사용자(16) 얼굴의 위치정보를 나타내는 개략도이고, 도 11은 도 10의 카메라(102)에 의해 촬영된 사용자의 이미지(18)를 나타내는 개략도이다.
영상표시장치(100)는 프레임에 설치되는 카메라(102)를 포함한다. 사용자(16)가 카메라(102)의 화각(view angle) 내에 존재할때, 카메라(102)에 의해 촬상된 영상에는 사용자의 이미지(18)가 포함된다. 도 11과 같은 카메라 캡쳐 영상은 카메라(102)의 해상도에 따라 결정되는 CW(px)×CH(px) 화소 매트릭스를 포함한다.
본 실시예에서는 도 11과 같은 현재 프레임의 카메라 캡쳐 영상을 분석하여 이전 프레임에서 계산된 사용자(16)의 위치정보가 존재하는가를 판단할 수 있다. 이때, 현재 프레임의 카메라 캡쳐 영상에 이전 프레임에서 계산된 사용자(16)의 위치정보가 존재하면, 사용자(16)의 얼굴 탐색 범위를 이전 프레임에서 계산된 사용자(16) 위치 주변으로 설정할 수 있다. 반면에, 현재 프레임의 카메라 캡쳐 영상에 이전 프레임에서 계산된 사용자(16)의 위치정보가 존재하지 않으면, 사용자(16)의 얼굴 탐색 범위를 현재 프레임의 카메라 캡쳐 영상 전체 범위로 설정할 수 있다.
이때, 설정된 얼굴 탐색 범위 내에서 공지의 얼굴 탐색 알고리즘을 이용하여 사용자(16)의 얼굴을 탐색하여, 카메라 캡쳐 영상으로부터 사용자(16) 얼굴을 XYZ 3차원 위치정보(FaceX, FaceY, Dist)로 추출할 수 있다. 얼굴 탐색 알고리즘의 일례로 "Viola & Jones의 얼굴 탐색 알고리즘"을 적용할 수 있으며, 이에 한정되는 것이 아니라 공지의 어떠한 얼굴 탐색 알고리즘도 적용 가능하다. Viola & Jones의 얼굴 탐색 알고리즘은 아래의 수학식 1 내지 4와 같다. 수학식 1 내지 4에서 파라미터 FW(mm), SH(mm), θ(°), CW(px), 및 CH(px)는 도 3 및 도 4와 같이 영상표시장치(100), 카메라(102) 및 카메라 캡쳐 영상에 의해 결정되는 상수값이며, 카메라 캡쳐 영상으로부터 산출된 DW(px) 및 DC(px)는 사용자(16)의 움직임에 따라 Viola & Jones의 얼굴 탐색 알고리즘에 의해 실시간 계산되는 변수값이다. FW는 사용자(16) 얼굴의 폭(Face Width), SH는 영상표시장치(100)의 화면 높이(Screen Height), θ는 사용자(16)가 입체 영상을 바라보는 각도, CW는 카메라 캡쳐 영상의 가로 길이, CH는 카메라 캡쳐 영상의 세로 높이, DW는 카메라 캡쳐 영상으로부터 검출된 사용자(16) 얼굴의 폭(Detected Width), DC는 카메라 캡쳐 영상으로부터 검출된 사용자(16) 얼굴 중심(Detected Center)을 각각 의미한다.
Figure 112011043933862-pat00001
여기서, RPP는 "Radians per pixel"이고 CW는 카메라 캡쳐 영상의 가로 길이이다.
Figure 112011043933862-pat00002
여기서, Dist는 도 3에서 영상표시장치(100)와 사용자(16) 사이의 거리(Face Distance)이다.
Figure 112011043933862-pat00003
여기서, FaceX는 도 10의 X축 상에서의 사용자(16) 얼굴의 위치이며, DC.X는 카메라 캡쳐 영상으로부터 검출된 사용자(16) 얼굴 중심의 x축 픽셀 위치이다.
Figure 112011043933862-pat00004
여기서, FaceY는 도 10의 Y축 상에서의 사용자(16) 얼굴의 위치이며, DC.Y는 카메라 캡쳐 영상으로부터 검출된 사용자(16) 얼굴 중심의 y축 픽셀 위치이다.
카메라 캡쳐 영상으로부터 사용자(16) 얼굴을 검출하는데 실패하였다면, 카메라 캡쳐 영상으로부터 피부색이 가장 많이 포함된 영역을 사용자(16) 얼굴로 인식하여, 사용자(16) 얼굴을 XYZ 3차원 위치정보(FaceX, FaceY, Dist)로 추출할 수 있다.
소정의 프레임기간 동안 예를 들면, 수십 프레임기간 동안 상기와 같은 과정을 반복하여 추출된 영상표시장치(100)를 바라 보는 사용자(16) 얼굴의 3차원 위치정보(FaceX, FaceY, Dist)를 평균할 수 있다. 이는 사용자(16)가 전혀 움직이지 않고 있는 경우에도 카메라 캡쳐 영상에 혼입된 미세한 노이즈에 의해 사용자(16) 위치 정보가 조금씩 변할 수 있으므로 사용자(16) 위치 정보를 시간축으로 스무딩하여 최종 사용자(16) 얼굴의 3차원 위치 정보로 결정하기 위함이다.
이하에서는 광센서(104)의 출력을 이용하여 사용자(16)의 위치를 판단하는 방법에 대하여 상세하게 설명한다. 도 12는 광센서(104)가 설치된 영상표시장치(100)에서의 사용자(16) 얼굴의 위치정보를 나타내는 개략도이고, 도 13은 도 12의 광센서(104)에 의해 검출되는 사용자의 이미지(24)를 나타내는 개략도이다. 이때, 광센서(104)는 일례로 적외선 센서일 수 있다.
도 12와 도 13을 참조하면, 영상표시장치(100)는 그 프레임에 설치되는 광센서(104)를 포함한다. 사용자(16)는 좌/우 적외선 발광장치(22L, 22R)가 설치된 3D 편광안경(20)을 착용한다. 3D 편광안경(20)을 착용한 사용자(16)가 광센서(104)의 화각 내에 존재할 때, 광센서(104)의 출력에는 좌/우 적외선 발광장치(22L, 22R) 각각으로부터의 적외선이 수광된다. 광센서(104)는 도 13과 같이 센서 해상도에 따라 결정되는 IRW(px)×IRH(px) 센서 매트릭스를 포함한다.
도 13과 같은 광센서(104)의 출력으로부터 적외선 수광 위치(DP1, DP2)를 검출하고, 아래의 수학식 5 내지 11을 이용하여 사용자(16) 얼굴의 폭(DW), 사용자(16) 얼굴의 중심점 XY좌표(DC.X, DC.Y), 및 사용자(16) 얼굴의 3차원 위치정보(FaceX, FaceY, Dist)를 계산한다.
Figure 112011043933862-pat00005
여기서, DW는 광센서(104)로부터 검출된 좌/우안 적외선 발광장치(22L, 22R) 사이의 폭이다.
Figure 112011043933862-pat00006
여기서, DC.X는 X축 상에서의 사용자(16) 얼굴 중심점 좌표값이다.
Figure 112011043933862-pat00007
여기서, DC.Y는 Y축 상에서의 사용자(16) 얼굴 중심점 좌표값이다.
Figure 112011043933862-pat00008
여기서, RPPIR는 "Radians per pixel"이고 IRW는 광센서(104) 출력의 가로 길이이다.
Figure 112011043933862-pat00009
여기서, Dist는 도 12에서 영상표시장치(100)와 사용자(16) 사이의 거리(Face Distance)이다.
Figure 112011043933862-pat00010
여기서, FaceX는 도 12에서 X축 상에서의 사용자(16) 얼굴의 위치이며, DC.X는 적외선 출력으로부터 검출된 사용자(16) 얼굴 중심의 x축 좌표값이다.
Figure 112011043933862-pat00011
여기서, FaceY는 도 12에서 Y축 상에서의 사용자(16) 얼굴의 위치이며, DC.Y는 카메라 캡쳐 영상으로부터 검출된 사용자(16) 얼굴 중심의 y축 좌표값이다. IRW는 광센서(104) 출력의 세로 높이이고, SH는 영상표시장치(100)의 표시화면에서 세로 높이(Screen Height)이다.
다음으로, 사용자(16)의 위치에 따른 시점을 생성(S820)한다. 이때, 전술한 바와 같이 산출된 사용자(16)의 3차원 위치정보를 이용하여 시점을 설정한다. 예를 들어, 도 3의 기본 프로젝션 매트릭스에서, r, l, t, b, n, f의 값을 산출된 사용자(16)의 3차원 위치정보에 대응하여 감소 또는 증가 시킴에 따라 사용자(16)의 위치에 따른 시점을 생성할 수 있다. 또한, 이때, 사용자(16) 얼굴의 3차원 위치정보에 따라 시점을 실시간으로 변경할 수 있다.
다음으로, 생성된 시점에 따라 3차원 영상 데이터를 변형하여 사용자 위치기반 영상을 생성(S830)하고, 출력(S840)한다. 이때, 생성된 시점을 기준으로 3차원 영상 데이터를 변형하여 사용자 위치기반 영상 데이터를 생성하고, 사용자 위치기반 영상 데이터를 렌더링하여 사용자 위치기반 영상을 생성할 수 있다.
도 14는 사용자(16)가 정면에 위치하는 경우에 표시되는 이미지(26)를 예시한 개략도이고, 도 15는 사용자(16)가 좌측에 위치하는 경우에 표시되는 이미지(28)를 예시한 개략도이며, 도 16은 사용자(16)가 우측에 위치하는 경우에 표시되는 이미지(30)를 예시한 개략도이다.
도 14에 도시한 바와 같이, 사용자(16)가 화면의 정면에 위치하는 경우, 예를 들어, 도 3의 기본 프로젝션 매트릭스를 이용하여 사용자 위치기반 영상 데이터를 생성하고, 이를 렌더링 하여 사용자(16) 위치 기반 영상(26)을 생성 및 출력할 수 있다.
또한, 도 15에 도시한 바와 같이, 사용자(16)가 화면의 좌측에 위치하는 경우, 예를 들어, 도 3의 기본 프로젝션 매트릭스 내의 r과 l 값을 사용자(16)의 위치정보에 따라 동일하게 감소시켜 사용자 위치기반 프로젝션 매트릭스를 구할 수 있다. 이와 같이 생성된 사용자 위치기반 프로젝션 매트릭스를 이용하여 3차원 영상 데이터를 사용자 위치기반 영상 데이터로 변환할 수 있다.
또한, 도 16에 도시한 바와 같이, 사용자(16)가 화면의 우측에 위치하는 경우, 예를 들어, 도 3의 기본 프로젝션 매트릭스 내의 r과 l 값을 사용자(16)의 위치정보에 따라 동일하게 증가시켜 사용자 위치기반 프로젝션 매트릭스를 구할 수 있다. 이와 같이 생성된 사용자 위치기반 프로젝션 매트릭스를 이용하여 3차원 영상 데이터를 사용자 위치기반 영상 데이터로 변환할 수 있다.
상기와 같은 본 발명의 제2 실시예에 따른 영상표시방법에 따르면 사용자(16)의 시점을 실시간으로 검출하여 이에 대응하는 사용자 위치기반 영상을 출력할 수 있다. 이에 따라 사용자(16)는 입체영상을 제공하지 않는 2차원 영상표시장치에서도 입체효과를 가지는 영상을 감상할 수 있다.
이하에서는 도 17을 참고하여 본 발명의 실시예에 따른 영상처리장치를 포함하는 영상표시장치(100)를 상세하게 설명한다. 본 실시예에 따른 영상표시장치(100)는 전술한 본 발명의 제1 및 제2 실시예에 따른 영상표시방법을 구현할 수 있도록 구성된다. 영상표시장치(100)는 디지털 텔레비전, PC의 모니터, 휴대전화 등과 같은 모든 디스플레이 기기를 포함할 수 있다.
도 17은 본 발명의 실시예에 따른 영상표시장치(100)를 나타낸 개략도이다. 도 17에 도시한 바와 같이, 본 실시예에 따른 영상표시장치(100)는 시차영상 생성 모듈(120), 렌더링 엔진(130), 프레임 버퍼(140), 드라이버(150), 디스플레이 패널(160) 및 사용자 위치검출 모듈(170)을 포함한다.
시차영상 생성 모듈(120)은 애플리케이션(110)으로부터 3차원 영상 데이터를 수신하고, 사용자(16)의 좌안에 대응하는 좌안 시점 및 우안에 대응하는 우안 시점을 생성하며, 좌안 시점을 기준으로 3차원 영상 데이터를 변형하여 좌안 시점 영상 데이터를 생성하고, 우안 시점을 기준으로 3차원 영상 데이터를 변형하여 우안 시점 영상 데이터를 생성한다.
또한, 시차영상 생성 모듈(120)은 애플리케이션(110)으로부터 3차원 영상 데이터를 수신하고, 사용자 위치검출 모듈(170)에서 검출한 사용자(16)의 위치에 따른 시점을 생성하며, 시점에 따라 3차원 영상 데이터를 변형하여 사용자 위치기반 영상 데이터를 생성한다.
렌더링 엔진(130)은 좌안 시점 영상 데이터를 렌더링하여 좌안 시점 영상을 생성하고, 우안 시점 영상 데이터를 렌더링하여 우안 시점 영상을 생성한다.
또한, 렌더링 엔진(130)은 시차영상 생성 모듈(120)에서 생성된 사용자 위치기반 영상 데이터를 렌더링하여 사용자 위치기반 영상을 생성한다.
프레임 버퍼(140)는 디스플레이 패널(160)에 표시할 영상을 일시적으로 저장한다. 프레임 버퍼(140)는 렌더링 엔진(130)에서 생성된 좌안 시점 영상을 저장하고 드라이버(150)로 출력하는 좌안 프레임 버퍼(142), 및 렌더링 엔진(130)에서 생성된 우안 시점 영상을 저장하고 드라이버(150)로 출력하는 우안 프레임 버퍼(144)를 포함할 수 있다.
드라이버(150)는 좌안 시점 영상 및 우안 시점 영상을 조합하여 양안시차 영상을 생성한다.
디스플레이 패널(160)은 양안시차 영상 또는 사용자 위치기반 영상을 출력한다.
사용자 위치검출 모듈(170)은 사용자(16)의 위치를 판단한다. 사용자 위치검출 모듈(170)은 이미지 센서와 특정파장의 광을 감지하는 광센서(104) 중 어느 하나를 포함할 수 있다. 사용자 위치검출 모듈(170)은 이미지 센서와 광센서(104) 중 어느 하나의 출력으로부터 사용자(16) 얼굴의 3차원 위치정보를 산출하여 사용자(16)의 위치정보를 검출할 수 있다.
이상 설명한 본 발명의 실시예에 따른 영상표시장치(100)의 각 구성요소들은 본 발명을 예시하기 위한 것으로, 각 구성요소가 서로 통합되거나 추가적으로 분리된 구성요소로 이루어 질 수도 있다.
또한, 각 구성요소들은 전술한 기능을 수행하는 하드웨어, 소프트웨어 또는 이들이 결합된 형태로 구성될 수 있으며, 본 발명이 여기에 한정되는 것은 아니다.
이하에서는 상기와 같이 구성되는 영상표시장치(100)의 동작에 대하여 상세하게 설명한다. 먼저, 본 실시예에 따른 영상표시장치(100)에 의해 전술한 본 발명의 제1 실시예에 따른 영상표시방법이 제공되는 것에 대하여 상세하게 설명한다.
시차영상 생성 모듈(120)은 애플리케이션(110)에서 제공되는 3차원 영상 데이터를 수신한다. 이때, 3차원 공간 상의 좌표정보를 포함하는 3차원 영상 데이터를 제공하는 애플리케이션(110)은 오픈지엘(openGL, Open Graphics Library)에 기반한 애플리케이션(110) 일 수 있다.
또한, 시차영상 생성 모듈(120)은 애플리케이션(110)으로부터 출력된 3차원 영상 데이터를 양안시차 영상으로 변환할 것인지의 여부를 판단한다. 이때, 영상출력 모드가 양안시차 영상이 아닌 일반 2차원 영상출력 모드인 경우에는, 시차영상 생성 모듈(120)은 단일 시점에 대한 영상을 생성하고, 단일 시점으로 생성된 영상을 렌더링 엔진(130)으로 출력한다.
한편, 영상출력 모드가 양안시차 영상출력 모드인 경우, 시차영상 생성 모듈(120)은 사용자(16)의 좌안에 대응하는 좌안 시점 및 우안에 대응하는 우안 시점을 설정한다.
이때, 예를 들어, 시차영상 생성 모듈(120)은 도 3의 기본 프로젝션 매트릭스의 r 및 l의 값을 동일하게 감소 또는 증가 시킴에 따라 좌안 시점 및 우안 시점을 설정할 수 있다. 이때, 시차영상 생성 모듈(120)은 도 2에 예시한 공간에서 객체들의 위치, 파 플레인(far plain)의 폭, 디스플레이 화면의 크기 및 최대허용 시차 측정 수치와 같은 특성들을 고려하여 좌안 시점 및 우안 시점을 설정할 수 있다.
예를 들어, 한정된 공간에 객체들이 모여있는 경우에는 사용자(16)가 깊이 감을 느끼기 어렵다. 따라서 객체의 위치에 따라서 좌안 및 우안 시점 사이의 거리를 스캐일링하여 깊이 감을 최적화 할 수 있다.
이때, 객체들의 평균 위치가 z축 방향의 파 플레인에 가까울수록 좌안 및 우안 시점간의 거리가 일정 비율로 커지도록 하는 것이 바람직하다.
또한, 파 플레인에서 시차는 가장 큰 값을 가지므로 이곳에서 최대 허용 시차를 가질 수 있도록 좌안 및 우안 시점 사이의 거리를 조절할 수 있다.
또한, 최종 화면에 렌더링 시 파 플레인은 디스플레이 패널(160)의 화면 크기에 맞게 스케일링되므로 파 플레인의 폭과 화면 크기의 비율을 계산하여 최종 쉬프트 값이 최대허용 시차 이내가 되도록 좌안 및 우안 시점 사이의 거리를 조절할 수 있다. 이때, 최대허용 시차는 영상표시장치(100)에서 일정 거리를 가정하여 계산 된 값으로 픽셀 단위로 정해질 수 있다.
또한, 시차영상 생성 모듈(120)은 좌안 시점을 기준으로 3차원 영상 데이터를 변형하여 좌안 시점 영상 데이터를 생성하고, 이를 렌더링 엔진(130)으로 출력한다. 렌더링 엔진(130)은 좌안 시점 영상 데이터를 렌더링하여 좌안 프레임 버퍼(142)에 좌안 시점 영상을 생성한다.
예를 들어, 시차영상 생성 모듈(120)은 설정된 좌안 시점의 값에 따라, 도 3의 기본 프로젝션 매트릭스 내의 r과 l의 값을 동일하게 감소시켜 좌안 시점 데이터를 생성하기 위한 좌안 시점 프로젝션 매트릭스를 구할 수 있다. 또한, 시차영상 생성 모듈(120)은 이와 같이 생성된 좌안 시점 프로젝션 매트릭스를 이용하여 3차원 영상 데이터를 좌안 시점 영상 데이터로 변환할 수 있다. 도 6에 도시한 바와 같이, 좌안 시점 프로젝션 매트릭스에 의해 사용자(16)의 좌안 시점에 대응하는 비대칭 영상이 생성될 수 있다.
또한, 시차영상 생성 모듈(120)은 우안 시점을 기준으로 3차원 영상 데이터를 변형하여 우안 시점 영상 데이터를 생성하고, 이를 렌더링 엔진(130)으로 출력한다. 렌더링 엔진(130)은 우안 시점 영상 데이터를 렌더링하여 우안 프레임 버퍼(144)에 우안 시점 영상을 생성한다.
예를 들어, 시차영상 생성 모듈(120)은 설정된 우안 시점의 값에 따라, 도 3의 기본 프로젝션 매트릭스 내의 r과 l의 값을 동일하게 증가시켜 따라 우안 시점 데이터를 생성하기 위한 우안 시점 프로젝션 매트릭스를 구할 수 있다. 또한, 시차영상 생성 모듈(120)은 이와 같이 생성된 우안 시점 프로젝션 매트릭스에 의해 3차원 영상 데이터를 우안 시점 영상 데이터로 변환할 수 있다. 도 7에 바와 같이, 우안 시점 프로젝션 매트릭스에 의해 사용자(16)의 우안 시점에 대응하는 비대칭 영상이 생성될 수 있다.
드라이버(150)는 좌안 시점 영상 및 우안 시점 영상을 조합하여 양안시차 영상을 생성한다. 이때, 드라이버(150)는 좌안 시점 영상 및 우안 시점 영상을 조합하여 객체 편광방식, 시분할방식, 렌티큘러방식 또는 베리어방식을 위한 양안시차 영상을 생성할 수 있으며, 본원 발명이 특정된 입체영상 구현방식에 한정되는 것은 아니다.
디스플레이 패널(160)은 드라이버(150)에서 출력되는 생성된 양안시차 영상을 표시한다.
이하에서는 본 실시예에 따른 영상표시장치(100)에 의해 전술한 본 발명의 제2 실시예에 따른 영상표시방법이 제공되는 것에 대하여 상세하게 설명한다.
시차영상 생성 모듈(120)은 애플리케이션(110)으로부터 3차원 영상 데이터를 수신한다. 이때, 3차원 공간 상의 좌표정보를 포함하는 3차원 영상 데이터를 제공하는 애플리케이션(110)은 오픈지엘(openGL, Open Graphics Library)에 기반한 애플리케이션(110) 일 수 있다.
사용자 위치검출 모듈(170)은 사용자(16)의 위치를 판단한다. 이때, 사용자(16)의 위치를 판단하기 위해 사용자 위치검출 모듈(170)은 이미지 센서 또는 광센서(104)를 구비할 수 있으며, 이미지 센서와 특정파장의 광을 감지하는 광센서(104) 중 어느 하나의 출력으로부터 사용자(16)의 위치정보를 검출할 수 있다. 사용자(16)의 위치를 검출하는 방법은 본 발명의 제2 실시예에 따른 영상표시방법에서 상세하게 설명하였으므로 여기에서는 그 설명을 생략한다.
시차영상 생성 모듈(120)은 사용자 위치검출 모듈(170)에서 제공되는 사용자(16)의 위치에 따라 시점을 생성한다. 이때, 시차영상 생성 모듈(120)은 예를 들어, 도 3의 기본 프로젝션 매트릭스에서, r, l, t, b, n, f의 값을 산출된 사용자(16)의 3차원 위치정보에 대응하여 감소 또는 증가 시킴에 따라 사용자(16)의 위치에 따른 시점을 생성할 수 있다. 또한, 시차영상 생성 모듈(120)은 사용자(16) 얼굴의 3차원 위치정보에 따라 시점을 실시간으로 변경할 수 있다.
시차영상 생성 모듈(120)은 생성된 시점에 따라 3차원 영상 데이터를 변형하여 사용자 위치기반 영상 데이터를 생성하고, 이를 렌더링 엔진(130)으로 출력한다. 렌더링 엔진(130)은 사용자 위치기반 영상 데이터를 이용하여 사용자 위치기반 영상을 프레임 버퍼(140)에 생성한다.
이때, 시차영상 생성 모듈(120)은 생성된 시점을 기준으로 3차원 영상 데이터를 변형하여 사용자 위치기반 영상 데이터를 생성하고, 렌더링 엔진(130)은 사용자 위치기반 영상 데이터를 렌더링하여 사용자 위치기반 영상을 생성할 수 있다.
도 14에 도시한 바와 같이, 사용자(16)가 화면의 정면에 위치하는 경우, 시차영상 생성 모듈(120)은 예를 들어, 도 3의 기본 프로젝션 매트릭스를 이용하여 사용자 위치기반 영상 데이터를 생성할 수 있다.
또한, 도 15에 도시한 바와 같이, 사용자(16)가 화면의 좌측에 위치하는 경우, 시차영상 생성 모듈(120)은 예를 들어, 도 3의 기본 프로젝션 매트릭스 내의 r과 l 값을 사용자(16)의 위치정보에 따라 동일하게 감소시켜 사용자 위치기반 프로젝션 매트릭스를 구할 수 있다. 시차영상 생성 모듈(120)은 이와 같이 생성된 사용자 위치기반 프로젝션 매트릭스를 이용하여 3차원 영상 데이터를 사용자 위치기반 영상 데이터로 변환할 수 있다.
또한, 도 16에 도시한 바와 같이, 사용자(16)가 화면의 우측에 위치하는 경우, 시차영상 생성 모듈(120)은 예를 들어, 도 3의 기본 프로젝션 매트릭스 내의 r과 l 값을 사용자(16)의 위치정보에 따라 동일하게 증가시켜 사용자 위치기반 프로젝션 매트릭스를 구할 수 있다. 시차영상 생성 모듈(120)은 이와 같이 생성된 사용자 위치기반 프로젝션 매트릭스를 이용하여 3차원 영상 데이터를 사용자 위치기반 영상 데이터로 변환할 수 있다.
상기에서 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
100: 영상표시장치 110: 애플리케이션
120: 시차영상 생성 모듈 130: 렌더링 엔진
140: 프레임 버퍼 150: 드라이버
160: 디스플레이 패널 170: 사용자 위치검출 모듈

Claims (19)

  1. [청구항 1은(는) 설정등록료 납부시 포기되었습니다.]
    영상 처리 장치의 영상 처리 방법에 있어서,
    애플리케이션 레이어로부터 3차원 영상 데이터를 수신하는 단계;
    상기 영상 표시 장치의 전방에 위치한 사용자의 얼굴 감지를 통해 상기 사용자 얼굴의 3차원 위치 정보를 계산하는 단계;
    상기 3차원 위치 정보를 근거로 상기 사용자가 좌측에 위치한 경우, 상기 3차원 영상 데이터를 표시하기 위한 좌표 공간의 x축에서의 좌측 경계 값 및 우측 경계 값을 상기 사용자의 좌측 위치에 따라 동일하게 감소시켜 상기 사용자의 좌안 시점에 해당하는 좌안 프로젝션 매트릭스를 생성하는 단계;
    상기 3차원 위치 정보를 근거로 상기 사용자가 우측에 위치한 경우, 상기 3차원 영상 데이터를 표시하기 위한 좌표 공간의 x축에서의 좌측 경계 값 및 우측 경계 값을 상기 사용자의 우측 위치에 따라 동일하게 증가시켜 상기 사용자의 우안 시점에 해당하는 우안 프로젝션 매트릭스를 생성하는 단계;
    상기 좌안 프로젝션 매트릭스를 근거로 좌안 시점 영상을 생성하는 단계;
    상기 우안 프로젝션 매트릭스를 근거로 우안 시점 영상을 생성하는 단계;
    상기 생성된 좌안 시점 영상 및 우안 시점 영상을 조합하여 양안 시차 영상을 생성하는 단계; 및
    상기 생성된 양안 시차 영상을 표시하는 단계;를 포함하고,
    상기 좌안 및 우안 프로젝션 매트릭스는, 영상 표시 장치의 화면 크기 및 최대 허용 시차에 따라 조절되는, 영상 처리 방법.
  2. [청구항 2은(는) 설정등록료 납부시 포기되었습니다.]
    제1 항에 있어서,
    상기 좌안 시점 영상은, 상기 좌안 프로젝션 매트릭스를 근거로 상기 3차원 영상 데이터를 변형시켜 생성되고,
    상기 우안 시점 영상은, 상기 우안 프로젝션 매트릭스를 근거로 상기 3차원 영상 데이터를 변형시켜 생성되는, 영상 처리 방법.
  3. [청구항 3은(는) 설정등록료 납부시 포기되었습니다.]
    제1 항에 있어서,
    상기 3차원 영상 데이터는, 오픈 그래픽 라이브러리(Open Graphic Library) 기반 데이터인, 영상 처리 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. [청구항 12은(는) 설정등록료 납부시 포기되었습니다.]
    제1 항에 있어서,
    상기 계산 단계는, 카메라에 의해 상기 사용자의 얼굴이 감지되면, 상기 카메라를 통해 수신되는 둘 이상의 연속 프레임들 내의 상기 사용자의 얼굴의 3차원 위치 정보를 평균화하여 상기 사용자 얼굴의 3차원 위치 정보를 계산하는, 영상 처리 방법.
  13. [청구항 13은(는) 설정등록료 납부시 포기되었습니다.]
    제1 항에 있어서,
    상기 계산 단계는, 광 센서에 의해 상기 사용자의 얼굴이 감지되면, 상기 광 센서에 광선이 수신되는 위치들을 근거로 상기 사용자 얼굴의 3차원 위치정보를 계산하는, 영상 처리 방법.
  14. 삭제
  15. 삭제
  16. 영상 처리 장치의 전방에 위치한 사용자의 얼굴을 감지하는 카메라 또는 광 센서;
    상기 카메라 또는 광 센서를 통해 감지된 사용자 얼굴의 3차원 위치 정보를 계산하는 사용자 위치 검출 모듈;
    어플리케이션 레이어로부터 3차원 영상 데이터를 수신하고, 상기 3차원 위치 정보를 근거로 상기 사용자가 좌측에 위치한 경우 상기 3차원 영상 데이터를 표시하기 위한 좌표 공간의 x축에서의 좌측 경계 값 및 우측 경계 값을 상기 사용자의 좌측 위치에 따라 동일하게 감소시켜 상기 사용자의 좌안 시점에 해당하는 좌안 프로젝션 매트릭스를 생성하고, 상기 3차원 위치 정보를 근거로 상기 사용자가 우측에 위치한 경우 상기 3차원 영상 데이터를 표시하기 위한 좌표 공간의 x축에서의 좌측 경계 값 및 우측 경계 값을 상기 사용자의 우측 위치에 따라 동일하게 증가시켜 상기 사용자의 우안 시점에 해당하는 우안 프로젝션 매트릭스를 생성하는 시차 영상 생성 모듈;
    상기 좌안 프로젝션 매트릭스를 근거로 좌안 시점 영상을 생성하고, 상기 우안 프로젝션 매트릭스를 근거로 우안 시점 영상을 생성하는 렌더링 엔진;
    상기 생성된 좌안 시점 영상 및 우안 시점 영상을 조합하여 양안 시차 영상을 생성하는 드라이버; 및
    상기 생성된 양안 시차 영상을 표시하는 디스플레이 패널;을 포함하고,
    상기 좌안 및 우안 프로젝션 매트릭스는, 상기 영상 처리 장치의 화면 크기 및 최대 허용 시차에 따라 조절되는, 영상 처리 장치.
  17. 제16 항에 있어서,
    상기 사용자 위치 검출 모듈은, 상기 카메라에 의해 상기 사용자의 얼굴이 감지되면, 상기 카메라를 통해 수신되는 둘 이상의 연속 프레임들 내의 상기 사용자의 얼굴의 3차원 위치 정보를 평균화하여 상기 사용자 얼굴의 3차원 좌표를 계산하는, 영상 처리 장치.
  18. 제16 항에 있어서,
    상기 사용자 위치 검출 모듈은, 상기 광 센서에 의해 상기 사용자의 얼굴이 감지되면, 상기 광 센서에 광선이 수신되는 위치들을 근거로 상기 사용자 얼굴의 3차원 좌표를 계산하는, 영상 처리 장치.
  19. 제16 항에 있어서,
    상기 3차원 영상 데이터는, 오픈 그래픽 라이브러리(Open Graphic Library) 기반의 데이터인, 영상 처리 장치.
KR1020110056459A 2011-06-10 2011-06-10 영상처리방법 및 영상처리장치 KR101779423B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110056459A KR101779423B1 (ko) 2011-06-10 2011-06-10 영상처리방법 및 영상처리장치
PCT/KR2011/006078 WO2012169693A1 (ko) 2011-06-10 2011-08-18 영상처리방법 및 영상처리장치
US14/123,955 US9269177B2 (en) 2011-06-10 2011-08-18 Method for processing image and apparatus for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110056459A KR101779423B1 (ko) 2011-06-10 2011-06-10 영상처리방법 및 영상처리장치

Publications (2)

Publication Number Publication Date
KR20120137122A KR20120137122A (ko) 2012-12-20
KR101779423B1 true KR101779423B1 (ko) 2017-10-10

Family

ID=47296232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110056459A KR101779423B1 (ko) 2011-06-10 2011-06-10 영상처리방법 및 영상처리장치

Country Status (3)

Country Link
US (1) US9269177B2 (ko)
KR (1) KR101779423B1 (ko)
WO (1) WO2012169693A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN107347116B (zh) * 2017-06-30 2019-11-26 北京金山安全软件有限公司 桌面效果的生成方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228646B2 (ja) * 2002-10-02 2009-02-25 株式会社セガ 立体視画像生成方法および立体視画像生成装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
KR100294925B1 (ko) * 1999-06-03 2001-07-12 윤종용 3차원 그래픽 영상 생성 방법 및 이를 위한 양안 시차 조절 방법
US8717423B2 (en) * 2005-05-09 2014-05-06 Zspace, Inc. Modifying perspective of stereoscopic images based on changes in user viewpoint
WO2007148219A2 (en) * 2006-06-23 2007-12-27 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
JP5011224B2 (ja) * 2008-07-09 2012-08-29 日本放送協会 任意視点映像生成装置及び任意視点映像生成プログラム
US9001157B2 (en) * 2009-03-25 2015-04-07 Nvidia Corporation Techniques for displaying a selection marquee in stereographic content
KR101266360B1 (ko) 2009-08-24 2013-05-22 한국전자통신연구원 전역조명을 지원하는 그래픽 처리 장치 및 이를 이용한 그래픽 처리 방법
TWI459796B (zh) * 2009-12-29 2014-11-01 Ind Tech Res Inst 產生多視角三維立體影像的方法及其裝置
KR20140030138A (ko) * 2011-01-23 2014-03-11 익스트림 리얼리티 엘티디. 입체 화상 및 비디오를 생성하는 방법, 시스템, 장치 및 관련 프로세스 로직
KR101888672B1 (ko) * 2011-07-27 2018-08-16 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228646B2 (ja) * 2002-10-02 2009-02-25 株式会社セガ 立体視画像生成方法および立体視画像生成装置

Also Published As

Publication number Publication date
WO2012169693A1 (ko) 2012-12-13
US9269177B2 (en) 2016-02-23
KR20120137122A (ko) 2012-12-20
US20140118344A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
US10976980B2 (en) Method of maintaining accuracy in a 3D image formation system
US8768043B2 (en) Image display apparatus, image display method, and program
JP4198054B2 (ja) ３ｄビデオ会議システム
JP4793451B2 (ja) 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
JP5183277B2 (ja) 立体画像表示装置
US20130113701A1 (en) Image generation device
TWI657431B (zh) 動態顯示系統
JP2007052304A (ja) 映像表示システム
US10560683B2 (en) System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
CN108885342A (zh) 用于低延迟渲染的宽基线立体
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
KR20150105399A (ko) 셰이더 기반의 그래픽스 콘텐츠에 대한 뷰잉 배향에 의한 입체 변환
US11710273B2 (en) Image processing
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
KR101779423B1 (ko) 영상처리방법 및 영상처리장치
US20140049540A1 (en) Image Processing Device, Method, Computer Program Product, and Stereoscopic Image Display Device
TWI486052B (zh) 立體影像處理裝置以及立體影像處理方法
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
KR101358432B1 (ko) 디스플레이 장치 및 방법
TWI493963B (zh) 影像產生裝置及影像調整方法
KR101026686B1 (ko) 인터랙티브 입체 영상처리 시스템 및 방법, 그리고 인터랙티브 입체 영상처리장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant