KR20130112679A - 3d 디스플레이 장치 및 그 영상 처리 방법 - Google Patents

3d 디스플레이 장치 및 그 영상 처리 방법 Download PDF

Info

Publication number
KR20130112679A
KR20130112679A KR1020120130308A KR20120130308A KR20130112679A KR 20130112679 A KR20130112679 A KR 20130112679A KR 1020120130308 A KR1020120130308 A KR 1020120130308A KR 20120130308 A KR20120130308 A KR 20120130308A KR 20130112679 A KR20130112679 A KR 20130112679A
Authority
KR
South Korea
Prior art keywords
image
arrangement pattern
time point
viewpoint
view
Prior art date
Application number
KR1020120130308A
Other languages
English (en)
Other versions
KR101912242B1 (ko
Inventor
김성진
민종술
이진성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP13161798.7A priority Critical patent/EP2648414B1/en
Priority to JP2013076652A priority patent/JP6208455B2/ja
Priority to CN201310114560.5A priority patent/CN103369337B/zh
Priority to US13/856,071 priority patent/US8884952B2/en
Priority to US13/898,031 priority patent/US8780111B2/en
Publication of KR20130112679A publication Critical patent/KR20130112679A/ko
Application granted granted Critical
Publication of KR101912242B1 publication Critical patent/KR101912242B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3D 디스플레이 장치가 개시된다. 3D 디스플레이 장치는, 영상 및 깊이 정보를 입력받는 영상 입력부, 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 후경 영상 및 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성하는 다시점 영상 생성부, 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링하는 다시점 영상 렌더링부 및 렌더링 된 다시점 영상을 출력하는 디스플레이부를 포함한다.

Description

3D 디스플레이 장치 및 그 영상 처리 방법{3D DISPLAY APPARATUS AND METHOD FOR IMAGE PROCESSING THEREOF}
본 발명은 3D 디스플레이 장치 및 그 영상 처리 방법에 대한 것으로, 보다 상세하게는 사용자의 시청위치에 따라 발생하는 Dead Zone을 줄여주는 3D 디스플레이 장치 및 그 영상 처리 방법에 대한 것이다.
최근 보다 현실감 있는 시청을 위하여 3D 디스플레이 장치에 대한 개발 노력이 가속화되고 있다. 이에 따라, 기존에 극장에서 주로 시청하던 3D 영상 신호를 가정에서도 TV와 같은 일반 디스플레이 장치를 이용하여 시청할 수 있게 되었다.
한편, 3D(Dimensions) 디스플레이 장치는 3D 영상 시청 용 안경의 사용 여부에 따라서 안경식 또는 무 안경식 시스템으로 나뉘어질 수 있다.
안경식 시스템의 일 예로는, 셔터 글래스 방식의 디스플레이 장치가 있다. 셔터 글래스 방식이란, 좌안 이미지 및 우안 이미지를 교번적으로 출력하면서, 이와 연동하여 사용자가 착용한 3D 안경의 좌우 셔터 글래스를 교번적으로 개폐시켜 사용자가 입체감을 느낄 수 있도록 하는 방식이다.
무 안경식 시스템은 오토스테레오스코피(autostereoscopy)시스템이라고도 한다. 무 안경 방식의 3D 디스플레이 장치는, 광학적으로 분리된 다시점 영상을 디스플레이하면서 패러랙스 배리어(Parallax Barrier) 기술 또는 렌티큘러(Lenticular) 렌즈를 이용하여 시청자의 좌안 및 우안에 다른 시점의 영상에 해당하는 광이 투사되도록 하여, 사용자가 입체감을 느낄 수 있도록 한다.
도 1은 일반적인 무안경 3D 디스플레이 장치의 다시점 영상의 디스플레이 동작을 설명하는 도면이다.
도 1에 따르면, 광학적으로 분리된 1시점(View)부터 9시점(View)까지의 다시점 영상을 1시점 위치에 1시점 영상을, 9시점 위치에 9시점 영상을 배치하는 방식으로 렌더링하여 다시점 영상을 재생한다. 시청자는 1시점부터 9시점 사이에 위치하는 경우, 안경없이 3D영상을 감상할 수 있고 시청 위치 변경에 따라 운동 시차(Motion parallax)를 느낄 수 있게 된다. 하지만, 일반적인 3D 디스플레이 장치는 1시점부터 9시점으로 영상이 순차적으로 배치되어 디스플레이되므로, 시청위치에 따른 Dead Zone이 발생할 수 있다.
Dead Zone이란, 시청자의 시청위치가 N시점에서 1시점으로 전환되는 위치를 의미하며, 이 위치는 멀리 분리된 두 시점의 영상을 동시에 보게 되므로 심각한 Crosstalk가 발생하여 3D 영상을 시청할 수 없게 된다. 도 1에서 도시한 바와 같이 9시점 영상과 1시점 영상을 동시에 시청하게 되는 위치가 Dead Zone에 해당한다.
도 2는 일반적인 무안경 3D 디스플레이 장치의 다시점 영상의 배치 패턴을 나타내는 도면이다.
도 2를 참고하면, 도 1에서 설명한 바와 같이 다시점 영상이 각 광학 시점에 맞게 순차적으로 배치되므로, 9시점과 1시점의 위치에서 급격한 영상 시점의 차이가 발생하는 Dead Zone을 확인할 수 있다.
이와 같이 종래의 무안경 3D 디스플레이 장치에서는 Dead Zone이 발생하고, 그 Dead Zone에서는 Crosstalk로 인하여, 3D 영상을 정상적으로 시청할 수 없다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 Dead Zone을 줄이는 다시점 영상 처리 방법을 이용하여, 시청자가 어느 위치에서나 편안하게 3D 영상을 시청할 수 있는 3D 디스플레이 장치 및 그 영상 처리 방법을 제공함에 있다,
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 3D 디스플레이 장치는, 영상 및 깊이 정보를 입력받는 영상 입력부, 상기 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 전경 영상 및 상기 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성하는 다시점 영상 생성부, 상기 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 상기 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링하는 다시점 영상 렌더링부 및 상기 렌더링 된 다시점 영상을 출력하는 디스플레이부를 포함한다.
여기서, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고, 상기 제1 배치 패턴은, N이 홀수(2K-1,K는 자연수)인 경우, 제1 시점부터 제K 시점까지는 순차적으로 배열하고, 그 후 제K-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수(2K, K는 자연수)인 경우, 제1 시점부터 제K+1 시점까지는 순차적으로 배열하고, 그 후 제k 시점부터 제2 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이며, 상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴일 수 있다,
이 경우, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 9 시점이고, 상기 제1 배치 패턴은, 제 1, 2, 3, 4, 5, 4, 3, 2, 1 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고, 상기 제2 배치 패턴은, 제 2, 3, 4, 5, 4, 3, 2, 1, 2 시점 후경 영상이 반복적으로 배치되는 배치 패턴일 수 있다.
한편, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고, 상기 제1 배치 패턴은, 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, 상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴일 수 있다.
이 경우, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 9 시점이고, 상기 제1 배치 패턴은, 제 1, 3, 5, 7, 9, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고, 상기 제2 배치 패턴은, 제 3, 5, 7, 9, 8, 6, 4, 2, 1 시점 후경 영상이 반복적으로 배치되는 배치 패턴일 수 있다.
한편, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고, 상기 제1 배치 패턴은, 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, 상기 제2 배치 패턴은, N이 홀수인 경우, 제1 시점을 먼저 배열하고, 제2 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제2 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수인 경우, 제1 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴일 수 있다.
이 경우, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 9 시점이고, 상기 제1 배치 패턴은, 제 1, 3, 5, 7, 9, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고, 상기 제2 배치 패턴은, 제 1, 2, 4, 6, 8, 9, 7, 5, 3 시점 후경 영상이 반복적으로 배치되는 배치 패턴일 수 있다.
본 실시 예에 따른 3D 디스플레이 장치의 영상 처리 방법은, 영상 및 깊이 정보를 입력받는 단계, 상기 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 전경 영상 및 상기 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성하는 단계, 상기 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 상기 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링하는 단계 및 상기 렌더링 된 다시점 영상을 출력하는 단계를 포함한다.
여기서, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고, 상기 제1 배치 패턴은, N이 홀수(2K-1,K는 자연수)인 경우, 제1 시점부터 제K 시점까지는 순차적으로 배열하고, 그 후 제K-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수(2K, K는 자연수)인 경우, 제1 시점부터 제K+1 시점까지는 순차적으로 배열하고, 그 후 제k 시점부터 제2 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이며, 상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴일 수 있다.
이 경우, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고, 상기 제1 배치 패턴은, 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, 상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴일 수 있다.
한편, 상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고, 상기 제1 배치 패턴은, 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, 상기 제2 배치 패턴은, N이 홀수인 경우, 제1 시점을 먼저 배열하고, 제2 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제2 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수인 경우, 제1 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴일 수 있다.
본 실시 예에 따른 3D 디스플레이 장치의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체는, 영상 및 깊이 정보를 입력받는 단계,상기 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 후경 영상 및 상기 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성하는 단계, 상기 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 상기 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링하는 단계 및 상기 렌더링 된 다시점 영상을 출력하는 단계를 포함하는 영상 처리 방법을 포함한다.
도 1은 일반적인 무안경 3D 디스플레이 장치의 다시점 영상의 디스플레이 동작을 설명하는 도면,
도 2는 일반적인 무안경 3D 디스플레이 장치의 다시점 영상의 렌더링 동작을 설명하는 도면,
도 3은 본 발명의 일 실시 예에 따른 3D 디스플레이 장치의 구성을 나타내는 블럭도,
도 4는 본 발명의 일 실시 예에 따른 다시점 영상 생성부의 동작을 설명하기 위한 도면,
도 5 및 도 6은 본 발명의 제1 실시 예에 따른 다시점 영상의 배치 패턴을 설명하기 위한 도면,
도 7 및 도 8은 본 발명의 제2 실시 예에 따른 다시점 영상의 배치 패턴을 설명하기 위한 도면,
도 9 및 도 10은 본 발명의 제3 실시 예에 따른 다시점 영상의 배치 패턴을 설명하기 위한 도면,
도 11은 본 발명의 일 실시 예에 따른 다시점 영상 렌더링부의 동작을 설명하기 위한 도면, 그리고,
도 12는 본 발명의 3D 디스플레이 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 3은 본 발명의 일 실시 예에 따른 3D 디스플레이 장치의 구성을 나타낸다. 3D 디스플레이 장치란 컨텐츠를 3D 방식으로 디스플레이하여 사용자가 입체감을 느낄 수 있도록 하는 장치이다. TV, 모니터, PC, 휴대폰, 랩탑 컴퓨터, 태블릿 PC, 전자 액자, 전자 책, PDA 등과 같은 다양한 종류의 장치가 3D 디스플레이 장치로 구현될 수 있다. 한편 본 발명의 3D 디스플레이 장치는 무 안경 3D 디스플레이 방식으로 구현된다.
도 3을 참고하면, 3D 디스플레이 장치(100)는 영상 입력부(110), 다시점 영상 생성부(120), 다시점 영상 렌더링부(130) 및 디스플레이부(140)를 포함한다.
영상 입력부(110)는 영상 및 깊이 정보를 입력받는다. 구체적으로, 영상 입력부(110)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상과 영상의 깊이 정보를 수신받을 수 있다.
여기서, 입력되는 영상은 단일 시점 영상, 스테레오(Stero) 영상, 다시점 영상 중 어느 하나의 영상이다. 단일 시점 영상은 일반적인 촬영 장치에 의해 촬영된 영상이며, 스테레오 영상(Stereoscopic image)은 좌안 영상과 우안 영상만으로 표현된 3차원 비디오 영상으로, 스테레오 촬영 장치에 의해 촬영된 입체 영상이다. 일반적으로 스테레오 촬영 장치는 2개의 렌즈를 구비한 촬영 장치로 입체 영상을 촬영하는데 사용된다. 그리고, 다시점 영상(Multiview image)은 한대 이상의 촬영 장치통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원 비디오 영상을 의미한다.
한편, 영상 입력부(110)는 영상의 깊이 정보를 수신할 수 있다.
여기서 깊이 정보(Depth)는 영상의 각각 픽셀별로 부여된 깊이 값으로, 일 예로, 8bit의 깊이 정보는 0~255까지의 값을 가질 수 있다. 깊이 정보는 일반적으로, 스테레오 정합(Stereo matching) 등과 같이 영상의 2차원적 특성만을 가지고 얻는 수동적인 방법과 깊이 카메라(Depth camera)와 같은 장비를 이용하는 능동적 방법을 통하여 획득될 수 있다. 한편, 깊이 정보는 깊이 맵(Depth map)일 수 있다.
일반적으로 거리가 가까운 부분일수록 값이 작고, 거리가 먼 부분일수록 값이 커진다. 물론 이 반대의 경우도 존재하고 이는 정의에 따라 다르나, 본 명세서에서는 설명의 편의를 위하여 거리가 가까울수록 값이 작아지는 경우에 대해서만 고려하여 설명하도록 한다.
다시점 영상 생성부(120)는 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 전경 영상 및 깊이 값이 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성한다. 구체적으로, 다시점 영상 생성부(120)는 입력된 깊이 정보를 이용하여, 전경 영상과 후경 영상을 분리하고, 구분된 전경 영상 및 후경 영상을 영상의 종류에 맞는 영상처리를 통하여 다시점 전경 영상 및 다시점 후경 영상을 생성할 수 있다.
입력받은 영상에서 전경 영상 및 후경 영상은 영상의 깊이 정보를 이용하여 분리할 수 있다. 이하에서는 전경 영상 및 후경 영상의 분리방법을 설명하도록 한다.
8bit의 깊이 정보를 이용하는 실시 예를 들어 설명하면, 픽셀별로 0에서부터 255의 깊이 값을 가지게 된다. 이 경우, 전경과 후경을 구분하는 기준이 되는 깊이 값은 128로 설정될 수 있다. 여기서, 픽셀의 깊이 정보가 128보다 작으면 전경 영상으로, 128이상 이면 후경 영상으로 분리할 수 있다. 즉, 전경 영상은 깊이 값들이 128보다 작은 픽셀들의 집합이며, 후경 영상은 깊이 값이 128이상인 픽셀들의 집합이다.
여기서 기설정된 깊이 값은 128이며, 이는 깊이 정보가 가질 수 있는 깊이 값의 중간에 해당되는 값이다. 위와 같이, 전경 영상과 후경 영상을 분리하는 기설정된 깊이 값은 중간 값으로 설정하는 것이 일반적이나, 이는 변경될 수 있다.
전경 영상 및 후경 영상의 분리방법에 대해 추가적인 설명은 도 4를 참고하여 더 설명하도록 하며, 이하에서는 분리된 전경 영상 및 후경 영상을 이용하여 다시점 전경 영상 및 다시점 후경 영상을 생성하는 방법에 대해 설명하도록 한다.
물론 본 발명의 3D 디스플레이 장치(100)에서 정해진 n시점에 대응되어 n시점의 영상이 주어진다면, 다시점 영상 생성은 필요가 없다. 그러나, 실질적으로 n시점 영상을 촬영하기 위해서는 N개의 촬영장치로 동시간대에 촬영해야 하고, 그 용량 또한 크기 때문에 실질적으로 입력받기 힘들다고 할 수 있다.
따라서, 단일 시점 영상 또는 N시점보다 적은 시점의 영상을 이용하여 가상의 n시점 영상을 생성하여야 한다.
가상의 다시점 영상의 생성방법은 각 시점의 깊이 정보와 주변 시점에서의 영상들을 이용한다.
일 예로, 2 시점 영상을 이용하는 경우, 2 시점 영상 사이에 여러 개의 새로운 시점을 만들고, 입력된 깊이 정보를 이용하여 1 시점 영상과 2시점 영상을 3차원 공간으로 보낸 뒤에 원하는 시점으로 사상할 수 있다.
이러한 영상 처리 기술을 3차원 워핑(warping)이라고 한다. 일반적으로, 단일 시점 영상보다는 2 시점 영상을 이용하여 생성한 다시점 영상이 왜곡이 적다.
이상 설명한 바와 같이, 다시점 영상 생성부(120)는 입력된 영상 및 깊이 정보를 이용하여, 다시점 전경 영상 및 다시점 후경 영상을 생성할 수 있게 된다.
다시점 영상 렌더링부(130)는 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링한다. 여기서 제2 배치 패턴은 실시 예에 따라 제1 배치 패턴과 동일할 수도 있다.
Dead Zone을 줄이기 위하여 각 실시 예에 따른 배치 패턴에 대해 설명하기로 한다.
제1 실시 예에 따른 제1 배치 패턴 및 제2 배치 패턴은 아래와 같다.
여기서, 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점으로 가정한다. 제1 실시 예에 따른 제1 배치 패턴 및 제2 배치 패턴은 총 N시점이 홀수인 경우와 짝수인 경우의 실시 예가 상이하므로 이를 구분하여 설명하도록 한다.
N이 홀수(2K-1,K는 자연수)인 경우, 제1 배치 패턴은 제1 시점부터 제K 시점까지는 순차적으로 배열하고, 그 후 제K-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 이에 따른 제2 배치 패턴은 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴으로 정의될 수 있다.
일 예로, 총 9시점인 경우, 제1 실시 예에 따른 제1 배치 패턴은 제 1, 2, 3, 4, 5, 4, 3, 2, 1 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고, 제2 배치 패턴은 제 2, 3, 4, 5, 4, 3, 2, 1, 2 시점 후경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다.
한편, N이 짝수(2K, K는 자연수)인 경우, 제1 시점부터 제K+1 시점까지는 순차적으로 배열하고, 그 후 제k 시점부터 제2 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 이에 따른 제2 배치 패턴은 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴으로 정의될 수 있다.
일 예로, 총 8시점인 경우, 제1 실시 예에 따른 제1 배치 패턴은 제 1, 2, 3, 4, 5, 4, 3, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고, 제2 배치 패턴은 제 2, 3, 4, 5, 4, 3, 2, 1 시점 후경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다.
위와 같은 제1 실시 예에 따른 배치 패턴은 도 5 및 도 6을 참고하여, 상세히 설명하도록 한다.
제2 실시 예에 따른 제1 배치 패턴 및 제2 배치 패턴은 아래와 같다.
여기서, 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 제1 실시 예와 같이 총 N시점으로 가정한다. 그러나, 제1 실시 예와 달리 제2 실시 예에 따른 제1 배치 패턴 및 제2 배치 패턴은 총 N시점이 홀수인 경우와 짝수인 경우의 실시 예가 동일하므로 이를 구분하지 않고 설명하도록 한다.
제1 배치 패턴은 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴은 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴으로 정의될 수 있다.
일 예로, 총 9 시점인 경우, 제2 실시 예에 따른 제1 배치 패턴은 제 1, 3, 5, 7, 9, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다. 그리고, 제2 배치 패턴은 제 3, 5, 7, 9, 8, 6, 4, 2, 1 시점 후경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다.
한편, 총 8 시점인 경우, 제2 실시 예에 따른 제1 배치 패턴은 제 1, 3, 5, 7, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다. 그리고, 제2 배치 패턴은 제 3, 5, 7, 8, 6, 4, 2, 1 시점 후경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다.
위와 같은 제2 실시 예에 따른 배치 패턴은 도 7 및 도 8을 참고하여, 상세히 설명하도록 한다.
제3실시 예에 따른 제1 배치 패턴 및 제2 배치 패턴은 아래와 같다.
여기서, 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 제1, 2 실시 예와 같이 총 N시점으로 가정한다. 그러나, 제1, 2 실시 예와 달리 제3 실시 예에 따른 제1 배치 패턴 및 제2 배치 패턴은 완전히 상이한 배치 패턴으로 설계되어 있다.
제3 실시 예에 따른 제1 배치 패턴은 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴은, N이 홀수인 경우, 제1 시점을 먼저 배열하고, 제2 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제2 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수인 경우, 제1 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다.
일 예로, 총 9 시점인 경우, 제3 실시 예에 따른 제1 배치 패턴은 제 1, 3, 5, 7, 9, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다. 그리고, 제2 배치 패턴은 제 1, 2, 4, 6, 8, 9, 7, 5, 3 시점 후경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다.
한편, 총 8 시점인 경우, 제3 실시 예에 따른 제1 배치 패턴은 제 1, 3, 5, 7, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다. 그리고, 제2 배치 패턴은 제 2, 4, 6, 8, 7, 5, 3, 1 시점 후경 영상이 반복적으로 배치되는 배치 패턴으로 정의된다.
위와 같은 제3 실시 예에 따른 배치 패턴은 도 9 및 도 10을 참고하여, 상세히 설명하도록 한다.
이상과 같은 배치 패턴을 가지도록 설계하므로써, 시청자의 위치가 어느 곳이든지, 급격한 영상 시점의 변화가 존재하지 않기 때문에 Dead Zone이 사라지는 효과를 얻을 수 있다.
한편, 전경 영상 및 후경 영상을 분리하지 않은 다시점 영상을 제1, 2, 3 실시 예의 제1 배치 패턴과 같이 배치하여 렌더링하는 경우에도 급격한 영상 시점의 변화를 줄일 수 있으므로 상술한 효과를 얻을 수 있다.
그러나, 전경 영상 및 후경 영상을 분리하지 않은 다시점 영상에서는 시점이 순차적으로 배치되는 정시(Stereo) 구간과 시점이 역순으로 배치되는 역시(Pseudo Stereo) 구간이 발생함으로, 사용자의 위치에 따라 정시 구간과 역시 구간의 전환에 따른 충격이 발생할 수 있다.
따라서, 본 발명은 다시점 전경 영상과 다시점 후경 영상을 일정한 위상차를 두고 배치하는 패턴을 이용하여, 정시 구간과 역시 구간의 전환에 따른 충격을 완화하고, 사용자가 어색하게 느낄 수 있는 역시 구간을 줄일 수 있는 효과를 더 얻을 수 있다.
디스플레이부(140)는 렌더링 된 다시점 영상을 출력한다. 구체적으로, 다시점 영상 렌더링부(130)에서 렌더링 된 다시점 영상을 광학적으로 분리하여 시청자에게 분리된 다시점 영상을 디스플레이할 수 있다. 여기서 다시점 영상의 광학적 분리 방법에는 시차 장벽(Parallax Barrier)을 이용하는 방법과 렌티큘라 렌즈를 이용하는 방법이 있다. 상술한 광학적 분리 방법에 의해 분리된 다시점 영상은 3D 디스플레이 장치(100) 앞에 반복적으로 분리되어 나타나므로, 시청자는 양안 시차에 따른 3D 영상을 시청할 수 있다.
이상과 같이 설명한 3D 디스플레이 장치(100)는 Dead Zone을 줄이는 다시점 영상 처리 방법을 이용하여, 시청자가 어느 위치에서나 편안하게 3D 영상을 시청할 수 있게 하는 효과를 제공한다.
도 4는 본 발명의 일 실시 예에 따른 다시점 영상 생성부(120)의 동작을 설명하기 위한 도면이다. 구체적으로 도 4는 영상 입력부(110)에서 입력된 영상을 깊이 정보를 이용하여, 전경 영상 및 후경 영상으로 분리하는 동작을 설명한다.
전체 영상은 전경 영상과 후경 영상을 포함하고 있다. 도 1에서 설명한 바와 같이, 전경 영상는 기설정된 깊이 값보다 작은 깊이 정보를 갖는 픽셀들의 집합이고, 후경 영상는 기설정된 깊이 값 이상의 깊이 정보를 갖는 픽셀들의 집합이다.
이하 설명의 편의를 위해 깊이 정보는 8bit로, 0~255의 값을 가질 수 있다고 가정한다.
도 4에서 빗금으로 표시된 나무(410)를 나타내는 픽셀 값들의 깊이 정보는 70이고, 검은색으로 표시된 나무(420)를 나타내는 픽셀 값들의 깊이 정보는 150이며, 배경(430)를 나타내는 픽셀 값들의 깊이 정보는 255라고 가정하면, 125를 기준으로 125보다 낮은 깊이 값을 갖는 빗금으로 표시된 나무(410)를 나타내는 픽셀은 전경 영상으로, 125보다 큰 깊이 값을 갖는 검은색으로 표시된 나무(420)과 배경(430)은 후경 영상으로 분리될 수 있다.
이상 도 4에서 설명한 바와 같이 다시점 영상 생성부(420)은 기설정된 기준을 이용하여 전경 영상과 후경 영상을 분리할 수 있다.
이하 도5 내지 도 10에서는 다시점 영상 렌더링부(430)에서 다시점 영상을 배치하는 패턴에 대해 설명하도록 한다. 여기서 다시점 전경 영상 및 다시점 후경 영상은 총 9시점으로 구성된 것을 가정하여 설명하지만, 3D 디스플레이 장치(100)의 설정에 따라 8시점 등 다른 다시점으로 구성된 경우도 적용될 수 있다.
도 5 및 도 6은 본 발명의 제1 실시 예에 따른 다시점 영상의 배치 패턴을 설명하기 위한 도면이다.
제 1 실시 예에 따른 제1 배치 패턴, 즉 다시점 전경 영상의 배치 패턴은 제1 배치 패턴은 제1 시점부터 제K 시점까지는 순차적으로 배열하고, 그 후 제K-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴, 즉 다시점 후경 영상의 배치 패턴은 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴으로 정의될 수 있다. 여기서 소정 시점을 1시점인 것이 바람직하지만, 사용자의 설정에 따라 변경될 수 있다.
도 5를 참고하면, 아래의 표 1와 같이 광학 시점에 다시점 전경 영상 및 다시점 후경 영상이 배치될 수 있다.
광학 시점 1 2 3 4 5 6 7 8 9 1 2 3
전경 영상 시점 1 2 3 4 5 4 3 2 1 1 2 3
후경 영상 시점 1 1 2 3 4 5 4 3 2 1 1 2
도 5에 도시된 바와 같이, 광학시점 5, 6 구간에서 전경 영상 시점은 역시(Psudo Stereo)에 해당하고, 후경 영상 시점은 정시(Stereo)에 해당한다. 전경 영상 시점은 광학 시점 5, 6구간에서 정시에서 역시로 전환되며, 후경 영상 시점은 광학 시점 6, 7구간에서 정시에서 역시로 전환된다. 이는, 전경 영상 먼저 정시에서 역시로 전환 된 뒤에 후경이 정시에서 역시로 전환되므로, 정/역시 전환 충격을 완화하는 효과를 제공한다. 또한, 전경 및 후경을 분리하지 않은 다시점 영상의 경우보다 역시 구간이 적어지게 되므로, 사용자가 어색하게 느낄 수 있는 역시 구간을 줄일 수 있는 효과를 더 얻을 수 있다.
도 6은 3D 디스플레이 장치(100)가 제1 실시 예에 따라 렌더링된 다시점 영상을 광학적으로 분리하여 디스플레이하는 동작을 나타낸다. 각 광학 시점에 대응하여 제1 실시 예에 따라 배치된 전경 영상 및 후경 영상의 시점을 나타내고 있다. 일 예로, 시청자가 광학 시점 5, 6구간에 위치한 경우, 시청자의 좌안에는 4시점의 전경 영상과 3시점의 후경 영상이 보여지고, 우안에는 5시점의 전경 영상과 4시점의 후경 영상이 보여질 수 있다.
도 7 및 도 8은 본 발명의 제2 실시 예에 따른 다시점 영상의 배치 패턴을 설명하기 위한 도면이다.
제2 실시 예에 따른 제1 배치 패턴, 즉 다시점 전경 영상의 배치 패턴은 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴, 즉 다시점 후경 영상의 배치 패턴은 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴으로 정의될 수 있다. 여기서 소정 시점을 1시점인 것이 바람직하지만, 사용자의 설정에 따라 변경될 수 있다.
도 7을 참고하면, 아래의 표 2와 같이 광학 시점에 다시점 전경 영상 및 다시점 후경 영상이 배치될 수 있다.
광학 시점 1 2 3 4 5 6 7 8 9 1 2 3
전경 영상 시점 1 3 5 7 9 8 6 4 2 1 3 5
후경 영상 시점 2 1 3 5 7 9 8 6 4 2 1 3
도 7에 도시된 바와 같이, 광학시점 5, 6 구간에서 전경 영상 시점은 역시(Psudo Stereo)에 해당하고, 후경 영상 시점은 정시(Stereo)에 해당한다. 전경 영상 시점은 광학 시점 5, 6구간에서 정시에서 역시로 전환되며, 후경 영상 시점은 광학 시점 6, 7구간에서 정시에서 역시로 전환된다. 이는, 전경 영상 먼저 정시에서 역시로 전환 된 뒤에 후경이 정시에서 역시로 전환되므로, 정/역시 전환 충격을 완화하는 효과를 제공한다. 또한, 전경 및 후경을 분리하지 않은 다시점 영상의 경우보다 역시 구간이 적어지게 되므로, 사용자가 어색하게 느낄 수 있는 역시 구간을 줄일 수 있는 효과를 더 얻을 수 있다.
도 8은 3D 디스플레이 장치(100)가 제2 실시 예에 따라 렌더링된 다시점 영상을 광학적으로 분리하여 디스플레이하는 동작을 나타낸다. 각 광학 시점에 대응하여 제1 실시 예에 따라 배치된 전경 영상 및 후경 영상의 시점을 나타내고 있다. 일 예로, 시청자가 광학 시점 5, 6구간에 위치한 경우, 시청자의 좌안에는 9시점의 전경 영상과 7시점의 후경 영상이 보여지고, 우안에는 8시점의 전경 영상과 9시점의 후경 영상이 보여질 수 있다.
도 9 및 도 10은 본 발명의 제3 실시 예에 따른 다시점 영상의 배치 패턴을 설명하기 위한 도면이다.
제3 실시 예에 따른 제1 배치 패턴, 즉 다시점 전경 영상의 배치 패턴은 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴은, N이 홀수인 경우, 제1 시점을 먼저 배열하고, 제2 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제2 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수인 경우, 제1 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다.
도 9를 참고하면, 아래의 표 3와 같이 광학 시점에 다시점 전경 영상 및 다시점 후경 영상이 배치될 수 있다.
광학 시점 1 2 3 4 5 6 7 8 9 1 2 3
전경 영상 시점 1 3 5 7 9 8 6 4 2 1 3 5
후경 영상 시점 1 2 4 6 8 9 7 5 3 1 2 4
도 9에 도시된 바와 같이, 광학시점 5, 6 구간에서 전경 영상 시점은 역시(Psudo Stereo)에 해당하고, 후경 영상 시점은 정시(Stereo)에 해당한다. 전경 영상 시점은 광학 시점 5, 6구간에서 정시에서 역시로 전환되며, 후경 영상 시점은 광학 시점 6, 7구간에서 정시에서 역시로 전환된다. 이는, 전경 영상 먼저 정시에서 역시로 전환 된 뒤에 후경이 정시에서 역시로 전환되므로, 정/역시 전환 충격을 완화하는 효과를 제공한다. 또한, 전경 및 후경을 분리하지 않은 다시점 영상의 경우보다 역시 구간이 적어지게 되므로, 사용자가 어색하게 느낄 수 있는 역시 구간을 줄일 수 있는 효과를 더 얻을 수 있다.
도 10은 3D 디스플레이 장치(100)가 제3 실시 예에 따라 렌더링된 다시점 영상을 광학적으로 분리하여 디스플레이하는 동작을 나타낸다. 각 광학 시점에 대응하여 제1 실시 예에 따라 배치된 전경 영상 및 후경 영상의 시점을 나타내고 있다. 일 예로, 시청자가 광학 시점 5, 6구간에 위치한 경우, 시청자의 좌안에는 9시점의 전경 영상과 8시점의 후경 영상이 보여지고, 우안에는 8시점의 전경 영상과 9시점의 후경 영상이 보여질 수 있다.
도 11은 본 발명의 일 실시 예에 따른 다시점 영상 렌더링부(130)의 동작을 설명하기 위한 도면이다. 구체적으로 기설정된 배치 패턴에 의해 배치되어 디스플레이될 하나의 프레임으로 렌더링하는 방법에 대해 설명하도록 한다. 여기서 다시점 전경 영상 및 다시점 후경 영상은 총 8시점으로 구성된 것을 가정하여 설명하도록 한다.
도 11을 참고하면, 다시점 영상 생성부(120)에서 분리된 영상의 전경 영역(1110) 및 후경 영역(1120)에 대하여, 전경 영역(1110)에는 다시점 전경 영상이 기설정된 배치 패턴으로 배치된 픽셀만을 가지고 렌더링을 수행하고, 후경 영역(1120)에는 다시점 후경 영상이 기설정된 배치 패턴으로 배치된 픽셀만을 가지고 렌더링을 수행할 수 있다.
여기서 각 영역에 대한 픽셀(Pixel)배치도는 제3 실시 예에 따른 배치 패턴이 적용된 것이고, 각 픽셀에 배치된 숫자는 시점의 번호를 의미하고, f는 전경, b는 후경을 의미한다.
이상 설명한 것과 같이 다시점 영상 렌더링부(130)는 기설정된 배치 패턴에의 배치된 다시점 전경 영상 및 다시점 후경 영상을 하나의 프레임으로 렌더링하여, 디스플레이부(140)에 렌더링된 다시점 영상을 제공할 수 있다.
도 12는 본 발명의 3D 디스플레이 장치(100)의 영상 처리 방법을 설명하기 위한 흐름도이다.
도 12를 참고하면, 3D 디스플레이 장치(100)는 영상 및 깊이 정보를 입력받는다(S1210).
그리고, 3D 디스플레이 장치(100)는 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 후경 영상 및 상기 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성한다(S1220).
다시점 전경 영상 및 다시점 후경 영상의 생성 방법에 대해서는 도 1에서 설명하였는 바, 중복 설명은 생략하기로 한다.
그리고, 3D 디스플레이 장치(100)는 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링한다(S1230).
여기서, 다시점 전경 영상 및 다시점 후경 영상의 시점은 총 N시점일 수 있다.
한편, 본 발명의 제1 실시 예에 따르면 제1 배치 패턴은, N이 홀수(2K-1,K는 자연수)인 경우, 제1 시점부터 제K 시점까지는 순차적으로 배열하고, 그 후 제K-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수(2K, K는 자연수)인 경우, 제1 시점부터 제K+1 시점까지는 순차적으로 배열하고, 그 후 제k 시점부터 제2 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴은 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴으로 정의될 수 있다.
한편, 본 발명의 제2 실시 예에 따르면 제1 배치 패턴은, 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴은 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴으로 정의될 수 있다.
한편, 본 발명의 제3 실시 예에 따르면 제1 배치 패턴은, 제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다. 그리고, 제2 배치 패턴은, N이 홀수인 경우, 제1 시점을 먼저 배열하고, 제2 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제2 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수인 경우, 제1 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 정의될 수 있다.
렌더링이 완료되면, 3D 디스플레이 장치(100)는 렌더링 된 다시점 영상을 출력한다(S1240).
한편, 도 12와 같은 3D 디스플레이 장치(100)의 영상 처리 방법은, 도 3의 구성을 가지는 3D 디스플레이 장치(100)에서 실시될 수 있으며, 그 밖의 구성을 가지는 3D 디스플레이 장치에서도 실행될 수 있다.
이상과 같이 본 발명의 실시 예에 따른 3D 디스플레이 장치(100)의 영상 처리 방법은 Dead Zone을 줄이는 영상 렌더링 방법을 이용하여, 시청자가 어느 위치에서나 편안하게 3D 영상을 시청할 수 있게 하는 효과를 제공할 수 있다.
또한, 본 발명의 실시 예에 따른 3D 디스플레이 장치(100)의 영상 처리 방법은 다시점 전경 영상과 다시점 후경 영상을 일정한 위상차를 두고 배치하는 패턴을 이용하여, 정시 구간과 역시 구간의 전환에 따른 충격을 완화하고, 사용자가 어색하게 느낄 수 있는 역시 구간을 줄일 수 있는 효과를 더 얻을 수 있다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
또한, 상술한 바와 같은 영상 처리 방법은 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비 일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어 져서는 안 될 것이다.
100 : 3D 디스플레이 장치 110 : 영상 입력부
120 : 다시점 영상 생성부 130 : 다시점 영상 렌더링부
140 : 디스플레이부

Claims (12)

  1. 3D 디스플레이 장치에 있어서,
    영상 및 깊이 정보를 입력받는 영상 입력부;
    상기 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 전경 영상 및 상기 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성하는 다시점 영상 생성부;
    상기 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 상기 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링하는 다시점 영상 렌더링부; 및
    상기 렌더링 된 다시점 영상을 출력하는 디스플레이부;를 포함하는 3D 디스플레이 장치.
  2. 제1항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고,
    상기 제1 배치 패턴은,
    N이 홀수(2K-1,K는 자연수)인 경우, 제1 시점부터 제K 시점까지는 순차적으로 배열하고, 그 후 제K-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수(2K, K는 자연수)인 경우, 제1 시점부터 제K+1 시점까지는 순차적으로 배열하고, 그 후 제k 시점부터 제2 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이며,
    상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴인 것을 특징으로 하는 3D 디스플레이 장치.
  3. 제2항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 9 시점이고,
    상기 제1 배치 패턴은,
    제 1, 2, 3, 4, 5, 4, 3, 2, 1 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고,
    상기 제2 배치 패턴은,
    제 2, 3, 4, 5, 4, 3, 2, 1, 2 시점 후경 영상이 반복적으로 배치되는 배치 패턴인 것을 특징으로 하는 3D 디스플레이 장치.
  4. 제1항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고,
    상기 제1 배치 패턴은,
    제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고,
    상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴인 것을 특징으로 하는 3D 디스플레이 장치.
  5. 제4항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 9 시점이고,
    상기 제1 배치 패턴은,
    제 1, 3, 5, 7, 9, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고,
    상기 제2 배치 패턴은,
    제 3, 5, 7, 9, 8, 6, 4, 2, 1 시점 후경 영상이 반복적으로 배치되는 배치 패턴인 것을 특징으로 하는 3D 디스플레이 장치.
  6. 제1항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고,
    상기 제1 배치 패턴은,
    제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고,
    상기 제2 배치 패턴은,
    N이 홀수인 경우, 제1 시점을 먼저 배열하고, 제2 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제2 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수인 경우, 제1 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴인 것을 특징으로 하는 3D 디스플레이 장치.
  7. 제6항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 9 시점이고,
    상기 제1 배치 패턴은,
    제 1, 3, 5, 7, 9, 8, 6, 4, 2 시점 전경 영상이 반복적으로 배치되는 배치 패턴이고,
    상기 제2 배치 패턴은,
    제 1, 2, 4, 6, 8, 9, 7, 5, 3 시점 후경 영상이 반복적으로 배치되는 배치 패턴인 것을 특징으로 하는 3D 디스플레이 장치.
  8. 3D 디스플레이 장치의 영상 처리 방법에 있어서,
    영상 및 깊이 정보를 입력받는 단계;
    상기 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 전경 영상 및 상기 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성하는 단계;
    상기 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 상기 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링하는 단계; 및
    상기 렌더링 된 다시점 영상을 출력하는 단계;를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고,
    상기 제1 배치 패턴은,
    N이 홀수(2K-1,K는 자연수)인 경우, 제1 시점부터 제K 시점까지는 순차적으로 배열하고, 그 후 제K-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수(2K, K는 자연수)인 경우, 제1 시점부터 제K+1 시점까지는 순차적으로 배열하고, 그 후 제k 시점부터 제2 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이며,
    상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴인 것을 특징으로 하는 영상 처리 방법.
  10. 제8항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고,
    상기 제1 배치 패턴은,
    제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고,
    상기 제2 배치 패턴은 상기 제1 배치 패턴과 동일하면서 소정 시점만큼 쉬프트되어 위상차를 가지도록 하는 배치 패턴인 것을 특징으로 하는 영상 처리 방법.
  11. 제8항에 있어서,
    상기 다시점 전경 영상 및 상기 다시점 후경 영상의 시점은 총 N시점이고,
    상기 제1 배치 패턴은,
    제1 시점부터 제N 시점까지의 홀수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 짝수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고,
    상기 제2 배치 패턴은,
    N이 홀수인 경우, 제1 시점을 먼저 배열하고, 제2 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제2 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이고, N이 짝수인 경우, 제1 시점부터 제N 시점까지의 짝수 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴인 것을 특징으로 하는 영상 처리 방법.
  12. 3D 디스플레이 장치의 영상 처리 방법을 실행하기 위한 프로그램을 포함하는 비일시적 판독가능 기록매체에 있어서,
    상기 영상 처리 방법은,
    영상 및 깊이 정보를 입력받는 단계;
    상기 입력받은 영상과 깊이 정보를 이용하여, 기 설정된 깊이 값보다 작은 깊이 정보를 가지는 다시점 전경 영상 및 상기 깊이 값 이상의 깊이 정보를 가지는 다시점 후경 영상을 생성하는 단계;
    상기 다시점 전경 영상을 제1 배치 패턴으로 배치하고, 상기 다시점 후경 영상을 제2 배치 패턴으로 배치하여 렌더링하는 단계; 및
    상기 렌더링 된 다시점 영상을 출력하는 단계;를 포함하는 비일시적 판독가능 기록매체.

KR1020120130308A 2012-04-03 2012-11-16 3d 디스플레이 장치 및 그 영상 처리 방법 KR101912242B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP13161798.7A EP2648414B1 (en) 2012-04-03 2013-03-28 3d display apparatus and method for processing image using the same
JP2013076652A JP6208455B2 (ja) 2012-04-03 2013-04-02 ３ｄディスプレイ装置およびその映像処理方法
CN201310114560.5A CN103369337B (zh) 2012-04-03 2013-04-03 3d显示设备及使用该3d显示设备处理图像的方法
US13/856,071 US8884952B2 (en) 2012-04-03 2013-04-03 3D display apparatus and method for processing image using the same
US13/898,031 US8780111B2 (en) 2012-11-16 2013-05-20 3D display apparatus and method for processing image using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261619491P 2012-04-03 2012-04-03
US61/619,491 2012-04-03

Publications (2)

Publication Number Publication Date
KR20130112679A true KR20130112679A (ko) 2013-10-14
KR101912242B1 KR101912242B1 (ko) 2018-10-29

Family

ID=49633627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120130308A KR101912242B1 (ko) 2012-04-03 2012-11-16 3d 디스플레이 장치 및 그 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101912242B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945204A (zh) * 2014-04-01 2014-07-23 青岛海信电器股份有限公司 一种图像信号处理方法及装置
KR20160006546A (ko) * 2014-07-09 2016-01-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5659589B2 (ja) 2010-07-13 2015-01-28 株式会社ニコン 表示装置および制御方法
TW201206151A (en) 2010-07-20 2012-02-01 Chunghwa Picture Tubes Ltd Method and system for generating images of a plurality of views for 3D image reconstruction

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945204A (zh) * 2014-04-01 2014-07-23 青岛海信电器股份有限公司 一种图像信号处理方法及装置
KR20160006546A (ko) * 2014-07-09 2016-01-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
US10939092B2 (en) 2014-07-09 2021-03-02 Samsung Electronics Co., Ltd. Multiview image display apparatus and multiview image display method thereof

Also Published As

Publication number Publication date
KR101912242B1 (ko) 2018-10-29

Similar Documents

Publication Publication Date Title
EP2648414B1 (en) 3d display apparatus and method for processing image using the same
KR102699454B1 (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
CN101984670B (zh) 一种立体显示方法、跟踪式立体显示器及图像处理装置
KR102143473B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JPWO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
US8731279B2 (en) Method and device for generating multi-viewpoint image
CN102547348B (zh) 一种裸眼立体显示调整方法、调整装置及相应设备、系统
CN102404592A (zh) 图像处理设备和方法以及立体图像显示设备
CN103945205B (zh) 兼容2d与多视点裸眼3d显示的视频处理装置及方法
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
US9479766B2 (en) Modifying images for a 3-dimensional display mode
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
US20120163700A1 (en) Image processing device and image processing method
KR20170036476A (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
KR101980275B1 (ko) 다시점 영상 디스플레이 장치 및 디스플레이 방법
JP2012134885A (ja) 画像処理装置及び画像処理方法
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
KR102704703B1 (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
US9547933B2 (en) Display apparatus and display method thereof
KR101276603B1 (ko) 3차원 영상 디스플레이 장치 및 방법
Lee et al. A real time FPGA-based 3D content generation system for comfortable viewing experience
CN106231281A (zh) 一种显示转换方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant