KR101682208B1 - 디스플레이 장치 및 방법 - Google Patents

디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR101682208B1
KR101682208B1 KR1020100103374A KR20100103374A KR101682208B1 KR 101682208 B1 KR101682208 B1 KR 101682208B1 KR 1020100103374 A KR1020100103374 A KR 1020100103374A KR 20100103374 A KR20100103374 A KR 20100103374A KR 101682208 B1 KR101682208 B1 KR 101682208B1
Authority
KR
South Korea
Prior art keywords
viewing
image
input
viewing fatigue
fatigue
Prior art date
Application number
KR1020100103374A
Other languages
English (en)
Other versions
KR20120041948A (ko
Inventor
홍지영
남동경
최서영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100103374A priority Critical patent/KR101682208B1/ko
Priority to US13/137,123 priority patent/US8766974B2/en
Publication of KR20120041948A publication Critical patent/KR20120041948A/ko
Application granted granted Critical
Publication of KR101682208B1 publication Critical patent/KR101682208B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

디스플레이 장치가 제공된다. 상기 디스플레이 장치는 사용자의 시청 피로도를 추정하는 시청 피로 모델을 이용하여 입력 3D 영상에 대응하는 시청 피로 정도를 추정한다. 그리고 상기 디스플레이 장치는 상기 시청 피로 정도에 기초하여, 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하여 상기 사용자의 시청 피로도를 최소화 한다.

Description

디스플레이 장치 및 방법{DISPLAY APPARATUS AND METHOD}
3D(3-Dimensional) 영상을 제공하는 범용적인 디스플레이 장치에 연관되며, 보다 특정하게는 스테레오스코픽(stereoscopic) 영상 또는 다시점(multi-view) 영상을 통해 인간의 양안(left and right eye)에 시점 차이(disparity)를 갖는 서로 다른 영상을 제공하는 3D 디스플레이 장치 및 방법에 연관된다.
3D 영상 디스플레이 장치는 사람의 좌안(left eye)과 우안(right eye)에 시점 차이를 반영한 서로 다른 영상을 제공하여 입체감을 느끼게 하는 영상 디스플레이 장치이다.
3D 영상 디스플레이 장치에는, 좌안 시점 영상과 우안 시점 영상을 제공하는 스테레오스코픽(stereoscopic) 타입과, 보다 다양한 시점의 영상을 제공하는 다시점(multi-view) 영상이 존재한다.
그런데, 3D 디스플레이를 구현하는 경우, 시선수렴과 초점조절의 차이 (Convergence-Accommodation Difference; C-A difference)로 인한 시청 피로(Visual fatigue)가 발생하는 문제점이 있다.
종래에는, 이러한 시청 피로의 해결을 위해, 시청 피로의 정도를 추정하지 않고 3D 입력 영상의 깊이 레벨을 일률적으로 다운 스케일링(down scaling)하거나, 몇 가지의 단순한 가정에 기초하여 입체 영상을 재생성하는 등의 방안이 제시되었다.
그러나, 이러한 방안들에 따르면 적응적으로(adaptively) 시청 피로를 측정하여 입력 3D 영상을 동적으로 재생성하는 것이 어려워서, 시청 피로 개선의 효과에 비해 입력 3D 영상 왜곡이 너무 크다.
3D 영상을 디스플레이 하는 경우, 사용자가 느끼는 시청 피로를 감소시키는 디스플레이 장치 및 방법이 제공된다.
입력되는 3D 영상에 따라, 실시간으로 적응적인 시청 피로 추정을 수행하고, 추정된 시청 피로의 정도에 따라 3D 영상의 깊이 값을 리스케일링 하여, 3D 영상의 왜곡을 최소화 하는, 디스플레이 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 입력 3D 영상에 대응하는 시청 피로 정도를 추정하는 시청 피로 추정부, 및 상기 시청 피로 정도에 기초하여, 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 영상 조정부를 포함하는 디스플레이 장치가 제공된다.
상기 시청 피로 추정부는, 상기 입력 3D 영상에 대응하는 모션 벡터를 계산하는 모션 벡터 계산부, 및 상기 모션 벡터를 이용하여 상기 시청 피로 정도를 계산하는 시청 피로 결정부를 포함할 수 있다.
한편 본 발명의 다른 일실시예에 따르면, 상기 시청 피로 추정부는, 상기 입력 3D 영상에 대응하는 깊이 프로필을 계산하는 깊이 프로필 계산부, 및 상기 깊이 프로필을 이용하여 상기 시청 피로 정도를 계산하는 시청 피로 결정부를 포함할 수도 있다.
한편, 상기 시청 피로 추정부는, 상기 입력 3D 영상에 대응하는 모션 벡터 및 상기 입력 3D 영상에 대응하는 깊이 프로필 중 적어도 하나에 연관되는 시청 피로 모델을 이용하여, 상기 시청 피로 정도를 계산할 수 있다.
이 경우, 상기 시청 피로 추정부는, 상기 시청 피로 모델에 연관되는 룩업 테이블을 저장하는 룩업 테이블 데이터베이스를 더 포함한다.
또한, 상기 영상 조정부는, 상기 시청 피로 정도를 최소화 하는 최적 깊이 프로필을 계산하는 최적 깊이 프로필 계산부, 및 상기 최적 깊이 프로필을 이용하여 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 깊이 레벨 리스케일링부를 포함할 수 있다.
한편, 상기 시청 피로 추정부는, 상기 디스플레이 장치와 사용자 사이의 시청 거리 및 상기 사용자의 양안 사이의 거리 중 적어도 하나를 이용하여 시선수렴과 초점조절의 차이를 고려하여 상기 시청 피로 정도를 추정할 수 있다.
본 발명의 다른 일측에 따르면, 입력 3D 영상에 대응하는 시청 피로 정도를 추정하는 단계, 및 상기 시청 피로 정도에 기초하여, 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 단계를 포함하는 디스플레이 방법이 제공된다.
이 경우, 상기 시청 피로 정도를 추정하는 단계는, 상기 입력 3D 영상에 대응하는 모션 벡터를 계산하는 단계, 및 상기 모션 벡터를 이용하여 상기 시청 피로 정도를 계산하는 단계를 포함할 수 있다.
또한 본 발명의 다른 일실시예에 따르면, 상기 시청 피로 정도를 추정하는 단계는, 상기 입력 3D 영상에 대응하는 깊이 프로필을 계산하는 단계, 및 상기 깊이 프로필을 이용하여 상기 시청 피로 정도를 계산하는 단계를 포함한다.
한편, 상기 시청 피로 정도를 추정하는 단계는, 상기 입력 3D 영상에 대응하는 모션 벡터 및 상기 입력 3D 영상에 대응하는 깊이 프로필 중 적어도 하나에 연관되는 시청 피로 모델을 이용하여, 상기 시청 피로 정도를 계산할 수 있다.
이 경우, 상기 시청 피로 정도를 추정하는 단계는, 상기 시청 피로 모델에 연관되는 룩업 테이블을 이용하여 상기 시청 피로 정도를 계산할 수 있다.
3D 영상을 디스플레이 하는 경우, 사용자가 느끼는 시청 피로가 크게 감소된다.
입력되는 3D 영상에 대응하여, 정확한 시청 피로의 정도가 실시간으로 추정되며, 추정된 시청 피로의 정도에 따라 3D 영상의 적응적인 깊이 값 조정이 가능하다.
도 1은 본 발명의 일실시예에 따른 디스플레이 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 디스플레이 장치의 시청 피로 추정부의 세부 구성을 도시한다.
도 3은 본 발명의 일실시예에 따른 디스플레이 장치의 영상 조정부의 세부 구성을 도시한다.
도 4는 본 발명의 일실시예에 따라 시청 피로 추정부가 이용하는 시청 피로 모델을 도시한다.
도 5는 본 발명의 일실시예에 따라 시청 피로 추정부가 이용하는 시청 피로 모델을 도시한다.
도 6은 본 발명의 일실시예에 따른 디스플레이 방법을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 디스플레이 장치(100)를 도시한다.
디스플레이 장치(100)의 시청 피로 추정부(110)는 입력되는 3D 영상의 특성을 파악하여, 상기 3D 영상을 디스플레이 하는 경우 사용자가 느끼게 될 시청 피로(Visual fatigue)의 정도를 추정한다.
3D 영상을 디스플레이 하는 경우, 사용자의 좌안(left eye)와 우안(right eye)에 각각 서로 다른 영상을 제공하는데, 이러한 과정에서 사용자의 양안(left and right eyes)의 시선수렴과 초점조절의 차이(Convergence-Accommodation Difference; C-A difference)로 인해 사용자는 시청 피로를 느끼게 된다.
알려진 바에 의하면, 인간의 눈은 응시하는 대상까지의 거리가 바뀌면 그에 대응하여 수정체의 두께를 변화시키는 조절작용을 통해 망막에 초점이 맞는 상을 형성시킨다.
이 경우, 양쪽 눈은 대상과의 응시거리에 따라 수렴과 조절의 눈 운동을 통해 동일한 대상으로부터 투사된 영상을 각 눈의 중심와로 투사시키고, 이러한 과정에 의해 인간은 입체감을 느낀다.
실제 환경에서 대상을 관찰하는 경우에는 수렴(Convergence)이 발생하는 깊이와 조절(Accommodation)이 발생하는 깊이는 동일하므로 시청 피로는 발생되지 않는다.
그러나, 상기한 바와 같이 인위적으로 생성된 좌시점 영상과 우시점 영상을 인간의 양안에 각각 제공하여 조절작용은 영상이 제시된 화면까지의 깊이(시청 거리)에 맞추어야 하고, 두 눈의 수렴 정도는 양안시차에 따라 영상이 제시된 화면과는 다른 깊이(대상의 깊이 감에 따른 가상의 위치)에 맞추어야 하므로 이 과정에서 수렴과 조절작용의 불일치가 발생하고, 따라서 시청 피로가 발생한다.
본 발명의 일실시예에 따르면, 입력되는 3D 영상의 특성에 따른 시청 피로 모델을 이용하여 3D 영상을 시청할 때 사용자가 느낄 시청 피로 정도를 추정한다.
한편, 이러한 시청 피로는, 사용자의 양안에 제공되는 각각의 시점 영상 사이의 디스페러티(disparity between images for left eye and right eye)가 클수록, 즉 깊이 레벨 차이가 클수록 크다.
그리고, 서로 다른 프레임에서 신 오브젝트(scene object)의 움직임이 클수록 시청 피로가 크다. 즉, 정적인 신 보다는 동적인 신에서 사용자가 3D 영상을 시청하면서 느끼는 시청 피로가 크다.
본 발명의 일실시예에 따르면, 상기 시청 피로 추정부(110)는 입력 3D 영상의 깊이 레벨 프로필을 분석하고, 및/또는 프레임 사이의 모션 벡터(Motion Vector)를 계산하여, 상기 입력 3D 영상을 제공하는 경우 사용자가 느끼게 될 시청 피로가 어느 정도일 지를 추정한다.
시청 피로 추정부(110)가 입력 3D 영상에 대한 시청 피로 정도를 추정하는 과정은 도 2 내지 도 5를 참조하여 보다 상세히 후술한다.
디스플레이 장치(100)의 영상 조정부(120)는, 상기 시청 피로 추정부(110)가 추정한 시청 피로 정도에 따라, 상기 입력 3D 영상을 조정(configuration) 또는 재생성(regenerating)하여 시청 피로가 최소화된 영상을 제공한다.
본 발명의 일실시예에 따르면, 상기 영상 조정부(120)는 시청 피로 정도를 최적화 할 수 있는 최적의 깊이 프로필을 계산하고, 상기 계산된 깊이 프로필을 이용하여 상기 입력 3D 영상의 깊이 레벨을 리스케일링(rescaling)할 수 있다.
영상 조정부(120)가 상기 입력 3D 영상을 조정하여 시청 피로를 최소화하는 과정은 도 3 내지 도 5를 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 디스플레이 장치(100)의 시청 피로 추정부(110)의 세부 구성을 도시한다.
정지된 입체 영상에서는 특정한 수렴각을 가지는 눈 운동이 한 번만 일어나면 되지만, 깊이 방향으로 운동하는 대상을 입체 영상으로 볼 때에는 지속적으로 수렴과 조절 작용이 발생되어야 한다.
그리고 대상의 수렴각도와 실제 눈의 수렴각도는 정확히 일치하지 않는데, 이러한 오차는 깊이 방향의 운동 속도가 빨라질수록 더 커질 수 있다. 따라서 시각적 피로도에 영향을 미치는 주된 요인이 수렴과 조절작용의 불일치라고 한다면 정적인 입체 영상보다 동적으로 움직임(Motion)이 있는 동영상을 볼 때 시각적 피로도가 증가한다.
이러한 동적인 움직임에 따른 시청 피로에 있어서, 움직임의 방향성이 크고 및 운동 속도가 빨라질수록 수렴과정과 조절작용의 불일치의 정도는 더 커져서, 결과적으로 시청 피로가 증가한다.
따라서, 본 발명의 일실시예에 따르면, 시청 피로 추정부(110)는, 시청자의 시청거리, 양안 사이의 거리, 입력 입체영상의 프레임 간 모션 벡터(Motion vector)및 깊이 값의 프로필(Depth profile)정보를 이용하여 시각 피로도를 추정한다.
이 경우, 모션 벡터 계산부(Motion vector calculating unit)(210)는 입력되는 3D 영상의 Motion을 추정하여 입력 입체영상을 대표할 수 있는 Motion vector(MV)값을 계산한다.
이러한 모션 벡터(MV) 계산은 2D 영상의 부호화 또는 압축을 위해 사용되는 모션 벡터 계산 방법 등을 이용할 수 있다.
아래 도 4 내지 도 5에서 도시되는 바와 같이, 입력 3D 영상이 어떠한 Motion을 갖는지에 따라, 시청 피로의 정도가 다를 수 있다. 그래서 서로 다른 시청 피로 모델, 따라서 서로 다른 룩업 테이블(Look Up Table; LUT)이나 함수(Function)을 이용하게 된다.
이하에서는, 신(scene)의 깊이 (Depth) 변화 량이 작고 평면 방향으로의 움직임이 큰 영상의 Motion 특성을 Planar motion이라고 정의하고, 깊이 변화량이 많은 Motion을 Depth Motion이라고 정의한다.
모션 벡터 계산부(210)는 움직임 영상에 대한 방향과 크기 값인 Motion vector(MV)를 계산한다.
동영상의 경우, 앞 프레임과 뒷 프레임을 비교하면, 배경은 바뀌지 않고 일부 오브젝트만 움직이는 경우가 많으므로, 모션 벡터 계산부(210)는, n 개의 프레임(frame)(frame t, frame t-1 등)을 사용하여 MV를 계산한다.
깊이 프로필 계산부(Depth Profile Calculating unit)(220)는, 입력 3D 영상의 깊이 레벨의 특성인 Depth Profile을 계산하여 대표 Depth값을 계산하는 기능을 수행한다.
입체 입력 영상의 Depth를 알기 위해서는 시청거리(Viewing distance)와 사용자로부터 입체 Object사이의 거리 또는 Screen과 입체 Object사이의 거리를 필요로 한다.
본 발명의 일실시예에 따르면, 시청 거리는 사용자 시청 거리 측정 장치(도시되지 않음)를 통해 입력되는 정보를 이용할 수도 있으며, 또는 사용자가 직접 시청 거리를 입력하는 것도 가능하다.
그러면, 깊이 프로필 계산부(220)는 입체 입력영상 의 해당 Frame에서의 대표 Depth값을 계산하며, 이때 대표 Depth 값은 평균이나 깊이 값의 Frequency, 누적(accumulation) 등을 이용하여 구할 수 있다.
이렇게 계산된 대표 Depth 등 깊이 프로필 및/또는 상기 모션 벡터 계산부(210)가 계산한 Motion vector는 시청 피로 결정부(230)로 전달된다.
그러면, 시청 피로 결정부(230)는 미리 구축된 시청 피로 모델을 이용하여, 입력 3D 영상에 대한 시청 피로 정도를 결정한다.
이 경우, 상기 시청 피로 결정부(230)가 상기 깊이 프로필 및/또는 상기 모션 벡터를 상기 시청 피로 모델에 적용하여 시청 피로 정도를 결정하는 과정은, 룩업 테이블 데이터베이스(240)에 저장된 룩업 테이블의 이용 및/또는 시청 피로 함수의 이용에 의할 수 있다.
시청 피로 함수의 예시는 도 4 내지 도 5에 예시된 바와 같다. 다만, 본 발명이 일부 실시예에 의해 제한적으로 해석되어서는 안 되므로, 시청 피로 모델은 본 발명의 사상을 벗어나지 않는 범위에서 다양하게 변형될 수 있다.
본 발명의 일실시예에 따르면, 상기 시청 피로 모델은, 입력 영상의 모션 벡터와 깊이 프로필 각각을 factor로 한 실험을 통해 미리 만들어질 수 있다.
즉, 피험자에게 각각 다른 Depth 프로필 및/또는 Motion vector를 갖는 영상을 보여준 후, 피험자가 느끼는 시청 피로를 측정할 수 있으며, 다수의 피험자에게 시청 피로 측정을 통하여 통계적인 데이터를 획득함으로써 시청 피로 모델을 구하게 된다.
도 4와 도 5는 각각 Depth Motion과 Planar Motion에 대한 시청 피로 모델을 구한 예이다.
도 4에서 X 축은 3D영상의 수렴과 초점의 불일치(C-A difference) 정도를 나타내며, Y 축은 깊이 방향 Motion 변화 량을 나타낸다. 그리고 Z 축은 시청 피로를 나타내는데 본 실시예에서는 0 내지 4의 값 중에서 선택되도록 하였으며, Z축 값이 클수록 높은 시청 피로를 나타낸다.
그리고 도 5에서 X 축은 3D 영상의 수렴과 초점의 불일치(C-A difference) 정도를 나타내며, Y 축은 평면 방향 Motion 변화 량을 나타낸다. 마찬가지로 Z축 값은 시청 피로를 나타낸다.
다시 도 2를 참조하면, 시청 피로 결정부(230)는 상기 도 4 또는 도 5 등의 시청 피로 모델을 수치화 하여 만든 Look-up Table(LUT)을 이용하여, 입력 3D 영상에 대응하는 시청 피로 정도를 결정할 수 있다. 이 경우, 상기 룩업 테이블은 룩업 테이블 데이터베이스(240)에 저장되어, 시청 피로 결정부(230)에 의해 활용된다.
또한, 본 발명의 다른 일실시예에 따르면, 시청 피로 결정부(230)는 상기 시청 피로 모델을 근사화하여 만든 시청 피로 정도 계산 함수를 이용하여 시청 피로 정도를 결정할 수도 있다.
이러한 시청 피로 정도 계산 함수는 상기한 바와 같이, Psychophysical experiment를 기반으로 설계된 것일 수 있으며, 아래 수학식들에 의해 표현될 수 있다.
[수학식 1]
DVF = 1.937*speed - 4.375*depth - 0.297*(speed*depth) - 0.158*(speed^2) + 2.124*(depth^2) + 2.932
수학식 1은 Depth Motion을 기반으로 설계된 모델링 함수 이다.
그리고, Planar Motion을 기반으로 설계된 모델은 아래 수학식 2에 의해 표현된다.
[수학식 2]
DVF = 1.916*speed - 5.268*depth - 0.530*(speed*depth) - 0.190*(speed^2) + 2.461*(depth^2) + 3.372
수학식 1 내지 수학식 2에서 시청 피로 정도(DVF; Degree of Visual fatigue)를 구하는 함수는 예시적으로 2차 항까지 고려한 근사식이다.
상기 수학식 1 내지 2에서, 변수 'speed'는 Motion의 속도를 나타내며, 변수 'depth'는 수렴과 조절의 불일치 정도(C-A difference)을 뜻한다.
다시 도 4 내지 도 5를 참조하면, Speed가 빠르고 Depth가 큰 경우, 즉 입력영상에서 이전 Frame과 현재 Frame간의 계산된 MV값과 Depth 값의 차분이 큰 경우 시각 피로도가 커지게 되는 경향성이 관찰된다.
한편, Depth 나 Planar Motion외에, Motion의 방향성에 따라 각 함수는 같을 수도, 다를 수도 있다.
예를 들어, 입력 영상에서 Depth 방향으로의 움직임이 많은 경우에는 상기 수학식들을 이용하여 시각 피로도를 유추 할 수 있다.
그러나, Depth 방향 또는, Planar 방향이 아닌 다른 방향(가로, 세로, 대각선 등 임의의 방향)의 방향으로의 움직임이 많은 경우, 피로도 함수는 얼마든지 다르게 주어질 수 있으며, 이러한 변형 또한 본 발명의 범위에서 제외되어서는 안 된다.
또한 본 발명의 일실시예에 따르면, 입력 3D 영상에서 깊이 방향 Motion (Depth Motion)과 평면 방향 Motion (Planar Motion) 모두에 대하여 피로도를 유추한 후, 시각피로도가 더 크게 발생하는 방향의 Motion을 기준으로 입체 영상의 Depth를 조정할 수도 있다.
Depth motion의 경우 사용자가 Depth motion을 관찰하는 동안 수렴과 조절작용의 불일치가 다른 정도로 발생하지만, 이에 반해 Planar motion의 경우, 수렴과 조절의 불일치가 같은 양정도로 발생하여 모두 수렴조절불일치의 경우에 해당되나 각기 다른 피로 요인이 될 수 있으므로 세부적으로 나뉘어 처리될 수 있다.
한편, 위의 수학식을 통해 얻어진 시청 피로 정도를 이용하여, 피로도가 작아지는 깊이 프로필을 역으로 추정이 가능하므로, 상기 시각 피로 모델을 통해 피로도를 제어하는 것도 가능하며, 이러한 역할은 디스플레이 장치(100)의 영상 조정부(120)가 수행한다.
영상 조정부(120)의 동작은 도 3을 참조하여 보다 상세히 후술한다.
도 3은 본 발명의 일실시예에 따른 디스플레이 장치(100)의 영상 조정부(120)의 세부 구성을 도시한다.
최적 깊이 프로필 계산부(Optimal depth profile calculating unit)는 시청 피로 추정부(110)가 추정한 입력 3D 영상의 현재 Frame의 시청 피로 정도에 대응하여, 상기 입력 3D 영상의 피로도가 최적으로 Mapping될 수 있도록 LUT또는 함수를 이용하여 최적의 Depth 프로필을 계산한다.
최적의 Depth 프로필은 입력 3D 영상의 특성에 상응하여, 왜곡 없이 시청 피로를 줄이는 깊이 레벨 등을 포함한다.
최적 깊이 프로필은 깊이 레벨 리스케일링부(Depth level rescaling unit)(320)로 제공되며, 깊이 레벨 리스케일링부(320)는 입력 3D 영상의 깊이 레벨을 리스케일링 한다.
이상의 실시예에서는, 한 프레임의 입력 3D 영상 전체에 대해 깊이 레벨 리스케일링을 Global하게 수행하였으나, 일부분에 대해서 적응적으로 깊이 레벨을 리스케일링 하는 것도 가능하다.
이러한 과정에 의해, 입력 3D 영상의 화질 열화는 방지하면서 시청 피로가 크게 감소된다.
도 6은 본 발명의 일실시예에 따른 디스플레이 방법을 도시한다.
단계(610)에서, 3D 영상이 입력된다.
본 발명의 일실시예에 따르면, 단계(620)에서 사용자가 디스플레이 장치를 통해 3D 영상을 시청하는 시청 거리 및/또는 양안 거리가 입력된다. 이러한 시청 거리 및/또는 양안 거리는 C-A difference 결정에 이용된다.
그러면 단계(630)에서 디스플레이 장치(100)의 모션 벡터 계산부(210)는, 상기 입력 3D 영상에 대응하는 모션 벡터를 계산한다. 이러한 모션 벡터 계산의 결과는 상기한 대표 모션 벡터로 대표될 수 있다.
단계(640)에서는 디스플레이 장치(100)의 깊이 프로필 계산부(220)가 깊이 프로필을 계산한다.
그리고, 단계(650)에서 시청 피로 결정부(230)가 도 4 내지 도 5를 참조하여 상술한 시청 피로 모델을 이용하여 상기 입력 3D 영상에 대응하는 시청 피로를 추정한다.
그러면, 단계(660)에서, 디스플레이 장치(100)의 최적 깊이 프로필 계산부(310)가 화질의 열화나 시청 왜곡이 용인 가능한 한도에서, 시청 피로를 최소화 할 수 있는 최적 깊이 프로필을 계산한다.
그리고, 단계(670)에서, 깊이 레벨 리스케일링부(320)가 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하여, 시청 피로가 최소화된 3D 영상으로 조정한다. 이러한 과정은 3D 영상의 재생성으로도 표현된다.
이상의 과정은 도 1 내지 도 5를 참조하여 상술한 바와 같다.
또한 본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 디스플레이 장치
110: 시청 피로 추정부
120: 영상 조정부

Claims (15)

  1. 입력 3D 영상에 대응하는 시청 피로 정도를 추정하는 시청 피로 추정부; 및
    상기 시청 피로 정도에 기초하여, 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 영상 조정부
    를 포함하고,
    상기 시청 피로 추정부는,
    상기 입력 3D 영상에 대응하는 모션 벡터를 계산하는 모션 벡터 계산부; 및
    상기 모션 벡터를 이용하여 상기 시청 피로 정도를 계산하는 시청 피로 결정부
    를 포함하는 디스플레이 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 시청 피로 추정부는,
    상기 입력 3D 영상에 대응하는 깊이 프로필을 계산하는 깊이 프로필 계산부; 및
    상기 깊이 프로필을 이용하여 상기 시청 피로 정도를 계산하는 시청 피로 결정부
    를 포함하는 디스플레이 장치.
  4. 제1항에 있어서,
    상기 시청 피로 추정부는,
    상기 입력 3D 영상에 대응하는 모션 벡터 및 상기 입력 3D 영상에 대응하는 깊이 프로필 중 적어도 하나에 연관되는 시청 피로 모델을 이용하여, 상기 시청 피로 정도를 계산하는, 디스플레이 장치.
  5. 제4항에 있어서,
    상기 시청 피로 추정부는,
    상기 시청 피로 모델에 연관되는 룩업 테이블을 저장하는 룩업 테이블 데이터베이스를 더 포함하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 영상 조정부는,
    상기 시청 피로 정도를 최소화 하는 최적 깊이 프로필을 계산하는 최적 깊이 프로필 계산부; 및
    상기 최적 깊이 프로필을 이용하여 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 깊이 레벨 리스케일링부
    를 포함하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 시청 피로 추정부는,
    상기 디스플레이 장치와 사용자 사이의 시청 거리 및 상기 사용자의 양안 사이의 거리 중 적어도 하나를 이용하여 시선수렴과 초점조절의 차이를 고려하여 상기 시청 피로 정도를 추정하는, 디스플레이 장치.
  8. 입력 3D 영상에 대응하는 시청 피로 정도를 추정하는 단계; 및
    상기 시청 피로 정도에 기초하여, 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 단계
    를 포함하고,
    상기 시청 피로 정도를 추정하는 단계는,
    상기 입력 3D 영상에 대응하는 모션 벡터를 계산하는 단계; 및
    상기 모션 벡터를 이용하여 상기 시청 피로 정도를 계산하는 단계
    를 포함하는 디스플레이 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 시청 피로 정도를 추정하는 단계는,
    상기 입력 3D 영상에 대응하는 깊이 프로필을 계산하는 단계; 및
    상기 깊이 프로필을 이용하여 상기 시청 피로 정도를 계산하는 단계
    를 포함하는, 디스플레이 방법.
  11. 제8항에 있어서,
    상기 시청 피로 정도를 추정하는 단계는,
    상기 입력 3D 영상에 대응하는 모션 벡터 및 상기 입력 3D 영상에 대응하는 깊이 프로필 중 적어도 하나에 연관되는 시청 피로 모델을 이용하여, 상기 시청 피로 정도를 계산하는, 디스플레이 방법.
  12. 제11항에 있어서,
    상기 시청 피로 정도를 추정하는 단계는,
    상기 시청 피로 모델에 연관되는 룩업 테이블을 이용하여 상기 시청 피로 정도를 계산하는, 디스플레이 방법.
  13. 제8항에 있어서,
    상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 단계는,
    상기 시청 피로 정도를 최소화 하는 최적 깊이 프로필을 계산하는 단계; 및
    상기 최적 깊이 프로필을 이용하여 상기 입력 3D 영상의 깊이 레벨을 리스케일링 하는 단계
    를 포함하는, 디스플레이 방법.
  14. 제8항에 있어서,
    사용자의 시청 거리 및 상기 사용자의 양안 사이의 거리 중 적어도 하나를 수신하는 단계
    를 더 포함하고,
    상기 시청 피로 정도를 추정하는 단계는,
    상기 사용자의 시청 거리 및 상기 사용자의 양안 사이의 거리 중 적어도 하나를 이용하여 시선수렴과 초점조절의 차이를 고려하여 상기 시청 피로 정도를 추정하는, 디스플레이 방법.
  15. 제8항 및 제10항 내지 제14항 중 어느 한 항의 디스플레이 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100103374A 2010-10-22 2010-10-22 디스플레이 장치 및 방법 KR101682208B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100103374A KR101682208B1 (ko) 2010-10-22 2010-10-22 디스플레이 장치 및 방법
US13/137,123 US8766974B2 (en) 2010-10-22 2011-07-21 Display apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100103374A KR101682208B1 (ko) 2010-10-22 2010-10-22 디스플레이 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120041948A KR20120041948A (ko) 2012-05-03
KR101682208B1 true KR101682208B1 (ko) 2016-12-02

Family

ID=45972629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100103374A KR101682208B1 (ko) 2010-10-22 2010-10-22 디스플레이 장치 및 방법

Country Status (2)

Country Link
US (1) US8766974B2 (ko)
KR (1) KR101682208B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754322B (zh) * 2013-12-27 2018-01-23 华为技术有限公司 一种立体视频舒适度评价方法及装置
KR101521213B1 (ko) * 2014-06-25 2015-05-18 연세대학교 산학협력단 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법
CN107428244A (zh) * 2015-03-13 2017-12-01 普罗杰克特雷有限公司 用于使用户界面适应用户注意力和驾驶条件的系统和方法
CN106851246B (zh) * 2017-02-06 2019-08-23 京东方科技集团股份有限公司 用于确定三维图像或视频的视觉疲劳度的方法和设备
KR102523297B1 (ko) 2020-12-23 2023-04-20 박수민 메리골드를 이용한 설포라판 함유 기능성 유정란 생산용 사료 조성물 및 이를 이용한 유정란 생산 방법
KR102552608B1 (ko) 2022-07-07 2023-07-06 박철수 설포라판 함유 기능성 계란 생산용 사료 조성물 및 이를 이용한 계란 생산 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP2002223458A (ja) 2001-01-26 2002-08-09 Nippon Hoso Kyokai <Nhk> 立体映像作成装置
WO2006091893A2 (en) * 2005-02-23 2006-08-31 Eyetracking, Inc. Mental alertness level determination
US7438418B2 (en) * 2005-02-23 2008-10-21 Eyetracking, Inc. Mental alertness and mental proficiency level determination
JP4792250B2 (ja) 2005-07-11 2011-10-12 株式会社リコー 動画像処理装置、及び動画像処理方法
ATE481700T1 (de) * 2005-08-11 2010-10-15 Sleep Diagnostics Pty Ltd Wachheit erfassende brillen
US7880621B2 (en) * 2006-12-22 2011-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Distraction estimator
JP5003252B2 (ja) 2007-04-04 2012-08-15 凸版印刷株式会社 画像表示装置及び画像表示方法
US8038614B2 (en) * 2007-05-22 2011-10-18 Eastman Kodak Company Establishing baseline data for physiological monitoring system
KR101457893B1 (ko) * 2007-10-10 2014-11-04 삼성전자주식회사 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치,그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및장치
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
JP4695664B2 (ja) 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
KR20120041948A (ko) 2012-05-03
US8766974B2 (en) 2014-07-01
US20120098823A1 (en) 2012-04-26

Similar Documents

Publication Publication Date Title
KR101682208B1 (ko) 디스플레이 장치 및 방법
US8913790B2 (en) System and method for analyzing three-dimensional (3D) media content
KR100667810B1 (ko) ３ｄ 영상의 깊이감 조정 장치 및 방법
US6198484B1 (en) Stereoscopic display system
JP5567578B2 (ja) 入力された三次元ビデオ信号を処理するための方法及びシステム
US20050219239A1 (en) Method and apparatus for processing three-dimensional images
JP5556394B2 (ja) 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US8908011B2 (en) Three-dimensional video creating device and three-dimensional video creating method
KR20110121794A (ko) 입체영상의 시청피로를 저감하는 장치 및 방법
US20050185048A1 (en) 3-D display system, apparatus, and method for reconstructing intermediate-view video
KR20110021875A (ko) 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법
CN108885339B (zh) 用于使用自适应焦平面渲染虚拟现实的配置
KR20100040593A (ko) 영상처리 장치 및 방법
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
Shao et al. Toward simultaneous visual comfort and depth sensation optimization for stereoscopic 3-D experience
JP5429911B2 (ja) 立体映像のデジタル映画に於ける最適な動き再生のための方法と装置
KR20110139020A (ko) 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치
GB2470754A (en) Generating and displaying images dependent on detected viewpoint
Mangiat et al. Disparity remapping for handheld 3D video communications
KR20150062187A (ko) 피로도를 고려한 영상 처리 장치 및 방법
KR20130085143A (ko) 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법
KR101521213B1 (ko) 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법
Kevinç Perceptually driven stereoscopic camera control in 3D virtual environments
KR101158492B1 (ko) 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant