KR20120099976A - 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법 - Google Patents

입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법 Download PDF

Info

Publication number
KR20120099976A
KR20120099976A KR1020110018538A KR20110018538A KR20120099976A KR 20120099976 A KR20120099976 A KR 20120099976A KR 1020110018538 A KR1020110018538 A KR 1020110018538A KR 20110018538 A KR20110018538 A KR 20110018538A KR 20120099976 A KR20120099976 A KR 20120099976A
Authority
KR
South Korea
Prior art keywords
information
fatigue
convergence
viewing
user
Prior art date
Application number
KR1020110018538A
Other languages
English (en)
Inventor
이형철
남동경
최서영
Original Assignee
삼성전자주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광운대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020110018538A priority Critical patent/KR20120099976A/ko
Publication of KR20120099976A publication Critical patent/KR20120099976A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

3차원 입체 영상의 시청 피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법이 개시된다. 3차원 시청 모니터링 장치는, 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하고, 시각 특성 정보에 기초하여 사용자의 시청 피로도를 추정할 수 있다.

Description

입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법{APPARATUS AND METHOD FOR MONITORING VISUAL FATIGUE OF 3-DIMENSION IMAGE AND APPARATUS AND METHOD FOR REDUCING VISUAL FATIGUE}
본 발명의 실시예들은 입체영상의 시청 시에 사용자가 느끼는 시청피로를 모니터링하는 장치 및 방법, 그리고, 모니터링한 시청피로에 기초하여 시청피로를 저감하는 장치 및 방법에 관한 것이다.
3D(3-DIMENSION) 영상 또는 입체영상은 사람의 좌/우 시각에 서로 다른 시점 영상(Parallax Image)을 표현함으로써, 실제와 유사한 입체감 표현이 가능한 영상을 의미한다. 이러한 3D 영상을 표시할 수 있는 디스플레이를 3D 디스플레이라고 하며, 유한한 시점에서 촬영된 영상을 이용하여 입체를 표현하는 방식을 시점 영상 표현 방식이라고 한다.
3D 디스플레이는 고실감 입체 표현을 통하여 몰입감이 높은 영상을 사용자에게 제공할 수 있다. 이를 위해, 3D 디스플레이는, 좌/우 시각에 서로 다른 시점 영상 정보를 정확히 동기화하여 표현해야 하기 때문에 높은 정밀도의 시공간 영상 정합 기술을 요구한다.
상세하게는, 인간 시각 시스템에서 수렴(Vergence) 또는 시선수렴은 특정 거리에 위치하는 오브젝트(object)를 사용자의 좌/우 눈동자의 광축 중심이 오브젝트 방향으로 향하는 것을 의미한다. 그리고, 조절(Accommodation)은 사용자의 양안의 수정체의 초점 조절 기능으로서, 사용자가 특정 거리에 위치하는 오브젝트를 인식하기 위해 수정체를 변형시켜 굴절률을 변경하는 것을 의미한다. 이처럼, 사용자가 삼차원 공간 상에 위치하는 오브젝트를 정확하게 보고 인지하기 위해서는 수렴과 조절이 거의 동시에 발생해야 한다.
그런데, 표현되는 영상의 시점 정보가 잘못되거나, 시공간적 정합에 오류가 발생한 경우, 입체 영상의 크로스토크(crosstalk) 등으로 인해 사용자는 어지러움, 현기증, 멀미감 등의 입체 영상 시청 피로를 경험하게 된다. 일례로 시선수렴-초점조절 불일치로 인해 이중상(double image)이 발생하여 사용자는 시청 피로를 경험하게 된다.
따라서, 영상의 시점 정보 불일치 또는 시공간적 정합 오류로 인해 발생하는 시청 피로를 모니터링하여 시청 피로를 감소시킬 수 있는 방안이 필요하다.
본 시청 피로 모니터링 장치는, 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 시각 특성 정보 생성부, 및 상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 피로도 추정부를 포함할 수 있다.
또한, 상기 시각 특성 정보 생성부는, 상기 양안 동공 촬영 영상을 기초로 양안의 동공 중심을 각각 결정하여 수렴(Vergence) 정보를 생성하는 수렴 정보 생성부, 및 상기 양안의 망막 반사광이 형성하는 패턴 및 모양에 기초하여 초점 조절 정보를 생성하는 조절 정보 생성부를 포함할 수 있다.
또한, 상기 피로도 추정부는, 시간에 따라 변동하는 수렴 정보를 대상으로, 기준 구간에 속하는 수렴 정보에 기초하여 대표 수렴 각도를 계산하는 수렴 각도 계산부, 시간에 따라 변동하는 초점 조절 정보를 대상으로, 기준 구간에 속하는 초점 조절 정보에 기초하여 대표 조절량을 계산하는 조절량 계산부, 시간에 따라 변동하는 수렴 정보의 변동량인 수렴 변동량을 계산하는 수렴 변동량 계산부, 및 시간에 따라 변동하는 초점 조절 정보의 변동량인 조절 변동량을 계산하는 조절 변동량 계산부를 포함할 수 있다.
본 시청 피로 모니터링 방법은, 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 단계, 및 상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 단계를 포함할 수 있다.
또한, 상기 시각 특성 정보를 생성하는 단계는, 상기 양안 동공 촬영 영상을 기초로 양안의 동공 중심을 각각 결정하여 수렴(Vergence) 정보를 생성하는 단계, 및 상기 양안의 망막 반사광이 형성하는 패턴 및 모양에 기초하여 초점 조절 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 시청 피로도를 추정하는 단계는, 시간에 따라 변동하는 수렴 정보를 대상으로, 기준 구간에 속하는 수렴 정보에 기초하여 대표 수렴 각도를 계산하는 단계, 시간에 따라 변동하는 초점 조절 정보를 대상으로, 기준 구간에 속하는 초점 조절 정보에 기초하여 대표 조절량을 계산하는 단계, 시간에 따라 변동하는 수렴 정보의 변동량인 수렴 변동량을 계산하는 단계, 및 시간에 따라 변동하는 초점 조절 정보의 변동량인 조절 변동량을 계산하는 단계를 포함할 수 있다.
본, 시청 피로 저감 장치는, 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 시각 특성 정보 생성부, 상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 피로도 추정부, 및 상기 시청 피로도를 기초로 입력 영상의 깊이(depth)를 조절하여 입체 영상을 재생성하는 영상 재생성부를 포함할 수 있다.
또한, 상기 영상 재생성부는, 상기 동공 거리 정보, 사용자의 시청 거리 정보, 및 입력 영상의 시차(disparity) 정보에 기초하여 입력 영상의 깊이 정보를 생성하는 깊이 정보 생성부, 및 상기 입력 영상의 깊이 정보 및 최적 깊이 정보 중 적어도 하나를 이용하여 상기 추정된 시청 피로도에 대한 시차 정보를 재결정하는 깊이 제어부를 포함할 수 있다.
또한, 상기 시각 특성 정보 생성부는, 적외선 광원 및 적외선 카메라를 이용하여 촬영된 상기 사용자의 양안 동공 촬영 영상을 획득할 수 있다.
본 시청 피로 저감 방법은, 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 단계, 상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 단계, 및 상기 시청 피로도를 기초로 입력 영상의 깊이(depth)를 조절하여 입체 영상을 재생성하는 단계를 포함할 수 있다.
또한, 상기 입체 영상을 재생성하는 단계는, 상기 동공 거리 정보, 사용자의 시청 거리 정보, 및 입력 영상의 시차(disparity) 정보에 기초하여 입력 영상의 깊이 정보를 생성하는 단계, 및 상기 입력 영상의 깊이 정보 및 최적 깊이 정보 중 적어도 하나를 이용하여 상기 추정된 시청 피로도에 대한 시차 정보를 재결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 사용자의 양안 동공 촬영 영상에 기초하여 시선수렴-초점조절 불일치 (Convergence-Accommodation Conflict) 정도를 파악하여 시청 피로도를 추정할 수 있다.
본 발명의 일실시예에 따르면, 시청 피로도에 기초하여 입력 영상의 깊이를 조절한 입체 영상을 재생성함에 따라 사용자의 시청 피로도를 감소시킬 수 있다.
도 1은 시선수렴-초점조절 불일치에 따라 발생하는 시청 피로를 설명하기 위해 제공되는 도면이다.
도 2는 시각 특성 정보를 생성하는 과정을 설명하기 위해 제공되는 도면이다.
도 3은 시청 피로 모니터링 장치의 구성을 도시한 블록 다이어그램이다.
도 4는 시각 특성 정보 생성부의 세부 구성을 도시한 블록 다이어그램이다.
도 5는 피로도 추정부의 세부 구성을 도시한 블록 다이어그램이다.
도 6 및 도 7은 수렴-조절 피로도 모델을 이용하여 수렴-조절 피로도를 계산하는 구성을 설명사기 위해 제공되는 도면이다.
도 8은 시청 피로 저감 장치의 구성을 도시한 블록 다이어그램이다.
도 9는 도 8의 시각 특성 정보 생성부의 세부 구성을 도시한 블록 다이어그램이다.
도 10은 도 8의 영상 재생성부의 세부 구성을 도시한 블록 다이어그램이다.
도 11 및 도 12는 입체 영상의 깊이에 따른 시차를 도시한 도면이다.
도 13은 시청 피로 모니터링 장치의 동작을 설명하기 위해 제공되는 플로우차트이다.
도 14는 시청 피로 저감 장치의 동작을 설명하기 위해 제공되는 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 시청 피로 모니터링 방법은 시청 피로 모니터링 장치에 의해 수행될 수 있다. 그리고, 본 시청 피로 저감 방법은 시청 피로 저감 장치에 의해 수행될 수 있다.
도 1은 시선수렴-초점조절 불일치에 따라 발생하는 시청 피로를 설명하기 위해 제공되는 도면이다.
먼저, 도 1을 참조하면, 시청 피로 모니터링 장치(130)는 시청 거리 및 입체영상 거리에 기초하여 사용자의 시청 피로도를 추정할 수 있다. 여기서, 시청 거리는 디스플레이(110)로부터 사용자(120)까지의 거리이고, 입체영상 거리는 입체영상(140)부터 사용자(120)까지의 거리이다. 이때, 시청 피로 모니터링 장치(130)는 디스플레이(110) 탈부착될 수 있도록 디스플레이(110)와는 별도의 장치로 구성될 수도 있고, 시청 피로 모니터링 장치(130)는 디스플레이(110)에 삽입되어 하나의 장치로 구성될 수도 있다. 여기서 디스플레이(110)는 3차원 입체 영상을 표시할 수 있는 3D 디스플레이이다.
도 2는 시각 특성 정보를 생성하는 과정을 설명하기 위해 제공되는 도면이다.
도 2에 따르면, 시청 피로 모니터링 장치는 적외선 광원을 이용하는 적외선 카메라를 통해 촬영된 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성할 수 있다. 여기서, 시각 특성 정보는, 사용자의 양안의 수렴 각도(Vergence angle)를 포함하는 수렴 정보, 좌/우 양안의 수정체의 굴절도(accommodation power)를 포함하는 초점 조절 정보, 양안의 동공 간 거리(inter-pupil distance)를 포함하는 동공 거리 정보, 및 양안 각각의 동공 크기(pupil size)를 포함하는 동공 크기 정보 중 적어도 하나를 포함할 수 있다.
도 3은 시청 피로 모니터링 장치의 구성을 도시한 블록 다이어그램이다.
도 3에 따르면, 시청 피로 모니터링 장치(300)는 시각 특성 정보 생성부(310) 및 피로도 추정부(420)를 포함할 수 있다.
시각 특성 정보 생성부(310)는 촬영부(340)에서 촬영된 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성할 수 있다.
상세하게는, 촬영부(340)는 광원부(330)에서 사용자의 눈으로 적외선 광원이 방사됨에 따라 사용자의 양안을 촬영할 수 있다. 그리고, 촬영부(340)는 촬영한 사용자의 양안 동공 촬영 영상을 시각 특성 정보 생성부(310)로 전달할 수 있다. 예를 들어, 촬영부(340)로는 적외선 카메라가 이용될 수 있다.
그러면, 시각 특성 정보 생성부(310)는 양안 동공 촬영 영상 및 시청 거리 정보를 이용하여 수렴 정보, 및 초점 조절 정보 중 적어도 하나를 생성할 수 있다.
피로도 추정부(320)는 시각 특성 정보를 이용하여 계산된 시각 특성 변동량 정보, 그리고, 수렴 정보, 초점 조절 정보 중 적어도 하나에 기초하여 사용자의 시청 피로도를 추정할 수 있다.
도 4는 시각 특성 정보 생성부의 세부 구성을 도시한 블록 다이어그램이다.
도 4에 따르면, 시각 특성 정보 생성부(400)는 수렴 정보 생성부(410) 및 초점 조절 정보 생성부(420)를 포함할 수 있다.
수렴 정보 생성부(410)는 양안 동공 촬영 영상에 나타나는 동공의 중심을 각각 결정하여 수렴 정보를 생성할 수 있다. 일례로, 수렴 정보 생성부(410)는 양안의 공공의 중심을 각각 결정하고, 사용자의 양안의 광축이 향하는 방향을 각각 결정할 수 있다. 그리고, 수렴 정보 생성부(410)는 양안의 광축이 향하는 방향과 시청 거리에 기초하여 계산된 수렴 각도를 포함하는 수렴 정보를 생성할 수 있다. 여기서, 수렴 정보 생성부(410)는 거리 측정 센서를 이용하여 사용자로부터 디스플레이까지의 거리인 시청 거리를 획득할 수 있다.
이때, 수렴 정보 생성부(410)는 시간에 따라 사용자의 시선수렴이 변경됨에 따라 수렴 정보를 실시간으로 생성할 수 있다.
초점 조절 정보 생성부(420)는 양안의 망막 반사광이 형성하는 패턴 및 모양에 기초하여 초점 조절 정보를 생성할 수 있다.
일례로, 적외선 광원이 사용자의 눈으로 방사된 경우, 적외선이 사용자의 수정체에 굴절되어 망막에 일정 크기로 투사될 수 있다. 그러면, 망막에서는 적외선이 높은 반사율로 반사 산란되고, 산란된 적외선 광읜 다시 수정체는 지나며 공간으로 투사된다. 이때, 초점 거리를 미리 설정한 적외선 카메라를 통해 망막에서 반사된 광을 촬영한 경우, 일정 크기의 원형 패턴이 형성될 수 있으며, 원형 패턴의 크기 및 모양은 사용자의 수정체의 굴절률에 따라 변경될 수 있다. 이에 따라, 초점 조절 정보 생성부(420)는 양악 동광 촬영 영상에 나타나는 원형 패턴의 크기 및 모양에 기초하여 수정체의 굴절도를 포함하는 초점 조절 정보를 생성할 수 있다.
도 5는 피로도 추정부의 세부 구성을 도시한 블록 다이어그램이다.
도 5에 따르면, 피로도 추정부(500)는 수렴 각도 계산부(510), 조절량 계산부(520), 수렴 변동량 계산부(530), 조절 변동량 계산부(540), 및 피로도 계산부(550)를 포함할 수 있다.
수렴 각도 계산부(510)는 시간에 따라 변동하는 수렴정보들을 대상으로, 기설정된 기준 구간에 속하는 수렴 정보에 기초하여 대표 수렴 각도를 계산할 수 있다. 일례로, 수렴 각도 계산부(510)는 기준 구간에 속하는 수렴 정보들 각각에 포함된 수렴 각도를 평균하여 대표 수렴 각도를 계산할 수 있다.
조절량 계산부(520)는 시간에 따라 변동하는 초점 조절 정보를 대상으로, 기준 구간에 속하는 초점 조절 정보에 기초하여 대표 조절량을 계산할 수 있다. 일례로, 조절량 계산부(520)는 기준 구간에 속하는 초점 조절 정보들 각각에 포함된 수정체의 굴절도를 평균하여 대표 조절량을 계산할 수 있다.
수렴 변동량 계산부(530)는 시간에 따라 변동하는 수렴정보를 대상으로, 기설정된 기준 구간에 속하는 수렴정보들 각각에 포함된 수렴 각도의 표준편차를 이용하여 수렴 변동량을 계산할 수 있다.
조절 변동량 계산부(540)는 시간에 따라 변동하는 초점 조절 정보를 대상으로, 기준 구간에 속하는 초점 조절 정보들 각각에 포함된 수정체의 굴절도의 표준편차를 이용하여 조절 변동량을 계산할 수 있다.
피로도 계산부(550)는 대표 수렴 각도와 대표 조절량에 따른 수렴-조절 피로도, 수렴 변동량에 따른 수렴 변동 피로도, 및 조절 변동량에 따른 조절 변동 피로도 중 적어도 하나에 기초하여 사용자의 시청 피로도를 계산할 수 있다.
일례로, 피로도 계산부(550)는 수렴-조절 피로도, 수렴 변동 피로도 및 조절 변동 피로도를 평균하여 최종적으로 사용자의 시청 피로도를 계산할 수 있다.
다른 예로, 피로도 계산부(550)는 수렴-조절 피로도, 수렴 변동 피로도 및 조절 변동 피로도 중 최대 피로도를 최종적으로 사용자의 시청 피로도로 계산할 수도 있다.
도 6 및 도 7은 수렴-조절 피로도 모델을 이용하여 수렴-조절 피로도를 계산하는 구성을 설명사기 위해 제공되는 도면이다.
도 5의 피로도 계산부(550)는 대표 수렴 각도와 대표 조절량을 시청 피로를 예측하기 위해 미리 구축된 수렴-조절 피로도 모델에 적용하여 수렴-조절 피로도를 계산할 수 있다.
예를 들어, 도 6을 참조하면, 수렴 위치와 초점 조절 위치가 상이함에 따라 수렴-조절 차이가 발생할 수 있다. 이때, 입체영상이 디스플레이로부터 먼 위치에서 수렴할수록 수렴 위치와 초점 조절 위치 간의 차이가 커질 수 있다. 그리고, 초점 조절 위치와 수렴 위치 간의 차이가 거의 없을수록 시청 피로가 발생하지 않는다. 이러한 수렴 위치와 초점 조절 위치 간의 특성을 반영하여 도 7과 같이, 수렴-조절 피로도 모델이 미리 구축될 수 있다. 이때, 수렴-조절 피로도 모델은 다수의 사용자에 대한 피로도를 반복 측정한 결과를 토대로 구축될 수 있다.
도 7에 따르면, 수렴 위치와 초점 조절 위치가 동일한 경우(Zero-parallax Line), 시청 피로도가 발생하지 않는다. 그리고, 수렴-조절의 차이가 커질수록 점차 시청 피로도가 증가한다. 다시 말해, 피로도 계산부(550)는 도 7의 수렴-조절 피로도 모델에서 수렴 각도에 기초하여 계산된 수렴 위치 및 수정체 굴절도에 기초하여 계산된 초점 조절 위치가 교차하는 지점에 해당하는 피로도를 수렴-조절 피로도 계산할 수 있다.
이외에, 피로도 계산부(550)는 수렴 변동량을 미리 구축된 수렴 변동 피로도 모델에 적용하여 수렴 변동 피로도를 계산할 수 있다. 마찬가지로, 피로도 계산부(550)는 조절 변동량을 미리 구축된 조절 변동 피로도 모델에 적용하여 조절 변동 피로도를 계산할 수 있다.
도 8은 시청 피로 저감 장치의 구성을 도시한 블록 다이어그램이다.
도 8에 따르면, 시청 피로 저감 장치(800)는 시각 특성 정보 생성부(810), 피로도 추정부(820), 및 영상 재생성부(830)를 포함할 수 있다. 도 8에서, 시각 특성 정보 생성부(810) 및 피로도 추정부(820)이 동작은 도 3에서 설명한 시청 피로 모니터링 장치의 시각 특성 정보 생성부(310) 및 피로도 추정부(320)와 거의 동일하므로 중복되는 설명은 생략하기로 한다. 다만, 시각 특성 정보 생성부(810)는 동공 크기 정보 및 동공 거리 정보를 생성한다는 점에서 도 3의 시각 특성 정보 생성부(310)와 차이가 있다.
시각 특성 정보 생성부(810)는 광원부(840)에서 사용자의 양안으로 적외선 광원을 방사함에 따라 촬영부(850)에서 촬영한 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성할 수 있다. 여기서, 시각 특성 정보는, 수렴(Vergence) 정보, 초점 조절 정보, 동공 크기 정보, 및 동공 거리 정보 중 적어도 하나를 포함할 수 있다.
피로도 추정부(820)는 시각 특성 정보를 이용하여 계산된 시각 특성 변동량 정보, 그리고, 수렴 정보, 초점 조절 정보 중 적어도 하나에 기초하여 사용자의 시청 피로도를 추정할 수 있다. 이때, 피로도 추정부(820)는 수렴-조절 피로도 모델, 수렴 변동량 피로도 모델, 또는 조절 변동량 피로도 모델을 이용하여 수렴-조절 피로도, 수렴 변동 피로도, 및 조절 변동 피로도를 계산할 수 있다. 여기서, 각 피로도 모델들은 동공 크기 별 시청 피로도를 포함하도록 미리 구축될 수 있다.
그리고, 피로도 추정부(820)는 수렴-조절 피로도, 수렴 변동 피로도, 및 조절 변동 피로도 중 적어도 하나를 이용하여 최종적으로 사용자의 시청 피로도를 계산할 수 있다.
영상 재생성부(830)는 사용자의 시청 피로도를 기초로 입력 영상의 깊이(depth)를 조절하여 입체 영상을 재생성할 수 있다. 이때, 영상 재생성부(830)는 입력 영상의 깊이감이 낮아지도록 깊이를 조절하여 시청 피로도가 감소되는 입체 영상을 재생성할 수 있다.
도 9는 도 8의 시각 특성 정보 생성부의 세부 구성을 도시한 블록 다이어그램이다.
시각 특성 정보 생성부(900)는 수렴 정보 생성부(910), 초점 조절 정보 생성부(920), 동공 크기 정보 생성부(930), 동공 거리 정보 생성부(940), 및 시청 거리 정보 생성부(950)를 포함할 수 있다. 여기서, 수렴 정보 생성부(910), 초점 조절 정보 생성부(920)의 동작은 도 4의 수렴 정보 생성부(410), 초점 조절 정보 생성부(420)의 동작과 동일하므로 중복되는 설명은 생략하기로 한다.
동공 크기 정보 생성부(930)는 시청 거리 정보 및 양안 동공 촬영 영상을 이용하여 동공 크기 정보를 생성할 수 있다. 여기서, 양안 동공 촬영 영상은 적외선 광원 및 적외선 카메라를 이용하여 촬영될 수 있다.
동공 거리 정보 생성부(940)는 시청 거리 정보 및 양안 동공 촬영 영상을 이용하여 동공 거리 정보를 생성할 수 있다. 여기서, 동공 거리 정보는 사용자가 현재 응시하고 있는 입체 영상의 공간적 깊이감을 제공하기 위해 이용될 수 있다.
예를 들어, 동공 거리 정보 생성부(940)는 양안 동공 촬영 영상에 기초하여는 양안의 동공 중심을 각각 결정하고, 결정된 동공 중심과 시청 거리를 이용하여 양안의 동공 간 거리를 포함하는 동공 거리 정보를 생성할 수 있다.
시청 거리 정보 생성부(950)는 거리 측정 센서를 이용하여 획득한 사용자로부터 디스플레이까지의 거리를 포함하는 시청 거리 정보를 생성할 수 있다.
일례로, 시청 거리 정보 생성부(950)는 단안 카메라, 스테레오 카메라, 적외선 거리 측정 센서, 레이저 거리 측정 센서 중 어느 하나를 이용하여 사용자의 시청 거리 정보를 생성할 수 있다.
도 10은 도 8의 영상 재생성부의 세부 구성을 도시한 블록 다이어그램이다.
도 10에 따르면, 영상 재생성부(1000)는 깊이 정보 생성부(1010) 및 깊이 제어부(1020)를 포함할 수 있다.
먼저, 깊이 정보 생성부(1010)는 동공 거리 정보, 사용자의 시청 거리 정보, 입력 영상의 시차(disparity) 정보에 기초하여 입력 영상의 깊이 정보를 생성할 수 있다. 여기서, 시차 정보는 입력된 3차원 입체 영상을 표시하는 디스플레이의 폭, 및 디스플레이의 가로 해상도에 기초하여 생성될 수 있다.
일례로, 3차원 입체 영상이 디스플레이의 앞쪽에 표시되는 경우, 깊이 정보 생성부(1010)는 아래의 수학식 1 및 수학식 2를 이용하여 깊이 정보를 생성할 수 있다.
Figure pat00001
수학식 1에서,
Figure pat00002
는 3차원 입체 영상의 물리적 시차(disparity), ds는 시청 거리, do는 사용자로부터 입체 영상까지의 거리(이하, "입체 영상 거리"로 칭함), e는 사용자의 양안 동공간 거리이다.
Figure pat00003
수학식 2에 따르면, 3차원 입체 영상이 디스플레이의 앞쪽에 표시되는 경우, 입체 영상 거리 do는 입체 영상의 시차와 시청 거리의 곱을 양안 동공간 거리와 시차의 합으로 나눔으로써 계산될 수 있다. 그러면, 깊이 정보 생성부(1010)는 계산된 입체 영상 거리를 포함하는 깊이 정보를 생성할 수 있다.
다른 예로, 3차원 입체 영상이 디스플레이의 뒤쪽에 표시되는 경우, 깊이 정보 생성부(1010)는 아래의 수학식 3 및 수학식 4를 이용하여 깊이 정보를 생성할 수 있다.
Figure pat00004
수학식 3에서,
Figure pat00005
는 3차원 입체 영상의 물리적 시차(disparity), ds는 시청 거리, do는 사용자로부터 입체 영상까지의 거리(이하, "입체 영상 거리"로 칭함), e는 사용자의 양안 동공간 거리이다.
Figure pat00006
수학식 4에 따르면, 3차원 입체 영상이 디스플레이의 뒤쪽에 표시되는 경우, 입체 영상 거리 do는 입체 영상의 시차와 시청 거리의 곱을 양안 동공간 거리와 시차의 차로 나눔으로써 계산될 수 있다. 그러면, 깊이 정보 생성부(1010)는 계산된 입체 영상 거리를 포함하는 깊이 정보를 생성할 수 있다.
이때, 깊이 정보 생성부(1010)는 피로도 추정부(920)에서 추정된 사용자의 시청 피로도에 기초하여 최적 깊이 정보를 생성할 수 있다.
일례로, 사용자의 시청 피로도가 사용자의 시각에 피로를 유발하지 않는 범위 내에 포함되는 경우, 깊이 정보 생성부(1010)는 깊이 정보를 최적 깊이 정보로 생성할 수 있다.
다른 예로, 사용자의 시청 피로도가 사용자의 시각에 피로를 유발하지 않는 범위 밖에 포함되는 경우, 깊이 정보 생성부(1010)는 사용자의 시청 거리 정보, 깊이 정보, 그리고 미리 구축된 피로도 모델을 이용하여 최적 깊이 정보를 생성할 수 있다.
그러면, 깊이 제어부(1020)는 깊이 정보 및 최적 깊이 정보 중 적어도 하나를 이용하여 시청 피로도에 대한 시차(disparity) 정보를 재결정할 수 있다.
상세하게는, 깊이 제어부(1020)는 깊이 정보 및 최적 깊이 정보를 이용하여 입체 영상의 깊이 스케일링(scaling) 값을 결정할 수 있다. 그리고, 깊이 제어부(1020)는 결정된 스케일링 값에 기초하여 입체 영상 전체에 대한 깊이 맵을 스케일링할 수 있다. 이어, 깊이 제어부(1020)는 스케일링을 통해 생성된 깊이 맵에 기초하여 입체 영상의 시차(disparity) 정보를 재결정할 수 있다.
일례로, 3차원 입체 영상이 디스플레이의 앞쪽에 표시되는 경우, 깊이 제어부(1020)는 아래의 수학식 5에 기초하여 시차 정보를 재결정할 수 있다.
수학식 5에서,
Figure pat00008
는 재결정된 3차원 입체 영상의 물리적 시차(disparity), ds는 시청 거리, do는 입체 영상 거리, e는 사용자의 양안 동공간 거리이다.
수학식 5에 따르면, 깊이 제어부(1020)는 양안 동공간 거리에 시청 거리와 입체 영상 거리의 차를 곱한 후, 입체 영상 거리로 나눔으로써 입체 영상의 시차를 재계산할 수 있다. 그리고, 깊이 제어부(1020)는 재계산된 시차를 포함하는 시차 정보를 재결정할 수 있다. 그러면, 깊이 제어부(1020)는 재결정된 시차 정보에 기초하여 입체 영상을 가공함에 따라 시차가 감소되도록 입체 영상을 재생성할 수 있다. 다시 말해, 깊이 제어부(1020)는 깊이감이 낮은 입체 영상을 재생성할 수 있다.
다른 예로, 3차원 입체 영상이 디스플레이의 뒤쪽에 표시되는 경우, 깊이 제어부(1020)는 아래의 수학식 6에 기초하여 시차 정보를 재결정할 수 있다.
Figure pat00009
수학식 6에서,
Figure pat00010
는 재결정된 3차원 입체 영상의 물리적 시차(disparity), ds는 시청 거리, do는 입체 영상 거리, e는 사용자의 양안 동공간 거리이다.수학식 6에 따르면, 깊이 제어부(1020)는 양안 동공간 거리에 입체 영상 거리와 시청 거리의 차를 곱한 후, 입체 영상 거리로 나눔으로써 입체 영상의 시차를 재계산할 수 있다. 그리고, 깊이 제어부(1020)는 재계산된 시차를 포함하는 시차 정보를 재결정할 수 있다. 그러면, 깊이 제어부(1020)는 재결정된 시차 정보에 기초하여 입체 영상을 가공함에 따라 시차가 적은 입체 영상을 재생성할 수 있다. 이처럼, 재결정된 시차 정보에 기초하여 시차가 적은 입체 영상을 재생성함에 따라 사용자의 시청 피로도를 줄일 수 있다.
도 11 및 도 12는 입체 영상의 깊이에 따른 시차를 도시한 도면이다.
도 11에 따르면, 입체 영상 거리 do가 시청 거리 ds보다 작음에 따라 사용자는 디스플레이와 사용자 사이에 입체 영상이 표현 되는 것으로 인식할 수 있다. 다시 말해, 사용자는 3차원 입체 영상이 디스플레이의 앞쪽에 표시되는 것으로 인식할 수 있다. 이때,
그리고, 도 12에 따르면, 입체 영상 거리 do가 시청 거리 ds보다 커짐에 따라 사용자는 디스플레이 뒤쪽에 입체 영상이 표현 되는 것으로 인식할 수 있다. 이때, 입체영상 거리 do는 사용자의 시청 거리 ds 및 입체 영상의 시차
Figure pat00011
에 따라 달라질 수 있으며, 상기 시차를 조절함으로써 입체 영상 거리 do를 조절할 수 있다. 여기서, 시선이 수렴하는 위치는 입체 영상 거리 do에 대응하고, 초점의 조절 위치는 사용자의 시청 거리 ds에 대응할 수 있다.
이에 따라, 시청 피로 모니터링 장치는 입체 영상 거리 do와 시청 거리 ds에 대한 파라미터를 알면 시선수렴과 초점조절의 불일치 정도를 확인할 수 있다. 그러면, 시청 피로 저감 장치는 시청 피로 불일치 정도에 기초하여 시청 피로도를 추정하고, 추정된 시청 피로도에 기초하여 입체 영상 거리를 감소시켜 시차가 적은 입체 영상을 재생성할 수 있다. 다시 말해, 추정된 시청 피로도가 사용자의 피로감을 많이 유발하는 경우, 시청 피로 저감 장치는 입체 영상 거리를 조절하여 시차가 적은 입체 영상을 재생성할 수 있다.
도 13은 시청 피로 모니터링 장치의 동작을 설명하기 위해 제공되는 플로우차트이다.
먼저, 1310 단계에서, 시청 피로 모니터링 장치는 사용자의 양안 동공 촬영 여상에 기초하여 시각 특성 정보를 생성할 수 있다. 여기서, 시각 특성 정보는, 사용자의 양안의 수렴 각도(Vergence angle)를 포함하는 수렴 정보, 좌/우 양안의 수정체의 굴절도(accommodation power)를 포함하는 초점 조절 정보 중 적어도 하나를 포함할 수 있다.
일례로, 시청 피로 모니터링 장치는, 양안 동공 촬영 영상을 기초로 양안의 동공 중심을 각각 결정하여 수렴 정보를 생성할 수 있다. 그리고, 시청 모니터링 장치는 양안의 망막 반사광이 형성하는 패턴 및 모양에 기초하여 초점 조절 정보를 생성할 수 있다. 이때, 시각 피로 모니터링 장치는, 적외선 광원 및 적외선 카메라를 이용하여 촬영된 양안 동공 촬영 영상을 획득할 수 있다.
이어, 1320 단계에서, 시청 피로 모니터링 장치는, 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정할 수 있다.
상세하게는, 시청 피로 모니터링 장치는, 시간에 따라 변동하는 수렴 정보를 대상으로, 기준 구간에 속하는 수렴 정보에 기초하여 대표 수렴 각도를 계산할 수 있다. 그리고, 시청 피로 모니터링 장치는 시간에 따라 변동하는 초점 조절 정보를 대상으로, 기준 구간에 속하는 초점 조절 정보에 기초하여 대표 조절량을 계산할 수 있다. 마찬가지로, 시청 피로 모니터링 장치는 시간 별 수렴 정보의 표준 편차를 통해 수렴 변동량를 계산하고, 시간 별 초점 조절 정보의 표준 편차를 통해 조절 변동량을 계산할 수 있다.
그리고, 시청 피로 모니터링 장치는, 대표 수렴 각도와 대표 조절량을 미리 구축된 수렴-조절 피로도 모델에 적용하여 수렴-조절 피로도를 결정할 수 있다. 동일한 방법으로, 시청 피로 모니터링 장치는, 수렴 변동량을 미리 구축된 수렴 변동 피로도 모델에 적용하여 수렴 변동 피로도를 결정하고, 조절 변동량을 미리 구출된 조절 변동 피로도 모델에 적용하여 조절 변동 피로도를 결정할 수 있다.
이어, 시청 피로 모니터링 장치는, 수렴-조절 피로도, 수렴 변동 피로도 및 조절 변동 피로도 중 적어도 하나에 기초하여 최종적으로 시청 피로도를 추정할 수 있다.
일례로, 시청 피로 모니터링 장치는 수렴-조절 피로도, 수렴 변동 피로도 및 조절 변동 피로도를 평균하여 최종적으로 사용자의 시청 피로도를 계산할 수 있다.
다른 예로, 시청 피로 모니터링 장치는 수렴-조절 피로도, 수렴 변동 피로도 및 조절 변동 피로도 중 최대 피로도를 최종적으로 사용자의 시청 피로도로 계산할 수도 있다.
도 14는 시청 피로 저감 장치의 동작을 설명하기 위해 제공되는 플로우차트이다.
도 14에서, 시각 특성 정보를 생성하는 1410 단계 및 시청 피로도를 추정하는 1420 단계의 동작은 도 13의 시각 특성 정보를 생성하는 1310 단계 및 시청 피로도를 추정하는 1320 단계의 동작과 동일하므로 중복되는 설명은 생략하기로 한다.
다만, 도 14의 1410 단계에서, 시청 피로 저감 장치는, 양안 동공 촬영 영상에 기초하여 양안의 동공 간 거리(inter-pupil distance)를 포함하는 동공 거리 정보, 및 양안 각각의 동공 크기(pupil size)를 포함하는 동공 크기 정보를 생성할 수 있다. 다시 말해, 시청 피로 모니터링 장치에서 생성한 시각 특성 정보는, 시각 특성 정보는, 수렴 정보 및 초점 조절 정보를 포함하는 데 반해, 시청 피로 저감 장치에서 생성한 시각 특성 정보는 수렴 정보, 초점 조절 정보, 동공 거리 정보, 및 동공 크기 정보를 포함할 수 있다.
그리고, 1430 단계에서, 시청 피로 저감 장치는, 사용자의 시청 피로도에 기초하여 입력 영상의 깊이(depth)를 조절하여 입체 영상을 재생성할 수 있다.
일례로, 시청 피로 저감 장치는, 동공 거리 정보, 사용자의 시청 거리 정보, 입력 영상의 시차(disparity) 정보에 기초하여 입력 영상의 깊이 정보를 생성할 수 있다. 그리고, 시청 피로 저감 장치는, 깊이 정보에 기초하여 최적 깊이 정보를 생성할 수도 있다. 그러면, 시청 피로 저감 장치는 깊이 정보 및 최적 깊이 정보 중 적어도 하나를 이용하여 사용자의 시청 피로도에 대한 시차(disparity) 정보를 재결정할 수 있다.
그리고, 시청 피로 저감 장치는 재결정된 시차 정보에 기초하여 입력 영상을 가공하여 입체 영상을 재생성할 수 있다. 다시 말해, 시청 피로 저감 장치는 재결정된 시차 정보에 기초하여 입력 영상의 깊이감을 줄임으로써 시차가 적은 입체 영상을 재생성할 수 있다. 이처럼, 시차가 적은 입체 영상을 재생성하여 디스플레이에 표시함에 따라, 사용자의 피로도를 감소시킬 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
300: 시청 피로 모니터링 장치
310: 시각 특성 정보 생성부
320: 피로도 추정부
800: 시청 피로 저감 장치
810: 시각 특성 정보 생성부
820: 피로도 추정부
830: 영상 재생성부

Claims (22)

  1. 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 시각 특성 정보 생성부; 및
    상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 피로도 추정부
    를 포함하는 시청 피로 모니터링 장치.
  2. 제1항에 있어서,
    상기 시각 특성 정보 생성부는,
    상기 양안 동공 촬영 영상을 기초로 양안의 동공 중심을 각각 결정하여 수렴(Vergence) 정보를 생성하는 수렴 정보 생성부; 및
    상기 양안의 망막 반사광이 형성하는 패턴 및 모양에 기초하여 초점 조절 정보를 생성하는 조절 정보 생성부
    를 포함하는 시청 피로 모니터링 장치.
  3. 제1항에 있어서,
    상기 피로도 추정부는,
    시간에 따라 변동하는 수렴 정보를 대상으로, 기준 구간에 속하는 수렴 정보에 기초하여 대표 수렴 각도를 계산하는 수렴 각도 계산부;
    시간에 따라 변동하는 초점 조절 정보를 대상으로, 기준 구간에 속하는 초점 조절 정보에 기초하여 대표 조절량을 계산하는 조절량 계산부;
    시간에 따라 변동하는 수렴 정보의 변동량인 수렴 변동량을 계산하는 수렴 변동량 계산부; 및
    시간에 따라 변동하는 초점 조절 정보의 변동량인 조절 변동량을 계산하는 조절 변동량 계산부
    를 포함하는 시청 피로 모니터링 장치.
  4. 제4항에 있어서,
    상기 피로도 추정부는,
    상기 대표 수렴 각도와 대표 조절량에 따른 수렴-조절 피로도, 수렴 변동량에 따른 수렴 변동 피로도 및 조절 변동량에 따른 조절 변동 피로도 중 적어도 하나에 기초하여 상기 시청 피로도를 추정하는 것을 특징으로 하는 시청 피로 모니터링 장치.
  5. 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 단계; 및
    상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 단계
    를 포함하는 입체영상 시청 피로 모니터링 방법.
  6. 제5항에 있어서,
    상기 시각 특성 정보를 생성하는 단계는,
    상기 양안 동공 촬영 영상을 기초로 양안의 동공 중심을 각각 결정하여 수렴(Vergence) 정보를 생성하는 단계; 및
    상기 양안의 망막 반사광이 형성하는 패턴 및 모양에 기초하여 초점 조절 정보를 생성하는 단계
    를 포함하는 시청 피로 모니터링 방법.
  7. 제5항에 있어서,
    상기 시청 피로도를 추정하는 단계는,
    시간에 따라 변동하는 수렴 정보를 대상으로, 기준 구간에 속하는 수렴 정보에 기초하여 대표 수렴 각도를 계산하는 단계;
    시간에 따라 변동하는 초점 조절 정보를 대상으로, 기준 구간에 속하는 초점 조절 정보에 기초하여 대표 조절량을 계산하는 단계;
    시간에 따라 변동하는 수렴 정보의 변동량인 수렴 변동량을 계산하는 단계; 및
    시간에 따라 변동하는 초점 조절 정보의 변동량인 조절 변동량을 계산하는 단계
    를 포함하는 시청 피로 모니터링 방법.
  8. 제7항에 있어서,
    상기 시청 피로도를 추정하는 단계는,
    상기 대표 수렴 각도와 대표 조절량에 따른 수렴-조절 피로도, 수렴 변동량에 따른 수렴 변동 피로도 및 조절 변동량에 따른 조절 변동 피로도 중 적어도 하나에 기초하여 상기 시청 피로도를 추정하는 것을 특징으로 하는 시청 피로 모니터링 방법.
  9. 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 시각 특성 정보 생성부;
    상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 피로도 추정부; 및
    상기 시청 피로도를 기초로 입력 영상의 깊이(depth)를 조절하여 입체 영상을 재생성하는 영상 재생성부
    를 포함하는 입체영상 시청 피로 저감 장치.
  10. 제9항에 있어서,
    상기 시각 특성 정보 생성부는,
    상기 사용자의 양안 동공 촬영 영상에 기초하여 수렴(Vergence) 정보, 초점 조절 정보, 동공 크기 정보, 및 동공 거리 정보를 생성하는 것을 특징으로 하는 시청 피로 저감 장치.
  11. 제10항에 있어서,
    상기 영상 재생성부는,
    상기 동공 거리 정보, 사용자의 시청 거리 정보, 및 입력 영상의 시차(disparity) 정보에 기초하여 입력 영상의 깊이 정보를 생성하는 깊이 정보 생성부; 및
    상기 입력 영상의 깊이 정보 및 최적 깊이 정보 중 적어도 하나를 이용하여 상기 추정된 시청 피로도에 대한 시차 정보를 재결정하는 깊이 제어부
    를 포함하는 시청 피로 저감 장치.
  12. 제11항에 있어서,
    상기 깊이 제어부는,
    상기 깊이 정보, 사용자의 시청 거리 정보, 및 동공 거리 정보에 기초하여 입력 영상의 시차(disparity) 정보를 재결정하는 것을 특징으로 하는 시청 피로 저감 장치.
  13. 제12항에 있어서,
    상기 깊이 제어부는,
    상기 재결정된 시차 정보에 따라 시차가 감소되도록 입력 영상을 가공하여 상기 입체 영상을 재생성하는 것을 특징으로 하는 시청 피로 저감 장치.
  14. 제11항에 있어서,
    상기 깊이 제어부는,
    상기 추정된 시청 피로도에 따라 상기 입력 영상의 깊이 정보 및 사용자의 시청 거리 정보 중 적어도 하나를 이용하여 상기 최적 깊이 정보를 생성하는 것을 특징으로 하는 시청 피로 저감 장치.
  15. 제9항에 있어서,
    상기 시각 특성 정보 생성부는,
    단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 측정 카메라, 초음파 거리 측정 센서, 적외선 거리 측정 센서, 및 레이저 거리 측정 센서 중 어느 하나를 이용하여 사용자의 시청 거리 정보를 생성하는 것을 특징으로 하는 시청 피로 저감 장치.
  16. 제9항에 있어서,
    상기 시각 특성 정보 생성부는,
    적외선 광원 및 적외선 카메라를 이용하여 촬영된 상기 사용자의 양안 동공 촬영 영상을 획득하는 것을 특징으로 하는 시청 피로 저감 장치.
  17. 사용자의 양안 동공 촬영 영상에 기초하여 시각 특성 정보를 생성하는 단계;
    상기 시각 특성 정보를 이용하여 계산된 시각 특성 변동량에 기초하여 사용자의 시청 피로도를 추정하는 단계; 및
    상기 시청 피로도를 기초로 입력 영상의 깊이(depth)를 조절하여 입체 영상을 재생성하는 단계
    를 포함하는 입체영상 시청 피로 저감 방법.
  18. 제17항에 있어서,
    상기 시각 특성 정보를 생성하는 단계는,
    상기 사용자의 양안 동공 촬영 영상에 기초하여 수렴(Vergence) 정보, 초점 조절 정보, 동공 크기 정보, 및 동공 거리 정보를 생성하는 것을 특징으로 하는 시청 피로 저감 방법.
  19. 제18항에 있어서,
    상기 입체 영상을 재생성하는 단계는,
    상기 동공 거리 정보, 사용자의 시청 거리 정보, 및 입력 영상의 시차(disparity) 정보에 기초하여 입력 영상의 깊이 정보를 생성하는 단계; 및
    상기 입력 영상의 깊이 정보 및 최적 깊이 정보 중 적어도 하나를 이용하여 상기 추정된 시청 피로도에 대한 시차 정보를 재결정하는 단계
    를 포함하는 시청 피로 저감 방법.
  20. 제19항에 있어서,
    상기 시차 정보를 재결정하는 단계는,
    상기 깊이 정보, 사용자의 시청 거리 정보, 및 동공 거리 정보에 기초하여 입력 영상의 시차(disparity) 정보를 재결정하는 것을 특징으로 하는 시청 피로 저감 방법.
  21. 제20항에 있어서,
    상기 깊이 정보를 재결정하는 단계는,
    상기 재결정된 시차 정보에 따라 시차가 감소되도록 입력 영상을 가공하여 상기 입체 영상을 재생성하는 것을 특징으로 하는 시청 피로 저감 방법.
  22. 제20항에 있어서,
    상기 깊이 정보를 재결정하는 단계는,
    상기 추정된 시청 피로도에 따라 상기 입력 영상의 깊이 정보 및 사용자의 시청 거리 정보 중 적어도 하나를 이용하여 상기 최적 깊이 정보를 생성하는 것을 특징으로 하는 시청 피로 저감 방법.
KR1020110018538A 2011-03-02 2011-03-02 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법 KR20120099976A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110018538A KR20120099976A (ko) 2011-03-02 2011-03-02 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110018538A KR20120099976A (ko) 2011-03-02 2011-03-02 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120099976A true KR20120099976A (ko) 2012-09-12

Family

ID=47109795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110018538A KR20120099976A (ko) 2011-03-02 2011-03-02 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120099976A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
WO2017003054A1 (ko) * 2015-06-30 2017-01-05 삼성전자 주식회사 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치
KR20180090717A (ko) * 2017-02-03 2018-08-13 재단법인 실감교류인체감응솔루션연구단 비접촉 영상 기반 3d 인지피로 평가방법 및 시스템
KR102032487B1 (ko) * 2018-05-29 2019-10-15 상명대학교산학협력단 시각 피로 측정 장치 및 방법
US10531066B2 (en) 2015-06-30 2020-01-07 Samsung Electronics Co., Ltd Method for displaying 3D image and device for same
KR20200075526A (ko) * 2018-12-18 2020-06-26 상명대학교산학협력단 영상멀미 민감도 측정 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096122A (zh) * 2013-01-24 2013-05-08 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN103096122B (zh) * 2013-01-24 2015-04-22 上海交通大学 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
WO2017003054A1 (ko) * 2015-06-30 2017-01-05 삼성전자 주식회사 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치
US10531066B2 (en) 2015-06-30 2020-01-07 Samsung Electronics Co., Ltd Method for displaying 3D image and device for same
KR20180090717A (ko) * 2017-02-03 2018-08-13 재단법인 실감교류인체감응솔루션연구단 비접촉 영상 기반 3d 인지피로 평가방법 및 시스템
KR102032487B1 (ko) * 2018-05-29 2019-10-15 상명대학교산학협력단 시각 피로 측정 장치 및 방법
KR20200075526A (ko) * 2018-12-18 2020-06-26 상명대학교산학협력단 영상멀미 민감도 측정 방법 및 장치

Similar Documents

Publication Publication Date Title
JP7094266B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
JP5419011B2 (ja) 立体視用表示システム
JP6972105B2 (ja) 固定距離の仮想現実システムおよび拡張現実システムならびに方法
KR20120099976A (ko) 입체영상의 시청피로를 모니터링하는 장치 및 방법, 그리고, 시청 피로를 저감하는 장치 및 방법
CN114945853A (zh) 用于头戴式显示系统中的变形的补偿
US10075700B2 (en) Device, method and computer program for 3D rendering
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
WO2019109323A1 (zh) 图像显示方法、穿戴式智能设备及存储介质
JPH1083460A (ja) 立体視システム、立体視方法、及び、異なる２つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JP2002223458A (ja) 立体映像作成装置
JP2004333661A (ja) 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
KR101408591B1 (ko) 무안경 3차원 영상 디스플레이 장치 및 방법
JP7148634B2 (ja) ヘッドマウントディスプレイ装置
KR101320477B1 (ko) 카메라 간격 및 이동속도 조절이 가능한 건축물 내비게이션 장치 및 방법
EP3419287A1 (en) An apparatus and a method for displaying a 3d image
CN111314686B (zh) 一种自动优化3d立体感的方法、系统及介质
CN112578558B (zh) 用于头戴式装置的、用于更新眼睛追踪模型的方法和系统
US20200260945A1 (en) Panum's area measurement method, apparatus, and wearable display device
US20200049994A1 (en) Tilted focal plane for near-eye display system
JP5311526B1 (ja) ３ｄ立体視画像作成方法、３ｄ立体視画像作成システム及び３ｄ立体視画像作成プログラム
CN107991856A (zh) 一种多平面6d全息光场成像方法
JP2012109725A (ja) 立体映像処理装置および立体映像処理方法
KR101893769B1 (ko) 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법
Conti et al. Adjusting stereoscopic parameters by evaluating the point of regard in a virtual environment
KR101704033B1 (ko) 입체영상의 출력 방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination