KR101649185B1 - 시각 주의도의 산출 방법 및 장치 - Google Patents

시각 주의도의 산출 방법 및 장치 Download PDF

Info

Publication number
KR101649185B1
KR101649185B1 KR1020150028438A KR20150028438A KR101649185B1 KR 101649185 B1 KR101649185 B1 KR 101649185B1 KR 1020150028438 A KR1020150028438 A KR 1020150028438A KR 20150028438 A KR20150028438 A KR 20150028438A KR 101649185 B1 KR101649185 B1 KR 101649185B1
Authority
KR
South Korea
Prior art keywords
value
dba
visual attention
frame
dfs
Prior art date
Application number
KR1020150028438A
Other languages
English (en)
Inventor
송원석
김보은
김태정
Original Assignee
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교 산학협력단 filed Critical 서울대학교 산학협력단
Priority to KR1020150028438A priority Critical patent/KR101649185B1/ko
Application granted granted Critical
Publication of KR101649185B1 publication Critical patent/KR101649185B1/ko

Links

Images

Classifications

    • H04N13/0018—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/0011—
    • H04N13/0022—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 시각 주의도의 산출 방법 및 장치에 관한 것으로서, 본 발명에 따른 시각 주의도의 산출 방법은 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 분석 대상 프레임의 이전 프레임을 비교함으로써 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 속도 (velocity; V) 값을 생성하는 단계, 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 전체 픽셀 각각에 대한 화면으로부터의 거리 (distance from the screen; DFS) 값을 생성하는 단계, 분석 대상 프레임과 분석 대상 프레임의 블러링된 (blured) 이미지를 비교함으로써 전체 픽셀 각각에 대한 비초점 흐림 정도 (defocus blur amount; DBA) 값을 생성하는 단계, V값, DFS값 및 DBA값에 기초하여 전체 픽셀 각각에 대한 시각 주의도 (visual attention score; VAS) 를 산출하는 단계를 포함하고, 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 V값, DFS값 및 DBA값을 이용함으로써, 3차원 영상에 대한 시청자의 집중도를 보다 정확히 나타낼 수 있는 시각 주의도를 산출할 수 있다.

Description

시각 주의도의 산출 방법 및 장치{METHOD AND APPARATUS FOR CALCULATING VISUAL ATTENTION SCORE}
본 발명은 시각 주의도의 산출 방법 및 장치에 관한 것으로서, 보다 상세하게는 속도 (velocity; V) 값, 화면으로부터의 거리 (distance from the screen; DFS) 값 및 비초점 흐림 정도 (defocus blur amount; DBA) 값에 기초하여 시각 주의도를 산출할 수 있는 방법 및 장치에 관한 것이다.
3차원 영상이란 높이, 폭뿐만 아니라 깊이에 대한 정보를 포함하여 평면상에서 영상 내 물체의 원근을 감지할 수 있는 영상을 의미한다. 최근 3차원 영화 또는 3차원 TV 등에 대한 관심이 고조되어 다양한 3차원 영상 컨텐츠가 제작되고 보급됨에 따라, 3차원 영상의 제작 방법 및 평가 방법에 대한 연구가 활발히 이루어지고 있다. 3차원 영상을 제작하는 경우, 시청자들의 시각 집중도가 높은 부분의 영상을 더욱 정밀하게 제작할 필요성이 있다. 또한, 3차원 영상을 평가하는 경우, 시청자들의 시각 집중도가 높은 부분에 가중치를 두고 평가할 필요성이 있다. 따라서, 화면의 픽셀 각각에 대한 시청자들의 시각 집중도를 나타내는 시각 주의도 (visual attention score; VAS) 가 3차원 영상의 제작 및 평가에 있어 중요한 지표로 이용된다.
종래에는, 3차원 영상에 대한 시각 주의도의 산출을 위해, 2차원 영상의 시각 주의도를 산출하기 위한 모델을 통해 시각 주의도를 산출한 후, 산출된 시각 주의도에 3차원 영상으로부터 추출된 양안 시차 인자 또는 깊이 인자를 곱해주거나 더해줌으로써 3차원 영상에 대한 시각 주의도를 산출하였다. 즉, 종래의 방법은 2차원 영상의 시각주의도 산출 모델에 기초하여 3차원 영상의 특성인 양안 시차 인자 또는 깊이 인자를 이용하므로, 3차원 영상의 특성을 정확히 반영하는 시각 주의도를 산출할 수 없다는 문제점이 있었다.
따라서, 3차원 영상으로부터 추출된 다양한 특성값을 이용하여 3차원 영상에 대한 시각 주의도를 산출할 수 있는 방법 및 장치의 개발이 요구되었다.
[관련기술문헌]
1. 시각적 관심맵 생성 장치 및 방법 (특허출원번호 제 10-2009-0027461 호)
본 발명이 해결하고자 하는 과제는 픽셀 각각에 대한 속도 (velocity; V) 값, 화면으로부터의 거리 (distance from the screen; DFS) 값 및 비초점 흐림 정도 (defocus blur amount; DBA) 값을 이용함으로써, 3차원 영상의 특성을 반영하여 시각 주의도 (visual attention score; VAS) 를 산출할 수 있는 시각 주의도의 산출 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 분석 대상 프레임과 분석 대상 프레임의 블러링된 (blured) 이미지를 비교하여 에지 픽셀 (edge pixel) 에 대한 DBA값을 생성함으로써, 에지 픽셀에 대한 DBA값을 이용하여 전체 픽셀에 대한 DBA값을 생성할 수 있는 시각 주의도의 산출 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 산출된 시각 주의도를 정규화함으로써, 시청자가 3차원 영상에 포함된 전체 픽셀 중 특정 픽셀에 집중할 확률을 나타내는 시각 주의 확률 (visual attention probability; VAP) 을 산출할 수 있는 시각 주의도의 산출 방법 및 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법은 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 분석 대상 프레임의 이전 프레임을 비교함으로써 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 V값을 생성하는 단계, 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 전체 픽셀 각각에 대한 DFS값을 생성하는 단계, 분석 대상 프레임과 분석 대상 프레임의 블러링된 이미지를 비교함으로써 전체 픽셀 각각에 대한 DBA값을 생성하는 단계, V값, DFS값 및 DBA값에 기초하여 전체 픽셀 각각에 대한 시각 주의도를 산출하는 단계를 포함하고, DFS값은 좌안 이미지 및 우안 이미지에 의해 입체상이 맺히는 지점과 화면 사이의 수직 거리값인 것을 특징으로 한다.
본 발명의 다른 특징에 따르면, 시각 주의도는 V값 및 DFS값이 클수록 크고 DBA값이 작을수록 큰 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 시각 주의도를 산출하는 단계는, V값과 DBA값 사이의 교호작용 (interaction) 을 반영하여 시각 주의도를 산출하는 단계인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 시각 주의도를 산출하는 단계는, 수학식
Figure 112015019972277-pat00001
에 의해 시각 주의도를 산출하는 단계이고, a, b1, b2, c, d, e 및 k는 미리 설정된 상수인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, V값, DFS값 및 DBA값의 단위를 동일한 단위로 변환하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, DBA값을 생성하는 단계는, 분석 대상 프레임과 블러링된 이미지를 비교함으로써 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성하는 단계 및 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값 및 DFS값에 기초하여 전체 픽셀 각각에 대한 DBA값을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성하는 단계는, 분석 대상 프레임에 포함된 에지 픽셀의 픽셀값의 그래디언트 (gradient) 인 제1 그래디언트를 산출하는 단계, 분석 대상 프레임과 가우시안 필터를 컨벌루션 (convolution) 연산하여 블러링된 이미지를 생성하는 단계, 블러링된 이미지에 포함된 에지 픽셀에서의 픽셀값의 그래디언트인 제2 그래디언트를 산출하는 단계 및 제1 그래디언트와 제2 그래디언트의 비율 및 가우시안 필터의 표준편차에 기초하여, 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값 및 DFS값에 기초하여 전체 픽셀 각각에 대한 DBA값을 생성하는 단계는, DFS값에 기초하여 분석 대상 프레임을 복수의 영역으로 분할하는 단계, 복수의 영역 각각에 포함된 에지 픽셀에 대한 DBA값의 평균을 각각 산출함으로써 DBA값의 평균이 가장 작은 영역인 기준 영역을 추출하는 단계 및 기준 영역의 DBA값의 평균 및 기준 영역과 전체 픽셀 각각 사이의 거리에 기초하여 전체 픽셀에 대한 DBA값을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 시각 주의도를 정규화함으로써 0 내지 1의 값을 갖는 시각 주의 확률을 산출하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 시각 주의 확률을 산출하는 단계는, 수학식
Figure 112015019972277-pat00002
에 의해 상기 시각 주의 확률을 산출하는 단계이고, 여기서 상기 i는 픽셀의 세로 방향 좌표이고, 상기 j는 상기 픽셀의 가로 방향 좌표인 것을 특징으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 시각 주의도의 산출 장치는 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 분석 대상 프레임의 이전 프레임을 비교함으로써 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 V값을 생성하는 V값 생성부, 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 전체 픽셀 각각에 대한 DFS값을 생성하는 DFS값 생성부, 분석 대상 프레임과 분석 대상 프레임의 블러링된 이미지를 비교함으로써 전체 픽셀 각각에 대한 DBA값을 생성하는 DBA값 생성부 및 V값, DFS값 및 DBA값에 기초하여 전체 픽셀 각각에 대한 시각 주의도를 산출하는 산출부를 포함하고, DFS값은 좌안 이미지 및 우안 이미지에 의해 입체상이 맺히는 지점과 화면 사이의 수직 거리값인 것을 것을 특징으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록 매체는 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 분석 대상 프레임의 이전 프레임을 비교함으로써 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 V값을 생성하고, 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 전체 픽셀 각각에 대한 DFS값을 생성하고, 분석 대상 프레임과 분석 대상 프레임의 블러링된 이미지를 비교함으로써 전체 픽셀 각각에 대한 DBA값을 생성하고, V값, DFS값 및 DBA값에 기초하여 전체 픽셀 각각에 대한 시각 주의도를 산출하는 명령어들의 세트를 포함하고, DFS값은 좌안 이미지 및 우안 이미지에 의해 입체상이 맺히는 지점과 화면 사이의 수직 거리값인 것을 특징으로 한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 V값, DFS값 및 DBA값을 이용함으로써, 3차원 영상에 대한 시청자의 집중도를 보다 정확히 나타낼 수 있는 시각 주의도를 산출할 수 있다.
본 발명은 분석 대상 프레임과 분석 대상 프레임의 블러링된 이미지를 비교하여 에지 픽셀에 대한 DBA값을 생성함으로써, 에지 픽셀에 대한 DBA값 및 DFS값을 이용하여 전체 픽셀에 대한 DBA값을 신속하게 생성할 수 있다.
본 발명은 시각 주의도를 0 내지 1의 값을 갖도록 정규화하여, 시청자가 분석 대상 프레임의 특정 픽셀에 집중하는 정도를 용이하게 파악할 수 있는 시각 주의 확률을 산출할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 시각 주의도의 산출 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험의 실험 환경이 기재된 표이다.
도 4는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험에서 V값, DFS값 및 DBA값과 수준 (level) 사이의 관계가 기재된 표이다.
도 5는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험에서 이용되는 데이터 점 (data point) 을 도시한 그래프이다.
도 6은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험을 통해 산출된 시각 주의도의 분산 분석 결과가 기재된 표이다.
도 7은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법에 의해 산출된 시각 주의도를 DFS값 및 DBA값의 변화에 따라 도시한 그래프이다.
도 8은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법에 의해 산출된 시각 주의도를 V값 및 DBA값의 변화에 따라 도시한 그래프이다.
도 9는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법에 의해 산출된 시각 주의도를 V값 및 DFS값의 변화에 따라 도시한 그래프이다.
도 10a 내지 도 10e는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 통해 분석되는 분석 대상 프레임의 좌안 이미지 및 산출된 V값, DFS값, DBA값 및 시각 주의도의 상대적 크기를 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 시각 주의도의 산출 장치의 개략적인 블록도이다. 도 2는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 설명하기 위한 순서도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 시각 주의도의 산출 장치 (100) 는 속도 (velocity; V) 값 생성부 (111), 화면으로부터의 거리 (distance from the screen; DFS) 값 생성부 (112), 비초점 흐림 정도 (defocus blur amount; DBA) 값 생성부 (113) 및 산출부 (120) 를 포함한다. V값 생성부 (111), DFS값 생성부 (112) 및 DBA값 생성부 (113) 는 본 발명의 실시예에 따라 하나의 생성부 (110) 로 통합되어 구현될 수도 있다.
먼저, V값 생성부 (111) 는 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 분석 대상 프레임의 이전 프레임을 비교함으로써 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 V값을 생성한다 (S210).
본 발명의 일 실시예에 따른 시각 주의도의 산출 장치 (100) 에 의해 분석되는 3차원 영상 파일은 복수의 프레임을 포함하며, 복수의 프레임 각각은 좌안 이미지 및 우안 이미지를 포함한다. V값 생성부 (111) 는 복수의 프레임 중 분석하고자 하는 프레임인 분석 대상 프레임과 분석 대상 프레임에 대해 시간적으로 앞에 위치하는 프레임인 이전 프레임을 비교한다.
V값 생성부 (111) 는 분석 대상 프레임의 전체 픽셀 각각의 픽셀값과 이전 프레임의 전체 픽셀 각각의 픽셀값을 비교하여, 동일한 픽셀값을 갖는 분석 대상 프레임의 픽셀과 이전 프레임의 픽셀을 추출한다. 또한, V값 생성부 (111) 는 픽셀값이 정확히 동일하지 않더라도 픽셀값의 차이가, 예를 들어, 1% 이내인 경우에도 동일한 픽셀값으로 인식할 수도 있다. V값 생성부 (111) 는 동일한 픽셀값을 갖는 분석 대상 프레임의 픽셀과 이전 프레임의 픽셀이 미리 설정된 거리 내에 위치된 경우에 양자가 동일한 픽셀 값을 갖는 것으로 인식할 수 있다. 예를 들어, V값 생성부 (111) 는 분석 대상 프레임의 픽셀과 이전 프레임의 픽셀 사이의 거리가 5 픽셀 이내인 경우에만 양자가 동일한 픽셀값을 갖는 것으로 인식할 수도 있다. 분석 대상 프레임의 픽셀과 이전 프레임의 픽셀이 동일한 픽셀값을 갖더라도 양자의 거리가 먼 경우에는 픽셀값이 같을 뿐 분석 대상 프레임의 픽셀이 이전 프레임의 픽셀에 대응하지 않을 확률이 높다. 따라서, V값 생성부 (111) 는 분석 대상 프레임의 픽셀과 이전 프레임의 픽셀을 비교할 때 미리 설정된 거리 내에 위치된 픽셀만을 비교하여 동일한 픽셀값을 갖는 분석 대상 프레임의 픽셀과 이전 프레임의 픽셀을 추출할 수 있다.
V값은 3차원 영상 내에서 픽셀 각각이 이동하는 시간당 변위를 의미한다. 예를 들어, 3차원 영상 파일이 초당 24 프레임을 포함하고 1/24초 동안 영상에 표시된 물체가 1 픽셀만큼 움직인 경우, 물체가 표시된 픽셀의 V값은 24 pixel/sec일 수 있다.
V값 생성부 (111) 는 동일한 픽셀값을 갖는 분석 대상 프레임의 픽셀과 이전 프레임의 픽셀을 추출하여 양자 사이의 거리를 산출하고, 산출된 거리에 초당 프레임의 개수를 곱해줌으로써 V값을 생성할 수 있다. V값 생성부 (111) 는 생성된 V값을 메모리에 저장할 수도 있다.
다음으로, DFS값 생성부 (112) 는 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 전체 픽셀 각각에 대한 DFS값을 생성한다 (S220).
분석 대상 프레임은 3차원 이미지이므로 좌안 이미지 및 우안 이미지를 포함한다. 시청자는 좌안 이미지 및 우안 이미지의 차이에 의해 입체감을 느끼게 된다.
DFS값 생성부 (112) 는 분석 대상 프레임으로부터 좌안 이미지 및 우안 이미지를 추출할 수 있다. DFS값 생성부 (112) 는 좌안 이미지 및 우안 이미지에 기초하여 미리 설정된 가상의 시청자를 기준으로 입체상이 맺히는 지점을 산출할 수 있다. 구체적으로, DFS값 생성부 (112) 는 좌안 이미지의 특정 픽셀과 가상의 시청자의 좌안이 이루는 직선을 산출할 수 있다. DFS값 생성부 (112) 는 좌안 이미지의 특정 픽셀에 대응하는 우안 이미지의 픽셀과 가상의 시청자의 우안이 이루는 직선을 산출할 수 있다. DFS값 생성부 (112) 는 2개의 직선이 교차하는 지점을 산출함으로써 입체상이 맺히는 지점을 산출할 수 있다. DFS값은 상술한 바와 같은 방식으로 산출된 좌안 이미지 및 우안 이미지에 의해 입체상이 맺히는 지점과 화면 사이의 수직 거리, 즉, 심도 (depth) 를 의미한다. DFS값 생성부 (112) 는 입체상이 맺히는 지점과 화면 사이의 거리를 산출하여 DFS값을 생성할 수 있다. DFS값은 입체상이 맺히는 지점이 시청자로부터 화면보다 멀면 음수이고 화면보다 가까우면 양수일 수 있다.
다음으로, DBA값 생성부 (113) 는 분석 대상 프레임과 분석 대상 프레임의 블러링된 (blured) 이미지를 비교함으로써 전체 픽셀 각각에 대한 DBA값을 생성한다 (S230).
블러링된 이미지는 분석 대상 프레임을 블러링 처리함으로써 생성될 수 있다. DBA값 생성부 (113) 은 분석 대상 프레임의 픽셀 각각에 대한 픽셀값을 나타내는 함수에 블러링 처리를 위한 함수를 합성하여 블러링된 이미지를 생성할 수 있다.
DBA값 생성부 (113) 는 분석 대상 프레임과 블러링된 이미지를 비교함으로써 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성할 수 있다. DBA값은 픽셀의 흐림 정도를 나타내는 값을 의미한다. DBA값은 정초점 (in focus) 상태에 있는 픽셀에서는 작고, 탈초점 (out of focus) 상태에 있는 픽셀에서는 클 수 있다.
구체적으로, DBA값 생성부 (113) 는 분석 대상 프레임에 포함된 에지 픽셀 (edge pixel) 의 픽셀값의 그래디언트 (gradient) 인 제1 그래디언트를 산출할 수 있다. 에지 픽셀은 해당 픽셀과 이웃하는 이웃 픽셀들의 픽셀값에 비해 픽셀값이 급격하게 변화하는 픽셀을 의미한다. 예를 들어, 에지 픽셀은 픽셀값의 그래디언트의 크기가 일정 이상인 픽셀로 정의될 수 있다. 에지 픽셀의 픽셀값의 그래디언트는 에지 픽셀과 에지 픽셀에 이웃하는 픽셀 사이의 픽셀값의 변화율을 의미한다. DBA값 생성부 (113) 는 에지 픽셀의 픽셀값, 에지 픽셀에 이웃하는 픽셀의 픽셀값 및 에지 픽셀과 에지 픽셀에 이웃하는 픽셀 사이의 거리에 기초하여 제1 그래디언트를 산출할 수 있다.
DBA값 생성부 (113) 는 분석 대상 프레임과 가우시안 필터를 컨벌루션 (convolution) 연산하여 블러링된 이미지를 생성할 수 있다. 가우시안 필터는 이미지를 블러링 처리하기 위해 사용되는 2차원 가우시안 함수를 의미한다. 가우시안 필터의 특성은 가우시안 필터의 표준편차에 따라 결정된다. 가우시안 필터를 나타내는 예시적인 수학식은 다음과 같다.
[수학식 1]
Figure 112015019972277-pat00003
여기서 G(x,y)는 가우시안 필터, 즉, 2차원 가우시안 함수이고, σ는 가우시안 필터의 표준편차이다.
DBA값 생성부 (113) 는 분석 대상 프레임의 픽셀값을 나타내는 함수와 2차원 가우시안 함수를 컨벌루션 연산함으로써 분석 대상 프레임에 대응하는 블러링된 이미지를 생성할 수 있다. 2차원 가우시안 함수의 표준편차가 클수록 더 흐린 이미지가 생성된다.
DBA값 생성부 (113) 는 블러링된 이미지에 포함된 에지 픽셀에서의 픽셀값의 그래디언트인 제2 그래디언트를 산출할 수 있다. DBA값 생성부 (113) 는 제1 그래디언트를 산출한 것과 동일한 방법을 블러링된 이미지에 적용하여 제2 그래디언트를 산출할 수 있다.
DBA값 생성부 (113) 는 제1 그래디언트의 크기와 제2 그래디언트의 크기의 비율 및 가우시안 필터의 표준편차에 기초하여, 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성할 수 있다. DBA값 생성부 (113) 는 제2 그래디언트의 크기에 대한 제1 그래디언트의 크기가 클수록, 즉, 분석 대상 프레임이 선명할수록 낮은 DBA값을 생성한다. 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성하기 위한 예시적인 수학식은 다음과 같다.
[수학식 2]
Figure 112015019972277-pat00004
여기서, i1(x,y)는 분석 대상 이미지의 에지 픽셀의 좌표에 대한 픽셀값을 나타내는 함수이고, i2(x,y)는 블러링된 이미지의 에지 픽셀의 좌표에 대한 픽셀값을 나타내는 함수이고, σ는 2차원 가우시안 함수의 표준편차이다.
DBA값 생성부 (113) 는 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값 및 DFS값에 기초하여 전체 픽셀 각각에 대한 DBA값을 생성할 수 있다.
구체적으로, DBA값 생성부 (113) 는 DFS값에 기초하여 분석 대상 프레임을 복수의 영역으로 분할할 수 있다. 예를 들어, DBA값 생성부 (113) 는 분석 대상 프레임을 0m 내지 0.2m의 DFS값을 갖는 픽셀들을 포함하는 제1 영역, 0.2m 내지 0.4m의 DFS값을 갖는 픽셀들을 포함하는 제2 영역 및 0.4m 내지 0.6m의 DFS값을 갖는 픽셀들을 포함하는 제3 영역으로 분할할 수 있다.
DBA값 생성부 (113) 는 복수의 영역 각각에 포함된 에지 픽셀에 대한 DBA값의 평균을 각각 산출함으로써 DBA값의 평균이 가장 작은 영역인 기준 영역을 추출할 수 있다. 예를 들어, 분석 대상 프레임이 제1 영역, 제2 영역 및 제3 영역으로 분할된 경우, DBA값 생성부 (113) 는 제1 영역, 제2 영역 및 제3 영역에 포함된 에지 픽셀의 DBA값의 평균을 각각 산출한 후, 제1 영역, 제2 영역 및 제3 영역 중 DBA값의 평균이 가장 낮은 영역을 기준 영역으로 추출할 수 있다. DBA값이 낮은 영역이라는 것은 상대적으로 선명한 영역, 즉, 정초점 상태에 있는 영역이라는 것을 의미한다.
DBA값 생성부 (113) 는 기준 영역의 DBA값의 평균 및 기준 영역의 픽셀과 전체 픽셀 각각 사이의 DFS값 차이에 기초하여 전체 픽셀에 대한 DBA값을 생성할 수 있다. DBA값 생성부 (113) 는, 정초점 상태에 있는 영역인 기준 영역의 픽셀과 DFS값의 차이가 큰 픽셀이 흐림 정도가 크게 나타나므로, 기준 영역에 포함된 에지 픽셀의 DBA값의 평균을 기준으로 기준 영역에 포함된 픽셀들과 DFS값의 차이가 큰 픽셀이 더 큰 DBA값을 갖도록 전체 픽셀에 대한 DBA값을 생성할 수 있다. 예를 들어, 분석 대상 프레임이 제1 영역, 제2 영역 및 제3 영역으로 분할되고 제2 영역이 기준 영역으로 추출된 경우, DBA값 생성부 (113) 는 제2 영역에 포함된 에지 픽셀의 DBA값의 평균을 기준으로 제2 영역의 DFS값의 중간값인 0.3m과 DFS값의 차이가 큰 픽셀이 더 큰 DBA값을 갖도록 전체 픽셀에 대한 DBA값을 생성할 수 있다. 전체 픽셀 각각에 대한 DBA값은 기준 영역에 포함된 에지 픽셀의 DBA값 및 DFS값의 차이를 변수로 하는 미리 저장된 함수에 의해 결정될 수도 있다.
상술한 바와 같이, 전체 픽셀의 DBA값을 직접 산출하지 않고 에지 픽셀의 DBA값을 우선적으로 산출한 후 에지 픽셀의 DBA값 및 에지 픽셀과의 DFS값의 차이를 이용함으로써, 전체 픽셀의 DBA값을 산출하기 위한 시간이 단축될 수 있다.
도 2에는 단계 (S210), 단계 (S220) 및 단계 (S230) 가 순차적으로 수행되는 것으로 도시되었으나, 이에 제한되지 않고, 단계 (S210), 단계 (S220) 및 단계 (S230) 는 동시에 수행될 수도 있고 임의의 순서로 수행될 수도 있다.
몇몇 실시예에 따르면, V값, DFS값 및 DBA값의 단위는 동일한 단위로 변환될 수도 있다. 예를 들어, 생성부 (110) 에 의해 생성된 V값의 단위가 pixel/sec이고, DFS값의 단위가 m이고, DBA값의 단위가 pixel인 경우, V값의 단위는 m/sec로 변환되고, DBA값의 단위는 m로 변환될 수 있다.
다음으로, 산출부 (120) 는 V값, DFS값 및 DBA값에 기초하여 전체 픽셀 각각에 대한 시각 주의도를 산출한다 (S240). 산출부 (120) 는 V값, DFS값 및 DBA값을 변수로 갖는 미리 저장된 함수를 통해 시각 주의도를 산출할 수 있다.
시각 주의도는 V값 및 DFS값이 클수록, DVA값이 작을수록 큰 값을 가질 수 있다. 즉, 3차원 영상에 표시된 물체의 속도가 빠르고, 시청자와의 거리가 가깝고, 선명할수록 그 물체에 대한 시청자의 집중도가 높아진다. 따라서, 산출부 (120) 는 V값 및 DFS값이 클수록 크고 DBA값이 작을수록 큰 값을 갖도록 시각 주의도를 산출할 수 있다.
산출부 (120) 는 V값과 DBA값 사이의 교호작용 (interaction) 을 반영하여 시각 주의도를 산출할 수도 있다. 3차원 영상에 표시된 물체의 속도가 빠른 경우, 시청자가 흐림 정도를 인식하기 어려워지므로, 물체 흐림 정도는 시청자의 집중도에 큰 영향을 미치지 못한다. 반면, 3차원 영상에 표시된 물체의 속도가 느린 경우, 시청자가 흐림 정도를 인식하기 용이해지므로, 물체의 흐림 정도는 시청자의 집중도에 큰 영향을 미친다. 따라서, 산출부 (120) 는 V값이 클수록 DBA값의 영향이 작아지고 V값이 작을수록 DBA값의 영향이 커지도록 V값과 DBA값 사이의 교호작용을 반영하여 시각 주의도를 산출할 수 있다.
V값, DFS값 및 DBA값에 기초하여 시각 주의도를 산출하기 위한 예시적인 수학식은 다음과 같다.
[수학식 3]
Figure 112015019972277-pat00005
여기서, a, b1, b2, c, d, e 및 k는 미리 설정된 상수일 수 있다. 바람직하게는, a는 약 202901.342, b1은 약 -1677.090, b2는 약 0.609, c는 약 -0.003, d는 약 -146448.366, e는 약 10.412 그리고 k는 약 0.080으로 설정될 수 있다. 용어 “약”은 기재된 값을 기준으로 ±10% 까지의 값을 포함하는 것으로 해석될 수 있다.
몇몇 실시예에 따르면, 산출부 (120) 는 시각 주의도를 정규화함으로써 0 내지 1의 값을 갖는 시각 주의 확률 (visual attention probability; VAP) 을 산출할 수도 있다. 산출부 (120) 는, 분석 대상 프레임에 포함된 전체 픽셀 중 특정 픽셀에 대한 시각 주의도의 상대적 크기가 쉽게 파악되도록, 시각 주의도를 정규화할 수 있다. 시각 주의 확률을 산출하기 위한 예시적인 수학식은 다음과 같다.
[수학식 4]
Figure 112015019972277-pat00006
여기서, i는 픽셀의 세로 방향 좌표이고, j는 픽셀의 가로 방향 좌표이고, VAS(i,j)는 좌표가 (i,j)인 픽셀의 시각 주의도이고, VAP(i,j)는 좌표가 (i,j)인 픽셀의 시각 주의 확률이다.
상술한 바와 같이, V값, DFS값 및 DBA값과 같은 3차원 영상 파일로부터 추출될 수 있는 다양한 특성값을 이용하여 시각 주의도를 산출함으로써, 3차원 영상의 픽셀 각각에 대한 사용자의 집중도를 정확히 나타낼 수 있는 시각 주의도가 산출될 수 있다.
도 3은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험의 실험 환경이 기재된 표이다. 도 4는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험에서 V값, DFS값 및 DBA값과 수준 (level) 사이의 관계가 기재된 표이다. 도 5는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험에서 이용되는 데이터 점 (data point) 을 도시한 그래프이다.
본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험은 3차원 영상을 보는데 문제가 없는 30명의 피험자를 대상으로 수행되었다. 피험자의 평균 연령은 23.0세이고 시력 0.6 이상, 양안 시력 차이 0.3 이하이다. 도 3을 참조하면, 실험에 이용된 3차원 영상의 해상도는 1920×1080이고, 초당 프레임 수는 24fps이고, 실험에 이용된 화면의 종횡비는 16:9이고, 화면의 크기는 46inch이고, 화면과 피험자 사이의 거리는 3m이다.
실험은 다음과 같이 진행된다. 피험자에게 두 마리의 물고기가 지나가는 영상을 보여준 후 피험자가 두 마리의 물고기 중 시선이 가는 하나의 물고기를 선택하도록 한다. 영상에 포함된 물고기는 도 5에 도시된 15개의 데이터 점에 대응하는 수준의 V값, DFS값 및 DBA값을 갖는다. 도 4를 참조하면, 예를 들어, (0, 0, 0)의 데이터 점에 대응하는 물고기의 V값은 0.202이고, DFS값은 0이고, DBA값은 0.126이다. 피험자들은 15종류의 물고기 중 2종류의 물고기를 포함하는 105개의 영상을 시청한 후, 2종류의 물고기 중 시선이 집중되는 물고기를 선택한다. 피험자에 의해 15종류의 물고기 각각이 선택된 횟수가 15종류의 물고기 각각에 대응하는 데이터 점에 대한 시각 주의도로서 측정된다. 예를 들어, (0, 0, 0)의 데이터 점에 대응하는 물고기가 선택된 횟수가 10이면 (0, 0, 0)의 데이터 점에 대한 시각 주의도는 10이다.
도 6은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 도출하기 위한 실험을 통해 산출된 시각 주의도의 분산 분석 결과가 기재된 표이다. 도 6을 참조하면, 상술한 실험에 의해 산출된 시각 주의도에 대한 V값, DFS값 및 DBA값의 유의성 (significance) 을 판단하기 위한 분산 분석을 수행한 경우, V값 및 DBA값에 대한 p값은 0.001이하이고 DFS값에 대한 p값은 0.050인 것으로 산출되었다. 즉, 유의 수준 5%를 기준으로 할 때, 시각 주의도에 대한 V값, DFS값 및 DBA값의 유의성이 존재한다는 결과가 도출된다. 또한, 유의 수준 5%를 기준으로 할 때, 시각 주의도에 대한 V값과 DBA값 사이의 교호작용의 유의성이 존재한다는 결과가 도출된다.
상술한 실험 및 분산 분석을 통해, 시각 주의도에 대해 V값, DFS값, DBA값 및 V값과 DBA값 사이의 교호 작용이 통계적으로 유의하다는 것을 확인할 수 있고, V값, DFS값 및 DBA값의 변화에 따른 시각 주의도의 변화를 확인할 수 있으므로, 중심 합성 계획법 및 회귀분석을 통해 V값, DFS값 및 DBA값에 대한 시각 주의도를 나타내는 [수학식 3]이 모델링될 수 있다.
도 7은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법에 의해 산출된 시각 주의도를 DFS값 및 DBA값의 변화에 따라 도시한 그래프이다. 도 7을 참조하면, 시각 주의도는 DFS값이 증가함에 따라 선형적으로 증가한다. 또한, 시각 주의도는 DBA값이 증가함에 따라 포물선 궤적을 그리며 감소한다. 한편, V값이 증가하는 경우, DBA값에 따른 시각 주의도의 변화율이 감소하는 동시에 시각 주의도는 DBA값이 증가함에 따라 선형적으로 감소한다.
도 8은 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법에 의해 산출된 시각 주의도를 V값 및 DBA값의 변화에 따라 도시한 그래프이다. 도 8을 참조하면, 시각 주의도는 DBA값이 증가함에 따라 포물선 궤적을 그리며 감소한다. 또한, 시각 주의도는 V값이 증가함에 따라 쌍곡선 궤적을 그리며 증가한다. 한편, DFS값의 변화는 V값 및 DBA값과 시각주의도 사이의 관계에 영향을 미치지 않는다.
도 9는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법에 의해 산출된 시각 주의도를 V값 및 DFS값의 변화에 따라 도시한 그래프이다. 도 9을 참조하면, 시각 주의도는 V값이 증가함에 따라 쌍곡선 궤적을 그리며 증가한다. 또한, 시각 주의도는 DFS값이 증가함에 따라 선형적으로 증가한다. 한편, DBA값이 증가하는 경우, V값에 따른 시각 주의도의 변화율이 증가한다.
도 10a 내지 도 10e는 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 통해 분석되는 예시적인 분석 대상 프레임의 좌안 이미지 및 분석 대상 프레임의 V값, DFS값, DBA값 및 시각 주의도의 상대적 크기를 도시한다. 도 10b 내지 도 10e에서 V값, DFS값, DBA값 및 시각 주의도가 높은 픽셀은 백색으로 낮은 픽셀은 흑색으로 도시된다.
도 10a를 참조하면, 본 발명의 일 실시예에 따른 시각 주의도의 산출 방법을 통해 분석되는 분석 대상 프레임은 2명의 인물 및 배경을 포함한다. 도 10a에는 분석 대상 프레임의 좌안 이미지만이 도시되었으나, 분석 대상 프레임은 3차원 이미지이다. 도 10a에 도시된 분석 대상 프레임은 좌측 인물과 우측 인물이 대화하는 장면 (scene) 을 구성하는 프레임이다.
도 10b를 참조하면, 분석 대상 프레임은 좌측 인물이 발화하는 장면에 해당하므로, 분석 대상 프레임에 포함된 전체 픽셀 중 발화 중인 좌측 인물의 입술 주변 영역의 V값이 다른 영역의 V값보다 상대적으로 높게 생성된다.
도 10c를 참조하면, 배경보다 앞쪽에 좌측 인물이 위치되고 좌측 인물보다 앞쪽에 우측 인물이 위치되므로, 배경 영역의 DFS값보다 좌측 인물이 표시된 영역의 DFS값이 더 높고, 좌측 인물이 표시된 영역의 DFS값보다 우측 인물이 표시된 영역의 DFS값이 높게 생성된다.
도 10d를 참조하면, 좌측 인물이 표시된 영역이 정초점 상태에 있고 배경 영역 및 우측 인물이 표시된 영역이 탈초점 상태에 있으므로, 좌측 인물이 표시된 영역의 DBA값이 다른 영역의 DBA값보다 상대적으로 낮게 생성된다.
도 10e를 참조하면, V값 및 DFS값이 크고 DBA값이 낮은 영역인 좌측 인물이 표시된 영역의 시각 주의도가 크게 산출되고, 특히, V값이 가장 큰 좌측 인물의 입술 주변 영역의 시각 주의도가 가장 크게 산출된다.
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 시각 주의도의 산출 장치
110 : 생성부
111 : V값 생성부
112 : DFS값 생성부
113 : DBA값 생성부
120 : 산출부

Claims (12)

  1. 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 상기 분석 대상 프레임의 이전 프레임을 비교함으로써 상기 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 속도 (velocity; V) 값을 생성하는 단계;
    상기 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 상기 전체 픽셀 각각에 대한 화면으로부터의 거리 (distance from the screen; DFS) 값을 생성하는 단계;
    상기 분석 대상 프레임과 상기 분석 대상 프레임의 블러링된 (blured) 이미지를 비교함으로써 상기 전체 픽셀 각각에 대한 비초점 흐림 정도 (defocus blur amount; DBA) 값을 생성하는 단계;
    상기 V값, 상기 DFS값 및 상기 DBA값에 기초하여 상기 전체 픽셀 각각에 대한 시각 주의도 (visual attention score; VAS) 를 산출하는 단계를 포함하고,
    상기 DFS값은 상기 좌안 이미지 및 상기 우안 이미지에 의해 입체상이 맺히는 지점과 상기 화면 사이의 수직 거리값이고,
    상기 시각 주의도를 산출하는 단계는,
    상기 V값과 상기 DBA값 사이의 교호작용 (interaction) 을 반영하여 상기 시각 주의도를 산출하는 단계인 것을 특징으로 하는, 시각 주의도의 산출 방법.
  2. 제 1 항에 있어서,
    상기 시각 주의도는 상기 V값 및 상기 DFS값이 클수록 크고 상기 DBA값이 작을수록 큰 것을 특징으로 하는, 시각 주의도의 산출 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 시각 주의도를 산출하는 단계는,
    수학식
    Figure 112016038894946-pat00007

    에 의해 상기 시각 주의도를 산출하는 단계이고,
    상기 a, 상기 b1, 상기 b2, 상기 c, 상기 d, 상기 e 및 상기 k는 미리 설정된 상수인 것을 특징으로 하는, 시각 주의도의 산출 방법.
  5. 제 1 항에 있어서,
    상기 V값, 상기 DFS값 및 상기 DBA값의 단위를 동일한 단위로 변환하는 단계를 더 포함하는 것을 특징으로 하는, 시각 주의도의 산출 방법.
  6. 제 1 항에 있어서,
    상기 DBA값을 생성하는 단계는,
    상기 분석 대상 프레임과 상기 블러링된 이미지를 비교함으로써 상기 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성하는 단계; 및
    상기 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값 및 상기 DFS값에 기초하여 상기 전체 픽셀 각각에 대한 DBA값을 생성하는 단계를 포함하는 것을 특징으로 하는, 시각 주의도의 산출 방법.
  7. 제 6 항에 있어서,
    상기 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성하는 단계는,
    상기 분석 대상 프레임에 포함된 에지 픽셀 (edge pixel) 의 픽셀값의 그래디언트 (gradient) 인 제1 그래디언트를 산출하는 단계;
    상기 분석 대상 프레임과 가우시안 필터를 컨벌루션 (convolution) 연산하여 상기 블러링된 이미지를 생성하는 단계;
    상기 블러링된 이미지에 포함된 에지 픽셀의 픽셀값의 그래디언트인 제2 그래디언트를 산출하는 단계; 및
    상기 제1 그래디언트와 상기 제2 그래디언트의 비율 및 상기 가우시안 필터의 표준편차에 기초하여, 상기 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값을 생성하는 단계를 포함하는 것을 특징으로 하는, 시각 주의도의 산출 방법.
  8. 제 6 항에 있어서,
    상기 분석 대상 프레임에 포함된 에지 픽셀 각각에 대한 DBA값 및 상기 DFS값에 기초하여 상기 전체 픽셀 각각에 대한 DBA값을 생성하는 단계는,
    상기 DFS값에 기초하여 상기 분석 대상 프레임을 복수의 영역으로 분할하는 단계;
    상기 복수의 영역 각각에 포함된 에지 픽셀에 대한 DBA값의 평균을 각각 산출함으로써 상기 DBA값의 평균이 가장 작은 영역인 기준 영역을 추출하는 단계; 및
    상기 기준 영역의 DBA값의 평균 및 상기 기준 영역과 상기 전체 픽셀 각각 사이의 거리에 기초하여 상기 전체 픽셀에 대한 상기 DBA값을 생성하는 단계를 포함하는 것을 특징으로 하는, 시각 주의도의 산출 방법.
  9. 제 1 항에 있어서,
    상기 시각 주의도를 정규화함으로써 0 내지 1의 값을 갖는 시각 주의 확률 (visual attention probability; VAP) 을 산출하는 단계를 더 포함하는 것을 특징으로 하는, 시각 주의도의 산출 방법.
  10. 제 9 항에 있어서,
    상기 시각 주의 확률을 산출하는 단계는,
    수학식
    Figure 112016038894946-pat00008

    에 의해 상기 시각 주의 확률을 산출하는 단계이고,
    여기서 상기 i는 픽셀의 세로 방향 좌표이고, 상기 j는 상기 픽셀의 가로 방향 좌표인 것을 특징으로 하는, 시각 주의도의 산출 방법.
  11. 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 상기 분석 대상 프레임의 이전 프레임을 비교함으로써 상기 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 속도 (velocity; V) 값을 생성하는 V값 생성부;
    상기 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 상기 전체 픽셀 각각에 대한 화면으로부터의 거리 (distance from the screen; DFS) 값을 생성하는 DFS값 생성부;
    상기 분석 대상 프레임과 상기 분석 대상 프레임의 블러링된 이미지를 비교함으로써 상기 전체 픽셀 각각에 대한 비초점 흐림 정도 (defocus blur amount; DBA) 값을 생성하는 DBA값 생성부; 및
    상기 V값, 상기 DFS값 및 상기 DBA값에 기초하여 상기 전체 픽셀 각각에 대한 시각 주의도 (visual attention score; VAS) 를 산출하는 산출부를 포함하고,
    상기 DFS값은 상기 좌안 이미지 및 상기 우안 이미지에 의해 입체상이 맺히는 지점과 상기 화면 사이의 수직 거리값이고,
    상기 산출부는 상기 V값과 상기 DBA값 사이의 교호작용을 반영하여 상기 시각 주의도를 산출하는 것을 특징으로 하는, 시각 주의도의 산출 장치.
  12. 3차원 영상 파일에 포함된 복수의 프레임 중 분석 대상 프레임과 상기 분석 대상 프레임의 이전 프레임을 비교함으로써 상기 분석 대상 프레임에 포함된 전체 픽셀 각각에 대한 속도 (velocity; V) 값을 생성하고,
    상기 분석 대상 프레임의 좌안 이미지 및 우안 이미지를 분석함으로써 상기 전체 픽셀 각각에 대한 화면으로부터의 거리 (distance from the screen; DFS) 값을 생성하고,
    상기 분석 대상 프레임과 상기 분석 대상 프레임의 블러링된 이미지를 비교함으로써 상기 전체 픽셀 각각에 대한 비초점 흐림 정도 (defocus blur amount; DBA) 값을 생성하고,
    상기 V값, 상기 DFS값 및 상기 DBA값에 기초하여 상기 전체 픽셀 각각에 대한 시각 주의도 (visual attention score; VAS) 를 산출하는 명령어들의 세트를 포함하고,
    상기 DFS값은 상기 좌안 이미지 및 상기 우안 이미지에 의해 입체상이 맺히는 지점과 상기 화면 사이의 수직 거리값이고,
    상기 시각 주의도를 산출하는 것은 상기 V값과 상기 DBA값 사이의 교호작용을 반영하여 시각 주의도를 산출하는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
KR1020150028438A 2015-02-27 2015-02-27 시각 주의도의 산출 방법 및 장치 KR101649185B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150028438A KR101649185B1 (ko) 2015-02-27 2015-02-27 시각 주의도의 산출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150028438A KR101649185B1 (ko) 2015-02-27 2015-02-27 시각 주의도의 산출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101649185B1 true KR101649185B1 (ko) 2016-08-18

Family

ID=56874611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150028438A KR101649185B1 (ko) 2015-02-27 2015-02-27 시각 주의도의 산출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101649185B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563513A (zh) * 2020-05-15 2020-08-21 电子科技大学 基于注意力机制的散焦模糊检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130048299A (ko) * 2011-11-01 2013-05-10 삼성전자주식회사 영상 처리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130048299A (ko) * 2011-11-01 2013-05-10 삼성전자주식회사 영상 처리 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563513A (zh) * 2020-05-15 2020-08-21 电子科技大学 基于注意力机制的散焦模糊检测方法
CN111563513B (zh) * 2020-05-15 2022-06-24 电子科技大学 基于注意力机制的散焦模糊检测方法

Similar Documents

Publication Publication Date Title
JP4793451B2 (ja) 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
US9215452B2 (en) Stereoscopic video display apparatus and stereoscopic video display method
EP2274920B1 (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
JP5680994B2 (ja) 画像カット方法および画像カット装置
US9277207B2 (en) Image processing apparatus, image processing method, and program for generating multi-view point image
US9723295B2 (en) Image processing device, image processing method, image processing computer program, and information recording medium whereupon image processing computer program is stored
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
KR101082046B1 (ko) 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
KR102066058B1 (ko) 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치
TWI521941B (zh) Stereoscopic image display device and method
CN110267025B (zh) 虚拟3d显示的渲染方法、装置以及其显示方法、系统
KR20090008808A (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
US9813698B2 (en) Image processing device, image processing method, and electronic apparatus
JP2014507873A (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒｓｔｅｒｅｏｂａｓｅｅｘｔｅｎｓｉｏｎｏｆｓｔｅｒｅｏｓｃｏｐｉｃｉｍａｇｅｓａｎｄｉｍａｇｅｓｅｑｕｅｎｃｅｓ｝
US20180292785A9 (en) Apparatus and method for displaying pseudo-hologram image based on pupil tracking
JP2014035597A (ja) 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法
US9082210B2 (en) Method and apparatus for adjusting image depth
US8970670B2 (en) Method and apparatus for adjusting 3D depth of object and method for detecting 3D depth of object
US20190141314A1 (en) Stereoscopic image display system and method for displaying stereoscopic images
KR101649185B1 (ko) 시각 주의도의 산출 방법 및 장치
JPWO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20130176388A1 (en) Method and device for providing temporally consistent disparity estimations
EP2590417A1 (en) Stereoscopic image display apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant