KR20130059251A - 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법 - Google Patents
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법 Download PDFInfo
- Publication number
- KR20130059251A KR20130059251A KR1020120037412A KR20120037412A KR20130059251A KR 20130059251 A KR20130059251 A KR 20130059251A KR 1020120037412 A KR1020120037412 A KR 1020120037412A KR 20120037412 A KR20120037412 A KR 20120037412A KR 20130059251 A KR20130059251 A KR 20130059251A
- Authority
- KR
- South Korea
- Prior art keywords
- visual
- image
- feature
- map
- discomfort
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 스테레오스코픽 이미지 및 비디오에 대한 시각적 불편감 또는 시각적 피로 정도를 영상 분석을 통하여 자동으로 평가하고, 한 영상 내에서 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영역인지를 시각화하여 보여줄 수 있는 장치 및 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치는 촬영되는 또는 촬영된 스테레오스코픽 영상에서 시각적 중요 영역 검출하고, 상기 영상의 전체적인 시각적 불편감을 정량적인 점수로 계산하며, 상기 영상의 내의 세부 영역들의 시각적 불편감 정도를 나타내는 시각적 불편감 맵을 생성하여 출력하는 것을 특징으로 한다.
이를 위하여 본 발명의 실시 예에 따른 3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치는 촬영되는 또는 촬영된 스테레오스코픽 영상에서 시각적 중요 영역 검출하고, 상기 영상의 전체적인 시각적 불편감을 정량적인 점수로 계산하며, 상기 영상의 내의 세부 영역들의 시각적 불편감 정도를 나타내는 시각적 불편감 맵을 생성하여 출력하는 것을 특징으로 한다.
Description
본 발명은 스테레오스코픽 3D 이미지 및 비디오에 대한 시각적 불편함/피로감 (visual discomfort and visual fatigue) 정도를 영상을 분석하여 자동으로 정량적인 값으로 예측하고, 영상에서 시각적 피로감을 유발하는 영역을 시각화하여 표시하기 위한 장치 및 방법에 관한 것이다.
최근의 3D 입체 영화의 성공을 시작으로 머지않아 3D 방송 시대가 열리게 될 것으로 기대된다. 영상 서비스제공자들은 3D 입체영상을 통해 시청자에게 보다 실감 있는 시청 경험을 제공할 수 있다. 이러한 긍정적인 측면과 동시에, 시청 안정성에 대한 이슈가 제기 되고 있다. 3D 영상 콘텐츠의 시각적 불편감에는 여러 증상이 보고 된바 있는데, 대체적으로 눈의 피로 (eye strain), 어지러움증 (nausea), 초점 어려움 (focusing difficulty), 두통 (headache), 몸이 뻐근하거나 무거운 느낌 (general discomfort) 등의 증상들로 분류될 수 있다.
이러한 3D 시청에서의 시각적 불편감의 원인으로는 3D 콘텐츠 요인, 시청 환경 요인, 시청자 요인, 디스플레이 요인 등 다양하다. 그 중에서 3D 콘텐츠에 의한 요인으로는 과도한 스크린 시차 (excessive screen disparity), 양안 시차의 시간적/공간적 빠른 변화, 스테레오스코픽 영상 왜곡 (stereoscopic distortions) 등이 있다.
3D 영상 미디어 서비스가 시장에서 성공하기 위해서는 이러한 시청 안정성 이슈에 대한 우려를 반드시 제거해야만 하는데, 이를 위해서는 기본적으로 3D 입체영상에 의해 유발 될 수 있는 시각적 불편감 (Visual discomfort) 정도를 측정하고, 자동으로 평가하는 기술적인 방법이 필요하다. 특히, 이러한 3D 콘텐츠 자동 분석 평가 방법을 활용하여, 스테레오스코픽 3D 영상 생성 시에 시각 피로를 최소화하는 효과적인 방법 및 장치 등이 고안될 필요가 있다.
상술한 바와 같은 필요성에 의해 제안된 것으로서, 본 발명의 목적은 스테레오스코픽 이미지 및 비디오에 대한 시각적 불편감 또는 시각적 피로 정도를 영상 분석을 통하여 자동으로 평가하고, 한 영상 내에서 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영역인지를 시각화하여 보여줄 수 있는 장치 및 방법을 제공하는데 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진자에게 명확하게 이래될 수 있을 것이다.
본 발명의 일 관점에 의하면, 본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치는 촬영되는 또는 촬영된 스테레오스코픽 이미지 또는 영상을 입력받는 입력부와, 상기 입력부를 통해 입력받은 스테레오스코픽 이미지 또는 영상을 분석하여 시각적 불편감을 주는 영역과 그 정도를 추정하여 시각적 불편감 맵을 생성한 후 이를 모니터링부를 통해 디스플레이하는 시각적 불편감 비주얼라이저를 포함할 수 있다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치는 상기 스테레오스코픽 이미지 또는 영상을 촬영하는 적어도 하나 이상의 스테레오 카메라와 상기 스테레오 카메라의 거리를 조절하기 위한 스테레오 리그를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치는 상기 스테레오 리그의 카메라 거리 또는 상기 스테레오 카메라의 수렴 각도 또는 파라미터를 조절하기 위한 스테레오 리그 및 카메라 컨트롤러를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치에서 상기 시각적 불편감 비주얼라이저는, 상기 입력부를 통해 입력받은 영상 또는 이미지의 각 영역별 시각적 관심도를 추정하여 시각적 중요 영역을 검출하는 시각적 중요 영역 검출부와, 상기 검출된 시각적 중요 영역 각각의 시각적 불편감 정도를 기 설정된 척도에 따라 추정한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 맵 생성부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치는 상기 입력받은 영상 또는 이미지의 전체적인 시각적 불편감 정도를 계산할 때 이용되는 기준 정보가 저장된 시각적 불편감 모델을 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치는 상기 시각적 불편감 정도를 기반으로 상기 입력부를 통해 입력받은 영상 또는 이미지에 대한 시각적 편안함 점수를 산출하여 상기 모니터링부에 출력해주는 산출부를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치는 상기 시각적 편안함 점수를 산출할 때 기준이 되는 기준 정보가 저장되어 있는 시각적 불편감 모델을 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치에서 상기 시각적 불편감 비주얼라이저는, 상기 입력부를 통해 입력받은 데이터가 이미지인 경우 상기 이미지에서 시각적 중요 영역을 검출하는 시각적 중요 영역 검출부와, 상기 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하는 주요 특징 추출부와, 상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 대표 특징값을 생성하는 공간적 풀링부와, 상기 대표 특징 값과 시각적 불편감 모델을 이용하여 상기 이미지에 대한 시각적 편안함 점수를 산출하는 산출부와, 상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 상기 시각적 중요 영역 각각의 시각적 불편감 정도를 계산한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 맵 생성부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치에서 상기 시각적 주요 영역 검출부는, 상기 이미지를 기반으로 관심도를 픽셀별로 추정하여 이미지 특징 맵을 생성하는 이미지 특징 추정부와, 상기 이미지를 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 시차 특징 추정부와, 상기 시차 특징 맵과 이미지 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 시각적 관심 맵 생성부와, 상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 영역 검출부를 포함할 수 있다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치에서 상기 시각적 불편감 비주얼라이저는, 상기 입력부를 통해 입력받은 데이터가 영상인 경우 상기 영상을 샷 단위로 분할하는 샷 바운더리 검출부와, 상기 샷 내 프레임에 대한 시각적 중요 영역을 검출하는 시각적 중요 영역 검출부와, 상기 샷의 프레임에 대한 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하고, 상기 영상의 모션 크기 및 왜곡의 통계적 특징을 추출하는 영상 주요 특징 추출부와, 상기 영상 주요 특징 추출부에서 추출된 특징들을 이용하여 상기 샷 내 프레임에 대한 대표 특징값을 생성하는 공간 폴링부와, 상기 대표 특징값과 시각적 불편감 모델을 이용하여 상기 샷에 대한 시각적 편안함 점수를 산출하는 산출부와, 상기 영상 주요 특징 추출부에서 추출된 특징과 상기 시각적 불편감 모델을 이용하여 상기 샷의 시각적 중요 영역 각각의 시각적 불편감 정도를 계산한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 맵 생성부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치에서 상기 시각적 주요 영역 검출부는, 상기 샷 내 프레임을 기반으로 관심도를 픽셀별로 추정하여 프레임 특징 맵을 생성하는 이미지 특징 추정부와, 상기 샷 내 프레임을 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 시차 특징 추정부와, 상기 샷 내 프레임의 모션 정보를 추출하여 모션에 기반하여 관심도를 픽셀별로 추정하여 모션 특징 맵을 생성하는 모션 특징 추정부와, 상기 시차 특징 맵, 이미지 특징 맵 및 모션 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 시각적 관심 맵 생성부와, 상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 영역 검출부를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법은 촬영되는 또는 촬영된 스테레오스코픽 이미지 또는 영상을 입력받는 단계와, 상기 입력받은 스테레오스코픽 이미지 또는 영상을 분석하여 시각적 불편감을 주는 영역과 그 정도를 추정하여 시각적 불편감 맵을 생성하는 단계와, 상기 생성된 시각적 불편감 맵을 디스플레이하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법에서 상기 입력받는 단계는, 적어도 둘 이상의 카메라를 이용하여 촬영된 상기 스테레오스코픽 이미지 또는 영상을 입력받으며, 상기 카메라의 거리 또는 카메라간의 수렴 각도를 조절하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법에서 상기 시각적 불편감 맵을 생성하는 단계는, 상기 입력받은 영상 또는 이미지의 각 영역별 시각적 관심도를 추정하여 시각적 중요 영역을 포함하는 시각적 중요 맵을 생성하는 단계와, 상기 검출된 시각적 중요 영역 각각의 시각적 불편감 정도를 기 설정된 척도에 따라 추정하는 단계와, 상기 추정된 시각적 불편감 정도를 기반으로 상기 시각적 불편감 맵을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법은 상기 시각적 불편감 정도를 정량적인 수치로 평가하여 시각적 편안함 점수를 산출하는 단계와, 상기 산출된 시각적 편안함 점수를 출력하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법에서 상기 시각적 불편감 맵을 생성하는 단계는, 상기 입력받은 데이터가 이미지인 경우 상기 이미지에서 시각적 중요 영역을 검출하는 단계와, 상기 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하는 단계와, 상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 대표 특징값을 생성하는 단계와, 상기 대표 특징 값과 기 저장된 시각적 불편감 모델을 이용하여 상기 이미지에 대한 시각적 편안함 점수를 산출하는 단계와, 상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 상기 시각적 중요 영역 각각의 시각적 불편감 정도를 계산하는 단계와, 상기 시각적 불편감 정도를 기반으로 시각적 불편감 맵을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법에서 상기 시각적 주요 영역을 검출하는 단계는, 상기 이미지를 기반으로 관심도를 픽셀별로 추정하여 이미지 특징 맵을 생성하는 단계와, 상기 이미지를 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 단계와, 상기 시차 특징 맵과 이미지 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 단계와, 상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법에서 상기 시각적 불편감 맵을 생성하는 단계는, 상기 입력부를 통해 입력받은 데이터가 영상인 경우 상기 영상을 샷 단위로 분할하는 단계와, 상기 샷 내 프레임에 대한 시각적 중요 영역을 검출하는 단계와, 상기 샷의 프레임에 대한 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하고, 상기 영상의 모션 크기 및 왜곡의 통계적 특징을 추출하는 단계와, 상기 추출된 특징들을 이용하여 상기 샷 내 프레임에 대한 대표 특징값을 생성하는 단계와, 상기 대표 특징값과 기 저장된 시각적 불편감 모델을 이용하여 상기 샷에 대한 시각적 편안함 점수를 산출하는 단계와, 상기 영상 주요 특징 추출부에서 추출된 특징과 상기 시각적 불편감 모델을 이용하여 상기 샷의 시각적 중요 영역 각각의 시각적 불편감 정도를 계산한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법에서 상기 시각적 주요 영역을 검출하는 단계는, 상기 샷 내 프레임을 기반으로 관심도를 픽셀별로 추정하여 프레임 특징 맵을 생성하는 단계와, 상기 샷 내 프레임을 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 단계와, 상기 샷 내 프레임의 모션 정보를 추출하여 모션에 기반하여 관심도를 픽셀별로 추정하여 모션 특징 맵을 생성하는 단계와, 상기 시차 특징 맵, 이미지 특징 맵 및 모션 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 단계와, 상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 스테레오스코픽 이미지 및 비디오에 대한 시각적 불편감 또는 시각적 피로 정도를 영상 분석을 통하여 자동으로 평가하고, 한 영상 내에서 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영역인지를 시각화하여 보여줌으로써, 시각 피로도를 최소화할 수 있는 3D 영상을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따라 시각적 불편감을 자동 분석하여 평가하고 이를 시각화 하여 나타내는 3D 영상 촬영 시스템 구성도,
도 2는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저(visual discomfort visualizer)를 포함하는 3D 영상 후편집 시스템 구성도,
도 3a는 본 발명의 실시 예에 이용되는 원본 스테레오 이미지 예시도,
도 3b는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저에 의해 생성된 시각적 중요도 맵을 도시한 예시도,
도 3c는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저가 시각적 불편감 맵 생성 시 이용하는 척도 값을 도시한 예시도,
도 3d는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저에 의해 생성된 시각적 불편감 맵을 도시한 예시도,
도 4는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저(visual discomfort visualize)에 대한 기본 블록도를 도시한 도면,
도 5는 입력된 스테레오스코픽 이미지에 대한 시각적 불편감을 평가하여 정량적 수치로 계산하고, 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도시한 도면,
도 6은 입력된 스테레오스코픽 비디오(영상)에 대한 시각적 불편감을 추정하여 정량적 수치로 평가하고, 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도시한 도면,
도 7은 도 4 내지 도 6의 시각적 중요 영역 검출부에 대한 구체적인 실시 방법 예를 도시한 흐름도,
도 8a내지 도 8c은 최종적으로 본 발명의 시각적 불편감을 추정한 후 이를 시각화한 결과를 설명하기 위한 예시도이다.
도 2는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저(visual discomfort visualizer)를 포함하는 3D 영상 후편집 시스템 구성도,
도 3a는 본 발명의 실시 예에 이용되는 원본 스테레오 이미지 예시도,
도 3b는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저에 의해 생성된 시각적 중요도 맵을 도시한 예시도,
도 3c는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저가 시각적 불편감 맵 생성 시 이용하는 척도 값을 도시한 예시도,
도 3d는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저에 의해 생성된 시각적 불편감 맵을 도시한 예시도,
도 4는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저(visual discomfort visualize)에 대한 기본 블록도를 도시한 도면,
도 5는 입력된 스테레오스코픽 이미지에 대한 시각적 불편감을 평가하여 정량적 수치로 계산하고, 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도시한 도면,
도 6은 입력된 스테레오스코픽 비디오(영상)에 대한 시각적 불편감을 추정하여 정량적 수치로 평가하고, 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도시한 도면,
도 7은 도 4 내지 도 6의 시각적 중요 영역 검출부에 대한 구체적인 실시 방법 예를 도시한 흐름도,
도 8a내지 도 8c은 최종적으로 본 발명의 시각적 불편감을 추정한 후 이를 시각화한 결과를 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부된 도면을 참조하여 스테레오스코픽 3D 영상 생성 시에 시각 피로를 최소화하는 할 수 있는 장치 및 방법에 대해 설명한다.
도 1은 본 발명의 실시 예에 따라 시각적 불편감을 자동 분석하여 평가하고 이를 시각화 하여 나타내는 3D 영상 촬영 시스템 구성을 도시한 블록도로서, 시각적 불편감 비주얼라이저(100), 카메라 리그 및 파라미터 컨트롤러(110), 슈팅(120) 및 모니터링부(130) 등을 포함할 수 있다. 여기에서, 슈팅(120)은 스테레오 카메라(122) 및 리그(124)로 구성될 수 있다.
시각적 불편감 비주얼라이저(Visual discomfort visualizer, 100)에서는 촬영되는 또는 촬영된 스테레오스코픽 영상에 대한 시각적 불편감 정도를 영상 분석을 통하여 자동으로 평가하고, 영상의 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영역인지를 판별한 후 이를 모니터링부(130)에 시각화하여 디스플레이해줄 수 있다. 또한, 시각적 불편감 비주얼라이저(100)는 어느 영상의 어느 영역이 시각적 불편감을 유발할 수 있는지 편집자가 알 수 있도록 시각적 불편감을 자동 분석하여 측정하고 이를 시각화하여 모니터링부(130)를 통해 디스플레이해줄 수 있으며, 편집자는 모니터링부(130)를 통해 디스플레이된 정보를 모니터링할 수 있다.
또한, 본 발명의 실시 예에 따른 시스템은 편집툴(미도시됨)을 통해 시각적 불편감이 적은 영상으로 편집할 수 있는 인터페이스를 제공할 수 있다. 이를 위한 시각적 불편감 비주얼라이저(100)에 대한 세부적 구성 및 동작 과정에 대해 도 2를 참조하여 설명한다.
도 2는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저(visual discomfort visualizer)를 포함하는 3D 영상 후편집 시스템 구성도로서, 입력부(200), 시각적 불편감 비주얼라이저(100), 스테레오 이미지 및 비디오 편집부(210) 및 출력부(220) 등을 포함할 수 있다.
입력부(200)는 도 3a에 도시된 바와 같은 원본 스테레오 영상(original stereo image)을 입력받아 시각적 불편감 비주얼라이저(100)에 제공할 수 있는데, 그 예로서 도 1에 도시된 바와 같은 스테레오 카메라(122)로부터 영상을 제공받을 수 있다.
시각적 불편감 비주얼라이저(100)는 도 3a에 도시된 바와 같은 입력 영상을 자동 분석하여 시각적 관심도(human visual attention)를 추정하여 도 3b에 도시된 바와 같은 시각적 중요 맵(visual importance map)을 추출하고, 기 설정된 척도, 예컨대 도 3c에 도시된 척도에 따라 시각적 중요 영역들의 시각적 불편감 정도를 각각 추정하여 도 3d에 도시된 바와 같은 시각적 불편감 맵(visual discomfort map)을 구성하여 시각화할 수 있다. 즉, 시각적 불편감 비주얼라이저(100)는 도 3c에 도시된 척도에 따라 한 영상의 시각적 불편감 정도를 정량적인 수치로 자동 평가한 시각적 편안함 점수(overall visual comfort score)를 모니터링부(130)를 통해 디스플레이할 수 있다.
또한, 시각적 불편감 비주얼라이저(100)는 영상 내의 영역들의 시각적 불편감 정도를 색깔로 구분하여 표시하거나 각 영역의 점수로 나타내는 방식을 사용하여 시각적 불편감 맵을 구성한 후 이를 모니터링부(130)를 통해 디스플레이해줄 수 있다. 예를 들어, 도 3c에 도시된 바와 같이, 1에서부터 5점까지의 시각적 편안함 점수를 척도로 하여 시각적 중요 영역들의 시각적 편안함 점수를 각각 추정한 후 이를 기반으로 시각적 불편감 맵을 구성하여 디스플레이해줌으로써, 시각적 불편감 정보를 시각화할 수 있다. 도 3c에서의 1은 " extremely uncomfortable"를 의미하고, 2는 "uncomfortable"를 의미하고, 3은 "mildly uncomfortable"를 의미하며, 4는 "comfortable"를 의미하며, 5는 "very comfortable"를 의미할 수 있다.
본 발명의 실시 구성에서는 다양한 척도가 사용이 가능하며(예로, 0~100점 척도), 도 3c는 단지 이러한 척도의 한 가지 예를 보인 것이며, 본 발명의 시각화는 이러한 특정 예제에 국한하지 않는다.
스테레오 이미지 및 비디오 편집부(220)는 시각적 불편감 정도에 따라 이를 기반으로 이미지 및 영상을 편집할 수 있는 인터페이스를 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저(visual discomfort visualize)에 대한 기본 블록도를 도시한 도면으로서, 시각적 중요 영역 검출부(visual importance region detection, 400), 입력 영상의 전체적인 시각적 편안함을 정량적인 점수로 계산하는 계산부(computation of overall visual comfort score, 410), 계산된 시각적 편안함 점수를 기반으로 영상의 내의 세부 영역들의 시각적 불편감 정도를 나타내는 시각적 불편감 맵(visual discomfort map)을 생성하는 맵 생성부(420) 및 시각적 불편감 모델(visual discomfort model, 430)로 구성될 수 있다. 여기에서, 시각적 불편감 모델(visual discomfort model, 430)은 입력 영상의 전체적인 시각적 편안함을 정량적인 점수로 계산(computation of overall visual comfort score) 과정과 영상의 내의 세부 영역들의 시각적 불편감 정도를 나타내는 시각적 불편감 맵(visual discomfort map) 생성 과정에서 시각적 불편감 정도를 정량적인 값으로 계산하기 위한 기준 정보를 저장하고 있다.
계산부(410)에서 계산된 시각적 편안함 점수와 맵 생성부(420)에서 생성된 시각적 불편감 맵은, 도 3d에 도시된 바와 같이 구성되어 모니터링부(130)를 통해 디스플레이될 수 있다.
본 발명은 도 4에 도시된 구성을 기본으로 하여 응용에 따라 다양한 형태의 실시 예가 가능하며, 이에 대한 설명은 도 5 내지 도 8을 참조하여 설명한다.
도 5는 입력된 스테레오스코픽 이미지에 대한 시각적 불편감을 평가하여 정량적 수치로 계산하고, 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도시한 도면이다.
도 5에 도시된 바와 같이, 시각적 중요 영역 검출부(400)는 스테레오스코픽 이미지를 입력받아 사용자가 하나의 이미지를 볼 때 시각적으로 관심과 주의 집중을 하는 부분에 해당하는 시각적 중요 영역(visual importance region)들을 검출한 후 이를 주요 특징 추출부(Perceptually significant feature extraction, 500)에 제공할 수 있다.
주요 특징 추출부(500)는 각 시각적 중요 영역들 각각의 영상 특징(feature)들을 추출한다. 이러한 특징의 중요한 예로서 깊이 특징(depth feature) 또는 양안 시차 특징(disparity feature) 등을 들 수 있다. 기본적으로 과도한 양안시차를 갖는 영상 영역은 사람이 양안 시차 융합 (binocular disparity fusion)에 어려움이 있을 뿐 아니라 시각적으로 불편감을 초래한다고 알려져 있다. 양안 시차뿐만 아니라 양안 영상 불일치 등의 다른 콘텐츠 특징들도 추출 될 수 있으며, 본 발명에서는 특징 추출에 있어서 이러한 확장을 포괄한다.
공간적 폴링부(spatial pooling, 510)는 추출된 특징들을 이용해 한 이미지 내의 여러 영역들로부터 추출된 복수개의 특징치들로부터 해당 이미지의 하나의 대표 특징값들을 생성할 수 있다.
계산부(410)는 하나의 대표 특징값들과 시각적 불편감 모델(visual discomfort model, 430)을 이용해 해당 이미지에 대한 시각적 편안함 점수를 계산하며, 계산된 해당 이미지에 대한 시각적 편안함 점수를 출력할 수 있다.
한편, 맵 생성부(420)는 주요 특징 추출부(500)에서 추출된 각 시각적 중요 영역에 대한 특징치들과 시각적 불편감 모델(430)를 이용하여 시각적 중요 영역 각각에 대한 시각적 불편감 정도를 계산한 후 이를 기반으로 시각적 불편감 맵을 생성할 수 있다.
이러한 과정을 통해 하나의 스테레오 이미지로부터 이미지의 시각적 편안함 점수(visual comfort score), 시각적 불편감 맵(visual discomfort map)을 각각 출력한다.
도 6은 입력된 스테레오스코픽 비디오(영상)에 대한 시각적 불편감을 추정하여 정량적 수치로 평가하고, 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도시한 도면이다.
샷 바운더리 검출부(shot boundary detection)(600)는 입력 스테레오 동영상을 샷(shot) 단위로 분할하고, 한 샷 내에서 각 프레임별로 시각적 편안함 점수(visual comfort score)와 시각적 불편감 맵 (visual discomfort map)을 출력하고, 하나의 샷 단위로 전체적인 시각적 불편감 점수를 출력하는 방법이다.
각 프레임별로 시각적 편안함 점수와 시각적 불편감 맵을 출력하는 방법은 도 5에 도시한 이미지에서의 방법을 기본적으로 따르지만, 동영상을 처리함에 있어서, 중요한 특징 정보라 할 수 있는 모션(motion)의 크기 및 왜곡의 통계적 특징을 추출하기 위한 영상 주요 특징 추출부(Perceptually significant feature extraction, 610)를 더 포함할 수 있다. 즉, 영상 주요 특징 추출부(610)는 샷의 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하고, 영상의 모션 크기 및 왜곡의 통계적 특징을 추출할 수 있다.
공간적 폴링부(spatial pooling, 510)는 영상 주요 특징 추출부(610)에서 추출된 특징들을 이용해 샷의 프레임 내의 여러 영역들로부터 추출된 복수개의 특징치들로부터 해당 프레임의 대표 특징값들을 생성할 수 있다.
한 샷의 모든 프레임에 대하여 시각적 편안함 점수와 시각적 불편감 맵을 얻기까지 반복하여 실행하고, 한 샷의 모든 프레임에 대하여 출력 값을 얻었을 때, 프레임별로 얻어진 출력 값들을 합하여 하나의 샷에 대한 시각 피로 점수로 계산하기 위해서 임시 풀링부(Temporal pooling of visual comfort score, 620)를 더 포함할 수 있다.
다시 말해서, 각 프레임별로 시각적 편안함 점수와 시각적 불편감 맵을 생성한 후 하나 샷 내 모든 프레임에 대해 시각적 편안함 점수와 시각적 불편감 맵을 얻었을 때, 임시 풀링부(620)는 프레임별 출력 값들을 연산하여 하나의 샷에 대한 시각 피로 점수를 계산하여 출력할 수 있다.
한편, 도 6에서는 모든 프레임에 대해서 시각적 편안감 점수와 시각적 불편감 맵을 추정하여 출력하였으나, 변형된 실시 예에서는 샷내의 키프레임들만 선별하여 시각적 편안함 점수와 시각적 불편감 맵을 출력하는 것도 또한 가능하다.
도 7은 도 4 내지 도 6의 시각적 중요 영역 검출부(400)에 대한 구체적인 실시 방법 예를 도시한 흐름도이다.
도 7에 도시된 바와 같이, 입력 좌안 영상과 우안 영상으로부터 이미지 기반의 관심도를 픽셀별로 추정하는 이미지 기반 특징 추정(image-based saliency estimation), 모션 정보를 추출하여 모션에 기반하여 관심도를 픽셀별로 추정하는 모션 기반 특징 추정(motion-based saliency estimation), 시차(disparity) 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하는 시차 기반 특징 추정(disparity-based saliency estimation) 등을 포함할 수 있다.
이미지 기반 특징 추정을 통해 이미지 특징 맵(image saliency map)이 생성될 수 있으며, 모션 기반 특징 추정을 통해 모션 특징 맵(motion saliency map)이 생성될 수 있으며, 시차 기반 추정 측정을 통해 시차 특징 맵(disparity saliency map)이 생성될 수 있다. 이렇게 생성된 맵들은 컴비네이션(combination) 과정을 통해 합해지며, 이에 따라 시각적 관심 맵이 생성될 수 있다. 즉, 각각의 방법에 의해 추정된 시각적 관심 맵들을 합하여(combination) 입력 영상에 대한 하나의 시각적 관심 맵(visual importance map)을 계산할 수 있다.
이러한 시각적 관심 맵은 픽셀별로 0부터 1사이의 값을 가지며, 0은 시각적 관심이 가장 적음을 나타내며, 1은 시각적 관심이 가장 높음을 나타낸다. 최종적으로, 시각적 관심 맵을 기준 값(threshold)을 이용하는 방법에 의해 이진화(binarization)하고 영역 라벨링(region labeling)을 통하여 시각적 주요 영역(visual importance region)들을 검출한다.
스테레오 이미지를 입력 받은 경우에는 모션 정보를 추출 할 수 없으므로, 이 경우에는 이미지 기반 특징 추정(image-based saliency estimation)과 시차 기반 특정 추정(disparity-based saliency estimation) 결과들만을 종합하여 시각적 중요 영역들의 검출한다. 본 발명에서는 이러한 추출 방법에 국한을 두지 않는다.
도 8a내지 도 8c은 최종적으로 본 발명의 시각적 불편감을 추정한 후 이를 시각화한 결과를 설명하기 위한 예시도이다.
도 8a는 원본 입력 스테레오 이미지, 도 8b는 시각적 중요 맵(visual importance map), 도 8c는 추출된 시각적 중요 영역(visual importance regions), 도 8d는 시각적 불편감 맵(visual discomfort map)을 나타낸다. 도 8c의 예에서는 두 개의 시각적 중요 영역들이 추출되었고, 도 8d에서는 두 영역에 대해 추정된 시각적 불편감 정도를 도 3c에 의해 해당 점수에 대한 색깔로 구분하여 시각화 (visualization)하여 나타내었다.
이러한 시각 피로의 시각화 출력 정보들을 이용하여, 스테레오 리그 및 카메라 컨트롤러(stereo-rig and camera controller, 110)에서는 시각피로 저감을 위한 스테레오 리그(stereo-rig, 124)의 스테레오 카메라 거리(camera baseline) 또는 두 카메라의 수렴 각도(convergence angle)을 조절하거나, 스테레오 카메라(stereo-camera, 122)의 파라미터를 조절한다.
이러한 조절은 사람에 의해 수동으로 조절 할 수도 있으며, 기계적으로 자동으로 조절 될 수도 있다.
한편, 본 발명을 통해 다양한 시스템 구성이 가능한데, 도 1에서는 비주얼 불편감 비주얼라이저(100)와 스테레오 리그 및 카메라 컨트롤러(110)를 각기 다른 장치에 장착되는 것으로 표현하였으나, 시스템 실시 예에 따라 하나의 장치에 구현되는 것이 가능하다. 경우에 따라서는 스테레오 카메라 내에 칩(chip) 형태로 내재 (embedded)되는 장치로도 구현이 가능하다. 본 발명에서는 이러한 변형된 시스템 구성을 포괄한다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 당업자는 각 구성요소를 적용 분야에 따라 변경하거나, 개시된 실시형태들을 조합 또는 치환하여 본 발명의 실시 예에 명확하게 개시되지 않은 형태로 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것으로 한정적인 것으로 이해해서는 안 되며, 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
100 : 시각적 불편감 비주얼라이저
110 : 카메라 리그 및 파리미터 컨트롤러
120 : 슈팅
130 : 모니터링부
122 : 스테레오 카메라
124 : 리그
200 : 입력부
210 : 스테레오 이미지 및 비디오 편집부
220 : 출력부
110 : 카메라 리그 및 파리미터 컨트롤러
120 : 슈팅
130 : 모니터링부
122 : 스테레오 카메라
124 : 리그
200 : 입력부
210 : 스테레오 이미지 및 비디오 편집부
220 : 출력부
Claims (19)
- 촬영되는 또는 촬영된 스테레오스코픽 이미지 또는 영상을 입력받는 입력부와,
상기 입력부를 통해 입력받은 스테레오스코픽 이미지 또는 영상을 분석하여 시각적 불편감을 주는 영역과 그 정도를 추정하여 시각적 불편감 맵을 생성한 후 이를 모니터링부를 통해 디스플레이하는 시각적 불편감 비주얼라이저를 포함하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 1 항에 있어서,
상기 스테레오스코픽 이미지 또는 영상을 촬영하는 적어도 하나 이상의 스테레오 카메라와 상기 스테레오 카메라의 거리를 조절하기 위한 스테레오 리그를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 2 항에 있어서,
상기 스테레오 리그의 카메라 거리 또는 상기 스테레오 카메라의 수렴 각도 또는 파라미터를 조절하기 위한 스테레오 리그 및 카메라 컨트롤러를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 1 항에 있어서,
상기 시각적 불편감 비주얼라이저는,
상기 입력부를 통해 입력받은 영상 또는 이미지의 각 영역별 시각적 관심도를 추정하여 시각적 중요 영역을 검출하는 시각적 중요 영역 검출부와,
상기 검출된 시각적 중요 영역 각각의 시각적 불편감 정도를 기 설정된 척도에 따라 추정한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 맵 생성부를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 4 항에 있어서,
상기 입력받은 영상 또는 이미지의 전체적인 시각적 불편감 정도를 계산할 때 이용되는 기준 정보가 저장된 시각적 불편감 모델을 더 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 4 항에 있어서,
상기 시각적 불편감 정도를 기반으로 상기 입력부를 통해 입력받은 영상 또는 이미지에 대한 시각적 편안함 점수를 산출하여 상기 모니터링부에 출력해주는 산출부를 더 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 6 항에 있어서,
상기 시각적 편안함 점수를 산출할 때 기준이 되는 기준 정보가 저장되어 있는 시각적 불편감 모델을 더 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 1 항에 있어서,
상기 시각적 불편감 비주얼라이저는,
상기 입력부를 통해 입력받은 데이터가 이미지인 경우 상기 이미지에서 시각적 중요 영역을 검출하는 시각적 중요 영역 검출부와,
상기 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하는 주요 특징 추출부와,
상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 대표 특징값을 생성하는 공간적 풀링부와,
상기 대표 특징 값과 시각적 불편감 모델을 이용하여 상기 이미지에 대한 시각적 편안함 점수를 산출하는 산출부와,
상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 상기 시각적 중요 영역 각각의 시각적 불편감 정도를 계산한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 맵 생성부를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 8 항에 있어서,
상기 시각적 주요 영역 검출부는,
상기 이미지를 기반으로 관심도를 픽셀별로 추정하여 이미지 특징 맵을 생성하는 이미지 특징 추정부와,
상기 이미지를 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 시차 특징 추정부와,
상기 시차 특징 맵과 이미지 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 시각적 관심 맵 생성부와,
상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 영역 검출부를 포함하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 1 항에 있어서,
상기 시각적 불편감 비주얼라이저는,
상기 입력부를 통해 입력받은 데이터가 영상인 경우 상기 영상을 샷 단위로 분할하는 샷 바운더리 검출부와,
상기 샷 내 프레임에 대한 시각적 중요 영역을 검출하는 시각적 중요 영역 검출부와,
상기 샷의 프레임에 대한 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하고, 상기 영상의 모션 크기 및 왜곡의 통계적 특징을 추출하는 영상 주요 특징 추출부와,
상기 영상 주요 특징 추출부에서 추출된 특징들을 이용하여 상기 샷 내 프레임에 대한 대표 특징값을 생성하는 공간 폴링부와,
상기 대표 특징값과 시각적 불편감 모델을 이용하여 상기 샷에 대한 시각적 편안함 점수를 산출하는 산출부와,
상기 영상 주요 특징 추출부에서 추출된 특징과 상기 시각적 불편감 모델을 이용하여 상기 샷의 시각적 중요 영역 각각의 시각적 불편감 정도를 계산한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 맵 생성부를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 제 10 항에 있어서,
상기 시각적 주요 영역 검출부는,
상기 샷 내 프레임을 기반으로 관심도를 픽셀별로 추정하여 프레임 특징 맵을 생성하는 이미지 특징 추정부와,
상기 샷 내 프레임을 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 시차 특징 추정부와,
상기 샷 내 프레임의 모션 정보를 추출하여 모션에 기반하여 관심도를 픽셀별로 추정하여 모션 특징 맵을 생성하는 모션 특징 추정부와,
상기 시차 특징 맵, 이미지 특징 맵 및 모션 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 시각적 관심 맵 생성부와,
상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 영역 검출부를 포함하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치.
- 촬영되는 또는 촬영된 스테레오스코픽 이미지 또는 영상을 입력받는 단계와,
상기 입력받은 스테레오스코픽 이미지 또는 영상을 분석하여 시각적 불편감을 주는 영역과 그 정도를 추정하여 시각적 불편감 맵을 생성하는 단계와,
상기 생성된 시각적 불편감 맵을 디스플레이하는 단계를 포함하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
- 제 12 항에 있어서,
상기 입력받는 단계는, 적어도 둘 이상의 카메라를 이용하여 촬영된 상기 스테레오스코픽 이미지 또는 영상을 입력받으며,
상기 카메라의 거리 또는 카메라간의 수렴 각도를 조절하는 단계를 더 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
- 제 12 항에 있어서,
상기 시각적 불편감 맵을 생성하는 단계는,
상기 입력받은 영상 또는 이미지의 각 영역별 시각적 관심도를 추정하여 시각적 중요 영역을 포함하는 시각적 중요 맵을 생성하는 단계와,
상기 검출된 시각적 중요 영역 각각의 시각적 불편감 정도를 기 설정된 척도에 따라 추정하는 단계와,
상기 추정된 시각적 불편감 정도를 기반으로 상기 시각적 불편감 맵을 생성하는 단계를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
- 제 14 항에 있어서,
상기 방법은,
상기 시각적 불편감 정도를 정량적인 수치로 평가하여 시각적 편안함 점수를 산출하는 단계와,
상기 산출된 시각적 편안함 점수를 출력하는 단계를 더 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
- 제 12 항에 있어서,
상기 시각적 불편감 맵을 생성하는 단계는,
상기 입력받은 데이터가 이미지인 경우 상기 이미지에서 시각적 중요 영역을 검출하는 단계와,
상기 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하는 단계와,
상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 대표 특징값을 생성하는 단계와,
상기 대표 특징 값과 기 저장된 시각적 불편감 모델을 이용하여 상기 이미지에 대한 시각적 편안함 점수를 산출하는 단계와,
상기 시각적 중요 영역 각각에서 추출된 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 이용하여 상기 시각적 중요 영역 각각의 시각적 불편감 정도를 계산하는 단계와,
상기 시각적 불편감 정도를 기반으로 시각적 불편감 맵을 생성하는 단계를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
- 제 16 항에 있어서,
상기 시각적 주요 영역을 검출하는 단계는,
상기 이미지를 기반으로 관심도를 픽셀별로 추정하여 이미지 특징 맵을 생성하는 단계와,
상기 이미지를 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 단계와,
상기 시차 특징 맵과 이미지 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 단계와,
상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 단계를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
- 제 12 항에 있어서,
상기 시각적 불편감 맵을 생성하는 단계는,
상기 입력부를 통해 입력받은 데이터가 영상인 경우 상기 영상을 샷 단위로 분할하는 단계와,
상기 샷 내 프레임에 대한 시각적 중요 영역을 검출하는 단계와,
상기 샷의 프레임에 대한 시각적 중요 영역 각각의 깊이 특징 또는 양안 시차 특징 또는 양안 영상 불일치 정도를 추출하고, 상기 영상의 모션 크기 및 왜곡의 통계적 특징을 추출하는 단계와,
상기 추출된 특징들을 이용하여 상기 샷 내 프레임에 대한 대표 특징값을 생성하는 단계와,
상기 대표 특징값과 기 저장된 시각적 불편감 모델을 이용하여 상기 샷에 대한 시각적 편안함 점수를 산출하는 단계와,
상기 영상 주요 특징 추출부에서 추출된 특징과 상기 시각적 불편감 모델을 이용하여 상기 샷의 시각적 중요 영역 각각의 시각적 불편감 정도를 계산한 후 이를 기반으로 상기 시각적 불편감 맵을 생성하는 단계를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
- 제 18 항에 있어서,
상기 시각적 주요 영역을 검출하는 단계는,
상기 샷 내 프레임을 기반으로 관심도를 픽셀별로 추정하여 프레임 특징 맵을 생성하는 단계와,
상기 샷 내 프레임을 기반으로 시차 정보를 추출하여 시차에 기반한 관심도를 픽셀별로 추정하여 시차 특징 맵을 생성하는 단계와,
상기 샷 내 프레임의 모션 정보를 추출하여 모션에 기반하여 관심도를 픽셀별로 추정하여 모션 특징 맵을 생성하는 단계와,,
상기 시차 특징 맵, 이미지 특징 맵 및 모션 특징 맵을 컴비네이션하여 시각적 관심 맵을 생성하는 단계와,
상기 시각적 관심 맵을 이진화하고 영역 라벨링을 통해 시각적 주요 영역을 검출하는 단계를 포함하는 것을 특징으로 하는
스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110125152 | 2011-11-28 | ||
| KR20110125152 | 2011-11-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130059251A true KR20130059251A (ko) | 2013-06-05 |
| KR101356427B1 KR101356427B1 (ko) | 2014-02-05 |
Family
ID=48535666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120037412A KR101356427B1 (ko) | 2011-11-28 | 2012-04-10 | 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101356427B1 (ko) |
| WO (1) | WO2013081235A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150019351A (ko) * | 2013-08-13 | 2015-02-25 | 삼성전자주식회사 | 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법 |
| KR101676169B1 (ko) * | 2015-05-15 | 2016-11-15 | 가톨릭대학교 산학협력단 | 3d 비디오 콘텐츠 시청시 피로감을 감소시키는 3d 비디오 콘텐츠 변환 방법 |
| KR20190067624A (ko) * | 2017-12-07 | 2019-06-17 | 한국과학기술원 | 시각피로도 기반 워터마킹 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4149037B2 (ja) * | 1998-06-04 | 2008-09-10 | オリンパス株式会社 | 映像システム |
| JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
| KR101095670B1 (ko) * | 2009-07-06 | 2011-12-19 | (주) 비전에스티 | 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치 |
-
2011
- 2011-12-21 WO PCT/KR2011/009932 patent/WO2013081235A1/ko active Application Filing
-
2012
- 2012-04-10 KR KR1020120037412A patent/KR101356427B1/ko not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150019351A (ko) * | 2013-08-13 | 2015-02-25 | 삼성전자주식회사 | 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법 |
| KR101676169B1 (ko) * | 2015-05-15 | 2016-11-15 | 가톨릭대학교 산학협력단 | 3d 비디오 콘텐츠 시청시 피로감을 감소시키는 3d 비디오 콘텐츠 변환 방법 |
| KR20190067624A (ko) * | 2017-12-07 | 2019-06-17 | 한국과학기술원 | 시각피로도 기반 워터마킹 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013081235A1 (ko) | 2013-06-06 |
| KR101356427B1 (ko) | 2014-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8766973B2 (en) | Method and system for processing video images | |
| US9398289B2 (en) | Method and apparatus for converting an overlay area into a 3D image | |
| US8736667B2 (en) | Method and apparatus for processing video images | |
| US9530192B2 (en) | Method for determining stereo quality score and automatically improving the quality of stereo images | |
| US20140009462A1 (en) | Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects | |
| US20100220920A1 (en) | Method, apparatus and system for processing depth-related information | |
| CN107578403A (zh) | 基于梯度信息指导双目视图融合的立体图像质量评价方法 | |
| KR20100087685A (ko) | 깊이 영상의 품질 개선 방법 및 장치 | |
| US20120307023A1 (en) | Disparity distribution estimation for 3d tv | |
| JP7285834B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
| JP6723798B2 (ja) | 情報処理装置、方法、プログラム | |
| KR101220223B1 (ko) | 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체 | |
| KR101720161B1 (ko) | 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법 | |
| US20150279042A1 (en) | Method and apparatus for determining a depth of a target object | |
| KR101356427B1 (ko) | 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법 | |
| Mahmood et al. | Objective quality assessment of 3D stereoscopic video based on motion vectors and depth map features | |
| JPWO2013128765A1 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
| KR101660808B1 (ko) | 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법 | |
| KR101849696B1 (ko) | 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치 | |
| KR101850861B1 (ko) | 3차원 컨텐츠의 시청 피로도를 제공하는 3ｄ 디스플레이 장치 및 그의 피로도 제공 방법 | |
| US8941717B2 (en) | Semi-automatic 3D stereoscopic disparity cursor | |
| WO2020059575A1 (ja) | ３次元画像生成装置、３次元画像生成方法、及びプログラム | |
| Huang et al. | Edge-aware depth completion for point-cloud 3D scene visualization on an RGB-D camera | |
| JP5981460B2 (ja) | 立体シーンにおける焦点面の位置を管理するためのデバイスおよび方法 | |
| Solh et al. | Characterization of image distortions in multi-camera systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161227 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |