KR101220223B1 - Method and apparatus for visual discomfort metric of stereoscopic video, recordable medium which program for executing method is recorded - Google Patents
Method and apparatus for visual discomfort metric of stereoscopic video, recordable medium which program for executing method is recorded Download PDFInfo
- Publication number
- KR101220223B1 KR101220223B1 KR1020110016395A KR20110016395A KR101220223B1 KR 101220223 B1 KR101220223 B1 KR 101220223B1 KR 1020110016395 A KR1020110016395 A KR 1020110016395A KR 20110016395 A KR20110016395 A KR 20110016395A KR 101220223 B1 KR101220223 B1 KR 101220223B1
- Authority
- KR
- South Korea
- Prior art keywords
- visual discomfort
- visual
- motion
- shot
- frame
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
3D TV가 시장에서 성공하기 위해서는 이러한 시청 안정성에 대한 우려를 제거해야만 하는데, 이를 위해서는 기본적으로 3D 입체영상 시청 시에 나타나는 시각적 불편감(visual discomfort) 정도를 측정하여, 시청 안정성을 평가하는 기술적인 방법이 필요하다. 이에 본 발명의 실시예에서는, 스테레오스코픽 입체 동영상에서 시각적 불편감을 자동으로 측정하여 정량적인 값으로 나타내는, 특히 스테레오스코픽 콘텐츠 특성 중에 양안 시차의 빠른 시간적/공간적인 변화 정도에 따른 시각적 불편감의 수준을 측정하는 기술을 제공하고자 한다. 또한, 본 발명의 실시예에서는, 입력 동영상에서 샷 경계(shot boundary)를 검출하고, 각 샷 내의 각 프레임 별로 시각적 불편감 정도를 측정하며, 각 프레임 별로 얻어진 불편감 정도 값을 취합하여(pooling) 하나의 정량화된 값으로 해당 샷에 대한 시각적 불편감 정도를 측정할 수 있는 기술을 제공하고자 한다.In order for 3D TV to be successful in the market, it is necessary to remove such concerns about viewing stability. This is basically a technical method of evaluating viewing stability by measuring the degree of visual discomfort seen in viewing 3D stereoscopic images. This is necessary. Therefore, in the exemplary embodiment of the present invention, the visual discomfort in the stereoscopic stereoscopic video is automatically measured and represented as a quantitative value, in particular, the level of visual discomfort according to the rapid temporal / spatial change of binocular disparity among the characteristics of stereoscopic content. To provide a technique for measuring. In addition, in an embodiment of the present invention, a shot boundary is detected in an input video, a visual discomfort level is measured for each frame in each shot, and the discomfort level values obtained for each frame are pooled. It is intended to provide a technique for measuring the degree of visual discomfort for a shot with one quantified value.
Description
본 발명은 스테레오스코픽(stereoscopic) 영상 제공 기술에 관한 것으로, 특히 스테레오스코픽 동영상에 대한 시각적 불편함/피로감(visual discomfort and visual fatigue) 정도를 정량적인 값으로 예측하는데 적합한 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체에 관한 것이다.
The present invention relates to a stereoscopic image providing technology, in particular visual discomfort in a stereoscopic imaging system suitable for quantitatively predicting the degree of visual discomfort and visual fatigue for stereoscopic video An apparatus and method for measuring the sensation, and a recording medium on which a program for executing the method for measuring visual discomfort is recorded.
최근의 3D 입체영화의 성공을 시작으로 곧 3D 방송 시대가 열리게 될 것으로 기대된다. 영상 서비스 제공자들은 3D 입체영상을 통해 시청자에게 보다 실감 있는 시청 경험을 제공할 수 있다.Starting with the recent success of 3D stereoscopic movies, the 3D broadcasting era is expected to open soon. Image service providers may provide viewers with a more realistic viewing experience through 3D stereoscopic images.
이러한 긍정적인 측면과 동시에, 시청 안정성에 대한 이슈가 제기되고 있다. 2D 영상에 대해서도 광과민성 발작(photosensitive epileptic seizures), 영상 멀미(visually-induced motion sickness), 시각 피로(visual fatigue) 등의 경험에 대한 사례가 보고된 바 있다.At the same time, the issue of viewing stability has been raised. There have been cases of experience with photosensitive epileptic seizures, visually-induced motion sickness, and visual fatigue for 2D imaging.
따라서, 진정으로 3D TV가 시장에서 성공하기 위해서는 이러한 시청 안정성에 대한 우려를 제거해야만 하는데, 이를 위해서는 기본적으로 3D 입체영상 시청 시에 나타나는 시각적 불편감(visual discomfort) 정도를 측정하여, 시청 안정성을 평가하는 기술적인 방법이 필요하다.Therefore, in order for a 3D TV to be truly successful in the market, it is necessary to remove such concerns about viewing stability. To this end, the viewing stability is measured by measuring the degree of visual discomfort seen in 3D stereoscopic video. There is a need for a technical method.
이러한 시각적 불편감에는 여러 증상이 보고된 바 있는데, 대체적으로 다음의 증상들로 분류될 수 있다.Several symptoms have been reported for this visual discomfort, and can be generally classified into the following symptoms.
1. 안정피로(eye strain): 눈이 피로한 느낌, 시야가 흐릿함, 눈이 건조함, 눈에 이물질이 들어간 느낌, 눈의 통증, 따끔거림, 눈이 무거운 느낌, 눈이 따뜻해짐, 눈물이 여림 등의 증상.Eye strain: Eye fatigue, blurred vision, dry eyes, foreign objects in the eyes, eye pain, tingling, heavy eyes, warm eyes, tears And other symptoms.
2. 구역(nausea): 구토, 현기증, 메스꺼움 등의 증상.2. Nausea: Symptoms such as vomiting, dizziness, and nausea.
3. 초점장애(focusing difficulty): 물체에 초점 맞추기가 어려움, 상이 두 개로 보임 등의 증상.3. focusing difficulty: Symptoms such as difficulty in focusing on an object or two images.
4. 두통(headache): 관자놀이에 통증을 느낌, 이마에 통증, 뒤통수에 통증 등의 증상.4. Headache: Symptoms of pain in the temples, pain in the forehead, and pain in the back of the head.
5. 전신불쾌감(general discomfort): 머리가 무거운 느낌, 몸이 무거운 느낌, 집중이 어려움, 어깨가 뻐근함, 목이 뻐근함 등의 증상.5. General discomfort: Symptoms of heavy head, heavy body, difficulty concentrating, stiff shoulders, or sore throat.
상술한 바와 같은 시각적 불편감의 원인으로는, 예컨대 과도한 스크린 시차(excessive screen disparity), 시차의 시간적/공간적 빠른 변화(motion characteristics), 스테레오스코픽 영상 왜곡(stereoscopic distortions) 등 여러 가지 요인이 있다.
The causes of visual discomfort as described above include various factors, such as excessive screen disparity, temporal / spatial rapid motion characteristics of the parallax, and stereoscopic distortions.
이에 본 발명의 실시예에서는, 스테레오스코픽 입체 동영상에서 시각적 불편감(visual discomfort)을 자동으로 측정하여 정량적인 값으로 나타내는, 특히 스테레오스코픽 콘텐츠 특성 중에 양안 시차의 빠른 시간적/공간적인 변화 정도에 따른 시각적 불편감의 수준을 측정하는 기술을 제공하고자 한다.Accordingly, in an embodiment of the present invention, visual discomfort in the stereoscopic stereoscopic video is automatically measured and represented as a quantitative value, in particular, visual according to the degree of rapid temporal / spatial change of binocular disparity among the characteristics of stereoscopic content. To provide a technique for measuring the level of discomfort.
또한, 본 발명의 실시예에서는, 입력 동영상에서 샷 경계(shot boundary)를 검출하고, 각 샷 내의 각 프레임 별로 시각적 불편감 정도를 측정하며, 각 프레임 별로 얻어진 불편감 정도 값을 취합하여(pooling) 하나의 정량화된 값으로 해당 샷에 대한 시각적 불편감 정도를 측정할 수 있는 기술을 제공하고자 한다.
In addition, in an embodiment of the present invention, a shot boundary is detected in an input video, a visual discomfort level is measured for each frame in each shot, and the discomfort level values obtained for each frame are pooled. It is intended to provide a technique for measuring the degree of visual discomfort for a shot with one quantified value.
본 발명의 실시예에 따른 시각적 불편감 측정 장치는, 입력되는 스테레오스코픽 비디오를 샷 단위로 분할하여 샷 경계 검출(shot boundary detection)을 수행하는 샷 경계 검출부와, 상기 샷 경계 검출부를 통해 분할된 임의의 샷의 움직임 특징을 프레임 단위별로 추출하는 움직임 특징 추출부와, 상기 움직임 특징 추출부를 통해 추출된 상기 움직임 특징에 따라, 분할된 샷 단위의 각각의 프레임에 대한 시각적 불편감 레벨을 연산하는 시각적 불편감 레벨 연산부와, 상기 시각적 불편감 레벨 연산부를 통해 획득되는 상기 임의의 샷의 각각의 프레임 단위별 시각적 불편감 레벨을 취합하는 시각적 불편감 레벨 취합부를 포함할 수 있다.An apparatus for measuring visual discomfort according to an embodiment of the present invention includes a shot boundary detector for performing shot boundary detection by dividing an input stereoscopic video into shot units, and an arbitrary image divided through the shot boundary detector. A visual discomfort for calculating a visual discomfort level for each frame of the divided shot units according to the motion feature extraction unit for extracting a motion feature of the shot on a frame-by-frame basis and the motion feature extracted through the motion feature extraction unit; And a visual discomfort level collecting unit for collecting the visual discomfort level for each frame unit of the arbitrary shots obtained through the visual discomfort level calculating unit.
여기서, 상기 움직임 특징은, 좌안 시차 및 우안 시차의 시간적/공간적 변화량을 포함할 수 있다.The movement feature may include a temporal / spatial change amount of left eye parallax and right eye parallax.
또한, 상기 시각적 불편감 레벨은, 기 저장된 시각적 불편감 모델을 이용한 상기 움직임 특징 추출부의 움직임 특징에 해당하는 시각적 불편감 정도 값을 포함할 수 있다.The visual discomfort level may include a visual discomfort level value corresponding to a motion feature of the motion feature extractor using a previously stored visual discomfort model.
또한, 상기 움직임 특징 추출부는, 카메라 움직임 추출 수단과, 컨버전스 움직임 추출 수단과, 상기 각각의 프레임에 대한 시각적 주목 움직임 특징을 추출하는 시각적 주목 객체 움직임 추출 수단을 포함할 수 있다.The motion feature extractor may include a camera motion extracting means, a convergence motion extracting means, and a visual attention object motion extracting means for extracting a visual attention motion feature for each frame.
본 발명의 실시예에 따른 시각적 불편감 측정 방법은, 입력되는 스테레오스코픽 비디오를 샷 단위로 분할하여 샷 경계를 검출하는 제 1 과정과, 분할된 샷의 움직임 특징을 프레임 단위별로 추출하는 제 2 과정과, 추출되는 상기 움직임 특징에 따라, 상기 분할된 샷의 각각의 프레임에 대한 시각적 불편감 레벨을 연산하는 제 3 과정과, 상기 분할된 샷 내의 모든 프레임에 대한 시각적 불편감 레벨의 연산이 완료될 때, 완료되는 연산 결과를 상기 분할된 샷의 각각의 프레임 단위별 시각적 불편감 레벨을 취합하는 제 4 과정을 포함할 수 있다.In the visual discomfort measuring method according to an embodiment of the present invention, a first process of detecting the shot boundary by dividing the input stereoscopic video by a shot unit, and a second process of extracting the motion characteristics of the divided shot for each frame unit And a third process of calculating a visual discomfort level for each frame of the divided shot and a calculation of the visual discomfort level for all frames in the divided shot according to the extracted motion feature. In this case, the method may include a fourth process of collecting the visual discomfort level for each frame unit of the divided shots.
여기서, 상기 시각적 불편감 측정 방법은, 상기 분할된 샷 내의 모든 프레임에 대한 시각적 불편감 레벨의 취합이 완료되면, 다음 샷이 존재하는지를 판단하는 과정과, 상기 다음 샷이 존재하면 상기 제 2 과정으로 피드백(feed-back)하는 과정을 더 포함할 수 있다.The visual discomfort measuring method may include determining whether a next shot exists when the collection of visual discomfort levels for all frames in the divided shots is completed, and if the next shot exists, proceeding to the second process. The method may further include a process of feeding back.
또한, 상기 제 2 과정은, 카메라의 움직임 정보를 추출하는 과정과, 상기 카메라에 의해 발생되는 컨버젼스 움직임 정보를 추출하는 과정과, 상기 각각의 프레임에 대한 시각적 주목 움직임 특징을 추출하는 과정을 포함할 수 있다.The second process may include extracting motion information of a camera, extracting convergence motion information generated by the camera, and extracting a visual attention motion feature for each frame. Can be.
또한, 상기 움직임 특징은, 좌안 시차 및 우안 시차의 시간적/공간적 변화량을 포함할 수 있다.The movement feature may include a temporal / spatial change amount of left eye parallax and right eye parallax.
또한, 상기 시각적 주목 움직임 특징을 추출하는 과정은, 현재 프레임의 좌안 영상과 현재 프레임의 우안 영상으로부터 제1 시차 맵을 추정하는 과정과, 다음 프레임의 좌안 영상과 다음 프레임의 우안 영상으로부터 제2 시차 맵을 추정하는 과정과, 상기 현재 프레임의 좌안 영상과 상기 다음 프레임의 좌안 영상으로부터 2D 움직임 벡터를 추정하는 과정과, 추정되는 상기 제1 시차 맵과 제2 시차 맵, 상기 2D 움직임 벡터를 이용하여 깊이 방향 움직임 크기 맵 및 2D 움직임 크기 맵을 추출하는 과정과, 상기 현재 프레임의 좌안 영상으로부터 시각적 관심도 맵을 추정하는 과정과, 상기 시각적 관심도 맵과 상기 깊이 방향 움직임 크기 맵 및 2D 움직임 크기 맵으로부터 시각적 주목 영역의 움직임 특징값을 계산하는 과정을 포함할 수 있다.The extracting of the visual attention motion feature may include estimating a first parallax map from a left eye image of a current frame and a right eye image of a current frame, and a second parallax from a left eye image of a next frame and a right eye image of a next frame. Estimating a map, estimating a 2D motion vector from a left eye image of the current frame and a left eye image of the next frame, using the estimated first parallax map, a second parallax map, and the 2D motion vector Extracting a depth direction motion size map and a 2D motion size map, estimating a visual interest map from a left eye image of the current frame, and visually from the visual interest map, the depth direction motion size map, and a 2D motion size map The method may include calculating a motion feature value of the region of interest.
또한, 상기 제1 시차 맵과 제2 시차 맵은, 스테레오 매칭 기법에 의해 추정되는 것을 특징으로 할 수 있다.In addition, the first parallax map and the second parallax map may be estimated by a stereo matching technique.
또한, 상기 움직임 특징값을 계산하는 과정은, 각 픽셀 위치에서의 움직임 크기를 0에서 1 사이의 값으로 정규화(normalization)된 시각적 관심도 값으로 곱하는 과정과, 모든 픽셀에서의 평균값으로 계산하여 시각적 주목 움직임 특징을 계산하는 과정을 포함할 수 있다.The calculating of the motion feature value may include multiplying the magnitude of motion at each pixel position by a visual interest value normalized to a value between 0 and 1, and calculating the visual attention by calculating an average value at all pixels. The method may include calculating a motion feature.
또한, 상기 움직임 특징값을 계산하는 과정은, 0에서 1 사이의 값을 갖는 시각적 관심도 값에 대해 미리 정한 임계치를 적용하는 과정과, 상기 임계치 이상의 값을 모두 1로 만들어 이진화시키는 과정과, 이진화된 시각적 관심도 맵에서 영역 레이블링(region labeling)을 하여 시각적 주목 영역을 추출하는 과정과, 각 영역 별로 영역 내의 모든 픽셀 위치의 움직임 크기(motion magnitude)값을 평균화 하는 과정과, 추출된 관심 영역 별 움직임 크기들 중에 최대 크기를 갖는 값을 필터링하여 시각적 주목 영역의 움직임 특징값으로 최종 선정하는 과정을 포함할 수 있다.The calculating of the motion feature value may include applying a predetermined threshold value to a visual interest value having a value between 0 and 1, binarizing all values above the threshold value to 1, and binarization. A process of extracting a visual attention region by region labeling in the visual interest map, averaging motion magnitude values of all pixel positions in the region for each region, and a motion size of each extracted region of interest And filtering the value having the maximum size among the final values as the motion feature value of the visual region of interest.
또한, 상기 시각적 불편감 레벨은, 기 저장된 시각적 불편감 모델을 이용한 상기 움직임 특징에 해당하는 시각적 불편감 정도 값을 포함할 수 있다.In addition, the visual discomfort level may include a visual discomfort level value corresponding to the movement feature using a pre-stored visual discomfort model.
또한, 상기 제 4 과정은, 시간적 취합(temporal pooling) 기법에 의해 상기 시각적 불편감 레벨을 취합하는 과정을 포함할 수 있다.In addition, the fourth process may include collecting the visual discomfort level by a temporal pooling technique.
또한, 본 발명의 실시예는, 상기 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체를 포함할 수 있다.
In addition, an embodiment of the present invention may include a recording medium on which a program for executing the visual discomfort measuring method is recorded.
본 발명에 의하면, 스테레오스코픽 입체 동영상에서 시각적 불편감을 자동으로 측정하여 정량적인 값으로 표현, 특히 스테레오스코픽 콘텐츠 특성 중에 양안 시차의 시간적/공간적 빠른 변화 정도에 따른 시각적 불편감의 수준을 측정함으로써, 3D 입체영상의 시청 안정성을 고정밀하게 평가할 수 있는 바, 3D TV 시장의 활성화를 꾀할 수 있다.
According to the present invention, the visual discomfort in stereoscopic stereoscopic video is automatically measured and expressed as a quantitative value, in particular, by measuring the level of visual discomfort according to the temporal / spatial rapid change of binocular disparity among stereoscopic content characteristics, As the viewing stability of stereoscopic images can be accurately evaluated, the 3D TV market can be activated.
도 1은 본 발명의 실시예에 따라 시각적 불편감 측정을 위한 스테레오스코픽 영상 시스템, 예를 들어 3D TV의 적용 예를 도시한 구성 블록도,
도 2는 본 발명의 실시예에 따른 시각적 불편감 측정 장치에 대한 구성 블록도,
도 3은 본 발명의 실시예에 따른 시각적 불편감 측정 방법을 예시적으로 설명하는 전체 흐름도,
도 4는 본 발명의 실시예에 따른 시각적 불편감 측정 방법으로서, 도 3의 움직임 특징 추출 과정의 상세 구성을 예시한 흐름도,
도 5는 본 발명의 실시예에 따라 시각적 불편감 모델을 예시한 지수함수 그래프,
도 6은 본 발명의 실시예에 따른 시각적 불편감 측정 방법으로서, 도 4의 시각적 주목 객체 움직임 추출 과정의 상세 구성을 예시한 흐름도,
도 7은 도 6의 시각적 주목 움직임 특징값 계산 과정의 일 실시 형태를 예시한 도면,
도 8은 도 6의 시각적 주목 움직임 특징값 계산 과정의 다른 실시 형태를 예시한 도면.1 is a block diagram illustrating an application example of a stereoscopic imaging system, for example, a 3D TV, for measuring visual discomfort according to an embodiment of the present invention;
2 is a block diagram illustrating an apparatus for measuring visual discomfort according to an embodiment of the present invention;
3 is an overall flowchart illustrating a visual discomfort measuring method according to an embodiment of the present invention;
4 is a flowchart of a visual discomfort measuring method according to an embodiment of the present invention, illustrating a detailed configuration of a motion feature extraction process of FIG.
5 is an exponential graph illustrating a visual discomfort model according to an embodiment of the present invention;
6 is a flowchart of a visual discomfort measuring method according to an embodiment of the present invention.
FIG. 7 illustrates an embodiment of a visual attention motion feature value calculation process of FIG. 6;
FIG. 8 illustrates another embodiment of the visual attention motion feature value calculation process of FIG. 6. FIG.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving the same will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like numbers refer to like elements throughout.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Each block of the accompanying block diagrams and combinations of steps of the flowchart may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which may be executed by a processor of a computer or other programmable data processing apparatus, And means for performing the functions described in each step are created. These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the functions described in each block or flowchart of each step of the block diagram. Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions that perform processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
Also, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.
본 발명은 스테레오스코픽(stereoscopic) 입체 동영상에서 시각적 불편감을 자동으로 측정하여 정량적인 값으로 표현하기 위한 것으로, 특히 스테레오스코픽 콘텐츠 특성 중에 양안 시차의 시간적/공간적 빠른 변화 정도에 따른 시각적 불편감의 수준을 측정하는 기술을 제시하고자 하며, 이러한 본 발명은 3D TV, 스테레오 분석기(stereo analyzer), 3D 프로세싱 IC 칩, 3D 방송 셋탑박스(set-top box), 안정 시청 가이드라인(guide-line) 등에 활용될 수 있을 것이다.
The present invention is to automatically measure the visual discomfort in stereoscopic stereoscopic video and to express it as a quantitative value. In particular, the level of visual discomfort according to the temporal / spatial rapid change of binocular disparity during stereoscopic content characteristics The present invention is intended to provide a measurement technique, which can be utilized in 3D TVs, stereo analyzers, 3D processing IC chips, 3D broadcast set-top boxes, stable viewing guidelines, and the like. Could be.
이하, 본 발명의 실시예에 대해 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따라 시각적 불편감 측정을 위한 스테레오스코픽 영상 시스템, 예를 들어 3D TV 또는 3D 셋탑박스 등의 적용 예를 도시한 구성 블록도로서, 입력 스테레오스코픽 동영상은 샷(shot) 단위로 분할되며, 분할된 샷 단위 별로 시각적 불편감 정도 값을 측정하게 되는 프레임워크로 구성될 수 있다.1 is a block diagram illustrating an application example of a stereoscopic video system for measuring visual discomfort, for example, a 3D TV or a 3D set-top box, according to an embodiment of the present invention, wherein an input stereoscopic video is a shot. It may be divided into a) unit, it may be composed of a framework for measuring the visual discomfort degree value for each divided shot unit.
도 1에 도시한 바와 같이, 스테레오스코픽 영상 시스템(1)은, 입력되는 스테레오스코픽 비디오를 영상 분석하여 시각적 불편감 레벨을 측정하는 시각적 불편감 측정(visual discomfort metric) 장치(100)와, 시각적 불편감 측정 장치(100)에서 측정되는 시각적 불편감 레벨에 따라 시청 안정성 여부를 판단하여 시청자에게 시청 안정성 경고 메시지를 제공하는 시청 안정성 결정 장치(200) 등을 포함할 수 있다.
As shown in FIG. 1, the
도 2는 본 발명의 실시예에 따른 시각적 불편감 측정 장치, 예컨대 도 1의 스테레오스코픽 영상 시스템(1) 내의 시각적 불편감 측정 장치(100)에 대한 상세 구성도로서, 샷 경계(shot boundary) 검출부(102), 움직임 특징(motion characteristic) 추출부(104), 시각적 불편감 레벨 연산부(106), 시각적 불편감 모델링(modeling)부(108), 시각적 불편감 레벨 취합(pooling)부(110) 등을 포함할 수 있다.FIG. 2 is a detailed configuration diagram of a visual discomfort measuring device according to an embodiment of the present invention, for example, the visual
도 2에 도시한 바와 같이, 샷 경계 검출부(102)는 입력되는 스테레오스코픽 비디오를 샷 단위로 분할하여 샷 경계 검출(shot boundary detection)을 수행하는 역할을 할 수 있다.As shown in FIG. 2, the shot
움직임 특징 추출부(104)는 샷 경계 검출부(102)를 통해 분할된 임의의 샷의 움직임 특징을 프레임 단위별로 추출하는 역할을 할 수 있다. 예를 들어, 제1 샷의 i번째 프레임에 대한 움직임 특징을 추출할 수 있는데, 여기서 움직임 특징이라 함은 양안(좌안/우안) 시차의 시간적/공간적 변화 정도를 의미할 수 있다.The
시각적 불편감 레벨 연산부(106)는 움직임 특징 추출부(104)를 통해 추출된 움직임 특징에 따라, 분할된 샷 단위의 각각의 프레임에 대한 시각적 불편감 레벨을 연산하는 역할을 할 수 있다. 예를 들어, 제1 샷의 i번째 프레임에 대한 시각적 불편감 레벨을 연산할 수 있는데, 여기서 시각적 불편감 레벨은 시각적 불편감 모델링부(108)에 미리 저장된 시각적 불편감 모델을 이용한 움직임 특징 추출부(104)의 움직임 특징, 예컨대 양안 시차 변화 정도에 해당하는 시각적 불편감 정도 값을 의미할 수 있다.The visual
시각적 불편감 모델링부(108)에는 시각적 불편감 모델이 저장될 수 있는데, 이러한 시각적 불편감 모델은 정신물리학적 실험(psychophysical experiment) 등을 통해 생성될 수 있다.The visual
시각적 불편감 레벨 취합부(110)는 시각적 불편감 레벨 연산부(106)를 통해 획득되는 임의의 샷의 각각의 프레임 단위별 시각적 불편감 레벨을 취합하는 역할을 할 수 있다. 예를 들어, 제1 샷에 대한 시각적 불편감 레벨을 취합할 수 있다.
The visual discomfort
이하, 상술한 구성과 함께, 본 발명의 실시예에 따른 시각적 불편감 측정 방법을 첨부한 도 3의 흐름도를 참조하여 상세히 설명하기로 한다.Hereinafter, with reference to the above-described configuration, with reference to the flowchart of Figure 3 attached to the visual discomfort measuring method according to an embodiment of the present invention will be described in detail.
도 3에 도시한 바와 같이, 샷 경계 검출부(102)는 입력되는 스테레오스코픽 비디오를 샷 단위로 분할하여 샷 경계를 검출할 수 있다(S100).As illustrated in FIG. 3, the
움직임 특징 추출부(104)는 샷 경계 검출부(102)를 통해 분할된 임의의 샷의 움직임 특징을 프레임 단위별로 추출할 수 있다(S102). 예를 들어, 제1 샷의 i번째 프레임에 대한 움직임 특징을 추출할 수 있는데, 여기서 움직임 특징이라 함은 양안(좌안/우안) 시차의 시간적/공간적 변화 정도를 의미할 수 있다.The
시각적 불편감 레벨 연산부(106)는 움직임 특징 추출부(104)를 통해 추출된 움직임 특징, 즉 시간적/공간적 변화 정도에 따라, 분할된 샷 단위의 각각의 프레임에 대한 시각적 불편감 레벨을 연산할 수 있다(S104). 예를 들어, 제1 샷의 i번째 프레임에 대한 시각적 불편감 레벨을 연산할 수 있는데, 여기서 시각적 불편감 레벨은 시각적 불편감 모델링부(108)에 미리 저장된 시각적 불편감 모델을 이용한 움직임 특징 추출부(104)의 움직임 특징, 예컨대 양안 시차 변화 정도에 해당하는 시각적 불편감 정도 값을 의미할 수 있다.The visual
이때, 시각적 불편감 레벨 연산부(106)는 제1 샷의 i번째 프레임에 대한 시각적 불편감 레벨을 연산한 후 다음 프레임이 존재하면(S106), i번째 프레임의 다음 프레임(i+1)에 대한 움직임 특징의 시각적 불편감 레벨을 연산하는 과정을 반복 수행할 수 있다(S108).At this time, the visual discomfort
또한, 시각적 불편감 레벨 연산부(106)는 제1 샷 내의 모든 프레임에 대한 시각적 불편감 레벨의 연산이 완료될 때, 해당 연산 결과를 시각적 불편감 레벨 취합부(110)로 제공할 수 있으며, 시각적 불편감 레벨 취합부(110)는 시각적 불편감 레벨 연산부(106)로부터 제공되는 제1 샷의 각각의 프레임 단위별 시각적 불편감 레벨을 취합할 수 있다(S110).In addition, when the calculation of the visual discomfort level for all the frames in the first shot is completed, the visual discomfort
제1 샷 내의 모든 프레임에 대한 시각적 불편감 레벨의 취합이 완료되면, 샷 경계 검출부(102)는 다음 샷, 예를 들어 제2 샷이 존재하는지를 판단하고(S112), 제2 샷이 존재하면 과정(S102)으로 피드백(feed-back)하여 움직임 특징 추출부(104)에 의한 움직임 특징 추출 과정, 시각적 불편감 레벨 연산부(106)에 의한 시각적 불편감 레벨 연산 과정 등을 제2 샷의 첫 번째 프레임부터 반복 수행할 수 있다.When the collection of visual discomfort levels for all frames in the first shot is completed, the
한편, 단계(S112)에서 다음 샷이 존재하지 않을 경우에는 본 과정을 종료할 수 있다.
On the other hand, if there is no next shot in step S112, this process can be terminated.
도 4는 본 발명의 실시예에 따른 시각적 불편감 측정 방법으로서, 도 3의 움직임 특징 추출 과정(S102)의 상세 구성을 예시한 흐름도이다.4 is a flowchart illustrating a detailed configuration of a motion feature extraction process (S102) of FIG. 3 as a visual discomfort measuring method according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 샷 경계 검출부(102)는 입력되는 스테레오스코픽 비디오를 샷 단위로 분할하여 샷 경계를 검출할 수 있다(S200).As shown in FIG. 4, the
이때, 스테레오스코픽 비디오 내에서 시차의 시간적/공간적 변화량은 다음과 같은 변화 요인에 따른 세 가지 정량적 값으로 구분하여 추출할 수 있다.In this case, the amount of temporal / spatial variation of parallax in the stereoscopic video may be divided into three quantitative values according to the following change factors.
첫째, 영상의 전역적인 움직임(global motion)을 갖는 경우를 위해, 카메라 움직임(camera motion) 정보를 추출할 수 있다(S202).First, camera motion information may be extracted for a case of having global motion of an image (S202).
둘째, 스테레오 카메라의 광축(optical axes)이 컨버젼스(convergence)가 가능한 카메라(toe-in camera)에 의해 발생하는 컨버젼스 움직임 정보를 추출할 수 있다(S204).Second, convergence motion information generated by a toe-in camera in which optical axes of the stereo camera are capable of convergence may be extracted (S204).
셋째, 영상 내에서 주변과 대비하여 색상, 밝기, 움직임이 상대적으로 커서 사람이 시각적으로 주목하게(visual saliency) 되는 영역 또는 객체의 움직임(salient object motion) 정보를 포함하는 시각적 주목 객체 움직임, 예컨대 i번째 프레임에 대한 시각적 주목 움직임 특징을 추출할 수 있다(S206).Third, visual attention object movement, including i.e., visual object movement information that includes a relatively large color, brightness, and movement in the image relative to the surroundings, and an object or visual object that is visually saliency, i. The visual attention motion feature of the first frame may be extracted (S206).
이후, 시각적 불편감 레벨 연산부(106)는 상술한 바와 같이 추출된 움직임 정보들에 따른 시각적 불편감 레벨을 시각적 불편감 모델링부(108) 내의 시각적 불편감 모델을 이용하여 연산할 수 있다(S208).Thereafter, the visual discomfort
이와 같은 시각적 주목 객체의 움직임 정보에 따른 시각적 불편감 레벨을 연산하는 방법을 구체적으로 설명하면 다음과 같다.A method of calculating the visual discomfort level according to the motion information of the visual attention object will now be described in detail.
먼저, 샷 내의 각 프레임에서 시각적 주목 영역의 움직임 특징 값을 추출하고, 시각적 불편감 모델에서 해당 특징 값을 가질 때 이에 따른 시각적 불편감이 얼마인지에 대한 정량적 값을 계산할 수 있다.First, a motion feature value of a visual attention region may be extracted from each frame in a shot, and a quantitative value of how much visual discomfort may result when the corresponding feature value is included in the visual discomfort model may be calculated.
시각적 불편감 모델을 만드는 모델링 과정은 다음과 같이 예시될 수 있다.The modeling process for creating a visual discomfort model can be illustrated as follows.
모델링을 위한 방법으로는 실험자가 일정한 자극을 본 후에 시각적 불편감 정도를 주관적으로 판단하여 점수를 매기는 정신물리학(psychophysical) 실험이 주로 사용될 수 있다. 실험 자극들은 3D 그래픽스 툴을 이용하여 3D 모델 객체의 모션을 조절하여 스테레오 영상 프레임으로 만들어 사용하거나, 실제 카메라로 촬영한 자연 영상이 사용될 수 있다. 즉, 시각적 불편감 모델은 인간 시각 인지에 대한 주관적 실험(subjective test) 값으로 구현될 수 있다.As a method for modeling, a psychophysical experiment in which an experimenter subjectively scores visual discomfort after scoring a certain stimulus may be used. Experimental stimuli can be used to create stereo image frames by adjusting the motion of 3D model objects using 3D graphics tools or natural images taken with real cameras. That is, the visual discomfort model may be implemented as a subjective test value for human visual perception.
이와 같은 시각적 불편감 레벨 연산부(106)에 의해 연산되는 시각적 불편감 레벨은 시각적 불편감 레벨 취합부(110)로 제공될 수 있으며, 시각적 불편감 레벨 취합부(110)를 통해 시각적 불편감 레벨이 취합될 수 있다(S210).The visual discomfort level calculated by the visual discomfort
시각적 불편감 레벨을 취합함으로써, 하나의 정량화된 값으로 해당 샷에 대한 시각적 불편감 정도를 측정할 수 있다. 시각적 불편감 레벨을 취합하는 기법으로, 예컨대 시간적 취합(temporal pooling) 기법이 있으며, 이러한 시간적 취합 기법은, 예를 들어 모든 값의 평균을 취하는 방법을 포함하거나, 또는 모든 값을 정렬한 후 중간 값(median)을 최종적으로 선택하는 방법을 포함할 수 있다. 이러한 중간 값을 취하는 방법은 큰 편차를 갖는 소수의 에러에 강인한 장점이 있지만, 본 발명에서는 특정한 하나의 방법으로 한정하지는 않는다.
By combining the visual discomfort levels, one degree of visual discomfort for the shot can be measured. Techniques for collecting the level of visual discomfort include, for example, temporal pooling, which includes, for example, taking the average of all values, or after arranging all values. a method of finally selecting a median. This method of taking intermediate values has the advantage of being robust against a few errors with large deviations, but is not limited to one particular method in the present invention.
도 5는 본 발명의 실시예에 따른 시각적 불편감 모델의 인간 시각 인지에 대한 주관적 실험 값에 대한 개념을 예시적으로 나타낸 그래프이다.5 is a graph illustrating a concept of a subjective experimental value for human visual perception of the visual discomfort model according to an embodiment of the present invention.
도 5의 그래프에서, x축은 깊이 방향 움직임(motion in depth)을 나타내며, 이에 대한 유닛은 스크린 시차의 변화량(variation of screen disparity)을 나타내는 시차 픽셀 값을 의미할 수 있다.In the graph of FIG. 5, the x-axis represents motion in depth, and a unit therefor may refer to a parallax pixel value representing a variation of screen disparity.
그래프의 y축은 사람이 주관적으로 인지하는 시각적 불편감 정도에 대한 평균 점수(mean opinion score)를 나타낸다. 도 5에서는 지수함수(exponential function) 형태의 모델링으로 예시될 수 있다.The y-axis of the graph represents the mean opinion score for the degree of visual discomfort that a subject perceives subjectively. In FIG. 5, the model may be modeled in the form of an exponential function.
본 발명에서 시각적 불편감의 모델은 실제 다양한 방법으로 모델링 될 수 있으며, 모델 함수의 모양 또한 특정 응용에 따라 달라질 수 있으므로, 하나의 실험 값으로 특별히 한정되는 것은 아니다.
In the present invention, the model of visual discomfort may be modeled in various ways in practice, and the shape of the model function may also vary depending on a specific application, and thus is not particularly limited to one experimental value.
도 6은 본 발명의 실시예에 따른 시각적 불편감 측정 방법으로서, 도 4의 시각적 주목 객체 움직임 추출 과정(S206)의 상세 구성을 예시한 흐름도이다.FIG. 6 is a flowchart illustrating a detailed configuration of the visual attention object motion extraction process (S206) of FIG. 4 as a visual discomfort measuring method according to an exemplary embodiment of the present invention.
도 6에 도시한 바와 같이, 입력되는 스테레오스코픽 비디오가 현재 프레임의 좌안 영상(Li)과 우안 영상(Ri), 다음 프레임의 좌안 영상(Li +1)과 우안 영상(Ri +1)들로 가정했을 때, 현재 프레임의 좌안 영상(Li)과 우안 영상(Ri)으로부터 시차 맵(display map)(Di)을 추정하고(S300), 다음 프레임의 좌안 영상(Li +1)과 우안 영상(Ri +1)들로부터 시차 맵(Di+1)을 각각 추정할 수 있다(S302).As shown in FIG. 6, the input stereoscopic video includes the left eye image L i and the right eye image R i of the current frame, the left eye image L i +1 and the right eye image R i +1 of the next frame. ), A disparity map (D i ) is estimated from the left eye image L i and the right eye image R i of the current frame (S300), and the left eye image (L i + of the next frame). 1 ) and the disparity map D i + 1 may be estimated from the right eye images R i +1 , respectively (S302).
여기서, 시차 맵 추정에는, 예를 들어 스테레오 매칭(stereo matching) 기법 등이 적용될 수 있을 것이다.Here, for example, a stereo matching technique may be applied to the disparity map estimation.
또한, 현재 프레임의 좌안 영상(Li)과 다음 프레임의 좌안 영상(Li +1)으로부터 2D 움직임 벡터(motion vector)를 추정할 수 있다(S304).In addition, a 2D motion vector may be estimated from the left eye image L i of the current frame and the left eye image L i +1 of the next frame (S304).
이와 같이 추출된 각각의 시차 맵(Di)(Di+1)과 2D 움직임 벡터를 이용하여 깊이 방향 움직임 크기(depth motion magnitude) 맵과 2D 움직임 크기(2D motion magnitude) 맵을 추출할 수 있다(S306).The depth motion magnitude map and the 2D motion magnitude map may be extracted using the parallax map D i (D i + 1 ) and the 2D motion vector extracted as described above. (S306).
또한, 현재 프레임의 좌안 영상(Li)으로부터 시각적 관심도 맵(visual saliency map)을 추정할 수 있다(S308).In addition, a visual saliency map may be estimated from the left eye image L i of the current frame (S308).
최종적으로, 추출된 각 방향의 움직임 크기 맵과 시각적 관심도 맵으로부터 시각적 주목 영역의 움직임 특징(salient motion feature), 예컨대 프레임i에 대한 시각적 주목 움직임 특징값을 계산할 수 있다(S310).Finally, a salient motion feature of the visual attention region, for example, a visual attention movement feature value for frame i, may be calculated from the extracted motion size map and the visual interest map in each direction (S310).
본 발명의 실시예에 따른 시차 맵과 시각적 관심도 맵 추출을 위해서는 다양한 기법들이 적용될 수 있으며, 이러한 사실은 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다.
Various techniques may be applied for disparity map and visual interest map extraction according to an embodiment of the present invention, which will be easily understood by those of ordinary skill in the art.
도 7은 도 6의 시각적 주목 움직임 특징값 계산 과정(S310)의 일 실시 형태를 예시한 도면이다.FIG. 7 is a diagram illustrating an embodiment of a visual attention motion feature value calculation process S310 of FIG. 6.
도 7의 시각적 주목 움직임 특징값 계산 방법은, 각 픽셀 위치에서의 움직임 크기를 0에서 1 사이의 값으로 정규화(normalization)된 시각적 관심도 값으로 곱한 후, 모든 픽셀에서의 평균값으로 계산하여 시각적 주목 가중된 움직임 크기의 평균값을 계산하는 과정(S400)을 포함할 수 있다.
The visual attention motion feature value calculation method of FIG. 7 multiplies the motion magnitude at each pixel position by the visual interest value normalized to a value between 0 and 1, and then calculates the visual attention weight by calculating the average value at all pixels. Computing an average value of the movement size may be included (S400).
도 8은 도 6의 시각적 주목 움직임 특징값 계산 과정(S310)의 다른 실시 형태를 예시한 도면이다.FIG. 8 is a diagram illustrating another embodiment of the visual attention motion feature value calculation process S310 of FIG. 6.
도 8의 시각적 주목 움직임 특징값 계산 방법은, 0에서 1 사이의 값을 갖는 시각적 관심도 값에 대해 미리 정한 임계치(threshold, 예를 들어 0.5)를 적용하는 과정과(S500), 임계치 이상의 값을 모두 1로 만들어 이진화(binarization)시키는 과정과(S502), 이진화된 시각적 관심도 맵에서 영역 레이블링(region labeling)을 하여 시각적 주목 영역을 추출하는 과정과(S504), 각 영역 별로 영역 내의 모든 픽셀 위치의 움직임 크기(motion magnitude)값을 평균화 하는 과정과(S506), 이렇게 추출된 관심 영역 별 움직임 크기들 중에 최대 크기를 갖는 값을 필터링하여 시각적 주목 영역의 움직임 특징(salient motion feature)값으로 최종 선정하는 과정(S508) 등을 포함할 수 있다.
The visual attention motion feature value calculation method of FIG. 8 may include applying a predetermined threshold (for example, 0.5) to a visual interest value having a value between 0 and 1 (S500), and all values greater than or equal to the threshold value. A process of binarization by making 1 (S502), a process of extracting a visual attention region by region labeling from the binarized visual interest map (S504), and movement of all pixel positions in the region for each region. A process of averaging motion magnitude values (S506) and a process of finally selecting a motion motion value of the visual attention region by filtering a value having a maximum size among the extracted motion sizes for each region of interest. (S508) and the like.
이상 설명한 바와 같은 본 발명의 실시예에 의하면, 스테레오스코픽 입체 동영상에서 시각적 불편감을 자동으로 측정하여 정량적인 값으로 표현, 특히 스테레오스코픽 콘텐츠 특성 중에 양안 시차의 시간적/공간적 빠른 변화 정도에 따른 시각적 불편감의 수준을 측정함으로써, 3D 입체영상의 시청 안정성을 고정밀하게 평가할 수 있게 구현한 것이다.
According to the embodiment of the present invention as described above, the visual discomfort in the stereoscopic stereoscopic video is automatically measured and expressed as a quantitative value, in particular, visual discomfort due to the degree of temporal / spatial rapid change of binocular disparity among the characteristics of stereoscopic content By measuring the level of, the viewing stability of the 3D stereoscopic image can be accurately evaluated.
한편, 상술한 바와 같이 실시예를 제시하고 있는 본 발명의 스테레오스코픽 영상에서 시각적 불편감을 측정하는 기법은, 컴퓨터(또는 휴대용 컴퓨터)로 읽을 수 있는 기록매체에 컴퓨터가 실행할 수 있는 코드들 및 코드 세그먼트들로 구현될 수 있는데, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록매체(또는 정보저장매체)를 포함할 수 있다. 이러한 컴퓨터가 읽을 수 있는 기록매체는, 예컨대 자기 기록매체, 광 기록매체, 캐리어 웨이브 등을 포함할 수 있다.
On the other hand, the technique for measuring visual discomfort in the stereoscopic image of the present invention as described above, the code and code segments that can be executed by the computer on a computer (or portable computer) readable recording medium The computer-readable recording medium may include any kind of recording medium (or information storage medium) in which data that can be read by a computer system is stored. Such computer-readable recording media may include, for example, magnetic recording media, optical recording media, carrier waves, and the like.
100: 시각적 불편감 측정 장치
102: 샷 경계 검출부
104: 움직임 특징 추출부
106: 시각적 불편감 레벨 연산부
108: 시각적 불편감 모델링부
110: 시각적 불편감 레벨 취합부100: visual discomfort measuring device
102: shot boundary detection unit
104: motion feature extraction unit
106: visual discomfort level calculator
108: visual discomfort modeling unit
110: visual discomfort level collector
Claims (15)
상기 샷 경계 검출부를 통해 분할된 임의의 샷의 움직임 특징을 프레임 단위별로 추출하는 움직임 특징 추출부와,
상기 움직임 특징 추출부를 통해 추출된 상기 움직임 특징에 따라, 분할된 샷 단위의 각각의 프레임 별로 시각적 불편감 레벨을 연산하는 시각적 불편감 레벨 연산부와,
상기 시각적 불편감 레벨 연산부를 통해 획득되는 상기 임의의 샷의 각각의 프레임 단위별 시각적 불편감 레벨을 취합하는 시각적 불편감 레벨 취합부를 포함하되,
상기 시각적 불편감 레벨은, 상기 움직임 특징 추출부의 움직임 특징 검출 결과로부터 기 저장된 시각적 불편감 모델을 이용하여 계산된 시각적 불편감 정도 값을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치.
A shot boundary detection unit for dividing the input stereoscopic video into shot units to perform shot boundary detection;
A motion feature extraction unit for extracting a motion feature of an arbitrary shot divided by the shot boundary detector for each frame unit;
A visual discomfort level calculator configured to calculate a visual discomfort level for each frame of the divided shot units according to the motion feature extracted through the motion feature extractor;
It includes a visual discomfort level collecting unit for collecting the visual discomfort level for each frame unit of the arbitrary shot obtained through the visual discomfort level calculation unit,
The visual discomfort level may include a visual discomfort level value calculated using a previously stored visual discomfort model from a motion feature detection result of the motion feature extractor.
Apparatus for measuring visual discomfort in stereoscopic imaging systems.
상기 움직임 특징은, 좌안 시차 및 우안 시차의 시간적 변화량 및 공간적 변화량을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치.
The method of claim 1,
The movement feature may include a temporal change amount and a spatial change amount of left eye parallax and right eye parallax.
Apparatus for measuring visual discomfort in stereoscopic imaging systems.
상기 움직임 특징 추출부는,
카메라 움직임 추출 수단과,
컨버전스 움직임 추출 수단과,
상기 각각의 프레임에 대한 시각적 주목 움직임 특징을 추출하는 시각적 주목 객체 움직임 추출 수단을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치.
The method of claim 1,
The motion feature extractor,
Camera motion extraction means,
Convergence motion extraction means,
Visual attention object motion extraction means for extracting visual attention motion features for each frame;
Apparatus for measuring visual discomfort in stereoscopic imaging systems.
분할된 샷의 움직임 특징을 프레임 단위별로 추출하는 제 2 과정과,
추출되는 상기 움직임 특징에 따라, 상기 분할된 샷의 각각의 프레임에 대한 시각적 불편감 레벨을 연산하는 제 3 과정과,
상기 분할된 샷 내의 모든 프레임 별로 시각적 불편감 레벨의 연산이 완료될 때, 완료되는 연산 결과를 상기 분할된 샷의 각각의 프레임 단위별 시각적 불편감 레벨을 취합하는 제 4 과정과,
상기 분할된 샷 내의 모든 프레임에 대한 시각적 불편감 레벨의 취합이 완료되면, 다음 샷이 존재하는지를 판단하는 제 5 과정과,
상기 다음 샷이 존재하면 상기 제 2 과정으로 피드백(feed-back)하는 제 6 과정을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
A first process of detecting a shot boundary by dividing the input stereoscopic video into shot units;
A second process of extracting a motion characteristic of the divided shot for each frame unit;
A third process of calculating a visual discomfort level for each frame of the divided shot according to the extracted motion feature;
A fourth process of collecting the visual discomfort level for each frame unit of the divided shots when the calculation of the visual discomfort level is completed for every frame in the divided shots;
A fifth process of determining whether a next shot exists when the collection of visual discomfort levels for all frames in the divided shots is completed;
And a sixth process of feeding back to the second process if the next shot exists.
Method of measuring visual discomfort in stereoscopic imaging system.
상기 제 2 과정은,
카메라의 움직임 정보를 추출하는 과정과,
상기 카메라에 의해 발생되는 컨버젼스 움직임 정보를 추출하는 과정과,
상기 각각의 프레임에 대한 시각적 주목 움직임 특징을 추출하는 과정을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 5, wherein
The second process,
Extracting camera motion information,
Extracting convergent motion information generated by the camera;
Extracting visual attention motion features for each frame;
Method of measuring visual discomfort in stereoscopic imaging system.
상기 움직임 특징은, 좌안 시차 및 우안 시차의 시간적 변화량 및 공간적 변화량을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 7, wherein
The movement feature may include a temporal change amount and a spatial change amount of left eye parallax and right eye parallax.
Method of measuring visual discomfort in stereoscopic imaging system.
상기 시각적 주목 움직임 특징을 추출하는 과정은,
현재 프레임의 좌안 영상과 현재 프레임의 우안 영상으로부터 제1 시차 맵을 추정하는 과정과,
다음 프레임의 좌안 영상과 다음 프레임의 우안 영상으로부터 제2 시차 맵을 추정하는 과정과,
상기 현재 프레임의 좌안 영상과 상기 다음 프레임의 좌안 영상으로부터 2D 움직임 벡터를 추정하는 과정과,
추정되는 상기 제1 시차 맵과 제2 시차 맵, 상기 2D 움직임 벡터를 이용하여 깊이 방향 움직임 크기 맵 및 2D 움직임 크기 맵을 추출하는 과정과,
상기 현재 프레임의 좌안 영상으로부터 시각적 관심도 맵을 추정하는 과정과,
상기 시각적 관심도 맵과 상기 깊이 방향 움직임 크기 맵 및 2D 움직임 크기 맵으로부터 시각적 주목 영역의 움직임 특징값을 계산하는 과정을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 7, wherein
The process of extracting the visual attention movement feature,
Estimating a first parallax map from a left eye image of a current frame and a right eye image of a current frame;
Estimating a second parallax map from a left eye image of a next frame and a right eye image of a next frame,
Estimating a 2D motion vector from a left eye image of the current frame and a left eye image of the next frame;
Extracting a depth direction motion magnitude map and a 2D motion magnitude map using the estimated first parallax map, a second parallax map, and the 2D motion vector;
Estimating a visual interest map from the left eye image of the current frame;
Calculating a motion feature value of a visual attention region from the visual interest map, the depth direction motion magnitude map, and the 2D motion magnitude map;
Method of measuring visual discomfort in stereoscopic imaging system.
상기 제1 시차 맵과 제2 시차 맵은, 스테레오 매칭 기법에 의해 추정되는 것을 특징으로 하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 9,
The first parallax map and the second parallax map are estimated by a stereo matching technique.
Method of measuring visual discomfort in stereoscopic imaging system.
상기 움직임 특징값을 계산하는 과정은,
각 픽셀 위치에서의 움직임 크기를 0에서 1 사이의 값으로 정규화(normalization)된 시각적 관심도 값으로 곱하는 과정과,
모든 픽셀에서의 평균값으로 계산하여 시각적 주목 움직임 특징을 계산하는 과정을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 9,
The process of calculating the motion feature value,
Multiplying the magnitude of motion at each pixel position by the visual interest value normalized to a value between 0 and 1,
Calculating visual attention motion features by calculating the mean value at every pixel.
Method of measuring visual discomfort in stereoscopic imaging system.
상기 움직임 특징값을 계산하는 과정은,
0에서 1 사이의 값을 갖는 시각적 관심도 값에 대해 미리 정한 임계치를 적용하는 과정과,
상기 임계치 이상의 값을 모두 1로 만들어 이진화시키는 과정과,
이진화된 시각적 관심도 맵에서 영역 레이블링(region labeling)을 하여 시각적 주목 영역을 추출하는 과정과,
각 영역 별로 영역 내의 모든 픽셀 위치의 움직임 크기(motion magnitude)값을 평균화 하는 과정과,
추출된 관심 영역 별 움직임 크기들 중에 최대 크기를 갖는 값을 필터링하여 시각적 주목 영역의 움직임 특징값으로 최종 선정하는 과정을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 9,
The process of calculating the motion feature value,
Applying a predetermined threshold for visual interest values having a value between 0 and 1,
Binarizing all values above the threshold by 1;
Extracting the visual attention region by region labeling from the binarized visual interest map;
Averaging the motion magnitude values of all pixel positions in the region for each region;
Filtering the value having the maximum size among the extracted motion sizes for each region of interest and finally selecting the motion feature value of the visual attention region;
Method of measuring visual discomfort in stereoscopic imaging system.
상기 시각적 불편감 레벨은, 상기 움직임 특징의 검출 결과로부터 기 저장된 시각적 불편감 모델을 이용하여 계산된 시각적 불편감 정도 값을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 5, wherein
The visual discomfort level includes a visual discomfort degree value calculated using a previously stored visual discomfort model from the detection result of the movement feature.
Method of measuring visual discomfort in stereoscopic imaging system.
상기 제 4 과정은,
시간적 취합(temporal pooling) 기법에 의해 상기 시각적 불편감 레벨을 취합하는 과정을 포함하는
스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 방법.
The method of claim 5, wherein
The fourth process,
Incorporating the visual discomfort level by a temporal pooling technique.
Method of measuring visual discomfort in stereoscopic imaging system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100127046 | 2010-12-13 | ||
| KR20100127046 | 2010-12-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120065915A KR20120065915A (en) | 2012-06-21 |
| KR101220223B1 true KR101220223B1 (en) | 2013-01-09 |
Family
ID=46685485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110016395A KR101220223B1 (en) | 2010-12-13 | 2011-02-24 | Method and apparatus for visual discomfort metric of stereoscopic video, recordable medium which program for executing method is recorded |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101220223B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101521213B1 (en) * | 2014-06-25 | 2015-05-18 | 연세대학교 산학협력단 | Apparatus for correcting stereoscopic image using visual discomfort model and method thereof |
| KR102298652B1 (en) * | 2015-01-27 | 2021-09-06 | 삼성전자주식회사 | Method and apparatus for determining disparty |
| GB2551480A (en) * | 2016-06-08 | 2017-12-27 | Nokia Technologies Oy | An apparatus, method and computer program for obtaining images from an image capturing device |
| KR101936947B1 (en) * | 2017-12-04 | 2019-01-09 | 포항공과대학교 산학협력단 | Method for temporal information encoding of the video segment frame-wise features for video recognition |
| KR102656801B1 (en) | 2018-12-07 | 2024-04-15 | 한국전자통신연구원 | Method for analyzing element of motion sickness for virtual reality content and apparatus using the same |
| KR102320315B1 (en) * | 2019-10-31 | 2021-11-02 | 한국전자기술연구원 | Method and Apparatus of Encoding Tile based on Region of Interest for Tiled Streaming |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355808A (en) | 1998-06-04 | 1999-12-24 | Olympus Optical Co Ltd | Video system |
| JP2009135686A (en) | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus |
-
2011
- 2011-02-24 KR KR1020110016395A patent/KR101220223B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11355808A (en) | 1998-06-04 | 1999-12-24 | Olympus Optical Co Ltd | Video system |
| JP2009135686A (en) | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120065915A (en) | 2012-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101220223B1 (en) | Method and apparatus for visual discomfort metric of stereoscopic video, recordable medium which program for executing method is recorded | |
| US8810564B2 (en) | Apparatus and method for reducing three-dimensional visual fatigue | |
| US20200234397A1 (en) | Automatic view mapping for single-image and multi-view captures | |
| KR101534259B1 (en) | Method of measuring tread abrasion of tire and apparatus thereof | |
| US9007435B2 (en) | Real-time depth-aware image enhancement system | |
| US9530192B2 (en) | Method for determining stereo quality score and automatically improving the quality of stereo images | |
| US9398289B2 (en) | Method and apparatus for converting an overlay area into a 3D image | |
| WO2016176840A1 (en) | Depth/disparity map post-processing method and device | |
| KR101055411B1 (en) | Method and apparatus of generating stereoscopic image | |
| US20200258309A1 (en) | Live in-camera overlays | |
| CN107578403A (en) | The stereo image quality evaluation method of binocular view fusion is instructed based on gradient information | |
| TW201328315A (en) | 2D to 3D video conversion system | |
| KR101720161B1 (en) | Apparatus and Method for generating Depth Map, stereo-scopic image conversion apparatus and method usig that | |
| US9813698B2 (en) | Image processing device, image processing method, and electronic apparatus | |
| CN103096117B (en) | Video noise detection method and device | |
| US9165393B1 (en) | Measuring stereoscopic quality in a three-dimensional computer-generated scene | |
| US20130286010A1 (en) | Method, Apparatus and Computer Program Product for Three-Dimensional Stereo Display | |
| KR101797035B1 (en) | Method for converting overlaying area into 3D image and apparatus thereof | |
| JP2012100116A (en) | Display processing device, display processing method, and program | |
| KR101591402B1 (en) | analysis system and method for response of audience | |
| JP2002245451A (en) | Stereoscopic image evaluating device | |
| KR101356427B1 (en) | Apparatus and method for visualizing visual discomfort of steroscopic image and video | |
| CN104982032B (en) | The method and apparatus of 3D rendering data segmentation | |
| Mahmood et al. | Objective quality assessment of 3D stereoscopic video based on motion vectors and depth map features | |
| KR101850861B1 (en) | 3D Display device and method for providing visual fatigue of 3D contents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160104 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |