WO2013081235A1 - 3d 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 - Google Patents

3d 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 Download PDF

Info

Publication number
WO2013081235A1
WO2013081235A1 PCT/KR2011/009932 KR2011009932W WO2013081235A1 WO 2013081235 A1 WO2013081235 A1 WO 2013081235A1 KR 2011009932 W KR2011009932 W KR 2011009932W WO 2013081235 A1 WO2013081235 A1 WO 2013081235A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual
image
discomfort
visual discomfort
present
Prior art date
Application number
PCT/KR2011/009932
Other languages
English (en)
French (fr)
Inventor
정용주
박현욱
노용만
손호식
이성일
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2013081235A1 publication Critical patent/WO2013081235A1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Definitions

  • the present invention analyzes the degree of visual discomfort and visual fatigue for stereoscopic 3D images and video, automatically predicts quantitative values, and visualizes areas that cause visual fatigue in the image.
  • the present invention relates to a device for displaying.
  • 3D contents include excessive screen disparity, rapid temporal / spatial change of binocular disparity, and stereoscopic distortions.
  • an object of the present invention is to automatically evaluate the degree of visual discomfort or visual fatigue for stereoscopic images and videos through image analysis, and which part of the image is visualized. Cause fatigue This is to provide a way to visualize and show if the problem is a problem area.
  • the device automatically evaluates the visual discomfort or visual fatigue degree for stereoscopic 3D images and video through image analysis, which part within an image It is possible to visualize and display whether this is a problem area that may cause visual fatigue in the space domain and the time domain.
  • the apparatus for visualizing visual fatigue in a 3D stereoscopic image is a visual discomfort score (automatic visual score) that automatically evaluates the visual discomfort of the input image numerically and the degree of visual discomfort of the regions in the image. Or it is characterized by outputting and visualizing a visual discomfort map (marked by indicating the score divided by).
  • the apparatus for visualizing visual fatigue in a 3D stereoscopic image shows a visual discomfort map for every frame when stereo video is input, or constructs a visual discomfort map by evaluating only the main key frames. It is characterized by
  • the apparatus for visualizing visual fatigue in 3D stereoscopic images automatically analyzes input stereo images, detects visual critical regions, extracts visual importance maps, and visual discomfort of visual critical regions. It is characterized by prescribing.
  • the stereo image is based on image-based saliency estimation and binocular disparity based visual interest estimation. (disparity-based saliency estimation) is integrated and detected, and stereo video is characterized by detecting motion-based saliency estimation in addition to two estimations.
  • An apparatus for visualizing visual fatigue in a 3D stereoscopic image automatically extracts binocular disparity and binocular image mismatch information from an input stereo image.
  • statistical information of binocular disparity and binocular image mismatch information are used, and the motion information and the statistical information of the distortion are used together with the video.
  • the apparatus for visualizing visual fatigue in a 3D stereoscopic image includes a visual di scomfort vi sualizer and a camera rig or camera parameter controller for effectively obtaining an image with reduced visual discomfort. Characterized in that it consists of a stereo-rig and camera control ler.
  • the apparatus for visualizing visual fatigue in a 3D stereoscopic image uses a visual discomfort visualizer during a 3D image postprocessing process for effectively generating an image with reduced visual discomfort. It is characterized in that it comprises a function to automatically determine the visual discomfort and visualize it (visual izat ion).
  • the apparatus for visualizing visual fatigue in 3D stereoscopic images has different visual diss- fort visualizers and different camera rigs or stereo-rig and camera controllers. It is characterized by a configuration method mounted on a device, a method of configuring together in one device, or embedded in a chip form in a stereo camera.
  • the present invention automatically evaluates visual discomfort or visual fatigue degree for stereoscopic images and videos through image analysis, and visualizes which part of an image is a problem area that may cause visual fatigue. , There is an effect that can generate a 3D image that can minimize visual fatigue.
  • FIG. 1 is a configuration diagram of a 3D image capturing system for automatically analyzing and evaluating and visualizing visual discomfort according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a 3D image post-editing system including a visual discomfort visual izer according to an embodiment of the present invention
  • 3a and 3b is an exemplary view showing the results analyzed for visual discomfort in the visual discomfort visual izer device
  • FIG. 4 is a basic block diagram of a visual discomfort vi sual izer device according to an embodiment of the present invention.
  • FIG. 5 illustrates a specific embodiment of a method for evaluating visual discomfort for an input stereoscopic image, calculating a quantitative value, and outputting a visual discomfort map.
  • FIG. 6 illustrates a specific embodiment of a method for estimating visual discomfort for an input stereoscopic video, evaluating it by a quantitative value, and outputting a visual discomfort map.
  • FIGS. 4, 5, and 6 are diagrams showing a specific implementation method for the Vi sual importance region detect ion modules of FIGS. 4, 5, and 6;
  • 8A to 8D are examples of inputs and outputs by a method of finally estimating and visualizing visual discomfort of the present invention.
  • Combinations of each block of the accompanying block diagram and each step of the flowchart may be performed by computer program instructions.
  • These computer program instructions may be embedded in the processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, and thus block diagrams of those instructions performed by a processor of a computer or other programmable data processing equipment. It will create means for performing the functions described in each step of each block or flow diagram of the.
  • These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory.
  • Instructions stored in each block or flowchart in the block diagram It is also possible to produce articles of manufacture containing instruction means for performing the functions described in each step.
  • Computer program instructions may also be mounted on a computer or other programmable data processing equipment such that a series of operating steps are performed on the computer or other programmable data processing equipment to create a computer-implemented process or Instructions that perform other programmable data processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
  • each block or step may represent a portion of code, segment or code that includes one or more executable instructions for executing a specified logical function (s).
  • logical function e.g., arithmetic and logic function
  • FIG. 1 is a block diagram illustrating a 3D image capturing system configuration which automatically analyzes, evaluates and visualizes visual discomfort according to an embodiment of the present invention.
  • Visual di scomfort visualizer automatically assesses the degree of visual discomfort for photographed or photographed stereoscopic images through image analysis, and any part of the image may cause visual fatigue. Visualize the perception of the problem area.
  • the camera rig or the camera basel ine of the stereo-rig or the camera basel ine for the reduction of visual fatigue in the camera rig or the camera-controller. Adjust the convergence angle or adjust the stereo—camera parameters.
  • Too . 2 is a block diagram of a 3D image post-editing system including a visual discomfort visualizer described in the present invention.
  • FIGS. 1 and 2 An example in which the visual discomfort visualizer in FIGS. 1 and 2 visualizes the analysis result for the visual discomfort will be described with reference to FIGS. 3A to 3B.
  • FIG. 3A automatically analyzes the original stereo input image, estimates human visual attention, extracts a visual importance map, and measures visual discomfort of the visual critical areas according to the scale of FIG. 3B. These results show the results of the visual discomfort visualize process, which estimates and constructs a visual discomfort map. In addition, the overall visual comfort score, which automatically evaluates the visual discomfort of an image in a quantitative manner, is displayed.
  • visual discomfort maps are constructed and output by using a method of classifying the visual discomfort level of the areas in the image by color or displaying the score of each area. It is possible to make it.
  • FIG. 3B the visual comfort score is shown on a scale from 1 to 5 points. Namely, 1: means extremely uncomfortable, 2: means “uncomfortable”, 3: means “mi Idly uncomfortable”, 4: means “comfortable”, 5: means “very comfortable” .
  • FIG. 3B shows only one example of such scale, and the visualization of the present invention is not limited to this particular example.
  • FIG. 4 is a diagram showing a basic block diagram of a visual discomfort visualize device for generating the above-mentioned results.
  • FIG. 4 shows visual importance region detection and overall visual discomfort of an input image.
  • a visual discomfort map indicating the degree of visual discomfort of the detail areas within the image. It can be composed of a visual discomfort map output and a visual discomfort model '.
  • the visual discomfort model is a visual discomfort that indicates the degree of visual discomfort of the process of calculating the overall visual discomfort of the input image as a quantitative score and the detail areas of the image.
  • the visual discomfort map is used to calculate the amount of visual discomfort in the output process.
  • the present invention may be embodied in various forms according to the purpose of use based on the configuration shown in FIG. 4, and the description thereof will be described with reference to FIGS. 5 to 8.
  • FIG. 5 corresponds to a specific embodiment of a method for evaluating visual discomfort for an input stereoscopic image, calculating a quantitative value, and outputting a visual discomfort map.
  • the input image detects visual importance regions that correspond to the areas of interest, attention and focus visually when a person views an image through "Visual importance region detect ion", and "Perceptually significant.
  • "Feature extraction” module extracts the image features of each of the visually important areas.
  • An important example of this feature is the depth feature or the binocular disparity feature. It is known that an image region with excessive binocular disparity is not only difficult for a person to have binocular disparity fusion, but also causes visual discomfort.
  • the present invention encompasses this extension in feature extraction.
  • FIG. 6 is a view illustrating a method for estimating visual discomfort for an input stereoscopic video, evaluating it as a quantitative value, and outputting a visual discomfort map Suffer
  • the input stereo video is divided into shot units in the "shot boundary detection" mode, and a visual comfort score and a visual discomfort map are output for each frame within a shot.
  • This method outputs the overall visual discomfort score in one shot unit.
  • the visual discomfort score and the visual discomfort map output method for each frame basically follow the method shown in the image shown in FIG. 5, but the motion (mot ion) which is important feature information in processing a video.
  • the statistical features of the magnitude and distortion of are further extracted from the "Perceptually significant feature extraction" block.
  • FIG. 6 estimates and outputs a visual discomfort score and a visual discomfort map for every frame, in the modified embodiment, it is also possible to select and measure only keyframes in a shot and output a visual discomfort map.
  • FIG. 7 is a flowchart illustrating an exemplary embodiment of the visual importance region detection modules of FIGS. 4 to 6.
  • Image-based saliency estimation which estimates image-based interest by pixel, from input left-eye and right-eye images
  • motion-based saliency estimation which extracts motion information and estimates motion-based interest by pixel. disparity
  • displacement-based saliency estimation for estimating the disparity based interest for each pixel.
  • the visual interest maps estimated by each method are summed ("combination") to calculate one visual interest map for the input image.
  • This visual interest map has a value between 0 and 1 for each pixel, 0 indicates the least visual interest, and 1 indicates the highest visual interest.
  • the visual interest maps are binarized by using a threshold and the visual importance regions are detected through region labeling.
  • FIG. 8A to 8C finally illustrate examples of inputs and outputs by a method of estimating and visualizing visual discomfort of the present invention.
  • 8A shows the original input stereo image
  • FIG. 8 (b) shows the visual importance map
  • FIG. 8 (c) shows the extracted visual importance regions
  • FIG. 8B shows the visual discomfort map ( v i sua l discomfort map).
  • FIG. 8C two visual important regions are extracted
  • FIG. 8D the visual discomfort level estimated for the two regions is visualized by classifying the color for the corresponding score by FIG. 3B.
  • the present invention is variously applied to a stereoscopic video analyzer, a 3D processing IC chip, a 3D camera, a 3D camcorder, a stereo video editing tool, a 3D broadcasting set-top box, and a 3DTV, thereby minimizing visual fatigue when generating a 3D image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 스테레오스코픽 이미지 및 비디오에 대한 시각적 불편감 또는 시각적 피로 정도를 영상 분석을 통하여 자동으로 평가하고, 한 영상 내에서 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영역인지를 시각화하여 보여줄 수 있는 장치에 관한 것이다. 이를 위하여 본 발명의 실시 예에 따른 3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치는 촬영되는 또는 촬영된 스테레오스코픽 영상에서 시각적 중요 영역 검출하고, 상기 영상의 전체적인 시각적 불편감을 정량적인 점수로 계산하며, 상기 영상의 내의 세부 영역들의 시각적 불편감 정도를 나타내는 시각적 불편감 맵을 생성하여 출력하는 것을 특징으로 한다.

Description

【명세서】
【발명의 명칭】
3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치
【기술분야】
본 발명은 스테레오스코픽 3D 이미지 및 비디오에 대한 시각적 불편함 /피로 감 (visual discomfort and visual fatigue) 정도를 영상을 분석하여 자동으로 정 량적인 값으로 예측하고， 영상에서 시각적 피로감을 유발하는 영역을 시각화하여 표시하기 위한 장치에 관한 것이다.
【배경기술】
최근의 3D 입체 영화의 성공을 시작으로 머지않아 3D방송 시대가 열리게 될 것으로 기대된다. 영상 서비스제공자들은 3D 입체영상을 통해 시청자에게 보다 실 감 있는 시청 경험을 제공할 수 있다. 이러한 긍정적인 측면과 동시에, 시청 안정 성에 대한 이슈가 제기 되고 있다. 3D 영상 콘텐츠의 시각적 불편감에는 여러 증 상이 보고 된바 있는데, 대체적으로 눈의 피로 (eye strain), 어지러움증 (nausea) , 초점 어려움 (focusing difficulty), 두통 (headache), 몸이 뻐근하거나 무거운 느¾ (general discomfort) 등의 증상들로 분류될 수 있다.
이러한 3D시청에서의 시각적 불편감의 원인으로는 3D콘텐츠 요인， 시청 환 경 요인， 시청자 요인， 디스플레이 요인 등 다양하다. 그 중에서 3D콘텐츠에 의한 요인으로는 과도한 스크린 시차 (excessive screen disparity), 양안 시차의 시간 적 /공간적 빠른 변화, 스테레오스코픽 영상 왜곡 (stereoscopic distortions) 등이 있다.
3D 영상 미디어 서비스가 시장에서 성공하기 위해서는 이러한 시청 안정성 이슈에 대한 우려를 반드시 제거해야만 하는데， 이를 위해서는 기본적으로 3D 입체 영상에 의해 유발 될 수 있는 시각적 불편감 (Visual discomfort) 정도를 측정하 고, 자동으로 평가하는 기술적인 방법이 필요하다. 특히, 이러한 3D 콘텐츠 자동 분석 평가 방법을 활용하여 , 스테레오스코픽 3D 영상 생성 시에 시각 피로를 최소 화하는 효과적인 방법 및 장치 등이 고안될 필요가 있다.
【발명의 상세한설명】
【기술적 과제】
상술한 바와 같은 필요성에 의해 제안된 것으로서, 본 발명의 목적은 스테레 오스코픽 이미지 및 비디오에 대한 시각적 불편감 또는 시각적 피로 정도를 영상 분석을 통하여 자동으로 평가하고， 한 영상 내에서 어느 부분이 시각 피로를 일으 킬 수 있는 문제의 영역인지를 시각화하여 보여줄 수 있는 방법을 제공하는데 있 다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않 은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진자에 게 명확하게 이래될 수 있을 것이다.
【기술적 해결방법】
본 발명의 일 관점에 의하면, 본 발명의 실시 예에 따른 장치는 스테레오스 코픽 3D 이미지 및 비디오에 대한 시각적 불편감 또는 시각적 피로 정도를 영상 분 석을 통하여 자동으로 평가하고, 한 영상 내에서 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영역인지를 공간 영역 및 시간영역에서 시각화하여 디스플레이해 줄 수 있다.
본 발명에 따른 3D스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 는 입력 영상의 시각적 불편감 정도를 수치로 자동 평가한 시각적 불편감 점수 (overall visual comfort score)와 영상 내의 영역들의 시각적 불편감 정도를 색깔 또는 점수로 구분하여 표시여 나타낸 시각적 불편감 맵 (visual discomfort map)을 출력하여 시각화하는 것을 특징으로 한다.
본 발명에 따른 3D스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 는 스테레오 비디오가 입력된 경우는 매 프페임에 대해 시각적 불편감 맵을 보여주 거나 주요 키 프레임만을 평가하여 시각적 불편감 맵을 구성하여 보여주는 것을 특 징으로 한다 ·
본 발명에 따른 3D스테레오스코픽 영상에서 시각 피로도를시각화하는 장치 는 입력 스테레오 영상을 자동 분석하여 시각적 중요 영역을 검출하여 시각적 중요 맵 (visual importance map)을 추출하고， 시각적 중요 영역들의 시각적 불편감 정 도를 예축하는 것을 특징으로 한다.
본 발명에 따른 3D스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 는 스테레오 비디오의 시각적 중요 영역을 검출함에 있어， 스테레오 이미지는 영상 기반 시각적 관심도 추정 (image-based saliency estimation)과 양안 시차 기반 시 각적 관심도 추정 (disparity-based saliency estimation)을 종합하여 검출하고， 스테레오 비디오는 두 가지 추정 외에도 움직임 기반 시각적 관심도 추정 (motion- based saliency estimation)도 종합하여 검출하는 것을 특징으로 한다.
본 발명에 따른 3D스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 는 입력 스테레오 이미지에서 양안 시차 및 양안 영상 불일치 정보를 자동 추출하 여 , 양안 시차의 통계적 정보 및 양안 영상 불일치 정보를 이용하고， 동영상에서 이와 함께 모션 크기 및 왜곡의 통계적 정보를 이용하는 것을 특징으로 한다.
본 발명에 따른 3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 는 시각적 불편감이 저감된 영상을 효과적으로 획득하기 위 한 시각적 불편감 비주 얼라이저 (visual di scomfort vi sual izer)와 카메라 리그 또는 카메라 파라미터 컨 트를러 (stereo-rig and camera control ler)로 구성되는 것을 특징으로 한다.
본 발명에 따른 3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 는 시각적 불편감이 저감된 영상을 효과적으로 생성하기 위한 3D 영상 후처리 (postprocessing) 과정에서 시각적 불편감 비주얼라이저 (visual discomfort visual izer)를 이용해 시각적 불편감을 자동 판별하고 이를 시각화 (visual izat ion) 하는 기능을 포함하는 것을 특징으로 한다.
본 발명에 따른 3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 는 시각적 불편감 비주얼라이저 (visual di scomfort visual izer)와 카메라 리그 또 는 카메라 파라미터 컨트를러 (stereo-rig and camera control ler)가 각기 다른 장 치에 장착되는 구성 방법 , 하나의 장치에 함께 구성하는 방법， 또는 스테레오 카메 라 내에 칩 (chip) 형 태로 내재 (embedded) 되는 것을 특징으로 한다.
【유리한 효과】
본 발명은 스테레오스코픽 이미지 및 비디오에 대한 시각적 불편감 또는 시각적 피로 정도를 영상 분석을 통하여 자동으로 평가하고， 한 영상 내에서 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영 역 인지를 시각화하여 보여줌으로써， 시각 피로도를 최소화할 수 있는 3D 영상을 생성할 수 있는 효과가 있다.
【도면의 간단한 설명 ]
도 1은 본 발명의 실시 예에 따라 시각적 불편감을 자동 분석하여 평가하고 이를 시각화 하여 나타내는 3D 영상 촬영 시스템 구성도 ,
도 2는 본 발명의 실시 예에 따른 시각적 불편감 비주얼라이저 (visual discomfort visual izer)를 포함하는 3D 영상 후편집 시스템 구성도，
도 3a 및 도 3b는 visual discomfort visual izer 장치에서 시각적 불편감에 대해 분석된 결과를 도시한 예시도，
도 4는 본 발명의 실시 예에 따른 visual discomfort vi sual izer 장치에 대 한 기본 블록도，
도 5는 입 력된 스테레오스코픽 이미지에 대한 시각적 불편감을 평가하여 정 량적 수치로 계산하고， 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도 시 한 도면 ,
도 6은 입 력된 스테레오스코픽 비디오에 대한 시각적 불편감을 추정하여 정 량적 수치로 평가하고， 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예를 도 시한 도면 ,
도 7은 도 4， 5 및 6의 Vi sual importance region detect ion 모들에 대한 구 체적 인 실시 방법을 도시한 도면，
도 8a 내지 도 8d는 최종적으로 본 발명의 시각적 불편감을 추정하고 시각화 (vi sual izat ion)하는 방법에 의한 입 력 및 출력들의 예시도이다.
【발명의 실시를 위한 형 태】
본 발명의 이점 및 특징 , 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다 . 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 수 있으며 , 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고， 본 발명 이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하 게 알려주기 위해 제공되는 것이며， 본 발명은 청구항의 범주에 의해 정의될 뿐이 다 . 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적 인 설명 이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상 세한 설명을 생략할 것이다 . 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자 , 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트력션들은 범 용 컴퓨터 , 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프 로세서에 탑재될 수 있으므로， 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트릭션들이 블록도의 각 블록 또는 흐름 도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다 . 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로， 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생 산하는 것도 가능하다 . 컴퓨터 프로그램 인스트력션들은 컴퓨터 또는 기타 프로그 램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로 , 컴퓨터 또는 기 타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계 에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한 각 블록 또는 각 단계는 특정된 논리적 기능 (들)을 실행하기 위한 하 나 이상의 실행 가능한 인스트럭션들을 포함하는 모들， 세그먼트 또는 코드의 일부 를 나타낼 수 있다. 또， 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언 급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대， 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행 되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다 .
이하， 첨부된 도면을 참조하여 스테레오스코픽 3D 영상 생성 시에 시각 피로 를 최소화하는 할 수. 있는 장치 및 방법에 대해 설명한다.
도 1은 본 발명의 실시 예에 따라 시각적 불편감을 자동 분석하여 평가하고 이를 시각화 하여 나타내는 3D 영상 촬영 시스템 구성을 도시한 블록도이다.
시각적 불편감 비주얼라이저 (Visual di scomfort visual izer)에서는 촬영되 는 또는 촬영된 스테레오스코픽 영상에 대한 시각적 불편감 정도를 영상 분석을 통 하여 자동으로 평가하고， 영상의 어느 부분이 시각 피로를 일으킬 수 있는 문제의 영 역 인지를 시각화하여 보여준다.
이 러한 시각 피로의 시각화 출력 정보들을 이용하여 카메라 리그 또는 카메 라 파라미터 컨트를러 (stereo-rig and camera control ler)에서는 시각피로 저감을 위한 stereo-rig의 카메라 거리 (camera basel ine) 또는 두 카메라의 수렴 각도 (convergence angle)을 조절하거나， stereo—camera의 파라미터를 조절한다.
이러한 조절은 사람에 의해 수동으로 조절 할 수도 있으며， 기계적으로 자동 으로 조절 될 수도 있다. 본 발명을 통해 다양한 시스템 구성 이 가능한데， 도 1에 서는 "visual discomfort visual izer"와 "stereo-rig and camera control ler''- - 각 기 다른 장치에 장착되는 것으로 표현하였으나， 시스템 실시 예에 따라 하나의 장 치에 구현되는 것이 가능하다. 경우에 따라서는 스테레오 카메라 내에 칩 (chip) 형 태로 내재 (embedded)되는 장치로도 구현이 가능하다 . 본 발명에서는 이 러한 변 형된 시스템 구성을 포괄한다.
도 .2는 본 발명에서 기술하는 시각적 불편감 비주얼라이저 (visual discomfort visual izer)를 포함하는 3D 영상 후편집 시스템 구성도이다. 시각적 불 편감을 자동 분석하여 측정하고 이를 시각화하여 나타냄으로써, 어느 영상의 어느 영역이 시각적 불편감을 유발할 수 있는지 편집자가 알기 쉽게 한다. 이러한 정보 를 쉽게 모니터링하여 편집자는 편집틀을 이용하여 시각적 불편감이 적은 영상으로 편집할 수 있다.
도 1 및 도 2에서의 시각적 불편감 비주얼라이저 (visual discomfort visual izer)가 시각적 불편감에 대해 분석된 결과를 시각화하는 예에 대해 도 3a 내지 도 3b를 참조하여 설명한다.
도 3a는 원본 스테레오 입력 영상을 자동 분석하여， 시각적 관심도 (human visual attention)를 추정하여 시각적 중요 맵 (visual importance map)을 추출하 고, 시각적 중요 영역들의 시각적 불편감 정도를 도 3b의 척도에 따라 각각 추정하 여 시각적 불편감 맵 (visual discomfort map)을 구성하여 시각화하는 시각적 불편 감 비주얼라이저 (visual discomfort visualize) 과정의 결과들을 나타낸 것들이다. 또한 한 영상의 시각적 불편감 정도를 정량적인 수치로 자동 평가한 시각적 편안 함 점수 (overall visual comfort score)를 출력하여 보여준다.
시각적 불편감 정도의 시각화 방법에 있어서는, 영상 내의 영역들의 시각적 불편감 정도를 색깔로 구분하여 표시하거나 각 영역의 점수로 나타내는 방식을 사 용하여 시각적 불편감 맵 (visual discomfort map)을 구성하여 출력함으로써 시각 화하는 것이 가능하다. 도 3b에서는 시각적 편안함 점수를 1에서부터 5점까지의 척도로 나타낸다. 즉， 1:" extremely uncomfortable"를 의미하고， 2: "uncomfortable"를 의미하고, 3: "mi Idly uncomfortable"를 의미하며， 4: "comfortable "를 의미하며， 5: "very comfortable"를 의미한다.
본 발명의 실시 구성에서는 다양한 척도가 사용이 가능하며 (예로， 0~100점 척도), 도 3b는 단지 이러한 척도의 한가지 예를 보인 것이며， 본 발명의 시각화는 이러한특정 예제에 국한하지 않는다.
도 4는 상기한 결과를 도출해 내는 시각적 불편감 비주얼라이저 (visual discomfort visualize) 장치에 대한 기본 블록도를 도시한 도면으로서， 시각적 중 요 영역 검출 (visual importance region detection), 입력 영상의 전체적인 시각적 불편감을 정량적인 점수로 계산 (computation of overall visual comfort score) , 영상의 내의 세부 영역들의 시각적 불편감 정도를 나타내는 시각적 불편감 맵 (visual discomfort map) 출력 및 시각적 불편감 모델 (visual discomfort model')로 구성될 수 있다. 여기에서, 시각적 불편감 모델 (visual discomfort model)은 입력 영상의 전체적인 시각적 불편감을 정량적인 점수로 계산 (computation of overall visual comfort score) 과정과 영상의 내의 세부 영역들의 시각적 불편감 정도를 나타내는 시각적 불편감 맵 (visual discomfort map) 출력 과정에서 시각적 불편감 정도를 정량적인 값으로 계산하기 위해서 사용된다.
본 발명은 도 4에 도시된 구성을 기본으로 하여 웅용에 따라 다양한 형태의 실시 예가 가능하며， 이에 대한 설명은 도 5내지 도 8을 참조하여 설명한다.
도 5는 입력된 스테레오스코픽 이미지에 대한 시각적 불편감을 평가하여 정 량적 수치로 계산하고, 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예에 해 당한다. 입력 영상은 "Visual importance region detect ion' '을 통해 사람이 하나 의 이미지를 볼 때 시각적으로 관심과 주와 집중을 하는 부분에 해당하는 시각적 중요 영역 (visual importance region)들을 검출하고, "Perceptual ly significant feature extraction" 모듈에서 각 시각적 중요 영역들 각각의 영상 특징 (feature) 들을 추출한다. 이러한 특징의 중요한 예로서 깊이 특징 (depth feature) 또는 양 안 시차 특징 (disparity feature) 등을 들 수 있다. 기본적으로 과도한 양안시차 를 갖는 영상 영역은 사람이 양안 시차 융합 (binocular disparity fusion)에 어려 움이 있을 뿐 아니라 시각적으로 불편감을 초래한다고 알려져 있다. 양안 시차뿐 만 아니라 양안 영상 불일치 등의 다른 콘텐츠 특징들도 추출 될 수 있으며， 본 발 명에서는 특징 추출에 있어서 이러한 확장을 포괄한다. 추출된 특징들을 이용해 한 이미지 내의 여러 영역들로부터 추출된 복수개의 특징치들로부터 해당 이미지의 하나의 대표 특징값들을 만들기 위한 "Spatial pooling" 과정과 하나의 대표 특징 들과 시각적 불편감 모델 (visual discomfort model)을 이용해 해당 이미지에 대한 시각적 불편감 점수를 계산하는 "Computation of overall visual comfort score" 과정이 있으며, 또한 각 시각적 중요 영역의 특징들로부터 각각 영역의 시각적 불 편감 정도를 계산하고 (Computation of visual comfort score for each visual importance region), 하나의 시각적 불편감 맵으로 시각화하는 과정 (Visualization of visual discomfort)을 포함한다. 이러한 과정을 통해 하나의 스테레오 이미지로부터 이미지의 시각적 불편감 점수 (visual comfort score), 시 각적 불편감 맵 (visual discomfort map)을 각각 출력한다.
도 6은 입력된 스테레오스코픽 비디오에 대한 시각적 불편감을 추정하여 정 량적 수치로 평가하고， 시각적 불편감 맵을 출력하는 방법의 구체적 실시 예에 해 당한다. 입력 스테레오 동영상을 "shot boundary detection" 모들에서 샷 (shot) 단위로 분할하고, 한 샷 내에서 각 프레임별로 시각적 불편감 점수 (visual comfort score)와 시각적 불편감 맵 (visual discomfort map)을 출력하고， 하나의 샷 단위 로 전체적인 시각적 불편감 점수를 출력하는 방법이다. 각 프레임별로 시각적 불편 감 점수와 시각적 불편감 맵을 출력하는 방법은 도 5에 도시한 이미지에서의 방법 을 기본적으로 따르지만, 동영상을 처리함에 있어서, 중요한 특징 정보라 할 수 있 는 모션 (mot ion)의 크기 및 왜곡의 통계적 특징을 "Perceptually significant feature extraction" 블록에서 추가적으로 추출한다. 한 샷의 모든 프레임에 대하 여 시각적 불편감 점수와 시각적 불편감 맵을 얻기까지 반복하여 실행하고, 한 샷 의 모든 프레임에 대하여 출력값을 얻었을 때, 프레임별로 얻어진 출력 값들을 합 하여 하나의 샷에 대한 시각피로 점수로 계산하기 위해서 "Temporal pooling of visual comfort score" 과정을 추가로 포함한다.
또한， 도 6에서는 모든 프레임에 대해서 시각적 불편감 점수와 시각적 불편 감 맵을 추정하여 출력하였으나， 변형된 실시 예에서는 샷내의 키프레임들만 선별 하여 측정하고 시각적 불편감 맵을 출력하는 것도 또한 가능하다.
도 7은 도 4 내지 도 6의 Visual importance region detection 모들에 대한 구체적인 실시 방법 예를 플로우차트로 나타낸 것이다. 입력 좌안 영상과 우안 영 상으로부터， 이미지 기반의 관심도를 픽샐별로 추정하는 "image-based saliency estimation" ， 모션 정보를 추출하여 모션에 기반한 관심도를 픽셀별로 추정하는 "motion-based saliency estimation" , 시차 (disparity) 정보를 주출하여 시차에 기 반한 관심도를 픽셀별로 추정하는 "disparity-based saliency estimation" 을 포함 한다. 각각의 방법에 의해 추정된 시각적 관심 맵들을 합하여 ("combination") 입 력 영상에 대한 하나의 시각적 관심 맵 (visual importance map)을 계산한다. 이러 한 시각적 관심 맵은 픽샐별로 0부터 1사이의 값을 가지며， 0은 시각적 관심이 가 장 적음을 나타내며， 1은 시각적 관심이 가장 높음을 나타낸다. 최종적으로, 시각 적 관심 맵을 역치 (threshold)를 이용하는 방법에 의해 이진화 (binarization)하 고 영역 레이블링 (region labeling)을 통하여 시각적 관심 영역 (visual importance region)들을 검출한다.
스테레오 이미지를 입력 받은 경우에는 모션 정보를 추출 할 수 없으므로， 이 경우에는 "image-based saliency estimation"과 "disparity-based saliency estimation" 결과들만을 종합하여 시각적 중요 영역들의 검출한다. 본 발명에서는 이러한 추출 방법에 국한을 두지 않는다. 도 8a내지 도 8c은 최종적으로 본 발명의 시각적 불편감을 추정하고 visualization 하는 방법에 의한 입력 및 출력들의 예제를 도식화 한 것이다. 도 8a는 원본 입력 스테레오 이미지, 그림 8(b)는 시각적 중요 맵 (visual importance map), 그림 8(c)는 추출된 시각적 중요 영역 (visual importance regions), 도 8b 는 시각적 불편감 맵 (visual discomfort map)을 나타낸다. 도 8c의 예에서는 두 개의 시각적 중요 영역들이 추출되었고, 도 8d에서는 두 영역에 대해 추정된 시각 적 불편감 정도를 도 3b에 의해 해당 점수에 대한 색깔로 구분하여 시각화 (visualization)하여 나타내었다.
이상 첨부된 도면을 참조하여 본 발명와실시예를 설명하였지만， 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수 적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 당업자는 각 구성요소를 적용 분야에 따라 변경하거나， 개시된 실시형태들을 조합 또는 치환하여 본 발명의 실시예에 명확하게 개시되지 않은 형태로 실시할 수 있으나， 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것으로 한정적인 것으 로 이해해서는 안 되며, 이러한 변형된 실시예들은 본 발명의 특허청구범위에 기재 된 기술사상에 포함된다고 하여야 할 것이다.
【산업상 이용가능성】
본 발명은 Stereoscopic video analyzer , 3D processing IC chip, 3D camera, 3D camcorder , Stereo video editing tool , 3D broadcasting set-top box, 3DTV등에 다양하게 적용되어， 3D 영상 생성 시에 시각 피로를 최소화할 있다.

Claims

[청구의 범위】
【청구항 1】
촬영되는 또는 촬영된 스테레오스코픽 영상에서 시각적 중요 영 역 검출하고， 상기 영상의 전체적 인 시각적 불편감을 정량적 인 점수로 계산하며， 상기 영상의 내의 세부 영 역들의 시각적 불편감 정도를 나타내는 시각적 불 편감 맵을 생성하여 출력하는 것을 특징으로 하는
3D 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 .
PCT/KR2011/009932 2011-11-28 2011-12-21 3d 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치 WO2013081235A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110125152 2011-11-28
KR10-2011-0125152 2011-11-28

Publications (1)

Publication Number Publication Date
WO2013081235A1 true WO2013081235A1 (ko) 2013-06-06

Family

ID=48535666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009932 WO2013081235A1 (ko) 2011-11-28 2011-12-21 3d 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치

Country Status (2)

Country Link
KR (1) KR101356427B1 (ko)
WO (1) WO2013081235A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153606B1 (ko) * 2013-08-13 2020-09-08 삼성전자주식회사 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
KR101676169B1 (ko) * 2015-05-15 2016-11-15 가톨릭대학교 산학협력단 3d 비디오 콘텐츠 시청시 피로감을 감소시키는 3d 비디오 콘텐츠 변환 방법
KR102001187B1 (ko) * 2017-12-07 2019-07-18 한국과학기술원 시각피로도 기반 워터마킹 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355808A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd 映像システム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101095670B1 (ko) * 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355808A (ja) * 1998-06-04 1999-12-24 Olympus Optical Co Ltd 映像システム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAE SEOB, CHOI ET AL.: "Fatigue Evaluation Method for 3D Video based on Characteristics of Depth Map", 2009 CONFERENCE OFKOSBE, 30 November 2009 (2009-11-30) *
SUMIO YANO ET AL., A STUDY OF VISUAL FATIGUE AND VISUAL COMFORT FOR 3D HDTV/HDTV IMAGES, 30 June 2002 (2002-06-30) *

Also Published As

Publication number Publication date
KR101356427B1 (ko) 2014-02-05
KR20130059251A (ko) 2013-06-05

Similar Documents

Publication Publication Date Title
JP6250916B2 (ja) ３次元ビデオの品質予測システム
CN105191287B (zh) 替换视频流中的对象的方法及计算机程序
CA2727218C (en) Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
US8588514B2 (en) Method, apparatus and system for processing depth-related information
TWI524734B (zh) 產生深度圖的方法及裝置
US20170103510A1 (en) Three-dimensional object model tagging
Du et al. A metric of visual comfort for stereoscopic motion
Wang et al. Novel spatio-temporal structural information based video quality metric
US20120293615A1 (en) Real-time depth-aware image enhancement system
JP2013530380A5 (ko)
JP7285834B2 (ja) 三次元再構成方法および三次元再構成装置
JP6723798B2 (ja) 情報処理装置、方法、プログラム
KR101220223B1 (ko) 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체
CN104361583B (zh) 一种确定非对称失真立体图像客观质量的方法
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
WO2013081235A1 (ko) 3d 스테레오스코픽 영상에서 시각 피로도를 시각화하는 장치
WO2013128765A1 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
KR101850861B1 (ko) 3차원 컨텐츠의 시청 피로도를 제공하는 3ｄ 디스플레이 장치 및 그의 피로도 제공 방법
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
US8941717B2 (en) Semi-automatic 3D stereoscopic disparity cursor
Goldmann et al. Towards reliable and reproducible 3D video quality assessment
Lebreton et al. Open perceptual binocular and monocular descriptors for stereoscopic 3D images and video characterization
CN110944166B (zh) 一种立体图像视觉满意度的客观评价方法
Kim et al. Stereoscopic depth perception measurement using depth image gradient
KR20130060522A (ko) 3차원 입체영상의 오류성 측정 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11876450

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11876450

Country of ref document: EP

Kind code of ref document: A1