KR20120109160A - Apparatus for measuring 3d display-induced visual discomfort, apparatus for extracting 3d visual discomfort-inducing components automatically, and method thereof - Google Patents

Apparatus for measuring 3d display-induced visual discomfort, apparatus for extracting 3d visual discomfort-inducing components automatically, and method thereof Download PDF

Info

Publication number
KR20120109160A
KR20120109160A KR1020110027421A KR20110027421A KR20120109160A KR 20120109160 A KR20120109160 A KR 20120109160A KR 1020110027421 A KR1020110027421 A KR 1020110027421A KR 20110027421 A KR20110027421 A KR 20110027421A KR 20120109160 A KR20120109160 A KR 20120109160A
Authority
KR
South Korea
Prior art keywords
image
user
visual fatigue
unit
time
Prior art date
Application number
KR1020110027421A
Other languages
Korean (ko)
Other versions
KR101267637B1 (en
Inventor
정재승
정동일
백광열
임세웅
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110027421A priority Critical patent/KR101267637B1/en
Publication of KR20120109160A publication Critical patent/KR20120109160A/en
Application granted granted Critical
Publication of KR101267637B1 publication Critical patent/KR101267637B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

PURPOSE: A visual fatigue feeling measuring apparatus of a three-dimensional image, an induced element extracting apparatus, and a method thereof are provided to measure visual feeling fatigue degree of an image. CONSTITUTION: An image providing unit(110) supplies a video image including a three-dimensional image to a user. A decoding unit(140) converts a detected analog signal into a digital signal. An EEg(Electroencephalogram) EOG(Electrooculogram) analysis unit(150) analyzes degree of change or difference of the signal through time-frequency conversion. A display unit(170) displays a visual fatigue of a user in time zone. [Reference numerals] (110) Image providing unit; (111) Three-dimensional glasses; (120) EOG electrode; (130) EEG electrode cap; (140) Decoding unit; (150) EEG/EOG analysis unit; (160) Time information DB; (170) Display unit; (AA) Front; (BB) Back

Description

3차원 영상의 시각 피로감 측정 장치 및 유발 요인 추출 장치, 그리고 그 방법{Apparatus for measuring 3D display-induced visual discomfort, Apparatus for extracting 3D visual discomfort-inducing components automatically, and Method thereof}Apparatus for measuring 3D display-induced visual discomfort, Apparatus for extracting 3D visual discomfort-inducing components automatically, and Method

본 발명은 3차원 영상에서 시각 피로감을 측정할 수 있는 장치 및 이를 이용하여 시각 피로감 유발하는 영상요인을 자동 추출할 수 있는 장치 및 방법에 관한 것으로, 보다 상세하게는 3차원 영상의 시청 전후의 비교를 통해 시각 피로감을 오프라인으로 측정하던 종래 기술과 달리, 3차원 영상의 각 단위 구간을 시청하는 동안에 발생되는 시각 피로감을 실시간으로 측정하며 해당 구간에서의 3차원 영상 화면에서 시각 피로감 유발 요인을 자동으로 추출하는 장치 및 방법에 관한 것이다.The present invention relates to a device capable of measuring visual fatigue in a 3D image and an apparatus and method for automatically extracting image factors causing visual fatigue using the same, and more particularly, to compare before and after viewing a 3D image. Unlike the prior art, which measured visual fatigue offline by using a conventional method, the visual fatigue generated while watching each unit section of a 3D image is measured in real time and automatically causes a factor of visual fatigue on the 3D image screen in the corresponding section. An apparatus and method for extracting.

최근 상용화되어 일반 사용자에게 제공되고 있는 3차원 영상은 깊이 정보를 포함함으로써 공간적인 정보를 제공하여 보다 사실적으로 표현된 영상을 말한다. 3차원 영상 기술은 양안시차효과(Binocular Disparity Effect)의 원리를 이용하여, 두 눈에 각각 다른 각도에서 본 영상을 보여주어 깊이의 정보를 포함시키고 공간감이 느껴지도록 만드는 기술이다. The 3D image recently commercialized and provided to the general user refers to an image more realistically expressed by providing spatial information by including depth information. 3D imaging technology uses the principle of Binocular Disparity Effect to show images of two eyes from different angles to include depth information and to make sense of space.

현재 3차원 영상을 보여주는 다양한 방법이 개발되어 있으나 3차원 영상으로 현실과 완전히 똑같은 모습을 보여주기는 쉽지 않아서 실제 시청자들은 시각 피로감을 많이 느끼게 된다. 3차원 영상이 점차 보편적으로 보급되어 가고 있기 때문에 이러한 3차원 영상에 의한 시각 피로감 발생 문제를 빨리 해결할 필요가 있다. 3차원 영상이 주는 시각 피로감의 원인을 파악할 수 있다면 시각적으로 보다 편안한 3차원 영상의 개발 연구에 있어서 많은 도움이 될 것이다. Currently, various methods of displaying 3D images have been developed, but it is not easy to show exactly the same as reality with 3D images, and the actual viewers feel a lot of visual fatigue. Since 3D images are becoming more and more common, it is necessary to quickly solve the problem of visual fatigue caused by these 3D images. Understanding the causes of visual fatigue caused by 3D images will be of great help in the development of visually more comfortable 3D images.

시각 피로감을 발생시키는 3차원 영상의 조건 변수로는 양안시차, 시청시간, 초점거리, 샤프니스, 물체의 크기, 물체의 속도 등이 있으며 변수들의 조건에 따라서 시청자가 느끼는 시각 피로감의 정도의 차이가 나게 된다. 이러한 3차원 영상을 구성하는 변수들과 시각 피로감 사이의 정량적인 관계를 밝혀낼 수 있다면 시각적으로 편안한 3차원 영상의 개발에 있어서 핵심적인 역할을 할 수 있다. Conditional parameters of the 3D image that generate visual fatigue include binocular disparity, viewing time, focal length, sharpness, object size, and object speed, and the degree of visual fatigue felt by the viewer depending on the conditions of the variables. do. If the quantitative relationship between the variables constituting the 3D image and visual fatigue can be identified, it can play a key role in the development of a visually comfortable 3D image.

이와 같은 3차원 영상의 피로감을 해소하기 위한 연구에 있어서 우선적으로 해결되어야 하는 문제는 3차원 영상을 시청함에 있어 발생하는 시각 피로감의 적절한 측정법의 개발이다. 시각 피로감이라는 것은 결국 사람이 느끼는 불편함이므로, 그 자체를 정량적으로 측정하기에는 모호함이 따른다. 이러한 모호함을 없애기 위한 현재의 객관적 시각 피로 측정 기술들은 모두 3차원 영상 시청 전후의 측정값을 비교하여 시각적 피로도를 제시한다. 그러나 실제 연구에 있어서는 이러한 전체적인 피로감보다는 영상을 시청함에 있어서 실시간으로 느끼는 시각 피로감을 시간에 따른 함수로 나타낼 필요성이 있다.The first problem to be solved in the study for relieving the fatigue of the three-dimensional image is the development of an appropriate measurement method of the visual fatigue caused in viewing the three-dimensional image. Since visual fatigue is inconvenient for humans, it is obscure to measure itself quantitatively. To overcome this ambiguity, current objective visual fatigue measurement techniques all present visual fatigue by comparing the measured values before and after viewing 3D image. However, in actual research, it is necessary to express the visual fatigue felt in real time as a function of time rather than the overall fatigue.

본 발명은 3차원 영상의 시각 피로감 측정 장치 및 시각 피로감 유발 요인 추출 장치와 그 방법을 제안한다. The present invention proposes an apparatus for measuring visual fatigue of a 3D image, an apparatus for extracting visual fatigue factors, and a method thereof.

특히 구체적으로, 본 발명은 종래기술에서 시청자의 주관적 보고에 기반하여 3차원 영상의 시각 피로감을 실시간으로 계측할 수 없었던 것과는 달리, 3차원 영상으로 유발된 시각 피로감을 EEG, EOG 등의 생체 신호를 이용하여 실시간으로 측정할 수 있으며, 아울러 사용자의 시선 추적 분석을 통하여 3차원 시각 피로감 유발 요인을 자동으로 추출할 수 있는 장치 및 방법을 제안한다.Particularly, in the present invention, the visual fatigue caused by the 3D image may not be measured in real time based on the subjective reporting of the viewer in the prior art. The present invention proposes an apparatus and a method which can measure in real time and automatically extract the 3D visual fatigue inducing factor through user's eye tracking analysis.

상기 목적을 달성하기 위하여, 3차원 영상의 시각 피로감 측정 장치의 일 실시예는 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 측정하는 장치에 있어서, 3차원 영상이 포함된 비디오 영상을 사용자에게 제공하는 영상 제공부; 상기 제공된 비디오 영상을 상기 사용자가 3차원으로 인식할 있도록 변환시키는 3차원 안경; 상기 3차원 안경을 착용한 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 생체 신호 센서; 상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 디코딩부; 상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 생체 신호 분석부; 상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간대를 저장하는 시간 정보 데이터베이스; 및 상기 시간대에 있어서 비디오 영상을 시청 중인 사용자의 시각 피로감을 디스플레이하는 표시부를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치를 제공한다.In order to achieve the above object, an embodiment of the apparatus for measuring visual fatigue of a 3D image is an apparatus for measuring visual fatigue of a user who views a 3D video image, and provides a user with a video image including a 3D image. An image providing unit; Three-dimensional glasses for converting the provided video image to be recognized by the user in three dimensions; A biosignal sensor detecting an analog biosignal generated from the user wearing the 3D glasses; A decoding unit converting the analog signal detected by the sensor into a digital signal; A biosignal analyzer configured to analyze the difference or change of the signal in unit time with respect to the converted digital signal in real time through time-frequency conversion; A time information database storing a time zone in which an image causing visual fatigue is located according to the analysis result; And a display unit for displaying the visual fatigue of the user who is watching the video image in the time zone, wherein the visual fatigue measurement apparatus of the 3D image comprises a visual fatigue measurement apparatus of the 3D image. do.

한편, 상기 목적을 달성하기 위하여 3차원 영상의 시각 피로감 측정 방법의 일 실시예는 3차원 영상이 포함된 비디오 영상을 3차원 안경을 착용한 사용자에게 제공하는 단계; 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 단계; 상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 단계; 상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 단계; 상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간 정보를 저장하는 단계; 및 상기 비디오 영상을 시청 중인 사용자의 시각 피로감을 실시간으로 표시하는 단계를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 방법을 제공한다.Meanwhile, in order to achieve the above object, an embodiment of a method for measuring visual fatigue of a 3D image includes providing a video image including a 3D image to a user wearing 3D glasses; Detecting an analog biosignal generated from the user; Converting the analog signal detected from the sensor into a digital signal; Analyzing the converted digital signal in real time through time-frequency conversion on the difference or change in the signal in unit time; Storing time information at which an image causing visual fatigue is located according to the analysis result; And displaying a visual fatigue feeling of the user who is watching the video image in real time.

한편, 상기 목적을 달성하기 위하여 3차원 영상의 시각 피로감 유발 요인 추출 장치의 일 실시예는 3차원 영상이 포함된 비디오 영상을 사용자에게 제공하는 영상 제공부; 상기 제공된 비디오 영상을 상기 사용자가 3차원으로 인식할 있도록 변환시키는 3차원 안경; 상기 3차원 안경을 착용한 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 생체 신호 센서; 상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 디코딩부; 상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 생체 신호 분석부; 상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간대를 저장하는 시간 정보 데이터베이스; 상기 비디오 영상을 시청 중인 사용자의 시선을 추적하여 촬영하는 카메라부; 상기 카메라부에서 촬영된 사용자의 시선을 분석하여 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하는 피로감 유발 요인 추출부; 및 상기 시간 정보 데이터베이스에 저장된 시간대에 있어서 상기 시각 피로감을 유발하는 공간적인 요인을 상기 추출부로부터 수신하여 디스플레이하는 표시부를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 유발 요인 추출 장치를 제공한다.Meanwhile, in order to achieve the above object, an embodiment of an apparatus for extracting a visual fatigue factor of a 3D image includes: an image providing unit providing a user with a video image including a 3D image; Three-dimensional glasses for converting the provided video image to be recognized by the user in three dimensions; A biosignal sensor detecting an analog biosignal generated from the user wearing the 3D glasses; A decoding unit converting the analog signal detected by the sensor into a digital signal; A biosignal analyzer configured to analyze the difference or change of the signal in unit time with respect to the converted digital signal in real time through time-frequency conversion; A time information database storing a time zone in which an image causing visual fatigue is located according to the analysis result; A camera unit tracking and capturing the eyes of a user who is watching the video image; A fatigue inducing factor extracting unit which extracts a spatial factor causing visual fatigue in a 3D image by analyzing the eyes of the user photographed by the camera unit; And a display unit for receiving and displaying a spatial factor causing visual fatigue from the extracting unit in a time zone stored in the time information database.

한편, 상기 목적을 달성하기 위하여 3차원 영상의 시각 피로감 유발 요인 추출 방법의 일 실시예는 3차원 영상이 포함된 비디오 영상을 3차원 안경을 착용한 사용자에게 제공하는 단계; 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 단계; 상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 단계; 상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 단계; 상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간 정보를 저장하는 단계; 상기 비디오 영상을 시청 중인 사용자의 시선을 추적하는 단계; 상기 추적된 사용자의 시선을 분석하여 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하는 단계; 및 상기 시간 정보에 기초하여 상기 추출된 시각 피로감을 유발하는 공간적인 요인을 표시하는 단계를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 유발 요인 추출 방법을 제공한다.Meanwhile, in order to achieve the above object, an embodiment of a method for extracting a visual fatigue inducing factor of a 3D image includes providing a video image including a 3D image to a user wearing 3D glasses; Detecting an analog biosignal generated from the user; Converting the analog signal detected from the sensor into a digital signal; Analyzing the converted digital signal in real time through time-frequency conversion on the difference or change in the signal in unit time; Storing time information at which an image causing visual fatigue is located according to the analysis result; Tracking the gaze of a user who is watching the video image; Extracting a spatial factor causing visual fatigue in the screen of the 3D image by analyzing the tracked gaze of the user; And displaying a spatial factor that causes the extracted visual fatigue based on the time information.

나아가, 본 발명은 3차원 영상의 시각 피로감 측정 방법 및 3차원 영상의 시각 피로감 유발 요인 추출 방법을 실행시키기 위한 프로그램이 기록된 기록 매체를 제공한다.Furthermore, the present invention provides a recording medium in which a program for executing the method for measuring visual fatigue of a three-dimensional image and the method for extracting the factors causing visual fatigue of a three-dimensional image is recorded.

3차원 영상을 시청하는 사용자의 시각 피로감을 측정하는 장치 및 방법에 따르면, 3차원 영상의 시청 전후에 피시험자의 주관적 보고나 검사를 통해 시각 피로감을 측정하는 종래의 기술과 달리 영상 시청 중의 시각 피로감의 변화 및 영상의 단위 구간별 시각 피로감 유발 정도를 측정할 수 있다. According to an apparatus and method for measuring visual fatigue of a user viewing a 3D image, visual fatigue during video viewing is different from the conventional technology of measuring visual fatigue through subjective reporting or inspection of a subject before and after viewing a 3D image. The degree of change and the incidence of visual fatigue in each unit section of the image can be measured.

또한 시선 이동 패턴 분석을 통하여 단위 구간의 3차원 영상에서 시각 피로감을 유발하는 영상 요인을 자동으로 추출할 수 있어서, 3차원 영상의 시청 중에 발생하는 시각 피로감의 누적 변화를 실시간으로 모니터링 할 수 있을 뿐만 아니라 각각의 3차원 영상물에서 시각 피로감을 유발하는 구간 및 영상 요인을 추출하여 시각 피로감을 낮추도록 하는 재조정을 위한 정보를 제작자에게 제공할 수 있다.In addition, by analyzing the gaze movement pattern, the image factor causing visual fatigue can be automatically extracted from the 3D image of the unit section, so that the cumulative change of visual fatigue occurring during viewing of the 3D image can be monitored in real time. In addition, it is possible to provide producers with information for readjustment to reduce visual fatigue by extracting sections and image factors that cause visual fatigue from each 3D image.

도 1은 비디오 영상을 시청하는 사용자에게 EEG 및 EOG 전극을 부착하고 3차원 영상의 시각 피로감을 측정하는 과정을 설명하는 기능 블록도 도면이다.
도 2는 3차원 영상을 DSCQS(double-stimulus-continuous-quality-scale method)에 의해 단위 시간(T1)으로 분할하고 동일한 영상을 2차원 영상으로 변환하여 이를 번갈아가며 재생하는 과정을 설명하는 도면이다.
도 3은 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 측정하는 방법을 설명하기 위한 플로우 차트이다.
도 4는 3차원 영상의 시각 피로감을 유발하는 요인을 추출하기 위하여 사용자의 시선을 추적하는 카메라부 및 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하는 피로감 유발 요인 추출부를 포함하는 추출 장치를 설명하는 기능 블록도 도면이다.
도 5는 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 유발하는 요인을 추출하는 방법을 설명하기 위한 플로우 차트이다.
FIG. 1 is a functional block diagram illustrating a process of attaching EEG and EOG electrodes to a user viewing a video image and measuring visual fatigue of a 3D image.
FIG. 2 is a diagram illustrating a process of dividing a 3D image into unit time T1 by a double-stimulus-continuous-quality-scale method (DSCCS), converting the same image into a 2D image, and alternately playing the same image. .
3 is a flowchart illustrating a method of measuring visual fatigue of a user watching a 3D video image.
4 includes a camera unit tracking a user's gaze to extract a factor causing visual fatigue of a 3D image and a fatigue factor extracting unit extracting a spatial factor causing visual fatigue in a screen of a 3D image. Figure is a functional block diagram illustrating an extraction device.
FIG. 5 is a flowchart illustrating a method of extracting a factor causing visual fatigue of a user watching a 3D video image.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."

도 1은 비디오 영상을 시청하는 사용자에게 EEG 및 EOG 전극을 부착하고 3차원 영상의 시각 피로감을 측정하는 과정을 설명하는 기능 블록도 도면이다.FIG. 1 is a functional block diagram illustrating a process of attaching EEG and EOG electrodes to a user viewing a video image and measuring visual fatigue of a 3D image.

본 발명의 일 실시예에서는 사용자(피시험자)의 머리에 부착된 EEG 센서를 통해 3차원 영상을 보는 동안에 사람의 뇌에서 발생한 뇌파 신호를 아날로그 형태로 검출한다. In one embodiment of the present invention, while watching a three-dimensional image through the EEG sensor attached to the head of the user (testee) detects the EEG signal generated in the human brain in analog form.

한편, 후술하겠지만 EOG 센서와 시선추적장치를 통하여 얻은 사용자의 눈에 대한 움직임 정보를 함께 검출할 수 있으며, 이를 통하여 3차원 영상을 시청함으로 인하여 피로감을 유발시키는 생체 신호를 검출하고 그 원인이 되는 3차원 화면 내의 영상요소를 자동 검출하는 것이 가능하다. On the other hand, as will be described later it is possible to detect the motion information of the user's eyes obtained through the EOG sensor and the eye tracking device together, through which the detection of the bio-signal causing the fatigue by watching the 3D image and causing 3 It is possible to automatically detect image elements in the dimension screen.

본 발명의 일 실시예는 사용자로부터 EEG 센서, EOG 센서를 통해 측정된 생체 신호를 이용한 시각 피로감 측정 장치를 제공한다. An embodiment of the present invention provides an apparatus for measuring visual fatigue using a biosignal measured by an EEG sensor or an EOG sensor from a user.

도 1에서 이러한 시각 피로감 측정 장치는, 3차원 영상이 포함된 비디오 영상을 사용자에게 제공하는 영상 제공부(110)와 제공된 비디오 영상을 상기 사용자가 3차원으로 인식할 있도록 변환시키는 3차원 안경(111), 3차원 안경을 착용한 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 생체 신호 센서(EOG 전극(130) 및 EEG 전극 캡(120)), 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 디코딩부(140), 단위 시간에서의 디지털 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 생체 신호 분석부(EEG/EOG 분석부, 150), 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간대를 저장하는 시간 정보 데이터베이스(160) 및 상기 시간대에 있어서 비디오 영상을 시청 중인 사용자의 시각 피로감을 디스플레이하는 표시부(170)를 포함하는 것으로 나타난다.     In FIG. 1, the apparatus for measuring visual fatigue is an image providing unit 110 that provides a video image including a 3D image to a user, and a 3D glasses 111 for converting the provided video image so that the user can recognize it in 3D. ), A biosignal sensor (EOG electrode 130 and EEG electrode cap 120) for detecting an analog biosignal generated from the user wearing 3D glasses, and a decoding unit for converting the analog signal detected from the sensor into a digital signal. 140, a biosignal analysis unit (EEG / EOG analysis unit, 150) for analyzing the difference or change in the digital signal in unit time in real time through time-frequency conversion, which causes visual fatigue according to the analysis result Display the time information database 160 storing the time zone where the image is located and visual fatigue of the user who is watching the video image in the time zone. Appears to include a display unit 170 to.

즉, 도 1에서 도시된 바와 같이 3차원 영상을 시청 중인 사용자로부터 발생한 생체 신호를 측정하는 생체 신호 센서는 시청 중인 사용자의 뇌에서 발생하는 뇌파 신호를 아날로그 형태로 검출하도록 사용자의 머리에 부착되는 복수개의 단위 EEG 센서가 구비된 EEG 전극 캡을 포함할 수 있다.That is, as illustrated in FIG. 1, a biosignal sensor measuring a biosignal generated from a user who is watching a 3D image may include a plurality of heads attached to the head of the user to detect, in analog form, an EEG signal generated from the brain of the user who is watching. EEG electrode cap with two unit EEG sensor may be included.

한편, 이러한 생체 신호 센서는 3차원 비디오 영상을 시청하는 사용자의 눈에 대한 정보인 눈 깜빡임 및 수직, 수평 방향의 눈 움직임을 검출하는 적어도 두 개의 단위 EOG 센서를 구비한 EOG 전극을 포함할 수도 있다.Meanwhile, the biosignal sensor may include an EOG electrode having eye blink and information of eye movement in the vertical and horizontal directions, which are information on the eyes of a user who views a 3D video image. .

다시 도 1을 참조하면, 본 발명의 일 실시예는 사용자로부터 EEG 센서, EOG 센서를 통해 측정된 생체 신호를 이용하여 시각 피로감을 측정할 수 있게 된다. Referring back to FIG. 1, an embodiment of the present invention may measure visual fatigue using a biosignal measured by an EEG sensor or an EOG sensor from a user.

영상 제공부(110)는 3차원 영상이 포함된 비디오 영상을 제공하는데, 이때 영상 제공부는 3차원 영상을 DSCQS(double-stimulus-continuous-quality-scale method)에 의해 단위 시간(T1)으로 분할하고 동일한 영상을 2차원 영상으로 변환하여 이를 번갈아가면서 사용자에게 제공할 수 있다. 이에 대해서는 도 2를 참조하여 후술하기로 한다.The image provider 110 provides a video image including a 3D image, wherein the image provider divides the 3D image into a unit time T1 by a double-stimulus-continuous-quality-scale method (DSCCS). The same image may be converted into a 2D image and then alternately provided to the user. This will be described later with reference to FIG. 2.

3차원 안경(111)은 영상 제공부(110)를 통해 사용자에게 3차원 입체 영상의 깊이감을 느낄 수 있게 하며, 이때 패시브 FPR 편광글라스(Film Patterned Retarder, 필름패턴 편광안경) 방식과 액티브 셔터글라스(SG: Shuttered Glasses) 방식에 구애 받지는 않는다.The three-dimensional glasses 111 allows the user to feel the depth of the three-dimensional stereoscopic image through the image providing unit 110, wherein the passive FPR polarized glass (Film Patterned Retarder) method and the active shutter glass ( SG: Shuttered Glasses

디코딩부(140)는 아날로그 형태의 EEG 및 EOG 신호를 디지털 신호로 변환함으로써 3차원 영상을 보는 동안의 사용자의 뇌파가 2차원 변환 영상을 볼 때의 뇌파와 어떻게 상이한지를 분석하기 위한 기반 데이터를 제공하게 된다.The decoding unit 140 converts the analogue EEG and EOG signals into digital signals, thereby providing basic data for analyzing how the brain waves of the user are different from the brain waves when viewing the 2D converted image. Done.

생체 신호 분석부(EEG/EOG 분석부, 150)는 변환된 디지털 신호에 대하여 단위 시간으로 분할된 각각의 3차원 및 2차원 영상을 시청함에 있어서 사용자가 느끼는 시각 피로감의 시간대를 찾아내기 위하여 상기 3차원 및 2차원 영상의 시작점으로부터 소정의 시간(time window) 동안에 각각의 신호를 서로 비교한다.The biosignal analyzer 150 (EEG / EOG analyzer 150) is configured to find the time zone of visual fatigue felt by the user in viewing each of the three-dimensional and two-dimensional images divided into unit time with respect to the converted digital signal. Each signal is compared with each other for a predetermined time window from the starting point of the two-dimensional and two-dimensional images.

이때 시간-주파수 변환을 이용하여 3차원 영상 및 2차원 영상의 시청시에 나타나는 신호의 통계적 차이를 분석하거나 사용자의 눈 움직임의 변화의 정도를 분석함으로써 시각 피로감의 발생 여부에 대한 판단에 이용할 수 있다.In this case, by using the time-frequency conversion, it is possible to analyze the statistical difference of the signal appearing when viewing the 3D image and the 2D image, or to analyze the degree of change in the eye movement of the user, which can be used to determine whether the visual fatigue occurs. .

시간 정보 데이터베이스(160)는 생체 신호 분석부(EEG/EOG 분석부, 150)에서 분석한 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간대를 기록한다.The time information database 160 records a time zone in which an image causing visual fatigue is located according to a result analyzed by the biosignal analyzer (EEG / EOG analyzer) 150.

표시부(170)는 시각 피로감을 유발하는 영상이 위치한 시간대에 있어서 발생한 시각 피로감을 실시간으로 표시한다. The display unit 170 displays the visual fatigue occurring in a time zone in which the image causing visual fatigue is located in real time.

도 2는 3차원 영상을 DSCQS(double-stimulus-continuous-quality-scale method)에 의해 단위 시간(T1)으로 분할하고 동일한 영상을 2차원 영상으로 변환하여 이를 번갈아가며 재생하는 과정을 설명하는 도면이다.FIG. 2 is a diagram illustrating a process of dividing a 3D image into unit time T1 by a double-stimulus-continuous-quality-scale method (DSCCS), converting the same image into a 2D image, and alternately playing the same image. .

즉, 본 발명의 일 실시예에 따르면 영상 제공부는 단위 시간인 T1 구간으로 분할된 3차원 영상과 같은 단위 구간마다 2차원으로 변환된 영상을 번갈아 제시한다. That is, according to an embodiment of the present invention, the image providing unit alternately presents two-dimensionally converted images for each unit section, such as a three-dimensional image divided into T1 sections, which are unit times.

이러한 2차원 변환 영상은 3차원 영상에서 한쪽 눈에 주어지는 영상을 양안에 동일하게 제시하는 과정 등을 통해 3차원 영상의 깊이감을 0(zero)로 만들어 제공할 수 있다. The 2D transformed image may be provided by making the depth of the 3D image zero (0) through a process of presenting the image given to one eye in the 3D image in the same way.

한편, T1의 단위 영상 구간 사이에는 T3 가량의 휴지(idle) 기간을 삽입할 수 있다. 휴지 기간 동안에는 빈 화면을 제공하여 3차원 영상을 시청 중인 사용자의 시각 피로를 회복하며 상이한 영상조건에 적응할 수 있도록 도와주는 역할을 할 수 있다. Meanwhile, an idle period of about T3 may be inserted between the unit image sections of T1. During the idle period, a blank screen may be provided to restore visual fatigue of a user who is watching a 3D image and to adjust to different image conditions.

도 3은 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 측정하는 방법을 설명하기 위한 플로우 차트이다.3 is a flowchart illustrating a method of measuring visual fatigue of a user watching a 3D video image.

도 3을 참조하면, 시각 피로감을 측정하는 방법의 일 실시예는 3차원 영상이 포함된 비디오 영상을 3차원 안경을 착용한 사용자에게 제공하는 단계(310), 사용자로부터 발생한 아날로그 생체 신호를 검출하는 단계(320), 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 단계(330), 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 단계(340), 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간 정보를 저장하는 단계(350) 및 3차원 비디오 영상을 시청 중인 사용자의 시각 피로감을 실시간으로 표시하는 단계(360)를 포함한다.Referring to FIG. 3, an embodiment of a method of measuring visual fatigue is provided by providing a video image including a 3D image to a user wearing 3D glasses 310 to detect an analog biosignal generated from the user. Step 320, converting the analog signal detected from the sensor into a digital signal 330, analyzing the difference or the degree of change of the signal in unit time with respect to the converted digital signal in real time through time-frequency conversion Step 340, storing time information on the location of the image causing the visual fatigue according to the analysis result 350, and displaying the visual fatigue of the user who is watching the 3D video image in real time 360. do.

단계 310에서는 3차원 및 2차원 영상이 포함된 비디오 영상을 제공하는데, 이때 제공되는 비디오 영상은 3차원 원본 영상을 double-stimulus-continuous-quality-scale method에 의해 단위 시간(T1)으로 분할한 3차원 영상과, 동일한 영상을 2차원으로 변환한 2차원 변환 영상을 서로 번갈아가면서 재생시키는 3차원 비디오 영상이다. In operation 310, a video image including 3D and 2D images is provided, wherein the provided video image is obtained by dividing the 3D original image into unit time (T1) by a double-stimulus-continuous-quality-scale method. A three-dimensional video image which alternately reproduces a dimensional image and a two-dimensional converted image obtained by converting the same image into two dimensions.

단계 320에서는 시청 중에 발생되는 생체 아날로그 신호를 검출한다. 본 발명에 따른 시각 피로감 측정 장치에서 생체 신호를 측정하는 생체 신호 센서는 시청 중인 사용자의 뇌에서 발생하는 뇌파 신호를 아날로그 형태로 검출하도록 사용자의 머리에 부착되는 복수개의 단위 EEG 센서가 구비된 EEG 전극 캡(120)을 포함할 수 있다고 전술하였다. 상기 전극 캡(120)에 구비된 단위 EEG센서는 사용자의 뇌로부터 발생하는 뇌파를 아날로그 형태로 검출한다. 따라서, 만약 단위 EEG 센서의 수가 N개인 경우에는 한 사람의 사용자(피시험자)로부터 검출되는 EEG 신호 채널은 N개가 된다. In operation 320, a bio-analog signal generated during viewing is detected. In the apparatus for measuring visual fatigue according to the present invention, a biosignal sensor measuring a biosignal may include an EEG electrode having a plurality of unit EEG sensors attached to a user's head to detect, in analog form, an EEG signal generated in a brain of a user who is watching. It has been described above that the cap 120 may be included. The unit EEG sensor provided in the electrode cap 120 detects the EEG generated from the brain of the user in an analog form. Therefore, if the number of unit EEG sensors is N, there are N EEG signal channels detected from one user (test subject).

한편, 본 발명에 따른 시각 피로감 측정 장치는 각각 두 개의 단위 EOG 센서를 통해 피험자의 눈 깜빡임 및 수직, 수평 방향의 눈 움직임을 측정하는 EOG 전극(130)을 포함할 수 있는데, 이들 두 개의 단위 EOG 센서는 피시험자의 눈 위쪽과 아래쪽에 하나가 부착되고, 피시험자의 눈 왼쪽과 오른쪽에 또 다른 하나가 부착될 수 있다. 눈 위쪽과 아래쪽에 부착된 EOG 센서는 피시험자의 눈 깜빡임 및 수직 방향 움직임에 대응하는 수직 방향 EOG 신호를 검출할 수 있으며, 눈 왼쪽과 오른쪽에 부착된 EOG 센서는 피시험자의 수평 방향 움직임에 대응하는 수평 방향 EOG 신호를 아날로그 형태로 검출할 수 있다. Meanwhile, the apparatus for measuring visual fatigue according to the present invention may include an EOG electrode 130 for measuring eye blink and vertical and horizontal eye movements of a subject through two unit EOG sensors, respectively. One sensor may be attached above and below the subject's eye, and the other may be attached to the left and right sides of the subject's eye. EOG sensors attached to the top and bottom of the eye can detect vertical EOG signals corresponding to eye blink and vertical movement of the subject, and EOG sensors attached to the left and right of the eye correspond to the horizontal movement of the subject. The horizontal EOG signal can be detected in analog form.

단계 330에서는 아날로그 형태의 EEG 및 EOG 신호를 디지털 신호로 변환함으로써 3차원 영상을 보는 동안의 사용자의 뇌파가 2차원 변환 영상을 볼 때의 뇌파와 어떻게 상이하고 시각 피로감을 언제 느끼는지를 분석하기 위한 기반 데이터를 제공할 수 있다.In step 330, the EEG and EOG signals in analog form are converted into digital signals so that the user's EEG during viewing the 3D image is different from the EEG when viewing the 2D converted image, and the basis for analyzing when the visual fatigue is felt. Can provide data

단계 340에서는 단위 시간에서 3차원 영상 및 2차원 영상의 시청시에 나타나는 신호의 통계적 차이를 분석하거나 사용자의 눈 움직임의 변화의 정도를 분석함으로써 시각 피로감의 발생 여부를 판단할 수 있게 한다.In operation 340, it is possible to determine whether visual fatigue occurs by analyzing statistical differences of signals that appear when viewing 3D and 2D images in unit time or by analyzing the degree of change in eye movement of the user.

이러한 분석 단계는 변환된 디지털 신호에 대하여 단위 시간으로 분할된 각각의 3차원 및 2차원 영상을 시청함에 있어서 사용자가 느끼는 시각 피로감의 시간대를 찾아내기 위하여 상기 3차원 및 2차원 영상의 시작점으로부터 소정의 시간(time window) 동안에 각각의 신호를 서로 비교할 수 있는데, 본 발명에 따른 시각 피로감 측정 방법은 변환된 디지털 신호에 기초하여 정해진 T2 시간의 시간창(time window)에 대해 시간-주파수(time-frequency) 분석을 실시간으로 시행한다. This analysis step is performed from a starting point of the 3D and 2D images in order to find a time zone of visual fatigue felt by the user in viewing each of the 3D and 2D images divided into unit time for the converted digital signal. Each signal can be compared with each other during a time window. The method for measuring visual fatigue according to the present invention is a time-frequency for a time window of a predetermined T2 time based on a converted digital signal. Perform analysis in real time.

영상 제공부(110)에서 제공되는 double-stimulus-continuous-quality-scale method로 분할된 각각의 영상을 보면서 사용자가 시각 피로감을 느끼는 부분을 찾아내기 위하여 동일한 3차원 및 2차원 영상의 시작점으로부터 T2씩 비교를 할 수 있다. While looking at each image divided by the double-stimulus-continuous-quality-scale method provided by the image providing unit 110, T2 from the starting point of the same three-dimensional and two-dimensional images in order to find out the part where the user feels visual fatigue. You can make a comparison.

여기서 3차원 영상의 해당 시간창(time-window)에 있어서 단위 EEG 센서에서 얻은 뇌파를 x(t)라 하고, 2차원 변환 영상의 해당 시간창에 있어서 단위 EEG 센서에서 얻은 뇌파를 y(t)라고 했을 때, 각각의 신호를 퓨리에 변환(Fourier transform)을 통하여 전력 분포(power spectrum)인 X(f), Y(f)를 각각 구할 수 있다. Here, the brain wave obtained from the unit EEG sensor in the corresponding time-window of the three-dimensional image is called x (t), and the brain wave obtained from the unit EEG sensor in the corresponding time window of the two-dimensional converted image is y (t). In this case, power signals X (f) and Y (f), which are the power spectrum, can be obtained through Fourier transform.

그런 다음 EEG 센서 N개에 대해서 해당 시간창에서 구해진 전력 분포를 각각 비교하여 통계적 차이를 보이는 시간-주파수의 정보를 찾을 수 있다. Then, for each of the N EEG sensors, the power distributions obtained from the corresponding time window can be compared to find time-frequency information showing statistical differences.

또한, 분석 단계를 수행하는 EEG/EOG 분석부(150)는 디코딩부(140)를 통해 디지털 신호로 변환된 수직 방향의 EOG 신호와 수평 방향의 EOG 신호를 수신하며, 측정된 신호로부터 단위 시간 동안의 사용자의 눈 깜박임 및 수직, 수평방향 움직임의 빈도와 강도를 추정할 수 있다. In addition, the EEG / EOG analysis unit 150 performing the analysis step receives the vertical EOG signal and the horizontal EOG signal converted into a digital signal through the decoding unit 140, and during the unit time from the measured signal We can estimate the frequency and intensity of the user's blink and vertical and horizontal movements.

한편, 피시험자 개인별로 사전에 눈을 감은 안정 상태에서 측정된 수직, 수평 방향의 EOG 신호로부터 각각 EOG에 의한 안구 운동의 역치를 계산해 둘 수 있는데, EEG/EOG 분석부(150)는 디지털화된 수직, 수평 방향 EOG 신호의 단위 시간당 변화율을 계산하고 이를 상기 계산된 역치와 비교하여 눈 깜빡임 및 수직/수평 방향의 안구 운동 여부를 분석할 수 있다. On the other hand, the individual eye subjects can calculate the threshold of eye movements by EOG from the vertical and horizontal EOG signals measured in a stable state with eyes closed beforehand, and the EEG / EOG analyzer 150 digitizes the vertical In addition, the rate of change per unit time of the horizontal EOG signal may be calculated and compared with the calculated threshold to analyze eye blink and eye movement in the vertical and horizontal directions.

안구 운동의 강도는 EOG 신호의 피크 투 피크 전압에 상응한다. 이를 통하여 분석 단계에서는 T1분의 단위 영상 구간에서 눈 깜빡임 및 수직, 수평 방향의 안구 운동의 빈도와 강도를 각각 분석하여 시각 피로감의 발생 여부에 대한 값을 시간 정보 데이터베이스에 전달한다. The intensity of eye movements corresponds to the peak-to-peak voltage of the EOG signal. Through this, the analysis step analyzes the frequency and intensity of eye blink and eye movement in the vertical and horizontal directions in the unit image section of T1 minutes, and transmits the value of whether visual fatigue occurs to the time information database.

단계 350에서는 신호 분석 단계에서 분석한 결과에 따라 생체 신호에서 통계적으로 이상신호가 나타난 시간창(time-window)에 대한 시간 정보, 즉 시각 피로감을 유발하는 영상이 위치한 시간대를 저장한다.In operation 350, time information on a time-window in which an abnormal signal is statistically displayed in the biological signal, that is, a time zone in which an image causing visual fatigue is located, is stored according to the analysis result in the signal analysis step.

단계 360에서는 시각 피로감을 유발하는 영상이 위치한 시간대에 있어서 발생한 시각 피로감을 실시간으로 표시한다. In operation 360, the visual fatigue generated in the time zone where the image causing visual fatigue is located is displayed in real time.

본 발명은 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 측정하는 방법이 기록된 기록 매체를 포함한다.The present invention includes a recording medium in which a method for measuring visual fatigue of a user watching a 3D video image is recorded.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave. The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

본 발명은 3차원 영상의 시각 피로감 측정 장치를 보다 발전시킨 형태로서, 3차원 영상을 시청하는 피시험자의 시각 피로감을 측정할 뿐만 아니라 3차원 영상의 화면 내에서 이를 유발하는 영상 요인을 자동 추출하는 장치를 제공한다. The present invention is a further development of the visual fatigue measurement apparatus of the three-dimensional image, to measure the visual fatigue of the subject watching the three-dimensional image as well as to automatically extract the image factors causing this in the screen of the three-dimensional image Provide the device.

도 4는 3차원 영상의 시각 피로감을 유발하는 요인을 추출하기 위하여 사용자의 시선을 추적하는 카메라부(410) 및 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하는 피로감 유발 요인 추출부(420)를 포함하는 추출 장치를 설명하는 기능 블록도 도면이다.FIG. 4 shows a camera 410 tracking a user's gaze to extract a factor causing visual fatigue of a 3D image, and a fatigue factor that extracts a spatial factor causing visual fatigue in a screen of a 3D image. A functional block diagram illustrating an extraction device including the extraction unit 420 is shown.

본 발명의 다른 실시예인 3차원 영상의 화면 내에서 이를 유발하는 영상 요인을 자동 추출하는 장치는 3차원 영상이 포함된 비디오 영상을 사용자에게 제공하는 영상 제공부(110), 상기 제공된 비디오 영상을 상기 사용자가 3차원으로 인식할 있도록 변환시키는 3차원 안경(111), 상기 3차원 안경을 착용한 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 생체 신호 센서(EEG 전극 캡(120) 및 EOG 전극(130)), 상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 디코딩부(140), 상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 생체 신호 분석부(EEG/EOG 분석부, 150), 상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간대를 저장하는 시간 정보 데이터베이스(160), 상기 비디오 영상을 시청 중인 사용자의 시선을 추적하여 촬영하는 카메라부(410), 상기 카메라부에서 촬영된 사용자의 시선을 분석하여 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하는 피로감 유발 요인 추출부(420) 및 시간 정보 데이터베이스에 저장된 시간대에 있어서 상기 시각 피로감을 유발하는 공간적인 요인을 상기 추출부로부터 수신하여 디스플레이하는 표시부(170)를 포함한다.In another embodiment of the present invention, an apparatus for automatically extracting an image factor causing this in a screen of a 3D image includes: an image providing unit 110 providing a user with a video image including a 3D image; Three-dimensional glasses 111 for converting the user to recognize in three dimensions, a bio-signal sensor (EEG electrode cap 120 and EOG electrode 130) for detecting analog bio-signals generated from the user wearing the three-dimensional glasses ), A decoding unit 140 for converting the analog signal detected by the sensor into a digital signal, and analyzes the difference or change in the signal in unit time with respect to the converted digital signal in real time through time-frequency conversion When the bio-signal analysis unit (EEG / EEO analysis unit, 150), the time zone in which the image causing the visual fatigue is stored according to the analysis result An information database 160, a camera unit 410 which tracks and captures the eyes of the user who is watching the video image, analyzes the eyes of the user captured by the camera unit, and causes visual fatigue in the screen of the 3D image. A fatigue causing factor extracting unit 420 for extracting a spatial factor and a display unit 170 for receiving and displaying a spatial factor causing visual fatigue in the time zone stored in a time information database.

도 4을 참조하면 본 발명의 또 다른 일 실시예인 3차원 영상의 시각 피로감 유발 요인 추출 장치는 도 1의 시각 피로감 측정 장치의 구성요소를 모두 포함하므로 도 1에서 이미 설명된 각 구성요소(110 내지 170)의 기능과 기술적 의미에 대한 설명은 이하 생략하도록 한다. Referring to FIG. 4, the apparatus for extracting visual fatigue factor of a 3D image, which is another embodiment of the present invention, includes all the components of the apparatus for measuring visual fatigue of FIG. A description of the function and technical meaning of 170 will be omitted below.

3차원 영상의 시각 피로감 유발 요인 추출 장치는 영상 제공부(110)로부터 제공되는 3차원 영상의 시청 중에 피시험자의 시선을 추적할 수 있는 카메라부(410)를 포함한다. 카메라부(410)는 시각 피로감 측정 장치를 통한 영상 시청 중에 피시험자의 시선을 실시간으로 추적한다. The apparatus for extracting a visual fatigue factor of a 3D image includes a camera unit 410 that can track the eye of a test subject while viewing a 3D image provided from the image providing unit 110. The camera unit 410 tracks the subject's gaze in real time while viewing an image through the visual fatigue measurement apparatus.

본 발명의 3차원 영상의 시각 피로감 유발 요인 추출 장치는 카메라부(410)에서 측정된 사용자의 시선을 분석하여 피로감 유발 영상 요인을 예측하는 피로감 유발 요인 추출부(420)를 포함한다. The apparatus for extracting the visual fatigue feeling factor of the 3D image of the present invention includes a fatigue feeling factor extractor 420 which analyzes the eyes of the user measured by the camera unit 410 and predicts the fatigue feeling image factor.

피로감 유발 요인 추출부(420)는 상기 카메라부(410)로부터 사용자의 시선 이동 정보 및 해당 시간 정보를 수신하여 시선 이동 패턴을 분석하며, 시선 이동 패턴은 영상 제공부(110)의 화면 좌표에 기준하여 저장된 패턴 정보로서, 피로감 유발 요인 추출부(420)는 2차원 영상에 비하여 3차원 영상을 시청 중에 화면 내에서 급격한 시선 이동 패턴을 보이는 영역 또는 짧은 시선 유지 시간을 보이는 영역을 시각 피로감 유발 요인으로 판단할 수 있다.The fatigue causing factor extractor 420 receives the gaze movement information and the corresponding time information of the user from the camera unit 410 and analyzes the gaze movement pattern, and the gaze movement pattern is based on the screen coordinates of the image providing unit 110. As the stored pattern information, the fatigue causing factor extractor 420 uses the region showing a sudden eye movement pattern or a short gaze retention time as a factor of visual fatigue during viewing a 3D image as compared to the 2D image. You can judge.

아울러 3차원 영상의 시선 이동 패턴은 2차원 영상의 시청 중의 시선 이동 패턴과 대조하여 두 시선 이동 패턴의 좌표 간의 편차로 교차 검증할 수도 있다.In addition, the gaze movement pattern of the 3D image may be cross-verified by the deviation between the coordinates of the two gaze movement patterns in contrast to the gaze movement pattern during viewing of the 2D image.

한편 피로감 유발 요인 추출부(420)는 시간 정보 데이터베이스(160)로부터 3차원 영상의 시청 중 생체 신호에서 통계적 이상신호가 나타난 시간대 정보를 수신하여, 수신된 시간대에 있어서 사용자의 시선이 위치한 3차원 영상 내의 화면 영역을 시각 피로감 유발 영상요인으로 판단할 수 있으며, 이때 표시부(170)에서는 시각 피로감을 유발하는 영상이 위치한 시간대에 있어서 발생한 시각 피로감을 실시간으로 표시함과 동시에 피시험자의 시선이 위치한 피로감 유발 영상 요인을 함께 표시할 수 있다. Meanwhile, the fatigue inducing factor extractor 420 receives time zone information indicating a statistical abnormality signal from a biosignal while viewing a 3D image from the time information database 160, and displays the user's gaze in the received time zone. The screen area inside may be determined as an image factor causing visual fatigue, and at this time, the display unit 170 displays visual fatigue generated in a time zone where an image causing visual fatigue is located in real time, and causes fatigue in which the subject's gaze is located. Imaging factors can be displayed together.

이상에서 설명한 본 발명에 따른 3차원 영상의 시각 피로감 유발 요인 추출 장치가 적용 가능한 다양한 응용분야 중 하나는 2차원 영화를 3차원 영화로 변환, 제작하는데 있어서 지원 도구 및 평가 툴로 이용될 수 있다.One of various applications that can be applied to the apparatus for extracting a visual fatigue factor of 3D image according to the present invention described above may be used as a support tool and an evaluation tool in converting and producing a 2D movie into a 3D movie.

이러한 본 발명에 따른 3차원 영화 제작 지원 및 평가 툴은 2차원 영화를 자동화 툴킷을 이용하여 3차원 영화로 만들었을 경우에, 불특정 다수의 비전공자에게 시스템을 적용하고 그에 따른 시각 피로감을 측정하여 피로감 유도 영상을 자동으로 추출할 수 있게 한다. The 3D film production support and evaluation tool according to the present invention applies a system to a plurality of unspecified non-specialists when measuring a 2D film into a 3D film using an automated toolkit, and induces fatigue by measuring visual fatigue accordingly. Allows you to extract images automatically.

따라서 비전공자에게도 실시간으로 적용할 수 있다는 장점이 있으므로 개개인의 시각 피로도 차이와 상관없이 대중적으로 볼 때 불편하게 제작된 부분을 추출하고 수정할 수 있는 가이드라인을 제시할 수 있다. Therefore, it can be applied to non-specialists in real time, so it is possible to suggest guidelines for extracting and modifying parts that are inconvenient to the public regardless of individual visual fatigue.

도 5는 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 유발하는 요인을 추출하는 방법을 설명하기 위한 플로우 차트이다. FIG. 5 is a flowchart illustrating a method of extracting a factor causing visual fatigue of a user watching a 3D video image.

도 5를 참조하면, 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 유발하는 요인을 추출하는 방법은 3차원 영상이 포함된 비디오 영상을 3차원 안경을 착용한 사용자에게 제공하는 단계(510), 사용자로부터 발생한 아날로그 생체 신호를 검출하는 단계(520), 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 단계(530), 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 단계(540), 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간 정보를 저장하는 단계(550), 비디오 영상을 시청 중인 사용자의 시선을 추적하는 단계(560), 추적된 사용자의 시선을 분석하여 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하고, 시각 피로감을 유발하는 공간적인 요인을 실시간으로 표시하는 단계(570)를 포함한다.Referring to FIG. 5, the method of extracting a factor causing visual fatigue of a user watching a 3D video image may include providing a video image including a 3D image to a user wearing 3D glasses (510); Detecting an analog biosignal generated from a user (520), converting an analog signal detected from a sensor to a digital signal (530), and comparing the difference or the degree of change of the signal in unit time with respect to the converted digital signal Analyzing in real time through time-frequency conversion (540), storing the time information where the image causing visual fatigue is located according to the analysis result (550), tracking the eyes of the user watching the video image ( 560), by analyzing the tracked gaze of the user to extract the spatial factors causing visual fatigue in the screen of the 3D image, And a step 570 to display the space factor in real-time to induce a feeling.

본 발명은 3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 유발하는 요인을 추출하는 방법이 기록된 기록 매체를 포함한다.The present invention includes a recording medium in which a method of extracting a factor causing visual fatigue of a user watching a 3D video image is recorded.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷 등의 네트워크를 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage, and the like, and also in the form of carrier waves (for example, transmission over a network such as the Internet). It also includes implementations. The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (15)

3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 측정하는 장치에 있어서,
3차원 영상이 포함된 비디오 영상을 사용자에게 제공하는 영상 제공부;
상기 제공된 비디오 영상을 상기 사용자가 3차원으로 인식할 있도록 변환시키는 3차원 안경;
상기 3차원 안경을 착용한 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 생체 신호 센서;
상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 디코딩부;
상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 생체 신호 분석부;
상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간대를 저장하는 시간 정보 데이터베이스; 및
상기 시간대에 있어서 비디오 영상을 시청 중인 사용자의 시각 피로감을 디스플레이하는 표시부를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
An apparatus for measuring visual fatigue of a user watching a 3D video image,
An image providing unit providing a user with a video image including a 3D image;
Three-dimensional glasses for converting the provided video image to be recognized by the user in three dimensions;
A biosignal sensor detecting an analog biosignal generated from the user wearing the 3D glasses;
A decoding unit converting the analog signal detected by the sensor into a digital signal;
A biosignal analyzer configured to analyze the difference or change of the signal in unit time with respect to the converted digital signal in real time through time-frequency conversion;
A time information database storing a time zone in which an image causing visual fatigue is located according to the analysis result; And
And a display unit configured to display visual fatigue of a user who is watching a video image in the time zone.
제 1 항에 있어서,
상기 생체 신호 센서는,
상기 비디오 영상을 시청하는 사용자의 뇌에서 발생하는 뇌파 신호를 아날로그 형태로 검출하도록 사용자의 머리에 부착되는 복수개의 단위 EEG 센서가 구비된 EEG 전극 캡을 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
The method of claim 1,
The biosignal sensor,
Visual fatigue of a 3D image comprising an EEG electrode cap equipped with a plurality of unit EEG sensors attached to the user's head to detect the EEG signals generated in the brain of the user watching the video image in an analog form Measuring device.
제 2 항에 있어서,
상기 생체 신호 센서는,
상기 비디오 영상을 시청하는 사용자의 눈에 대한 정보인 눈 깜빡임 및 수직, 수평 방향의 눈 움직임을 검출하는 적어도 두 개의 단위 EOG 센서를 구비한 EOG 전극을 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
 
The method of claim 2,
The biosignal sensor,
Visual fatigue of a three-dimensional image, characterized in that it comprises an EOG electrode having at least two unit EOG sensor for detecting eye blink and eye movement in the vertical and horizontal directions for the eye of the user watching the video image Measuring device.
제 3 항에 있어서,
상기 영상 제공부는,
상기 3차원 영상을 DSCQS(double-stimulus-continuous-quality-scale method)에 의해 단위 시간으로 분할하고 동일한 영상을 2차원 영상으로 변환하여 이를 번갈아가며 재생하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
The method of claim 3, wherein
The image providing unit,
Visual fatigue measurement of a 3D image, characterized in that the three-dimensional image is divided into unit time by the DSCQS (double-stimulus-continuous-quality-scale method), and the same image is converted into a 2D image and alternately reproduced. Device.
제 4 항에 있어서,
상기 영상 제공부는,
상기 단위 시간의 3차원 및 2차원 영상의 구간들 사이에 소정의 휴지 기간 동안 빈 화면을 제공하여 시청 중인 사용자의 시각 피로를 회복하고 사용자가 상이한 영상조건에 적응하도록 하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
The method of claim 4, wherein
The image providing unit,
3D image, characterized in that to provide a blank screen between the sections of the three-dimensional and two-dimensional image of the unit time for a predetermined rest period to recover the visual fatigue of the user watching and to adapt the user to different image conditions Visual fatigue measurement device.
제 5 항에 있어서,
상기 디코딩부는,
상기 아날로그 형태의 EEG 및 EOG 신호를 디지털 신호로 변환함으로써 3차원 영상을 보는 동안의 상기 사용자의 뇌파가 2차원 변환 영상을 볼 때의 뇌파와 상이함을 분석하기 위한 기반 데이터를 제공하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
 
The method of claim 5, wherein
The decoding unit,
By converting the analog EEG and EOG signals into digital signals, the user's brain waves while viewing the 3D image are provided with the basis data for analyzing the difference between the brain waves when viewing the 2D converted image. Visual fatigue measurement device of the three-dimensional image.
제 6 항에 있어서,
상기 생체 신호 분석부는,
상기 변환된 디지털 신호에 대하여 단위 시간으로 분할된 각각의 3차원 및 2차원 영상을 시청함에 있어 느끼는 시각 피로감의 시간대를 찾아내기 위하여 상기 3차원 및 2차원 영상의 시작점으로부터 소정의 시간 동안에 각각의 신호를 서로 비교하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
 
The method according to claim 6,
The bio signal analyzer,
Each signal for a predetermined time from the starting point of the three-dimensional and two-dimensional image in order to find the time zone of visual fatigue that is felt when viewing each of the three-dimensional and two-dimensional image divided into unit time for the converted digital signal Visual fatigue measurement apparatus of the three-dimensional image, characterized in that the comparison with each other.
제 7 항에 있어서,
상기 생체 신호 분석부는,
상기 단위 시간의 3차원 및 2차원 영상을 시청 중에 상기 복수개의 단위 EEG 센서에서 얻은 뇌파 신호의 퓨리에 변환(Fourier transform)된 전력 분포를 비교하여 통계적 차이를 보이는 시간-주파수의 정보를 검색하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
 
The method of claim 7, wherein
The bio signal analyzer,
While searching the three-dimensional and two-dimensional image of the unit time is compared to Fourier transform (Fourier transformed) power distribution of the EEG signals obtained from the plurality of unit EEG sensor to search for time-frequency information showing a statistical difference Visual fatigue measurement device of a three-dimensional image.
제 8 항에 있어서,
상기 생체 신호 분석부는,
상기 EOG 전극으로부터 수직 방향 EOG 신호와 수평 방향 EOG 신호를 수신하여 단위 시간 동안의 상기 사용자의 눈 깜박임 및 수직, 수평 방향의 눈 움직임의 빈도 및 강도를 측정하고 이를 사용자의 안정 상태에서의 안구 운동의 역치와 비교하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 장치.
The method of claim 8,
The bio signal analyzer,
Receiving a vertical EOG signal and a horizontal EOG signal from the EOG electrode to measure the frequency and intensity of eye blinks and eye movements in the vertical and horizontal directions during a unit time, and measure the frequency of eye movement in a stable state of the user. Visual fatigue measurement apparatus of a three-dimensional image, characterized in that the comparison with the threshold.
3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 측정하는 방법에 있어서,
3차원 영상이 포함된 비디오 영상을 3차원 안경을 착용한 사용자에게 제공하는 단계;
상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 단계;
상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 단계;
상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 단계;
상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간 정보를 저장하는 단계; 및
상기 비디오 영상을 시청 중인 사용자의 시각 피로감을 실시간으로 표시하는 단계를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 측정 방법.
In the method for measuring the visual fatigue of a user watching a three-dimensional video image,
Providing a video image including a 3D image to a user wearing 3D glasses;
Detecting an analog biosignal generated from the user;
Converting the analog signal detected from the sensor into a digital signal;
Analyzing the converted digital signal in real time through time-frequency conversion on the difference or change in the signal in unit time;
Storing time information at which an image causing visual fatigue is located according to the analysis result; And
And displaying the visual fatigue of the user who is watching the video image in real time.
3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 유발하는 요인을 추출하는 장치에 있어서,
3차원 영상이 포함된 비디오 영상을 사용자에게 제공하는 영상 제공부;
상기 제공된 비디오 영상을 상기 사용자가 3차원으로 인식할 있도록 변환시키는 3차원 안경;
상기 3차원 안경을 착용한 상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 생체 신호 센서;
상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 디코딩부;
상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 생체 신호 분석부;
상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간대를 저장하는 시간 정보 데이터베이스;
상기 비디오 영상을 시청 중인 사용자의 시선을 추적하여 촬영하는 카메라부;
상기 카메라부에서 촬영된 사용자의 시선을 분석하여 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하는 피로감 유발 요인 추출부; 및
상기 시간 정보 데이터베이스에 저장된 시간대에 있어서 상기 시각 피로감을 유발하는 공간적인 요인을 상기 추출부로부터 수신하여 디스플레이하는 표시부를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 유발 요인 추출 장치.
An apparatus for extracting a factor causing visual fatigue of a user watching a 3D video image,
An image providing unit providing a user with a video image including a 3D image;
Three-dimensional glasses for converting the provided video image to be recognized by the user in three dimensions;
A biosignal sensor detecting an analog biosignal generated from the user wearing the 3D glasses;
A decoding unit converting the analog signal detected by the sensor into a digital signal;
A biosignal analyzer configured to analyze the difference or change of the signal in unit time with respect to the converted digital signal in real time through time-frequency conversion;
A time information database storing a time zone in which an image causing visual fatigue is located according to the analysis result;
A camera unit tracking and capturing the eyes of a user who is watching the video image;
A fatigue inducing factor extracting unit which extracts a spatial factor causing visual fatigue in a 3D image by analyzing the eyes of the user photographed by the camera unit; And
And a display unit for receiving and displaying the spatial factors causing visual fatigue from the extracting unit in a time zone stored in the time information database.
제 11 항에 있어서,
상기 피로감 유발 요인 추출부는,
상기 카메라부로부터 사용자의 시선 이동 정보 및 해당 시간 정보를 수신하여 시선 이동 패턴을 분석하며,
상기 시선 이동 패턴은 상기 영상 제공부의 화면 좌표에 기준하여 저장된 패턴 정보로서, 상기 피로감 유발 요인 추출부는 2차원 영상의 시청에 비하여 3차원 영상의 화면 내에서 급격한 시선 이동 패턴을 보이는 영역 또는 짧은 시선 유지 시간을 보이는 영역을 시각 피로감 유발 요인으로 판단하는 것을 특징으로 하는 3차원 영상의 시각 피로감 유발 요인 추출 장치.
The method of claim 11,
The fatigue inducing factor extraction unit,
Receiving gaze movement information and corresponding time information of the user from the camera unit to analyze the gaze movement pattern,
The gaze movement pattern is pattern information stored based on screen coordinates of the image providing unit, and the fatigue-inducing factor extracting unit maintains an area or a short gaze showing a sudden gaze movement pattern in a screen of a 3D image as compared to viewing a 2D image. The apparatus for extracting visual fatigue factor of 3D image, wherein the visual region is determined as a factor causing visual fatigue.
제 12 항에 있어서,
상기 피로감 유발 요인 추출부는,
상기 3차원 영상의 시선 이동 패턴을 2차원 영상의 시청 중의 시선 이동 패턴과 대조하여 상기 두 시선 이동 패턴의 좌표 간의 편차로 교차 검증하는 것을 특징으로 하는 3차원 영상의 시각 피로감 유발 요인 추출 장치.
 
13. The method of claim 12,
The fatigue inducing factor extraction unit,
The apparatus for extracting visual fatigue factor of 3D image, wherein the eye movement pattern of the 3D image is compared with the eye movement pattern during viewing of the 2D image as a deviation between coordinates of the two eye movement patterns.
제 11 항에 있어서,
상기 피로감 유발 요인 추출부는,
상기 시간 정보 데이터베이스로부터 3차원 영상의 시청 중 생체 신호에서 통계적 이상신호가 나타난 시간대 정보를 수신하여, 상기 시간대에 있어서 사용자의 시선이 위치한 3차원 영상의 화면 영역을 시각 피로감 유발 영상요인으로 판단하는 것을 특징으로 하는 3차원 영상의 시각 피로감 유발 요인 추출 장치.
 
The method of claim 11,
The fatigue inducing factor extraction unit,
Receiving time zone information indicating a statistical abnormal signal from a bio-signal while viewing a 3D image from the time information database, and determining the screen area of the 3D image where the user's gaze is located as the visual fatigue-inducing image factor in the time zone. A device for extracting visual fatigue factor of a three-dimensional image.
3차원 비디오 영상을 시청하는 사용자의 시각 피로감을 유발하는 요인을 추출하는 방법에 있어서,
3차원 영상이 포함된 비디오 영상을 3차원 안경을 착용한 사용자에게 제공하는 단계;
상기 사용자로부터 발생한 아날로그 생체 신호를 검출하는 단계;
상기 센서로부터 검출된 아날로그 신호를 디지털 신호로 변환하는 단계;
상기 변환된 디지털 신호에 대하여 단위 시간에서의 상기 신호의 차이 또는 변화의 정도를 시간-주파수 변환을 통하여 실시간으로 분석하는 단계;
상기 분석 결과에 따라 시각 피로감을 유발하는 영상이 위치한 시간 정보를 저장하는 단계;
상기 비디오 영상을 시청 중인 사용자의 시선을 추적하는 단계;
상기 추적된 사용자의 시선을 분석하여 3차원 영상의 화면 내에서 시각 피로감을 유발하는 공간적인 요인을 추출하는 단계; 및
상기 시간 정보에 기초하여 상기 추출된 시각 피로감을 유발하는 공간적인 요인을 표시하는 단계를 포함하는 것을 특징으로 하는 3차원 영상의 시각 피로감 유발 요인 추출 방법.
In the method for extracting a factor causing visual fatigue of a user watching a 3D video image,
Providing a video image including a 3D image to a user wearing 3D glasses;
Detecting an analog biosignal generated from the user;
Converting the analog signal detected from the sensor into a digital signal;
Analyzing the converted digital signal in real time through time-frequency conversion on the difference or change in the signal in unit time;
Storing time information at which an image causing visual fatigue is located according to the analysis result;
Tracking the gaze of a user who is watching the video image;
Extracting a spatial factor causing visual fatigue in the screen of the 3D image by analyzing the tracked gaze of the user; And
And displaying the spatial factors causing the extracted visual fatigue based on the temporal information.
KR1020110027421A 2011-03-28 2011-03-28 Apparatus for measuring 3D display-induced visual discomfort, Apparatus for extracting 3D visual discomfort-inducing components automatically, and Method thereof KR101267637B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110027421A KR101267637B1 (en) 2011-03-28 2011-03-28 Apparatus for measuring 3D display-induced visual discomfort, Apparatus for extracting 3D visual discomfort-inducing components automatically, and Method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110027421A KR101267637B1 (en) 2011-03-28 2011-03-28 Apparatus for measuring 3D display-induced visual discomfort, Apparatus for extracting 3D visual discomfort-inducing components automatically, and Method thereof

Publications (2)

Publication Number Publication Date
KR20120109160A true KR20120109160A (en) 2012-10-08
KR101267637B1 KR101267637B1 (en) 2013-05-24

Family

ID=47280577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110027421A KR101267637B1 (en) 2011-03-28 2011-03-28 Apparatus for measuring 3D display-induced visual discomfort, Apparatus for extracting 3D visual discomfort-inducing components automatically, and Method thereof

Country Status (1)

Country Link
KR (1) KR101267637B1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101432044B1 (en) * 2013-01-28 2014-08-22 서울대학교산학협력단 Apparatus and method for measuring visual fatigue based on brain wave
WO2014133199A1 (en) * 2013-02-26 2014-09-04 재단법인부산정보산업진흥원 Method and system for converting stereoscopic image
KR20150140490A (en) * 2014-06-05 2015-12-16 한국과학기술연구원 Measurement method for cognitive fatigue and its apparatus based on auditory stimuli
KR101595546B1 (en) * 2014-10-07 2016-02-19 동국대학교 산학협력단 Apparatus, method and program for measuring visual fatigue
CN106667429A (en) * 2017-02-20 2017-05-17 重庆市肿瘤研究所 View induced motion sickness detecting method based on eye movement signals
CN106851374A (en) * 2017-03-13 2017-06-13 山东电子职业技术学院 A kind of digital home multimedia playing system
CN107280663A (en) * 2017-07-07 2017-10-24 南京邮电大学 A kind of method of the tired brain electrical feature research based on different experiments difficulty
CN109276227A (en) * 2018-08-22 2019-01-29 天津大学 Based on EEG technology to visual fatigue analysis method caused by three-dimensional Depth Motion
KR20190021812A (en) * 2017-08-24 2019-03-06 한국과학기술원 Method and apparatus for quantitative evaluation assessment of vr content perceptual quality using deep running analysis of vr sickness factors
CN109805923A (en) * 2019-01-29 2019-05-28 北京京东方光电科技有限公司 Wearable device, signal processing method and device
KR20190090556A (en) * 2018-01-25 2019-08-02 한국과학기술연구원 Apparatus and Method for Brain Function Evaluation using Binocular Rivalry, and Storage Medium Storing the Same
KR20200073109A (en) * 2018-12-13 2020-06-23 한국과학기술원 Method for vr sickness assessment considering neural mismatch model and the apparatus thereof
CN114253399A (en) * 2021-12-22 2022-03-29 Oppo广东移动通信有限公司 Equipment evaluation method, device, storage medium and electronic equipment

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104146701A (en) * 2014-07-22 2014-11-19 南京航空航天大学 Multi-mode 3D (three-dimensional) television health detecting system
KR102072788B1 (en) * 2015-04-30 2020-03-12 삼성전자주식회사 Portable apparatus and method for changing a screen of content
CN106534844A (en) * 2016-11-15 2017-03-22 中国科学院软件研究所 Three-dimensional display visual fatigue evaluation system and method based on electrocatdiogram and electrooculogram signals

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101432044B1 (en) * 2013-01-28 2014-08-22 서울대학교산학협력단 Apparatus and method for measuring visual fatigue based on brain wave
WO2014133199A1 (en) * 2013-02-26 2014-09-04 재단법인부산정보산업진흥원 Method and system for converting stereoscopic image
KR101459215B1 (en) * 2013-02-26 2014-11-07 재단법인부산정보산업진흥원 Method and system for converting streo-scopic image
KR20150140490A (en) * 2014-06-05 2015-12-16 한국과학기술연구원 Measurement method for cognitive fatigue and its apparatus based on auditory stimuli
KR101595546B1 (en) * 2014-10-07 2016-02-19 동국대학교 산학협력단 Apparatus, method and program for measuring visual fatigue
CN106667429B (en) * 2017-02-20 2018-05-04 重庆市肿瘤研究所 The vision that signal is moved based on eye induces cinetosis detection method
CN106667429A (en) * 2017-02-20 2017-05-17 重庆市肿瘤研究所 View induced motion sickness detecting method based on eye movement signals
CN106851374A (en) * 2017-03-13 2017-06-13 山东电子职业技术学院 A kind of digital home multimedia playing system
CN107280663A (en) * 2017-07-07 2017-10-24 南京邮电大学 A kind of method of the tired brain electrical feature research based on different experiments difficulty
KR20190021812A (en) * 2017-08-24 2019-03-06 한국과학기술원 Method and apparatus for quantitative evaluation assessment of vr content perceptual quality using deep running analysis of vr sickness factors
KR20190090556A (en) * 2018-01-25 2019-08-02 한국과학기술연구원 Apparatus and Method for Brain Function Evaluation using Binocular Rivalry, and Storage Medium Storing the Same
CN109276227A (en) * 2018-08-22 2019-01-29 天津大学 Based on EEG technology to visual fatigue analysis method caused by three-dimensional Depth Motion
KR20200073109A (en) * 2018-12-13 2020-06-23 한국과학기술원 Method for vr sickness assessment considering neural mismatch model and the apparatus thereof
CN109805923A (en) * 2019-01-29 2019-05-28 北京京东方光电科技有限公司 Wearable device, signal processing method and device
US11717163B2 (en) 2019-01-29 2023-08-08 Beijing Boe Optoelectronics Technology Co., Ltd. Wearable device, signal processing method and device
CN114253399A (en) * 2021-12-22 2022-03-29 Oppo广东移动通信有限公司 Equipment evaluation method, device, storage medium and electronic equipment

Also Published As

Publication number Publication date
KR101267637B1 (en) 2013-05-24

Similar Documents

Publication Publication Date Title
KR101267637B1 (en) Apparatus for measuring 3D display-induced visual discomfort, Apparatus for extracting 3D visual discomfort-inducing components automatically, and Method thereof
JP5460691B2 (en) Gaze target determination device and gaze target determination method
US9486156B2 (en) Eye fatigue determination apparatus and eye fatigue determination method
JP2022163153A (en) Method for determining focus of visual attention of subject from electroencephalographic signals, computer program, computer system, and system for determining focus of visual attention of subject from electroencephalographic signals
US10817057B2 (en) Information processing device, information processing method, and program
JPWO2012160741A1 (en) Apparatus and method for measuring visual fatigue level
WO2006091825A2 (en) System and method for quantifying and mapping visual salience
US20190175090A1 (en) Methods and systems for determining mental load
US10679394B2 (en) Information processing device, information processing method, computer program product, and biosignal measurement system
Heinrich et al. Body movement analysis during sleep based on video motion estimation
JP2020061194A (en) Method extracting facial appearance impression determining parts, method of extracting facial appearance impression determinants, and method of differentiating facial appearance impression
US9186056B2 (en) Device and method for determining convergence eye movement performance of a user when viewing a stereoscopic video
US20170258397A1 (en) Vestibular-Ocular Reflex Test and Training System
Jayawardena et al. Automated filtering of eye gaze metrics from dynamic areas of interest
JP6201520B2 (en) Gaze analysis system and method using physiological indices
CN108495584B (en) Apparatus and method for determining eye movement through a haptic interface
KR20100104330A (en) A system and method measuring objective 3d display-induced visual fatigue using 3d oddball paradigm
KR20220122047A (en) Visual ability measurement and evaluation method
WO2014107191A1 (en) Method and apparatus for correlating biometric responses to analyze audience reactions
Frey et al. Estimating visual comfort in stereoscopic displays using electroencephalography: A proof-of-concept
CN113576497A (en) Visual steady-state evoked potential detection system oriented to binocular competition
KR20150107511A (en) A method on the characteristics of space search shown at observation seen in the process of perception and recognition of space and system thereof
Qian et al. Intelligent Method for Real‐Time Portable EEG Artifact Annotation in Semiconstrained Environment Based on Computer Vision
Sakurai et al. Comparison of two techniques for gaze estimation system using the direction of eyes and head
JP2019024608A (en) Visual line detection and calibration method and system, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 7