KR101629414B1 - 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치 - Google Patents

휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치 Download PDF

Info

Publication number
KR101629414B1
KR101629414B1 KR1020140036705A KR20140036705A KR101629414B1 KR 101629414 B1 KR101629414 B1 KR 101629414B1 KR 1020140036705 A KR1020140036705 A KR 1020140036705A KR 20140036705 A KR20140036705 A KR 20140036705A KR 101629414 B1 KR101629414 B1 KR 101629414B1
Authority
KR
South Korea
Prior art keywords
frame
scenes
equation
denotes
scene
Prior art date
Application number
KR1020140036705A
Other languages
English (en)
Other versions
KR20150112461A (ko
Inventor
노준용
권재환
이상우
위대현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020140036705A priority Critical patent/KR101629414B1/ko
Publication of KR20150112461A publication Critical patent/KR20150112461A/ko
Application granted granted Critical
Publication of KR101629414B1 publication Critical patent/KR101629414B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

S3D 컨텐츠의 보급에 따라 효과적인 영화 프리뷰를 제공할 필요가 있음에도 기존의 프리뷰들은 2D 컨텐츠의 프리뷰 제작 방식에 따라 제작되어 S3D 컨텐츠의 특성이 고려되지 않는다는 문제점이 있었다.
본 발명은 이러한 문제점을 해결하기 위하여, 심도 범위, 휘도, 블러 및 모션 등의 휴먼 팩터들에 기초하여 각 장면들을 점수를 매기고, 장면들 사이의 심도 불연속을 고려하여 프리뷰를 생성함으로써 보다 시청자에게 효과적이면서도 시각적 피로를 줄일 수 있는 프리뷰를 제공할 수 있다.

Description

휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치{METHOD OF IMAGE EXTRACTION BASED ON HUMAN FACTORS AND APPARATUS THEREOF}
본 발명은 스테레오스코픽 이미지 추출 방법에 관한 것으로, 특히 휴먼 팩터 및 입체감을 고려한 스테레오스코픽 이미지 추출 방법에 관한 것이다.
그 심도(depth) 범위로 인하여, S3D(Stereoscopic three-dimensional) 비디오 클립들을 시청할 때, 2차원(2D: two-dimension) 컨텐츠들을 시청할 때에 비하여 시청자의 관찰 범위가 확장된다. 또한, 시청자는 더욱 해당 컨텐츠에 집중할 수 있다. 이와 관련하여, S3D 컨텐츠의 오브젝트와 심도 지각(depth perception)을 시청자가 어떻게 수용하는지에 대하여 연구되고 있다.
이와 관련하여, 본 발명의 선행문헌으로 참조되는 선행문헌 1(Neuman, Robert., "Concurrent monoscopic and stereoscopic animated film production." SIGGRAPH 2009: Talks. ACM, (2009))에는 시청자의 관심을 끌고 시청자의 집중을 증가시키기 위하여 심도 지각을 조정하는 방법에 대한 방법이 개시되어 있다.
그러나, 선행문헌 2(Lambooij, M., Fortuin, M., Heynderickx, I., and IJsselsteijn, W., "Visual discomfort and visual fatigue of stereoscopic displays: a review." Journal of Imaging Science and Technology 53.3 : 30201-1, (2012))에 개시된 바와 같이, 인간이 수용가능한 심도 지각의 양은 제한적인바, 지나치게 많은 S3D 효과는 시각적 피로를 유발함이 알려져 있다.
따라서, 많은 S3D 컨텐츠들이 일정한 가이드라인에 따라서 제작되고 있으나, 기술적 관점에서 심도 지각을 조정하는 것은 여전히 매우 복잡한 과정을 필요로 한다. 예를 들어, 순차적 장면들에서의 심도의 불연속은 시각적 피로를 유발하기 때문에, S3D 컨텐츠 제작에 있어서 세심한 주의를 필요로 한다.
이와 관련하여, 선행문헌 3(Lang, M., Hornung, A., Wang, O., Poulakos, S., Smolic, A., and Gross, M., "Nonlinear disparity mapping for stereoscopic S3D." ACM Transactions on Graphics (TOG) 29.4 : 75, (2010))에는, S3D 필름의 심도 지각을 조정하기 위한 비선형적 시차 매핑(nonlinear disparity mapping) 방법이 제시되고 있다.
그러나, 이러한 종래의 방법들은 편집을 마친 후에도 재-렌더링 처리를 필요로하며, 심도 지각만을 고려하여 심도의 연속성을 유지하기 때문에, 시청자의 주의를 끌만한 장면들을 선택하기가 어렵다는 문제가 있다.
S3D 컨텐츠가 널리 보급되고, S3D 컨텐츠의 적용 범위가 증가됨에 시청자들의 관심을 보다 빠르고 효과적으로 끌수 있는 프리뷰(preview)를 생성할 수 있는 방법에 대한 요구가 증가되고 있으나, 이러한 요구에도 불구하고, 상술한 시각적 피로 및 기술적 한계로 인하여 S3D 프리뷰는 2D 기술들을 이용하여 제작되어 왔다.
컨텐츠를 요약하여 프리뷰를 생성하기 위하여는, 가장 두드러지는 장면들 또는 프레임들을 선택하여 재구성할 필요가 있으나, S3D 컨텐츠와 2D 컨텐츠는 인지 메커니즘에 있어서 차이가 있기 때문에, 다음과 같은 요소들을 고려할 필요가 있다.
먼저, 심도 지각을 고려할 필요가 있다. S3D 컨텐츠들은 양안시차(binocular disparity)에 기초하여 제작되기 때문에, 시청자가 2D 컨텐츠를 시청할 때와 S3D 컨텐츠를 시청할 때는 인지적 상이점들이 존재한다. 시청자가 S3D 컨텐츠를 시청할 때, 시청자는 심도 지각으로 인하여 영상의 투영면으로부터 오브젝트가 돌출되거나 투영면으로 들어간 듯한 느낌을 받을 수 있으며, 뇌파의 알파파 및 베타파의 비율이 증가함에 따라 컨텐츠에 더욱 집중하게 된다.
또한, 심도 지각의 가변성을 고려할 필요가 있다. S3D 컨텐츠의 각 장면들 사이의 심도 지각의 간격이 크면 시청자의 시각적 피로가 증가하게 된다.
또한, 휘도를 고려할 필요가 있다. 인간 시각계는 색조 또는 채도의 변화보다는 휘도의 변화에 민감하기 때문에, 불충분한 휘도를 갖는 어두운 장면들은 심도 지각을 감소시킨다.
아울러, 심도 필드(DOF: Depth of Field)를 고려할 필요가 있다. 2D 컨텐츠는 심도 필드를 고려하여 블러(blur) 효과를 생성하나, 블러 효과는 S3D 컨텐츠의 심도 지각 효과를 감소시킨다.
나아가, 수평 방향으로 빠르게 이동하는 대상물 및 카메라를 고려할 필요가 있다. 인간 시각계는 심도 지각을 인식하기 위하여 양안시차를 이용하기 때문에, 수평방향의 빠른 움직임은 심도 지각을 감소시킬 뿐만 아니라, 시각적 피로를 급격히 증가시킨다.
그러나, 종래에는 2D 정보들을 이용하여 이미지 및 비디오들을 요약하였기 때문에, S3D 컨텐츠에 종래의 방법들을 적용하면 S3D 효과들이 감소되며, 종래의 방법에 따라 생성된 프리뷰는 시각적 피로를 증가시킬 수 있다.
따라서, 본 발명은 상술한 문제점들을 해소하기 위하여, 깊이감, 시각적 피로를 유발하는 요소들 및 휴먼 팩터(human factor)들을 고려한 프리뷰 생성 방법 및 스테레오스코픽 이미지 추출 방법을 제시하고자 한다.
본 발명의 일 실시예에 따른 이미지 추출 장치는 메모리 및 메모리에 커플링된 프로세서를 포함하고, 메모리는, 실행되었을 때 프로세서로 하여금, S3D컨텐츠의 장면들을 포함하는 데이터를 수신하게 하는 명령들, 수신된 데이터를 분석하여 휴먼 팩터(human factor)들을 추출하게 하는 명령들, 휴먼 팩터들에 기초하여 장면들 각각에 대하여 점수를 매기도록 하는 명령들, 및 상기 점수에 기초하여 발생 순서(chronological order)에 따라 장면들을 배열하고 심도(depth) 안정화를 수행하여 상기 S3D 컨텐츠의 프리뷰(preview)를 생성하는 명령들을 포함하고, 장면들 각각은 하나 이상의 프레임들을 포함하고, 휴먼 팩터들은, 프레임 내의 좌측 이미지와 우측 이미지 사이의 수평적 광학 흐름을 비교함으로써 계산되는 심도 범위, 프레임 내의 이미지의 히스토그램을 분석함으로써 계산되는 휘도, 프레임 내의 이미지에 대한 이산 코사인 변환(discrete cosine tranform)에 따른 주파수 분석에 기초하여 계산되는 블러(blur), 및 이전 프레임과 현재 프레임 사이의 수평적 움직임을 측정함으로써 계산되는 모션(motion)을 포함하한다. 또한, 장면들을 배열하고 심도 안정화를 수행하도록 하는 명령들은, 장면들 사이의 심도 연속성에 기초한 페널티 및 장면들 각각에 대하여 매겨진 점수에 기초하여 장면들로부터 하나의 장면을 삭제하고, 남은 장면들에 대한 재생 시간이 미리결정된 재생 시간보다 적을 때까지 페널티 및 점수에 기초하여 하나의 장면을 삭제하는 것을 반복하도록 하는 명령들을 포함할 수 있다.
본 발명에서 개시된 기술은, S3D 컨텐츠로부터 심도 지각 및 심도 연속성과 관련된 S3D 심도 품질에 있어서 양호한 장면들을 추출할 있으며, 채점 방식을 통하여 시청자에게 S3D 효과를 가장 효과적으로 제공할 수 있으며, 장면들 사이의 심도 연속성을 고려함으로써 S3D 프리뷰를 효과적으로 그리고 자동적으로 생성할 수 있다. 다만, 특정 실시예가 상술한 효과를 전부 포함하여야 한다거나, 상술한 효과만을 포함하여야 하는 것은 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되서는 아니 될 것이다.
도 1은 양안시차에 따라 두 개의 상이한 이미지가 하나의 S3D 이미지로 합성되는 과정의 개략도이다.
도 2는 연속적 심도와 불연속적 심도의 그래프이다.
도 3은 얕은 심도 필드를 갖는 이미지와 깊은 심도 필드를 갖는 이미지를 도시한다.
도 4는 본 발명의 일 실시예에 따른 S3D 프리뷰 생성 방법의 개략도이다.
도 5는 본 발명의 일 실시예에 따른 광학적 흐름을 도시한다.
도 6은 본 발명의 일 실시예에 따라 계산된 심도 범위를 도시하는 그래프이다.
도 7은 휘도 히스토그램(histogram)의 예시를 도시한다.
도 8은 스큐(skewness)의 형태의 예시를 도시한다.
도 9는 본 발명의 일 실시예 따른 흐름도를 도시한다.
본문에 개시되어 있는 본 발명의 실시예들에 대하여, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "커플링되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서, 클립(clip)과 장면(scene)은 동일한 의미로서 사용되며, 하나의 장면은 하나 이상의 프레임들을 포함할 수 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
S3D 시스템에서의 휴먼 팩터는, S3D 컨텐츠를 시청하는 시청자들의 신체적 불편을 최소화하고 동시에 의도된 심도 지각의 인식을 최대화하는 것과 관련되어 있다. 이하에서는 휴먼 팩터들에 대하여 설명한다.
먼저, 시차(Disparity) 및 심도 연속성에 대하여 설명한다. 양안 시차가 심도 지각의 기초 원리이며 심도 지각의 가장 중요한 요소임이 널리 알려져있다. 심도 지각은 인간의 두 눈 사이의 거리에 기인하여 발생한다. 즉, 두 눈이 서로 상이한 이미지를 관찰하여 이 이미지들을 뇌로 전달하고, 뇌는 전달된 상이한 이미지를 합성하여 3차원 이미지를 생성한다. 이러한 두 눈 사이의 시차는 양안시차로 불린다. 도 1은 양안시차에 따라 두 개의 상이한 이미지가 하나의 S3D 이미지로 합성되는 과정을 개략적으로 도시하고 있다.
현재, S3D 컨텐츠들은 이러한 양안시차의 원리에 기초하여 2개의 카메라를 위용하여 인공적으로 심도 지각을 생성하는 방법으로서 제작되고 있다. 다만, 사람이 실제 오브젝트를 볼 때에는, 가까이 있는 오브젝트를 관찰하기 위하여 두 눈 사이의 안쪽으로 안구를 회전하고, 멀리 있는 오브젝트를 관찰하기 위하여 두 눈의 바깥쪽으로 안구를 회전하나, 심도가 인공적으로 생성된 S3D 컨텐츠를 시청할 때에는 안구의 움직임 없이 스크린에 고정되기 때문에, "조절-수렴 불일치(accomodation-convergence mismatch"로 알려진 이러한 현상에 의하여 시각적 피로가 유발된다. 따라서, 이러한 시각적 피로를 줄이기 위하여는, 시청자가 장면의 심도에 적응할 수 있도록, 이전 장면의 심도와 후속 장면의 심도가 유사하도록 영화를 제작할 필요가 있다.
도 2는 연속적 심도와 불연속적 심도의 그래프이다. 도 2에서, 그래프의 세로축은 해당 장면의 심도를 나타내며, 그래프의 가로축은 장면의 흐름을 의미한다. 도 2에 도시된 바와 같이, 도 2의 (a)는 각 장면의 심도가 불연속한 점 없이 연속적으로 이어지고 있는 반면, 도 2의 (b)에는 심도 도약(depth jump)라고도 알려진 심도 불연속 점들이 도시되어 있다.
또한, 인간 시각계는 색조 또는 채도의 변화보다는 휘도의 변화에 민감하기 때문에 휘도는 S3D 컨텐츠 생성에 있어서 중요한 기준이 된다. 또한, 휘도는 심도 필드에 영향을 주기 때문에, 불충분한 휘도를 갖는 어두운 장면들은 심도 지각을 감소시킨다. 따라서, 각 장면이 충분한 휘도를 갖도록 할 필요가 있다.
도 3은 얕은 심도 필드를 갖는 이미지와 깊은 심도 필드를 갖는 이미지로서, 도 3의 (a)는 얕은 심도 필드를 갖는 블러가 적용된 이미지이며, (b)는 깊은 심도 필드를 갖는 선명한 이미지이다. 심도 필드는 심도 지각에 큰 영향력을 미치는 요소로서, 장면 내의 가장 가까운 물체와 가장 먼 물체 사이의 거리 및 물체가 얼마나 선명하고 명확하게 보이는지와 관련이 있다. 2D 컨텐츠는 심도 지각을 증가시키기 위하여 포커스 아웃(focus out)과 같은 블러 효과를 이용하는 반면, S3D 컨텐츠는 장면의 모든 부분이 선명할 때 더 나은 심도 지각을 제공한다. 따라서, S3D 컨텐츠는 딥-포커스(deep-focus) 방법을 이용하여 장면의 전경(foreground), 중경(middle-ground) 및 배경(background)의 모든 디테일을 캡쳐한다.
또한, 인간 시각계는 심도 지각을 인식하기 위하여 수평 양안 시차를 이용하는 반면, 심도 지각을 인식하기 위하여 종적, 회전 및 크기 시차를 이용하지 않기 때문에, 수평 양안 시차만이 시각적 피로를 유발하는 요소이다. 이러한 이유에서, S3D 컨텐츠의 카메라 또는 물체가 수평방향으로 빠르게 움직일 때, 시각적 피로가 증가하고 심도 지각이 감소한다. 또한, 후두엽의 베타 파라미터의 비율이 다른 요소들에 비하여 높을 때, 시각 정보 인지가 어려워지므로, 수평적 움직임은 뇌에 부담을 준다. 따라서, S3D 컨텐츠의 심도 지각을 효과적으로 전달하기 위하여, 빠른 수평적 움직임을 최소화할 필요가 있다.
도 4는 본 발명의 일 실시예에 따른 S3D 프리뷰 생성 방법의 개략도이다. 도 4에 도시된 바와 같이, 먼저, 모든 장면들의 시퀀스를 입력 데이터로서 수신(S400)한다. 또한, 수신된 입력 데이터를 분석하여 특징을 추출(S410)한다. 이때, 추출된 특징은 시차 범위(disparity range), 휘도, 블러 및/또는 모션(motion)을 포함할 수 있다. 또한, 추출된 특징에 기초하여 각 장면의 점수를 매긴다(S420). 각 장면의 점수는 각 특징들의 선형적 조합에 의하여 계산될 수도 있다. 또한, 장면의 배열 및 심도 안정화를 동시에 수행(S430)한다. 장면의 배열 및 심도 안정화(S430)는 각 장면들의 점수에 기초하여 입력된 장면들 중 하나 이상의 장면들을 발생 순서대로 배열함으로써 달성될 수 있으며, 장면들 사이의 심도 연속성을 동시에 고려함으로써 달성될 수도 있다. 이러한 과정들을 거쳐 요약된 장면들의 시퀀스(프리뷰)를 획득(S440)한다.
이하에서는, 본 발명의 일 실시예 따른, 각 장면의 점수를 매기는 방법에 대하여 구체적으로 설명한다. 상술한 바와 같이, 심도 연속성, 휘도, 블러, 빠른 움직임이 S3D 컨텐츠의 심도 지각에 영향을 주는바, "넓은 심도 범위(depth range)를 갖는 장면", "어둡지 않은 장면", "블러(blur)하지 않은 장면" 및 "오브젝트 또는 카메라의 움직임이 빠르지 않은 장면"이 각 장면의 점수를 매기는 기준이 될 수도 있다.
먼저, "심도 범위"에 대하여 설명한다. "심도 범위"를 계산하기 위하여는 좌우의 이미지를 이용하여 시차를 계산하여야 하는바, 본 발명의 일 실시예는, 빠른 계산을 위하여 다음과 같은 방법에 따라 시차를 계산하고 있다.
우선, 좌우의 이미지들로부터의 동일한 특징들을 추적하고 광학적 흐름(optical flow)을 추정하기 위하여 Shi-Tomasi 및 Lucas-Kanade 알고리즘을 적용하였다. 또한, 수평 움직임의 광학적 흐름만을 고려하므로, 기울기가 0이 아닌 광학적 흐름을 모두 제거하였다.
도 5는 본 발명의 일 실시예에 따른 광학적 흐름을 도시한다. 즉, 도 5의 (a)좌측 이미지와 (b)우측 이미지로부터 추정된 광학적 흐름이 (c)에 도시되어 있다.
Shi-Tomasi 및 Lucas-Kanade 알고리즘에 의하여 추정된 광학적 흐름을 이용하여 i번째 프레임의 좌측 이미지와 i번째 프레임의 우측 이미지 사이의 시차
Figure 112014030068433-pat00001
를 다음과 같이 계산할 수 있다.
Figure 112014030068433-pat00002
수학식 1에서, i는 i번째 프레임을 의미하며, k는 k번째 광학적 흐름(예를 들어, 도 5의 (c)에 도시된 여러 선들)을 의미한다. 또한,
Figure 112014030068433-pat00003
는 i번째 프레임의 좌측 이미지의 k번째 광학적 흐름의 x 좌표이며,
Figure 112014030068433-pat00004
는 i번째 프레임의 우측 이미지의 k번째 광학적 흐름의 x 좌표이다. 여기서, i, k는 1 이상의 정수이다.
위 수학식 1을 통하여 얻어진 시차
Figure 112014030068433-pat00005
를 이용하여 심도 범위를 계산할 수 있다. 심도 범위는 클립(clip) 내에서 시차가 얼마나 넓게 펼쳐져있는지를 보여주는 분산(variance)에 의하여 구해질 수 있다. 총 심도 범위가 포지티브 시차 범위를 가지면 장면이 화면의 뒤쪽에 있음을 의미하며, 네가티브 시차 범위를 가지면 장면이 화면의 앞쪽에 있음을 의미한다. i번째 프레임의 심도 범위
Figure 112014030068433-pat00006
는 다음과 같이 계산될 수 있다.
Figure 112014030068433-pat00007
수학식 2에서, n은 광학적 흐름의 숫자를 의미하고,
Figure 112014030068433-pat00008
는 i번째 프레임의 시차의 평균을 의미하며, 다음과 같은 수학식 3에 의하여 계산될 수 있다.
Figure 112014030068433-pat00009
도 6은 본 발명의 일 실시예에 따라 계산된 심도 범위를 도시하는 그래프이다.
이하에서는, 휘도에 대하여 설명한다. 인간 시각계가 휘도의 변화에 가장 민감하고 어두운 장면들에서 심도 지각이 급격히 감소함이 널리 알려져 있는바, 본 발명의 일 실시예는, 휘도 히스토그램(histogram)들을 분석함으로써 각 장면의 휘도를 계산한다.
히스토그램은 추출된 피쳐(feature)들의 발생 횟수의 합으로써, 주어진 데이터의 분포의 전체 통계적인 그래프를 도시한다. 도 7은 휘도 히스토그램의 예시로써, 히스토그램의 수평축은 밝기(brightness) 레벨을 의미하며, 히스토그램의 수직축은 상이한 색깔들의 각 밝기 레벨에 해당되는 픽셀들의 숫자를 의미한다. 따라서, 도 7의 (a)에 도시된 바와 같이 히스토그램이 좌편향되었을때 장면이 어둡고, (b)에 도시된 바와 같이 히스토그램이 우편향되었을때 장면이 밝다는 것을 의미한다. 또한, 히스토그램의 이미지를 분석하여 노출 레벨을 결정할 수도 있다.
예를 들어, 8비트로 양자화된 이미지들은, 픽셀의 밝기가 0 부터 255 레벨로 표현될 수 있으며, 이 경우, 휘도 히스토그램은, 0 부터 85 레벨은 쉐도우(shadow) 범위를 갖고, 86 부터 170 레벨은 미드톤(mid-tone) 범위를 가지며, 171 부터 255 레벨은 하이라이트(highlight) 범위를 가질 수 있다.
본 발명의 일 실시예는, 이미지가 밝은지 어두운지를 결정하기 위하여 다음의 수학식 4를 이용한다.
Figure 112014030068433-pat00010
수학식 4의 등호 오른편의 함수는 인디케이터 함수 [f]로써, 인수 [f]가 참이면 1을 반환하고, 그 외의 경우에는 0을 반환한다. 수학식 4에서 i는 i번째 프레임을 의미하며, 임계값 T는 미리 설정된 값으로서, 예를 들어, 0.8일 수도 있다.
위 수학식 4에서, 휘도 히스토그램의 256개의 모든 빈(bin)들에 할당된 픽셀들의 총 숫자를 1이라고 하면, 다음을 만족한다.
Figure 112014030068433-pat00011
즉, 수학식 4의
Figure 112014030068433-pat00012
은 전체 빈들의 0 내지 1/3 지점까지에 존재하는 빈들에 할당된 픽셀들의 숫자가(총 픽셀들의 수가 1이라 가정하였을 때) 임계값 T 이상임을 의미하며, 휘도 히스토그램의 가장 어두운 영역으로부터 전체의 1/3지점까지에 존재하는 픽셀 숫자들에 대한 전체 픽셀 숫자들의 비율이 임계값 T 이상임을 의미한다. 또한,
Figure 112014030068433-pat00013
는 프레임의 평균값에 대응하는 빈이 0번째 내지 85번째 빈 사이에 있을 것을 의미한다. 수학식 4에서는 256개의 빈을 기준으로 하여 그 평균값이 0 내지 85번째 빈 사이에 있을 것을 하나의 조건으로 하고 있으나, 히스토그램의 가장 어두운 부분으로부터 1/3지점에 해당하는 위치 내에 프레임의 휘도 평균값이 존재할 때에도 위 조건을 만족한다. 따라서, 휘도 히스토그램의 256개의 모든 빈(bin)들에 할당된 픽셀들의 총 숫자를 1이라고 가정할 때, 이미지의 쉐도우 영역 내의 픽셀 숫자들의 합이 임계값(예를 들어, 0.8) 이상임을 만족하고, 동시에, 이미지의 휘도의 평균값에 대응하는 빈이 빈들 중 0 내지 85번째 빈 사이에 있음을 만족하면 인디케이터 함수는 1을 반환하고, 그 외의 경우에는 0을 반환한다.
이러한 두가지 조건을 동시에 만족시키는지를 판단하는 것은, 인간 시각계는 적색 및 청색 채널보다 녹색 채널에 더욱 민감하기 때문에, 실제로 어둡지 않은 이미지가 어두운 이미지로 판단되는 것을 방지하기 위한 것이다.
다음으로, i번째 프레임의 스큐(skewness)
Figure 112014030068433-pat00014
를 계산하기 위하여 Pearson 스큐 계수를 이용한다. i번째 프레임의 스큐
Figure 112014030068433-pat00015
는 다음의 수학식 6에 의하여 계산될 수 있다.
Figure 112014030068433-pat00016
위 수학식 6에서,
Figure 112014030068433-pat00017
는 i번째 프레임의 히스토그램의 평균을 의미하며,
Figure 112014030068433-pat00018
는 i번째 프레임의 히스토그램의 중앙치(median)를 의미하며,
Figure 112014030068433-pat00019
는 i번째 프레임의 히스토그램의 표준편차를 의미한다.
도 8은 스큐의 형태를 도시한다. 도 8의 그래프 (a)는 포지티브 스큐를 도시하는 것으로써, 분배가 좌측으로 스큐되어 있어 결과값이 양의 실수를 갖는다. 도 8의 그래프 (b)는 네가티브 스큐를 도시하는 것으로써, 분배가 오른쪽으로 스큐되어 있어 결과값이 음의 실수를 갖는다. 스큐의 정의에 따라서, 만약 이미지가 어둡다면 픽셀의 분배는 좌측으로 스큐되어
Figure 112014030068433-pat00020
는 양의 실수를 가지며, 이미지가 어두울수록, 더 큰 양의 실수를 가지게 된다.
결과적으로, i번째 프레임의 휘도
Figure 112014030068433-pat00021
는 다음과 같이 계산될 수 있다(수학식 5 및 6 참조).
Figure 112014030068433-pat00022
이하에서는 심도 필드(블러)에 대하여 설명한다. 블러는 에지(edge)의 선명함의 반대로써 정의될 수 있기 때문에, 블러 장면들을 검출하기 위하여, 0이아닌 DCT(Discrete Cosine Transform) 계수들의 히스토그램 계산에 기초하여 블러를 계산할 수 있다. DCT 계수들은 저주파 영역의 하나의 DC 계수와 고주파 영역의 AC 계수들로 구성되기 때문에, DCT 변환을 수행하면, 주파수 데이터는 저주파 영역(DC)에 집중된다. 또한, 고주파 영역(AC) 데이터는 클립(clip)으로부터의 노이즈 또는 덜 주목할만한 데이터로 구성되기 때문엔 주파수 성분으로부터 제거될 수 있다. 따라서, 에지들의 선명한 부분은 고 주파수 영역(AC)에 존재하므로, 더 많은 값들이 AC 계수들에 위치할 것이다. 그러므로, 얼마나 많은 값들이 AC 계수들에 존재하는지를 판단함으로써 블러 이미지를 구별할 수 있다. i번째 프레임의 블러
Figure 112014030068433-pat00023
는 다음과 같이 계산될 수 있다.
Figure 112014030068433-pat00024
위 수학식 8에서 알 수 있는 바와 같이, DC 주파수 계수, 즉, 0 또는 0에 근접한 주파수를 갖는 계수의 비율을 계산함으로써 i번째 프레임의 블러
Figure 112014030068433-pat00025
가 계산될 수 있다.
이하에서는, 모션(motion)에 대하여 설명한다. 모션
Figure 112014030068433-pat00026
는 하나의 프레임으로부터 다른 프레임으로의 움직임을 계산하는 것으로써, 상술한 시차를 구하는데 이용된 방법과 유사한 방법을 이용하여 계산될 수 있다. 즉, 모션항은 하나의 프레임과 그 다음 프레임 사이의 광학적 흐름을 계산함으로써 구하여질 수 있다. 상술한 바와 같이, 인간의 눈은 수평적 움직임에 더욱 민감하므로, 수평적 움직임이 아닌 움직임은 제외하였으며, i번째 프레임의 모션항
Figure 112014030068433-pat00027
는 다음과 같이 정의된다.
Figure 112014030068433-pat00028
위 수학식 9에서 i는 i번째 프레임을, k는 k번째 광학적 흐름을, n은 검출된 광학적 흐름의 숫자를, 모션항
Figure 112014030068433-pat00029
는 i번째 프레임의 모션의 평균값을 의미한다.
이하에서는, 본 발명의 일 실시예에 따른 각 장면의 점수를 매기는 방법을 설명한다. 상술한 휴먼 팩터들(심도 범위, 휘도, 심도 필드(블러) 및/또는 모션)에 기초하여 각 프레임의 점수가 매기어 진다. 각 프레임의 점수는 휴먼 팩터들에 기초한 점수를 선형 조합하여 구하여 질 수 있다.
예를 들어, i번째 프레임의 최종 점수
Figure 112014030068433-pat00030
은 다음과 같이 계산될 수 있다.
Figure 112014030068433-pat00031
위 수학식 10에서,
Figure 112014030068433-pat00032
은 i번째 프레임의 최종 점수이고,
Figure 112014030068433-pat00033
은 선형 조합을 위한 가중치이다. 또한,
Figure 112014030068433-pat00034
는 심도 범위
Figure 112014030068433-pat00035
(수학식 2 참조)를 10 내지 20 사이의 값으로 정규화한 것이며,
Figure 112014030068433-pat00036
,
Figure 112014030068433-pat00037
및
Figure 112014030068433-pat00038
는 휘도, 블러항, 모션항(각각 수학식 8, 9, 10 참조)을 0 내지 10 사이의 값으로 정규화한 것이다. 또한, 가중치
Figure 112014030068433-pat00039
은
Figure 112014030068433-pat00040
및
Figure 112014030068433-pat00041
을 만족한다. 또한,
Figure 112014030068433-pat00042
= 0.5,
Figure 112014030068433-pat00043
= 0.3,
Figure 112014030068433-pat00044
= 0.2 일 수도 있다.
또한, i번째 장면의 점수
Figure 112014030068433-pat00045
은 다음과 같이 계산될 수 있다.
Figure 112014030068433-pat00046
위 수학식 11에서 i는 i번째 장면을 의미하며, k는 k번째 프레임을, 그리고 n은 장면 내의 프레임의 숫자를 의미한다. 모든 장면들에 대한 점수가 매겨지면, 장면 배열 및 심도 안정화를 진행한다.
2D 프리뷰들이 사람들의 주의를 끌기 위하여 매력적인 장면들로 구성된다는 점을 고려할 때, S3D 컨텐츠의 프리뷰는 심도 지각에 의한 인상을 경험하도록 할 필요가 있다. 따라서, 효과적인 S3D 프리뷰를 제작하기 위하여는, 심도 불연속(심도 도약)을 고려하는 동시에, 장면들의 최적 시퀀스를 찾는 것에 주목할 필요가 있다. 장면들의 최적 시퀀스를 찾는 일은, 주어진 장면들의 세트로부터, 장면들의 점수의 합을 최대화하는 동시에 장면들 사이의 심도 차이를 최소화하는 최적화 프로세스를 필요로 한다. 이러한 최적화 문제는 조합 최적화 문제의 하나로써 그 해결이 용이하지 않은 NP-완전(Non-deterministic Polynomial time-Complete)의 일부이다. 이와 같은 문제를 해결하기 위하여 모든 가능한 경우의 장면의 조합을 시도한다면, 그 비용 및 시간이 급격히 증가하게 된다.
그러나, 영화 프리뷰의 몇몇 특징을 감안한다면 그리디(greedy) 근사 접근을 이용하여 이 문제를 해결할 수 있다. 영화 프리뷰의 특징은 다음과 같다. 첫째, 종래의 영화 프리뷰들이 덜 중요한 장면으로 구성되었다면, 최근의 영화 프리뷰들은 시청자들이 플롯(plot)을 더 잘 이해할 수 있도록 발생 순서대로 시퀀스된 더욱 영향력 있는 부분들로 구성된다. 둘째, 프리뷰는 영화 전체를 보여주기 위한 것이 아니라, 짧은 시간 프레임(보통 30~60초) 내의 영화의 일부를 보여주기 위한 것이다. 따라서, 상술한 영화 프리뷰의 첫 번째 특징을 참조할 때, 모든 장면들을 발생 순서대로 배열할 수 있으며, 이에 따라, 조합 최적화 문제를 순열 최적화 문제로 바꿀 수 있다. 또한, 상술한 영화 프리뷰의 두 번째 특징을 참조하면, 시청자로 하여금 재생 시간을 입력하도록 할 수 있으며, 이는 장면 배열에 대한 시간 제약으로써 이용될 수 있다.
심도 연속성을 구하기 위하여, 상술한 광학 흐름을 구하기 위하여 이용한 방법과 유사한 방법을 이용함으로써, 장면의 첫 번째 및 마지막 프레임의 포지티브 시차 및 네가티브 시차를 다음과 같이 계산할 수 있다.
Figure 112014030068433-pat00047
Figure 112014030068433-pat00048
Figure 112014030068433-pat00049
Figure 112014030068433-pat00050
위 수학식 12 내지 15에서 k는 k번째 광학 흐름을 의미하며, i는 i번째 장면을 의미하며, n은 검출된 광학적 흐름의 숫자를 의미한다. 또한,
Figure 112014030068433-pat00051
는 i번째 장면의 첫 번째 프레임의 네가티브 시차를,
Figure 112014030068433-pat00052
는 i번째 장면의 첫 번째 프레임의 포지티브 시차를,
Figure 112014030068433-pat00053
는 i번째 장면의 마지막 프레임의 네가티브 시차를,
Figure 112014030068433-pat00054
는 i번째 장면의 마지막 프레임의 포지티브 시차를 각각 의미한다.
한편, 심도 안정화 및 장면 배열 프로세스 중에, 큰 심도 차이를 갖는 장면들이 시퀀스된다면, 심도 차이에 의하여 장면의 점수
Figure 112014030068433-pat00055
을 감소시켜 이를 최종 점수에 반영할 필요가 있다. 따라서, 심도 차이가 클수록, 점수가 감소된다. 이러한 방법은 점수와 심도 차이를 동시에 고려하여 하나의 프로세스로 문제를 해결하기 때문에, 높은 점수를 갖는 장면들을 선택한 후에 장면들을 배열하는 그리디 알고리즘에 비하여 효과적이다. 수학식 12 내지 15를 통하여 계산된 네가티브 시차와 포지티브 시차를 이용하여, 장면들이 발생 순서에 따라 시퀀스되었을 때 발생할 수 있는 모든 가능한 심도 차를 계산할 수 있다. 예를 들어, 5개의 상이한 장면들이 있는 경우, 두 연속하는 장면들 사이의 심도차(DOD: Differce Of Depth)
Figure 112014030068433-pat00056
는 확률
Figure 112014030068433-pat00057
이다. 따라서, 두 연속하는 장면들 사이의 심도차는 다음과 같이 표현될 수 있다.
Figure 112014030068433-pat00058
위 수학식 16에서 i는 i번째 장면이고 i+n은 i번째 장면으로부터 n번째 장면을 의미한다.
수학식 16에 의하여 계산된 모든
Figure 112014030068433-pat00059
는 0 내지 1의 값으로 정규화되므로,
Figure 112014030068433-pat00060
는 1에 대응하며,
Figure 112014030068433-pat00061
은 0에 대응한다.
또한, 연속성 페널티
Figure 112014030068433-pat00062
는 다음과 같이 정의될 수 있다.
Figure 112014030068433-pat00063
위 수학식 17에서 i는 i번째 장면을 i+n은 i번째 장면으로부터 n번째 장면을 의미한다.
이하에서는,
Figure 112014030068433-pat00064
및
Figure 112014030068433-pat00065
을 이용하여 최적의 프리뷰를 생성하는 방법에 하여 설명한다.
본 발명의 일 실시예는 장면들의 초기 세트
Figure 112014030068433-pat00066
로부터 장면들의 최적 시퀀스
Figure 112014030068433-pat00067
를 찾기 위한 알고리즘을 제공한다. 여기서
Figure 112014030068433-pat00068
는 발생 순서대로의 장면들의 요약세트이며, n은 장면들의 숫자이며,
Figure 112014030068433-pat00069
는 i번째 장면의 점수이며, t는 t번째 반복을 의미한다.
첫째, n을 장면들의 총 숫자로써 초기화한다.
둘째, 모든 장면들의 점수의 페널티-가중된 합을 최대화하는 i번째 장면을 다음의 수학식 18에 따라 검출한다.
Figure 112014030068433-pat00070
상기 수학식 18에서,
Figure 112014030068433-pat00071
은 전체 장면 세트로부터 하나의 장면이 부족한 세트이며,
Figure 112014030068433-pat00072
는 i번째 장면을 의미한다. 또한,
Figure 112014030068433-pat00073
는 다음과 같이 정의될 수 있다.
Figure 112014030068433-pat00074
또한, 위 수학식 19에서 페널티는 다음과 같이 정의된다.
Figure 112014030068433-pat00075
셋째, 상기 수학식 18에 의하여 구하여진 i번째 장면을
Figure 112014030068433-pat00076
으로부터 삭제한다. 따라서, 다음과 같은 관계가 성립한다.
Figure 112014030068433-pat00077
상술한 전체 장면들의 세트의 장면들의 숫자의 초기화, i번째 장면의 검출, 검출된 i번째 장면의 삭제가 본 프로세스의 1 라운드를 의미하며, 시청자로부터 수신되거나 미리 정의된 재생 시간 보다 요약된 장면들의 재생 시간이 짧을 때까지 라운드가 반복된다. 이러한 과정을 통하여 장면들의 최적 시퀀스를 구할 수 있다.
도 9는 본 발명의 일 실시예 따른 흐름도를 도시한다. 도 9에 도시된 바와 같이, 먼저, 반복 횟수 t를 1로 설정하고 모든 장면들의 숫자를 n을 설정한다(S902). 또한, 모든 장면들을 포함하는 어레이
Figure 112014030068433-pat00078
을 설정(S903)하고, 상술한 수학식 19를 모든 장면들에 대하여 계산(S904)하여, 수학식 18을 만족하는 장면을 검출하여 이를
Figure 112014030068433-pat00079
으로부터 제거(S905)한다. 남은 장면들에 대하여 재생시간을 계산(S906)하고, 계산된 재생시간이 T보다 크거나 같으면 상술한 단계 S903 내지 S906을 다시 반복하고, 계산된 재생시간이 T보다 작으면 프로세스를 종료(S908)한다. 한편, 도 9에는 도시되지 않았으나, T는 미리 설정된 재생 시간일 수도 있고, 사용자 또는 시청자로부터 미리 입력된 재생 시간일 수도 있다.
한편, 본 발명은 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 실행 가능한 명령들에 의하여 구현될 수 있다. 본원의 컴퓨터 판독가능 저장 매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
컴퓨터 판독가능 저장 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파 (예를 들어, 인터넷을 통한 전송) 의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상술한 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (23)

  1. 메모리 및 상기 메모리에 커플링된 프로세서를 포함하는 이미지 추출 장치로서,
    상기 메모리는, 실행되었을 때 상기 프로세서로 하여금,
    S3D(Stereoscopic three-dimensional) 컨텐츠의 장면(scene)들을 포함하는 데이터를 수신하게 하는 명령들;
    상기 수신된 데이터를 분석하여 휴먼 팩터(human factor)들을 추출하게 하는 명령들;
    상기 휴먼 팩터들에 기초하여 상기 장면들 각각에 대하여 점수를 매기도록 하는 명령들; 및
    상기 장면들 중 하나 이상의 장면들을 발생 순서(chronological order)에 따라 배열한 후, 상기 점수에 기초하여 심도(depth) 안정화를 수행하여 상기 S3D 컨텐츠의 프리뷰(preview)를 생성하는 명령들을 포함하고,
    상기 장면들 각각은 하나 이상의 프레임들을 포함하고,
    상기 휴먼 팩터들은, 프레임 내의 좌측 이미지와 우측 이미지 사이의 수평적 광학 흐름을 비교함으로써 계산되는 심도 범위, 프레임 내의 이미지의 히스토그램을 분석함으로써 계산되는 휘도, 프레임 내의 이미지에 대한 이산 코사인 변환(discrete cosine tranform)에 따른 주파수 분석에 기초하여 계산되는 블러(blur), 및 이전 프레임과 현재 프레임 사이의 수평적 움직임을 측정함으로써 계산되는 모션(motion)을 포함하며,
    상기 장면들 각각에 대하여 점수를 매기도록 하는 명령들은,
    Figure 112016016761721-pat00175
    의 식에 따라 각각의 프레임에 대한 점수를 메기고,
    Figure 112016016761721-pat00176
    에 식에 따라 i번째 장면의 점수를 계산하며,
    상기
    Figure 112016016761721-pat00177
    은 i번째 프레임의 점수이고, 상기
    Figure 112016016761721-pat00178
    는 심도 범위
    Figure 112016016761721-pat00179
    를 10 내지 20 사 이의 값으로 정규화한 것이고, 상기
    Figure 112016016761721-pat00180
    ,
    Figure 112016016761721-pat00181
    및
    Figure 112016016761721-pat00182
    는 각각 휘도, 블러, 및 모션을 0 내지 10 사이의 값으로 정규화한 것이고, 상기
    Figure 112016016761721-pat00183
    은
    Figure 112016016761721-pat00184
    및
    Figure 112016016761721-pat00185
    을 만족하며, 상기 i는 i번째 장면을 의미하고, 상기 k는 k번째 프레임을 의미하고, 상기 n은 장면 내의 프레임의 숫자를 의미하는 것을 특징으로 하는 이미지 추출 장치.
  2. 제 1 항에 있어서,
    상기 S3D 컨텐츠의 프리뷰(preview)를 생성하는 명령들은
    장면들 사이의 심도 연속성에 기초한 페널티 및 장면들 각각에 대하여 매겨진 점수에 기초하여 장면들로부터 하나의 장면을 삭제하고, 남은 장면들에 대한 재생 시간이 미리 결정된 재생 시간보다 적을 때까지 상기 페널티 및 상기 점수에 기초하여 하나의 장면을 삭제하는 것을 반복 수행함으로써 심도(depth) 안정화 수행하는, 이미지 추출 장치.
  3. 제 2 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 심도 범위
    Figure 112016016761721-pat00186
    는 하기의 식(1) 내지 (3)에 의하여 계산되며,
    Figure 112016016761721-pat00187
    식(1)
    Figure 112016016761721-pat00188
    식(2)
    Figure 112016016761721-pat00189
    식(3)
    여기서, i는 i번째 프레임을, k는 i번째 프레임 내의 k번째 광학 흐름(optical flow)을 의미하며, xl,i,k는 i번째 프레임의 좌측 이미지의 k번째 광학 흐름의 x좌표, xr,i,k는 i번째 프레임의 우측 이미지의 k번째 광학 흐름의 x좌표를 의미하는, 이미지 추출 장치.
  4. 제 3 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 휘도
    Figure 112016016761721-pat00190
    는 하기의 식(4) 및 (5)에 의하여 계산되며,
    Figure 112016016761721-pat00191
    식(4)
    Figure 112016016761721-pat00192
    식(5)
    여기서 i는 i번째 프레임을 의미하고,
    식(4)에서
    Figure 112016016761721-pat00193
    는 i번째 프레임의 휘도 히스토그램의 평균을,
    Figure 112016016761721-pat00194
    는 i번째 프레임의 휘도 히스토그램의 중앙치(median)를,
    Figure 112016016761721-pat00195
    는 i번째 프레임의 휘도 히스토그램의 표준편차를 의미하며,
    식(5)에서
    Figure 112016016761721-pat00196
    는, i번째 프레임의 휘도 히스토그램의 가장 어두운 영역으로부터 전체의 1/3지점까지에 존재하는 픽셀 숫자들에 대한 전체 픽셀 숫자들의 비율이 임계값 T 이상이고, i번째 프레임의 휘도 평균값이 i번째 프레임의 휘도 히스토그램의 가장 어두운 영역으로부터 전체의 1/3지점까지에 존재하는 경우에 1이고, 그 외의 경우에는 0인, 이미지 추출 장치.
  5. 제 4 항에 있어서,
    상기 임계값 T는 0.8인, 이미지 추출 장치.
  6. 제 4 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 블러
    Figure 112016016761721-pat00197
    는, 이산 코사인 변환(Discrete Cosine Transform)에 기초하여 계산되는 i번째 프레임의 전체 주파수 성분에 대한 DC 주파수 성분에 대한 백분율인, 이미지 추출 장치.
  7. 제 6 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 모션
    Figure 112016016761721-pat00198
    는 하기의 식(6)에 의하여 계산되며,
    Figure 112016016761721-pat00199
    식(6)
    여기서, i는 i번째 프레임을, i+1은 i+1번째 프레임을, k는 k번째 광학적 흐름을, xk,i는 i번째 프레임의 k번째 광학적 흐름의 x좌표를, n은 검출된 광학적 흐름의 숫자를 의미하는, 이미지 추출 장치.
  8. 삭제
  9. 제 1 항에 있어서,
    Figure 112016016761721-pat00200
    = 0.5,
    Figure 112016016761721-pat00201
    = 0.3,
    Figure 112016016761721-pat00202
    = 0.2 인, 이미지 추출 장치.
  10. 제 2 항에 있어서,
    상기 페널티는,
    한 장면과 다른 장면의 사이의 연속성에 기초하며,
    i번째 장면과, i+n번째 장면 사이의 페널티
    Figure 112016016761721-pat00203
    는, 하기의 식(9) 및 (10)에 의하여 계산되며,
    Figure 112016016761721-pat00204
    식(9)
    Figure 112016016761721-pat00205
    식(10)
    여기서, i 및 i+n은 각각 i번째 및 i+n번째 장면을 의미하며, ND 및 PD는 각각 네가티브 시차와 포지티브 시차를 의미하며, end 및 first는 각각 해당 장면의 첫번째 프레임과 마지막 프레임을 의미하는, 이미지 추출 장치.
  11. 제 10 항에 있어서,
    상기 미리 결정된 재생 시간은 사용자 입력에 기초하는, 이미지 추출 장치.
  12. 이미지 추출 방법으로서,
    S3D(Stereoscopic three-dimensional) 컨텐츠의 장면(scene)들을 포함하는 데이터를 수신하는 단계;
    상기 수신된 데이터를 분석하여 휴먼 팩터(human factor)들을 추출하는 단계;
    상기 휴먼 팩터들에 기초하여 상기 장면들 각각에 대하여 점수를 매기는 단계; 및
    상기 장면들 중 하나 이상의 장면들을 발생 순서(chronological order)에 따라 배열한 후 상기 점수에 기초하여 심도(depth) 안정화를 수행하여 상기 S3D 컨텐츠의 프리뷰(preview)를 생성하는 단계를 포함하고,
    상기 장면들 각각은 하나 이상의 프레임들을 포함하고,
    상기 휴먼 팩터들은, 프레임 내의 좌측 이미지와 우측 이미지 사이의 수평적 광학 흐름을 비교함으로써 계산되는 심도 범위, 프레임 내의 이미지의 히스토그램을 분석함으로써 계산되는 휘도, 프레임 내의 이미지에 대한 이산 코사인 변환(discrete cosine tranform)에 따른 주파수 분석에 기초하여 계산되는 블러(blur), 및 이전 프레임과 현재 프레임 사이의 수평적 움직임을 측정함으로써 계산되는 모션(motion)을 포함하며,
    상기 장면들 각각에 대하여 점수를 매기는 단계는
    Figure 112016016761721-pat00206
    의 식에 따라 각각의 프레임에 대한 점수를 메기고,
    Figure 112016016761721-pat00207
    에 식에 따라 i번째 장면의 점수를 계산하며,
    상기
    Figure 112016016761721-pat00208
    은 i번째 프레임의 점수이고, 상기
    Figure 112016016761721-pat00209
    는 심도 범위
    Figure 112016016761721-pat00210
    를 10 내지 20 사 이의 값으로 정규화한 것이고, 상기
    Figure 112016016761721-pat00211
    ,
    Figure 112016016761721-pat00212
    및 는 각각 휘도, 블러, 및 모션을 0 내지 10 사이의 값으로 정규화한 것이고, 상기
    Figure 112016016761721-pat00214
    은
    Figure 112016016761721-pat00215
    및
    Figure 112016016761721-pat00216
    을 만족하며, 상기 i는 i번째 장면을 의미하고, 상기 k는 k번째 프레임을 의미하고, 상기 n은 장면 내의 프레임의 숫자를 의미하는, , 이미지 추출 방법.
  13. 제 12 항에 있어서, 상기 S3D 컨텐츠의 프리뷰(preview)를 생성하는 단계는
    장면들 사이의 심도 연속성에 기초한 페널티 및 장면들 각각에 대하여 매겨진 점수에 기초하여 장면들로부터 하나의 장면을 삭제하고, 남은 장면들에 대한 재생 시간이 미리결정된 재생 시간보다 적을 때까지 상기 페널티 및 상기 점수에 기초하여 하나의 장면을 삭제하는 것을 반복 수행함으로써 심도(depth) 안정화 수행하는, 이미지 추출 방법.
  14. 제 13 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 심도 범위
    Figure 112016016761721-pat00217
    는 하기의 식(1) 내지 (3)에 의하여 계산되며,
    Figure 112016016761721-pat00218
    식(1)
    Figure 112016016761721-pat00219
    식(2)
    Figure 112016016761721-pat00220
    식(3)
    여기서, i는 i번째 프레임을, k는 i번째 프레임 내의 k번째 광학 흐름(optical flow)을 의미하며, xl,i,k는 i번째 프레임의 좌측 이미지의 k번째 광학 흐름의 x좌표, xr,i,k는 i번째 프레임의 우측 이미지의 k번째 광학 흐름의 x좌표를 의미하는, 이미지 추출 방법.
  15. 제 14 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 휘도
    Figure 112016016761721-pat00221
    는 하기의 식(4) 및 (5)에 의하여 계산되며,
    Figure 112016016761721-pat00222
    식(4)
    Figure 112016016761721-pat00223
    식(5)
    여기서 i는 i번째 프레임을 의미하고,
    식(4)에서
    Figure 112016016761721-pat00224
    는 i번째 프레임의 휘도 히스토그램의 평균을,
    Figure 112016016761721-pat00225
    는 i번째 프레임의 휘도 히스토그램의 중앙치(median)를,
    Figure 112016016761721-pat00226
    는 i번째 프레임의 휘도 히스토그램의 표준편차를 의미하며,
    식(5)에서
    Figure 112016016761721-pat00227
    는, i번째 프레임의 휘도 히스토그램의 가장 어두운 영역으로부터 전체의 1/3지점까지에 존재하는 픽셀 숫자들에 대한 전체 픽셀 숫자들의 비율이 임계값 T 이상이고, i번째 프레임의 휘도 평균값이 i번째 프레임의 휘도 히스토그램의 가장 어두운 영역으로부터 전체의 1/3지점까지에 존재하는 경우에 1이고, 그 외의 경우에는 0인, 이미지 추출 방법.
  16. 제 15 항에 있어서,
    상기 임계값 T는 0.8인, 이미지 추출 방법.
  17. 제 15 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 블러
    Figure 112016016761721-pat00228
    는, 이산 코사인 변환(Discrete Cosine Transform)에 기초하여 계산되는 i번째 프레임의 전체 주파수 성분에 대한 DC 주파수 성분에 대한 백분율인, 이미지 추출 방법.
  18. 제 17 항에 있어서,
    상기 휴먼 팩터들 중, 상기 장면들의 i번째 프레임에 대한 모션
    Figure 112016016761721-pat00229
    는 하기의 식(6)에 의하여 계산되며,
    Figure 112016016761721-pat00230
    식(6)
    여기서, i는 i번째 프레임을, i+1은 i+1번째 프레임을, k는 k번째 광학적 흐름을, xk,i는 i번째 프레임의 k번째 광학적 흐름의 x좌표를, n은 검출된 광학적 흐름의 숫자를 의미하는, 이미지 추출 방법.
  19. 삭제
  20. 제 12 항에 있어서,
    Figure 112016016761721-pat00231
    = 0.5,
    Figure 112016016761721-pat00232
    = 0.3,
    Figure 112016016761721-pat00233
    = 0.2 인, 이미지 추출 방법.
  21. 제 13 항에 있어서,
    상기 페널티는,
    한 장면과 다른 장면의 사이의 연속성에 기초하며,
    i번째 장면과, i+n번째 장면 사이의 페널티
    Figure 112016016761721-pat00234
    는, 하기의 식(9) 및 (10)에 의하여 계산되며,
    Figure 112016016761721-pat00235
    식(9)
    Figure 112016016761721-pat00236
    식(10)
    여기서, i 및 i+n은 각각 i번째 및 i+n번째 장면을 의미하며, ND 및 PD는 각각 네가티브 시차와 포지티브 시차를 의미하며, end 및 first는 각각 해당 장면의 첫번째 프레임과 마지막 프레임을 의미하는, 이미지 추출 방법.
  22. 제 21 항에 있어서,
    상기 미리결정된 재생 시간은 사용자 입력에 기초하는, 이미지 추출 방법.
  23. 제 12항 내지 제18항 및 제 20항 내지 제 22항 중 어느 한 항에 따른 이미지 추출 방법을 구현하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
KR1020140036705A 2014-03-28 2014-03-28 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치 KR101629414B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140036705A KR101629414B1 (ko) 2014-03-28 2014-03-28 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140036705A KR101629414B1 (ko) 2014-03-28 2014-03-28 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150112461A KR20150112461A (ko) 2015-10-07
KR101629414B1 true KR101629414B1 (ko) 2016-06-13

Family

ID=54343713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140036705A KR101629414B1 (ko) 2014-03-28 2014-03-28 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101629414B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717379B1 (ko) 2015-12-07 2017-03-20 주식회사 에이스엠이 휴먼팩터 기반의 입체영상 후보정 처리 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160011A (ja) 2011-01-31 2012-08-23 Fujitsu Ltd サムネイル抽出プログラム及びサムネイル抽出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105359B1 (ko) * 2010-06-22 2012-01-16 연세대학교 산학협력단 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160011A (ja) 2011-01-31 2012-08-23 Fujitsu Ltd サムネイル抽出プログラム及びサムネイル抽出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1
논문2

Also Published As

Publication number Publication date
KR20150112461A (ko) 2015-10-07

Similar Documents

Publication Publication Date Title
EP3395064B1 (en) Processing a depth map for an image
US9007435B2 (en) Real-time depth-aware image enhancement system
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
EP2481023B1 (en) 2d to 3d video conversion
US8798160B2 (en) Method and apparatus for adjusting parallax in three-dimensional video
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
US20120183202A1 (en) Methods and Systems for 2D to 3D Conversion from a Portrait Image
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
US9148652B2 (en) Video processing method for 3D display based on multi-cue process
EP2979449B1 (en) Enhancing motion pictures with accurate motion information
Pan et al. 3D video disparity scaling for preference and prevention of discomfort
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
EP3298578B1 (en) Method and apparatus for determining a depth map for an image
KR20090008808A (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
US11704778B2 (en) Method for generating an adaptive multiplane image from a single high-resolution image
US20220342365A1 (en) System and method for holographic communication
Wang et al. Stereoscopic image retargeting based on 3D saliency detection
US20150030233A1 (en) System and Method for Determining a Depth Map Sequence for a Two-Dimensional Video Sequence
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
KR101629414B1 (ko) 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치
Dittrich et al. Saliency detection for stereoscopic video
Calagari et al. Data driven 2-D-to-3-D video conversion for soccer
US11659135B2 (en) Slow or fast motion video using depth information
Chamaret et al. Video retargeting for stereoscopic content under 3D viewing constraints

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 4