WO2019013443A1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
WO2019013443A1
WO2019013443A1 PCT/KR2018/005682 KR2018005682W WO2019013443A1 WO 2019013443 A1 WO2019013443 A1 WO 2019013443A1 KR 2018005682 W KR2018005682 W KR 2018005682W WO 2019013443 A1 WO2019013443 A1 WO 2019013443A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction
viewpoint
feature points
display device
Prior art date
Application number
PCT/KR2018/005682
Other languages
English (en)
French (fr)
Inventor
김범준
김동현
박세혁
한영석
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2019013443A1 publication Critical patent/WO2019013443A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 상기 디스플레이장치는, 디스플레이부; 영상처리부; 및 사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상 중의 제1부분에 대하여, 제1시점과는 다른 제2시점에 대응하는 제2영상 중에서 제1부분에 대응하는 제2부분을 참조하여, 제1부분을 보정한 영상을 생성하고, 생성된 영상이 디스플레이부에 표시되도록 영상처리부를 제어하는 제어부를 포함한다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다.

Description

디스플레이장치 및 그 제어방법
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는, 360도 영상에서 사용자의 시점에 대응하는 영상을 보정하는 디스플레이장치 및 그 제어방법에 관한 것이다.
최근의 디스플레이장치는 다양한 영상을 제공할 수 있다. 360도/VR(Virtual Reality) 컨텐츠 영상이 그 중 하나이다. 여러 대의 카메라 혹은 복수의 렌즈를 장착한 카메라를 이용하여 영상을 촬영하고 이를 입체에 매핑하여 사용자에게 보여주면, 사용자는 시점을 이동하면서 영상을 감상할 수 있다. 그 효과로 사용자는 실제 공간에 있는 것처럼 느끼게 된다.
360도 영상을 디스플레이장치에서 재생 가능하도록 처리하는 과정에서 등장방형(Equirectangular)등의 평면 형태 영상을 구(Sphere) 등의 입체 형태로 매핑하는 과정이 수행된다. 영상의 이러한 기하학적 변형을 워핑(Warping)이라 한다.
평면 영상을 입체 영상으로 워핑함에 따라 영상에 왜곡이 발생하게 된다. 입체 영상 중의 일부 영상으로서 사용자의 시점에 대응하는 영상을 감상하는 사용자의 관점에서 보면, 해당 영상의 중심부에서는 왜곡의 정도가 크지 않을 수 있으나, 그 외곽부에서는 왜곡의 정도가 커질 수 있다. 그리고 워핑된 영상을 시청하는 사용자의 시점 변화 및 그에 따른 객체의 이동에 따라 한 시점에서는 왜곡 정도가 크지 않았던 부분이 다음 시점에서는 크게 왜곡되어 표시되기도 한다. 그에 따라 사용자에게 어지러움이나 피로감 등을 유발할 수 있는 문제가 있다.
이에 본 발명은, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 디스플레이부; 영상처리부; 및 사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상 중의 제1부분에 대하여, 상기 제1시점과는 다른 제2시점에 대응하는 제2영상 중에서 상기 제1부분에 대응하는 제2부분을 참조하여, 상기 제1부분을 보정한 영상을 생성하고, 상기 생성된 영상이 상기 디스플레이부에 표시되도록 상기 영상처리부를 제어하는 제어부를 포함한다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다. 또한, 영상 중 일 부분에 대해서만 보정이 가능하므로 효율적인 보정이 가능하다.
여기서, 상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치할 수 있다.
한편, 상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고, 상기 제어부는 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행할 수 있다. 이에 의하면, 제2부분을 참조하여 제1부분을 보정함에 있어서 특징점의 대응관계에 기초하여 보정을 수행함으로써 보정 속도가 향상된다.
나아가, 상기 제어부는 객체의 특성 또는 영상 왜곡의 특성에 따라 추출할 특징점의 개수를 다르게 하여 상기 보정을 수행할 수 있다. 이에 의하면 보정에 최적화 된 특징점에 기초하여 보정을 수행할 수 있으므로 보정 속도가 더욱 향상된다.
상기 제어부는 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행할 수 있다.
상기 제어부는 상기 제2영상의 제2부분과 상기 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 또한, 상기 제어부는 상기 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 이에 의하면, 상황에 따라 보정 여부 또는 보정 정도를 조절할 수 있으므로 보정 효율이 향상된다. 여기서, 상기 관심도는 상기 제1부분의 깊이 및 상기 제1영상 대비 상기 제1부분의 크기 중 적어도 하나에 기초하여 결정될 수 있다.
상기 제어부는 보정한 상기 제1부분의 배경부분에 대한 영상처리를 수행할 수 있다. 이에 의하면, 더욱 자연스러운 보정 영상을 생성하여 표시할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 사용자의 시점 이동에 따라 제1시점에 대응하며 제1부분을 포함하는 제1영상을 결정하는 단계; 상기 제1부분에 대응하는 제2부분을 포함하고 상기 제1시점과는 다른 제2시점에 대응하는 제2영상을 선택하는 단계; 상기 제2영상 중에서 제2부분을 참조하여 상기 제1영상의 제1부분을 보정한 영상을 생성하는 단계; 및 상기 생성된 영상을 표시하는 단계를 포함한다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다. 또한, 영상 중 일 부분에 대해서만 보정이 가능하므로 효율적인 보정이 가능하다.
여기서, 상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치할 수 있다.
한편, 상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고, 상기 보정 영상을 생성하는 단계는, 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행할 수 있다. 이에 의하면, 제2부분을 참조하여 제1부분을 보정함에 있어서 특징점의 대응관계에 기초하여 보정을 수행함으로써 보정 속도가 향상된다.
나아가, 상기 보정 영상을 생성하는 단계는, 객체의 특성 또는 영상 왜곡의 특성에 따라 추출할 특징점의 개수를 다르게 하여 상기 보정을 수행 수행할 수 있다. 이에 의하면 보정에 최적화 된 특징점에 기초하여 보정을 수행할 수 있으므로 보정 속도가 더욱 향상된다.
상기 보정 영상을 생성하는 단계는, 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행할 수 있다.
상기 보정 영상을 생성하는 단계는, 상기 제2영상의 제2부분과 상기 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 또한, 상기 보정 영상을 생성하는 단계는, 상기 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 이에 의하면, 상황에 따라 보정 여부 또는 보정 정도를 조절할 수 있으므로 보정 효율이 향상된다. 여기서, 상기 관심도는 상기 제1부분의 깊이 및 상기 제1영상 대비 상기 제1부분의 크기 중 적어도 하나에 기초하여 결정될 수 있다.
상기 보정 영상을 생성하는 단계는, 보정한 상기 제1부분의 배경부분에 대한 영상처리를 수행할 수 있다. 이에 의하면, 더욱 자연스러운 보정 영상을 생성하여 표시할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 디스플레이장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 전자장치에 다운로드 될 수 있는 컴퓨터프로그램일 수 있다.
상기한 바와 같이, 본 발명에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 디스플레이장치에서 360도 영상을 생성하는 과정을 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 디스플레이장치에서의 360도 영상 생성과정 중 워핑(Warping) 과정을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 블록도,
도 5는 본 발명의 일 실시예에 따른 디스플레이장치의 동작을 나타내는 흐름도,
도 6은 본 발명의 일 실시예에 따른 디스플레이장치에서 영상이 왜곡되어 표시되는 일 예를 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른 디스플레이장치의 작동 개요를 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른 특징점 추출의 일 예를 나타내는 도면,
도 9 내지 도 10은 본 발명의 일 실시예에 따른 특징점 대응 보정의 일 예를 나타내는 도면,
도 11은 본 발명의 일 실시예에 따른 특징점 추출의 다른 예를 나타내는 도면,
도 12는 본 발명의 일 실시예에 따른 특징점 추출 및 보정의 다른 예를 나타내는 도면,
도 13은 본 발명의 일 실시예에 따른 디스플레이장치 동작의 다른 예를 나타내는 흐름도.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는, 예컨대, TV로 구현될 수 있다. 또한, 본 발명의 다른 실시예에 따른 디스플레이장치 (1a, 1b, 1c)는, 예컨대, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 셋탑박스, 냉장고 등 컨텐츠의 영상을 출력할 수 있는 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는 이에 한정되지 않고, 영상을 출력할 수 있는 장치라면 무엇이든 가능하다.
본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)가 출력하는 영상은, 예컨대, 360도 VR(Virtual Reality) 컨텐츠의 영상이다. 본 실시예에서의 디스플레이장치(1a, 1b, 1c)는 상기 영상을 직접 생성하거나, 혹은 외부로부터 수신할 수 있다. 도 1에 도시된 바와 같이, 디스플레이장치(1a, 1b, 1c)는 카메라, 서버, USB 저장장치, DVD, 컴퓨터 등 외부장치(1d)를 통하여 영상을 수신할 수 있다. 다른 실시예로서, 디스플레이장치(1a, 1b, 1c)는 적어도 하나의 카메라를 포함할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 디스플레이장치에서 360도 영상을 생성하는 과정을 도시한다. 본 실시예에서의 촬상영상(201)은, 시점의 이동이 가능하도록 적어도 하나 이상의 렌즈를 장착한 카메라를 이용하여 서로 다른 방위에 대하여 획득한 복수의 영상으로부터 생성될 수 있다. 카메라의 적어도 하나 이상의 렌즈는, 경우에 따라 광각렌즈일 수 있다. 그러나 촬상영상(201)을 생성하기 위한 수단은 이에 제한되지 않으며, 촬상영상(201)은 복수의 카메라로부터 생성될 수도 있다.
다음으로, 본 발명의 일 실시예에 의한 스티칭영상(202)은 촬상영상(201)으로부터 변환된다. 스티칭영상(202)은, 예컨대, HDRI(High Dynamic Range Imaging, HDRI) 맵 방식을 이용하여, 촬상영상(201)을 등장방형(Equirectangular) 등에 맵핑함으로써 생성될 수 있다. 본 발명의 일 실시예에 의한 스티칭영상(202)은 HDRI 맵 방식에 한정되지 않으며, 여섯 방향으로 획득한 영상을 정육면체에 맵핑하는 큐브(Cube) 맵 방식 등에 의해서도 생성될 수 있다. 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는 촬상영상(201)을 외부로부터 수신하여 스티칭영상(202)을 생성할 수도 있고, 혹은, 스티칭영상(202)을 외부로부터 수신할 수도 있다.
본 발명의 일 실시예에 의한 디스플레이장치(1a, 1b, 1c)는 스티칭영상(202)을 변환하여 입체영상(203)을 생성한다. 본 발명의 일 실시예에 의한 입체영상(203)의 형태는, 예컨대, 구, 직육면체, 원통 등일 수 있다. 다른 실시예로서, 디스플레이장치(1a, 1b, 1c)는 외부로부터 입체영상(203)을 수신할 수도 있다.
다음으로, 디스플레이장치(1a, 1b, 1c)는 입체영상(203) 중 화면에 표시될 출력영역(205)에 곡면-평면 맵핑을 수행하여 평면영상(204)을 생성한다. 본 발명의 일 실시예에 의한 출력영역(205)의 선택은 사용자에 의해 결정될 수 있다. 구체적으로, 디스플레이장치(1a, 1b, 1c)는 출력영역(205)의 표시 중에 화면의 시점을 변경하는 사용자의 입력에 따라 출력영역(205)을 변경, 확대 또는 축소할 수 있다. 다음으로, 디스플레이장치(1a, 1b, 1c)는 평면영상(204)에 기초하여 출력영상(206)을 화면에 표시한다. 디스플레이장치(1a, 1b, 1c)는 평면영상(204)에 화질처리 등을 수행할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이장치에서의 360도 영상 생성과정 중 워핑(Warping) 과정을 도시한다. 디스플레이장치(1a, 1b, 1c)가 평면 형태의 스티칭영상(301)을 변환하여 입체영상(302)을 생성하는 과정, 즉 워핑(Warping) 과정에서는 평면 영상이 입체 영상으로 매핑됨에 따라 영상에 왜곡이 발생하게 된다. 도 3을 참조하면, 워핑 시 스티칭영상(301)의 각 화소 (x, y)가 구 형태의 새로운 위치인 (x', y')으로 대응됨에 따라 입체영상(302)이 생성되게 되는데, 생성된 입체영상(302) 중 사용자의 시점에 대응하는 영상(303)의 중심부에서는 왜곡의 정도가 크지 않을 수 있으나, 그 외곽부에서는 왜곡의 정도가 크게 나타날 수 있다. 나아가 워핑된 영상을 시청하는 사용자의 시점 변화 및 그에 따른 객체의 이동에 따라 한 시점에서는 왜곡 정도가 크지 않았던 부분이 다음 시점에서는 크게 왜곡되어 표시되기도 한다.
이하 이러한 왜곡을 보정하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 설명한다.
도 4는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 디스플레이장치(1a, 1b, 1c)는 영상수신부(401), 영상처리부(402), 디스플레이부(403), 사용자명령입력부(404) 및 제어부(405)를 포함한다. 다만, 도 4에 도시된 본 디스플레이장치(1a, 1b, 1c)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 디스플레이장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 디스플레이장치는 도 4에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 4에 도시된 구성 중 일부가 배제되어 구현될 수도 있다.
영상수신부(401)은, 예컨대, 360도 VR 컨텐츠의 영상신호를 수신한다. 영상수신부(401)는 방송신호와 같은 형태의 영상신호를 수신하기 위한 튜너(tuner)를 구비할 수 있다. 튜너는 복수의 채널 중 사용자에 의해 선택된 어느 하나의 채널의 방송신호를 튜닝하여 수신할 수 있다. 또는, 영상수신부(401)는 카메라, 서버, USB저장장치, DVD, 컴퓨터 등과 같은 외부장치(1d)로부터 영상신호를 수신할 수도 있다.
영상수신부(401)는 외부장치(1d)와 통신하여 영상신호를 수신하는 통신부를 구비할 수 있다. 통신부는 외부 장치에 따라서 다양한 방식으로 구현된다. 예컨대, 통신부는 유선통신을 위한 접속부를 포함하며, 접속부는 HDMI(High Definition Multimedia Interface), HDMI-CFC(Consumer Electronics Control), USB, 컴포넌트(Component) 등의 규격에 따른 신호/데이터를 송/수신할 수 있으며, 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다. 통신부는 유선 LAN(Local Area Network)을 통해 복수의 서버들과 유선 통신을 수행할 수 있다.
통신부는 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, 외부 장치와 무선 통신을 수행하기 위해 RF(Radio Frequency)신호를 송/수신하는 RF회로를 포함할 수 있으며, Wi-Fi, 블루투스, 지그비(Zigbee), UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다.
영상처리부(402)는, 제어부(405)의 제어에 따라, 영상수신부(401)를 통해 수신되는 영상신호에 대해 영상처리를 수행하고, 이러한 영상처리가 수행된 영상신호를 디스플레이부(403)에 출력함으로써 디스플레이부(403)에 출력영상(206)이 표시되게 한다.
영상처리부(402)는, 제어부(405)의 제어에 따라, 촬상영상(201)을 스티칭영상(202)으로 변환하거나, 스티칭영상(202)을 입체영상(203)으로 변환하거나, 혹은, 입체영상(203)으로부터 평면영상(204)을 얻어내는 영상처리를 할 수 있다. 영상처리부(302)는, 앞서 언급한 영상처리 이외에, 영상의 해상도를 조정하는 스케일링(Scaling) 등 적어도 하나의 영상처리를 더 수행할 수 있다. 영상처리부(402)는, 이상 언급된 영상처리를 수행하는 하나 이상의 하드웨어 및/또는 소프트웨어 모듈 혹은 그 조합으로서 구현될 수 있다.
디스플레이부(403)는, 영상처리부(402)가 영상처리를 수행하여 얻은 평면영상(204에 기초하여 출력영상(206)을 표시한다. 디스플레이부(403)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
디스플레이부(403)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이부(403)는, 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.
사용자명령입력부(404)는 사용자입력을 수신하여 제어부(405)로 전달한다. 사용자명령입력부(404)는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있는바, 예컨대 디스플레이장치(1a, 1b, 1c)의 외측에 설치된 메뉴버튼, 리모컨으로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 디스플레이부(403)에 마련되어 사용자의 터치입력을 수신하는 터치스크린(Touch-Screen), 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크 등으로 구현될 수 있다. 사용자명령입력부(404)는 출력영역(205)의 표시 중에, 화면의 시점을 변경하는 사용자입력을 수신할 수 있다.
제어부(405)는, 디스플레이장치(1a, 1b, 1c)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제어부(405)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 디스플레이장치(1a, 1b, 1c) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(1a, 1b, 1c)의 제조 시에 디스플레이장치(1a, 1b, 1c)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(1a, 1b, 1c)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(1a, 1b, 1c)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 제어부(405)는 device, S/W module, circuit, chip 등의 형태로 구현될 수 있다.
제어부(405)는, 예컨대, 360도 VR 컨텐츠의 영상신호를 수신하도록 영상수신부(401)를 제어한다. 제어부(405)는 영상처리부(402)가 영상신호에 대하여 영상처리를 수행하도록 하고, 출력영상(206)이 표시되도록 디스플레이부(403)를 제어한다. 도 4에 도시된 디스플레이장치(1a, 1b, 1c)는 영상처리부(402)와, 제어부(405)가 별개의 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 디스플레이장치(1a, 1b, 1c)는 영상처리부와 제어부가 병합된 구성으로 구현될 수도 있다.
이하 본 발명의 일 실시예에 의한 제어부(405)를 구체적으로 설명한다. 도 5는 본 발명의 일 실시예에 따른 디스플레이장치의 동작을 나타내는 흐름도이다. 본 발명의 일 실시예에 따른 디스플레이장치는 사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상을 표시함에 있어서, 제1영상 중 제1부분을 보정한 영상을 표시한다. 여기서 제1부분이란 제1영상의 일 부분으로서 보정이 필요한 부분을 의미한다. 예를 들어, 제1부분은 제1시점에 대응하는 제1영상 중 워핑에 따라 왜곡된 부분일 수 있으나, 이에 한정되는 것은 아니다.
구체적으로, 제어부(405)는 먼저 제2시점에 대응하는 제2영상으로서 상기 제1부분에 대응하는 제2부분을 포함한 제2영상을 선택한다(S501). 여기서 제2시점은 제1시점과는 다른 시점이다. 그리고 제1부분에 대응하는 제2부분이란, 제1부분을 보정하는 데 있어서 참고가 될 수 있는 부분을 의미하는 것으로서, 예를 들어 제1부분이 왜곡된 영상일 경우, 그 컨텐츠의 내용은 제1부분과 동일하나 왜곡이 보정되었거나 왜곡이 발생하지 않은 부분을 제2부분이라 할 수 있다.
이후, 제어부(405)는 위 선택된 제2영상을 참조하여, 구체적으로 제2영상 중에서 상기 제1부분에 대응하는 제2부분을 참조하여 제1영상 중 제1부분을 보정한 영상을 생성한다(S502). 마지막으로, 제어부(405)는 이처럼 생성된 영상, 즉 제1영상 중 제1부분이 보정된 영상이 디스플레이부(403)에 표시되도록 영상처리부(402)를 제어한다.
이하 도 6 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)의 동작을 구체적인 영상과 함께 설명한다.
도 6은 본 발명의 일 실시예에 따른 디스플레이장치와 관련된 기술로서, 영상이 왜곡되어 표시되는 경우의 일 예를 나타내는 도면이다. 도 6은 360도 영상이 구형 입체(601)에 워핑된 경우, 사용자의 제1시점에 대응하는 제1영상(610) 및 사용자의 제2시점에 대응하는 제2영상(620)이 디스플레이장치의 화면에 표시되는 상황을 각각 도시한다. 도 6에 도시된 제1영상(610) 및 제2영상(620)은, 일 예로, 사람이 촬영된 영상이며, 각 영상에서 사람이 있는 부분을 각각 제1부분(611) 및 제2부분(612)이라 한다. 제2영상(620)을 먼저 참조하면, 제2영상(620)에서는 제2부분(621)이 영상의 중심부에 있어서 제2부분(621)의 왜곡 정도는 크지 않다. 만일 제2영상(620)이 표시된 상태에서 사용자의 시점이 제2시점에서 제1시점으로 이동하면, 제1시점에 대응하는 제1영상(610)이 표시된다. 참조로, 도 6에 도시된 예시에서의 사용자의 시점은, 구형 입체(601)의 내부에서 외부를 바라보는 시점이다. 즉, 제2시점에서 제1시점으로 사용자의 시점이 좌측(구형 입체(601)의 상반구를 기준으로 할 때 반시계방향)으로 이동함에 따라, 제2영상(620)에서는 영상의 중심부에 표시되었던 제2부분(621)이 제1영상(610)에서는 영상의 우측 외곽부인 제1부분(611)에 표시된다. 이 때 제1부분(611)이 제1영상(610)의 외곽부에 표시되게 됨에 따라 제1부분(611)은 제2부분(621)보다 상대적으로 더 왜곡되어 표시된다. 즉, 도 6에서 볼 수 있듯이, 제1영상(610)의 제1부분(611)은 제2영상(620)의 제2부분(621)과 비교하여 옆으로 기울어지고 전체적인 길이가 늘어나는 등의 왜곡이 나타남을 알 수 있다.
이러한 왜곡을 보정하기 위한 본 발명의 일 실시예를 도 7을 참조하여 설명한다. 도 7은 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)의 작동 개요를 나타내는 도면이다. 앞서 도 6을 참조하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 제어부(405)는 제1부분(611)의 왜곡을 보정한 영상을 생성하여 표시하도록 제어한다. 제1부분(611)의 왜곡을 보정한 영상을 생성함에 있어서, 본 발명의 일 실시예에 따른 제어부(405)는, 제2영상(이하 '참조영상'이라고도 한다)을 참조한다. 즉, 참조영상은 제1시점과는 다른 제2시점에 대응하는 영상으로서, 제1부분(611)과 대비하여 왜곡의 정도가 상대적으로 작은(낮은) 제2부분(621)을 포함하는 영상이다. 이후, 본 발명의 일 실시예에 따른 제어부(405)는 참조영상(620)의 제2부분(621)을 참조하여 제1영상(610)의 제1부분(611)을 보정한 영상(710; 이하, '보정영상'이라고도 함)을 생성하도록 제어한다. 도 7을 참조하면, 제1부분(611)에 대응하는 보정영상(710)의 제3부분(711)에서는 워핑으로 인해 사람이 기울어지고 늘어지게 표시되었던 제1부분(611)의 왜곡이 보정되었음을 알 수 있다. 이에 의하면, 사용자의 시점에 대응하는 영상을 보정하여 표시함으로써 사용자에게 보다 편안하게 감상할 수 있는 영상을 제공할 수 있다. 또한, 영상 중 일 부분에 대해서만 보정이 가능하므로 효율적인 보정이 가능하다.
본 발명의 일 실시예에 따른 제어부(405)는, 제1영상에서의 제1부분의 왜곡을 보정하기 위한 참조영상을 선택할 수 있다. 평면 영상이 구 형태의 입체 영상으로 워핑된 경우, 사용자의 시점에 대응하는 입체 영상의 일부 영상 중 중심부에서는 왜곡의 정도가 크지 않을 수 있으나, 중심부로부터 떨어진 외곽부에서는 왜곡의 정도가 커지는 경향이 있다. 따라서 참조영상 선택 시 제2부분이 참조영상의 중심부에 위치하도록 참조영상을 선택하는 것이 효율적일 수 있다(이하, 이러한 참조영상을 '중심시점영상'이라 한다). 참조영상의 제2부분이 그 중심부에 위치할수록 왜곡은 최소화되므로, 왜곡 보정의 효과가 커진다.
한편, 본 발명의 일 실시예에 따른 제어부(405)는, 제1시점에 대응하는 제1영상 중 왜곡 보정이 필요한 제1부분을 결정할 수 있다. 일 예로, 앞서 설명한 바와 같이, 제1영상의 중심부로부터 떨어진 외곽부에 왜곡이 발생할 확률이 높아지는 경향이 있다. 즉, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상의 외곽부에서 발생되는 왜곡의 정도에 기초하여 제1부분을 결정할 수 있다. 즉, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상의 외곽부의 일부분에서 발생되는 왜곡의 정도가 소정치 이상이라고 판단되는 경우, 해당 부분을 왜곡 보정이 필요한 제1부분으로 결정할 수 있다. 또한, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상에 포함된 객체에 기초하여 제1부분을 결정할 수도 있다. 구체적으로, 본 발명의 일 실시예에 따른 제어부(405)는, 제1영상의 외곽부에 포함된 각 객체 단위로 왜곡의 정도를 판단하여, 왜곡이 소정치 이상인 객체를 제1부분으로 결정할 수 있다. 다른 예로, 제어부(405)는, 사용자의 입력에 따라 왜곡 보정이 필요한 제1부분을 결정할 수도 있다. 구체적으로, 본 발명의 일 실시예에 따른 제어부(405)는, 사용자의 입력에 따라 왜곡 보정이 필요한 객체의 유형을 결정하고, 제1영상 중에 결정된 유형의 객체가 있는지를 판단하는 방법으로 제1부분을 결정할 수 있다.
본 발명의 일 실시예에 따른 제어부(405)는, 객체 단위로 제1부분에 대응하는 제2부분을 포함하는 참조영상을 선택할 수 있다. 일 예로, 제어부(405)는, 왜곡 보정이 필요한 제1부분의 객체를 특정하고, 해당 프레임 내에서, 상기 특정된 객체가 영상의 중심부에 위치하는 중심시점영상을 선택할 수 있다. 다른 예로, 제어부(405)는, 제1영상과는 다른 프레임에서 제1영상의 객체에 대응하는 유사 객체를 결정하고, 해당 유사 객체가 영상의 중심부에 위치하는 중심시점영상을 선택할 수도 있다.
이상 제1영상 중 왜곡된 제1부분을 보정하는 실시예를 설명하였다. 그러나 본 발명에 따른 보정이 왜곡된 부분에 대한 보정으로만 한정되는 것은 아니다. 제1부분이 왜곡된 부분이 아니더라도 제2영상을 참조하여, 구체적으로는 제2영상 중 제1부분에 대응하는 제2부분을 참조하여 제1영상을 보정하는 경우라면 어떤 경우라도 본 발명이 적용될 수 있다.
또한, 이상에서는 제1영상과 제2영상이 360도 영상의 동일 프레임 내에 존재하는 영상인 경우를 예로 들어 설명하였으나, 제1영상과 제2영상은 이와 달리 각각 다른 프레임에 존재해도 무방하다.
이하 참조영상의 제2부분을 참조하여 제1영상의 제1부분을 보정한 영상을 생성하는 방법을 더욱 구체적으로 살펴본다. 보정 방법의 일 예로, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 참조영상의 제2부분이, 보정하고자 하는 제1영상의 제1부분과 서로 대응되는 객체를 포함하도록 참조영상과 제2부분을 선택한 후, 상기 제1부분과 제2부분의 각 객체에서 추출된 특징점의 대응관계에 기초하여 보정을 수행할 수 있다. 여기서 특징점이란 특정 객체를 다른 객체 또는 주위 배경과 구별 내지 식별할 수 있도록 해당 객체의 독특한 특징을 잘 드러내는 점들을 의미하는 것으로서, 좋은 특징점이 되기 위한 조건으로는, 객체의 크기나 형태, 위치가 변해도 특징점은 변하지 않고 쉽게 식별 가능할 것, 카메라의 시점이나 조명 등이 변해도 특징점은 변함 없이 영상에서 해당 지점을 쉽게 찾아낼 수 있을 것 등이 있다. 특징점의 일 예로는 코너점이 있으나 본 발명의 특징점이 이에 한정되는 것은 아니다. 이러한 특징점을 찾아내는 알고리즘으로는 Harris corner 추출법, Shi & Tomasi 추출법, SIFT (Scale Invariant Feature Transform), SURF(Speeded-Up Robust Features) 등의 방법이 있다. 공지의 알고리즘이므로 구체적인 설명은 생략한다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는 영상으로부터 특징점을 추출할 수 있다. 도 8은 본 발명의 일 실시예에 따른 특징점 추출의 일 예를 나타내는 도면이다. 제1시점에 대응하는 제1영상(610) 중 보정이 필요한 제1부분(611)이 사람에 관한 영상인 경우를 도시한다. 이 경우 제1부분(611)에 대하여 특징점을 추출한 일 예는 613과 같다. 즉, 사람의 머리, 목, 허리, 양 팔, 양 다리에 해당하는 지점이 각각 특징점으로 추출된 예를 나타낸다.
한편, 제1부분(611)에 대응하는 제2부분(621)이 영상의 중심에 위치하는 중심시점영상을 참조영상(620)으로 선택한 후, 제2부분(621)에 대한 특징점을 추출한 예는 623과 같다. 제2부분(621)과 비교하여 제1부분(611)이 워핑에 의해 기울어지고 길이가 변형되는 왜곡이 발생하였으나, 특징점은 객체의 크기나 형태, 위치가 변해도 그 특성이 변하지 않고 식별 가능한 지점이므로, 제1부분(611)에 대해 추출한 특징점(613)과 제2부분(621)에 대해 추출한 특징점(623)은 왜곡에도 불구하고 서로 대응된다(예. a-a', b-b', c-c', d-d').
본 발명의 일 실시예에 따른 디스플레이장치는, 이처럼 제1부분과 제2부분의 각 객체에서 추출된 특징점 사이의 대응관계에 기초하여 제1영상(610)의 제1부분(611)에 대한 보정을 수행할 수 있다. 이에 의하면, 제2부분을 참조하여 제1부분을 보정함에 있어서 특징점의 대응관계에 기초하여 보정을 수행함으로써 보정 속도가 향상된다.
구체적으로, 본 발명의 일 실시예에 따른 디스플레이장치는 기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 보정을 수행할 수 있다. 도 9 내지 도 10을 참조하여 이를 설명한다.
도 9는 본 발명의 일 실시예에 따른 특징점 대응 보정의 일 예를 나타내는 도면으로, 특징점 사이의 크기에 기초하여 제1영상의 제1부분을 보정하는 예를 도시한다.
이하 참조영상의 제2부분에 대해 추출한 특징점(623) 중 사람의 머리, 목, 양 팔에 해당하는 특징점을 각각 a, b, c, d라 하고, 제1영상의 제1부분에 대해 추출한 특징점(613) 중 그에 대응하는 특징점을 각각 a', b', c', d'라 한다. 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1영상의 제1부분에 대해 추출한 특징점(613) 사이를 이은 선분 사이의 크기 비율, 예를 들어 b'과 나머지 각 점 a', c', d'을 이은 선분 사이의 크기 비율을, 참조영상의 제2부분에 대해 추출한 특징점(623)에서 각 대응하는 선분 사이의 크기 비율과 비교하여, 제1영상 제1부분에 대한 왜곡 발생 여부를 판단할 수 있다. 왜곡이 발생된 것으로 판단되는 경우 제어부(405)는, 예를 들어 아래 [수식 1]과 같이, 참조영상 제2부분 특징점의 비율에 맞추어 제1영상 제1부분을 보정함으로써 왜곡을 보정할 수 있다.
[수식 1]
Figure PCTKR2018005682-appb-I000001
도 10도 본 발명의 일 실시예에 따른 특징점 대응 보정의 일 예를 나타내는 도면으로, 특징점 사이의 방향에 기초하여 제1영상의 제1부분을 보정하는 예를 도시한다. 위 도 9에서와 마찬가지로, 참조영상의 제2부분에 대해 추출한 특징점(623) 중 사람의 머리, 목, 양 팔에 해당하는 특징점을 각각 a, b, c, d라 하고, 제1영상의 제1부분에 대해 추출한 특징점(613) 중 그에 대응하는 특징점을 각각 a', b', c', d'라 한다. 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1영상의 제1부분에 대해 추출한 특징점(613) 사이를 이은 선분 사이의 각도, 예를 들어 b'a'과 b'd' 을 이은 선분 사이의 각도를, 참조영상의 제2부분에 대해 추출한 특징점(623)에서 이에 대응하는 선분 사이의 각도와 비교하여, 제1영상 제1부분의 왜곡 발생 여부를 판단할 수 있다. 왜곡이 발생된 것으로 판단되는 경우 제어부(405)는, 예를 들어 아래 [수식 2]와 같이 참조영상 제2부분의 각도에 맞추어 제1영상의 제1부분을 보정함으로써 왜곡을 보정할 수 있다.
[수식 2]
Figure PCTKR2018005682-appb-I000002
한편, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 객체의 특성 또는 영상 왜곡의 특성에 따라 특징점을 다르게 추출하여, 예를 들어 추출할 특징점의 개수를 다르게 하여, 상기 보정을 수행할 수도 있다. 도 11을 참조하여 이를 설명한다.
도 11은 본 발명의 일 실시예에 따른 특징점 추출의 다른 예를 나타내는 도면이다. 앞서 도 8 내지 도 10에서 예시된 제1부분(611)의 특징점(613) 및 제2부분(621)의 특징점(623) 중에서 모든 특징점이 제1부분 보정에 반드시 필요한 것은 아닐 수 있다. 예를 들어 도 11과 같이 제1부분(611)이 사람에 관한 영상일 경우, 그 특징점 중 상하좌우 각 끝부분에 위치한 4개의 특징점(p', q', r', s')만으로도 충분히 적절한 수준의 보정을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1부분(611)의 특징점으로 p', q', r', s'을 추출하고, 그와 제2부분(621)의 특징점인 p, q, r, s와의 대응관계를 비교하여, 예를 들어 크기 비율 및 방향을 비교하여, 그에 따라 제1부분(611)을 보정할 수 있다. 이 경우 특징점을 다수 추출한 도 8 내지 도 10의 경우와 비교하여 보정의 정밀성은 떨어질 수 있으나 보정 속도 면에서는 유리하다. 이처럼 특징점의 개수를 줄여도 충분히 보정을 수행할 수 있는 것은, 사람이라는 객체의 특성에 기인한 것이기도 하고, 평면 영상을 구형 입체 영상으로 워핑하면서 발생한 영상 왜곡의 특성에 기인한 것이기도 하다. 즉, 객체의 특성 또는 영상 왜곡의 특성에 따라서 특징점을 다르게 추출하더라도 보정에는 적합할 수 있다. 이에 의하면 보정에 최적화 된 특징점에 기초하여 보정을 수행할 수 있으므로 보정 속도가 더욱 향상된다.
추출할 특징점의 개수를 조절하기 위하여, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 일 예로 기 추출된 특징점들 중에서 일부를 선택할 수 있고, 다른 예로 특징점 추출 알고리즘에서 문턱값 등을 설정하여 추출되는 특징점 자체를 제한할 수도 있다. 기 추출된 특징점들 중 일부를 선택하기 위하여 제어부(405)는, 일 예로 특징점 중 상하좌우 각 끝점만을 선택할 수 있고, 다른 예로 일정 영역별(예를 들면 10x10 픽셀)로 그 안에 포함된 특징점 중 극대점만을 선택할 수도 있다(소위 local maxima 선택법).
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행할 수 있다. 제어부(405)는, 일 예로 제1부분의 관심도가 소정 최저치 이하이거나 소정 최고치 이상이면 보정을 수행하지 않을 수 있다. 다른 예로 제어부(405)는, 관심도에 따라 특징점 추출 개수에 차등을 두어 관심도에 따라 다른 정도로 보정을 수행할 수도 있다. 예를 들어, 관심도가 낮은 경우에 비해 관심도가 높은 경우 더 많은 수의 특징점을 추출하여 보정을 수행할 수 있다. 특징점을 많이 추출할수록 보정의 정밀도가 높아질 수 있으므로 관심도가 높은 부분에 대해 더 세밀한 보정을 하게 되는 효과가 있다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 제1부분의 깊이, 제1영상 대비 제1부분의 크기 중 적어도 하나에 기초하여 관심도를 결정할 수 있다. 일 예로, 제1부분이 화면에서 멀리 위치하고 있을수록, 즉 제1부분의 깊이값이 클수록 관심도가 낮은 것으로 결정할 수 있다. 다른 예로, 제1부분이 화면에서 차지하는 비중이 작을수록, 즉 제1영상 대비 제1부분의 크기가 작을수록 제1부분의 관심도가 낮은 것으로 결정할 수 있다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)가 제1부분의 관심도에 따라 다른 정도로 보정을 수행하는 예를 도 12를 참조하여 설명한다. 도 12는 본 발명의 일 실시예에 따른 특징점 추출 및 보정의 다른 예를 나타내는 도면이다. 사용자의 시점에 대응하는 영상(1201)에 제1인물(1210)과 제2인물(1220) 두 명의 사람이 있는 경우를 도시한다. 여기서 제1인물(1210) 부분은 깊이값이 크고 전체 영상의 세로길이 대비 차지하는 길이 비율이 크다. 반면, 제2인물(1220) 부분은 깊이값이 작고 전체 영상의 세로길이 대비 차지하는 길이 비율이 작다. 따라서 제어부(405)는 제1인물(1210)에 대한 관심도가 제2인물(1220)에 대한 관심도보다 크다고 판단할 수 있다. 이 경우 제어부(405)는 관심도가 높은 제1인물(1210) 부분에 대하여, 관심도가 상대적으로 낮은 제2인물(1220) 부분과 비교해 더 많은 수의 특징점을 추출하여 보정을 수행할 수 있다. 그 경우 제2인물(1220) 부분에 비해 제1인물(1210) 부분에 대한 보정 처리 시간이 더 길어질 수는 있으나, 보정의 품질은 더 높을 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 기준영상의 제2부분과 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 보정을 수행할 수 있다. 예를 들어 제어부(405)는, 두 영상 간 차이가 소정값 이상인 경우에만 보정을 수행할 수 있다. 즉, 보정의 필요성이 낮다고 판단할 경우 보정을 생략하거나 보정을 간략하게만 수행할 수 있다. 도 13을 참조하여 이를 설명한다.
도 13은 본 발명의 일 실시예에 따른 디스플레이장치 제어부(405) 동작의 다른 예를 나타내는 흐름도이다. 본 실시예의 디스플레이장치 제어부(405)는 제1부분에 대응하는 제2부분을 포함하며 제2시점에 대응하는 제2영상을 선택한 후(S1302), 제1부분과 제2부분의 차이를 계산한다. 제1부분이 왜곡된 영상인 경우, 제1부분과 제2부분의 차이는 왜곡률에 해당할 수 있다.
이후, 제1부분과 제2부분의 차이가 소정값 이상인 경우에만 제1부분에 대한 보정을 수행하도록 할 수 있다(S1303 ~ S1305). 제1부분과 제2부분의 차이가 왜곡률일 경우, 왜곡률이 일정 이상인 경우에만 보정을 수행할 수 있다.
왜곡률을 계산하는 구체적인 예를 도 9와 도 10을 다시 참조하여 설명한다. 제1영상의 제1부분과 제2영상의 제2부분에 대해 추출한 특징점이 각각 613 및 623과 같은 경우, 제2부분과 대비한 제1부분의 왜곡률은 다음의 [수식 3]과 같이 계산할 수 있다.
[수식 3]
Figure PCTKR2018005682-appb-I000003
여기서 Mref는 참조영상의 제2부분에 대한 특징점 사이의 크기 비율을 의미하고, Mest는 제1영상의 제1부분에 대한 특징점 사이의 크기 비율을 의미한다. Dref는 참조영상의 제2부분에 대한 특징점 사이의 방향값을 의미하고, Dest는 제1영상의 제1부분에 대한 특징점 사이의 방향값을 의미한다.
본 발명의 일 실시예에 따른 디스플레이장치의 제어부(405)는, 영상의 일정 부분에 대한 특징점 정보를 3차원 정보로 추출할 수 있다. 예를 들어, 입체 영상에 매핑된 한 영상의 일정 부분에 대한 특징점 정보를 추출함에 있어서 해당 특징점의 위치를 3차원 벡터의 형태로 추출할 수 있다. 이 경우 제어부(405)는, 아래의 [수식 4]와 같이 특징점 사이의 회전정보까지 반영하여 왜곡률을 계산할 수 있다.
[수식 4]
Figure PCTKR2018005682-appb-I000004
여기서 Rref는 참조영상의 제2부분에 대한 특징점 사이의 회전정보를 의미하고, Rest는 제1영상의 제1부분에 대한 특징점 사이의 회전정보를 의미한다.
제어부(405)는, 이상과 같이 왜곡률을 계산한 후 왜곡률이 소정값 이상인 경우, 예를 들어 임계값이 25%이면 왜곡률이 25% 이상인 경우에만 제1부분에 대한 보정을 수행할 수 있다. 이에 의하면, 제1부분과 제2부분의 차이 또는 왜곡률이 일정값 이상인 경우에만 보정을 수행하고 그렇지 않은 경우에는 보정을 하지 않음으로써, 즉 보정이 불필요한 경우를 판단하여 불필요할 경우 보정을 생략함으로써 보정 효율이 높아진다.
나아가 위 실시예에, 관심도에 따라 선택적으로 또는 다른 정도로 보정을 수행하는 실시예를 결합하면 더욱 효율적일 수 있다. 예를 들어, 제어부(405)가 참조영상인 제2영상을 선택하는 단계(S1302)를 수행하기 이전에, 보정을 하려는 제1영역 중 제1부분의 관심도가 소정값 이상인지를 확인하여 그에 따라 보정 처리 과정 자체의 진입 여부를 결정할 수 있다(S1301). 이에 의하면, 보정 처리 과정 중에 왜곡률을 계산하고 왜곡률에 따라 불필요한 보정을 생략하는 것에서 더 나아가, 보정 처리 과정에 진입할 것인지 여부 자체를 첫 단계에서 판단함으로써, 일 예로 관심도가 낮은 제1부분에 대해서는 애초부터 보정 자체를 수행하지 않도록 함으로써, 보정의 효율성을 더욱 높일 수 있다. 이에 의하면, 상황에 따라 보정 여부 또는 보정 정도를 조절할 수 있게 되어 보정 효율이 더욱 향상된다.
본 발명의 일 실시예에 의한 디스플레이장치의 제어부(405)는, 보정한 제1부분의 배경부분에 대한 영상처리도 수행할 수 있다. 제어부(405)가 제1영상 중 일부인 제1부분에 대해서만 보정을 수행하고 그 배경에 대해서는 영상처리를 하지 않을 경우, 보정된 제1부분과 그렇지 않은 배경 사이에서 사용자는 이질적인 느낌을 받을 수 있다. 이를 해결하기 위해 제어부(405)는, 제1부분을 보정하는 경우 그 배경부분에 대한 영상처리, 예를 들어 blending 또는 matting 기술을 사용한 처리를 수행할 수 있다. 이질감을 완화시키는 작업을 수행할 수 있다. 이에 의하면, 보정된 부분과 그 배경부분의 이질감이 완화되어 보정 영상의 품질이 향상된다.

Claims (15)

  1. 디스플레이장치에 있어서,
    디스플레이부;
    영상처리부; 및
    사용자의 시점 이동에 따라 결정된 제1시점에 대응하는 제1영상 중의 제1부분에 대하여, 상기 제1시점과는 다른 제2시점에 대응하는 제2영상 중에서 상기 제1부분에 대응하는 제2부분을 참조하여, 상기 제1부분을 보정한 영상을 생성하고, 상기 생성된 영상이 상기 디스플레이부에 표시되도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치하는 디스플레이장치.
  3. 제1항에 있어서,
    상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고,
    상기 제어부는 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행하는 디스플레이장치.
  4. 제3항에 있어서,
    상기 제어부는 객체의 특성 또는 영상 왜곡의 특성에 따라 특징점을 다르게 추출하여 상기 보정을 수행하는 디스플레이장치.
  5. 제3항에 있어서,
    상기 제어부는 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 제어부는 상기 제2영상의 제2부분과 상기 제1영상의 제1부분의 차이에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 제어부는 상기 제1부분의 관심도에 따라 선택적으로 또는 다른 정도로 상기 보정을 수행하는 디스플레이장치.
  8. 제6항에 있어서,
    상기 관심도는 상기 제1부분의 깊이 및 상기 제1영상 대비 상기 제1부분의 크기 중 적어도 하나에 기초하여 결정되는 디스플레이장치.
  9. 제1항에 있어서,
    상기 제어부는 보정한 상기 제1부분의 배경부분에 대한 영상처리를 수행하는 디스플레이장치.
  10. 디스플레이장치의 제어방법에 있어서,
    사용자의 시점 이동에 따라 제1시점에 대응하며 제1부분을 포함하는 제1영상을 결정하는 단계;
    상기 제1부분에 대응하는 제2부분을 포함하고 상기 제1시점과는 다른 제2시점에 대응하는 제2영상을 선택하는 단계;
    상기 제2영상 중에서 제2부분을 참조하여 상기 제1영상의 제1부분을 보정한 영상을 생성하는 단계; 및
    상기 생성된 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  11. 제10항에 있어서,
    상기 제2부분은 상기 제2영상의 중심부에 위치하고, 상기 제1부분은 상기 제1영상의 중심부로부터 떨어진 외곽부에 위치하는 디스플레이장치의 제어방법.
  12. 제10항에 있어서,
    상기 제1부분과 제2부분은 각 서로 대응되는 객체를 포함하고,
    상기 보정 영상을 생성하는 단계는, 상기 제1부분과 제2부분의 각 객체의 특징점을 추출하고, 상기 추출된 특징점의 대응관계에 기초하여 상기 보정을 수행하는 디스플레이장치의 제어방법.
  13. 제12항에 있어서,
    상기 보정 영상을 생성하는 단계는, 객체의 특성 또는 영상 왜곡의 특성에 따라 특징점을 다르게 추출하여 상기 보정을 수행하는 디스플레이장치의 제어방법.
  14. 제12항에 있어서,
    상기 보정 영상을 생성하는 단계는, 상기 추출된 특징점 사이의 크기, 방향 중 적어도 하나에 기초하여 상기 보정을 수행하는 디스플레이장치의 제어방법.
  15. 디스플레이장치와 결합되어 제10항의 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
PCT/KR2018/005682 2017-07-10 2018-05-17 디스플레이장치 및 그 제어방법 WO2019013443A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0087188 2017-07-10
KR1020170087188A KR20190006329A (ko) 2017-07-10 2017-07-10 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2019013443A1 true WO2019013443A1 (ko) 2019-01-17

Family

ID=65002112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/005682 WO2019013443A1 (ko) 2017-07-10 2018-05-17 디스플레이장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR20190006329A (ko)
WO (1) WO2019013443A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200140607A (ko) * 2019-06-07 2020-12-16 삼성전자주식회사 디스플레이를 포함하는 전자 장치 및 상기 전자 장치가 표시하는 영상을 보정하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080085044A (ko) * 2006-01-18 2008-09-22 이스트맨 코닥 캄파니 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR101213855B1 (ko) * 2005-04-14 2012-12-18 마이크로소프트 코포레이션 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법
KR101644426B1 (ko) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 변형3d모델에 대응되는 원본3d모델 인식방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213855B1 (ko) * 2005-04-14 2012-12-18 마이크로소프트 코포레이션 360도 파노라마 이미지에서의 머리 사이즈 균등화를 위한시스템 및 방법
KR20080085044A (ko) * 2006-01-18 2008-09-22 이스트맨 코닥 캄파니 입체 표시 시스템에서의 오정렬 보정 방법, 입체 표시시스템 및 영상 처리 시스템
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR101644426B1 (ko) * 2015-09-30 2016-08-02 상명대학교서울산학협력단 변형3d모델에 대응되는 원본3d모델 인식방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, B. ET. AL.: "Exemplar-Based Image Inpainting for Spherical Panoramic Image", JOURNAL OF KIISE, VOL. 43, N.4, 30 April 2016 (2016-04-30), pages 437 - 449 *

Also Published As

Publication number Publication date
KR20190006329A (ko) 2019-01-18

Similar Documents

Publication Publication Date Title
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2021147657A1 (zh) 插帧处理方法及相关产品
WO2016048013A1 (en) Camera system for three-dimensional video
WO2018093143A1 (en) Display apparatus and control method thereof
CN110809115B (zh) 拍摄方法及电子设备
WO2014104521A1 (en) Image transformation apparatus and method
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
JP2017539169A (ja) カラービデオと深度ビデオとの同期方法、装置、および媒体
EP3603054A1 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
WO2017095179A1 (en) Method and apparatus for image enhancement of virtual reality images
WO2020197070A1 (en) Electronic device performing function according to gesture input and operation method thereof
WO2017057926A1 (ko) 디스플레이 장치 및 이의 제어 방법
EP3412031A1 (en) Method and apparatus for creating, streaming, and rendering hdr images
US10750080B2 (en) Information processing device, information processing method, and program
US11915667B2 (en) Method and system for displaying corrected image, and display device
WO2021167231A1 (ko) 전자장치 및 그 제어방법
WO2019013443A1 (ko) 디스플레이장치 및 그 제어방법
JP2018157578A (ja) 映像表示システム、映像表示装置及び映像表示方法
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
WO2021162241A1 (ko) 이미지 센서 제어 방법 및 장치
WO2021080307A1 (en) Method for controlling camera and electronic device therefor
US11113850B2 (en) Electronic apparatus and control method thereof
EP3520071A1 (en) Consistent spherical photo and video orientation correction
CN112116530B (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
WO2024005356A1 (ko) 이미지 표시를 위한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18832386

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18832386

Country of ref document: EP

Kind code of ref document: A1