KR20170091323A - 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체 - Google Patents

영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR20170091323A
KR20170091323A KR1020160012188A KR20160012188A KR20170091323A KR 20170091323 A KR20170091323 A KR 20170091323A KR 1020160012188 A KR1020160012188 A KR 1020160012188A KR 20160012188 A KR20160012188 A KR 20160012188A KR 20170091323 A KR20170091323 A KR 20170091323A
Authority
KR
South Korea
Prior art keywords
image
compressed
decoding
unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020160012188A
Other languages
English (en)
Inventor
장두희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160012188A priority Critical patent/KR20170091323A/ko
Priority to US15/389,813 priority patent/US20170223300A1/en
Publication of KR20170091323A publication Critical patent/KR20170091323A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시의 실시예는 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 하나의 원본 영상을 구성하는 복수의 압축 영상을 수신하는 영상 수신부, 수신한 복수의 압축 영상 중 사용자의 관심 영역에 대응되는 압축 영상을 디코딩하는 신호 처리부, 및 디코딩된 압축 영상을 표시하는 디스플레이부를 포함할 수 있다.

Description

영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체{Image Display Apparatus, Driving Method of Image Display Apparatus, and Computer Readable Recording Medium}
본 개시는 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가령 360도 가상현실(VR) 영상을 효율적으로 재생하기 위한 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관련된다.
360도 VR 영상은 VR 기기 또는 유*브(You *be)에서 지원하는 상하, 좌우, 앞뒤의 원하는 방향으로 돌리면서 볼 수 있는 동영상이다. 360도 VR 영상은 정방형(혹은 구 형태의 사각형) 도법(equi-rectangular projection)으로 표현된 평면 영상 중에서, 사용자의 관심 영역을 원하는 방향으로 재구성하여 보여주는 방식이다. 이러한 360도 VR 영상은 사용자에게 제공될 때, 전체 영상의 1/4 이하 크기의 영역만 제공되게 된다.
그런데, 종래에는 전체 영상 중에서 사용자에게 제공되지 않는 부분까지 모두 디코딩하게 되어, 디코더의 전력을 소모하는 문제가 있었다. 예를 들어, VR 원본 영상이 UHD 해상도일 경우, 사용자에게 제공되는 영역은 FHD 이하의 해상도임에도 불구하고, 디코더는 UHD 디코딩이 가능해야만 서비스를 제공할 수 있는 구조이다. 따라서, 추후에는 VR 원본 영상의 해상도가 확장될 경우, 디코더의 성능(capability)(ex. 4K → 8K → 16K → 32K)이 향상되지 않으면, 관련 서비스의 제공이 불가하게 되는 문제가 발생하게 된다.
본 개시의 실시예는 가령 360도 가상현실(VR) 영상을 효율적으로 재생하기 위한 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.
본 개시의 실시예에 따른 영상표시장치는, 하나의 원본 영상을 구성하는 복수의 압축 영상을 수신하는 영상 수신부, 상기 수신한 복수의 압축 영상 중 사용자의 관심 영역에 대응되는 압축 영상을 디코딩하는 신호 처리부, 및 상기 디코딩된 압축 영상을 표시하는 디스플레이부를 포함한다.
상기 영상 수신부는 상기 복수의 압축 영상을 시간 단위로 구분한 영역의 좌표 정보를 상기 복수의 압축 영상과 함께 수신하며, 상기 신호 처리부는 상기 수신한 좌표 정보를 근거로 상기 관심 영역에 대응하는 압축 영상을 디코딩할 수 있다.
상기 영상 수신부는, 상기 시간 단위로 구분한 영역의 크기가 서로 다른 상기 복수의 압축 영상을 수신할 수 있다.
상기 영상 수신부는, 가상현실(VR) 영상을 화면에 표시하기 위하여 구 형태의 사각형 도법(equi-rectangular projection)으로 표현한 평면 영상을 상기 원본 영상으로서 수신할 수 있다.
상기 영상표시장치는, 상기 수신한 복수의 압축 영상을 GOP(Group Of Pictures) 단위로 저장하는 저장부를 더 포함하며, 상기 신호처리부는 상기 GOP 단위로 저장한 압축 영상에서 상기 관심 영역의 압축 영상을 디코딩할 수 있다.
상기 신호처리부는 상기 관심 영역에 해당되는 현재 프레임의 이전 및 이후 프레임 중 적어도 하나로부터 디코딩을 시작할 수 있다.
상기 신호처리부는 상기 수신된 복수의 압축 영상이 저해상도 영상인 경우, 상기 관심 영역에 상응하는 상기 압축 영상의 GOP 단위가 끝나는 시점까지 디코딩할 수 있다.
상기 저해상도 영상은 썸네일(thumbnail) 영상을 포함할 수 있다.
또한, 본 개시의 실시예에 따른 영상표시장치의 구동방법은, 하나의 원본 영상을 구성하는 복수의 압축 영상을 수신하는 단계, 상기 수신한 복수의 압축 영상 중 사용자의 관심 영역에 대응되는 압축 영상을 디코딩하는 단계, 및 상기 디코딩된 압축 영상을 표시하는 단계를 포함한다.
상기 영상을 수신하는 단계는, 상기 복수의 압축 영상을 시간 단위로 구분한 영역의 좌표 정보를 상기 복수의 압축 영상과 함께 수신하며, 상기 디코딩하는 단계는, 상기 수신한 좌표 정보를 근거로 상기 관심 영역에 대응하는 압축 영상을 디코딩할 수 있다.
상기 영상을 수신하는 단계는, 상기 시간 단위로 구분한 영역의 크기가 서로 다른 상기 복수의 압축 영상을 수신할 수 있다.
상기 영상을 수신하는 단계는, 가상현실(VR) 영상을 화면에 표시하기 위하여 구 형태의 사각형 도법으로 표현한 평면 영상을 상기 원본 영상으로서 수신할 수 있다.
상기 구동방법은, 상기 수신한 복수의 압축 영상을 GOP 단위로 저장하는 단계를 더 포함하며, 상기 디코딩하는 단계는, 상기 GOP 단위로 저장한 압축 영상에서 상기 관심 영역의 압축 영상을 디코딩할 수 있다.
상기 디코딩하는 단계는, 상기 관심 영역에 해당되는 현재 프레임의 이전 및 이후 프레임 중 적어도 하나로부터 디코딩을 시작할 수 있다.
상기 디코딩하는 단계는, 상기 수신된 복수의 압축 영상이 저해상도 영상인 경우, 상기 관심 영역에 상응하는 상기 압축 영상의 GOP 단위가 끝나는 시점까지 디코딩할 수 있다.
상기 저해상도 영상은 썸네일 영상을 포함할 수 있다.
나아가, 본 개시의 실시예에 따른 컴퓨터 판독가능 기록매체는 영상표시장치의 구동방법을 실행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상표시장치의 구동방법은, 하나의 원본 영상을 구성하는 복수의 압축 영상을 수신하는 단계, 상기 수신한 복수의 압축 영상 중 사용자의 관심 영역에 대응되는 압축 영상을 디코딩하는 단계를 실행한다.
도 1은 본 개시의 실시예에 따른 서비스 시스템을 나타내는 도면,
도 2는 도 1에 도시된 영상중계장치의 세부 구조를 나타내는 블록다이어그램,
도 3은 도 1에 도시된 영상표시장치 2의 세부 구조를 예시하여 나타낸 블록다이어그램,
도 4는 도 3에 도시된 분할 디코딩 신호처리부의 세부 구조를 예시하여 나타낸 블록다이어그램,
도 5는 도 4의 제어부의 구조를 예시하여 나타낸 도면,
도 6은 도 3의 분할 디코딩 신호처리부 또는 도 4의 분할 디코딩 신호실행부의 세부 구조를 예시하여 나타낸 도면,
도 7은 본 개시의 실시예에 따른 선택적 디코딩을 설명하기 위한 VR 평면 영상을 나타내는 도면,
도 8은 본 개시의 다른 실시예에 따른 영상표시장치 1의 세부 구조를 예시하여 나타낸 블록다이어그램,
도 9는 도 1에 도시된 서비스제공장치의 세부 구조를 예시하여 나타낸 블록다이어그램,
도 10은 도 9의 분할 인코딩 신호처리부의 예시도,
도 11 및 도 12는 본 개시의 실시예에 따른 선택적 분할 디코딩을 위한 불균등 분할 영역을 설명하기 도면,
도 13은 본 개시의 실시예에 따른 서비스 과정을 설명하기 위한 도면,
도 14는 본 개시의 실시예에 따른 선택된 디코딩 과정을 설명하기 위한 흐름도, 그리고
도 15는 본 개시의 실시예에 따른 불균등 분할 압축 영상의 생성 과정을 설명하기 위한 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 설명한다.
도 1은 본 개시의 실시예에 따른 서비스 시스템을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 개시의 실시예에 따른 서비스 시스템(90)은 영상표시장치 1 및 2(100, 110), 영상중계장치(120), 통신망(130) 및 서비스제공장치(140)의 일부 또는 전부를 포함한다.
영상표시장치 1 및 2(100, 110)는 랩탑 컴퓨터, 데스크탑 컴퓨터 및 태블릿 PC 등의 컴퓨터, 스마트폰 등의 휴대폰, PDP, 웨어러블 장치, TV, 나아가 휴대폰이 결합 가능한 VR 기기 등 다양한 종류의 장치를 포함할 수 있다. 이러한 영상표시장치 1 및 2(100, 110)는 서비스제공장치(140)에서 제공하는 영상, 가령 본 개시의 실시예에 따른 360도 VR 영상을 직접 디코딩 처리하여 화면에 표시할 수 있지만, 영상표시장치 1(100)과 같이 영상중계장치(120)와 연동하는 경우에는 영상중계장치(120)에서 디코딩 처리하여 제공하는 영상을 화면에 표시해 줄 수 있다. 물론 영상중계장치(120)가 영상을 중계하여 영상표시장치 1(100)에서 디코딩하는 것도 얼마든지 가능할 수는 있을 것이다.
설명의 편의상, 도 1에서는 영상표시장치 2(110)와 영상중계장치(120) 장치가 VR 영상의 디코딩 처리를 수행하는 것으로 이하 설명하도록 한다. 또한, 영상표시장치 1(100)은 유선 통신을, 영상표시장치 2(110)는 무선 통신을 수행하는 것을 예시하였다.
영상표시장치 2(110)는 무선통신이 가능한 표시장치를 포함한다. 예를 들어, 휴대폰과 같은 무선단말장치는 통신망(130)에 포함되는 특정 통신사의 기지국(ex. e-Node 등), 또는 사용자의 홈 내에 구비되는 액세스포인트(ex. 무선공유기) 등과 통신을 수행하여, 서비스제공장치(140)에서 제공하는 VR 영상을 수신할 수 있다.
영상중계장치(120)는 셋탑박스(STB), VCR, VTR 및 블루레이(Bluray) 재생기 등을 포함하며, 통신망(130)에 연결되어 동작한다. 이후에 다시 설명하겠지만, 영상중계장치(120)는 통신망(130)에 포함되는 라우터와 같은 허브장치에 연결되어 동작할 수 있다.
설명의 편의를 위해, 본 개시의 실시예에 따른 '선택적 디코딩'은 영상중계장치(120)에서 이루어지는 것을 가정하여 설명하도록 한다. 따라서, 본 개시의 실시예에 따른 동작을 영상중계장치(120)에 특별히 한정하는 것은 아니다.
영상중계장치(120)는 영상표시장치 1(100)의 요청에 따라 서비스제공장치(140)로부터 360도 VR 영상을 수신한다. 물론 이러한 VR 영상은 낮은(저) 해상도의 썸네일 영상과 같은 정지 영상일 수 있고, 동영상일 수 있다. 가령 동영상은 서비스제공장치(140)와의 규격에 따라 영상 데이터를 부호화(encoding)하고 복호화(decoding)하여 전송될 것이다. 여기서, "규격"이라 영상 데이터가 어떠한 형태의 데이터 포맷을 가지며, 어떠한 방식으로 영상 데이터를 부호화하였는지 등과 관련한 규정을 의미한다.
따라서, 본 개시의 실시예에 따른 영상중계장치(120)는 기본적으로 부호화된 영상을 기반으로 사용자의 관심 영역에 근거한 영역을 구분(혹은 분할)하여 구분한 영역에 대한 좌표 정보를 함께 제공할 수 있다. 물론 그 반대로 사용자의 관심 영역에 대한 좌표 정보를 포함하여 부호화를 수행할 수도 있을 것이다. 최초 카메라로 촬영된 원본 영상 즉 단위 프레임이 영상이 있다고 가정하자. 이러한 원본 영상은 정방형도법으로 표현된 평면 영상이다. 본 개시의 실시예에 따르면, 이 단위 프레임 영상은 매크로 블록 단위로 인코딩 처리될 것이다. 이때, 매크로 블록 단위는 단위 프레임 영상에서 동일 크기를 가질 것이다. 따라서, 본 개시의 실시예에 따른 "사용자 관심 영역에 근거한 영역"이란 복수의 매크로 블록을 포함하는 개념이다. 또한 본 개시의 실시예에 따른 복수의 영역은 영상중계장치(120)의 관점에서 볼 때, 복수의 압축 영상에서 시간 단위로 구분된 영역의 압축 영상을 의미할 수 있다. 이러한 영역은 데이터 용량을 의미하는 것이 바람직하다.
여하한, 본 개시의 실시예에서는 이러한 인코딩된 단위 프레임 영상을 기반으로 사용자의 관심 영역을 근거로 하는 영역 구분을 수행한다고 볼 수 있다. 이때 영역 분할의 기준은 단위 프레임 영상의 상측과 하측 부분의 영상은 영역을 크게 나누고, 중앙 영역은 상하측 부분에 비해 가급적 작게 나누는 것이 바람직하다. 이는 VR 영상의 특성상 구 형상의 촬영 영상을 평면 영상으로 형성하는 과정에서 상측과 하측 부분의 영상의 영상 정보 즉 화소값이 많이 손실 또는 왜곡될 수 있는 점을 고려한 것이다. 따라서, 본 개시의 실시예에 따른 사용자 관심 영역에 기반한 디코딩은 가령 복수의 매크로 블록을 디코딩하는 것을 포함한다. 다만, 추후에 영상 통신 규격이 재정립되는 경우에는 본 개시의 실시예에서와 같이 매크로 블록 디코딩 과정을 생략하고, 본 개시의 실시예에 따른 방식으로 바로 디코딩 처리하는 것도 얼마든지 가능할 수 있으므로, 위의 내용에 특별히 한정하지는 않을 것이다.
상기의 내용에 근거하여, 영상중계장치(120)는 사용자 관심 영역에 기반하여 구분된 부호화된 영상을 수신한다. 이때, 구분된 부호화 영상은 사용자 관심 영역을 나타내는 좌표 정보를 함께 수신할 수 있을 것이다. 따라서, 영상중계장치(120)는 영역이 구분된 부호화 영상이 수신되면, 수신됨과 동시에 모든 영상을 복호화하지 않고 메모리에 일시 저장해 둘 수 있다. 그리고, 영상중계장치(120)가 영상표시장치 1(100)로부터 사용자 관심 영역에 대한 좌표 정보를 수신하는 경우, 이를 기반으로 해당 부분의 부호화 영상만 선택하여 부호화하여 영상표시장치 1(100)로 제공할 수 있다. 사용자 관심 영역의 판단은, 예를 들어 휴대폰의 경우 내부에 구비되는 센서, 지자기 센서나 방향 센서 등을 통해 휴대폰의 모션을 감지하여 판단하는 것이 얼마든지 가능하다.
본 개시의 실시예에 따른 선택적 디코딩 과정은 다양하게 변경되어 수행될 수 있다. 예를 들어, 사용자의 관심 영역은 다른 영역으로 서서히 변경될 수도 있지만, 급격한 장면 전환이 이루어질 수도 있다. 이러한 문제를 해결하기 위하여, 본 개시의 실시예에서는 GOP 단위로 영상을 일시 저장한 후, 사용자의 관심 영역에 대한 영상만을 선택하여 디코딩할 수 있다. 이때, GOP 단위를 기준으로, I, P 픽처의 순서를 갖는 화면 타입이나 I, B, P 픽처의 순서를 갖는 화면 타입에 관계없이 I 픽처가 아닌 B 픽처나 P 픽처에서 사용자의 관심 영역이 시작되면, 해당 GOP 단위의 I 픽처부터 사용자의 관심 영역으로 판단하여 선택적 디코딩을 수행할 수도 있다. 이에 근거해 볼 때, 본 개시의 실시예는, 사용자의 관심 영역이 시작하는 현재 프레임의 이전 및 이후 프레임 중 적어도 하나의 프레임부터 디코딩을 시작하는 것을 포함할 수 있을 것이다. GOP 단위는 썸네일 영상과 같이 I 픽처들의 집합이거나, I 픽터와 P 픽터의 집합일 수 있고, I 픽처, B 픽처 및 P 픽처의 집합일 수 있다. 어떠한 GOP 단위로 픽처의 형태를 구성하느냐는 '화면 타입'이라 명명하며, 이는 부호화 순서를 결정한다. 또한, GOP 단위는 초당 단위 프레임 영상들의 집합을 의미한다.
이와 같이 영상중계장치(120)는 디코딩 효율을 증대시키기 위하여 위에서 기술한 방식들을 적절히 이용하여 디코딩을 수행할 수 있을 것이다. 이러한 디코딩 방식의 결정은 시스템 설계자에 의해 얼마든지 변경될 수 있는 것이므로, 본 개시의 실시예에서는 위의 내용에 특별히 한정하지는 않을 것이다. 이와 같이 디코딩 처리된 VR 영상은 영상표시장치 1(100)로 제공되어 화면에 표시된다.
통신망(130)은 유무선 통신망을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 물론 본 개시의 실시예에 따른 통신망(130)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망 등에 사용될 수 있다. 가령, 통신망(130)이 유선 통신망인 경우 통신망(130) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(130)은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 영상표시장치 2(110) 또는 영상중계장치(120)가 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 영상표시장치 2(110)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 영상표시장치 2(100)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.
본 개시의 실시예에 따른 서비스제공장치(140)는 영상표시장치 1(100) 또는 영상표시장치 2(110)에서 요청하는 VR 영상을 제공하며, 이를 위해 별도의 컨텐츠 제공업자가 제공하는 VR 영상을 공급받아 저장할 수 있다. 이와 같이 VR 영상이 수신되면, 서비스제공장치(140)는 가령 영상표시장치 2(110) 및 영상중계장치(120) 중 적어도 하나에서 사용자의 관심 영역에 기반한 선택적 디코딩이 수행될 수 있도록 원본 평면 영상을 복수의 영역으로 구분한다. 본 개시의 실시예에 따라 원본 평면 영상에서 중앙 부분들은 일정한 크기 즉 동일 크기로 구분할 수 있고, 상하측 영역은 중앙 부분들과 다른 크기의 영역들로 구분할 수 있다. 그리고 이와 같이 구분한 영역을 나타내는 좌표 정보는 원본 평면 영상을 디코딩하여 전송할 때 함께 전송된다. 예를 들어, 좌표 정보는 화소의 위치를 나타내는 절대 좌표값일 수 있고, 평면 영상의 정중앙 부분을 기준으로 계산되는 상대 좌표값일 수 있다. 따라서, 어떠한 방식을 사용하느냐는 서비스제공장치(140)와 영상표시장치 2(110)나 영상중계장치(120) 사이에 이미 약속된 규격이 있을 것이고, 이를 이용할 것이다.
앞서 언급한 바 있지만, 서비스제공장치(140)는 발명의 충분한 이해를 돕기 위하여, 부호화된 영상을 기반으로 사용자 관심 영역을 구분하는 것을 예로 들어 설명하였다. 그러나, 향후에는 사용자 관심 영역에 기반해서만 영상이 부호화되어 전송될 수도 있을 것이다. 다시 말해, "부호화된 영상 기반"이란 인터 부호화냐 인트라 부호화냐에 따라 부호화에 따른 부가 정보도 다르고, 부호화된 영상 데이터도 다를 수밖에 없다. 따라서, 이러한 부분을 모두 생략되고, 가령 인트라를 수행할 때 매크로 블록 단위의 부호화가 아니라, 본 개시의 실시예에 따른 사용자 관심 영역을 기반으로 하는 부호화가 이루어질 수도 있을 것이다. 이와 같이 본 개시의 실시예에 따른 서비스제공장치(140)는 다양한 방식으로 VR 영상을 부호화 처리하여 통신망(130)으로 전송할 수 있다.
상기의 구성 결과, 영상표시장치 2(110) 및 영상중계장치(120)는 디코딩에 따르는 부담 즉 빈번한 디코딩 수행에 따르는 전력을 줄일 수 있고, 데이터 처리 속도가 그만큼 빨라질 수 있을 것이다. 좀 더 정확히 말해, 360 VR 영상의 영역을 구분하여 부호화하고, 사용자의 관심 영역만 선택적으로 디코딩함으로써 메모리 및 디코딩 전력 면에서 많은 이득을 얻게 될 것이다.
도 2는 도 1에 도시된 영상중계장치의 세부 구조를 나타내는 블록다이어그램이다.
도 2에 도시된 바와 같이, 본 개시의 실시예에 따른 영상중계장치(120)는 신호 수신부(200) 및 분할 디코딩 신호처리부(210)(혹은 신호처리부)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 신호 수신부(200)와 같은 일부 구성요소가 생략되거나 분할 디코딩 신호처리부(210)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
영상 수신부(200)는 영상을 수신하는 영상 입력 단자 또는 안테나 등을 포함할 수 있지만, 튜너 또는 복조기 등을 더 포함할 수 있다. 이러한 튜너나 복조기 등은 분할 디코딩 신호처리부(210)의 범주에 포함될 수도 있다. 여기서, 영상 수신부(200)는 분할 디코딩 신호처리부(210)의 제어에 의해 VR 영상을 통신망(130)으로 요청하고, 요청에 따른 영상 신호를 수신하는 역할을 수행할 수 있다.
분할 디코딩 신호처리부(210)는 수신된 영상 신호(ex. 비디오 데이터, 오디오 데이터, 부가 정보)를 저장한 후, 사용자 관심 영역을 기반으로 선택적으로 디코딩을 수행한다. 다시 말해, 수신된 영상 신호는 가령 움직임 벡터와 같은 부호화 정보 이외에 본 개시의 실시예에 따라 구분된 영역에 대한 좌표 정보를 포함하고 있기 때문에 이를 근거로 사용자가 영상표시장치 1(100)에서 어떠한 영역에 관심이 있는지를 판단할 수 있고, 따라서, 좌표 정보가 일치하는 부분의 영상을 사용자의 관심 영역으로 선택하여 디코딩하게 된다. 이때, 분할 디코딩 신호처리부(210)는 GOP 단위로 저장된 압축 영상의 화면 타입이 I 픽처, B 픽처로 이루어지거나, I 픽처, B 픽처 및 P 픽처로 이루어졌는지에 상관없이 사용자의 관심 영역이 최초 B 픽처나 P 픽터로부터 시작되면, 같은 GOP 그룹에 속하는 이전 단계의 I 픽처로 이동시켜 I 픽처부터 디코딩을 시작하여 전환 시간의 구간까지의 픽처를 디코딩할 수 있다. 이는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.
이어, 분할 디코딩 신호처리부(210)는 선택적으로 디코딩된 VR 영상을 영상표시장치 1(100)로 전송해 줄 수 있을 것이다. 이때, 영상표시장치 1(100)에 표시된 관심 영역의 영상은 디코딩된 영상의 크기와 다를 수 있다. 다시 말해, 관심 영역이 구분된 영역에 조금이라도 포함된다면 해당 영역을 모두 디코딩하기 때문에 실제 사용자의 관심 영역의 크기와는 차이가 있을 수 있는 것이다.
도 3은 도 1에 도시된 영상표시장치 2의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 3에 도시된 바와 같이, 영상표시장치 2(110)는 스마트폰과 같은 무선단말장치로서 VR 기기 내에 삽입될 수 있으며, 신호 수신부(300), 분할 디코딩 신호처리부(310) 및 디스플레이부(320)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 분할 디코딩 신호처리부(310)가 디스플레이부(320)에 통합될 수 있는 것 등을 의미하는 것으로서, 예컨대, 분할 디코딩 신호처리부(310)가 디스플레이부(320)의 영상 패널에 COG(Chip on Glass) 형태로 형성되는 것도 얼마든지 가능하지만, 이하에서는 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
도 3에 도시된 신호 수신부(300) 및 분할 디코딩 신호처리부(310)를 도 2의 신호 수신부(200) 및 분할 디코딩 신호처리부(210)와 비교해 볼 때, 서로 동일한 동작을 수행하므로 앞서의 내용들로 대신하고자 한다.
다만, 디스플레이부(320)는 LCD 패널, OLED 패널 및 PDP 패널 등 다양한 패널을 포함할 수 있다. 또한, 분할 디코딩 신호처리부(310)는 수신된 영상 신호에 대하여 비디오 신호, 오디오 신호 및 부가 정보(ex. 부호화 정보, 좌표 정보 등)로 분리하고, 분리된 비디오/오디오 신호를 디코딩하며, 디코딩된 신호를 후처리하는 가령 비디오 신호의 경우 스케일링하는 등의 동작을 수행할 수 있다. 이러한 디코딩된 비디오 데이터 후처리 과정에서 사용자의 관심 영역만 선택할 수 있고, 또 선택된 관심 영역만 후처리, 가령 스케일링하는 것도 가능할 수 있다. 반면, 디스플레이부(320)는 분할 디코딩 신호처리부(310)에서 디코딩된 관심 영역의 비디오 데이터를 화면에 표시한다. 이를 위하여, 디스플레이부(320)는 타이밍 컨트롤러, 스캔 드라이버, 데이터 드라이버 등 다양한 구성요소들을 더 포함할 수 있지만, 이는 당업자에게 자명한 사항이므로 더 이상의 설명은 생략하도록 한다.
도 4는 도 3에 도시된 분할 디코딩 신호처리부의 세부 구조를 예시한 블록다이어그램이며, 도 5는 도 4에 도시한 제어부의 구조를 예시하여 나타낸 도면이다.
도 4에 도시된 바와 같이, 분할 디코딩 신호처리부(310)는 제어부(400), 분할 디코딩 실행부(410) 및 저장부(420)의 일부 또는 전부를 포함한다.
도 3에서는 분할 디코딩 신호처리부(310)가 하나의 프로그램 단위로서 제어 기능과 디코딩 기능을 모두 수행하는 것을 나타내었다면, 도 4에서는 제어 기능과 디코딩 기능을 서로 구분하여 동작하는 것을 예시한 것이다. 즉 제어부(400)는 제어 기능을 수행하고, 분할 디코딩 실행부(410)는 제어부(400)의 제어 하에 디코딩 동작을 수행한다고 볼 수 있다.
좀 더 살펴보면, 제어부(400)는 분할 디코딩 신호처리부(310)의 전반적인 제어 동작을 수행한다. 예를 들어, 영상 신호가 수신되면, 저장부(420)에 GOP 단위로 영상 신호를 저장할 수 있다.
그리고, 제어부(400)는 사용자의 관심 영역에 대한 좌표 정보를 근거로, 저장된 GOP 단위의 영상 신호에서 관심 부분의 영상을 선택(혹은 추출)한다. 이때, 디코딩을 위하여, I 픽처를 기준으로 하는 것은 앞서 설명한 바 있다. 이어, 제어부(400)는 선택한 사용자 관심 영역의 VR 영상을 분할 디코딩 실행부(410)를 통해 디코딩 처리한 후, 저장부(420)에 일시 저장하거나, 도 3의 디스플레이부(320)로 제공할 수 있다.
한편, 제어부(400)는 도 5에서와 같은 하드웨어적인 구성을 가질 수 있다. 이에 따라, 제어부(400)의 프로세서(500)는 영상표시장치 1(100)의 초기 동작, 즉 전원 온시에 분할 디코딩 실행부(410)에 저장된 프로그램을 메모리(510)에 로딩한 후, 선택적 디코딩 처리를 위해 로딩한 프로그램을 실행시킴으로써 데이터 처리 속도를 개선시킬 수 있을 것이다.
또한, 분할 디코딩 실행부(410)는 롬(ROM), 가령 이이피롬(EEPROM)의 형태로서 분할 디코딩을 위한 프로그램을 저장하고, 제어부(400)의 제어 하에 이를 실행시킬 수 있다. 물론 저장된 프로그램은 주기적으로 교체되거나, 폼웨어의 형태로서 제어부(400)의 제어 하에 갱신될 수 있을 것이다. 기타 자세한 내용은 앞서 도 2의 분할 디코딩 신호처리부(210)를 통해 충분히 설명하였으므로 더 이상의 설명은 생략한다.
도 6은 도 3의 분할 디코딩 신호처리부 또는 도 4의 분할 디코딩 신호실행부의 세부 구조를 예시하여 나타낸 도면이며, 도 7은 본 개시의 실시예에 따른 선택적 디코딩을 설명하기 위한 VR 평면 영상을 나타낸다.
이하, 설명의 편의를 위해 분할 디코딩 신호처리부(310')로 설명한다.
도 6에 도시된 바와 같이, 본 개시의 다른 실시예에 따른 분할 디코딩 신호처리부(310')는 비디오 디코더(600)와 영상 변환부(610)의 일부 또는 전부를 포함할 수 있다.
비디오 디코더(600)는 n 개의 픽처 데이터 중 사용자가 시청을 원하는 영역의 입력 픽처 데이터만 선택하여 해당 영상만 영상 변환부(610)로 제공한다. 픽처 단위로 분리하는 것은 VR 영상에서 사용자가 새로운 영역을 선택할 시, 해당 영역의 부호화 데이터만으로 독립적으로 복호화가 가능하게 하기 위함이다. 또한, 급격한 장면 전환 지원을 위해, 디코딩 장치에서는 GOP 단위까지 데이터 버퍼링을 지원하게 된다. 즉 데이터 저장이 가능하다. 또한, 다른 영역으로 전환시 해당 영역의 I 픽처부터 디코딩하여 전환 타이밍(또는 시간 구간)에 맞는 픽처까지 제공한다. 나아가, 저해상도의 제이펙(jpeg) 혹은 I 픽처로만 이루어진 형태(I only type)의 부호(화)도 동시에 제공하여 사용자가 급격한 영역 변경시 해당 영역의 GOP가 나올 때까지 사용하게 된다.
도 7에서 볼 때, 가령 VR 영상이 16개로 분할되어 있을 경우, 사용자의 관심 영역으로서 노란색 영역 부분의 영상을 제공하기 위하여, 6, 7, 10, 11, 14 및 15번 영상의 디코딩만 수행하면 된다. 따라서, 비디오 디코더(600)는 해당 영역의 픽처만 디코딩 처리하여 영상 변환부(610)에 제공할 수 있고, 영상 변환부(610)는 사용자의 실제 관심 영역인 좌표에 매칭되는 노란색 영역 부분만 선택하여 화면에 표시해 줄 수 있을 것이다.
도 8은 본 개시의 다른 실시예에 따른 영상표시장치 1의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 8에 도시된 영상표시장치 1(100)은 TV의 구조를 예로 든 것으로서, 방송 수신부(800), 분할 디코딩 신호처리부(810) 및 사용자 인터페이스부(820)의 일부 또는 전부를 포함한다.
방송 수신부(800)는 방송 신호를 수신하며, 튜너 및 복조기를 포함할 수 있다. 예컨대, 사용자가 특정 채널의 방송 프로그램을 시청하고자 하는 경우, 해당 채널 정보를 사용자 인터페이스부(820)를 통해 수신하여 제어부(818)는 채널 정보를 근거로 방송 수신부(800)의 튜너를 튜닝한다. 그러면, 튜닝에 의한 선택된 채널의 방송 프로그램이 복조기에 의해 복조되고, 복조된 방송 데이터는 방송 분리부(811)로 입력된다.
방송 분리부(8110)는 디멀티플렉서를 포함하며, 이를 통해 입력된 방송 신호를 비디오 데이터, 오디오 데이터 및 부가 정보(ex. EPG 데이터)로 분류할 수 있다. 분류된 부가 정보는 제어부(818)의 제어 하에 별도의 메모리에 저장될 수 있다. 이러한 부가 정보, 가령 EPG는 사용자 인터페이스부(820)로부터 이를 요청하는 사용자 명령이 수신되면, 제어부(818)의 제어 하에 스케일링된 비디오 데이터에 결합되어 출력된다.
제어부(818)는 사용자 인터페이스부(820)를 통해 입력되는 사용자 관심 영역에 대한 좌표 정보를 근거로 비디오 디코딩부(818)에서 도 7에서 설명한 픽처들을 선택하여 비디오 처리부(816)에 제공할 수 있다.
그러면, 비디오 처리부(816)는 사용자 관심 영역에 해당되는 좌표 정보를 근거로 사용자 관심 영역에 해당된 영상 데이터만 추출하여, 또는 추출한 데이터를 스케이링하여 비디오 출력부(817)로 출력할 수 있다.
그 이외에, 오디오 디코딩부(812)는 오디오를 디코딩하고, 오디오 처리부(813)는 오디오 후처리를 수행하는 것으로, 이러한 부분들은 당업자에게 자명하므로 더 이상의 설명은 생략한다.
다만, 본 개시의 실시예에 따른 선택적 디코딩은 도 8에 도시된 비디오 디코딩부(815), 비디오 처리부(816) 및 제어부(818)에서 주로 담당하게 될 것이다.
도 9는 도 1에 도시된 서비스제공장치의 세부 구조를 예시하여 나타낸 블록다이어그램이고, 도 10은 도 9의 분할 인코딩 신호처리부의 예시도이다.
도 9에 도시된 바와 같이, 서비스제공장치(140)는 통신 인터페이스부(900), 분할 인코딩 신호처리부(910) 및 저장부(920)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서의 의미와 동일하다.
통신 인터페이스부(900)는 도 1의 통신망(130)과 통신을 수행한다. 다시 말해, 사용자가 VR 영상을 요청하면, 통신 인터페이스부(900)는 저장부(920)에 저장된 VR 영상을 제공한다. 저장된 VR 영상은 VR 영상의 제공업체로부터 최초 제공될 때, 가령 분할 인코딩 신호처리부(910)에 의해, 또는 별도의 구성요소를 통해 사용자의 관심 영역에 기반하는 영역을 구분하는 동작이 이미 수행되어, 구분된 영역에 대한 좌표 정보를 함께 포함할 수도 있을 것이다. 여기서, 관심 영역에 기반하는 영역 구분이란 VR 평면 영상에서 중앙 부분과 상하측 부분의 영상을 서로 다른 크기로 구분하고, 이에 대한 좌표 정보를 보관하는 것을 의미한다.
이후, 분할 인코딩 신호처리부(910)는 사용자로부터 VR 영상의 요청이 있는 경우, 저장부(920)에 저장된 위의 VR 영상, 즉 좌표 정보를 포함하는 VR 영상을 제공받아 인코딩을 수행하여 통신 인터페이스부(900)로 제공하게 된다. 이때, 분할 인코딩 신호처리부(910)는 도 10에서와 같이 n 개의 픽처 단위로 쪼개어 인코딩을 수행할 수 있을 것이다.
도 11 및 도 12는 본 개시의 실시예에 따른 선택적 분할 디코딩을 위한 불균등 분할 영역을 설명하기 도면이다.
360도 VR 영상은 정방형 도법으로 구현된 영상이므로, 도 11에서와 같은 평면 영상은 세로 방향으로는 등 간격이지만, 가로 방향은 상측끝, 하측끝으로 갈수록 단위 길이당 정보 구간이 줄어드는 것을 보여주고 있다.
따라서, 본 개시의 실시예에 따르면, 도 12에서와 같이 화면 상측끝, 하측끝의 데이터를 사용하고자 할 때에는 필요한 영역의 너비는 중앙 영역의 화면 대비 늘어나게 된다. 가령 더 많은 영역을 디코딩을 위해 참조해야 할 수 있다.
이러한 점을 감안하여, 본 개시의 실시예에서는 화면을 분할 부호화할 때, 해당 단위를 세로 방향으로는 등간격으로 하고, 상측이나 하측끝으로 갈수록 분할 단위를 크게 하는 방식을 사용할 수 있다.
이를 통해 분할의 효율성을 극대화시킬 수 있을 것이다.
도 13은 본 개시의 실시예에 따른 서비스 과정을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, 서비스제공장치(140)는 VR 영상의 서비스 제공을 위하여 본 개시의 실시예에 따른 선택적 분할 디코딩을 위한 VR 영상을 저장한다(S1300).
이어 서비스제공장치(140)는 영상표시장치로부터 VR 영상의 요청이 있을 때(S1310), 불균등 분할된 압축 영상을 영상표시장치 2(110)로 전송해 준다(S1320).
또한, 영상표시장치 2(110)는 수신된 압축 영상을 바로 디코딩하는 것이 아니라, 영상표시장치 2(110)의 시청자 즉 사용자의 관심 영역에 근거하여 선택적 디코딩을 수행한다(S1330). 이와 관련해서는 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
이어 영상표시장치 2(110)는 디코딩된 영상 데이터를 시청자에게 제공한다(S1340). 이때 사용자에게 제공되는 관심 영역의 영상과 디코딩된 영상은 크기가 서로 다를 수 있다. 이에 대하여도 도 7을 통해 이미 설명하였으므로 더 이상의 설명은 생략하도록 한다.
도 14는 본 개시의 실시예에 따른 선택된 디코딩 과정을 설명하기 위한 흐름도이다. 도 1의 영상표시장치(100-110)나 영상중계장치(120)의 구동 과정에 해당된다고 볼 수 있다.
설명의 편의상 도 1의 영상표시장치 2(110)를 참조하면, 영상표시장치 2(110)는 서비스제공장치(140)로부터 불균등하게 영역이 구분된 압축 영상을 수신한다(S1400).
이어, 영상표시장치 2(110)는 수신된 압축 영상에서, 시청자의 관심 영역에 상응(또는 대응)하는 영역을 선택하여 디코딩 처리하게 된다(S1410).
이후, 영상표시장치 2(11)는 디코딩된 영상 데이터에서 관심 영역에 상응하는 영상 데이터만을 추출하여 화면에 표시해 줄 수 있을 것이다.
도 15는 본 개시의 실시예에 따른 불균등하게 영역이 구분된 압축 영상의 생성 과정을 설명하기 위한 흐름도이다. 도 1에 도시된 서비스제공장치(140)의 구동 과정에 해당된다고 볼 수 있다.
설명의 편의상 도 1을 참조하면, 서비스제공장치(140)는 VR 영상을 영상 제조업체로부터 제공받아 저장한다(S1500). 이때, 서비스제공장치(140)는 저장된 VR 영상을 본 개시의 실시예에 따라 불균등하게 영역을 구분하여 불균등하게 구분된 영역과 함께 좌표 정보를 저장할 수 있다. 여기서, VR 영상은 VR 평면 영상이다.
이어 서비스제공장치(140)는 사용자의 요청이 있는 경우, 본 개시의 실시예에 따른 압축 영상을 생성한다(S1510). 가령, 좌표 정보가 포함된 압축 영상을 생성하는 것이다.
이후 생성된 본 개시의 실시예에 따른 압축 영상을 가령 영상표시장치 2(110)로 전송할 수 있다(S1520).
한편, 본 개시의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 개시가 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 개시의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 개시의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
200, 300: 신호 수신부 210, 310, 810: 분할 디코딩 신호처리부
320: 디스플레이부 400, 818: 제어부
410: 분할 디코딩 실행부 420, 920: 저장부
500: 프로세서 510: 메모리
600: 비디오 디코더 610: 영상 변환부
900: 통신 인터페이스부 910: 분할 인코딩 신호처리부

Claims (17)

  1. 하나의 원본 영상을 구성하는 복수의 압축 영상을 수신하는 영상 수신부;
    상기 수신한 복수의 압축 영상 중 사용자의 관심 영역에 대응되는 압축 영상을 디코딩하는 신호 처리부; 및
    상기 디코딩된 압축 영상을 표시하는 디스플레이부;를
    포함하는 영상표시장치.
  2. 제1항에 있어서,
    상기 영상 수신부는 상기 복수의 압축 영상을 시간 단위로 구분한 영역의 좌표 정보를 상기 복수의 압축 영상과 함께 수신하며,
    상기 신호 처리부는 상기 수신한 좌표 정보를 근거로 상기 관심 영역에 대응하는 압축 영상을 디코딩하는 영상표시장치.
  3. 제1항에 있어서,
    상기 영상 수신부는, 상기 시간 단위로 구분한 영역의 크기가 서로 다른 상기 복수의 압축 영상을 수신하는 영상표시장치.
  4. 제1항에 있어서,
    상기 영상 수신부는, 가상현실(VR) 영상을 화면에 표시하기 위하여 구 형태의 사각형 도법(equi-rectangular projection)으로 표현한 평면 영상을 상기 원본 영상으로서 수신하는 영상표시장치.
  5. 제1항에 있어서,
    상기 수신한 복수의 압축 영상을 GOP(Group Of Pictures) 단위로 저장하는 저장부;를 더 포함하며,
    상기 신호처리부는 상기 GOP 단위로 저장한 압축 영상에서 상기 관심 영역의 압축 영상을 디코딩하는 영상표시장치.
  6. 제1항에 있어서,
    상기 신호처리부는 상기 관심 영역에 해당되는 현재 프레임의 이전 및 이후 프레임 중 적어도 하나로부터 디코딩을 시작하는 영상표시장치.
  7. 제1항에 있어서,
    상기 신호처리부는 상기 수신된 복수의 압축 영상이 저해상도 영상인 경우, 상기 관심 영역에 상응하는 상기 압축 영상의 GOP 단위가 끝나는 시점까지 디코딩하는 영상표시장치.
  8. 제8항에 있어서,
    상기 저해상도 영상은 썸네일(thumbnail) 영상을 포함하는 영상표시장치.
  9. 하나의 원본 영상을 구성하는 복수의 압축 영상을 수신하는 단계;
    상기 수신한 복수의 압축 영상 중 사용자의 관심 영역에 대응되는 압축 영상을 디코딩하는 단계; 및
    상기 디코딩된 압축 영상을 표시하는 단계;를
    포함하는 영상표시장치의 구동방법.
  10. 제9항에 있어서,
    상기 영상을 수신하는 단계는,
    상기 복수의 압축 영상을 시간 단위로 구분한 영역의 좌표 정보를 상기 복수의 압축 영상과 함께 수신하며,
    상기 디코딩하는 단계는,
    상기 수신한 좌표 정보를 근거로 상기 관심 영역에 대응하는 압축 영상을 디코딩하는 영상표시장치의 구동방법.
  11. 제9항에 있어서,
    상기 영상을 수신하는 단계는,
    상기 시간 단위로 구분한 영역의 크기가 서로 다른 상기 복수의 압축 영상을 수신하는 영상표시장치의 구동방법.
  12. 제9항에 있어서,
    상기 영상을 수신하는 단계는,
    가상현실(VR) 영상을 화면에 표시하기 위하여 구 형태의 사각형 도법(equi-rectangular projection)으로 표현한 평면 영상을 상기 원본 영상으로서 수신하는 영상표시장치의 구동방법.
  13. 제9항에 있어서,
    상기 수신한 복수의 압축 영상을 GOP(Group Of Pictures) 단위로 저장하는 단계;를 더 포함하며,
    상기 디코딩하는 단계는,
    상기 GOP 단위로 저장한 압축 영상에서 상기 관심 영역의 압축 영상을 디코딩하는 영상표시장치의 구동방법.
  14. 제9항에 있어서,
    상기 디코딩하는 단계는,
    상기 관심 영역에 해당되는 현재 프레임의 이전 및 이후 프레임 중 적어도 하나로부터 디코딩을 시작하는 영상표시장치의 구동방법.
  15. 제9항에 있어서,
    상기 디코딩하는 단계는,
    상기 수신된 복수의 압축 영상이 저해상도 영상인 경우, 상기 관심 영역에 상응하는 상기 압축 영상의 GOP 단위가 끝나는 시점까지 디코딩하는 영상표시장치의 구동방법.
  16. 제15항에 있어서,
    상기 저해상도 영상은 썸네일(thumbnail) 영상을 포함하는 영상표시장치의 구동방법.
  17. 영상표시장치의 구동방법을 실행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 영상표시장치의 구동방법은,
    하나의 원본 영상을 구성하는 복수의 압축 영상을 수신하는 단계; 및
    상기 수신한 복수의 압축 영상 중 사용자의 관심 영역에 대응되는 압축 영상을 디코딩하는 단계;를
    실행하는 컴퓨터 판독가능 기록매체.
KR1020160012188A 2016-02-01 2016-02-01 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체 Withdrawn KR20170091323A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160012188A KR20170091323A (ko) 2016-02-01 2016-02-01 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
US15/389,813 US20170223300A1 (en) 2016-02-01 2016-12-23 Image display apparatus, method for driving the same, and computer - readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160012188A KR20170091323A (ko) 2016-02-01 2016-02-01 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR20170091323A true KR20170091323A (ko) 2017-08-09

Family

ID=59385835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160012188A Withdrawn KR20170091323A (ko) 2016-02-01 2016-02-01 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체

Country Status (2)

Country Link
US (1) US20170223300A1 (ko)
KR (1) KR20170091323A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
JP6740819B2 (ja) * 2016-08-31 2020-08-19 富士通株式会社 関心度評価プログラム、装置及び方法
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10553029B1 (en) * 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
CN107659804B (zh) * 2017-10-30 2019-03-12 河海大学 一种针对虚拟现实头戴式显示设备的屏幕内容视频编码算法
US20190141352A1 (en) * 2017-11-03 2019-05-09 Electronics And Telecommunications Research Institute Tile-based 360 vr video encoding method and tile-based 360 vr video decoding method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323858B1 (en) * 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
WO2003041011A2 (en) * 2001-11-08 2003-05-15 Eyesee360, Inc. Method and apparatus for the computation of panoramic views and _perspective projections from omnidirectional images
US8069466B2 (en) * 2005-08-04 2011-11-29 Nds Limited Advanced digital TV system
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
US8194936B2 (en) * 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion
FR2937208B1 (fr) * 2008-10-13 2011-04-15 Withings Procede et dispositif de tele-visionnage
US9247203B2 (en) * 2011-04-11 2016-01-26 Intel Corporation Object of interest based image processing
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US9785817B2 (en) * 2015-05-29 2017-10-10 Datalogic Usa, Inc. Region of interest location and selective image compression
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US11025882B2 (en) * 2016-04-25 2021-06-01 HypeVR Live action volumetric video compression/decompression and playback
CN107371011B (zh) * 2016-05-13 2019-05-17 爱眉电脑软体有限公司 将广角图像转换成地图投影图像及透视投影图像的方法

Also Published As

Publication number Publication date
US20170223300A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
KR20170091323A (ko) 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
US11354824B2 (en) Image processing apparatus and method
US20240292031A1 (en) Image processing apparatus and method
US11272180B2 (en) Image processing apparatus and method
US20190238839A1 (en) Image processing apparatus and image processing method
CN111095933A (zh) 图像处理装置和方法
US20190335191A1 (en) Image processing device and image processing method
US20110286720A1 (en) Electronic apparatus, video processing method, and program
EP3306925A1 (en) Image processing device and image processing method
JPWO2019039283A1 (ja) 画像処理装置及び画像処理方法
US20180176580A1 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
WO2018131515A1 (ja) 画像処理装置及び画像処理方法
KR20130070566A (ko) 적응적 비디오 디코딩 회로망 및 기술들
US20200288123A1 (en) Image processing apparatus and image processing method
US9723308B2 (en) Image processing apparatus and image processing method
KR20170047489A (ko) 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록매체
JPWO2016147836A1 (ja) 画像処理装置および方法
US20210281849A1 (en) Image processing device, image processing method, and program
US20180316914A1 (en) Image processing apparatus and method
US8731311B2 (en) Decoding device, decoding method, decoding program, and integrated circuit
CN115580738B (zh) 一种按需传输的高分辨率视频展现方法、设备和系统
US20190132590A1 (en) Image processing device and method
US8532465B2 (en) Moving image recording apparatus, moving image recording method and program
CN112261441A (zh) 一种视频数据的处理方法、系统、设备及存储介质
US11330300B2 (en) Encoding device and encoding method, and decoding device and decoding method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160201

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination