KR20150017225A - 영상재생장치, 서버 및 그 영상재생방법 - Google Patents
영상재생장치, 서버 및 그 영상재생방법 Download PDFInfo
- Publication number
- KR20150017225A KR20150017225A KR1020130093230A KR20130093230A KR20150017225A KR 20150017225 A KR20150017225 A KR 20150017225A KR 1020130093230 A KR1020130093230 A KR 1020130093230A KR 20130093230 A KR20130093230 A KR 20130093230A KR 20150017225 A KR20150017225 A KR 20150017225A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- video
- image
- video signal
- difference value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000004891 communication Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000005236 sound signal Effects 0.000 claims description 63
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 230000011664 signaling Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
- H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00855—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a step of exchanging information with a remote server
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Full HD 영상과 같은 상대적으로 낮은 화질의 영상을 보유한 사용자가 컨텐츠 제공서버로부터 해당 영상의 화질을 향상시키기 위한 추가 데이터를 전송받아 해당 영상을 UHD 영상과 같은 상대적으로 높은 화질의 영상으로 업그레이드하여 재생할 수 있게 한 영상재생장치, 서버, 및 그 영상재생방법이 개시된다. 영상재생장치는 서버와 통신하는 통신부와; 제1 영상을 위한 제1 영상신호와 음성신호가 기록된 멀티미디어매체로부터 제1 영상신호와 음성신호를 독출하여 신호처리하는 재생부와; 통신부를 통해 서버로부터 수신되고 제1 영상신호를 토대로 제2 영상을 위한 제2 영상신호를 생성하는 데 필요한 추가 데이터를 신호처리하는 신호처리부와; 재생부를 통해 영상재생장치 정보와 멀티미디어매체 정보를 수집하고, 수집된 정보를 통신부를 통해 서버에 송신하여 호스트 인증과 추가 데이터를 요청하고, 재생부로부터 출력되는 제1 영상신호와 신호처리부에 의해 신호처리된 추가 데이터를 합하여 제2 영상 신호를 생성하고, 생성된 제2 영상 신호와 음성 신호를 출력하는 제어부;를 포함하는 것을 특징으로 한다.
Description
본 발명은 영상재생장치에 관한 것으로, 보다 상세하게는, Full HD 영상과 같은 상대적으로 낮은 화질의 영상을 보유한 사용자가 컨텐츠 제공서버로부터 해당 영상의 화질을 향상시키기 위한 추가 데이터를 전송받아 해당 영상을 UHD (Ultra high definition) 영상과 같은 상대적으로 높은 화질의 영상으로 업그레이드하여 재생할 수 있게 한 영상재생장치, 서버, 및 그 영상재생방법에 관한 것이다.
영상재생장치, 예컨대, BD 플레이어는 로더를 통해 BD 디스크와 같은 멀티미디어매체로부터 데이터를 읽어들여서 이를 재생한다.
하지만, 현재까지 제작된 모든 BD 디스크는 1920 X 1080 급의 Full HD 영상으로 제작되어 있기 때문에, BD 플레이어가 Full HD급 보다 해상도가 높은 3840 X 2160 급의 UHD 영상의 재생은 불가능하다.
또한, UHD기술은 현재 개발 초기이기 때문에, UHD 컨텐츠를 담은 디스크나 UHD 재생기기는 시중에서 거의 찾아보기 어려우며 또 시중에 널리 보급되기 까지는 상당한 시간이 걸릴 것으로 예상된다.
따라서, UHD 컨텐츠를 담은 디스크나 UHD 재생기기가 널리 보급될 때 까지, 현재 상대적으로 낮은 화질의 Full HD 컨텐츠를 담고 있는 BD 디스크와 Full HD 영상만 재생할 수 있는 BD 플레이어를 사용하여 상대적으로 높은 화질의 UHD 영상을 재생할 수 있도록 하는 장치 또는 방법의 필요성이 증가하고 있다.
본 발명은 위와 같은 문제점을 해결하기 위해 안출된 것으로, Full HD 영상과 같은 상대적으로 낮은 화질의 영상을 보유한 사용자가 컨텐츠 제공서버로부터 해당 영상의 화질을 향상시키기 위한 추가 데이터를 전송받아 해당 영상을 UHD 영상과 같은 상대적으로 높은 화질의 영상으로 업그레이드하여 재생할 수 있게 한 영상재생장치, 서버, 및 그 영상재생방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 양상에 따르면, 영상재생장치는, 서버와 통신하는 통신부와; 제1 영상을 위한 제1 영상신호와 음성신호가 기록된 멀티미디어매체로부터 제1 영상신호와 음성신호를 독출하여 신호처리하는 재생부와; 통신부를 통해 서버로부터 수신되고 제1 영상신호를 토대로 제2 영상을 위한 제2 영상신호를 생성하는 데 필요한 추가 데이터를 신호처리하는 신호처리부와; 재생부를 통해 영상재생장치 정보와 멀티미디어매체 정보를 수집하고, 수집된 정보를 통신부를 통해 서버에 송신하여 호스트 인증과 추가 데이터를 요청하고, 재생부로부터 출력되는 제1 영상신호와 신호처리부에 의해 신호처리된 추가 데이터를 합하여 제2 영상 신호를 생성하고, 생성된 제2 영상 신호와 음성 신호를 출력하는 제어부;를 포함하는 것을 특징으로 한다.
제2 영상은 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함할 수 있다.
추가 데이터는 제1 영상과 제2 영상 사이의 차분값을 포함할 수 있다.
재생부는, 제1 영상 신호와 음성신호를 역다중화하는 제1 디멀티플렉서와; 제1 디멀티플렉서에서 출력되는 제1 영상 신호와 음성신호를 디코딩하는 제1 디코더를 포함할 수 있다.
이때, 선택적으로, 멀티미디어매체에 기록된 제1 영상신호가 제2 영상 신호와 동일한 해상도를 갖도록 스케일링되지 않았을 경우, 재생부는 디코딩된 제1 영상 신호를 업스케일링하는 스케일러를 더 포함할 수 있다.
신호처리부는 추가 데이터를 역다중화하는 제2 디멀티플렉서와; 제2 디멀티플렉서에서 출력되는 추가 데이터를 디코딩하는 제2 디코더를 포함할 수 있다.
본 발명의 영상재생장치는 사용자의 입력을 수신 가능한 사용자 입력부를 더 포함하고, 제어부는 사용자의 입력에 따라 추가 데이터를 서버에 요청할 수 있다.
이때, 제어부는 영상재생장치 정보 및 멀티미디어매체 정보의 수집, 호스트 인증 및 추가 데이터의 요청을 서버로부터 수신되거나 미리 저장된 실행 프로그램을 통해 수행할 수 있다. 영상재생장치 정보는 제조 또는 제품번호, 및/또는 제2 영상의 재생가능여부를 포함하고, 멀티미디어매체 정보는 멀티미디어매체 ID, 제목, 및/또는 클립정보(Clip information)를 포함할 수 있다.
본 발명의 또 다른 실시 양상에 따르면, 영상재생장치의 영상재생방법은, 제1 영상을 위한 제1 영상신호와 음성신호가 기록된 멀티미디어매체로부터 제1 영상신호와 음성신호를 독출하여 신호처리하는 단계와; 영상재생장치 정보와 멀티미디어매체 정보를 수집하는 단계와; 호스트 인증과 제1 영상신호를 토대로 제2 영상을 위한 제2 영상신호를 생성하는 데 필요한 추가 데이터를 요청함과 함께 수집된 정보를 서버에 송신하는 단계와; 서버로부터 수신된 추가 데이터를 신호처리하는 단계와; 신호처리된 제1 영상신호와 추가 데이터를 합하여 제2 영상 신호를 생성하고 생성된 제2 영상 신호와 음성 신호를 출력하는 단계를 포함하는 것을 특징으로 한다.
제2 영상은 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함할 수 있다.
추가 데이터는 제1 영상과 제2 영상 사이의 차분값을 포함할 수 있다.
제1 영상신호와 음성신호를 신호처리 하는 단계는, 제1 영상 신호와 음성신호를 역다중화하는 단계와; 역다중화된 제1 영상 신호와 음성신호를 디코딩하는 단계를 포함할 수 있다.
이때, 선택적으로, 멀티미디어매체에 기록된 제1 영상신호가 제2 영상 신호와 동일한 해상도를 갖도록 스케일링되지 않았을 경우, 제1 영상신호와 음성신호를 신호처리하는 단계는 디코딩된 제1 영상 신호를 업스케일링하는 단계를 더 포함할 수 있다.
추가 데이터를 신호처리하는 단계는, 추가 데이터를 역다중화하는 단계와; 역다중화된 추가 데이터를 디코딩하는 단계를 포함할 수 있다.
추가 데이터를 요청하는 단계는, 사용자의 입력을 수신하는 단계와; 사용자의 입력에 따라 추가 데이터를 서버에 요청하는 단계를 포함할 수 있다.
또한, 본 발명의 영상재생방법은 서버로부터 수신되거나 미리 저장된 실행 프로그램을 통해 수행될 수 있다.
본 발명의 또 다른 실시 양상에 따르면, 서버는, 영상재생장치와 통신하는 통신부와; 제1 영상을 위한 제1 영상신호와 음성신호, 및 제2 영상을 위한 제2 영상신호와 음성신호를 저장하는 저장부와; 저장부에 저장된 제1 영상의 제1 영상신호를 신호처리하는 제1 신호처리부와; 저장부에 저장된 제2 영상의 제2 영상신호와 제1 신호처리부에 의해 신호처리된 제1 영상신호 사이의 차분값을 연산하는 연산부와; 연산부에 의해 연산된 차분값을 신호처리하는 제2 신호처리부와; 제1 및 제2 신호처리부에 의해 신호처리된 제1 영상 신호와 음성 신호 및 차분값을 저장부에 저장하도록 제어부를 제어하고, 통신부를 통해 영상재생장치로부터 차분값의 제공 요청과 함께 영상재생장치 정보와 멀티미디어매체 정보가 수신되면 수신된 정보들을 토대로 호스트 인증을 수행함과 함께 해당 차분값이 존재하는 지를 판단하고, 인증 통과와 함께 해당 차분값이 존재하는 것으로 판단되면 해당 차분값을 영상재생장치로 전송하는 제어부를 포함하는 것을 특징으로 한다.
제2 영상은, 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함할 수 있다.
제1 신호처리부는 제1 영상의 제1 영상신호와 음성신호를 업스케일링하는 스케일러를 포함할 수 있다.
제2 신호처리부는 차분값을 인코딩하는 인코더일 수 있다.
본 발명의 서버는 저장부에 저장된 제1 영상의 제1 영상신호와 음성 신호를 신호처리하는 제3 신호처리부를 더 포함할 수 있다. 이때, 제3 신호처리부는 제1 영상의 제1 영상신호와 음성 신호를 인코딩하는 인코더를 포함하고, 제어부는 제2 및 제3 신호처리부가 신호처리를 수행할 때 제1영상 신호와 음성신호가 차분값과 동기화되도록 제2 및 제3 신호처리부를 제어할 수 있다.
또한, 영상재생장치 정보는 제조 또는 제품번호, 및/또는 제2 영상의 재생가능여부를 포함하고, 멀티미디어매체 정보는 멀티미디어매체 ID, 제목, 및/또는 클립정보를 포함할 수 있다.
본 발명의 또 다른 실시 양상에 따르면, 서버의 제어방법은, 제1 영상과 제 2영상 사이의 차분값을 획득하여 저장하는 단계와; 영상재생장치로부터 차분값의 요청과 함께 영상재생장치 정보와 멀티미디어매체 정보를 수신하는 단계와; 수신된 영상재생장치 정보와 멀티미디어매체 정보를 토대로 호스트 인증을 수행함과 함께 해당 차분값이 존재하는 지를 판단하는 단계와; 인증 통과와 함께 해당 차분값이 존재하는 것으로 판단되면 해당 차분값을 영상재생장치로 전송하는 단계를 포함하는 것을 특징으로 한다.
제2 영상은 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함할 수 있다.
차분값을 획득하여 저장하는 단계는 제1 영상을 위한 제1 영상신호와 음성신호, 및 제2 영상을 위한 제2 영상신호와 음성신호를 저장하는 단계와; 저장된 제1 영상의 제1 영상신호를 신호처리하는 단계와; 저장된 제2 영상의 제2 영상신호와 신호처리된 제1 영상신호 사이의 차분값을 연산하는 단계와; 연산된 차분값을 신호처리하는 단계와; 신호처리된 제1 영상 신호와 음성 신호 및 차분값을 저장부에 저장하는 단계를 포함할 수 있다,
제1 영상의 제1 영상신호를 신호처리하는 단계는 제1 영상신호를 업스케일링하는 단계를 포함할 수 있다.
차분값을 신호처리하는 단계는 차분값을 인코딩하는 단계를 포함할 수 있다.
본 발명의 서버의 제어방법은 저장된 제1 영상의 제1 영상신호와 음성 신호를 신호처리하는 단계를 더 포함할 수 있다. 이때, 제1 영상의 제1 영상신호와 음성 신호를 신호처리하는 단계는 제1 영상의 제1 영상신호와 음성 신호를 인코딩하는 단계를 포함하고, 제1 영상의 제1 영상신호와 음성 신호를 신호처리하는 단계와 차분값을 인코딩하는 단계는 제1영상 신호와 음성신호가 차분값과 동기화되도록 수행될 수 있다.
도 1은 본 발명의 일 실시 예에 의한 영상재생장치 및 컨텐츠 제공 서버를 도시하는 블록도,
도 2는 본 발명의 일 실시예에 의한 영상재생장치의 구성을 도시하는 블록도,
도 3은 도 2에 도시된 영상재생장치의 구성의 변형예를 도시하는 블록도,
도 4는 본 발명의 일 실시예에 의한 영상재생장치의 영상재생 프로세스를 도시하는 플로우챠트,
도 5는 본 발명의 일 실시예에 의한 컨텐츠 제공 서버의 구성을 도시하는 블록도,
도 6는 본 발명의 일 실시예에 의한 컨텐츠 제공 서버의 구성의 변형예를 도시하는 블록도, 및
도 7은 본 발명의 일 실시예에 의한 컨텐츠 제공 서버의 동작 프로세스를 되하는 플로우 챠트이다.
도 2는 본 발명의 일 실시예에 의한 영상재생장치의 구성을 도시하는 블록도,
도 3은 도 2에 도시된 영상재생장치의 구성의 변형예를 도시하는 블록도,
도 4는 본 발명의 일 실시예에 의한 영상재생장치의 영상재생 프로세스를 도시하는 플로우챠트,
도 5는 본 발명의 일 실시예에 의한 컨텐츠 제공 서버의 구성을 도시하는 블록도,
도 6는 본 발명의 일 실시예에 의한 컨텐츠 제공 서버의 구성의 변형예를 도시하는 블록도, 및
도 7은 본 발명의 일 실시예에 의한 컨텐츠 제공 서버의 동작 프로세스를 되하는 플로우 챠트이다.
이하, 본 발명의 실시예들에 따른 영상재생장치, 서버 및 그 영상재생방법을 첨부도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일 실시 예에 의한 영상재생장치(1) 및 컨텐츠 제공 서버(2)를 도시하는 블록도이다.
본 발명의 일 실시 예에 의한 영상재생장치(1)와 컨텐츠 제공 서버(2)는 네트워크(3)를 통하여 상호 연결된다.
영상재생장치(1)는 사용자의 명령에 따라 동작하는 기기로서, 예컨대, BD 플레이어, 홈씨어터 등과 같은 미디어 매체에 기록된 Full HD 영상을 위한 영상 신호와 음성신호를 재생하거나 기록할 할 수 있는 기기를 포함한다.
사용자의 명령은, 사용자의 행위 등에 의해 영상재생장치(1)가 소정 동작을 수행할 것을 결정할 수 있도록 하는 정보를 포함한다. 이러한 사용자의 명령은 리모컨의 조작을 통해 입력되는 리모컨신호와 키 조작부를 통해 입력되는 키입력 신호일 수 있다.
이하, 본 실시 예에서, 영상재생장치(1)는 BD 플레이어인 것을 예를 들어 설명한다. 또한, 이하에서는 사용자의 명령은 설명의 편의를 위해 사용자의 입력으로 지칭한다.
네트워크(3)는 영상재생장치(1)와 컨텐츠 제공 서버(2)가 사용자의 입력 및 제공 컨텐츠 서비스에 관한 정보를 주고 받기 위하여 통신을 수행하는데 이용되는 장치나 인프라를 포함하며, 인터넷 등과 같은 유선 및/또는 무선의 네트워크일 수 있다.
컨텐츠 제공 서버(2)는 네트워크(3)에 연결되어 원격지에 있는 사용자에게 소정의 컨텐츠 서비스를 제공하는 서버로서, 컨텐츠 제공 업체에 의해 운영되는 다양한 서버를 포함한다.
컨텐츠 제공 서버(2)는 클라이언트인 영상재생장치(1)의 요청에 따라 소정의 인증절차를 거쳐 컨텐츠 제공 서버(2)가 제공하는 후술하는 본 발명에 따른 UHD영상 생성 기능을 갖는 실행 프로그램(이하, 'UHD영상 실행 프로그램'이라함)을 포함하는 다양한 프로그램, 및 영상재생장치(1)가 요청한 후술하는 본 발명에 따른 추가 데이터를 포함하는 다양한 컨텐츠를 영상재생장치(1)로 전송한다.
영상재생장치(1)는 리모컨 또는 키 조작부와 같은 사용자 입력부(103; 도 2 참조)의 조작을 통한 사용자의 입력에 따라 컨텐츠 제공 서버(2)로부터 제공되거나 미리 제어부(107)에 저장된 UHD영상 실행 프로그램 또는 다른 응용 실행 프로그램을 실행하여 컨텐츠 제공 서버(2)가 제공하는 본 발명에 따른 추가 데이터 및/또는 다른 컨텐츠를 이용한다.
도 2는 본 발명의 일 실시예에 의한 영상재생장치(1)의 구성을 도시하는 블록도이다.
영상재생장치(1)는 제1 통신부(101), 사용자 입력부(103), 재생부(104), 신호처리부(105), 및 제1 제어부(107)를 포함한다.
제1 통신부(101)는 네트워크(3)를 통해 컨텐츠 제공 서버(2)의 제2 통신부(201; 도 5 참조)와 통신을 수행한다. 혹은, 제1 통신부(101)는 블루투스 등과 같은 근거리 통신방식을 이용하여 상대방 통신부(201)와 통신을 수행할 수도 있다. 통신부(101)는 제어부(107)의 제어에 따라 통신을 수행하며, 상대방 통신부(201)에 정보를 전달하거나, 상대방 통신부(201)로부터 정보를 수신할 수 있다. 통신부(101)를 통해 상대방 통신부(201)로부터 수신된 정보는, 영상, 음성 및 데이터 중 적어도 하나를 포함하며, 신호처리부(105)를 거쳐 해당 정보에 맞는 처리를 거쳐 TV 등과 같은 디스플레이 장치(109) 등을 통해 출력될 수 있다.
사용자 입력부(103)는 사용자의 입력을 수신하기 위한 것으로서, 예컨대,리모컨과 키조작부로 구현될 수 있다.
사용자 입력부(103)는 영상재생장치(1)의 전원의 온/오프를 선택할 수 있다. 이를 위해, 리모컨과 키조작부는 입력 키 또는 버튼을 포함할 수 있다.
또한, 사용자 입력부(103)는 멀티미디어매체 수납부(111)의 로더(loader, 도시되지 않음) 또는 픽업 유닛(도시하지 않음) 등의 작동을 제어할 수 있다. 이를 위해, 리모컨과 키조작부는 로더를 구동하기 위한 오픈/이젝트 키 또는 버튼, 픽업 유닛을 동작하기 위한 재생/정지 키 또는 버튼 등을 포함한다.
또한, 사용자 입력부(103)는 후술하는 저장부(117)에 저장된 펌웨어 또는 운영체제와 UHD 영상 실행 프로그램을 실행하고 동작하기 위한 사용자 입력을 선택할 수 있다. 이를 위해, 리모컨은 상하 및 좌우 이동버튼, 확인버튼, 숫자입력 버튼 등을 포함한다.
사용자 입력부(103)에 의해 수신된 사용자의 입력은 제어부(107)에 전달되며, 제1 제어부(107)는 사용자의 입력에 따라 해당하는 각 구성을 구동하도록 제어한다.
재생부(104)는, 예컨대, Full HD급 영상인 제1 영상을 기록 및 재생하기 것으로, 제1 영상의 제1 영상신호와 음성신호가 기록된 멀티미디어매체로부터 제1 영상신호와 음성신호를 독출하거나 멀티미디어매체에 제1 영상신호와 음성신호를 기록한다. 이를 위해, 재생부(104)는 멀티미디어매체 수납부(111), 제1 디멀티플렉서(113), 및 제1 디코더(115)를 포함한다.
멀티미디어매체 수납부(104)는 제어부(117)의 제어하에 BD 디스크와 같은 멀티미디어매체를 수용하여 로딩 및 언로딩하는 로더와, 멀티미디어 매체에 기록된 영상신호와 음성신호를 독취하거나 기록하는 픽업 유닛을 포함한다.
제1 디멀티플렉서(113)는 제1 영상 신호와 음성신호를 역다중화하여 분리한다.
제1 디코더(115)는 디멀티플렉서에서 출력되는 제1 영상 신호와 음성신호를 디코딩한다. 여기서, 제1 디코더(115)는 H. 264 방식으로 디코딩하는 H.264 디코더 일 수 있다.
이때, 선택적으로, 멀티미디어매체에 기록된 제1 영상신호가, 예컨대, UHD 영상인 제2영상을 위한 제2 영상 신호와 동일한 해상도를 갖도록 스케일링되어 저장되지 않았을 경우, 도 3에 도시된 바와 같이, 재생부(104')는 디코딩된 제1 영상 신호를 업스케일링하는 스케일러(123)를 더 포함할 수 있다. 여기서, 제2 영상은 제1 영상 보다 높은 해상도를 가지는 동일 영상이다.
신호처리부(105)는 본 발명에 따라 통신부(101)를 통해 컨텐츠 제공 서버(2)로부터 수신된 추가 데이터를 포함하는 신호를 신호처리한다. 여기서, 추가 데이터는 제1 영상신호를 토대로 제2 영상을 위한 제2 영상신호를 생성하는 데 필요한 데이터로써, 후술하는 컨텐츠 제공 서버(2)의 연산부(208; 도 5 참조)에서 생성된 제1 영상과 제2 영상 사이의 차분값이다.
신호처리부(105)는 제2 디멀티플렉서(119)와 제2 디코더(121)를 포함한다. 제2 디멀티플렉서(119)는 추가 데이터를 포함하는 신호를 역다중화하고, 제2 디코더(121)는 제2 디멀티플렉서(119)에서 출력되는 추가 데이터를 디코딩한다. 여기서, 제2 디코더는 HEVC 코덱 형태로 디코딩하는 HEVC 디코더일 수 있다.
제1 제어부(107)는 영상재생장치(1)의 구성을 전반적으로 제어하며, 제1 저장부(117)에 저장된 제어프로그램인 펌웨어 또는 운영체제를 실행하기 위한 CPU 및 RAM을 포함할 수 있다.
제1 저장부(117)는 영상재생장치(1)에서의 데이터 내지는 정보를 저장하기 위한 구성으로서, 예컨대, 플래시메모리, 하드디스크 등의 비휘발성 메모리로 구현될 수 있다.
제1 저장부(117)는 영상재생장치(1)의 구동에 필요한 제어프로그램인 펌웨어 또는 운영체제와 기타 응용프로그램을 저장한다.
영상재생장치(1)가 오픈 플랫폼 등이 탑재되어 있거나 위젯 플랫폼이 탑재되어 있는 BD 플레이어인 경우, 제어부(107)는 사용자 입력부(103)의 조작을 통한 사용자 입력에 따라 UHD 영상 실행 프로그램을 네트워크(3)를 통해 컨텐츠 제공 서버(2)로부터 제공받아 저장부(117)에 저장하고, 필요에 따라 초기화과정을 거쳐 구동한다.
또한, 영상재생장치(1)가 UHD 영상 실행 프로그램이 미리 제1 저장부(117)에 저장되어 출시된 BD 플레이어인 경우에도, 제1 제어부(107)는 사용자의 입력에 따라, UHD 영상 실행 프로그램을 필요 시 초기화과정을 거쳐 구동한다.
이때, UHD 영상 실행 프로그램은 제1 제어부(107)의 제어하에 디스플레이 장치(109)에 표시된다.
이와 같이 UHD 영상 실행 프로그램이 구동되면, 제1 제어부(107)는 자동으로, 제1 저장부(117)에 저장된 운영체제 등으로부터 영상재생장치 정보를 수집한다. 영상재생장치 정보는 영상재생장치(1)가 제2 영상 생성 기능을 가지는 지와 불법 장치인 지를 판단하기 위한 제조 또는 제품번호, 및/또는 UHD 영상을 재생할 수 있는 HEVC 코덱의 보유여부, 즉, 제2 영상의 재생가능 여부 정보를 포함할 수 있다.
또한, 멀티미디어매체가 로더에 의해 멀티미디어매체 수납부(111)에 로딩되어 있을 경우, 제1 제어부(107)는 멀티미디어매체로부터 멀티미디어매체 정보를 수집한다. 멀티미디어매체 정보는 멀티미디어매체 ID, 제목, 및/또는 클립정보(Clip information)를 포함할 수 있다.
이때, 선택적으로, 정보 수집은 자동으로 수행되는 대신, 디스플레이 장치(109)에 표시되는 UHD 영상 실행 프로그램의 실행 메뉴를 통한 사용자 입력에 따라 수동으로 실행될 수 있다.
또한, UHD 영상 실행 프로그램을 통한 컨텐츠 제공 서버(2)의 사용자 ID를 포함하는 소정의 사용자 입력에 따라, 제1 제어부(107)는 호스트 인증과 제2 영상을 생성하기 위한 추가 데이터를 요청함과 함께 수집된 정보를 제1 통신부(101)를 통해 컨텐츠 제공 서버(2)에 송신한다. 컨텐츠 제공 서버(2)는 호스트 인증과 추가 데이터 요청에 따라, 수신된 멀티미디어매체 정보의 멀티미디어매체 ID, 제목, 및/또는 클립정보와 영상재생장치 정보의 제조 또는 제품번호 및/또는 제2 영상의 재생가능 여부 정보를 토대로 호스트 인증을 수행함과 함께 요청한 제2 영상에 대응하는 추가 데이터가 존재하는 지와 영상재생장치(1)가 제2 영상을 생성할 수 있는 지를 조사하여 서비스 지원가능 여부, 즉, 추가 데이터 제공가능 여부를 판단한다. 여기서, 추가 데이터 제공가능 여부의 판단은 영상재생장치(1)의 제조 또는 제품번호를 토대로 영상재생장치(1)가 불법 장치인지를 판단하는 것을 더 포함할 수 있다. 호스트 인증을 통과함과 함께 추가 데이터를 제공하는 것이 가능한 것으로 결정되면, 컨텐츠 제공 서버(2)는 영상재생장치(1)에 요청한 추가 데이터를 전송한다.
컨텐츠 제공 서버(2)로부터 전송된 추가 데이터를 포함하는 신호는 제1 통신부(101)를 통해 수신되어 제2 디멀티플렉서(119)로 전달되고, 제2 디멀티플렉서(119)는 추가 데이터를 포함하는 신호를 역다중화한 다음 제2 디코더(121)로 출력한다. 제2 디코더(121)는 제2 디멀티플렉서(119)에서 출력되는 추가 데이터를 HEVC 코덱 형태로 디코딩한다.
제1 제어부(107)는 제1 디코더(121)로부터 출력되는 제1 영상 신호와 제2 디코더(115)로부터 출력되는 추가 데이터를 합하여 제2 영상 신호를 생성하고, 생성된 제2 영상 신호와 음성 신호를 디스플레이 장치(109)에 출력한다. 그 결과, 디스플레이 장치(109)에는 UHD 영상인 제2 영상이 표시된다.
이때, 만일 사용자의 입력에 따라 제2 영상을 생성하는 기능이 선택하지 않으면, 제1 제어부(109)는 Full HD 영상인 제1 영상이 디스플레이 장치(109)에 표시되도록 제1 영상 신호와 추가 데이터를 합하여 제2 영상 신호를 생성하지 않고 제1 영상 신호와 음성 신호만 디스플레이 장치(109)에 출력한다.
이와 같이 구성된 본 발명의 일 실시예에 따른 영상재생장치(1)의 영상재생 프로세스를 도 2 및 4를 참조하여 상세히 설명하면 다음과 같다.
먼저, 사용자 입력부(103)를 통한 사용자 입력에 따라, 미리 컨텐츠 제공 서버(2)로부터 제공받아 제1 저장부(117)에 저장되거나 출시 당시부터 제1 저장부(117)에 저장된 UHD 영상 실행 프로그램이 실행되면, 제1 제어부(107)는 멀티미디어매체 수납부(111)에 로딩된 멀티미디어매체로부터 제1 영상신호와 음성신호를 독출하여 제1 디멀티플렉서(113)로 전달한다. 제1 디멀티플렉서(113)는 제1 영상 신호와 음성신호를 역다중화하여 분리한 다음 제1 디코더(115)로 출력한다. 제1 디코더(115)는 수신된 제1 영상 신호와 음성신호를 H. 264 방식으로 디코딩한다(S10). 이때, 멀티미디어매체에 기록된 제1 영상신호가 제2 영상 신호와 동일한 해상도를 갖도록 스케일링되지 않았을 경우, 도 3에 도시된 바와 같이, 제1 제어부(107)는 스케일러(123)를 통해 디코딩된 제1 영상 신호를 더 업스케일링할 수 있다.
이와 함께, 자동으로 또는 UHD 영상 실행 프로그램을 통한 사용자 입력에 따라, 제1 제어부(107)는 제1 저장부(117)에 저장된 운영체제, 멀티미디어매체 수납부(111)에 로딩된 멀티미디어매체 등으로부터 영상재생장치 정보와 멀티미디어매체 정보를 수집한다(S20).
이어서, 제1 제어부(107)는 컨텐츠 제공 서버(2)의 사용자 ID 입력을 포함하는 소정의 사용자 입력에 따라 컨텐츠 제공 서버(2)에 호스트 인증과 제2 영상을 생성하기 위한 추가 데이터를 요청함과 함께 수집된 정보를 제1 통신부(101)를 통해 컨텐츠 제공 서버(2)에 송신한다(S30).
그 다음, 제1 통신부(101)는 제1 제어부(107)의 제어하에 상술한 바와 같이 호스트 인증을 통과함과 함께 추가 데이터를 제공 가능한 것으로 결정되어 컨텐츠 제공 서버(2)로부터 송신된 추가 데이터를 포함하는 신호를 수신하여 제2 디멀티플렉서(119)로 전달한다. 제2 디멀티플렉서(119)는 추가 데이터를 포함하는 신호를 역다중화한 다음 제2 디코더(121)로 출력하고, 제2 디코더(121)는 제2 디멀티플렉서(119)로부터 출력되는 추가 데이터를 HEVC 코덱 형태로 디코딩한다(S40).
이어서, 제1 제어부(107)는 제1 디코더(115)로부터는 단계(S10)에서 디코딩된 제1 영상 신호와 음성신호를 수신하고 제2 디코더(121)로부터는 단계(S40)에서 디코딩된 추가 데이터를 수신하여, 수신된 제1 영상신호와 추가 데이터를 합하여 제2 영상 신호를 생성한다. 그리고, 제1 제어부(107)는 생성된 제2 영상 신호와 음성 신호를 디스플레이장치(109)로 출력하여 제2 영상을 디스플레이 장치(109)에 표시한다(S50).
이상에서, 본 발명의 일 실시예에 따른 영상재생장치(1)는 BD 플레이어, 홈씨어터 등과 같은 자체 디스플레이 기능을 갖지 않는 전자기기에 적용되는 것으로 예시 및 설명하였지만, 본 발명은 이것으로 한정되지 않는다. 예컨대, 영상재생장치(1)는 BD 플레이어 기능을 내장한 TV와 같은 디스플레이 장치로도 구현될 수 있다. 이 경우, 도 2 또는 도 3에 예시한 디스플레이 장치(109)는 TV의 표시패널과 같은 디스플레이부(도시하지 않음)로 대체되고, 제2 디코더(121)는 HEVC 코덱 외에 H.264 코덱 형식으로도 디코딩할 수 있는 디코더(도시하지 않음)로 대체된다.
또한, 본 발명의 영상재생장치(1)는 제1 제어부(107)가 Full HD 영상인 제1 영상을 UHD영상인 제2영상으로 변환하는 예를 예시 및 설명하였지만, 본 발명은 이에 한정되지 않는다. 예컨대, 본 발명의 영상재생장치(1)는 SD영상 또는 HD영상을 UHD영상으로 변환하는 경우도 동일한 구성과 원리로 적용될 수 있을 것이다.
도 5는 본 발명의 일 실시예에 의한 컨텐츠 제공 서버(2)의 구성을 도시하는 블록도이다.
컨텐츠 제공 서버(2)는 제2 통신부(201), 제2 저장부(203), 제1 및 제2 신호처리부(204, 210), 연산부(208) 및 제2 제어부(207)를 포함한다.
제2 통신부(201)는 네트워크(3)를 통해 영상재상장치(1)의 제1 통신부(101)와 통신을 수행한다.
제2 저장부(203)는 컨텐츠 제공 서버(2)에서의 데이터 내지는 정보를 저장하기 위한 구성으로써, 예컨대, 플래시메모리, 하드디스크 등의 비휘발성 메모리로 구현될 수 있다.
제2 저장부(203)는 영상재생장치(1)에 제공할 UHD영상 실행 프로그램을 포함하는 다양한 프로그램과, 후술하는 연산부(208)에 의해 얻어지는 추가 데이터와, 제3 신호처리부(214)에 의해 신호처리된 Full HD영상인 제1 영상의 제1 데이터를 포함하는 다양한 컨텐츠를 저장한다.
또한, 제2 저장부(203)는 본 발명에 따라, 예컨대, Full HD 영상인 제1 영상을 위한 제1 영상신호와 음성신호를 포함하는 제1 데이터와, 예컨대, UHD 영상인 제2 영상을 위한 제2 영상신호와 음성신호를 포함하는 제2 데이터를 저장한다.
제1 신호처리부(204)는 연산부(205)에서 차분값 계산을 위해 Full HD 영상인 제1 영상의 해상도를 UHD 영상인 제2 영상의 해상도 수준으로 높이도록 제2 저장부(203)에 저장된 제1 영상의 제1 영상신호를 신호처리한다. 이를 위해, 제1 신호처리부(204)는 제1 영상신호를 업스케일링하는 스케일러를 포함할 수 있다.
연산부(205)는 제2 저장부(203)에 저장된 제2 영상의 제2 영상신호와 제1 신호처리부에 의해 신호처리된 제1 영상의 제1 영상신호 사이의 차분값을 연산한다. 연산부(205)는 IC칩 형태로 구현될 수 있다.
제2 신호처리부(210)는 연산부(205)에 의해 연상된 차분값을 압축하도록 신호처리하기 위한 것으로써, 차분값을 HEVC 코덱으로 인코딩하는 인코더를 포함할 수 있다.
제2 제어부(207)는 컨텐츠 제공 서버(2)의 구성을 전반적으로 제어하며, CPU 및 RAM을 포함할 수 있다.
또한, 제2 제어부(207)는 제2 신호처리부(210)에 의해 신호처리된 차분값을 제2 저장부(203)에 저장하도록 제2 저장부(203)를 제어한다.
또한, 제2 제어부(207)는 제2 통신부(201)를 통해 영상재생장치(1)로부터 호스트 인증 및 제2 영상의 제2 영상신호들과 제1 영상의 영상신호들 사이의 차분값 제공 요청과 함께 영상재생장치 정보와 멀티미디어매체 정보가 수신되면, 수신된 정보들을 토대로 영상재생장치(1)의 호스트 인증을 수행함과 함께 서비스 지원가능 여부, 즉, 추가 데이터 제공가능 여부를 판단한다. 호스트 인증을 통과함과 함께 추가 데이터를 제공하는 것이 가능한 것으로 결정되면, 제2 제어부(207)는 영상재생장치(1)에 요청한 해당 차분값을 영상재생장치(1)로 전송하도록 제2 통신부(201)를 제어한다. 제2 제어부(207)의 호스트 인증과 추가 데이터 제공가능 여부의 판단은 도 2와 관련하여 상술한 것과 동일하므로, 더 이상의 상세한 설명은 생략한다.
본 발명의 일 실시예에 의한 컨텐츠 제공 서버(2)는 제2 저장부(203)에 저장된 제1 영상의 제1 영상신호와 음성 신호를 압축하기 위한 제3신호처리부(214)를 더 포함한다. 제3신호처리부(214)는 제1 영상신호와 음성 신호를 인코딩하는 인코더를 포함할 수 있다.
제3신호처리부(214)에 의해 인코딩된 Full HD 영상인 제1 영상의 제1 영상신호와 음성 신호는 영상재생장치(1)에 제공할 컨텐츠로서 제2 저장부(203)에 저장되거나, 멀티미디어매체에 기록하도록 인코딩된 제1 영상의 제1 영상신호와 음성 신호를 멀티미디어매체에 기록할 수 있는 다른 영상재생장치(도시하지 않음)로 출력될 수 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 컨텐츠 제공 서버(2)의 동작 프로세스를 도 5 및 7을 참조하여 상세히 설명하면 다음과 같다.
먼저, 제2 제어부(207)는 제1 신호처리부(204)와 연산부(208)를 제어하여 제1 영상과 제 2영상 사이의 차분값을 획득하고, 제2 신호처리부(210)와 제2 저장부(203)를 제어하여 획득된 차분값을 제2 저장부(203)에 저장한다.
즉, 제2 제어부(207)는, 예컨대, 네트워크(3)와 연결된 도시하지 않은 외부 소스로부터 제2 통신부(201)를 통해 입력되는 제1 영상을 위한 제1 영상신호와 음성신호를 포함하는 제1 데이터와 제2 영상을 위한 제2 영상신호와 음성신호를 포함하는 제2 데이터를 제2 저장부(203)에 저장한다(S10').
이어서, 제1 신호처리부(204)는 제2 제어부(207)의 제어하에 Full HD 영상인 제1 영상의 해상도를 UHD 영상인 제2 영상의 해상도 수준으로 높이도록 제1 영상의 제1 영상신호를 업스케일링한다(S20').
다음으로, 연산부(208)는 업스케일링된 제1 영상의 제1 영상신호와 제2 저장부(203)에 저장된 제2 영상의 제2 영상신호 사이의 차분값을 연산한다(S30').
그 다음, 제2 제어부(207)의 제어하에 제2 신호처리부(210)는 연산된 차분값을 인코딩하고(S40'), 제2 저장부(203)는 인코딩된 차분값을 저장한다(S50').
그후, 제2 제어부(207)는 영상재생장치(1)로부터 차분값의 요청과 함께 영상재생장치 정보와 멀티미디어매체 정보를 수신한다(S60).
그 다음, 제2 제어부(207)는 수신된 영상재생장치 정보와 멀티미디어매체 정보를 토대로 호스트 인증을 수행함과 함께 해당 차분값이 제2 저장부(2013)에 존재하는 지를 판단한다(S70).
인증 통과와 함께 해당 차분값이 존재하는 것으로 판단되면, 제2 제어부(207)는 통신부(201)를 통해 해당 차분값을 영상재생장치(1)로 전송한다(S80).
한편, 제1 영상을 멀티미디어매체에 기록하기 위해, 제2 제어부(207)는 단계(S10') 후 단계(S20')와 별도로 제3 신호처리부(214)를 제어하여 제2 저장부(203)에 저장된 제1 영상의 제1 영상신호와 음성 신호를 인코딩할 수 있다. 이때, 제2 제어부(207)는 제3 신호처리부(214)에 의해 인코딩되는 제1 영상의 제1 영상신호와 음성 신호가 단계(S40')에서 제2 신호처리부(210)에 의해 인코딩되는 차분값과 동기화되도록 제어된다.
이상에서, 본 발명의 일 실시예의 컨텐츠 제공 서버(2)는 연산부(208)가 Full HD 영상인 제1 영상을 UHD영상인 제2영상으로 변환 또는 복원하기 위한 추가 데이터를 생성하는 예를 예시 및 설명하였지만, 본 발명은 이에 한정되지 않는다. 예컨대, 본 발명의 컨텐츠 제공 서버(2)는 SD영상 또는 HD영상을 UHD영상으로 변환하는 경우도 동일한 구성과 원리로 적용될 수 있을 것이다.
또한, 본 발명의 일 실시예의 컨텐츠 제공 서버(2)는 추가 데이터 생성, 호스트 인증, 생성된 데이터의 저장 등을 일괄적으로 수행하는 단일 서버로 구성된 것으로 예시 및 설명하였지만, 본 발명은 이에 한정되지 않는다. 예컨대, 도 6에 도시된 바와 같이, 본 발명의 컨텐츠 제공 서버(2')는 추가 데이터를 생성하는 제1 및 제2신호처리부(204, 210), 연산부(208) 및 제어부(107)의 기능에 대응하는 기능과 영상재생장치(1)와의 전반적인 통신을 수행하는 헤드엔드 서버(10)와, 호스트 인증과 추가 데이터 제공가능 여부의 판단을 수행하는 제2 제어부(207)에 대응하는 기능을 수행하는 인증서버(20)와, UHD영상 실행 프로그램을 포함하는 실행 프로그램, 추가 데이터를 포함하는 컨텐츠 등을 저장하는 제2 저장부(203)에 대응하는 기능을 수행하는 미디어서버(30)를 포함하여 구성될 수도 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 영상재생장치, 서버, 및 그 영상재생방법에 따르면, 영상재생장치(1)의 제1 제어부(107)는 제1 디코더(121)로부터 출력되는 Full HD 영상인 제1 영상의 제1 영상 신호와 컨텐츠 제공 서버(2)로부터 제공된 추가 데이터를 합하여 UHD 영상인 제2 영상의 제2 영상 신호를 생성하고, 생성된 제2 영상 신호와 음성 신호를 디스플레이 장치(109)에 출력한다. 그 결과, 디스플레이 장치(109)에는 UHD 영상인 제2 영상이 표시된다.
따라서, 본 발명은 Full HD 영상과 같은 상대적으로 낮은 화질의 영상을 보유한 사용자가 별도의 UHD 디스크나 UHD 영상재생기기를 구비하지 않고도 컨텐츠 제공 서버(2)로부터 해당 영상의 화질을 향상시기 위한 추가 데이터를 전송받아 해당 영상을 UHD 영상과 같은 상대적으로 높은 화질의 영상으로 업그레이드하여 재생할 수 있도록 하는 작용효과를 제공한다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
1: 영상재생장치 2, 2': 컨텐츠 제공 서버
101: 제1 통신부 103: 사용자 입력부
104: 재생부 105: 신호처리부
111: 멀티미디어매체 수납부 113: 제1 디멀티플렉서 115: 제1 디코더 117: 제1 저장부
119: 제2 디멀티플렉서 123: 스케일러
201: 제2 통신부 203: 제2 저장부
204: 제1 신호처리부 207: 제2 제어부
208: 연산부 210: 제2 신호처리부
214: 제2 신호처리부
101: 제1 통신부 103: 사용자 입력부
104: 재생부 105: 신호처리부
111: 멀티미디어매체 수납부 113: 제1 디멀티플렉서 115: 제1 디코더 117: 제1 저장부
119: 제2 디멀티플렉서 123: 스케일러
201: 제2 통신부 203: 제2 저장부
204: 제1 신호처리부 207: 제2 제어부
208: 연산부 210: 제2 신호처리부
214: 제2 신호처리부
Claims (33)
- 서버와 통신하는 통신부와;
제1 영상을 위한 제1 영상신호와 음성신호가 기록된 멀티미디어매체로부터 상기 제1 영상신호와 상기 음성신호를 독출하여 신호처리하는 재생부와;
상기 통신부를 통해 상기 서버로부터 수신되고 상기 제1 영상신호를 토대로 제2 영상을 위한 제2 영상신호를 생성하는 데 필요한 추가 데이터를 신호처리하는 신호처리부와;
상기 재생부를 통해 영상재생장치 정보와 멀티미디어매체 정보를 수집하고, 상기 수집된 정보를 상기 통신부를 통해 상기 서버에 송신하여 호스트 인증과 상기 추가 데이터를 요청하고, 상기 재생부로부터 출력되는 상기 제1 영상신호와 상기 신호처리부에 의해 신호처리된 상기 추가 데이터를 합하여 상기 제2 영상 신호를 생성하고, 상기 생성된 제2 영상 신호와 상기 음성 신호를 출력하는 제어부;를 포함하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
상기 제2 영상은 상기 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
상기 추가 데이터는 상기 제1 영상과 상기 제2 영상 사이의 차분값을 포함하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
상기 재생부는,
상기 제1 영상 신호와 상기 음성신호를 역다중화하는 제1 디멀티플렉서와;
상기 제1 디멀티플렉서에서 출력되는 상기 제1 영상 신호와 상기 음성신호를 디코딩하는 제1 디코더를 포함하는 것을 특징으로 하는 영상재생장치. - 제4항에 있어서,
상기 재생부는 상기 디코딩된 제1 영상 신호를 업스케일링하는 스케일러를 더 포함하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
상기 신호처리부는,
상기 추가 데이터를 역다중화하는 제2 디멀티플렉서와;
상기 제2 디멀티플렉서에서 출력되는 추가 데이터를 디코딩하는 제2 디코더를 포함하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
사용자의 입력을 수신 가능한 사용자 입력부를 더 포함하고,
상기 제어부는 상기 사용자의 입력에 따라 상기 추가 데이터를 상기 서버에 요청하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
상기 제어부는 상기 영상재생장치 정보 및 상기 멀티미디어매체 정보의 수집, 상기 호스트 인증 및 상기 추가 데이터의 요청을 상기 서버로부터 수신되거나 미리 저장된 실행 프로그램을 통해 수행하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
상기 영상재생장치 정보는 제조 또는 제품번호와, 제2 영상의 재생가능여부 중에서 적어도 하나를 포함하는 것을 특징으로 하는 영상재생장치. - 제1항에 있어서,
상기 멀티미디어매체 정보는 멀티미디어매체 ID와, 제목과, 클립정보(Clip information) 중에서 적어도 하나를 포함하는 것을 특징으로 하는 영상재생장치. - 제1 영상을 위한 제1 영상신호와 음성신호가 기록된 멀티미디어매체로부터 제1 영상신호와 음성신호를 독출하여 신호처리하는 단계와;
영상재생장치 정보와 멀티미디어매체 정보를 수집하는 단계와;
호스트 인증과 상기 제1 영상신호를 토대로 제2 영상을 위한 제2 영상신호를 생성하는 데 필요한 추가 데이터를 요청함과 함께 상기 수집된 정보를 서버에 송신하는 단계와;
상기 서버로부터 수신된 상기 추가 데이터를 신호처리하는 단계와;
상기 신호처리된 제1 영상신호와 추가 데이터를 합하여 상기 제2 영상 신호를 생성하고 상기 생성된 제2 영상 신호와 상기 음성 신호를 출력하는 단계를 포함하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 제11항에 있어서,
상기 제2 영상은 상기 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 제11항에 있어서,
상기 추가 데이터는 상기 제1 영상과 상기 제2 영상 사이의 차분값을 포함하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 제11항에 있어서,
상기 제1 영상신호와 상기 음성신호를 신호처리 하는 단계는,
상기 제1 영상 신호와 상기 음성신호를 역다중화하는 단계와;
상기 역다중화된 제1 영상 신호와 음성신호를 디코딩하는 단계를 포함하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 제14항에 있어서,
상기 제1 영상신호와 상기 음성신호를 신호처리하는 단계는 상기 디코딩된 제1 영상 신호를 업스케일링하는 단계를 더 포함하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 제11항에 있어서,
상기 추가 데이터를 신호처리하는 단계는,
상기 추가 데이터를 역다중화하는 단계와;
상기 역다중화된 추가 데이터를 디코딩하는 단계를 포함하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 제11항에 있어서,
상기 추가 데이터를 요청함과 함께 상기 수집된 정보를 서버에 송신하는 단계는,
사용자의 입력을 수신하는 단계와;
상기 사용자의 입력에 따라 상기 추가 데이터를 상기 서버에 요청하는 단계를 포함하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 제11항에 있어서,
상기 영상재생방법은 상기 서버로부터 수신되거나 미리 저장된 실행 프로그램을 통해 수행하는 것을 특징으로 하는 영상재생장치의 영상재생방법. - 영상재생장치와 통신하는 통신부와;
제1 영상을 위한 제1 영상신호와 음성신호, 및 제2 영상을 위한 제2 영상신호와 음성신호를 저장하는 저장부와;
상기 저장부에 저장된 상기 제1 영상의 상기 제1 영상신호를 신호처리하는 제1 신호처리부와;
상기 저장부에 저장된 상기 제2 영상의 상기 제2 영상신호와 상기 제1 신호처리부에 의해 신호처리된 상기 제1 영상신호 사이의 차분값을 연산하는 연산부와;
상기 연산부에 의해 연산된 상기 차분값을 신호처리하는 제2 신호처리부와;
상기 제1 및 제2 신호처리부에 의해 신호처리된 상기 제1 영상 신호와 상기 음성 신호 및 상기 차분값을 상기 저장부에 저장하도록 상기 제어부를 제어하고, 상기 통신부를 통해 상기 영상재생장치로부터 상기 차분값의 제공 요청과 함께 영상재생장치 정보와 멀티미디어매체 정보가 수신되면 상기 수신된 정보들을 토대로 호스트 인증을 수행함과 함께 해당 차분값이 존재하는 지를 판단하고, 상기 인증 통과와 함께 상기 해당 차분값이 존재하는 것으로 판단되면 상기 해당 차분값을 상기 영상재생장치로 전송하는 제어부를 포함하는 것을 특징으로 하는 서버. - 제19항에 있어서,
상기 제2 영상은 상기 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함하는 것을 특징으로 하는 서버. - 제19항에 있어서,
상기 제1 신호처리부는 상기 제1 영상의 상기 제1 영상신호와 상기 음성신호를 업스케일링하는 스케일러를 포함하는 것을 특징으로 하는 서버. - 제19항에 있어서,
상기 제2 신호처리부는 상기 차분값을 인코딩하는 인코더하는 것을 특징으로 하는 서버. - 제19항에 있어서,
상기 저장부에 저장된 상기 제1 영상의 상기 제1 영상신호와 상기 음성 신호를 신호처리하는 제3 신호처리부를 더 포함하는 것을 특징으로 하는 서버. - 제23항에 있어서,
상기 제3 신호처리부는 상기 제1 영상의 상기 제1 영상신호와 상기 음성 신호를 인코딩하는 인코더를 포함하고,
상기 제어부는 상기 제2 및 제3 신호처리부가 신호처리를 수행할 때 상기 제1영상 신호와 상기 음성신호가 상기 차분값과 동기화되도록 상기 제2 및 제3 신호처리부를 제어하는 것을 특징으로 하는 서버. - 제19항에 있어서,
상기 영상재생장치 정보는 제조 또는 제품번호와, 제2 영상의 재생가능여부 중에서 적어도 하나를 포함하는 것을 특징으로 하는 서버. - 제19항에 있어서,
상기 멀티미디어매체 정보는 멀티미디어매체 ID와, 제목와, 클립정보 중에서 저겅도 하나를 포함하는 것을 특징으로 하는 서버. - 제1 영상과 제2 영상 사이의 차분값을 획득하여 저장하는 단계와;
영상재생장치로부터 차분값의 요청과 함께 영상재생장치 정보와 멀티미디어매체 정보를 수신하는 단계와;
상기 수신된 정보를 토대로 호스트 인증을 수행함과 함께 해당 차분값이 존재하는 지를 판단하는 단계와;
상기 인증 통과와 함께 해당 차분값이 존재하는 것으로 판단되면 상기 해당 차분값을 상기 영상재생장치로 전송하는 단계를 포함하는 것을 특징으로 하는 서버의 제어방법. - 제27항에 있어서,
상기 제2 영상은 상기 제1 영상 보다 높은 해상도를 가지는 동일 영상을 포함하는 것을 특징으로 하는 서버의 제어방법. - 제27항에 있어서,
상기 차분값을 획득하여 저장하는 단계는,
상기 제1 영상을 위한 제1 영상신호와 음성신호, 및 상기 제2 영상을 위한 제2 영상신호와 음성신호를 저장하는 단계와;
상기 저장된 제1 영상의 제1 영상신호를 신호처리하는 단계와;
상기 저장된 제2 영상의 제2 영상신호와 상기 신호처리된 제1 영상신호 사이의 차분값을 연산하는 단계와;
상기 연산된 차분값을 신호처리하는 단계와;
상기 신호처리된 제1 영상 신호와 음성 신호 및 상기 차분값을 저장하는 단계를 포함하는 것을 특징으로 하는 서버의 제어방법. - 제29항에 있어서,
상기 제1 영상의 상기 제1 영상신호를 신호처리하는 단계는 상기 제1 영상신호를 업스케일링하는 단계를 포함하는 것을 특징으로 하는 서버의 제어방법. - 제29항에 있어서,
상기 차분값을 신호처리하는 단계는 상기 차분값을 인코딩하는 단계를 포함하는 것을 특징으로 하는 서버의 제어방법. - 제29항에 있어서,
상기 저장된 제1 영상의 제1 영상신호와 음성 신호를 신호처리하는 단계를 더 포함하는 것을 특징으로 하는 서버의 제어방법. - 제32항에 있어서,
상기 제1 영상의 제1 영상신호와 음성 신호를 신호처리하는 단계는 상기 제1 영상의 상기 제1 영상신호와 상기 음성 신호를 인코딩하는 단계를 포함하고,
상기 제1 영상의 상기 제1 영상신호와 상기 음성 신호를 신호처리하는 단계와 상기 차분값을 인코딩하는 단계는 상기 제1영상 신호와 상기 음성신호가 상기 차분값과 동기화되도록 수행하는 것을 특징으로 하는 서버의 제어방법.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130093230A KR20150017225A (ko) | 2013-08-06 | 2013-08-06 | 영상재생장치, 서버 및 그 영상재생방법 |
EP14180059.9A EP2835977A1 (en) | 2013-08-06 | 2014-08-06 | Image reproducing apparatus, server and image reproducing methods thereof |
US14/452,992 US20150043889A1 (en) | 2013-08-06 | 2014-08-06 | Image reproducing apparatus, sever and image reproducing methods thereof |
PCT/KR2014/007289 WO2015020436A1 (en) | 2013-08-06 | 2014-08-06 | Image reproducing apparatus, sever and image reproducing methods thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130093230A KR20150017225A (ko) | 2013-08-06 | 2013-08-06 | 영상재생장치, 서버 및 그 영상재생방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20150017225A true KR20150017225A (ko) | 2015-02-16 |
Family
ID=51301130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130093230A KR20150017225A (ko) | 2013-08-06 | 2013-08-06 | 영상재생장치, 서버 및 그 영상재생방법 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150043889A1 (ko) |
EP (1) | EP2835977A1 (ko) |
KR (1) | KR20150017225A (ko) |
WO (1) | WO2015020436A1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3522527B1 (en) * | 2016-09-29 | 2023-09-06 | Panasonic Intellectual Property Management Co., Ltd. | Reproduction method, creation method, reproduction device, and creation device |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002037844A1 (fr) * | 2000-10-30 | 2002-05-10 | Sony Corporation | Procede de reproduction de contenus et dispositif de reproduction de contenus sur support d"enregistrement |
KR100548207B1 (ko) * | 2003-11-18 | 2006-02-02 | 삼성전자주식회사 | 디지털 방송 수신기 및 그의 안정화된 업그레이드 방법 |
TWI301953B (en) * | 2005-03-14 | 2008-10-11 | Qisda Corp | Methods and apparatuses for video encoding |
JP4709127B2 (ja) * | 2006-12-15 | 2011-06-22 | キヤノン株式会社 | 映像記録再生装置及びその制御方法 |
US7965865B2 (en) * | 2007-05-31 | 2011-06-21 | International Business Machines Corporation | Method, system, and program product for presenting electronic surveillance data |
JP2009177531A (ja) * | 2008-01-24 | 2009-08-06 | Panasonic Corp | 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム |
KR101500440B1 (ko) * | 2008-10-17 | 2015-03-09 | 삼성전자 주식회사 | 영상처리장치 및 영상처리방법 |
KR101533280B1 (ko) * | 2009-01-09 | 2015-07-09 | 삼성전자주식회사 | 복합 디바이스의 콘텐트 재생 방법 및 장치 |
US9785653B2 (en) * | 2010-07-16 | 2017-10-10 | Shutterfly, Inc. | System and method for intelligently determining image capture times for image applications |
KR20120026762A (ko) * | 2010-09-10 | 2012-03-20 | 삼성전자주식회사 | 사용자 단말 장치, 서버 및 그 디스플레이 방법 및 정보 제공 방법 |
US9398344B2 (en) * | 2012-06-08 | 2016-07-19 | Lg Electronics Inc. | Image display apparatus, mobile terminal and method for operating the same |
-
2013
- 2013-08-06 KR KR1020130093230A patent/KR20150017225A/ko not_active Application Discontinuation
-
2014
- 2014-08-06 EP EP14180059.9A patent/EP2835977A1/en not_active Withdrawn
- 2014-08-06 WO PCT/KR2014/007289 patent/WO2015020436A1/en active Application Filing
- 2014-08-06 US US14/452,992 patent/US20150043889A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20150043889A1 (en) | 2015-02-12 |
EP2835977A1 (en) | 2015-02-11 |
WO2015020436A1 (en) | 2015-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5652642B2 (ja) | データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法 | |
JP2009158055A (ja) | 音声データ処理装置および音声データ処理方法 | |
US20100329640A1 (en) | Recording/Reproducing Apparatus | |
JP2010232760A (ja) | 画像供給装置、画像供給システム、画像供給方法、プログラム、及び記録媒体 | |
WO2010041576A1 (ja) | コンテンツの配信システム | |
JP4297080B2 (ja) | 再生装置および制御方法 | |
JP2007013602A (ja) | コンテンツ記録装置、コンテンツ再生装置及びパラメータ情報記録方法 | |
KR20150017225A (ko) | 영상재생장치, 서버 및 그 영상재생방법 | |
KR20140117889A (ko) | 클라이언트 장치, 서버 장치, 멀티미디어 리디렉션 시스템 및 그 방법 | |
KR101372950B1 (ko) | 부가정보 처리하는 영상기기 및 그 제어 방법 | |
US20080089670A1 (en) | Recording apparatus | |
JP2014082545A (ja) | 録画再生装置およびその制御方法 | |
WO2017145721A1 (ja) | 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム | |
US20160189747A1 (en) | Imaging apparatus and control method thereof | |
JP2007142811A (ja) | データ受信装置 | |
JP2010273025A (ja) | 電子機器、コンテンツ転送システム、コンテンツ転送方法及びプログラム | |
JP6218489B2 (ja) | 画像処理装置 | |
JP2008293121A (ja) | デバッグ装置、デバッグシステム、及びデバッグ方法 | |
JP2005117439A (ja) | 記録再生装置、記録方法 | |
JP4540752B2 (ja) | コンテンツの配信システム | |
KR100693690B1 (ko) | 영상 재생 시스템의 데이터 동기화 방법 | |
WO2016076017A1 (ja) | 再生装置、サーバ、通知方法、再生システム、及び、非一時的な記録媒体 | |
JP2015035752A (ja) | 画像処理装置 | |
JP2009296573A (ja) | 記録装置 | |
KR20060095170A (ko) | 콤보 시스템의 영상 데이터 기록 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |