KR20080105287A - 축소 영상 획득방법 및 이를 적용한 영상기기 - Google Patents

축소 영상 획득방법 및 이를 적용한 영상기기 Download PDF

Info

Publication number
KR20080105287A
KR20080105287A KR1020070052674A KR20070052674A KR20080105287A KR 20080105287 A KR20080105287 A KR 20080105287A KR 1020070052674 A KR1020070052674 A KR 1020070052674A KR 20070052674 A KR20070052674 A KR 20070052674A KR 20080105287 A KR20080105287 A KR 20080105287A
Authority
KR
South Korea
Prior art keywords
image data
image
reduced image
received
reduced
Prior art date
Application number
KR1020070052674A
Other languages
English (en)
Inventor
송민석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070052674A priority Critical patent/KR20080105287A/ko
Priority to US12/026,147 priority patent/US20080298771A1/en
Priority to EP08151736A priority patent/EP1998568A3/en
Publication of KR20080105287A publication Critical patent/KR20080105287A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/24Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

축소 영상 획득방법 및 이를 적용한 영상기기가 제공된다. 본 발명에 따르면, 영상 데이터가 수신되는 중에 수신 중인 영상 데이터로부터 축소 영상을 획득할 수 있게 되어, 다른 기기에 저장되어 있는 영상에 대한 축소 영상을 용이하게 획득할 수 있게 된다.
FTP, 썸네일 영상, SOI, EOI

Description

축소 영상 획득방법 및 이를 적용한 영상기기{Method for acquiring reduced image and video apparatus using the same}
도 1은 본 발명의 일 실시예에 따른 DTV의 블럭도,
도 2는 도 1에 도시된 DTV가 FTP에 따라 수신되는 영상에 대한 썸네일 영상을 획득하는 과정의 설명에 제공되는 흐름도,
도 3a 및 도 3b는, 도 2에 도시된 썸네일 영상을 획득과정의 부연 설명에 제공되는 도면,
도 4는 본 발명의 다른 실시예에 따른 영상기기의 블럭도, 그리고,
도 5는 본 발명의 다른 실시예에 따른, 비실시간 전송 프로토콜에 따라 수신되는 영상에 대한 축소 영상 획득방법의 설명에 제공되는 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
100 : DTV 122 : 비디오 디코딩부
130 : GUI 생성부 142 : 비디오 출력부
150 : 블루투스 통신모듈 160 : 제어부
170 : 버퍼
본 발명은 영상 획득방법 및 이를 적용한 영상기기에 관한 것으로, 더욱 상세하게는 외부기기로부터 영상을 획득하는 방법 및 이를 적용한 영상기기에 관한 것이다.
무선 통신과 네트워킹 기술의 발달로 인하여, 네트워크를 구성하는 기기들 간에 무선으로 영상을 송수신하여 어느 한 기기에 보유되어 있는 파일을 주변의 다른 기기들도 이용하는 것이 가능하게 되었다.
블루투스 방식에 따라 구축되는 무선 네트워크에서 널리 이용되는 전송 프로토콜 중의 하나가 BIP(Basic Image Profile)이다. 블루투스 기기 A는 이 BIP에 따라 블루투스 기기 B로부터 영상은 물론이고 썸네일 영상까지도 수신받을 수 있다.
하지만, BIP는 블루투스 기기 A가 블루투스 기기 B에 저장되어 있는 영상들에 대한 리스트를 전달받을 수 있는 기능을 지원하지 않는다.
따라서, 사용자는 블루투스 기기 A를 통해 블루투스 기기 B에 저장된 영상들 중 보고 싶은 영상 또는 그에 대한 썸네일 영상을 선택할 수 없게 된다. 이를 가능하게 하려면, 사용자는 블루투스 기기 B가 위치한 장소로 이동한 후, 이 블루투스 기기 B를 직접 조작하여 원하는 영상 또는 그에 대한 썸네일 영상을 선택하여야 하는 불편을 감수하여야 한다.
또한, 블루투스 기기 A를 통해 표시된 영상 또는 그에 대한 썸네일 영상을 변경하고자 하는 경우에도, 사용자는 블루투스 기기 B가 위치한 장소로 이동한 후, 이 블루투스 기기 B를 직접 조작하여 원하는 영상 또는 그에 대한 썸네일 영상을 선택하여야 하기 때문에, 사용자의 불편은 더욱 심화 된다.
이와 같은 문제를 해결하기 위해서는, BIP를 수정하거나 블루투스 기기 A가 블루투스 기기 B에 저장되어 있는 파일들에 대한 리스트를 전달받을 수 있는 기능을 지원하는 프로토콜을 제정하여야 하는데, 이는 현실적인 어려운 문제이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다른 기기에 저장되어 있는 영상에 대한 축소 영상을 획득하기 위한 방안으로, 영상 데이터가 수신되는 중에 수신 중인 영상 데이터로부터 축소 영상을 획득할 수 있는 축소 영상 획득방법 및 이를 적용한 영상기기를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른, 영상기기는, 외부기기로부터 특정 영상에 대한 데이터인 영상 데이터 수신을 시작하는 단계; 상기 영상 데이터를 수신하는 중에, 상기 영상 데이터에 포함되어 있는 상기 특정 영상의 축소 영상에 대한 데이터인 축소 영상 데이터가 수신완료되었는지 여부를 판단하는 단계; 및 상기 축소 영상 데이터가 수신완료된 것으로 판단되면, 상기 영상 데이터 수신을 중단하는 단계;를 포함한다.
상기 판단단계는, 상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 끝을 지시하는 마크가 수신되었는지 여부에 따라, 상기 축소 영상 데이터가 수신완료되었는지 여부를 판단하는 것이 바람직하다.
상기 축소 영상 데이터의 끝을 지시하는 마크는, 상기 영상 데이터에 포함되 어 있는 EOI들 중 마지막 EOI 보다 순서가 앞선 EOI일 수 있다.
본 축소 영상 획득방법은, 상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단되면, 상기 영상 데이터 수신을 중단하는 단계;를 더 포함하는 것이 바람직하다.
상기 중단 단계는, 상기 영상 데이터의 전체 중 특정 비율이 수신완료될 때까지 상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 시작을 지시하는 마크가 수신되지 않은 것으로 판단되면, 상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단하는 것이 바람직하다.
상기 축소 영상 데이터의 시작을 지시하는 마크는, 상기 영상 데이터에 포함되어 있는 SOI들 중 첫번째 SOI 보다 순서가 뒤진 SOI일 수 있다.
상기 수신 시작 단계는, 비실시간 프로토콜에 따라 상기 외부기기로부터 상기 영상 데이터 수신을 시작할 수 있다. 상기 비실시간 프로토콜은, FTP를 포함할 수 있다.
상기 수신 시작 단계는, 비실시간 프로토콜에 따라 블루투스 통신 방식으로 상기 외부기기로부터 상기 영상 데이터 수신을 시작할 수 있다.
본 축소 영상 획득방법은, 상기 비실시간 프로토콜에 따라 상기 외부기기에 상기 영상 데이터를 요청하는 단계;를 더 포함하고, 상기 수신 시작 단계는, 상기 요청에 대한 상기 외부기기의 응답을 통해 수행되는 것이 바람직하다.
본 축소 영상 획득방법은, 상기 영상 데이터 수신이 중단되면, 다른 영상에 대한 데이터 수신을 시작하는 단계;를 더 포함하는 것이 바람직하다.
상기 수신 시작 단계는, UI를 통해, 사용자로부터 상기 축소 영상에 대한 요청이 있거나, 상기 사용자로부터 상기 특정 영상과 관련된 아이템이 선택되면 수행될 수 있다.
한편, 본 발명에 따른 영상기기는, 외부기기와 통신가능하도록 연결되는 통신 모듈; 및 상기 외부기기로부터 특정 영상에 대한 데이터인 영상 데이터 수신이 시작되도록 상기 통신 모듈을 제어하고, 상기 통신 모듈을 통해 상기 영상 데이터를 수신하는 중에 상기 영상 데이터에 포함되어 있는 상기 특정 영상의 축소 영상에 대한 데이터인 축소 영상 데이터가 수신완료된 것으로 판단되면 상기 영상 데이터 수신을 중단하는 제어부;를 포함한다.
상기 제어부는, 상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 끝을 지시하는 마크가 수신되었는지 여부에 따라, 상기 축소 영상 데이터가 수신완료되었는지 여부를 판단하는 것이 바람직하다.
상기 축소 영상 데이터의 끝을 지시하는 마크는, 상기 영상 데이터에 포함되어 있는 EOI들 중 마지막 EOI 보다 순서가 앞선 EOI일 수 있다.
상기 제어부는, 상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단되면, 상기 영상 데이터 수신을 중단시키는 것이 바람직하다.
상기 제어부는, 상기 영상 데이터의 전체 중 특정 비율이 수신완료될 때까지 상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 시작을 지시하는 마크가 수신되지 않은 것으로 판단되면, 상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단하는 것이 바람직하다.
상기 축소 영상 데이터의 시작을 지시하는 마크는, 상기 영상 데이터에 포함되어 있는 SOI들 중 첫번째 SOI 보다 순서가 뒤진 SOI일 수 있다.
상기 제어부는, 비실시간 프로토콜에 따라 상기 통신 모듈을 통해 상기 외부기기로부터 상기 영상 데이터 수신을 시작할 수 있다. 상기 비실시간 프로토콜은, FTP를 포함할 수 있다.
상기 제어부는, 비실시간 프로토콜에 따라 블루투스 통신 방식으로 상기 통신 모듈을 통해 상기 외부기기로부터 상기 영상 데이터 수신을 시작할 수 있다.
상기 제어부는, 상기 비실시간 프로토콜에 따라 상기 통신 모듈을 통해 상기 외부기기에 상기 영상 데이터를 요청하고, 상기 요청에 대한 상기 외부기기의 응답으로 상기 영상 데이터를 상기 통신 모듈을 통해 수신할 수 있다.
상기 제어부는, 상기 영상 데이터 수신이 중단되면, 상기 통신 모듈을 통해 다른 영상에 대한 데이터 수신을 시작하는 것이 바람직하다.
상기 제어부는, UI를 통해, 사용자로부터 상기 축소 영상에 대한 요청이 있거나, 상기 사용자로부터 상기 특정 영상과 관련된 아이템이 선택된 경우에 상기 영상 데이터 수신을 시작할 수 있다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 DTV의 블럭도이다. 도 1에 도시된 DTV(100)는 방송을 수신하여 사용자에 제공할 수 있음은 물론이고, 무선 연결된 모바일 폰(Mobile Phone)(10)으로부터 데이터를 무선으로 수신받을 수 있다.
DTV(100)는 비실시간 전송 프로토콜, 즉 멀티미디어 스트리밍을 지원하지 않는 프로토콜에 따라 모바일 폰(10)으로부터 영상을 수신한다.
비실시간 전송 프로토콜로 FTP(File Transfer Protocol : 파일 전송 프로토콜)가 적용될 수 있는데, 이 경우 FTP에 따라 모바일 폰(10)에 영상을 요청하는 DTV(100)는 FT 클라이언트로 기능하며, FTP에 따라 DTV(100)에 영상을 제공하는 모바일 폰(10)은 FT 서버로 동작하게 된다.
한편, DTV(100)는 모바일 폰(10)에 저장되어 있는 영상들을 수신받아 화면에 디스플레이할 수 있다. 또한, DTV(100)는 모바일 폰(10)으로부터 영상을 수신하는 중에, 그 영상에 대한 축소 영상의 일종인 썸네일 영상을 획득할 수 있다.
도 1에 도시된 바와 같이, 본 실시예에 따른 DTV(100)는 방송 수신 모듈(110), 디코딩부(120), GUI 생성부(130), 출력부(140), 블루투스 통신모듈(150), 제어부(160), 버퍼(170) 및 저장부(180)를 구비한다.
방송 수신 모듈(110)은 방송국 또는 위성으로부터 유선 또는 무선으로 방송신호를 수신한다. 그리고, 방송 수신 모듈(110)은 수신된 방송신호를 비디오 데이터, 오디오 데이터 및 기타 데이터로 분리하여 출력한다.
디코딩부(120)는 인가되는 데이터를 디코딩하며, 비디오 디코딩부(122)와 오디오 디코딩부(124)를 구비한다.
비디오 디코딩부(122)는 인가되는 비디오 데이터를 디코딩하여 재생가능한 포맷으로 변환한다. 그리고, 오디오 디코딩부(124)는 인가되는 오디오 데이터를 디코딩하여 재생가능한 포맷으로 변환한다. 비디오 디코딩부(122)와 오디오 디코 딩부(124)는 방송 수신 모듈(110) 또는 후술할 제어부(160)로부터 데이터를 인가받을 수 있다.
GUI 생성부(130)는 화면상에 표시될 GUI를 생성하고, 생성한 GUI를 비디오 디코딩부(122)에서 디코딩되어 출력되는 비디오에 부가한다.
출력부(140)는 비디오와 오디오를 출력하며, 비디오 출력부(142)와 오디오 출력부(144)를 구비한다.
비디오 출력부(142)는 GUI 생성부(130)에서 출력되는 GUI가 부가된 비디오를 디스플레이(미도시)에 표시하거나, 외부 출력단자(미도시)를 통해 연결된 외부기기(예를 들면, 다른 DTV)로 출력한다.
오디오 출력부(144)는 오디오 디코딩부(124)에서 출력되는 오디오를 스피커(미도시)를 통해 출력하거나, 외부 출력단자(미도시)를 통해 연결된 외부기기로 출력한다.
블루투스 통신모듈(150)은 블루투스 기기의 일종인 모바일 폰(10)과 무선통신가능하도록 연결되어, 모바일 폰(10)과 블루투스 방식으로 무선통신을 수행한다.
제어부(160)는 DTV(100)의 전반적인 동작을 제어한다. 구체적으로 방송 수신 모듈(110)의 방송 수신 동작, 블루투스 통신모듈(150)의 통신 동작, GUI 생성부(130)의 GUI 생성 동작 등을 제어한다.
그리고, 제어부(160)는 블루투스 통신모듈(150)을 통해 모바일 폰(10)로부터 수신되는 데이터를 버퍼(170)에 저장한다. 또한, 제어부(160)는 버퍼(170)에 저장된 데이터들 중 오래 동안 보존해야 할 데이터들을 저장부(180)로 복사한다.
저장부(180)는 메모리 또는 HDD(Hard Disk Drive)와 같은 기록매체(미도시)와 기록매체에 오디오 데이터를 저장하거나 기록매체에 저장된 오디오 데이터를 읽어들이는 컨트롤러(미도시)로 구현가능하다.
또한, 제어부(160)는 블루투스 통신모듈(150)을 통해 모바일 폰(10)으로부터 영상 데이터가 수신되는 중에, 수신 중인 영상 데이터로부터 썸네일 영상을 추출하여 획득할 수 있는 바, 이하에서 도 2를 참조하여 상세히 설명한다.
도 2는 도 1에 도시된 DTV가 FTP에 따라 수신 중인 영상에 대한 썸네일 영상을 획득하는 과정의 설명에 제공되는 흐름도이다.
도 2에 도시된 바와 같이, 먼저 제어부(160)는 DTV(100)와 모바일 폰(10) 간의 통신 프로토콜을 FTP로 설정한다(S205).
그리고, 제어부(160)는 블루투스 통신모듈(150)을 통해 모바일 폰(10)에 영상 리스트를 요청하여 수신한다(S210). 여기서, '영상 리스트'는 모바일 폰(10)에 저장되어 있는 정지 영상 파일(Still Image File)들에 대한 리스트를 의미한다.
S205단계에 의해 DTV(100)와 모바일 폰(10) 간의 통신 프로토콜은 FTP로 설정되는데, FTP는 연결된 기기의 파일 리스트를 전달받을 수 있는 기능을 지원한다. 따라서, 제어부(160)는 S210단계를 통해 모바일 폰(10)에 영상 리스트를 요청하여 수신하는 것이 가능하다.
이후, 제어부(160)는 S210단계에서 수신된 영상 리스트에 나열된 영상의 개수(N)를 파악하고(S215), 변수 'n'을 1로 설정한다(S220).
그리고, 제어부(160)는 영상 리스트에 나열된 영상들 중 n번째 '영상에 대한 데이터'(이하, '영상 데이터'로 표기)를 블루투스 통신모듈(150)을 통해 모바일 폰(10)에 요청하고, 그 요청에 대한 응답으로 n번째 영상 데이터에 대한 수신을 시작한다(S225). 현시점에서 n=1이므로, 수신되는 영상 데이터는 첫 번째 영상 데이터가 된다.
S205단계에서 DTV(100)와 모바일 폰(10) 간의 통신 프로토콜은 FTP로 설정된 바 있으므로, S225단계에서 n번째 영상 데이터에 대한 요청과 수신 모두 FTP에 따라 수행된다.
n번째 영상 데이터 수신 중(즉, n번째 영상 데이터에 대한 수신이 시작되었지만 아직 완료되지 않은 중)에, 제어부(160)는 현재까지 수신된 n번째 영상 데이터에 썸네일 영상 데이터가 포함되어 있는지 여부를 판단한다(S230).
수신되는 n번째 영상 데이터는 버퍼(170)에 저장되며, 후술하겠지만 영상 데이터에는 그 영상에 대한 썸네일 영상 데이터가 포함(수록)되어 있다. 따라서, 제어부(160)는 현재까지 버퍼(170)에 저장되어 있는 n번째 영상 데이터에서 썸네일 영상 데이터를 검색하는 과정에 의해, S230단계를 수행할 수 있다.
보다 구체적으로, 영상 데이터에서 썸네일 영상 데이터의 시작을 지시하는 마크가 검색되면, 제어부(160)는 영상 데이터에 썸네일 영상 데이터가 포함된 것으로 판단하게 된다.
S230단계에서 현재까지 수신된 n번째 영상 데이터에 썸네일 영상 데이터가 포함되어 있는 것으로 판단되면(S230-Y), 제어부(160)는 n번째 영상 데이터에 대한 수신을 계속 유지시킨다(S235).
그리고, 제어부(160)는 썸네일 영상 데이터에 대한 수신이 완료되었는지 여부를 판단한다(S240). 보다 구체적으로, 영상 데이터에서 썸네일 영상 데이터의 끝을 지시하는 마크가 검색되면, 제어부(160)는 썸네일 영상 데이터에 대한 수신이 완료된 것으로 판단하게 된다.
S240단계에서 썸네일 영상 데이터 수신이 완료된 것으로 판단되면(S240-Y), 제어부(160)는 n번째 영상 데이터에 대한 수신을 중단한다(S245). 구체적으로 S245단계는 제어부(160)가 블루투스 통신모듈(150)을 통해 모바일 폰(10)에 n번째 영상 데이터에 대한 송신을 중단할 것을 요청하는 과정에 의한다.
이때, 제어부(160)는 버퍼(170)에 저장되어 있는 현재까지 수신완료된 n번째 영상 데이터 중 썸네일 영상 데이터만을 남기고, 나머지는 삭제할 수 있다. 그리고, 제어부(160)는 썸네일 영상이 비디오 출력부(142)에서 출력되도록, 썸네일 영상 데이터를 GUI 생성부(130)로 전달할 수 있다.
만약, 썸네일 영상 데이터가 압축되어 있다면, 제어부(160)는 이를 직접 신장하거나, 비디오 디코딩부(122)로 전달하여 신장되도록 할 수 있다.
한편, S230단계에서 현재까지 수신된 n번째 영상 데이터에 썸네일 영상 데이터가 포함되지 않은 것으로 판단되면(S230-N), 제어부(160)는 n번째 영상 데이터 전체 중 30%가 수신 완료되었는지 여부를 판단한다(S260).
S260단계에서 아직 30%가 수신 완료되지 않은 것으로 판단되면(S260-N), 제어부(160)는 n번째 영상 데이터에 대한 수신을 계속 유지시키고(S265), S230단계부터 재수행한다.
하지만, S260단계에서 30%가 수신 완료된 것으로 판단되면(S260-Y), 제어부(160)는 n번째 영상 데이터에 대한 수신을 중단한다(S245). 요약하면, n번째 영상 데이터의 전체 중 30%가 수신 완료될 때까지 썸네일 영상 데이터가 수신되지 않는 경우, 제어부(160)는 n번째 영상 데이터에 대한 수신을 중단한다고 할 수 있다.
이때, 제어부(160)는 버퍼(170)에 저장되어 있는 현재까지 수신완료된 n번째 영상 데이터를 삭제할 수 있다.
S245단계 이후, 제어부(160)는 'n'을 'n+1'로 대체시키며(S250), n이 N(S215단계에서 파악된 영상 리스트에 나열된 영상의 개수) 보다 크지 않은 한 S225단계부터 반복된다(S255). 즉, S225단계 내지 S255단계는 S210단계에서 수신된 영상 리스트에 나열된 영상 모두에 대해 순차적으로 수행된다고 할 수 있다.
지금까지 설명한 썸네일 영상 획득과정에 대해, 도 3a 및 도 3b를 참조하여 부연 설명한다.
도 3a에는 썸네일 영상 데이터가 수록되어 있는 영상 데이터의 구조를 도시하였다. 도 3a에 도시된 영상 데이터는 영상의 시작을 알리는 마크인 SOI(Start Of Image)(310), 영상에 대한 압축을 해제하는데 참고되는 TABLES(320), 영상에 대한 실제 데이터인 FRAME(370)과 영상의 끝을 알리는 마크인 EOI(End Of Image)(380)가 수록되어 있다.
이밖에 도 3a에 도시된 영상 데이터에는 썸네일 영상 데이터가 수록되어 있는데, 썸네일 영상 데이터에는 썸네일 영상의 시작을 알리는 마크인 SOI(330), 썸네일 영상에 대한 압축을 해제하는데 참고되는 TABLES(340), 썸네일 영상에 대한 실제 데이터인 FRAME(350)과 썸네일 영상의 끝을 알리는 마크인 EOI(360)가 수록되어 있다.
썸네일 영상 데이터는 영상 데이터 내에 수록되어 있다는 점에서, 영상 데이터에 수록되어 있는 SOI들(310, 330) 중 영상데이터에 대한 SOI(310)는 첫 번째 SOI이며, 썸네일 영상 데이터에 대한 SOI(330)는 두 번째(첫 번째 보다 순서가 뒤지는) SOI이다.
마찬가지로, 썸네일 영상 데이터는 영상 데이터 내에 수록되어 있다는 점에서, 영상 데이터에 수록되어 있는 EOI들(360, 380) 중 영상데이터에 대한 EOI(380)는 마지막 EOI이며, 썸네일 영상 데이터에 대한 EOI(360)는 마지막 보다 순서가 앞서는 EOI이다.
도 3a에 도시된 바에 따르면 썸네일 영상 데이터는 영상 데이터의 앞 부분에 위치하고 있다. 즉, 썸네일 영상 데이터에 대한 SOI가 영상 데이터의 앞으로부터 30% 이내(영상 데이터의 앞 부분)에 위치하고 있다.
이에 따라, 도 3a에 도시된 바와 같은 영상 데이터가 DTV(100)에 수신되는 경우에는, 썸네일 영상의 끝을 알리는 마크인 EOI(360)가 수신될 때까지 S235단계가 반복되어 영상 데이터가 계속 수신되게 된다. 하지만, EOI(360)가 수신되면 S245단계가 수행되어 영상 데이터에 대한 수신이 중단되게 된다.
한편, 도 3b에는 썸네일 영상 데이터가 수록되어 있지 않은 영상 데이터의 구조를 도시하였다. 도 3a에 도시된 영상 데이터는 영상의 SOI(310), 영상에 대한 TABLES(320), 영상에 대한 FRAME(370)과 영상의 EOI(380)가 수록되어 있지만, 썸네 일 영상 데이터는 수록되어 있지 않다.
이에 따라, 도 3a에 도시된 바와 같은 영상 데이터가 DTV(100)에 수신되는 경우에는, 영상 데이터의 전체 중 30%가 수신 완료될 때까지 썸네일 영상 데이터가 수신되지 않으므로, 영상 데이터의 30%까지 수신되고 난 후 S245단계가 수행되어 영상 데이터에 대한 수신이 중단되게 된다.
지금까지, 영상 데이터가 수신되는 중에 수신 중인 영상 데이터로부터 썸네일 영상을 획득하는 과정에 대해, 바람직한 실시예를 들어 상세히 설명하였다.
본 실시예에서 언급한 FTP는 비실시간 전송 프로토콜의 일종으로 이와 다른 비실시간 전송 프로토콜을 이용하는 경우에도 본 발명의 기술적 사상이 적용될 수 있다.
또한, 본 실시예들에서 모바일 폰과 DTV는 블루투스 방식으로 무선통신을 수행하는 것으로 설명하였는데, 블루투스 방식은 무선통신 방식의 일 예로, 모바일 폰과 DTV가 이와 다른 방식으로 무선통신하는 경우나 유선통신하는 경우에도 본 발명의 기술적 사상이 적용될 수 있다.
또한, 모바일 폰은 DTV에 연결가능한 외부기기의 일 예로서 모바일 폰 이외에 다른 외부기기도 적용가능하며, DTV는 영상기기의 일종으로서 DTV 외에 다른 영상기기의 경우도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
또한, 본 실시예에서는 영상 리스트에 나열된 모든 영상에 대해 썸네일 영상 획득 절차를 순차적으로 수행하는 것으로 상정하였다. 하지만, 이는 설명의 편의를 위한 일 예에 불과한 것으로, 모두가 아닌 일부의 영상에 대해서만 썸네일 영상 획득 절차를 수행하도록 구현가능하다. 이 경우, 일부의 영상은 사용자에 의해 선택될 수 있다.
또한, 본 실시예에서 썸네일 영상 획득 절차는 영상 리스트가 수신된 이후에 수행되는 것으로 상정하였으나, 이 역시 설명의 편의를 위한 일 예에 불과하다. 따라서, 썸네일 영상 획득 절차가 이와 다른 시점에 시작될 수 있는데, 예를 들면, UI(User Interface)를 통해 1) 사용자로부터 썸네일 영상에 대한 요청이 있거나, 2) 사용자로부터 영상과 관련된 아이템이 선택되면 수행되도록 구현가능하다.
부연하면, 전자는 사용자가 특정 영상에 대한 썸네일 영상 보기 아이템을 선택한 경우이고, 후자는 사용자가 특정 영상의 명칭이 적혀 있는 아이템을 선택한 경우에 해당한다.
또한, 본 실시예에서는 썸네일 영상 데이터의 시작과 끝을 지시하는 마크로 SOI와 EOI를 언급하였으나, 이외의 다른 마크로 구현하는 경우에도 본 발명의 기술적 사상이 적용가능함은 물론이다.
그리고, 본 실시예에서 영상 데이터의 전체 중 30%가 수신 완료될 때까지 썸네일 영상 데이터가 수신되지 않는 경우, 영상 데이터에 대한 수신을 중단하는 것으로 상정하였다. 여기서, 30%는 이해의 편의를 위한 예시에 불과하므로, 이와 다른 수치가 적용될 수 있음은 물론이다.
이하에서는, 도 4 및 도 5를 참조하여 본 발명의 다른 실시예에 대해 상세히 설명한다.
도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 영상기기는 통신 모듈(410) 및 제어부(420)를 구비한다.
통신 모듈(410)은 외부기기와 통신가능하도록 연결된다. 제어부(420)는 외부기기로부터 특정 영상에 대한 데이터인 영상 데이터 수신이 시작되도록 통신 모듈(410)을 제어하고, 통신 모듈(410)을 통해 영상 데이터를 수신하는 중에 영상 데이터에 포함되어 있는 특정 영상의 축소 영상에 대한 데이터인 축소 영상 데이터가 수신완료된 것으로 판단되면 영상 데이터 수신을 중단한다.
도 5에 도시된 축소 영상 획득방법에 따르면, 먼저 영상기기는 외부기기로부터 특정 영상에 대한 데이터인 영상 데이터 수신을 시작한다(S510). 그리고, 영상 데이터를 수신하는 중에, 영상기기는 영상 데이터에 포함되어 있는 특정 영상의 축소 영상에 대한 데이터인 축소 영상 데이터가 수신완료되었는지 여부를 판단한다(S520). 축소 영상 데이터가 수신완료된 것으로 판단되면, 영상기기는 영상 데이터 수신을 중단한다(S530).
이에 의해서도, 영상 데이터가 수신되는 중에 수신 중인 영상 데이터로부터 썸네일 영상을 획득할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 영상 데이터가 수신되는 중에 수신 중인 영상 데이터로부터 축소 영상을 획득할 수 있게 되어, 다른 기기에 저장되어 있는 영상에 대한 축소 영상을 용이하게 획득할 수 있게 된다.
또한, 영상에 대한 축소 영상 획득이 완료된 경우나 그 영상에 축소 영상이 존재하지 않는 것으로 판단되는 경우에는 그 영상에 대한 수신을 중단하고 다른 영 상을 수신할 수 있게 되므로, 보다 빠르게 외부기기에 저장되어 있는 영상들에 대한 축소 영상들을 획득할 수 있게 된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (24)

  1. 외부기기로부터 특정 영상에 대한 데이터인 영상 데이터 수신을 시작하는 단계;
    상기 영상 데이터를 수신하는 중에, 상기 영상 데이터에 포함되어 있는 상기 특정 영상의 축소 영상에 대한 데이터인 축소 영상 데이터가 수신완료되었는지 여부를 판단하는 단계; 및
    상기 축소 영상 데이터가 수신완료된 것으로 판단되면, 상기 영상 데이터 수신을 중단하는 단계;를 포함하는 것을 특징으로 하는 축소 영상 획득방법.
  2. 제 1항에 있어서,
    상기 판단단계는,
    상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 끝을 지시하는 마크가 수신되었는지 여부에 따라, 상기 축소 영상 데이터가 수신완료되었는지 여부를 판단하는 것을 특징으로 하는 축소 영상 획득방법.
  3. 제 2항에 있어서,
    상기 축소 영상 데이터의 끝을 지시하는 마크는,
    상기 영상 데이터에 포함되어 있는 EOI(End Of Image)들 중 마지막 EOI 보다 순서가 앞선 EOI인 것을 특징으로 하는 축소 영상 획득방법.
  4. 제 1항에 있어서,
    상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단되면, 상기 영상 데이터 수신을 중단하는 단계;를 포함하는 것을 특징으로 하는 축소 영상 획득방법.
  5. 제 4항에 있어서,
    상기 중단 단계는,
    상기 영상 데이터의 전체 중 특정 비율이 수신완료될 때까지 상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 시작을 지시하는 마크가 수신되지 않은 것으로 판단되면, 상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단하는 것을 특징으로 하는 축소 영상 획득방법.
  6. 제 5항에 있어서,
    상기 축소 영상 데이터의 시작을 지시하는 마크는,
    상기 영상 데이터에 포함되어 있는 SOI(Start Of Image)들 중 첫번째 SOI 보다 순서가 뒤진 SOI인 것을 특징으로 하는 축소 영상 획득방법.
  7. 제 1항에 있어서,
    상기 수신 시작 단계는,
    비실시간 프로토콜에 따라 상기 외부기기로부터 상기 영상 데이터 수신을 시작하는 것을 특징으로 하는 축소 영상 획득방법.
  8. 제 7항에 있어서,
    상기 비실시간 프로토콜은,
    FTP(File Transfer Protocol : 파일 전송 프로토콜)을 포함하는 것을 특징으로 하는 축소 영상 획득방법.
  9. 제 7항에 있어서,
    상기 수신 시작 단계는,
    비실시간 프로토콜에 따라 블루투스 통신 방식으로 상기 외부기기로부터 상기 영상 데이터 수신을 시작하는 것을 특징으로 하는 축소 영상 획득방법.
  10. 제 1항에 있어서,
    상기 비실시간 프로토콜에 따라 상기 외부기기에 상기 영상 데이터를 요청하는 단계;를 더 포함하고,
    상기 수신 시작 단계는,
    상기 요청에 대한 상기 외부기기의 응답을 통해 수행되는 것을 특징으로 하는 축소 영상 획득방법.
  11. 제 1항에 있어서,
    상기 영상 데이터 수신이 중단되면, 다른 영상에 대한 데이터 수신을 시작하는 단계;를 더 포함하는 것을 특징으로 하는 축소 영상 획득방법.
  12. 제 1항에 있어서,
    상기 수신 시작 단계는,
    UI(User Interface)를 통해, 사용자로부터 상기 축소 영상에 대한 요청이 있거나, 상기 사용자로부터 상기 특정 영상과 관련된 아이템이 선택되면 수행되는 것을 특징으로 하는 축소 영상 획득방법.
  13. 외부기기와 통신가능하도록 연결되는 통신 모듈; 및
    상기 외부기기로부터 특정 영상에 대한 데이터인 영상 데이터 수신이 시작되도록 상기 통신 모듈을 제어하고, 상기 통신 모듈을 통해 상기 영상 데이터를 수신하는 중에 상기 영상 데이터에 포함되어 있는 상기 특정 영상의 축소 영상에 대한 데이터인 축소 영상 데이터가 수신완료된 것으로 판단되면 상기 영상 데이터 수신을 중단하는 제어부;를 포함하는 것을 특징으로 하는 영상기기.
  14. 제 13항에 있어서,
    상기 제어부는,
    상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 끝을 지시하는 마크가 수신되었는지 여부에 따라, 상기 축소 영상 데이터가 수신완료되었는지 여부를 판단하는 것을 특징으로 하는 영상기기.
  15. 제 14항에 있어서,
    상기 축소 영상 데이터의 끝을 지시하는 마크는,
    상기 영상 데이터에 포함되어 있는 EOI(End Of Image)들 중 마지막 EOI 보다 순서가 앞선 EOI인 것을 특징으로 하는 영상기기.
  16. 제 13항에 있어서,
    상기 제어부는,
    상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단되면, 상기 영상 데이터 수신을 중단시키는 것을 특징으로 하는 영상기기.
  17. 제 16항에 있어서,
    상기 제어부는,
    상기 영상 데이터의 전체 중 특정 비율이 수신완료될 때까지 상기 영상 데이터에 포함되어 있는 상기 축소 영상 데이터의 시작을 지시하는 마크가 수신되지 않은 것으로 판단되면, 상기 영상 데이터의 앞 부분에 상기 축소 영상 데이터가 포함되어 있지 않은 것으로 판단하는 것을 특징으로 하는 영상기기.
  18. 제 17항에 있어서,
    상기 축소 영상 데이터의 시작을 지시하는 마크는,
    상기 영상 데이터에 포함되어 있는 SOI(Start Of Image)들 중 첫번째 SOI 보다 순서가 뒤진 SOI인 것을 특징으로 하는 영상기기.
  19. 제 13항에 있어서,
    상기 제어부는,
    비실시간 프로토콜에 따라 상기 통신 모듈을 통해 상기 외부기기로부터 상기 영상 데이터 수신을 시작하는 것을 특징으로 하는 영상기기.
  20. 제 19항에 있어서,
    상기 비실시간 프로토콜은,
    FTP(File Transfer Protocol : 파일 전송 프로토콜)을 포함하는 것을 특징으로 하는 영상기기.
  21. 제 19항에 있어서,
    상기 제어부는,
    비실시간 프로토콜에 따라 블루투스 통신 방식으로 상기 통신 모듈을 통해 상기 외부기기로부터 상기 영상 데이터 수신을 시작하는 것을 특징으로 하는 영상 기기.
  22. 제 13항에 있어서,
    상기 제어부는,
    상기 비실시간 프로토콜에 따라 상기 통신 모듈을 통해 상기 외부기기에 상기 영상 데이터를 요청하고, 상기 요청에 대한 상기 외부기기의 응답으로 상기 영상 데이터를 상기 통신 모듈을 통해 수신하는 것을 특징으로 하는 영상기기.
  23. 제 13항에 있어서,
    상기 제어부는,
    상기 영상 데이터 수신이 중단되면, 상기 통신 모듈을 통해 다른 영상에 대한 데이터 수신을 시작하는 것을 특징으로 하는 영상기기.
  24. 제 13항에 있어서,
    상기 제어부는,
    UI(User Interface)를 통해, 사용자로부터 상기 축소 영상에 대한 요청이 있거나, 상기 사용자로부터 상기 특정 영상과 관련된 아이템이 선택된 경우에 상기 영상 데이터 수신을 시작하는 것을 특징으로 하는 영상기기.
KR1020070052674A 2007-05-30 2007-05-30 축소 영상 획득방법 및 이를 적용한 영상기기 KR20080105287A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070052674A KR20080105287A (ko) 2007-05-30 2007-05-30 축소 영상 획득방법 및 이를 적용한 영상기기
US12/026,147 US20080298771A1 (en) 2007-05-30 2008-02-05 Method for acquiring reduced image and video apparatus using the same
EP08151736A EP1998568A3 (en) 2007-05-30 2008-02-21 Method for acquiring reduced image and video apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070052674A KR20080105287A (ko) 2007-05-30 2007-05-30 축소 영상 획득방법 및 이를 적용한 영상기기

Publications (1)

Publication Number Publication Date
KR20080105287A true KR20080105287A (ko) 2008-12-04

Family

ID=39739658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070052674A KR20080105287A (ko) 2007-05-30 2007-05-30 축소 영상 획득방법 및 이를 적용한 영상기기

Country Status (3)

Country Link
US (1) US20080298771A1 (ko)
EP (1) EP1998568A3 (ko)
KR (1) KR20080105287A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5113440A (en) * 1989-07-21 1992-05-12 Oci Communcations, Inc. Universal decoder
US6993074B2 (en) * 2000-03-24 2006-01-31 Microsoft Corporation Methods and arrangements for handling concentric mosaic image data
US8566879B2 (en) * 2004-09-28 2013-10-22 Sony Corporation Method and apparatus for navigating video content

Also Published As

Publication number Publication date
EP1998568A3 (en) 2009-01-21
US20080298771A1 (en) 2008-12-04
EP1998568A2 (en) 2008-12-03

Similar Documents

Publication Publication Date Title
JP4782689B2 (ja) データ処理装置およびコンテンツデータ送信装置
CN111787392A (zh) 一种视频投屏方法、装置、电子设备和存储介质
US20170195008A1 (en) Method and system for transfering data between plurality of devices
KR102039028B1 (ko) 휴대단말기의 데이터 공유 장치 및 방법
US8813130B2 (en) Information processing device and information providing method
JP2016538657A (ja) 複数のユーザコメントを検索してコンテンツにオーバーレイすることによるビデオのブラウジング
GB2587544A (en) Video acquisition method and device, terminal and medium
JP6465541B2 (ja) 通信装置、再生装置、及びその方法、並びにプログラム
CN102325271A (zh) 移动终端发送文件给电视机共享的方法、装置及移动终端
WO2008047647A1 (en) Mobile communication terminal
JP2010124038A (ja) 映像変換装置、映像再生装置、映像変換再生システム及びプログラム
WO2022001445A1 (zh) 视频推送、播放方法、装置、系统及存储介质
JP5135147B2 (ja) 動画ファイル送信サーバおよびその動作制御方法
KR102162086B1 (ko) 휴대단말기의 데이터 공유 장치 및 방법
JP2006217529A (ja) 画像表示システムおよび画像表示装置
JP5649861B2 (ja) 表示装置、システム、制御方法、プログラム、及び、記録媒体
KR101482736B1 (ko) 녹화파일 리스트를 외부로 제공하는 방송수신장치,녹화파일 제공방법 및 녹화파일 제공 시스템
US20150348587A1 (en) Method and apparatus for weighted media content reduction
KR20080105287A (ko) 축소 영상 획득방법 및 이를 적용한 영상기기
KR102281270B1 (ko) 휴대단말기의 데이터 공유 장치 및 방법
JP2011081591A (ja) 情報処理装置及びシステム、コンピュータプログラム及び記録媒体
JP4413661B2 (ja) 録画再生装置、画像再生システムおよび端末装置
US20240187682A1 (en) Method for searching for channels and display apparatus
JP5083331B2 (ja) 画像表示装置および方法
JP2011204101A (ja) サーバ装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid