KR20130051859A - 카메라 시스템, 신호 지연량 조정 방법 및 프로그램 - Google Patents

카메라 시스템, 신호 지연량 조정 방법 및 프로그램 Download PDF

Info

Publication number
KR20130051859A
KR20130051859A KR1020117027785A KR20117027785A KR20130051859A KR 20130051859 A KR20130051859 A KR 20130051859A KR 1020117027785 A KR1020117027785 A KR 1020117027785A KR 20117027785 A KR20117027785 A KR 20117027785A KR 20130051859 A KR20130051859 A KR 20130051859A
Authority
KR
South Korea
Prior art keywords
delay amount
delay
camera
amount
ccu
Prior art date
Application number
KR1020117027785A
Other languages
English (en)
Inventor
히로아끼 다까하시
다모쯔 무나까따
히데아끼 무라야마
사또시 쯔바끼
에이사부로 이따꾸라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130051859A publication Critical patent/KR20130051859A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/2625Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for delaying content or additional data distribution, e.g. because of an extended sport event
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

하나 이상의 신호 지연을 조정하기 위한 시스템 및 방법이 제공된다. 비동기망을 통해 카메라 제어부 각각에 연결되어 있는 각각의 카메라부와 각각의 카메라 제어부와 관련된 영상 신호의 지연량을 취득하여 하나 이상의 지연량을 조정함으로써 신호 지연이 조정된다.

Description

카메라 시스템, 신호 지연량 조정 방법 및 프로그램{CAMERA SYSTEM, SIGNAL DELAY AMOUNT ADJUSTING METHOD AND PROGRAM}
<관련 출원의 상호 참조>
본원은 2010년 3월 24일에 일본 특허청에 출원된 일본 특허 출원 번호 JP2010-082341호로부터 우선권을 청구하며, 그 전체 내용은 본원에 참조로서 원용된다.
본 발명은 카메라 시스템, 신호 지연량 조정 방법 및 프로그램에 관한 것이다.
예를 들어, 하기의 특허문헌 1에는, 1대로 복수의 카메라를 제어 가능한 카메라 제어 장치가 개시되어 있다. 특허문헌 1에는, CHU와 CCU가 카메라 케이블을 통해 1대1로 접속되어 기준 신호와 영상 신호를 전송하는 구성이 개시되어 있다.
또한, 하기의 특허문헌 2에는, CHU와 CCU 사이의 전송에 비동기 교환망(비동기 전송망)을 사용하는 방법이 기재되어 있다.
특허문헌 1: 일본 특허 공개 평09-238277호 공보 특허문헌 2: 일본 특허 공개 제2004-304809호 공보
특허문헌 2에 기재되어 있는 바와 같이 비동기 전송망을 사용하여 영상 전송을 행하는 경우, 각 CHU와 각 CCU의 조합마다 전송 패스가 상이하기 때문에, 지연량이 다를 것이다. 이로 인해, 타이밍을 조정함으로써, 각 CCU에서의 영상 신호의 도달 타이밍을 정렬시킬 필요가 있다. 특히, 비동기 전송망에서는 경로 패스가 고정된 것이 아니고, 경로 패스는 상황에 따라 변화하기 때문에, 영상 신호의 타이밍 조정이 어렵다.
또한, 비동기 전송망의 경우, 카메라 시스템의 구축의 자유도를 높이기 때문에, 예를 들어, LAN 케이블 등의 비동기 전송선, 스위칭 허브, 라우터 등의 기기의 교체를 유연하게 받아들일 수 있는 것이 바람직하다. 이러한 경우, 영상 신호의 타이밍 조정이 어려워질 것이다.
또한, 비동기 전송망을 사용함으로써, 현재 사용 중인 경로 패스에 대한 고장이 발생한 경우, 다른 경로 패스로 변경함으로써, 전송 기기의 고장에 대하여 용장(redundant) 구성을 구축하는 장점이 있지만, 경로 패스의 변경에 따라 영상 신호의 타이밍을 유연하게 조정할 필요도 있다.
또한, 비동기 전송망의 대역 제한으로 인해, CHU에서 영상 압축(인코딩)을 행한 후에 전송을 행하여, CCU에서 압축 화상을 전개(디코딩)한다고 가정한다. 이 경우, 인코딩 및 디코딩으로 인한 지연도 고려할 필요가 있고, 타이밍 조정에 번잡한 처리가 수반된다.
상기 관점에서, 복수의 카메라를 비동기 전송망을 통해 접속한 경우, 영상 신호의 타이밍을 용이하게 조정하는 것이 가능한, 신규하면서도 개량된 카메라 시스템, 신호 지연량 조정 방법 및 프로그램을 제공하는 것이 바람직하다.
따라서, 하나 이상의 신호 지연을 조정하기 위한 본 시스템 및 방법이 제공된다. 일 실시예에서는, 비동기망을 통해 카메라 제어부 각각에 연결되어 있는 각각의 카메라부와 각각의 카메라 제어부와 관련된 영상 신호의 지연량을 취득하여 하나 이상의 지연량을 조정함으로써 신호 지연이 조정된다.
도 1은 카메라(CHU)와 CCU가 1대1로 접속된 카메라 제어 시스템을 도시하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른, 비동기 전송망을 사용한 카메라 시스템의 일례를 도시하는 모식도이다.
도 3은 도 2에 도시한 시스템을 상세하게 도시하는 모식도이다.
도 4는 지연량을 조정하기 위한 구성을 상세하게 도시하는 모식도이다.
도 5는 지연량을 조정하기 위한 구성을 상세하게 도시하는 모식도이다.
도 6은 메인 카메라 이외의 특정한 CHU의 지연량 Ts가 기준 지연 시간 Tb보다 적은 경우를 도시하는 모식도이다.
도 7은 메인 카메라 이외의 특정한 CHU의 지연량 T1이 기준 지연 시간 Tb보다 큰 경우를 도시하는 모식도이다.
도 8은 본 실시예에 따른 시스템의 처리 수순을 도시하는 흐름도이다.
이하에 첨부 도면을 참조하여, 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 본 명세서 및 도면에서, 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대하여는, 동일한 참조 번호를 부여하고, 이들 구성 요소에 대한 중복 설명은 생략한다는 점에 주목한다.
설명은 이하의 순서로 행한다.
1. 기술적 근거
2. 본 실시예에 따른 카메라 시스템의 구성예
3. 본 실시예에 따른 카메라 시스템의 처리 수순
1. 기술적 근거
도 1은 카메라와 CCU가 1대1로 접속된 카메라 제어 시스템을 도시하는 블록도이다. 이 카메라 시스템은, TV 방송국의 스튜디오 등에서 사용되는 것으로서, CHU(1200)과 CCU(1300)가 카메라 케이블(1100)을 통해 1대1로 접속되어 기준 신호와 영상 신호가 전송된다. 카메라 시스템은, 카메라 제어 장치로서의 복수의 CCU(Camera Control Unit)(1300), 카메라 케이블(1100)을 통해 CCU(1300) 각각에 접속된 복수의 CHU(Camera Head Unit)(1200) 및 CCU(1300) 중에서 영상 신호나 리턴 영상 신호 등의 신호를 송수신하고, 선택된 CHU(1200) 및 CCU(1300)에 대응하는 영상 신호를 출력하는 영상 전환기(video switcher)(1400) 및 각 CHU(1200)와 각 CCU(1300) 사이의 영상 동기를 취하기 위한 기준이 되는 표준 신호를 출력하는 표준 신호 발생기(1500)로 구성된다.
영상 전환기(1400)는 각 CCU(1300)로부터 수신한 영상 신호를 선택에 따라 전환하여 출력한다. 영상 전환시에 영상 신호에 혼란을 발생시키지 않기 위해서는, 각 영상 신호가 동기하고 있을 필요가 있고, 각 CCU(1300)는 표준 신호 발생기(1500)로부터의 기준 신호에 동기한 영상 신호를 CHU(1200)로부터 수신할 필요가 있다. CCU(1300)는 표준 신호 발생기(1500)로부터의 기준 신호를 CHU(1200)에 전송하고, CHU(1200)는, 이 기준 신호에 동기한 영상 신호를 CCU(1300)에 전송한다.
그러나, 기준 신호에 영상 신호를 동기시켰다고 하더라도, CHU(1200)와 CCU(1300)를 접속하는 카메라 케이블의 전송 지연, CCU(1300)에서의 처리 시의 지연 등의 요인에 의해, 영상 전환기(1400)에 도달하는 실제의 영상 신호에는 타이밍의 오차가 발생한다. 따라서, 영상 전환기(1400)의 입력단에서, 각 CCU(1300)로부터 각각의 영상 신호의 타이밍이 일치될 수 있도록, CHU(1200)에서 영상 신호의 송출 타이밍의 미세 조정이 행해진다. 이로 인해, 영상 전환기(1400)에서의, CHU(1200)로부터 전송된 영상 신호의 입력 타이밍의 동일성이 보증된다.
송출 타이밍의 조정은 CHU(1200)(카메라)의 PLL(Phase Locked Loop)에서의 위상 조정에 의해 행해질 수 있다. 카메라측의 PLL 위상 조정에 의해 지연 조정을 행함으로써, 영상 데이터 또는 음성 데이터의 타이밍 조정용 버퍼를 생성하지 않고도, 저비용 및 저소비 전력으로 영상 신호의 입력 타이밍의 조정을 실현할 수 있다. 그러나, 이 방식에서는, 표준 신호 형식으로부터 지연될 수 있는 허용 가능 범위는, 영상 신호의 1 필드 내로 한정된다. CCU(1300)측에 대하여 지연 조정을 행하는 경우, 또는 1 필드를 초과하는 지연 조정을 행하는 경우에는, 영상 데이터 및 음성 데이터의 버퍼를 사용한 지연 조정이 필요하다.
상술한 바와 같이, 도 1은 CHU(1200)와 CCU(1300)가 카메라 케이블을 통해 1대1로 접속되어 기준 신호와 영상 신호가 전송되는 구성을 도시한다. 이 구성에서, 카메라 케이블의 전송 지연, CCU(1300)에서의 처리 시의 지연 등의 요인을 해소하기 위해, 타이밍 조정을 행할 필요가 있다. 한편, 전술한 바와 같이, CHU(1200)와 CCU(1300) 사이의 전송에 비동기 전송망을 사용하는 방법이 존재한다. 비동기 전송망에서는, 각 CCU(1300)와 각 CHU(1200)는 동일한 전송망 상에 기준 신호나 영상 신호를 전송한다. 이 경우, 전술한 바와 같이, 경로 패스는 고정적이 아니고, 경로 패스는 상황에 따라 변화하기 때문에, 신호의 타이밍 조정량은 일의적으로 정해지는 것이 아니다. 따라서, 영상 신호 및 음성 신호의 타이밍 조정에 어려움이 존해한다. 상기 관점에서, 본 실시예는 비동기 전송망을 사용한 카메라 시스템에서 신호의 타이밍을 최적으로 조정하는 것을 목적으로 하고 있다.
2. 본 실시예에 따른 카메라 시스템의 구성예
도 2는 본 실시예에 따른 비동기 전송망을 사용한 카메라 시스템의 일례를 도시하는 모식도이다. 도 2에 도시한 바와 같이, 카메라 시스템(100)은 복수의 CHU(카메라부)(200), CCU(카메라 제어부)(300), 영상 전환기(400) 및 표준 신호 발생기(500)로 구성된다. 카메라와 CCU는 비동기 전송망(600)을 통해 접속된다. 본 실시예는 비동기 전송망(600)로서 이더넷(등록 상표)을 예시하지만, 이 예에 한정되는 것은 아니라는 점에 주목한다.
비동기 전송망을 사용하여 영상 전송을 행하는 경우, 각 CHU(200)와 CCU(300)의 조합마다 전송 패스가 상이하기 때문에, 지연량이 다를 것이다. 이 경우, CHU(200)와 CCU(300)가 1대1로 접속되어 있는 도 1의 구성과 마찬가지로 타이밍을 조정함으로써, 각 CCU(300)에서의 영상 신호의 도달 타이밍을 정렬시키는 것도 가능하다. 그러나, 비동기 전송망(600)에서는 경로 패스가 고정적이 아니고, 상황에 따라서 경로 패스가 변화할 수 있다.
또한, 카메라 시스템(100)의 구축의 자유도를 높이는 관점에서도, 예를 들어, LAN 케이블 등의 비동기 전송선, 스위칭 허브, 라우터 등의 기기의 교체를 유연하게 받아들일 수 있는 것이 바람직하다. 이 경우, 도 1에서 설명한 바와 같은 개별의 타이밍 조정은 대응하기 어려워질 것이다.
또한, 비동기 전송망(600)을 사용함으로써, 현재 사용 중인 경로 패스에 문제가 발생한 경우, 다른 경로 패스로 변경함으로써, 전송 기기의 문제에 대한 과다한 구성을 구축하는 장점도 있다. 이러한 경우에도, 도 1에서 설명한 바와 같은 개별의 타이밍 조정은 대응하기 어렵다.
또한, 비동기 전송망의 대역 제한으로 인해, CHU(200)에서 영상 압축(인코딩)을 행한 후에 전송을 행하여, CCU(300)에서 압축 화상을 전개(디코딩)한다고 가정한다. 이 경우, 인코딩 및 디코딩으로 인한 지연을 고려할 필요가 있고, 결국 개별의 타이밍 조정의 대응이 어렵게 된다.
상술한 이유로 인해, 비동기 전송망(600)으로 구성되는 CHU-CCU 카메라 시스템에서, 카메라 시스템(100)의 구성 변경에 대하여 유연하게 대응할 수 있는 CHU-CCU의 타이밍 조정 시스템이 요구된다.
도 3은 도 2에 도시한 시스템을 더 상세하게 도시하는 모식도이다. 도 2는 비동기 전송망으로서 이더넷(등록 상표)을 예시했지만, 이더넷(등록 상표)에 한정되는 것은 아니다. 비동기 전송망(600)은 복수의 스위치 허브(610)를 포함한다. 복수의 CHU(200)와 복수의 CCU(300)는 예를 들어, IP 어드레스를 적절하게 설정함으로써, 서로 1대1로 대응하도록 구성된다. 또한, 표준 신호 발생기(500)로부터의 기준 신호는 상기의 특허문헌 2에 기재된 방법이나 IEEE1588등의 방법을 사용하여, CCU(300)로부터 CHU(200)에 전송된다. 이에 의해, CHU(200)와 CCU(300) 사이의 전송 지연량의 측정을 행할 수 있다.
도 3에 도시하는 구성은 신호 지연량을 조정하기 위해, CNU(camera command network unit)(700)를 포함한다. CNU(700)는 신호 지연량을 조정하는 기능을 갖는다. 후술하겠지만, CNU(700)를 갖지 않고, 특정한 CCU(300)를 마스터 장치로서 설정하여, 마스터 장치의 CCU(300)가 지연량을 조정하도록 할 수도 있다.
도 3에 도시하는 시스템에서, CCU(300) 및 CNU(700)의 기능을 갖는 구성 요소(800)는 회로(하드웨어) 또는 CPU 등의 중앙 처리부와 그 중앙 처리부를 기능시키는 프로그램(소프트웨어)으로 구성될 수 있다. 이 경우, 프로그램은 CCU(300) 등의 구성 요소가 구비하는 메모리 또는 외부에서 삽입되는 메모리 등의 기록 매체에 저장될 수 있다.
도 4 및 도 5는 지연량을 조정하기 위한 구성을 상세하게 도시하는 모식도이다. 도 4에 도시하는 구성은 도 3의 구성에 대응하고, 지연량을 조정하기 위한 CNU(camera command network unit)(700)를 별도로 설치한다. 대응하는 CHU(200)와 CCU(300) 사이의 지연량은 CCU(300)로부터 CNU(700)에 통지된다. CNU(700)는 지연량을 조정하여, 최적의 지연량을 결정한다. 결정된 지연량은 CCU(300)를 경유하여 CHU(200)에 통지되고, CHU(200)는 각 CCU(300)에 도달하는 영상 신호의 타이밍을 정렬시키기 위해 영상 버퍼를 적절하게 설정한다.
지연량 결정의 구체적인 방법에 대해서는, 나중에 도 8에 기초하여 상세하게 설명한다. 여기에서는, 조정을 위해 CNU(700)를 사용했지만, CNU(700) 대신 조정용 장치로서 다른 구성 요소를 사용해도 좋다는 점에 주목한다.
도 5는 CNU(700)를 갖지 않고, 임의의 CCU(300)가 마스터로서 기능하여 지연량을 조정하는 구성을 도시한다. 상술한 바와 같이, 조정용 장치를 새롭게 추가로 설치하지 않고, 특정한 CCU(300)가 조정의 기능을 행하도록 구성할 수도 있다.
지연량 결정의 구체적인 방법으로서는, 지연이 가장 큰 CHU(200)와 CCU(300)의 쌍에 대하여, CHU(200)와 CCU(300)의 다른 쌍의 지연량이 동일하게 되도록 영상 버퍼를 조정하는 방법이 존재한다. 또한, 기준으로서의 메인 카메라인 CHU(200)와 CCU(300)의 특정한 쌍의 지연량에 기초하여, CHU(200)와 CCU(300)의 다른 쌍의 지연량이 동일하게 되도록 영상 버퍼를 조정할 수 있다.
여기서, 기준 지연 시간이 Tb이면, CHU(200)와 CCU(300)의 쌍에 따라, 지연량이 기준 지연 시간 Tb보다 적은 경우(이 경우의 지연량을 Ts로 한다)이거나 지연량이 기준 지연 시간 Tb보다 큰 경우(이 경우의 지연량을 T1로 한다)가 존재할 수 있다.
본 실시예에서는, CHU(200)의 기준 지연 시간 Tb에 대하여, 다른 CHU(200)의 지연 시간을 조정한다. 이때, 이하에 설명한 바와 같이, 영상의 프레임의 개시 타이밍이 서로 일치하도록 지연 시간을 조정한다.
우선, 지연량이 기준 지연 시간 Tb보다 적은 경우(지연량=Ts), CCU(300)는 Tb-Ts의 시간분의 영상 버퍼를 생성하도록 CHU(200)에 지시하고, CCU(300)에 도달하는 영상의 지연량이 Tb가 되도록 조정한다.
도 6은 메인 카메라 이외의 특정한 CHU(200)의 지연량 Ts가 기준 지연 시간 Tb보다 적은 경우를 도시한다. 이 경우, 도 6에 도시한 바와 같이, 메인 카메라의 영상 신호들(제1 프레임 내지 제5 프레임 및 그 이상)은 기준 시각으로부터 기준 지연 시간 Tb 지연된다. 또한, 메인 카메라 이외의 임의의 카메라의 영상 신호들(제1 프레임 내지 제5 프레임 및 그 이상)은 지연 조정 전에 기준 시각으로부터 Ts(Tb>Ts) 지연된다. 이 경우, Tb-Ts의 시간분의 영상 버퍼가 생성된다. 이에 의해, 도 6의 하부에 도시한 조정 후의 지연량의 도면에 도시한 바와 같이, 메인 카메라의 영상 신호의 지연량은 메인 카메라 이외의 임의의 카메라의 지연량 조정 후의 영상 신호와 일치하게 되어, 각 프레임의 개시 시각이 서로 일치된다. 따라서, 영상 전환기로 신호를 전환할 때에 영상에 혼란이 발생하는 것을 확실하게 피할 수 있다.
또한, 도 7은 메인 카메라 이외의 특정한 CHU(200)의 지연량 T1이 기준 지연 시간 Tb보다 큰 경우를 도시한다. 이 경우, 도 7에 도시한 바와 같이, 메인 카메라의 영상 신호들(제1 프레임 내지 제5 프레임 및 그 이상)은 기준 시각으로부터 기준 지연 시간 Tb 지연된다. 또한, 메인 카메라 이외의 임의의 카메라의 영상 신호들(제1 프레임 내지 제5 프레임 및 그 이상)은 지연 조정 전에는 기준 시각으로부터 T1(T1>Tb) 지연된다. 이 경우, (Tb+n×Tfr)-T1의 시간분의 영상 버퍼가 생성된다. 여기서, Tfr은 1 프레임의 시간이며, (Tb+n×Tfr)>T1이 되도록 n이 규정된다. 도 7에서는, n=1로 설정된다. 이에 의해, 도 7의 하부의 조정 이후의 지연량의 도면에 도시한 바와 같이, 메인 카메라의 영상 신호의 특정한 프레임은 메인 카메라 이외의 특정한 카메라의 영상 신호의 대응하는 프레임으로부터 1 프레임 분 시프트되지만, 각 프레임의 개시 시각은 서로 일치한다. 따라서, 영상 전환기로 신호를 전환할 때에 영상에 혼란이 발생하는 것을 확실하게 피할 수 있다. 도 7에서는, 메인 카메라 이외의 카메라의 제1 프레임의 개시 시각이 메인 카메라의 제2 프레임의 개시 시각 이전이기 때문에, n=1이라고 가정했지만, 메인 카메라 이외의 카메라의 제1 프레임의 개시 시각이, 메인 카메라의 제2 프레임의 개시 시각보다 늦고, 메인 카메라의 제3 프레임의 개시 시각 이전인 경우에는, n=2로 가정한다는 점에 주목한다. 이에 의해, 메인 카메라의 영상 신호의 특정한 프레임은 메인 카메라 이외의 특정한 카메라의 영상 신호의 대응하는 프레임으로부터 2 프레임 분 시프트되지만, 각 프레임의 개시 시각은 서로 일치하므로, 영상의 혼란을 피할 수 있다.
상술한 바와 같이, 지연량(T1)이 기준 지연 시간 Tb보다 큰 경우, CCU(300)는 (Tb+n×Tfr)-T1의 시간분의 영상 버퍼를 생성하도록 CHU(200)에 지시하고, CCU(300)에 도달하는 영상 지연이 기준 지연 Tb으로부터 n 프레임 지연되도록 조정한다.
또한, 기준으로서의 CHU(200)와 CCU(300)의 쌍으로부터 n 프레임 지연되어 있는 CHU(200), CCU(300), CNU(700) 또는 영상 전환기(400) 등에 대하여는, CHU(200)와 CCU(300)의 쌍이 n 프레임 지연되어 있는 것을 표시하는 기능이 존재한다.
3. 본 실시예에 따른 시스템의 처리 수순
도 8은 본 실시예에 따른 시스템의 처리 수순을 도시하는 흐름도이다. 시스템의 전원 투입 또는 시스템 재설정으로부터 영상 버퍼의 결정까지의 처리의 흐름을 이하에 설명한다. 여기에서는, 도 3 및 도 4에 도시한 바와 같이, 조정을 위한 CNU(700)를 설치한 경우에 대하여 설명한다.
우선, 스텝 S10에서는, 시스템의 전원 투입 또는 시스템 재설정을 행한다. 비동기 전송망(600)의 구성(스위치 허브(610)의 수 등)에 변경이 발생한 경우, CHU(200)의 수에 변경이 발생한 경우 등에는, 시스템 재설정에 의해 시스템 전체적으로 교정이 행해진다. 다음 스텝 S12에서는, 각 CHU(200)와 각 CCU(300) 사이에서 동기를 확립한다. 다음 스텝 S14에서는, 대응하는 CHU(200)와 CCU(300)의 쌍 각각에 대하여 지연 시간을 측정한다. 지연 시간의 측정은, 스텝 S12에서의 동기의 확립과 함께, 상술한 특허문헌 2에 기재된 방법, IEEE1588 등의 방법을 사용하여 행해질 수 있다. 구체적으로는, 각 CCU(300)에서 취득된 영상 신호의 타이밍과 표준 신호 발생기(500)에서 발생된 기준 펄스와의 비교에 의해 지연 시간을 측정한다. 다음 스텝 S16에서는, 각 CCU(300)가 지연 시간을 CNU(700)에 통지한다. 다음 스텝 S18에서는, CNU(700)가, 이미 메인 카메라로서 설정된 CHU(200)에 대응하는 CCU(300)로부터 통지된 지연 시간 Tb를 선택한다.
다음 스텝 S20에서는, 메인 카메라 이외의 각 CHU(200)에 대응하는 각 CCU(300)로부터 통지된 지연 시간이 스텝 S18에서 선택된 지연 시간 Tb보다 큰지의 여부를 판정한다.
스텝 S20에서, 메인 카메라 이외의 각 CHU(200)에 대응하는 각 CCU(300)로부터 통지된 지연 시간이 지연 시간 Tb보다 큰 경우, 스텝 S22로 진행한다. 이때, 메인 카메라 이외의 각 CHU(200)에 대응하는 각 CCU(300)로부터 통지된 지연 시간을 T1이라고 가정한다. 스텝 S22에서는, CNU(700)는 시간 (Tb+n×Tfr)-T1을 산출하여 산출된 시간을 CCU(300)에 통지한다. 여기에서는, 지연 시간이 지연 시간 Tb보다 큰 각 CCU(300)에 시간 (Tb+n×Tfr)-T1이 통지된다.
이어서, 스텝 S26에서는, 시간 (Tb+n×Tfr)-T1에 대응하는 영상 버퍼 크기를 산출한다. 다음 스텝 S28에서는, 스텝 S26에서 산출된 버퍼 크기를 대응하는 CHU(200)에 전송한다. 그 후에, CHU(200)는 지시된 버퍼 크기에 기초하여 영상 신호를 축적하는 메모리 내에 버퍼를 생성하고, 신호의 타이밍을 조정한다. 이에 의해, 도 7에서 설명한 바와 같이, 지연 시간이 T1인 CCU(300)의 지연량은 메인 카메라로부터 n 프레임 지연된 상태로 조정된다. 스텝 S28 이후에 처리를 종료한다.
또한, 스텝 S24에서는, n 프레임 지연이 있다는 정보를 CCU(300), CNU(700), CHU(200), 영상 전환기(400) 등에 표시한다. 이때, n 프레임 지연이 있다는 정보가 CNU(700)로부터 CCU(300), CHU(200) 및 영상 전환기(400)에 전송된다. 이후, CCU(300), CHU(200) 및 영상 전환기(400)는 전송된 정보에 기초하여 표시를 행한다.
또한, 스텝 S20에서, 지연 시간이 스텝 S18에서 산출된 지연 시간 Tb보다 작은 경우, 스텝 S30으로 진행한다. 스텝 S30에서는, Tb-Ts 시간을 산출하여 CCU(300)에 통지한다. 여기에서는, 지연 시간이 지연 시간 Tb보다 작은 각 CCU(300)에 시간 Tb-Ts가 통지된다. 다음 스텝 S32에서는, 각 CCU(300)는 Tb-Ts 시간에 대응하는 영상 버퍼 크기를 산출한다. 다음 스텝 S34에서는, 각 CCU(300)는 스텝 S32에서 산출된 버퍼 크기를 각 CHU(200)에 지시한다. CHU(200)는 버퍼 크기에 기초하여 신호의 타이밍을 조정한다. 스텝 S32 이후에 처리를 종료한다. 그 후에, CHU(200)는 지시된 버퍼 크기에 기초하여 영상 신호를 축적하는 메모리 내에 버퍼를 생성하고, 신호의 타이밍을 조정한다. 이에 의해, 도 6에서 설명한 바와 같이, 지연 시간이 Ts였던 CCU(300)의 지연량은 메인 카메라의 기준 지연량 Tb와 일치되도록 조정된다. 스텝 S34 이후에 처리를 종료한다.
상술한 설명에서는, 지연량을 조정하는 영상 버퍼를 CHU(200)에 생성하지만, CCU(300)에 영상 버퍼를 생성할 수도 있다는 점에 주목한다. 또한, CHU(200)에서 지연 조정을 행할 경우에는, 버퍼에 의한 것이 아니라, PLL의 위상 조정에 의해서도 지연량을 구성할 수도 있다. 또한, 버퍼와 PLL의 위상 조정 양쪽을 사용하여 지연 조정하는 것도 가능하다.
상술한 바와 같이 본 실시예에 따르면, 비동기 전송망을 사용하여, 전송로의 간이화, 저비용화를 도모할 수 있고, 적은 배선으로 복잡한 카메라 시스템을 구축하는 것이 가능한 시스템에서, 각 CHU(200)로부터의 신호를 확실하게 동기시키는 것이 가능하다. 따라서, 각 CHU(200)에서 촬상된 영상을 전환할 때, 영상 신호 또는 음성 신호에 혼란이 발생하는 것을 확실하게 피할 수 있다. 또한, 비동기 전송망을 사용하여, 카메라 네트워크의 변경 자유도를 크게 할 수 있고, 버스 배선을 조정하여 배선의 자유도를 높이는 것이 가능하게 되어, 카메라 및 CCU의 교체의 자유도를 높일 수 있다. 또한, 수신처 어드레스(IP 어드레스)를 변경함으로써, 간단하게 카메라(CHU(200)) 및 CCU(300)의 교체가 가능하다.
이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 기술분야의 당업자라면, 특허청구범위 및 그 균등물의 범위 내에서, 각종 변형, 조합, 서브-조합 및 수정이 설계 요건 및 이외의 요소에 따라 발생할 수 있다는 점을 이해할 것이다.
600: 비동기 전송망
610: 스위치 허브
200: CHU
300: CCU
700: CNU
400: 영상 전환기
500: 표준 신호 발생기

Claims (22)

  1. 하나 이상의 신호 지연을 조정하는 방법으로서,
    각각의 카메라부들 및 각각의 카메라 제어부들과 관련된 영상 신호들의 지연량들을 취득하는 단계 - 상기 카메라부들은 비동기망을 통해 상기 카메라 제어부들 각각에 연결되어 있음 - ; 및
    하나 이상의 상기 지연량들을 조정하는 단계
    를 포함하는, 신호 지연 조정 방법.
  2. 제1항에 있어서,
    상기 지연량들 중 하나는 기준 지연량으로서 선택되고, 나머지 지연량들은 상기 기준 지연량에 따라 조정되는, 신호 지연 조정 방법.
  3. 제2항에 있어서,
    상기 나머지 지연량들은 상기 기준 지연량과 동일하게 되도록, 또는 n 프레임 기간이 플러스된 상기 기준 지연량과 동일하게 되도록 조정되고, 여기서, n은 1 이상의 양의 정수인, 신호 지연 조정 방법.
  4. 제3항에 있어서,
    각각의 나머지 지연량에 대하여, 상기 지연량이 상기 기준 지연량보다 큰지의 여부를 판정하는 단계;
    상기 지연량이 상기 기준 지연량보다 작은 경우, 상기 지연량을 상기 기준 지연량과 동일하게 되도록 조정하는 단계; 및
    상기 지연량이 상기 기준 지연량보다 큰 경우, 상기 지연량을 n 프레임 기간이 플러스된 상기 기준 지연량과 동일하게 되도록 조정하는 단계 - 여기서, n은 1 이상의 양의 정수임 -
    를 더 포함하는, 신호 지연 조정 방법.
  5. 제2항에 있어서,
    하나 이상의 상기 나머지 지연량들을 조정하는 단계는, 각각의 상기 나머지 지연량에 대하여, 최적의 지연을 판정하여 상기 최적의 지연에 따라 영상 버퍼를 설정하는 단계를 포함하는, 신호 지연 조정 방법.
  6. 제5항에 있어서,
    상기 최적의 지연을 판정하는 단계는 대응하는 상기 카메라 제어부에 의해 행해지는, 신호 지연 조정 방법.
  7. 제5항에 있어서,
    상기 최적의 지연을 판정하는 단계는 카메라 커맨드 네트워크부에 의해 행해지는, 신호 지연 조정 방법.
  8. 제5항에 있어서,
    상기 영상 버퍼를 설정하는 단계는 대응하는 상기 카메라부에 의해 행해지는, 신호 지연 조정 방법.
  9. 카메라 시스템으로서,
    복수의 카메라부; 및
    비동기망을 통해 상기 카메라부들 각각에 연결된 복수의 카메라 제어부
    를 포함하고,
    각각의 카메라부들과 각각의 카메라 제어부들과 관련된 영상 신호들의 지연량들을 취득하여 하나 이상의 상기 지연량들을 조정하도록 동작 가능한, 카메라 시스템.
  10. 제9항에 있어서,
    상기 지연량들 중 하나는 기준 지연량으로서 선택되고, 나머지 지연량들은 상기 기준 지연량에 따라 조정되는, 카메라 시스템.
  11. 제10항에 있어서,
    상기 나머지 지연량들은 상기 기준 지연량과 동일하게 되도록, 또는 n 프레임 기간이 플러스된 상기 기준 지연량과 동일하게 되도록 조정되고, 여기서, n은 1 이상의 양의 정수인, 카메라 시스템.
  12. 제11항에 있어서,
    각각의 나머지 지연량에 대하여, 상기 지연량이 상기 기준 지연량보다 큰지의 여부를 판정하고,
    상기 지연량이 상기 기준 지연량보다 작은 경우, 상기 지연량은 상기 기준 지연량과 동일하게 되도록 조정되고,
    상기 지연량이 상기 기준 지연량보다 큰 경우, 상기 지연량은 n 프레임 기간이 플러스된 상기 기준 지연량과 동일하게 되도록 조정 - 여기서, n은 1 이상의 양의 정수임 - 되는, 카메라 시스템.
  13. 제10항에 있어서,
    하나 이상의 상기 나머지 지연량들을 조정하는 것은, 각각의 상기 나머지 지연량에 대하여, 최적의 지연을 판정하여 상기 최적의 지연에 따라 영상 버퍼를 설정하는 것을 포함하는, 카메라 시스템.
  14. 제13항에 있어서,
    대응하는 상기 카메라 제어부에 의해 상기 최적의 지연의 판정이 행해지는, 카메라 시스템.
  15. 제13항에 있어서,
    카메라 커맨드 네트워크부를 더 포함하고,
    상기 카메라 커맨드 네트워크부에 의해 상기 최적의 지연의 판정이 행해지는, 카메라 시스템.
  16. 제12항에 있어서,
    대응하는 상기 카메라부에 의해 상기 영상 버퍼의 설정이 행해지는, 카메라 시스템.
  17. 카메라 제어부로서,
    비동기망을 통해 카메라부에 연결되어 있고, 상기 카메라 제어부와 상기 카메라부와 관련된 영상 신호의 지연량을 취득하여, 기준 지연량에 따라 상기 지연량을 조정하도록 동작가능한, 카메라 제어부.
  18. 제17항에 있어서,
    상기 지연량은 상기 기준 지연량과 동일하게 되도록, 또는 n 프레임 기간이 플러스된 상기 기준 지연량과 동일하게 되도록 조정되고, 여기서, n은 1 이상의 양의 정수인, 카메라 제어부.
  19. 제18항에 있어서,
    상기 지연량이 상기 기준 지연량보다 큰지의 여부를 판정하고,
    상기 지연량이 상기 기준 지연량보다 작은 경우, 상기 지연량은 상기 기준 지연량과 동일하게 되도록 조정되고,
    상기 지연량이 상기 기준 지연량보다 큰 경우, 상기 지연량은 n 프레임 기간이 플러스된 상기 기준 지연량과 동일하게 되도록 조정되고, 여기서, n은 1 이상의 양의 정수인, 카메라 제어부.
  20. 제17항에 있어서,
    상기 지연량의 조정은, 최적의 지연을 판정하여 상기 최적의 지연에 따라 영상 버퍼를 설정하는 것을 포함하는, 카메라 제어부.
  21. 제20항에 있어서,
    상기 카메라 제어부는 상기 최적의 지연을 판정하는, 카메라 제어부.
  22. 제20항에 있어서,
    상기 카메라 제어부는 상기 영상 버퍼를 설정하는, 카메라 제어부.
KR1020117027785A 2010-03-31 2011-03-24 카메라 시스템, 신호 지연량 조정 방법 및 프로그램 KR20130051859A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010082341A JP2011217062A (ja) 2010-03-31 2010-03-31 カメラシステム、信号遅延量調整方法及びプログラム
JPJP-P-2010-082341 2010-03-31
PCT/JP2011/001743 WO2011121952A1 (en) 2010-03-31 2011-03-24 Camera system, signal delay amount adjusting method and program

Publications (1)

Publication Number Publication Date
KR20130051859A true KR20130051859A (ko) 2013-05-21

Family

ID=44711719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117027785A KR20130051859A (ko) 2010-03-31 2011-03-24 카메라 시스템, 신호 지연량 조정 방법 및 프로그램

Country Status (9)

Country Link
US (1) US9032459B2 (ko)
EP (1) EP2417762A4 (ko)
JP (1) JP2011217062A (ko)
KR (1) KR20130051859A (ko)
CN (1) CN102439964A (ko)
BR (1) BRPI1105781A2 (ko)
RU (1) RU2011147710A (ko)
TW (1) TW201215120A (ko)
WO (1) WO2011121952A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
JP5697494B2 (ja) * 2011-03-09 2015-04-08 日立マクセル株式会社 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2013150152A (ja) 2012-01-19 2013-08-01 Sony Corp 情報処理装置、情報処理方法、及び情報処理システム
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP5855538B2 (ja) * 2012-06-28 2016-02-09 カシオ計算機株式会社 撮像装置、撮像システム、撮像方法及びプログラム
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN103491302A (zh) * 2013-09-18 2014-01-01 潍坊歌尔电子有限公司 一种智能电视摄像头调整控制系统及方法
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US20180316844A1 (en) * 2017-05-01 2018-11-01 The United States of America, as represented by the Secretary of the Department of the Interior System for 3-d mapping and measurement of fluid surface in dynamic motion
CN106970611B (zh) * 2017-05-09 2019-04-09 合肥工业大学 网络化控制系统采样周期优化控制方法
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03261992A (ja) * 1990-03-13 1991-11-21 Fujitsu Ltd 画像合成方式
JPH05207460A (ja) 1992-01-30 1993-08-13 Hitachi Ltd 画像信号の多重化伝送装置及びシステム
JPH09238277A (ja) 1996-02-28 1997-09-09 Sony Corp カメラ制御装置
JP3261992B2 (ja) 1996-09-11 2002-03-04 王子製紙株式会社 インクジェット記録媒体
JP3847896B2 (ja) * 1997-05-15 2006-11-22 キヤノン株式会社 画像送受信システムおよび画像受信装置
US7576770B2 (en) 2003-02-11 2009-08-18 Raymond Metzger System for a plurality of video cameras disposed on a common network
US6954859B1 (en) * 1999-10-08 2005-10-11 Axcess, Inc. Networked digital security system and methods
JP2001359056A (ja) * 2000-06-15 2001-12-26 Nec Microsystems Ltd 映像伝送装置
JP2003052056A (ja) * 2001-08-07 2003-02-21 Nippon Hoso Kyokai <Nhk> 映像タイミング差検出方法、映像補正方法、映像タイミング差検出装置、映像補正装置及びそれらを用いた記録再生装置、受像機
JP3852320B2 (ja) * 2001-10-22 2006-11-29 ソニー株式会社 通信方法、無線送信装置、無線受信装置および通信システム
GB2385684A (en) 2002-02-22 2003-08-27 Sony Uk Ltd Frequency synchronisation of clocks
AU2003234535B2 (en) * 2002-05-15 2010-03-25 U.S. Government, As Represented By The Secretary Of The Army System and method for handling medical information
EP1450555A1 (en) 2003-02-18 2004-08-25 Thomson Licensing S.A. Video device and method for synchronising time bases of video devices
GB2400255A (en) 2003-03-31 2004-10-06 Sony Uk Ltd Video synchronisation
JP4101780B2 (ja) * 2004-03-22 2008-06-18 株式会社日立国際電気 信号伝送方法および信号伝送装置
CN1725644A (zh) * 2004-07-23 2006-01-25 上海乐金广电电子有限公司 相机同步锁定的同步信号相位变化装置
JP2006217326A (ja) * 2005-02-04 2006-08-17 Matsushita Electric Ind Co Ltd ネットワークカメラシステムおよびカメラ装置並びに画像同期方法
JP4501758B2 (ja) * 2005-04-15 2010-07-14 ソニー株式会社 マルチカメラシステムおよび撮像装置、並びに、撮像制御方法および撮像方法
FR2898452A1 (fr) 2006-03-13 2007-09-14 Thomson Licensing Sas Procede de generation d'un double descripteur temporel pour la transmission d'un signal genlock sur un reseau ip
JP4738251B2 (ja) * 2006-05-19 2011-08-03 株式会社日立国際電気 同期自動調整装置
US7839897B2 (en) * 2006-09-29 2010-11-23 Agere Systems Inc. Methods and apparatus for unidirectional timing message transport over packet networks
US7456696B2 (en) * 2006-10-27 2008-11-25 Aten International Co., Ltd. Circuit and method of compensating for signal delay in a cable
JP4623118B2 (ja) * 2008-03-28 2011-02-02 ソニー株式会社 ゲートウェイ装置、通信方法及びプログラム
EP2114053A1 (en) * 2008-04-30 2009-11-04 THOMSON Licensing Delivery delay compensation on synchronised communication devices in a packet switched network
JP2010021935A (ja) * 2008-07-14 2010-01-28 Sharp Corp 携帯端末装置
JP5229466B2 (ja) * 2008-09-02 2013-07-03 ソニー株式会社 立体映像表示システム及び立体映像表示方法
US8594197B2 (en) * 2010-02-02 2013-11-26 Nice Systems Ltd. System and method for relative storage of video data

Also Published As

Publication number Publication date
WO2011121952A1 (en) 2011-10-06
TW201215120A (en) 2012-04-01
BRPI1105781A2 (pt) 2016-05-03
EP2417762A4 (en) 2013-10-16
RU2011147710A (ru) 2013-05-27
US9032459B2 (en) 2015-05-12
EP2417762A1 (en) 2012-02-15
US20120062755A1 (en) 2012-03-15
JP2011217062A (ja) 2011-10-27
CN102439964A (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
KR20130051859A (ko) 카메라 시스템, 신호 지연량 조정 방법 및 프로그램
WO2010089962A1 (ja) ストリーム信号伝送装置及び伝送方法
US8810668B2 (en) Camera system, video selection apparatus and video selection method
EP2433422B1 (en) Camera system, signal delay amount adjusting method and program
US10200633B2 (en) Camera system, video selection apparatus and video selection method
US9723193B2 (en) Transmitting device, receiving system, communication system, transmission method, reception method, and program
US8547995B2 (en) High definition video/audio data over IP networks
US8937973B2 (en) Transmitting device, receiving device, communication system, transmission method, reception method, and program
EP1863213A1 (en) Duplicate transmission path switching device
JP2008193405A (ja) 伝送システム、送信側装置、受信側装置、これらの動作方法、及びデジタル放送システム
JP4327755B2 (ja) デジタル放送信号切替送出装置
US9703746B2 (en) Headend with redundancy, and an associated method
US20220360845A1 (en) Reception apparatus, reception method, and transmission and reception system
JP2007312223A (ja) 同期自動調整装置
JP6618783B2 (ja) パケット多重伝送装置、パケット多重伝送方法およびシステム
JP4718499B2 (ja) 音声伝送装置及び音声伝送方法
JP2020096296A (ja) 出力装置、処理装置、管理装置、制御方法、プログラム、並びに記録媒体
JP2001016554A (ja) 映像伝送方法およびその装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid