KR101969081B1 - Image apparatus and synchronization method of image apparatus - Google Patents

Image apparatus and synchronization method of image apparatus Download PDF

Info

Publication number
KR101969081B1
KR101969081B1 KR1020170150495A KR20170150495A KR101969081B1 KR 101969081 B1 KR101969081 B1 KR 101969081B1 KR 1020170150495 A KR1020170150495 A KR 1020170150495A KR 20170150495 A KR20170150495 A KR 20170150495A KR 101969081 B1 KR101969081 B1 KR 101969081B1
Authority
KR
South Korea
Prior art keywords
time
video
imaging
information
master
Prior art date
Application number
KR1020170150495A
Other languages
Korean (ko)
Inventor
김영휘
차승훈
이정진
위대현
정승화
황준엽
한성규
이주연
Original Assignee
주식회사 카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카이 filed Critical 주식회사 카이
Priority to KR1020170150495A priority Critical patent/KR101969081B1/en
Application granted granted Critical
Publication of KR101969081B1 publication Critical patent/KR101969081B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Abstract

According to an embodiment of the present invention, a synchronization method and a synchronization apparatus of an image apparatus are provided. The synchronization method comprises the steps of: exchanging time information with a master image apparatus included in an apparatus group in a wireless network; calculating time offsets between the master image apparatus and the image apparatus based on the time information; and synchronizing, to the master image apparatus, synchronization information generated based on a sampling parameter for extracting sampling data from the time offsets and a filtering parameter for determining whether the sampling data are outliers.

Description

영상 장치 및 영상 장치의 동기화 방법{IMAGE APPARATUS AND SYNCHRONIZATION METHOD OF IMAGE APPARATUS}[0001] IMAGE APPARATUS AND SYNCHRONIZATION METHOD OF IMAGE APPARATUS [0002]
아래 실시예들은 영상 장치 및 영상 장치의 동기화 방법에 관한 것이다.The following embodiments relate to a method of synchronizing a video device and a video device.
영화관, 전시관 또는 박물관 등에서 멀티 스크린 장치들 또는 멀티 프로젝터들과 같이 다수의 디스플레이 장치들을 이용하여 대화면 영상을 제공할 수 있다. 이와 같이 하나의 대화면 영상을 제공하기 위해 다수의 디스플레이 장치들을 이용하는 경우, 다수의 디스플레이 장치들 각각에 의한 화면 배치, 재생할 컨텐츠의 결정, 및 컨텐츠의 재생 시간 등의 관리가 용이하지 않다. 또한, 다수의 디스플레이 장치들 각각에 의해 재생되는 컨텐츠의 영역을 설정하는 캘리브레이션(calibration), 다수 개의 디스플레이 장치들에 의해 제공되는 대화면 영상이 보다 자연스럽게 표현되도록 하기 위한 동작, 및 다수의 디스플레이 장치들에 의해 재생되는 영상들 간의 동기화를 위한 복잡한 연산 등이 요구된다.It is possible to provide a large screen image using a plurality of display devices such as multi-screen devices or multi-projectors in a movie theater, an exhibition hall or a museum. When a plurality of display devices are used to provide a single large-screen image, it is not easy to arrange the screen by each of the plurality of display devices, determine the content to be reproduced, and manage the reproduction time of the content. In addition, it is also possible to perform calibration for setting an area of contents to be reproduced by each of the plurality of display devices, operation for causing a larger-sized image provided by the plurality of display devices to be displayed more naturally, A complicated operation for synchronizing images reproduced by the user is required.
일 측에 따른 영상 장치의 동기화 방법은 무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 단계; 상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하는 단계; 상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하는 단계; 및 상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 단계를 포함한다. A method of synchronizing a video device according to one side comprises: exchanging time information with a master video device included in a device group in a wireless network; Calculating time offsets between the master video device and the video device based on the time information; Generating synchronization information based on a sampling parameter for extracting sampling data from the time offsets and a filtering parameter for determining whether the sampling data is an outlier; And synchronizing to the master imaging device using the synchronization information.
상기 동기화 정보를 생성하는 단계는 상기 타임 오프셋들을 RANSAC(Random Sample Consensus) 모델 에 입력함으로써, 상기 타임 오프셋들 중 아웃라이어가 필터링된 샘플링 데이터를 획득하는 단계; 및 상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하는 단계를 포함할 수 있다. Wherein generating the synchronization information comprises: inputting the time offsets to a Random Sample Consensus (RANSAC) model, wherein the outliers of the time offsets obtain filtered sampled data; And determining the synchronization information based on the obtained sampling data.
상기 필터링 파라미터는 상기 아웃라이어가 필터링된 샘플링 데이터의 표준 편차에 기초하여 결정될 수 있다. The filtering parameter may be determined based on a standard deviation of the sampled data filtered by the outlier.
상기 샘플링 파라미터(k)는 아래의 [수학식]에 의하여 결정될 수 있다. The sampling parameter k may be determined by the following equation.
[수학식][Mathematical Expression]
Figure 112017112301112-pat00001
Figure 112017112301112-pat00001
(여기서, p는 상기 아웃라이어가 필터링된 샘플링 데이터에서 상기 샘플링 데이터가 추출될 확률을 나타내고, α는 상기 타임 오프셋들 중에서 상기 아웃라이어가 필터링된 샘플링 데이터의 비율을 나타냄) Where p represents the probability that the outlier will extract the sampled data from the filtered sampled data and a represents the percentage of sampled data filtered outliers among the time offsets,
상기 시간 정보는 SNTP(Simple Network Time Protocol) 패킷을 이용하여 교환될 수 있다. The time information may be exchanged using a Simple Network Time Protocol (SNTP) packet.
상기 시간 정보는 제1 패킷을 제1 시간에 상기 마스터 영상 장치에게 전송하는 상기 영상 장치 측의 제1 타임 스탬프, 상기 영상 장치로부터 상기 제1 시간에 전송된 패킷을 제2 시간에 수신하는 상기 마스터 영상 장치 측의 제2 타임 스탬프, 및 제2 패킷을 상기 제2 시간으로부터 소정의 딜레이 이후인 제3 시간에 상기 영상 장치로 전송하는 상기 마스터 영상 장치 측의 제3 타임 스탬프를 포함할 수 있다. Wherein the time information comprises a first time stamp on the side of the imaging device that transmits a first packet to the master imaging device at a first time, a second time stamp on the side of the master that receives a packet transmitted at the first time from the imaging device, A second time stamp on the side of the video apparatus and a third time stamp on the side of the master video apparatus for transmitting the second packet to the video apparatus at a third time after the predetermined delay from the second time.
상기 제1 패킷은 상기 제1 타임 스탬프를 포함하고, 상기 제2 패킷은 상기 제1 타임 스탬프, 상기 제2 타임 스탬프, 및 상기 제3 타임 스탬프를 포함할 수 있다.The first packet may include the first timestamp, and the second packet may include the first timestamp, the second timestamp, and the third timestamp.
상기 타임 오프셋들을 산출하는 단계는 상기 시간 정보, 및 상기 마스터 영상 장치로부터 상기 제3 시간에 전송된 제2 패킷을 제4 시간에 수신하는 상기 영상 장치 측의 제4 타임 스탬프에 기초하여 상기 타임 오프셋들을 산출하는 단계를 포함할 수 있다. Wherein the step of calculating the time offsets is based on the time information and a fourth time stamp on the side of the imaging device receiving the second packet transmitted at the third time from the master imaging device at a fourth time, And a step of calculating the number of steps.
상기 아웃라이어가 필터링된 샘플링 데이터를 획득하는 단계는 상기 타임 오프셋들로부터 상기 샘플링 데이터를 추출하는 단계; 상기 샘플링 데이터의 통계값 에 기초하여 기준 모델(criteria model) 을 결정하는 단계; 및 상기 샘플링 데이터와 상기 기준 모델 간의 차이와 상기 필터링 파라미터를 비교함으로써 상기 아웃라이어를 제거하는 단계를 포함할 수 있다. Wherein the step of obtaining the filtered sampling data by the outlier includes: extracting the sampling data from the time offsets; Determining a criterion model based on a statistical value of the sampling data; And removing the outlier by comparing the filtering parameter with a difference between the sampling data and the reference model.
상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하는 단계는 상기 샘플링 파라미터에 대응하여, 상기 아웃라이어가 제거된 복수의 샘플링 데이터들을 획득하는 단계; 상기 복수의 샘플링 데이터들 중 하나의 샘플링 데이터를 선택하는 단계; 상기 선택된 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 낮은지 여부에 기초하여, 상기 샘플링 데이터의 표준 편차를 산출하는 단계; 가장 낮은 표준 편차를 가지는 샘플링 데이터를 선택하는 단계; 상기 선택된 샘플링 데이터의 평균을 산출하는 단계; 및 상기 선택된 샘플링 데이터의 평균을 상기 동기화 정보로 설정하는 단계를 포함할 수 있다. Determining the synchronization information based on the obtained sampling data includes obtaining a plurality of sampling data from which the outlier is removed, corresponding to the sampling parameter; Selecting one of the plurality of sampling data; Calculating a standard deviation of the sampling data based on whether a ratio of the outliers removed from the selected sampling data is lower than a threshold value; Selecting sampling data having the lowest standard deviation; Calculating an average of the selected sampling data; And setting an average of the selected sampling data as the synchronization information.
상기 영상 장치의 동기화 방법은 상기 시간 정보에 대한 유효성을 검사하는 단계를 더 포함하고, 상기 타임 오프셋들을 산출하는 단계는 상기 유효성 검사를 통과한 시간 정보에 기초하여 상기 타임 오프셋들을 산출하는 단계를 포함할 수 있다.Wherein the synchronization method of the video apparatus further includes checking validity of the time information, and the step of calculating the time offsets includes calculating the time offsets based on time information passed the validation check can do.
일 측에 따른 영상 장치는 무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 통신 인터페이스; 및 상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하고, 상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하며, 상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 프로세서를 포함한다. A video device according to one side includes a communication interface for exchanging time information with a master video device included in a device group in a wireless network; And calculating time offsets between the master imaging device and the imaging device based on the time information, sampling parameters for extracting sampling data from the time offsets, and determining whether the sampling data is an outlier And generating synchronization information based on the filtering parameters to synchronize the synchronization information with the master imaging device using the synchronization information.
상기 프로세서는 상기 타임 오프셋들을 RANSAC 모델에 입력함으로써, 상기 타임 오프셋들 중 상기 아웃라이어가 필터링된 샘플링 데이터를 획득하고, 상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정할 수 있다. The processor may input the time offsets into a RANSAC model so that the outliers of the time offsets obtain filtered sampled data and determine the synchronization information based on the sampled data.
상기 필터링 파라미터는 상기 아웃라이어가 필터링된 샘플링 데이터의 표준 편차에 기초하여 결정될 수 있다. The filtering parameter may be determined based on a standard deviation of the sampled data filtered by the outlier.
상기 샘플링 파라미터(k)는 아래의 [수학식]에 의하여 결정될 수 있다. The sampling parameter k may be determined by the following equation.
[수학식][Mathematical Expression]
Figure 112017112301112-pat00002
Figure 112017112301112-pat00002
(여기서, p는 상기 아웃라이어가 필터링된 샘플링 데이터에서 상기 샘플링 데이터가 추출될 확률을 나타내고, α는 상기 타임 오프셋들 중에서 상기 아웃라이어가 필터링된 샘플링 데이터의 비율을 나타냄) Where p represents the probability that the outlier will extract the sampled data from the filtered sampled data and a represents the percentage of sampled data filtered outliers among the time offsets,
상기 시간 정보는 제1 패킷을 제1 시간에 상기 마스터 영상 장치에게 전송하는 상기 영상 장치 측의 제1 타임 스탬프, 상기 영상 장치로부터 상기 제1 시간에 전송된 패킷을 제2 시간에 수신하는 상기 마스터 영상 장치 측의 제2 타임 스탬프, 및 제2 패킷을 상기 제2 시간으로부터 소정의 딜레이 이후인 제3 시간에 상기 영상 장치로 전송하는 상기 마스터 영상 장치 측의 제3 타임 스탬프를 포함하며, 상기 제1 패킷은 상기 제1 타임 스탬프를 포함하고, 상기 제2 패킷은 상기 제1 타임 스탬프, 상기 제2 타임 스탬프, 및 상기 제3 타임 스탬프를 포함할 수 있다. Wherein the time information comprises a first time stamp on the side of the imaging device that transmits a first packet to the master imaging device at a first time, a second time stamp on the side of the master that receives a packet transmitted at the first time from the imaging device, And a third time stamp on the side of the master video apparatus for transmitting a second packet from the second time to the video apparatus at a third time after a predetermined delay, One packet may comprise the first timestamp, and the second packet may comprise the first timestamp, the second timestamp, and the third timestamp.
상기 프로세서는 상기 시간 정보, 및 상기 마스터 영상 장치로부터 상기 제3 시간에 전송된 제2 패킷을 제4 시간에 수신하는 상기 영상 장치 측의 제4 타임 스탬프에 기초하여 상기 타임 오프셋들을 산출할 수 있다.The processor may calculate the time offsets based on the time information and a fourth timestamp on the side of the imaging device receiving the second packet transmitted at the third time from the master imaging device at a fourth time .
상기 프로세서는 상기 타임 오프셋들로부터 상기 샘플링 데이터를 추출하고, 상기 샘플링 데이터의 통계값에 기초하여 기준 모델을 결정하며, 상기 샘플링 데이터와 상기 기준 모델 간의 차이와 상기 필터링 파라미터를 비교함으로써 상기 아웃라이어를 제거할 수 있다. Wherein the processor extracts the sampling data from the time offsets, determines a reference model based on the statistical values of the sampling data, and compares the filtering parameters with a difference between the sampling data and the reference model, Can be removed.
상기 프로세서는 상기 샘플링 파라미터에 대응하여, 상기 아웃라이어가 제거된 복수의 샘플링 데이터들을 획득하고, 상기 복수의 샘플링 데이터들 중 선택된 하나의 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 낮은지 여부에 기초하여, 상기 샘플링 데이터의 표준 편차를 산출하고, 가장 낮은 표준 편차를 가지는 샘플링 데이터를 선택하고, 상기 선택된 샘플링 데이터의 평균을 상기 동기화 정보로 설정할 수 있다.Wherein the processor obtains a plurality of sampling data from which the outlier has been removed corresponding to the sampling parameter and determines whether the ratio of the outliers removed from the selected one of the plurality of sampling data is lower than a threshold value The standard deviation of the sampling data may be calculated, the sampling data having the lowest standard deviation may be selected, and the average of the selected sampling data may be set as the synchronization information.
도 1은 일 실시예에 따른 영상 장치의 동작 방법이 수행되는 시스템의 구성을 설명하기 위한 도면.
도 2는 일 실시예에 따른 영상 장치의 동작 방법을 나타낸 흐름도.
도 3은 일 실시예에 따른 영상 장치의 초기화 방법을 나타낸 흐름도.
도 4는 다른 실시예에 따른 영상 장치의 동작 방법을 나타낸 흐름도.
도 5는 일 실시예에 따른 모바일 디바이스의 동작 방법을 나타낸 흐름도.
도 6은 일 실시예에 따른 영상 장치의 영상 재생 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 영상 장치의 영상 재생 방법을 나타낸 흐름도.
도 8은 일 실시예에 따라 마스크를 생성하는 방법을 설명하기 위한 도면.
도 9 내지 도 10은 일 실시예에 따라 참조 텍스쳐를 결정하는 방법을 설명하기 위한 도면.
도 11은 일 실시예에 따른 영상 장치의 동기화 방법을 나타낸 흐름도.
도 12는 일 실시예에 따른 어느 하나의 슬레이브 영상 장치와 마스터 영상 장치 간에 주고 받는 시간 정보를 설명하기 위한 도면.
도 13은 일 실시예에 따라 동기화 정보를 생성하는 방법을 나타낸 흐름도.
도 14는 일 실시예에 따라 아웃라이어가 필터링된 샘플링 데이터를 획득하는 방법을 나타낸 흐름도.
도 15는 일 실시예에 따라 동기화 정보를 결정하는 방법을 나타낸 흐름도.
도 16은 일 실시예에 따라 SNTP(Simple Network Time Protocol) 패킷을 통해 얻어진 시간 정보를 RANSAC 모델에 적용시키는 과정을 나타낸 수도 코드(pseudo code)를 도시한 도면.
도 17은 일 실시예에 따른 영상 장치의 블록도.
1 is a diagram for explaining a configuration of a system in which an operation method of a video apparatus according to an embodiment is performed;
2 is a flowchart illustrating an operation method of a video apparatus according to an exemplary embodiment;
3 is a flowchart illustrating a method of initializing a video device according to an exemplary embodiment.
4 is a flowchart illustrating an operation method of a video apparatus according to another embodiment;
5 is a flow diagram illustrating a method of operation of a mobile device in accordance with one embodiment.
FIG. 6 is a diagram for explaining a video reproducing method of a video apparatus according to an embodiment; FIG.
7 is a flowchart illustrating a method of reproducing an image of a video apparatus according to an exemplary embodiment.
8 is a view for explaining a method of generating a mask according to an embodiment;
9-10 illustrate a method for determining a reference texture in accordance with one embodiment.
11 is a flowchart illustrating a method of synchronizing a video apparatus according to an exemplary embodiment.
12 is a view for explaining time information exchanged between a slave image device and a master image device according to an exemplary embodiment;
13 is a flow diagram illustrating a method for generating synchronization information in accordance with one embodiment.
14 is a flow diagram illustrating a method for an outlier to obtain filtered sampling data in accordance with one embodiment;
15 is a flow diagram illustrating a method for determining synchronization information in accordance with one embodiment.
FIG. 16 is a diagram illustrating a pseudo code illustrating a process of applying time information obtained through a Simple Network Time Protocol (SNTP) packet to a RANSAC model according to an exemplary embodiment; FIG.
17 is a block diagram of a video device according to one embodiment.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.It is to be understood that the specific structural or functional descriptions disclosed herein may be implemented by way of example only, and that the embodiments may be embodied in various other forms and are not limited to the embodiments described herein It does not.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second may be used to describe various components, but such terms should be understood only for the purpose of distinguishing one component from another. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms " comprises ", or " having ", and the like, are used to specify one or more of the features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.
도 1은 일 실시예에 따른 영상 장치의 동작 방법이 수행되는 시스템의 구성을 설명하기 위한 도면이다. 도 1을 참조하면, 일 실시예에 따른 시스템(100)은 서버(110), 모바일 디바이스(130), 디스플레이 장치들(151, 153, 155, 157), 및 영상 장치들(171, 173, 175, 177)을 포함할 수 있다. FIG. 1 is a diagram for explaining a configuration of a system in which an operation method of a video apparatus according to an embodiment is performed. 1, a system 100 according to one embodiment includes a server 110, a mobile device 130, display devices 151, 153, 155, 157, and video devices 171, 173, 175 , 177).
서버(110)는 영상 장치들(171, 173, 175, 177)을 등록하고, 웹을 통해 관리 및/또는 제어할 수 있다. 서버(110)는 영상 장치들(171, 173, 175, 177)이 어떤 사용자의 것이고, 어떤 그룹에 속하며, 어떤 컨텐츠를 언제 어디에서 재생할 것인지 등과 같은 정보를 관리할 수 있다. The server 110 registers the video devices 171, 173, 175, and 177 and can manage and / or control the video devices 171, 173, 175, and 177 through the web. The server 110 can manage information such as which user's video devices 171, 173, 175, and 177 belong to, which group belongs, what content and when and where to play it.
서버(110)는 웹 서버(web server)일 수 있다. 또는 서버(110)는 예를 들어, 단일의 서버 컴퓨터 또는 이와 유사한 시스템이거나, 또는 하나 이상의 서버 뱅크들(server banks) 또는 그 외 다른 배열들로 배열되는 복수의 서버들일 수 있다. 서버(110)는 단일 시설에 놓일 수도 있고, 혹은 많은 서로 다른 지리적 위치들 간에 분산된 서버 "클라우드(cloud)"일 수도 있다.The server 110 may be a web server. Or the server 110 may be, for example, a single server computer or similar system, or a plurality of servers arranged in one or more server banks or other arrangements. The server 110 may be located in a single facility, or it may be a server " cloud " distributed across many different geographic locations.
모바일 디바이스(130)는 영상 장치들(171, 173, 175, 177)과 연동하여 영상 장치들(171, 173, 175, 177)을 제어할 수 있다. 예를 들어, 모바일 디바이스(130)는 영상 장치들(171, 173, 175, 177) 중 적어도 하나의 설정을 변경하거나, 동작을 제어할 수 있다.The mobile device 130 may control the video devices 171, 173, 175, and 177 in cooperation with the video devices 171, 173, 175, and 177. For example, the mobile device 130 may change the settings of at least one of the imaging devices 171, 173, 175, and 177, or may control the operation.
모바일 디바이스(130)는 예를 들어, 영상 장치들(171, 173, 175, 177)을 통해 디스플레이 장치들(151, 153, 155, 157)에서 재생할 컨텐츠 및/또는 컨텐츠를 재생할 시간 등을 사용자(135)로부터 입력받을 수 있다. 컨텐츠는 예를 들어, 멀티미디어 컨텐츠, 다면 컨텐츠, 동영상 컨텐츠, 스트리밍 컨텐츠, 게임 컨텐츠 및 텍스트 등을 포함할 수 있다. The mobile device 130 may display the time and / or the time to play content and / or content to be played on the display devices 151, 153, 155, and 157 via the video devices 171, 135, respectively. The content may include, for example, multimedia content, multi-page content, video content, streaming content, game content, and text.
모바일 디바이스(130)는 영상 장치들(171, 173, 175, 177)을 통해 디스플레이 장치들(151, 153, 155, 157) 각각을 제어하여 설정된 시간대에 디스플레이 장치들(151, 153, 155, 157)를 켜거나 끌 수 있다. 디스플레이 장치들(151, 153, 155, 157)은 예를 들어, 멀티 스크린 장치들 또는 멀티 프로젝터들일 수 있다. The mobile device 130 controls each of the display devices 151, 153, 155, and 157 through the video devices 171, 173, 175, and 177 so that the display devices 151, 153, 155, ) Can be turned on or off. The display devices 151, 153, 155, 157 may be, for example, multi-screen devices or multi-projectors.
영상 장치들(171, 173, 175, 177)은 예를 들어, 소형 스틱 디바이스의 형태로 구현될 수 있다. 영상 장치들(171, 173, 175, 177)은 예를 들어, 디스플레이 장치들(151, 153, 155, 157) 각각의 HDMI(High Definition Multimedia Interface) 포트, 또는 USB(Universal Serial Bus) 포트에 결합될 수 있다. 영상 장치들(171, 173, 175, 177) 각각은 결"W된 디스플레이 장치들(151, 153, 155, 157) 각각으로부터 전원을 공급받아 동작할 수 있다.The imaging devices 171, 173, 175, and 177 may be implemented in the form of a small stick device, for example. The video devices 171, 173, 175 and 177 are connected to an HDMI (High Definition Multimedia Interface) port or a USB (Universal Serial Bus) port of each of the display devices 151, 153, 155 and 157, . Each of the video apparatuses 171, 173, 175, and 177 can be operated by receiving power from each of the display apparatuses 151, 153, 155, and 157.
영상 장치들(171, 173, 175, 177)은 예를 들어, 와이파이(Wi-Fi), IEEE 802.11 무선 근거리 통신망(WLAN) 등과 같은 무선 네트워크를 통해 서로 통신하여 동기화된 컨텐츠를 재생할 수 있다. The video devices 171, 173, 175, and 177 may communicate with each other through a wireless network, such as Wi-Fi, IEEE 802.11 wireless local area network (WLAN)
영상 장치들(171, 173, 175, 177)은 예를 들어, 동영상 파일 뿐만 아니라, 유튜브와 같은 스트리밍 서비스를 통한 동영상 스트림, 게임 콘텐츠 역시 동기화하여 디스플레이 장치들(151, 153, 155, 157)을 통해 재생할 수 있다.The video apparatuses 171, 173, 175, and 177 synchronize not only the video file but also a video stream and a game content through a streaming service such as YouTube to display apparatuses 151, 153, 155, and 157 Can be reproduced through.
영상 장치들(171, 173, 175, 177)을 사용하려는 사용자(135)는 예를 들어, 서버(110)가 제공하는 웹(Web) 상에 자신의 계정을 만든 후, 영상 장치들(171, 173, 175, 177)을 디스플레이 장치들(151, 153, 155, 157)에 연결(또는 결합)하여 디바이스 등록 절차를 진행할 수 있다. The user 135 who wants to use the video devices 171, 173, 175 and 177 creates his or her account on the web provided by the server 110, 173, 175, and 177 may be connected to (or coupled to) the display devices 151, 153, 155, and 157 to proceed with the device registration procedure.
사용자(135)는 예를 들어, 모바일 앱에 로그인한 후 영상 장치들(171, 173, 175, 177)을 선택하여 하나의 대화면을 재생하는 장치 그룹을 생성할 수 있다. The user 135 may create a device group for playing back one large screen by selecting the video devices 171, 173, 175, and 177, for example, after logging into the mobile app.
디스플레이 장치들(151, 153, 155, 157) 각각에 영상 장치들(171, 173, 175, 177)이 연결되어 전원이 공급되면, 영상 장치(들)(171, 173, 175, 177)은 초기화가 필요한지 여부를 판단하고, 초기화가 필요하다면, 핫 스팟 호스트로 동작하여 모바일 디바이스(130)로부터 접속을 위한 정보(예를 들어, 액세스 포인트(Access Point; AP) 정보)를 획득할 수 있다. 171, 173, 175, and 177 are connected to the display devices 151, 153, 155, and 157 to supply power to the video devices (s) 171, 173, (E.g., access point (AP) information) from the mobile device 130, if the initialization is necessary.
영상 장치(들)(171, 173, 175, 177) 각각에는 장치 식별자가 부여될 수 있다. 장치 식별자는 장치 그룹 내로 UDP(User Datagram Protocol)를 통해 브로드캐스팅(broadcasting)될 수 있다. 예를 들어, 영상 장치들(171, 173, 175, 177) 각각에 포함된 HostAP 모듈이 자동으로 작동하여 해당 영상 장치들(171, 173, 175, 177) 고유의 와이파이 SSID(Service Set Identifier; 서비스 세트 식별자)를 브로드캐스팅할 수 있다. SSID는 무선 랜을 통해 전송되는 모든 패킷의 헤더에 존재하는 고유 식별자이다. Each of the video device (s) 171, 173, 175, and 177 may be assigned a device identifier. The device identifier may be broadcast into a device group via UDP (User Datagram Protocol). For example, the HostAP module included in each of the video devices 171, 173, 175, and 177 automatically operates to provide a Wi-Fi SSID (Service Set Identifier) service unique to the video devices 171, 173, Set identifier). The SSID is a unique identifier that exists in the header of every packet transmitted through the wireless LAN.
모바일 디바이스(130)는 고유의 SSID로 호스팅되는 각 영상 장치(들)(171, 173, 175, 177)에 접속할 수 있다. 모바일 디바이스(130)는 영상 장치(들)(171, 173, 175, 177)에게 접속할 액세스 포인트(AP)의 주소를 전달할 수 있다. 영상 장치(들)(171, 173, 175, 177)은 액세스 포인트에 접속하고, 모바일 디바이스(130)도 동일한 액세스 포인트에 접속할 수 있다. 사용자(135)는 모바일 디바이스(130)를 통하여, 공통 액세스 포인트에 접속한 영상 장치들의 목록을 확인할 수 있으며, 장치 그룹에 포함된 영상 장치들을 선택할 수 있다. 모바일 디바이스(130)는 설정된 장치 그룹에 관한 정보를 서버(110)에게 자동으로 전송함으로써 등록 절차가 완료될 수 있다. The mobile device 130 may connect to each imaging device (s) 171, 173, 175, 177 hosted with a unique SSID. The mobile device 130 may communicate the address of the access point (AP) to access the imaging device (s) 171, 173, 175, The video device (s) 171, 173, 175, 177 connect to the access point and the mobile device 130 can also connect to the same access point. The user 135 can view the list of video devices connected to the common access point through the mobile device 130 and can select the video devices included in the device group. The mobile device 130 can automatically complete the registration procedure by sending the information about the set device group to the server 110 automatically.
또한, 사용자(135)는 웹 또는 모바일 앱 등을 통하여 컨텐츠를 관리하고, 컨텐츠의 재생 조건을 구성 및/또는 조작할 수 있다. 사용자(135)는 서버(110)를 통해 제공되는 웹 페이지 또는 모바일 디바이스(130)를 통해 영상 장치들(171, 173, 175, 177) 및/또는 디스플레이 장치들(151, 153, 155, 157)를 제어할 수 있다. 사용자(135)는 컨텐츠의 재생이 완료된 경우, 영상 장치들(171, 173, 175, 177) 및/또는 디스플레이 장치들(151, 153, 155, 157)의 전원을 차단할 수 있다. 사용자(135)가 다시 컨텐츠의 재생을 원하는 경우, 영상 장치들(171, 173, 175, 177) 및/또는 디스플레이 장치들(151, 153, 155, 157)을 원격으로 구동할 수 있다.In addition, the user 135 can manage content through a web or mobile application, and can configure and / or manipulate playback conditions of the content. The user 135 is connected to the video devices 171, 173, 175, 177 and / or the display devices 151, 153, 155, 157 via the web page or mobile device 130 provided through the server 110. [ Can be controlled. The user 135 can turn off the power of the video apparatuses 171, 173, 175, 177 and / or the display apparatuses 151, 153, 155, 157 when the reproduction of the content is completed. 173, 175, and 177 and / or display devices 151, 153, 155, and 157 when the user 135 wants to reproduce the content again.
모바일 디바이스(130)는 영상 장치(들)(171, 173, 175, 177) 중 어느 하나를 마스터 영상 장치(예를 들어, 영상 장치(171))로 설정할 수 있다. 모바일 디바이스(130)는 장치 그룹에 대응하는 그룹 키를 생성한 후, 마스터 영상 장치(171)에게 그룹 키를 전송할 수 있다. 모바일 디바이스(130)은 장치 그룹에 포함된 영상 장치들에 대한 정보, 마스터 영상 장치(171)에 대한 정보, 및 그룹 키를 포함하는 정보를 서버(110)에게 전송할 수 있다. 이때, 장치 그룹에 포함된 영상 장치들 중 마스터 영상 장치(171)를 제외한 나머지 영상 장치(들)은 슬레이브 영상 장치들(173, 175, 177)에 해당할 수 있다. The mobile device 130 may set any of the imaging device (s) 171, 173, 175, and 177 to a master imaging device (e.g., imaging device 171). The mobile device 130 may generate a group key corresponding to the device group and then transmit the group key to the master video device 171. [ The mobile device 130 may transmit to the server 110 information including video devices included in the device group, information on the master video device 171, and group key. At this time, the remaining video devices other than the master video device 171 among the video devices included in the device group may correspond to the slave video devices 173, 175, and 177.
마스터 영상 장치(171) 및 슬레이브 영상 장치들(173, 175, 177) 각각은 디스플레이 장치에 연결되는 경우, 초기화(예를 들어, 장치그룹 설정 등)가 완료되었는지 확인하고, 초기화가 완료되었다면 마스터 모드로 동작할지 혹은 슬레이브 모드로 동작할지 여부를 결정할 수 있다. 일 예로, 각 영상 장치들은 그룹 키를 저장하고 있는지 여부를 확인하고, 그룹 키를 저장하고 있다면 마스터 모드로 동작하고, 그룹 키를 저장하고 있지 않다면 슬레이브 모드로 동작할 것을 결정할 수 있다.When each of the master video apparatus 171 and the slave video apparatuses 173, 175 and 177 is connected to the display apparatus, it is checked whether initialization (for example, device group setting, etc.) Or to operate in the slave mode. For example, each of the video apparatuses can confirm whether or not the group key is stored. If the group key is stored, the video apparatuses can operate in the master mode, and if the group key is not stored, to operate in the slave mode.
마스터 영상 장치(171)는 그룹 키를 이용하여 서버(110)에 로그 인을 시도하고, 서버(110)는 그룹 키를 검증(validation)할 수 있다. 그룹 키에 대한 검증이 완료되면, 서버(110)는 마스터 영상 장치(171)에 대한 로그 인 과정을 거쳐 마스터 영상 장치(171)를 제어할 수 있다. 서버(110)는 마스터 영상 장치(171)에게 컨텐츠 재생을 위한 주소 정보를 제공할 수 있다.The master imaging device 171 may try to log into the server 110 using the group key and the server 110 may validate the group key. When the verification of the group key is completed, the server 110 can control the master imaging device 171 through a process of log-in to the master imaging device 171. The server 110 may provide the master video device 171 with address information for content reproduction.
서버(110)로부터 컨텐츠 재생을 위한 주소 정보를 획득한 마스터 영상 장치(171)는 컨텐츠 재생을 위한 주소 정보를 슬레이브 영상 장치들(173, 175, 177)에게 제공할 수 있다. 서버(110)로부터 컨텐츠 재생을 위한 주소 정보를 수신한 슬레이브 영상 장치들(173, 175, 177)은 주소 정보에 기초하여 컨텐츠를 로딩(loading)할 수 있다. 컨텐츠의 로딩이 완료되면, 슬레이브 영상 장치들(173, 175, 177)은 마스터 영상 장치(171)에게 완료 신호를 전송할 수 있다. 마스터 영상 장치(171)는 슬레이브 영상 장치들(173, 175, 177)로부터 완료 신호를 수신함에 따라 슬레이브 영상 장치들(173, 175, 177)에게 컨텐츠 재생 명령을 전송할 수 있다. The master video apparatus 171 acquiring address information for content reproduction from the server 110 may provide address information for content reproduction to the slave video apparatuses 173, 175, and 177. The slave video devices 173, 175, and 177 receiving the address information for content reproduction from the server 110 may load the content based on the address information. When the loading of the content is completed, the slave video devices 173, 175, and 177 can transmit a completion signal to the master video device 171. [ The master video apparatus 171 can transmit a content reproduction command to the slave video apparatuses 173, 175, and 177 upon receiving the completion signal from the slave video apparatuses 173, 175, and 177.
일 실시예에 따른 마스터 영상 장치, 슬레이브 영상 장치 및 모바일 디바이스의 동작은 아래의 도 2 내지 도 5를 참조하여 보다 구체적으로 설명한다. The operation of the master imaging device, the slave imaging device, and the mobile device according to one embodiment will be described in more detail with reference to FIGS. 2 to 5 below.
장치 그룹에 포함된 모든 영상 장치들(171, 173, 175, 177)에 대하여 전술한 디바이스 등록 절차가 종료되면, 영상 장치들(171, 173, 175, 177) 각각은 전체 대화면(컨텐츠의 전체 영역) 중 해당 영상 장치가 재생할 적어도 일부 영역을 설정하는 캘리브레이션을 수행할 수 있다. 이후, 마스터 영상 장치(171)로부터 재생 명령이 전송되면, 슬레이브 영상 장치들(173, 175, 177)은 각자의 캘리브레이션 정보에 따라 컨텐츠의 일부 영역을 재생할 수 있다.When the device registration procedure described above is completed for all the video devices 171, 173, 175, and 177 included in the device group, each of the video devices 171, 173, 175, and 177 accesses the entire large screen ) Of the video device to be reproduced can be set. Thereafter, when the reproduction command is transmitted from the master video apparatus 171, the slave video apparatuses 173, 175, and 177 can reproduce a partial area of the content according to their respective calibration information.
일 실시예에 따른 영상 장치는 임의의 디스플레이 장치의 구성에 대해서 손쉬운 캘리브레이션 방법을 제공할 수 있다. 영상 장치는 예를 들어, 모바일 디바이스(130)의 사용자 인터페이스(User Interface; UI)와 와이파이로 서로 연동됨으로써, 사용자(135)가 모바일 디바이스(130)의 화면을 직접 보면서 디스플레이 장치(들)(151, 153, 155, 157)가 재생할 적어도 일부 영역을 설정하도록 할 수 있다. The imaging device according to one embodiment can provide an easy calibration method with respect to the configuration of an arbitrary display device. The video device is interlocked with the user interface (UI) of the mobile device 130 by Wi-Fi, for example, so that the user 135 can directly view the screen of the mobile device 130, , 153, 155, and 157 can set at least some areas to be reproduced.
장치 그룹에 포함된 모든 영상 장치들(171, 173, 175, 177)에서 캘리브레이션이 완료되면, 각 영상 장치들(171, 173, 175, 177)는 자신의 캘리브레이션 정보를 저장할 수 있다. 영상 장치들(171, 173, 175, 177)은 컨텐츠 재생명령을 수신하면, 저장된 캘리브레이션 정보를 이용하여 영상 정보를 생성하여 자신이 연결된 디스플레이 장치로 전달할 수 있다.When the calibration is completed in all the video devices 171, 173, 175, and 177 included in the device group, each of the video devices 171, 173, 175, and 177 can store its own calibration information. Upon receiving the content reproduction command, the video apparatuses 171, 173, 175, and 177 generate video information using the stored calibration information and transmit the generated video information to the connected display apparatus.
실시예에 따라, 각 캘리브레이션 정보는 서버(110)로 전송될 수 있다. 이 경우, 서버(110)는 하나의 대화면을 제공하기 위하여 각 영상 장치들(171, 173, 175, 177)과 결합된 디스플레이 장치들(151, 153, 155, 157) 각각의 기하 정보를 관리하고, 디스플레이 장치들(151, 153, 155, 157) 각각에 대한 보정을 제어할 수 있다. In accordance with an embodiment, each calibration information may be transmitted to the server 110. In this case, the server 110 manages the geometry information of each of the display devices 151, 153, 155, and 157 combined with the respective video devices 171, 173, 175, and 177 to provide a single large screen , And the display devices 151, 153, 155, and 157, respectively.
영상 장치들(171, 173, 175, 177)은 캘리브레이션 정보에 기초하여 영상 장치들(171, 173, 175, 177) 각각에 대응하는 디스플레이 장치(151, 153, 155, 157)를 통해 컨텐츠의 전체 영역(예를 들어, 대화면)을 재생할 수 있다. 이때, 디스플레이 장치들(151, 153, 155, 157) 각각은 컨텐츠의 전체 영역 중 적어도 일부 영역을 재생할 수 있다. The video apparatuses 171, 173, 175 and 177 receive the entire contents through the display apparatuses 151, 153, 155 and 157 corresponding to the video apparatuses 171, 173, 175 and 177 on the basis of the calibration information. Area (e.g., a large screen) can be played. At this time, each of the display devices 151, 153, 155, and 157 may reproduce at least a part of the entire area of the content.
영상 장치들(171, 173, 175, 177) 각각에 대한 캘리브레이션 정보가 결정되고 나면, 사용자(135)는 영상 장치들(171, 173, 175, 177) 각각에 대한 설정 또는 조절 과정을 반복할 필요 없이 컨텐츠 재생을 위한 작업을 모바일 디바이스(130) 또는 웹 페이지를 통해 수행할 수 있다.Once the calibration information for each of the imaging devices 171, 173, 175, and 177 is determined, the user 135 may need to repeat the setting or adjustment process for each of the imaging devices 171, 173, 175, The user can perform operations for reproducing the content through the mobile device 130 or the web page.
사용자(135)는 서버(110)를 통해 제공되는 웹 페이지 또는 모바일 디바이스(130)를 통해 제공되는 모바일 앱을 통하여 원하는 컨텐츠를 업로드하고, 플레이리스트를 구성하여 대화면 영상을 재생할 수 있다. 이때, 업로드된 컨텐츠들은 서버(110) 또는 모바일 디바이스(130)의 컨텐츠 관리 시스템(Contents Management System; CMS)에 의해 관리될 수 있다. The user 135 can upload a desired content through a web page provided through the server 110 or a mobile application provided through the mobile device 130, and can construct a play list to reproduce a large screen image. At this time, the uploaded contents can be managed by the contents management system (CMS) of the server 110 or the mobile device 130.
예를 들어, 사용자(135)가 웹 상에서 재생 스케쥴을 생성하여 원하는 플레이리스트를 설정하면, 플레이리스트는 서버(110)에 저장될 수 있다. 서버(110)로부터 각 상영관 또는 전시관 등과 같은 상영 장소의 시작 시간에 맞추어 재생 명령이 전달되면, 영상 장치들(171, 173, 175, 177) 각각은 서버(110)와 통신하며 컨텐츠를 스트리밍(streaming)하거나, 또는 미리 캐싱(caching)한 컨텐츠를 영상 장치들(171, 173, 175, 177)마다의 캘리브레이션 정보에 따라 디스플레이 장치(151, 153, 155, 157)를 통해 재생할 수 있다. 일 실시예에 따른 영상 장치가 캘리브레이션을 수행하는 방법은 아래의 도 6 내지 도 10을 참조하여 구체적으로 설명한다.For example, if the user 135 creates a play schedule on the web and sets up a desired play list, the play list can be stored in the server 110. When the playback command is transmitted from the server 110 in accordance with the start time of a screening place such as an auditorium or an exhibition hall, each of the video devices 171, 173, 175, and 177 communicates with the server 110, 153, 155, and 157 according to the calibration information for each of the video devices 171, 173, 175, and 177. In addition, the display device 151, 153, 155, The method by which the imaging apparatus according to one embodiment performs the calibration will be described in detail with reference to Figs. 6 to 10 below.
또한, 일 실시예에 따른 영상 장치는 간단한 프로토콜을 이용하면서 컨텐츠의 재생을 위한 영상 장치들(171, 173, 175, 177) 간의 세밀한 시간 동기화를 지원할 수 있다. In addition, the video apparatus according to an exemplary embodiment can support detailed time synchronization between the video apparatuses 171, 173, 175, and 177 for playing back content using a simple protocol.
예를 들어, 사용자(135)가 무선 네트워크상에서 여러 영상 장치들(171, 173, 175, 177)을 연결한 후, 영상 장치들(171, 173, 175, 177) 각각에서 비디오 및 오디오 스트림을 동기화하여 재생한다고 하자. 일 실시예에서는 타임 스탬프가 포함된 SNTP(Simple Network Time Protocol) 프로토콜을 사용하여 영상 장치들을 동기화할 수 있다. 이때, 각 영상 장치에서 타임 스탬프가 유효하기 위해서는 영상 장치들(171, 173, 175, 177) 각각의 시간 동기화가 요구된다. For example, after the user 135 connects multiple video devices 171, 173, 175, and 177 on the wireless network, the video and audio streams are synchronized in the video devices 171, 173, 175, . In one embodiment, video devices may be synchronized using a Simple Network Time Protocol (SNTP) protocol that includes a time stamp. At this time, the time synchronization of each of the video apparatuses 171, 173, 175, and 177 is required for the time stamp to be valid in each video apparatus.
일반적으로, 네트워크 상에 연결된 장치를 동기화 하기 위해 NTP(Network Time Protocol)를 사용할 수 있다. NTP는 다양한 환경에서 적용할 수 있는 강력한 프로토콜이지만 특정 상황에서 사용하기 곤란한 부분이 있다. 특히 최근 널리 사용되고 있는 IoT(Internet of Things) 디바이스나 모바일 기기에서는 개발 환경이나 OS(Operating System)와 같은 요소들 때문에 전체 NTP 기능을 이용하기 어렵다. In general, NTP (Network Time Protocol) can be used to synchronize devices connected on the network. NTP is a robust protocol that can be applied in a variety of environments, but it is difficult to use in certain situations. Especially, it is difficult to utilize the whole NTP function because of factors such as development environment and OS (Operating System) in IoT (Internet of Things) device or mobile device which are widely used recently.
SNTP는 NTP에 비해 동작이 간단하여 프로그래밍이 가능한 환경이라면 어디든지 간단하게 동기화를 구현할 수 있다. 다만, 무선 네트워크로 연결되어 있는 경우에 동기화를 SNTP에 의존하게 되면 딜레이(delay)나 시간 오차가 매 시간마다 크게 변할 수 있다. 때문에 무선 네트워크 환경에서 SNTP를 이용하여 동기화를 하는 경우, 유선 LAN으로 연결되어 있을 때에 비해 동기화 된 결과의 변동폭이 커질 수 있다. 이와 같은 큰 변동폭은 비디오와 같은 콘텐츠를 장치 간에 동기화 하여 재생할 때 큰 문제로 작용할 수 있다. 예를 들어, 한 프레임 당 수십 밀리 세컨드(ms) 정도의 시간이 걸리므로 장치 간의 시간 동기화 오차가 수 밀리 세컨드(ms) 이하가 되어야 컨텐츠가 동기화 오차 없이 제대로 재생될 수 있다. SNTP is simpler in operation than NTP and can be easily implemented in any environment where it can be programmed. However, if you are connected to a wireless network and you depend on SNTP for synchronization, the delay and time error can change significantly every hour. Therefore, when SNTP is synchronized in a wireless network environment, the fluctuation of the synchronized result may be larger than when the wired LAN is connected. Such a large fluctuation can be a big problem when reproducing contents such as video synchronously between devices. For example, since it takes several tens of milliseconds (ms) per frame, the time synchronization error between the devices must be less than several milliseconds (ms) so that the content can be properly reproduced without synchronization errors.
일 실시예에서는 무선 네트워크에서 SNTP 패킷 전송을 통해 얻은 타임 오프셋(time offset)을 RANSAC(Random Sample Consensus) 모델에 입력함으로써 동기화 오차를 최소화할 수 있다. RANSAC 모델은 정상 분포에 속해 있는 데이터 집합(예를 들어, 인라이어(inlier))으로 회귀 분석을 수행하는 모델에 해당할 수 있다.In one embodiment, synchronization errors can be minimized by inputting a time offset obtained through SNTP packet transmission in a wireless network to a Random Sample Consensus (RANSAC) model. The RANSAC model may correspond to a model that performs regression analysis on a data set (e.g., an inlier) that belongs to a normal distribution.
일 실시예에 따른 영상 장치의 동기화 방법은 아래의 도 11 내지 도 16을 참조하여 구체적으로 설명한다. A method of synchronizing a video apparatus according to an exemplary embodiment will be described in detail with reference to FIGS. 11 to 16 below.
도 2는 일 실시예에 따른 영상 장치의 동작 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 영상 장치(예를 들어, 마스터 영상 장치)는 장치 그룹에 대응하는 그룹 키의 획득이 가능한지 여부를 판단한다(210). 예를 들어, 영상 장치는 메모리 등의 저장공간에 그룹 키가 저장되어 있는지 여부를 확인하거나, 그룹 키가 저장되어 있음을 지시하는 플래그 정보를 확인할 수 있다.2 is a flowchart illustrating an operation method of a video apparatus according to an exemplary embodiment of the present invention. Referring to FIG. 2, a video device (e.g., a master video device) according to an embodiment determines whether it is possible to acquire a group key corresponding to a device group (210). For example, the imaging apparatus can check whether a group key is stored in a storage space such as a memory or confirm flag information indicating that a group key is stored.
단계(210)에서 그룹 키의 획득이 가능하지 않다고 판단되면, 영상 장치는 초기화 모드 혹은 슬레이브 모드로 동작할 수 있다. 예를 들어, 영상 장치는 도 3 혹은 도 4의 흐름도에 따라 동작할 수 있다.If it is determined in step 210 that acquisition of the group key is not possible, the imaging apparatus can operate in the initialization mode or the slave mode. For example, the imaging device may operate in accordance with the flowchart of FIG. 3 or FIG.
단계(210)에서 그룹 키의 획득이 가능하다고 판단되면, 영상 장치는 영상 장치 및 하나 또는 그 이상의 다른 영상 장치들을 포함하는 장치 그룹에 대응하는 그룹 키(group key)를 획득한다(220). 영상 장치는 예를 들어, 해당 영상 장치의 캐시 또는 메모리에 그룹 키가 저장되어 있는지를 체크하여 그룹 키를 획득할 수 있다. 이때, 그룹 키가 저장되어 있는 영상 장치는 해당 장치 그룹의 마스터 영상 장치에 해당할 수 있다. 영상 장치는 그룹 키의 획득 여부에 의해 자신(영상 장치)이 모바일 디바이스에 의해 결정된 마스터 영상 장치인지를 판단할 수 있다. If it is determined in step 210 that acquisition of the group key is possible, the imaging device acquires a group key corresponding to the imaging device and the device group including one or more other imaging devices (220). For example, the video apparatus can check whether a group key is stored in a cache or memory of the video apparatus, and obtain a group key. At this time, the video device storing the group key may correspond to the master video device of the device group. The video device can determine whether the video device is the master video device determined by the mobile device by whether the group key is acquired.
영상 장치는 부팅(booting) 시에 그룹 키를 저장하고 있는지 여부를 기초로, 그룹 키를 이용하여 서버에 대한 로그 인(log in)을 시도할 수 있다. The imaging device may attempt to log in to the server using the group key based on whether or not the group key is stored at boot time.
실시예에 따라서, 영상 장치는 메모리 등에 그룹 키를 저장하고 있는지 여부를 판단하고, 그룹 키를 저장하고 있다는 판단에 따라 자신(영상 장치)의 동작 모드를 마스터 모드로 전환할 수 있다. 또는, 그룹 키를 저장하고 있지 않다고 판단되면, 영상 장치는 자신의 동작 모드를 슬레이브 모드로 전환할 수 있다. According to the embodiment, the video apparatus can determine whether or not the group key is stored in the memory, and can switch the operation mode of the video apparatus itself to the master mode according to the determination that the group key is stored. Alternatively, if it is determined that the group key is not stored, the video apparatus can switch its operation mode to the slave mode.
영상 장치는 그룹 키를 이용하여 서버에 접속함으로써 컨텐츠 재생을 위한 주소 정보를 획득한다(230). 주소 정보는 예를 들어, 컨텐츠 URL(Uniform Resource Locator)일 수 있다. 또는 주소 정보는 예를 들어, 장치 그룹에 포함된 복수의 영상 장치들에서 재생되는 컨텐츠에 대한 정보, 복수의 영상 장치들에서의 컨텐츠 재생 순서를 포함하는 플레이리스트(playlist) 등을 포함할 수 있다. 플레이리스트는 컨텐츠의 재생 순서에 따른 컨텐츠 URL들의 집합일 수 있다.The video apparatus acquires address information for content reproduction by accessing the server using the group key (230). The address information may be, for example, a content URL (Uniform Resource Locator). Or address information may include, for example, information about content to be played in a plurality of video apparatuses included in a device group, a playlist including a content playback order in a plurality of video apparatuses, and the like . The playlist may be a set of content URLs in accordance with the playback order of the content.
영상 장치는 주소 정보를 장치 그룹에 포함된 다른 영상 장치들에게 제공한다(240). 다른 영상 장치들은 예를 들어, 슬레이브 영상 장치들일 수 있다. The video device provides the address information to the other video devices included in the device group (240). Other imaging devices may be, for example, slave imaging devices.
영상 장치는 다른 영상 장치들 각각에서 주소 정보에 기초한 컨텐츠의 로딩(loading)이 완료되었는지 여부를 기초로, 다른 영상 장치들에게 컨텐츠에 대한 재생 명령을 전송한다(250). 이때, 컨텐츠의 로딩이 완료되었는지 여부는 예를 들어, 컨텐츠의 로딩 완료를 위해 잔존하는 제1 시간이 컨텐츠의 재생 완료를 위해 잔존하는 제2 시간보다 적은지 여부에 기초하여 결정될 수 있다. 다시 말해, 컨텐츠의 로딩이 완료되기까지 남은 시간이 15초이고, 컨텐츠의 재생이 완료될 때까지 남은 시간이 20초라면, 영상 장치는 컨텐츠의 로딩이 완료된 것으로 결정할 수 있다. 반면, 현재 재생 중인 컨텐츠의 재생이 완료될 때까지 남은 시간이 10초라면, 영상 장치는 컨텐츠의 로딩이 완료되지 않은 것으로 결정할 수 있다.The video device transmits a playback command for the content to other video devices based on whether or not the loading of the content based on the address information has been completed in each of the other video devices (250). At this time, whether or not the loading of the content has been completed can be determined based on, for example, whether or not the first remaining time for completing the loading of the content is shorter than the second remaining time for completing the reproduction of the content. In other words, if the remaining time until the loading of the content is completed is 15 seconds and the remaining time until the reproduction of the content is completed is 20 seconds, the video apparatus can determine that the loading of the content has been completed. On the other hand, if the time remaining until the reproduction of the currently playing content is completed is 10 seconds, the video apparatus can determine that the loading of the content is not completed.
영상 장치는 기 저장된 캘리브레이션 정보를 획득할 수 있다. 캘리브레이션 정보는 장치 그룹에 포함된 복수의 영상 장치들 중 영상 장치에 대응하는 디스플레이 장치가 컨텐츠의 재생을 위한 전체 영역 중 재생해야 하는 적어도 일부 영역을 설정하는 정보를 포함할 수 있다. 영상 장치는 컨텐츠, 및 캘리브레이션 정보에 기초하여, 디스플레이 장치를 위한 영상 정보를 생성한다(260). 영상 장치는 디스플레이 장치에 영상 정보를 제공한다(270).The imaging device can acquire pre-stored calibration information. The calibration information may include information for setting at least a region in which a display device corresponding to a video device among a plurality of video devices included in the device group should reproduce the entire area for reproduction of the content. The imaging device generates image information for the display device based on the content and the calibration information (260). The video device provides video information to the display device (270).
도 3은 일 실시예에 따른 영상 장치의 초기화 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 영상 장치(마스터 영상 장치)는 디스플레이 장치로부터 전원이 공급(310) 됨에 따라, 초기화가 필요한지 여부를 판단할 수 있다(320).3 is a flowchart illustrating a method of initializing a video apparatus according to an exemplary embodiment of the present invention. Referring to FIG. 3, a video apparatus (master video apparatus) according to an exemplary embodiment may determine whether initialization is required (320) as power is supplied 310 from a display apparatus.
단계(320)에서 초기화가 필요하지 않다고 판단되면, 영상 장치는 초기화 동작을 종료할 수 있다. 이때, 초기화가 필요한지 여부는 영상 장치가 접속을 위한 정보(예를 들어, AP 주소 등)를 포함하는지 여부에 기초하여 결정될 수 있다. 예를 들어, 접속을 위한 정보를 포함하는 경우, 영상 장치는 초기화가 필요하지 않다고 판단할 수 있다. 또는, 초기화가 필요한지 혹은 초기화가 완료되었는지 여부를 지시하는 별도의 플래그 정보가 이용될 수도 있다.If it is determined in step 320 that initialization is not required, the imaging apparatus may terminate the initialization operation. At this time, whether or not the initialization is necessary can be determined based on whether or not the video apparatus includes information for connection (for example, AP address, etc.). For example, if it includes information for connection, the imaging device may determine that initialization is not required. Alternatively, separate flag information indicating whether initialization is necessary or initialization is completed may be used.
단계(320)에서 초기화가 필요하다고 판단되면, 영상 장치는 핫 스팟 호스트(Hot spot host)로 동작하여(330) 모바일 디바이스로부터 접속을 위한 정보를 획득할 수 있다(340).If it is determined in step 320 that initialization is required, the imaging device may act as a hot spot host 330 to obtain information for connection from the mobile device 340.
영상 장치는 단계(340)에서 획득한 접속을 위한 정보를 이용하여 액세스 포인트에 접속하여 그룹 키를 수신할 수 있다(350).The imaging device may access the access point using the information for the connection obtained in step 340 and receive the group key (350).
영상 장치는 그룹 키를 캐시 또는 메모리 등에 저장할 수 있다(360). The imaging device may store the group key in a cache or memory (360).
도 4는 다른 실시예에 따른 영상 장치의 동작 방법을 나타낸 흐름도이다. 도 4를 참조하면, 일 실시예에 따른 영상 장치(예를 들어, 슬레이브 영상 장치)는 장치 그룹의 마스터 영상 장치로부터 컨텐츠 재생을 위한 주소 정보를 수신한다(410).4 is a flowchart illustrating an operation method of a video apparatus according to another embodiment. Referring to FIG. 4, an imaging device (e.g., a slave imaging device) according to an exemplary embodiment receives address information for reproducing content from a master imaging device of a device group (410).
영상 장치는 주소 정보에 기초하여 장치 그룹을 위한 컨텐츠를 로딩한다(420).The imaging device loads the content for the device group based on the address information (420).
영상 장치는 컨텐츠의 로딩이 완료되었는지 여부를 판단하고(430), 영상 장치는 단계(430)의 판단 결과(로딩 완료 여부)를 마스터 영상 장치로 전송한다(440).The video device determines whether the content has been loaded (430), and the video device transmits the determination result (completion of loading) to the master video device (440).
영상 장치는 마스터 영상 장치로부터 컨텐츠에 대한 재생 명령을 수신한다(450).The video device receives a playback command for the content from the master video device (450).
영상 장치는 컨텐츠, 및 컨텐츠의 재생을 위한 전체 영역 중 영상 장치와 연결된 디스플레이 장치에 대응하는 영역에 컨텐츠의 적어도 일부를 재생하기 위한 캘리브레이션 정보에 기초하여, 디스플레이 장치를 위한 영상 정보를 생성한다(460).The video apparatus generates video information for the display apparatus based on the content and the calibration information for reproducing at least a part of the content in a region corresponding to the display apparatus connected to the video apparatus in the entire region for reproducing the content ).
영상 장치는 디스플레이 장치에 영상 정보를 제공한다(470).The imaging device provides imaging information to the display device (470).
실시예에 따라서, 영상 장치는 디스플레이 장치에 연결되었는지 여부를 판단하고, 디스플레이 장치에 연결되었다는 판단에 따라, 그룹키를 저장하고 있는지 여부를 체크할 수 있다. 영상 장치는 그룹 키를 저장하고 있지 않다는 체크되면, 영상 장치의 동작 모드를 슬레이브 모드로 전환할 수 있다. According to the embodiment, the video apparatus can determine whether or not the video apparatus is connected to the display apparatus, and can check whether or not the group key is stored according to the determination that the video apparatus is connected to the display apparatus. If it is checked that the group key is not stored, the video apparatus can switch the operation mode of the video apparatus to the slave mode.
도 5는 일 실시예에 따른 모바일 디바이스의 동작 방법을 나타낸 흐름도이다. 도 5를 참조하면, 모바일 디바이스는 영상 장치들에게 접속을 위한 정보를 전송할 수 있다(510). 모바일 디바이스는 예를 들어, 핫스팟 호스트로 동작하는 영상 장치에 접속하여, 해당 영상 장치에 AP 주소를 전송할 수 있다.5 is a flow diagram illustrating a method of operation of a mobile device according to one embodiment. Referring to FIG. 5, the mobile device may transmit information for connection to imaging devices (510). The mobile device may, for example, connect to a video device operating as a hotspot host and transmit the AP address to the video device.
모바일 디바이스는 단계(510)에서 전송한 접속을 위한 정보를 이용하여, 영상 장치들 중 적어도 일부를 포함하는 장치 그룹을 결정할 수 있다(520). 모바일 디바이스는 예를 들어, AP에 접속하고, AP에 접속된 영상 장치들의 목록을 사용자에게 노출할 수 있다. 모바일 디바이스는 영상 장치들 중 적어도 일부를 선택하는 사용자의 입력에 반응하여, 선택된 영상 장치들을 포함하는 장치 그룹을 결정할 수 있다.The mobile device may determine 520 the device group that includes at least some of the imaging devices using the information for the connection transmitted in step 510. [ The mobile device may, for example, connect to the AP and expose a list of imaging devices connected to the AP to the user. The mobile device may determine a group of devices comprising the selected video devices in response to a user's input selecting at least some of the video devices.
모바일 디바이스는 장치 그룹에 대응하는 그룹 키를 생성할 수 있다(530). 그룹 키는 예를 들어, UUID(Universal Unique IDentifier)와 같은 128 bit의 랜덤 숫자로 구성될 수 있다.The mobile device may generate a group key corresponding to the device group (530). The group key may be composed of a 128-bit random number, for example, a Universal Unique Identifier (UUID).
모바일 디바이스는 장치 그룹에 포함된 영상 장치들 중 마스터 영상 장치를 결정하고(540), 마스터 영상 장치에게 단계(530)에서 생성한 그룹 키를 전송할 수 있다(550). 모바일 디바이스는 예를 들어, 장치 그룹에 포함된 영상 장치들 중 어느 하나를 랜덤하게 선택함으로써 마스터 영상 장치를 결정할 수 있다. 마스터 영상 장치를 결정하는 방법은 통신환경이 가장 좋은 영상 장치를 마스터로 결정하는 등 미리 설정된 조건에 따라 다양하게 변형될 수 있다.The mobile device may determine 540 the master imaging device among the imaging devices included in the device group, and may transmit the generated group key to the master imaging device in step 530 (550). The mobile device may determine the master imaging device, for example, by randomly selecting any of the imaging devices included in the device group. The method of determining the master video device can be variously modified according to predetermined conditions such as determining the video device having the best communication environment as the master.
모바일 디바이스는 서버로 그룹 키를 포함하는 그룹 정보를 전송할 수 있다(560).The mobile device may send group information including the group key to the server (560).
일 실시예에 따른 캘리브레이션 방법Calibration method according to one embodiment
도 6은 일 실시예에 따른 영상 장치의 영상 재생 방법을 설명하기 위한 도면이다. 도 6의 (a)를 참조하면, 모서리를 포함하는 투사면에 4개의 영상 장치들에 의해 컨텐츠가 재생되는 화면이 도시된다. FIG. 6 is a diagram for explaining a video reproducing method of a video apparatus according to an embodiment. Referring to FIG. 6A, a screen is shown in which contents are reproduced by four video apparatuses on a projection surface including an edge.
일 실시예에 따른 영상 장치는 평면, 곡면뿐만 아니라, 평면과 곡면이 혼합된 다양한 형태의 공간에 대한 컨텐츠를 재생할 수 있다. 예를 들어, 전시관의 모서리 공간(610, 620, 630, 640)에서 수묵 산수화를 설명하는 컨텐츠를 재생하고, 해당 공간의 중간에는 모니터(605) 등을 통해 다른 컨텐츠를 재생한다고 하자. 이때, 전시관의 모서리 공간에서 컨텐츠를 재생하기 위해서는 4개의 영상 장치들이 필요하다고 하자. The video apparatus according to an exemplary embodiment can reproduce contents for various types of space in which planar and curved surfaces are mixed as well as planar and curved surfaces. For example, it is assumed that the contents describing the handwriting process are reproduced in the corner spaces 610, 620, 630, and 640 of the exhibition hall, and the other contents are reproduced through the monitor 605 in the middle of the corresponding space. At this time, it is assumed that four video apparatuses are required to reproduce content in the corner space of the exhibition hall.
일 실시예에 따른 영상 장치들은 모바일 디바이스의 사용자 인터페이스(UI)와 와이파이로 서로 연동되어 사용자가 전체 대화면(컨텐츠의 전체 영역) 중 해당 영상 장치가 재생할 적어도 일부 영역을 설정하는 캘리브레이션을 수행할 수 있다. The video apparatuses according to an exemplary embodiment may perform a calibration in which a user interacts with a user interface (UI) of a mobile device and Wi-Fi to set at least a partial region of the entire large screen (content area) .
마스터 영상 장치로부터 컨텐츠에 대한 재생 명령이 전송되면, 슬레이브 영상 장치들은 마스터 영상 장치와 함께 각자의 캘리브레이션 정보에 따라 대응되는 디스플레이 장치가 컨텐츠의 일부 영역을 재생하도록 할 수 있다.When the reproduction command for the content is transmitted from the master imaging apparatus, the slave imaging apparatus can cause the corresponding display apparatus to reproduce a part of the content together with the master imaging apparatus according to the respective calibration information.
사용자는 예를 들어, 모바일 앱에 로그인한 후 4개의 영상 장치들을 선택하여 하나의 대화면을 재생하는 장치 그룹을 생성할 수 있다. 이때, 4개의 영상 장치들 중 제1 영상 장치에 대응하는 제1 디스플레이 장치는 전시관의 모서리 공간의 투사면 중 제1 영역(610)에 대응하는 일부 영상을, 제2 영상 장치에 대응하는 제2 디스플레이 장치는 제2 영역(620)에 대응하는 일부 영상을, 제3 영상 장치에 대응하는 제3 디스플레이 장치는 제3 영역(630)에 대응하는 일부 영상을, 제4 영상 장치에 대응하는 제4 디스플레이 장치는 제4 영역(640)에 대응하는 일부 영상을 재생하도록 캘리브레이션 될 수 있다. 이때, 제1 영역(610) 내지 제4 영역(640)은 그 형태로 서로 상이함을 알 수 있다. The user can create a device group that plays back one large screen, for example, by selecting four video devices after logging into the mobile app. At this time, the first display device corresponding to the first image device among the four image devices displays a partial image corresponding to the first area 610 of the projection surface of the corner space of the exhibition hall, The display device displays a partial image corresponding to the second area 620, the third display device corresponding to the third video device displays a partial image corresponding to the third area 630, and the fourth display device corresponding to the fourth video device The display device may be calibrated to reproduce a portion of the image corresponding to the fourth area 640. [ At this time, it can be seen that the first region 610 to the fourth region 640 are different from each other in their shapes.
예를 들어, 각 디스플레이 장치는 전시관의 모서리 공간의 서로 다른 영역을 투사하도록 배치될 수 있다. 디스플레이 장치들이 투사하는 영역들은 서로 일정 영역씩 겹칠 수 있다. 각 디스플레이 장치를 제어하는 영상 장치는 캘리브레이션을 위하여 자신이 제어하는 디스플레이 장치의 투사 영역 내 복수의 포인트들(예를 들어, 4개의 포인트들)을 표시할 수 있다. 실시예에 따라, 각 영상 장치에 의하여 표시되는 복수의 포인트들은 다른 영상 장치에 의하여 표시되는 복수의 포인트들과 구분되도록(예를 들어, 다른 색상 혹은 다른 모양 등으로) 표시될 수 있다.For example, each display device can be arranged to project different areas of the corner space of the exhibition hall. The areas projected by the display devices may overlap each other in a predetermined area. The imaging device controlling each display device may display a plurality of points (e.g., four points) in the projection area of the display device it controls for calibration. According to an embodiment, a plurality of points displayed by each imaging device may be displayed (e.g., in different colors or different shapes, etc.) to be distinct from a plurality of points displayed by different imaging devices.
각 영상 장치의 제어를 통해 전시관의 모서리 공간의 투사면에 복수의 포인트들(예를 들어, 4개의 포인트들)이 표시되면, 사용자는 모바일 디바이스의 사용자 UI를 이용하여 투사면 상의 복수의 포인트들을 이동시켜 투사면의 각 영역의 형태에 따라 해당 영상 장치(에 대응하는 디스플레이 장치)가 재생할 일부 영역을 설정할 수 있다. 실시예에 따라, 적어도 하나의 포인트가 추가하거나 제거될 수도 있다.When a plurality of points (for example, four points) are displayed on the projection surface of the corner space of the exhibition hall through the control of each imaging device, the user can use the user interface of the mobile device to display a plurality of points on the projection surface And it is possible to set some areas to be reproduced by the video apparatuses (corresponding to the display apparatuses) according to the shape of each area of the projection surface. Depending on the embodiment, at least one point may be added or removed.
제1 영역(610)부터 제4 영역(640)까지에 대한 설정이 완료되면, 각 영상 장치는 재생할 영역을 제외한 나머지 영역에 대응하는 마스크를 생성하여 나머지 영역에서는 영상이 재생되지 않도록 할 수 있다. When the setting from the first area 610 to the fourth area 640 is completed, each image device can generate a mask corresponding to the remaining area except the area to be reproduced, and prevent the image from being reproduced in the remaining area.
실시예에 따라서 영상 장치가 재생할 적어도 일부 영역을 설정하는 캘리브레이션 과정은 영상 장치에 의해 자동으로 수행될 수도 있다. 아래에서 상세히 설명하겠으나, 360도 카메라를 이용하여 투사 공간에 대한 정보를 획득하고, 각 디스플레이 장치에 의하여 서로 다른 패턴의 영상이 투사되도록 제어함으로써, 영상 처리 프로세스를 통하여 각 디스플레이 장치(혹은 각 영상 장치)를 위한 복수의 포인트들이 자동으로 설정될 수 있다.The calibration process for setting at least some areas to be reproduced by the imaging device according to the embodiment may be performed automatically by the imaging device. As will be described in detail below, the information about the projection space is acquired using a 360-degree camera, and by controlling each of the display devices to project images of different patterns, images are displayed on the display devices ) May be automatically set.
도 6의 (b)를 참조하면, 곡면의 투사면에 3개의 영상 장치들에 의해 컨텐츠가 재생되는 화면이 도시된다. 도 6의 (b)에 도시된 투사면은 도 6의 (a)의 투사면과 달리, 동일한 원통형 형태를 가짐을 볼 수 있다. Referring to FIG. 6 (b), a screen is shown in which the content is reproduced by the three video devices on the projection surface of the curved surface. The projection surface shown in FIG. 6 (b) has the same cylindrical shape as the projection surface of FIG. 6 (a).
예를 들어, 원통형으로 구성된 전시관에서 해양 영상의 컨텐츠를 재생한다고 하자.For example, suppose you want to reproduce the contents of a marine image in a cylindrical exhibition hall.
일 실시예에 따른 영상 장치는 360도 촬영이 가능한 전방향 카메라를 이용하여, 해양 컨텐츠를 재생할 공간(180도의 원통형 공간)을 감지할 수 있다. 영상 장치는 장치 그룹에 포함된 복수의 영상 장치들에 대응하는 디스플레이 장치들 각각으로부터 투사되는 구조화 패턴을 획득할 수 있다. 예를 들어, 해당 영상 장치(제1 영상 장치)는 수직 형태의 구조화 패턴을 투사하고, 제2 영상 장치는 수평 형태의 구조화 패턴을 투사하며, 제3 영상 장치는 지그재그 형태의 구조화 패턴을 투사한다고 하자.The video apparatus according to an exemplary embodiment can detect a space (a cylindrical space of 180 degrees) in which marine contents can be reproduced by using an omnidirectional camera capable of shooting 360 degrees. The imaging device may acquire a structured pattern projected from each of the display devices corresponding to the plurality of imaging devices included in the device group. For example, the imaging device (first imaging device) projects a vertical structured pattern, the second imaging device projects a horizontal structured pattern, and the third imaging device projects a zigzag structured pattern lets do it.
영상 장치는 공간에 대한 감지 결과(180도의 원통형 공간) 및 각 영상 장치의 구조화 패턴에 기초하여, 180도의 원통형 공간에서 재생되는 해양 영상의 컨텐츠 중 영상 장치에 대응되는 디스플레이 장치들 각각이 재생할 영역을 결정할 수 있다. Based on the detection result of the space (cylindrical space of 180 degrees) and the structuring pattern of each image device, the image device displays an area to be reproduced by each of the display devices corresponding to the image device among the contents of the marine image reproduced in the cylindrical space of 180 degrees You can decide.
예를 들어, 영상 장치는 180도의 원통형 공간 중 해당 영상 장치(제1 영상 장치)에 대응하는 디스플레이 장치가 제1 영역(650)에 대한 컨텐츠(예를 들어, 해양 영상의 컨텐츠 전체 중 1/3 영역)를 재생하고, 제2 영상 장치에 대응하는 디스플레이 장치가 제2 영역(660)에 대한 컨텐츠를 재생하며, 제3 영상 장치에 대응하는 디스플레이 장치가 제3 영역(670)에 대한 일부 컨텐츠를 재생하도록 결정할 수 있다. 이와 같이, 원통형으로 구성된 전시관에서 재생되는 해양 컨텐츠는 장치 그룹에 포함된 영상 장치들(에 대응하는 디스플레이 장치들)에 의해 투사면에 재생될 수 있다.For example, if the display device corresponding to the corresponding video device (first video device) among the 180-degree cylindrical spaces displays content (for example, 1/3 of the entire content of the marine image) for the first area 650 The display device corresponding to the second video device reproduces the content for the second area 660 and the display device corresponding to the third video device reproduces the content for the third area 670 Can be determined to play. Thus, the marine contents reproduced in the exhibition hall constructed in a cylindrical shape can be reproduced on the projection plane by the display devices (corresponding to the display devices included in the device group).
도 7은 일 실시예에 따른 영상 장치의 영상 재생 방법을 나타낸 흐름도이다. 도 7을 참조하면, 일 실시예에 따른 영상 장치는 컨텐츠를 재생할 공간에 대한 정보를 획득한다(710). 영상 장치는 사용자로부터 컨텐츠를 재생할 공간에 대한 정보를 입력 받음으로써 컨텐츠를 재생할 공간에 대한 정보를 획득할 수 있다. 이때, 컨텐츠를 재생할 공간에 대한 정보는 예를 들어, 재생할 공간이 평면 형태인지, 곡면 형태인지, 큐브 형태인지, 실린더 형태인지 등과 같은 공간의 형태, 및 해당 공간의 대략적인 크기를 포함할 수 있다. 또한, 영상 장치는 컨텐츠를 재생할 공간에 대한 정보에 기초하여 사용자로부터 컨텐츠를 재생할 투사면에 대한 선택을 입력받을 수도 있다. 여기서, '(컨텐츠의) 재생'은 프로젝터를 이용한 컨텐츠의 투사 혹은 스크린 장치를 이용한 컨텐츠의 상영(디스플레이)을 포함하는 의미로 이해될 수 있다.7 is a flowchart illustrating a method of reproducing an image of a video apparatus according to an exemplary embodiment of the present invention. Referring to FIG. 7, a video apparatus according to an embodiment obtains information on a space for reproducing contents (710). The video apparatus can acquire information on the space for reproducing the content by receiving information on the space for reproducing the content from the user. In this case, the information on the space for reproducing the content may include, for example, a space type such as a plane shape, a curved surface shape, a cube shape, a cylinder shape, and the like, . The video apparatus may also receive a selection of the projection plane from which the content is to be reproduced from the user based on the information on the space for reproducing the content. Here, '(reproduction of contents)' can be understood to mean projection of contents using a projector or screening (display) of contents using a screen device.
영상 장치는 단계(710)에서 획득한 공간에 대한 정보에 기초하여 결정된 투사면에 영상 장치에 대응하는 디스플레이 장치가 재생할 적어도 일부 영역을 설정하기 위한 마스크(mask)를 생성한다(720). 예를 들어, 투사면은 복수의 디스플레이 장치들에게 분할되어 할당되고, 각 디스플레이 장치는 자신에게 할당된 영역에 화상을 투사하면 된다. 이 경우, 각 디스플레이 장치는 자신이 투사할 수 있는 전체 영역 중 일부 영역에만 화상을 투사하면 되며, 일부 영역에 대한 정보를 마스크로 저장할 수 있다.The imaging device generates a mask for setting at least a partial area to be reproduced by the display device corresponding to the imaging device on the projection surface determined based on the information on the acquired space in step 710 (720). For example, the projection plane may be divided and allocated to a plurality of display devices, and each display device may project an image to an area assigned to itself. In this case, each display device may project an image only in a part of the entire area that can be projected by itself, and information about a part of the area may be stored as a mask.
컨텐츠의 전체 영역은 영상 장치 및 하나 또는 그 이상의 다른 영상 장치들을 포함하는 장치 그룹에 의해 투사면에 재생될 수 있다. 이때, 마스크는 예를 들어, 알파 맵 마스크(α map mask)일 수 있다. The entire area of the content may be reproduced on the projection surface by a group of devices comprising the imaging device and one or more other imaging devices. At this time, the mask may be, for example, an alpha map mask.
실시예에 따라서, 디스플레이 장치는 멀티 스크린 장치들 또는 멀티 프로젝터들일 수 있다. 예를 들어, 디스플레이 장치가 멀티 프로젝터인 경우, 일 실시예에 따른 영상 장치는 다음과 같은 자동 방법을 통해 디스플레이 장치가 재생할 적어도 일부 영역을 결정할 수 있다. Depending on the embodiment, the display device may be multi-screen devices or multi-projectors. For example, if the display device is a multi-projector, the imaging device according to one embodiment can determine at least some areas to be reproduced by the display device through the following automatic method.
영상 장치는 360도 촬영이 가능한 전방향 카메라를 이용하여, 컨텐츠를 재생할 공간을 감지할 수 있다. 영상 장치는 장치 그룹에 포함된 복수의 영상 장치들에 대응하는 디스플레이 장치들 각각으로부터 투사되는 구조화 패턴을 획득할 수 있다. 영상 장치는 공간에 대한 감지 결과 및 구조화 패턴을 기초로, 컨텐츠의 전체 영역 중 디스플레이 장치들 각각이 재생할 적어도 일부 영역을 결정할 수 있다. The video apparatus can sense a space for playing the content by using an omnidirectional camera capable of shooting 360 degrees. The imaging device may acquire a structured pattern projected from each of the display devices corresponding to the plurality of imaging devices included in the device group. The imaging device can determine at least some areas of each of the entire areas of the contents to be reproduced by each of the display devices based on the detection result of the space and the structured pattern.
또는 실시예에 따라서, 영상 장치는 다음과 같은 수동 방법을 통해 디스플레이 장치가 재생할 적어도 일부 영역을 결정할 수 있다. 영상 장치는 디스플레이 장치를 이용하여 투사면에 복수의 포인트들을 표시할 수 있다. 영상 장치는 사용자 입력에 기초하여 복수의 포인트들 중 적어도 하나의 포인트를 이동시킬 수 있다. 영상 장치는 이동된 포인트를 포함하는 복수의 포인트들에 기초하여 일부 영역을 결정할 수 있다. 예를 들어, 일부 영역은 각 포인트들을 꼭지점으로 하는 다각형으로 결정될 수 있다.Depending on the embodiment, the imaging device may determine at least some areas of the display device to be reproduced by the following manual method. The imaging device can display a plurality of points on the projection surface using a display device. The imaging device may move at least one of the plurality of points based on user input. The imaging device may determine a portion of the area based on the plurality of points including the moved point. For example, some areas may be determined as polygons with vertices at each point.
영상 장치는 자동 결정 또는 사용자 입력에 의해 결정된 포인트들을 이용하여 투사면에서 적어도 일부 영역을 제외한 나머지 영역에 대응하는 마스크를 생성할 수 있다. 영상 장치는 마스크를 이용하여 나머지 영역에 대응하는 픽셀 값을 조정할 수 있다. 영상 장치는 예를 들어, 나머지 영역에 대응하는 마스킹 값을 '0'으로 조정함으로써 마스크에 해당하는 영역에 화상이 출력되지 않도록 할 수 있다. 마스크를 생성하는 방법에 관한 보다 구체적인 사항은 도 8을 통하여 후술한다.The imaging device may generate masks corresponding to the remaining areas except at least some areas on the projection surface using points determined by automatic determination or user input. The imaging device can adjust pixel values corresponding to the remaining area using a mask. For example, by adjusting the masking value corresponding to the remaining area to '0', the image device can prevent the image from being output to the area corresponding to the mask. A more detailed description of how to generate a mask will be given later with reference to FIG.
영상 장치는 디스플레이 장치의 컨텐츠 재생 시에 적어도 일부 영역의 픽셀들의 좌표들에 대응하여 투사면에 실제로 투사되는 영역의 픽셀들의 참조 좌표들을 포함하는 참조 텍스쳐를 결정한다(730). 참조 좌표는 예를 들어, 평면 영상 또는 곡면 영상을 위한 UV 좌표일 수도 있고, 360도 영상을 위도 및 경도 좌표일 수도 있다. 또한, 참조 텍스쳐는 UV 좌표들의 집합에 해당하는 UV 텍스쳐거나 또는 위도 및 경도 좌표들의 집합에 해당하는 파이 맵(PHI map)일 수 있다. The imaging device determines (730) a reference texture that includes reference coordinates of pixels of an area that is actually projected onto the projection surface in response to coordinates of pixels of at least some of the areas during content reproduction of the display device. The reference coordinates may be, for example, a UV coordinate for a planar image or a surface image, and a 360 degree image may be a latitude and longitude coordinate. The reference texture may also be a UV texture corresponding to a set of UV coordinates or a PHI map corresponding to a set of latitude and longitude coordinates.
영상 장치는 예를 들어, 컨텐츠와 컨텐츠가 투사면에 실제로 투영된 투영 영상 간의 관계에 대응하는 호모그래피 매트릭스(homography matrix)를 이용하여, 참조 텍스쳐를 결정할 수 있다. 이때, 컨텐츠(Px)와 컨텐츠가 투사면에 실제로 투영된 투영 영상(Px') 간에는 아래의 [수학식 1]과 같은 관계가 성립할 수 있다. The imaging device may determine the reference texture using, for example, a homography matrix that corresponds to the relationship between the content and the projected image actually projected on the projection surface. At this time, the relationship between the content (P x ) and the projected image Px 'actually projected on the projection surface can be established as shown in the following equation (1).
Figure 112017112301112-pat00003
Figure 112017112301112-pat00003
여기서, H은 호모그래피 매트릭스에 해당할 수 있다. Here, H may correspond to a homography matrix.
UV 텍스쳐의 경우 특정된 영역 내 픽셀들의 좌표를 상대좌표로 표시할 수 있다. 예를 들어, 도 9를 참조하면, 전체 컨텐츠 내 각 픽셀들은 (0, 0), (1, 0), (0, 1), (1, 1) 이내의 UV 좌표를 가질 수 있다. 각 영상 장치에 대응하여 결정된 일부 영역은 투영 영상(Px') 상의 영역에 해당하고, 수학식 1을 이용하여 일부 영역 내 각 픽셀들에 매칭되는 컨텐츠 상 픽셀이 결정될 수 있다. 일 예로, 투영 영상(Px') 상의 픽셀의 UV 좌표를 결정하기 위하여, 호모그래피 매트릭스를 이용하여 투영 영상(Px') 상의 픽셀을 컨텐츠(Px) 상의 픽셀로 매칭할 수 있다. 투영 영상(Px') 상의 픽셀의 UV 좌표는 컨텐츠(Px) 상의 매칭된 픽셀의 UV 좌표로 설정될 수 있다.In the case of a UV texture, the coordinates of the pixels in a specified area can be expressed in relative coordinates. For example, referring to FIG. 9, each pixel in the entire content may have UV coordinates within (0, 0), (1, 0), (0, 1), (1, 1) A part of the area determined in correspondence with each image device corresponds to an area on the projected image Px ', and a content pixel matching each pixel in a certain area can be determined using Equation (1). In one example, a homography matrix may be used to match a pixel on the projected image Px 'to a pixel on the content Px to determine the UV coordinates of the pixel on the projected image Px'. The UV coordinate of the pixel on the projection image Px 'may be set to the UV coordinate of the matched pixel on the content Px.
영상 장치는 마스크 및 참조 텍스쳐를 이용하여 적어도 일부 영역을 재생한다(740). 영상 장치는 마스크 및 참조 텍스쳐 중 적어도 하나를 영상 장치에 대응시켜 저장하거나, 또는 영상 장치에 대응하는 디스플레이 장치에 매칭시켜 저장할 수 있다. 영상 장치는 컨텐츠를 재생할 때, 저장된 마스크 및 참조 텍스쳐를 이용하여 영상 정보를 생성하고, 생성된 영상 정보를 디스플레이 장치에 전달할 수 있다. 예를 들어, 영상 장치는 저장된 마스크를 이용하여 자신과 연결된 디스플레이 장치의 투사 가능 영역 내에서 실제로 화상을 투사해야 하는 영역을 결정할 수 있고, 참조 텍스쳐를 이용하여 결정된 실 투사 영역 내 각 픽셀들의 값을 결정할 수 있다. 전술한 것과 같이, 참조 텍스쳐는 실 투사 영역 내 각 픽셀들의 값을 결정하기 위하여 컨텐츠 내 어느 픽셀의 값을 참조해야 하는지에 대한 정보를 포함한다.The imaging device reproduces at least a portion of the area using the mask and reference texture (740). The imaging device may store at least one of the mask and the reference texture in association with the imaging device, or may store and match the display device corresponding to the imaging device. When playing the content, the video apparatus generates video information using the stored mask and reference texture, and transmits the generated video information to the display device. For example, the imaging device can use the stored mask to determine the area in the projectable area of the display device associated therewith that should actually project the image, and determine the value of each pixel in the determined area of the seal projection area using the reference texture You can decide. As described above, the reference texture includes information on which pixel value in the content should be referred to in order to determine the value of each pixel in the seal projection area.
도 8은 일 실시예에 따라 마스크를 생성하는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 전체 투사면(805)에서 제1 영상 장치에 대응하는 제1 디스플레이 장치가 컨텐츠를 재생할 수 있는 부분(810) 및 제2 영상 장치에 대응하는 제2 디스플레이 장치가 컨텐츠를 재생할 수 있는 부분(850)이 도시된다. 이때, 제1 영상 장치와 제2 영상 장치는 서로 동일한 장치 그룹에 속한 영상 장치일 수 있다. 8 is a diagram for explaining a method of generating a mask according to an embodiment. 8, a portion 810 in which the first display device corresponding to the first video device can reproduce the content in the entire projection surface 805, and a second display device corresponding to the second video device reproduce the content A portion 850 is shown. At this time, the first video device and the second video device may be video devices belonging to the same device group.
예를 들어, 모바일 디바이스로부터 컨텐츠에 대한 재생 명령이 전송되면, 제1 디스플레이 장치는 부분(810)에서 컨텐츠의 전체 영역 중 일부에 해당하는 영역(830)을 재생하고, 제2 디스플레이 장치는 부분(850)에서 컨텐츠의 전체 영역 중 일부에 해당하는 영역(860)을 재생할 수 있다. For example, when a playback command for content is transmitted from the mobile device, the first display device reproduces a region 830 corresponding to a part of the entire area of the content in the portion 810, 850, it is possible to reproduce the area 860 corresponding to a part of the whole area of the contents.
일 실시예에서는 영상 장치와 연동되는 모바일 디바이스의 사용자 인터페이스(UI)를 통하여, 사용자는 디스플레이 장치가 재생할 영역을 설정할 수 있다. In an embodiment, the user can set an area to be reproduced by the display device through a user interface (UI) of a mobile device interlocked with the image device.
예를 들어, 영상 장치는 디스플레이 장치를 이용하여 투사면(805)에 복수의 포인트들(예를 들어, 부분(810) 내부의 임의의 4개의 포인트들)을 표시할 수 있다. 실시예에 따라, 영상 장치는 투사면(805)의 기본 성질(예를 들어, 투사공간의 유형, 투사공간의 크기 등)에 기초하여 복수의 포인트들이 최초로 표시되는 위치를 결정할 수도 있다.For example, the imaging device may display a plurality of points (e. G., Any four points within portion 810) on the projection surface 805 using a display device. Depending on the embodiment, the imaging device may determine where the plurality of points are initially displayed based on the basic properties of the projection surface 805 (e.g., the type of projection space, the size of the projection space, etc.).
사용자는 모바일 디바이스의 사용자 인터페이스를 이용하여 4개의 포인트들을 이동시켜 영역(830)의 모서리로 이동시킬 수 있다. 영상 장치는 영역(830)의 모서리로 이동된 4개의 포인트들에 의해 제1 디스플레이 장치가 재생할 적어도 일부 영역(830)을 설정할 수 있다. The user may move the four points to the edge of the area 830 using the user interface of the mobile device. The imaging device may set at least some of the areas 830 to be played by the first display device by the four points moved to the edges of the area 830. [
마찬가지 방식으로, 영상 장치는 투사면(805)에 복수의 포인트들을 표시하고, 사용자는 모바일 디바이스의 사용자 인터페이스를 통하여 부분(850)의 각 모서리의 위치에 대응하는 4개의 포인트들을 이동시켜 영역(860)의 모서리로 이동시킬 수 있다. 영상 장치는 영역(860)의 모서리로 이동된 4개의 포인트들에 의해 제2 디스플레이 장치가 재생할 적어도 일부 영역(860)을 설정할 수 있다. Similarly, the imaging device displays a plurality of points on the projection surface 805, and the user moves the four points corresponding to the position of each corner of the portion 850 through the user interface of the mobile device, ) To the edge of the frame. The imaging device may set at least some of the areas 860 to be reproduced by the second display device by the four points moved to the edge of the area 860. [
영상 장치는 제1 디스플레이 장치를 위한 마스크 정보를 생성할 수 있다. 영상 정보는 예를 들어, 일부 영역(830)에 대응하는 마스킹 값을 '1'로 조정하고, 나머지 영역(820)에 대응하는 마스킹 값을 '0'으로 조정할 수 있다. The imaging device may generate mask information for the first display device. For example, the masking value corresponding to the partial area 830 may be adjusted to '1' and the masking value corresponding to the remaining area 820 may be adjusted to '0'.
마찬가지로, 영상 장치는 제2 디스플레이 장치를 위한 마스크 정보를 생성할 수 있다. 영상 장치는 일부 영역(860)에 대응하는 마스킹 값을 '1'로 조정하고, 나머지 영역(870)에 대응하는 마스킹 값을 '0'으로 조정할 수 있다. Likewise, the imaging device may generate mask information for the second display device. The imaging apparatus may adjust the masking value corresponding to the partial area 860 to '1' and adjust the masking value corresponding to the remaining area 870 to '0'.
제1 영상 장치는 모바일 디바이스 또는 서버에 의해 전송된 신호에 의해, 제1 영상 장치에 대응하는 제1 디스플레이 장치가 재생하는 영역(830)이 제2 영상 장치에 대응하는 제2 디스플레이 장치가 재생하는 영역(860)과 겹치는 영역(overlapped area)(840)이 발생함을 파악할 수 있다. 이 경우, 제1 영상 장치는 겹치는 영역(840)에 대한 마스킹 값을 예를 들어, 0.5로 조정할 수 있다. 제2 영상 장치 또한 제1 영상 장치와 마찬가지로, 겹치는 영역(840)에 대한 마스킹 값을 예를 들어, 0.5로 조정할 수 있다. 이로 인하여, 복수의 디스플레이 장치들에 의하여 겹쳐서 투사되는 영역의 밝기가 단일 디스플레이 장치에 의하여 투사되는 영역의 밝기와 동일해질 수 있다.The first video apparatus may be configured such that a signal transmitted by the mobile device or the server causes the area 830 reproduced by the first display apparatus corresponding to the first video apparatus to be reproduced by the second display apparatus corresponding to the second video apparatus It can be seen that an overlapped area 840 occurs with the area 860. In this case, the first imaging device may adjust the masking value for the overlapping area 840 to, for example, 0.5. As with the second imaging device and the first imaging device, the masking value for the overlapping area 840 can be adjusted to, for example, 0.5. Accordingly, the brightness of the area overlappingly projected by the plurality of display devices can be equal to the brightness of the area projected by the single display device.
또한, 제1 영상 장치 또는 제2 영상 장치는 겹치는 영역(840)에 포함된 일부 영역들의 경계선들(835, 865) 및 경계선들(835, 865)에 인접한 영역을 포함하는 경계 영역의 마스킹 값을 스무딩(smoothing)할 수 있다. 이로 인하여, 복수의 디스플레이 장치들에 의하여 분할되어 투사되는 영역들 사이의 경계의 시인성이 제거될 수 있다.In addition, the first or second imaging device may mask the boundary regions 835 and 865 of the partial regions included in the overlap region 840 and the masking values of the boundary region including the regions adjacent to the boundary lines 835 and 865 Smoothing can be performed. Thus, the visibility of the boundary between the regions divided and projected by the plurality of display devices can be eliminated.
영상 장치는 예를 들어, 1차 미분법, 소벨 에지(sobel edge) 추출법, 프리윗 에지(prewitt dege) 추출법 등과 같은 다양한 에지 추출 알고리즘을 이용하여 경계 영역을 산출할 수 있다. 영상 장치는 예를 들어, 가우시안 스무딩(Gaussian) 알고리즘 또는 히스토그램 평활화(Histrogram Equalization) 등과 같은 다양한 스무딩 알고리즘을 이용하여 경계 영역을 스무딩할 수 있다.The imaging device can calculate the boundary area using various edge extraction algorithms such as first order differential method, sobel edge extraction method, prewitt dege extraction method, and the like. The imaging device may smooth the boundary region using various smoothing algorithms such as, for example, a Gaussian algorithm or a histogram equalization.
도 9는 일 실시예에 따라 참조 텍스쳐를 결정하는 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 참조 텍스쳐의 일 예인 UV 텍스쳐(910)가 도시된다. 9 is a diagram for explaining a method of determining a reference texture according to an embodiment. Referring to FIG. 9, there is shown a UV texture 910, which is an example of a reference texture.
UV 좌표계는 텍스쳐 이미지(UV 텍스쳐(910))를 3차원 공간에 입히는 텍스쳐 맵핑을 위해 변환 기준이 되는 2차원 좌표계에 해당할 수 있다. The UV coordinate system may correspond to a two-dimensional coordinate system that is a conversion reference for texture mapping to texture image (UV texture 910) in three-dimensional space.
UV 좌표는 최소 0부터 1까지의 값을 가질 수 있다. UV 좌표는 참조 텍스쳐(UV 텍스쳐(910))의 해상도와 관계없이 0부터 1까지의 값으로 표현될 수 있다. The UV coordinates can have a value from 0 to 1 at a minimum. The UV coordinates can be expressed as a value from 0 to 1, regardless of the resolution of the reference texture (UV texture 910).
도 9의 (a)는 아직 참조 텍스쳐(UV 텍스쳐(910))를 입히지 않은 두 삼각형을 나타낸다. 이때, 정점 v0, v1, v2가 하나의 삼각형을 이루고, 정점 v0, v2, v3가 다른 하나의 삼각형을 이룰 수 있다.Figure 9 (a) shows two triangles that do not yet have a reference texture (UV texture 910). At this time, vertices v0, v1, and v2 form one triangle, and vertices v0, v2, and v3 form another triangle.
도 9의 (b)는 참조 텍스쳐를 이용하여 렌더링하기 위한 v0, v1, v2, v3의 UV 좌표의 범위가 (0,0) ~ (1,1)인 경우를 나타내고, 도 9의 (c)는 렌더링을 위한 UV 좌표의 범위가 (0,0) ~ (0.5, 1)인 경우를 나타낸다. 도 9의 (c)에 따르면, 참조 텍스쳐(UV 텍스쳐(910))의 왼쪽 절반만이 보여짐을 알 수 있다. 9B shows a case where the range of UV coordinates of v0, v1, v2 and v3 for rendering using the reference texture is (0,0) to (1,1), and FIG. Indicates the case where the range of the UV coordinates for rendering is (0,0) to (0.5,1). According to FIG. 9 (c), only the left half of the reference texture (UV texture 910) is visible.
도 9의 (d)는 렌더링을 위한 UV 좌표의 범위가 (0,0) ~ (0.5, 0.5)인 경우를 나타내며, 이때는 참조 텍스쳐(UV 텍스쳐(910))의 왼쪽 절반 중 위쪽 절반만이 보여질 수 있다.9D shows a case where the range of UV coordinates for rendering is (0,0) to (0.5, 0.5), in which only the upper half of the left half of the reference texture (UV texture 910) Can be.
도 9의 (e)는 렌더링을 위한 UV 좌표의 범위가 (0,0) ~ (1,2)인 경우를 나타낸다. 이 경우, 참조 텍스쳐(UV 텍스쳐(910))는 위 아래로 두 번 반복해 표현될 수 있다. 도 9의 (f)와 같이 렌더링을 위한 UV 좌표의 범위가 (0,0) ~ (2,2)인 경우, 참조 텍스쳐(UV 텍스쳐(910))는 위아래로 두 번, 그리고 좌우로 두 번 반복해 표현될 수 있다. 이 외에도 렌더링을 위한 UV 좌표의 범위를 (1,0) ~ (0,1)로 하면 참조 텍스쳐(UV 텍스쳐(910))의 좌우를 뒤집어 표현할 수 있다. FIG. 9E shows a case where the range of UV coordinates for rendering is (0,0) to (1,2). In this case, the reference texture (UV texture 910) may be repeated two times up and down. If the range of the UV coordinates for rendering is (0,0) to (2,2) as shown in FIG. 9 (f), the reference texture (UV texture 910) is twice vertically and twice horizontally Can be expressed repeatedly. In addition, if the range of the UV coordinates for rendering is (1,0) to (0,1), the left and right sides of the reference texture (UV texture 910) can be inverted.
영상 장치는 전술한 방식으로 디스플레이 장치의 컨텐츠 재생 시에 적어도 일부 영역의 픽셀들의 좌표들에 대응하여 투사면에 실제로 투사되는 영역의 픽셀들의 참조 좌표들을 포함하는 참조 텍스쳐를 이용할 수 있다. The imaging device may use a reference texture that includes reference coordinates of pixels of an area actually projected onto the projection surface corresponding to the coordinates of pixels of at least some of the areas in the reproduction of the content of the display device in the manner described above.
도 10은 다른 실시예에 따른 참조 텍스쳐를 결정하는 방법을 설명하기 위한 도면이다. 도 10을 참조하면, 360도 영상을 위도 및 경도 좌표로 표현한 참조 좌표가 도시된다. 참조 텍스쳐는 위도 및 경도 좌표들의 집합에 해당하는 파이 맵(PHI map)일 수 있다. 파이 맵에서 위도 및 경도 좌표는 도 9를 통해 설명한 UV 좌표와 마찬가지로 기능할 수 있다. FIG. 10 is a view for explaining a method of determining a reference texture according to another embodiment. Referring to FIG. 10, reference coordinates representing a 360-degree image in latitude and longitude coordinates are shown. The reference texture may be a PHI map corresponding to a set of latitude and longitude coordinates. The latitude and longitude coordinates in the pi map can function in the same manner as the UV coordinates described with reference to Fig.
일 실시예에 따른 동기화 방법A synchronization method according to an embodiment
도 11은 일 실시예에 따른 영상 장치의 동기화 방법을 나타낸 흐름도이다. 도 11을 참조하면, 일 실시예에 따른 영상 장치(예를 들어, 슬레이브 영상 장치)는 무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환한다(1110). 시간 정보는 예를 들어, SNTP 패킷을 이용하여 교환될 수 있다. 이때, 시간 정보는 제1 패킷을 제1 시간에 마스터 영상 장치에게 전송하는 영상 장치 측의 제1 타임 스탬프, 영상 장치로부터 제1 시간에 전송된 패킷을 제2 시간에 수신하는 마스터 영상 장치 측의 제2 타임 스탬프, 및 제2 패킷을 제2 시간으로부터 소정의 딜레이 이후인 제3 시간에 영상 장치로 전송하는 마스터 영상 장치 측의 제3 타임 스탬프를 포함할 수 있다. 제1 패킷은 제1 타임 스탬프를 포함하고, 제2 패킷은 제1 타임 스탬프, 제2 타임 스탬프, 및 제3 타임 스탬프를 포함할 수 있다. 일 실시예에 따른 영상 장치가 마스터 영상 장치와 시간 정보를 교환하는 구체적인 방법은 도 12를 참조하여 구체적으로 설명한다. 11 is a flowchart illustrating a method of synchronizing a video apparatus according to an exemplary embodiment. Referring to FIG. 11, a video device (e.g., a slave video device) according to an embodiment exchanges time information with a master video device included in a device group in a wireless network (1110). The time information may be exchanged using SNTP packets, for example. At this time, the time information includes a first time stamp on the side of the video apparatus for transmitting the first packet to the master video apparatus at the first time, a time stamp on the side of the master video apparatus for receiving the packet transmitted at the first time from the video apparatus at the second time And a third time stamp on the master imaging device side that transmits the second packet to the imaging device at a third time after a predetermined delay from the second time. The first packet may comprise a first timestamp and the second packet may comprise a first timestamp, a second timestamp, and a third timestamp. A specific method by which the video apparatus according to an embodiment exchanges time information with the master video apparatus will be described in detail with reference to FIG.
영상 장치는 시간 정보에 기초하여 마스터 영상 장치와 영상 장치 간의 타임 오프셋들을 산출한다(1120). 영상 장치는 단계(1110)에서 마스터 영상 장치와 교환한 시간 정보에 포함된 제1 내지 제3 타임 스탬프들, 및 마스터 영상 장치로부터 제3 시간에 전송된 제2 패킷을 제4 시간에 수신하는 영상 장치 측의 제4 타임 스탬프에 기초하여 타임 오프셋들을 산출할 수 있다. 실시예에 따라서, 영상 장치는 시간 정보에 대한 유효성을 검사하고, 유효성 검사를 통과한 시간 정보에 기초하여 타임 오프셋들을 산출할 수 있다. The imaging device calculates the time offsets between the master imaging device and the imaging device based on the time information (1120). The video apparatus receives the first through third time stamps included in the time information exchanged with the master video apparatus at step 1110 and the video packet that receives the second packet transmitted at the third time from the master video apparatus at the fourth time And calculate time offsets based on a fourth time stamp on the device side. According to an embodiment, the imaging device can check the validity of the time information and calculate the time offsets based on the time information that passed the validation.
영상 장치는 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성한다(1130). 이때, 샘플링 파라미터는 아웃라이어가 필터링된 샘플링 데이터에서 샘플링 데이터가 추출될 확률 및 타임 오프셋들 중에서 아웃라이어가 필터링된 샘플링 데이터의 비율에 기초하여 결정될 수 있다. 필터링 파라미터는 아웃라이어가 필터링된 샘플링 데이터의 표준 편차에 기초하여 결정될 수 있다. 영상 자치가 동기화 정보를 생성하는 방법은 도 13을 참조하여 구체적으로 설명한다. The imaging device generates synchronization information based on sampling parameters for extracting sampling data from the time offsets and filtering parameters for determining whether the sampling data is outliers (1130). At this time, the sampling parameter may be determined based on the probability that the outlier extracts the sampling data from the filtered sampling data and the ratio of the sampling data whose outliers are filtered out of the time offsets. The filtering parameters may be determined based on the standard deviation of the filtered sampling data by the outlier. The method by which the video autonomous entity generates synchronization information will be described in detail with reference to FIG.
영상 장치는 동기화 정보를 이용하여 마스터 영상 장치에 동기화한다(1140).The imaging device synchronizes to the master imaging device using the synchronization information (1140).
도 12는 일 실시예에 따른 어느 하나의 슬레이브 영상 장치와 마스터 영상 장치 간에 주고 받는 시간 정보를 설명하기 위한 도면이다. 12 is a view for explaining time information exchanged between a slave image device and a master image device according to an embodiment.
컴퓨터 하드웨어 기술은 소형화와 고성능이라는 키워드를 중심으로 계속 개발되어 현재는 다양한 제품들이 시장에 나오고 있다. 특히 라즈베이 파이와 같은 제품을 필두로 소형 컴퓨터가 많이 등장하였는데, 최근에는 높은 수준의 그래픽 연산까지 가능한 제품들이 속속 나오고 있어 그 사용성이 점차 늘어가고 있다. 이러한 기기들은 Full-HD 이상의 영상 복호화를 지원하고 네트워크 모듈과 다양한 운영체제도 지원함으로써 많은 창의적인 서비스들이 가능하도록 한다. 이러한 고성능 소형 컴퓨터를 복수의 디스플레이를 사용하는 영상 시스템에 이용하고자 할 때, 디스플레이 하나당 소형 컴퓨터가 한 개씩 연결되고 각각이 영상의 한 부분씩을 담당하여 재생할 수 있다. Computer hardware technology continues to be developed around the keywords of miniaturization and high performance, and various products are now on the market. In particular, many small computers have appeared with products such as Razbai Pie. Recently, there have been a lot of products capable of high-level graphic operation. These devices support full-HD or higher video decoding, network modules and various operating systems, enabling many creative services. When such a high performance small computer is used in an image system using a plurality of displays, one small computer is connected to one display, and each one of the images can be played by taking charge of each one of the images.
그리고 무선 네트워크를 통해 시간 동기화를 수행하며 각각의 영상을 재생해야 하는데, 여기서 중요한 것이 바로 안정적인 동기화이다. 일반적인 상용 시스템을 위한 무선 동기화 재생 모듈의 조건은 아래의 3가지로 정리할 수 있다. Then, time synchronization is performed through the wireless network and each image is reproduced. What is important here is stable synchronization. The conditions of the wireless synchronization reproduction module for general commercial system can be summarized as follows.
1. 프레임 동기화를 위한 수 밀리초 이내의 시간 정밀도 1. Time precision within milliseconds for frame synchronization
2. 시간 동기화를 시작한 후 목표 시간 정밀도를 달성까지의 신속함 2. Quick to achieve target time accuracy after starting time synchronization
3. 네트워크 상황이 불안정한 때를 대비 가능함 3. Possible to prepare for unstable network situation
대부분의 시스템들은 시간 동기화를 위해 국제표준인 NTP(Network Time Protocol)를 사용한다. NTP는 이론적으로 국제 표준시인 UTC(Coordinated Universal Time)와 밀리 세컨드 단위로 동기화하는데, 이를 위해 원자 시계부터 계층 구조로 분산 네트워크를 이루며 여러 시계들과 패킷을 주고 받는다. 그리고 그 정보들을 후처리 알고리즘들을 통해 통계적인 방법으로 분석하고 시계를 맞추는데 사용할 수 있다. 이러한 NTP의 복잡한 구조는 신속하게 시계를 맞추기보다는 정확하게 맞추기 위한 것이므로 목표 시간 정밀도를 신속하게 맞추기 어렵다. 따라서 일 실시예에서는 위의 조건 2를 만족시키기 위해서는 무선 동기화 재생 모듈로서 SNTP를 사용한다. Most systems use the international standard NTP (Network Time Protocol) for time synchronization. NTP is theoretically synchronized with UTC (Coordinated Universal Time), which is the international standard time, in milliseconds. It forms a distributed network from atomic clock to hierarchical structure and exchanges packets with many clocks. The information can then be analyzed statistically through postprocessing algorithms and used to fit the clock. The complexity of this NTP is that it is aimed at more precisely aligning rather than quickly aligning clocks, making it difficult to quickly achieve target time accuracy. Therefore, in one embodiment, in order to satisfy the above condition 2, SNTP is used as a wireless synchronization reproduction module.
SNTP는 기존의 NTP 표준에서 복잡한 후처리 알고리즘을 필요로 하지 않기 때문에 구현이 비교적 간단하고, 커스터마이징도 용이하다. 그러나 무선 네트워크를 이용하는 장치들 간에 시간 동기화를 수행하고자 할 때, SNTP는 주고받는 패킷들에 대한 필터링 과정이 생략되어 있기 때문에 안정성이 떨어진다는 문제점이 있다. 유선 연결에 비해 불안정한 무선 네트워크에 있어서 비정상적인 패킷 하나만으로도 동기화 재생의 품질을 떨어뜨릴 수 있기 때문이다. SNTP does not require complicated post-processing algorithms in the existing NTP standard, so its implementation is relatively simple and easy to customize. However, when time synchronization is to be performed between devices using a wireless network, the SNTP has a problem in that the filtering process for the packets to be exchanged is omitted and the stability is degraded. This is because, in an unstable wireless network compared to a wired connection, only one abnormal packet may degrade the quality of synchronization reproduction.
일 실시예에서는 RANSAC 알고리즘을 이용하여 SNTP의 구동 과정에서 얻어진 시간 샘플을 처리하여 동기화를 유지함으로써 SNTP를 기반으로 신속성과 정밀도를 가진 무선 네트워크 상에서의 시간 동기화 방법을 제공할 수 있다. 이는 제한된 컴퓨팅 환경에서도 간단히 구현이 가능하고, NTP의 데이터 처리 과정 중 신뢰도 높은 샘플을 고를 수 있다. 실험 결과에 따르면, 일 실시예에 따른 동기화 방법은 5초 안에 5 밀리초 이내의 시간 정밀도를 유지하며 어떤 환경에서도 안정적으로 구동될 수 있을 정도로 적은 리소스를 사용함을 볼 수 있다.In one embodiment, the time samples obtained in the driving process of the SNTP are processed using the RANSAC algorithm to maintain the synchronization, thereby providing a time synchronization method on the wireless network having the fastness and accuracy based on the SNTP. It can be easily implemented in a limited computing environment, and can select reliable samples during NTP data processing. According to the experimental results, it can be seen that the synchronization method according to the embodiment maintains the time accuracy within 5 milliseconds within 5 seconds and uses a small amount of resources so that it can be stably driven in any environment.
일 실시예에서는 네트워크 상의 서버(server)-피어(peer)-클라이언트들(clients) 간에 시간 정보를 담은 패킷을 교환하면서 정보를 분석하는 방법으로 동기화를 수행할 수 있다. 이 때 패킷에 담기는 시간 정보를 타임 스탬프(time stamp)라고 할 수 있다. 타임 스탬프에 보낸 패킷과 받은 패킷에 대한 정보를 모두 기록함으로써 동시에 여러 장치들과 패킷을 교환하더라도 패킷 분실 및/또는 중복 전송에 상관없이 안전하게 동기화를 수행할 수 있다. In one embodiment, synchronization can be performed by analyzing information while exchanging packets containing time information between server-peer-clients on the network. At this time, the time information included in the packet can be referred to as a time stamp. By recording both the packet sent to the time stamp and the received packet, it is possible to securely synchronize regardless of packet loss and / or redundant transmission even if packets are exchanged with various devices at the same time.
도 12를 참조하면, 슬레이브 영상 장치 A(1210)와 마스터 영상 장치 B(1230) 간에 제1 시간(T1)부터 제4 시간(T4)까지 패킷을 주고받는 시간 정보가 도시된다. 일 실시예에서는 제1 시간(T1)부터 제4 시간(T4)까지의 4개의 타임 스탬프와 org, rec, xmt라는 세 개의 상태 변수를 이용할 수 있다. org는 송신(슬레이브 영상 장치 A(1210)) 측의 타임 스탬프를, rec는 수신(마스터 영상 장치 B(1230)) 측의 타임 스탬프, xmt는 송신(슬레이브 영상 장치 A(1210)) 측의 타임 스탬프를 나타낼 수 있다.Referring to FIG. 12, time information for exchanging packets between the slave video apparatus A 1210 and the master video apparatus B 1230 from the first time T 1 to the fourth time T 4 is shown. In one embodiment, there are four time stamps from the first time (T 1 ) to the fourth time (T 4 ) and three state variables, org, rec, and xmt. org indicates the time stamp on the side of the transmission (slave video apparatus A 1210), rec indicates the time stamp on the side of the reception (master video apparatus B 1230), xmt indicates the time on the transmission side (slave video apparatus A 1210) Stamps can be represented.
4개의 타임 스탬프는 제1 패킷을 제1 시간(T1)에 마스터 영상 장치에게 전송하는 영상 장치 측의 제1 타임 스탬프, 영상 장치로부터 제1 시간(T1)에 전송된 패킷을 제2 시간(T2)에 수신하는 마스터 영상 장치 측의 제2 타임 스탬프, 제2 패킷을 제2 시간(T2)으로부터 소정의 딜레이 이후인 제3 시간(T3)에 영상 장치로 전송하는 마스터 영상 장치 측의 제3 타임 스탬프, 및 마스터 영상 장치로부터 제3 시간(T3)에 전송된 제2 패킷을 제4 시간(T4)에 수신하는 영상 장치 측의 제4 타임 스탬프를 포함할 수 있다. The four timestamps include a first time stamp on the side of the imaging device that transmits the first packet to the master imaging device at the first time T 1 , a second time stamp on the side of the imaging device that transmits the packet transmitted at the first time T 1 from the imaging device, (T 2) the master video device side of the second time stamp, and a master video device for sending a second packet to an imaging device of claim the third time after a predetermined delay from 2 hours (T 2) (T 3) for receiving the side it is possible to include a fourth time stamp of the third time stamp, and the master third time from the video device (T 3) the imaging device side for receiving the transmitted second packet to a fourth time (T 4) of the.
제1 패킷은 슬레이브 영상 장치 A(1210)로부터 전송될 수 있다. The first packet may be transmitted from slave imaging device A 1210.
슬레이브 영상 장치 A(1210)가 제1 패킷을 통해 송신 측의 타임 스탬프인 T1를 전송하며, 마스터 영상 장치 B(1230)는 타임 스탬프 T1를 xmt에 복사해둘 수 있다. Slave imaging apparatus A 1210 transmits a transmission time stamp T 1 through a first packet, and master imaging apparatus B 1230 can copy time stamp T 1 to xmt.
마스터 영상 장치 B(1230)는 제1 패킷을 제2 시간(T2)에 받아서 받은 내용인 T1을 자신의 org에 복사하고, T2를 rec에 복사한다. 그리고 잠시 후인 제3 시간(T3)에 마스터 영상 장치 B(1230)는 제2 패킷에 T1, T2, T3를 모두 담아 슬레이브 영상 장치 A(1210)에게 전송할 수 있다. 마스터 영상 장치 B(1230)는 이때 자신이 제2 패킷을 전송한 시간인 T3 에 대한 정보 또한 xmt에 복사해둘 수 있다.The master video apparatus B 1230 receives the first packet at the second time T 2 , copies the received content T 1 to its org, and copies T 2 to rec. Then, at a third time (T 3 ) after a while, the master imaging apparatus B 1230 can transmit all of T 1, T 2 and T 3 to the slave imaging apparatus A 1210 in the second packet. Master image device B 1230 may also copy information about T 3 , the time at which it has transmitted the second packet, to xmt.
슬레이브 영상 장치 A(1210)는 제4 시간(T4)에 마스터 영상 장치 B(1230)가 전송한 제2 패킷을 수신하고, 제2 패킷에 대한 유효성 검사를 수행할 수 있다. The slave imaging apparatus A 1210 can receive the second packet transmitted by the master imaging apparatus B 1230 at the fourth time T 4 and perform the validity check on the second packet.
슬레이브 영상 장치 A(1210)는 제4 시간(T4)에 받은 제2 패킷에 포함된 T1이 xmt에 저장해 놨던 정보와 같은지를 비교하고, T3 값이 0이 아닌지를 체크함으로써 제2 패킷이 유효한 패킷인지를 검사할 수 있다. The slave video apparatus A 1210 compares whether the T 1 included in the second packet received at the fourth time T 4 is equal to the information stored in the xmt and checks whether the T 3 value is not 0, Lt; / RTI > is a valid packet.
검사 결과, 제2 패킷이 유효한 패킷으로 확정되면, 슬레이브 영상 장치 A(1210)는 지금까지 저장된 정보인 T1, T2, T3를 이용하여 타임 오프셋(θ)과 라운드 트립 딜레이(round-trip delay)(δ)를 계산할 수 있다. If the second packet is determined to be a valid packet, the slave video apparatus A 1210 uses the stored information T 1, T 2, and T 3 to calculate a time offset (?) And a round-trip delay delay (delta).
타임 오프셋(θ)은 슬레이브 영상 장치 A(1210)와 마스터 영상 장치 B(1230) 간의 시간 차를 의미하며, 예를 들어, 아래의 [수학식 2]을 통해 구할 수 있다. The time offset? Represents a time difference between the slave video apparatus A 1210 and the master video apparatus B 1230, and can be obtained, for example, by the following equation (2).
Figure 112017112301112-pat00004
Figure 112017112301112-pat00004
라운드 트립 딜레이(δ)는 보낸 패킷이 돌아올 때까지 순수하게 이동하는 데에만 걸린 시간을 의미하며, 예를 들어, 제4 시간과 제1 시간 간의 차이 및 제3 시간과 제2 시간 간의 차이를 더한 값으로 결정될 수 있다. The round-trip delay (delta) means the time taken to move purely until the sent packet returns, for example, the difference between the fourth time and the first time and the difference between the third time and the second time Value. ≪ / RTI >
이렇게 획득한 타임 오프셋(θ)과 라운드 트립 딜레이(δ) 정보들 중에는 네트워크 장애 등 여러 가지 원인으로 인한 노이즈가 포함될 수 있다. 일 실시예에서는 아래의 도 13의 방법에 의해 타임 오프셋에 포함된 노이즈를 제거하여 최종적으로 가장 좋은 타임 오프셋 값을 이용하여 동기화를 수행할 수 있다.Among the obtained time offset (?) And round trip delay (?) Information, noise due to various causes such as a network failure may be included. In one embodiment, the noise included in the time offset can be removed by the method of FIG. 13 below, and the synchronization can be finally performed using the best time offset value.
도 13은 일 실시예에 따라 동기화 정보를 생성하는 방법을 나타낸 흐름도이다. 도 13을 참조하면, 일 실시예에 따른 영상 장치는 타임 오프셋들을 RANSAC 모델에 입력함으로써, 타임 오프셋들 중 아웃라이어(outlier)가 필터링된 샘플링 데이터를 획득한다(1310). 여기서, 아웃라이어는 예를 들어, 타임 오프셋 값이 200 ms 이상 튀는 경우와 같이 통상적인 타임 오프셋 값의 범위에서 크게 벗어나는 노이즈에 해당하는 값으로 이해될 수 있다. 또한, 인라이어는 통상적인 타임 오프셋 값의 범위 내에 존재하는 값들로 이해될 수 있다.13 is a flow diagram illustrating a method for generating synchronization information in accordance with one embodiment. Referring to FIG. 13, an imaging apparatus according to an exemplary embodiment inputs the time offsets to a RANSAC model so that an outlier among the time offsets acquires filtered sampling data (1310). Here, the outlier can be understood as a value corresponding to a noise which largely deviates from the range of the normal time offset value, for example, when the time offset value jumps over 200 ms. Further, the inliers can be understood as values existing within a range of a typical time offset value.
RANSAC은 어떤 데이터에서 그것들을 표현할 수 있는 수학적 모델을 구하는 방법으로서, 무작위로 뽑은 샘플링 데이터에 대해서 가장 많은 지지를 받는 모델을 선택할 수 있다. 기본적으로 샘플링 데이터에서 아웃라이어의 비중이 추측하고자 하는 모델의 실제값에 영향이 미미할 때 잘 작동하게 된다. RANSAC is a method for obtaining a mathematical model that can represent them in any data, and can select a model that receives the most support for randomly sampled data. Basically, it works well when the proportion of outliers in the sampled data has little effect on the actual value of the model that you want to guess.
RANSAC 모델을 이용할 때, 필요한 것은 샘플링 과정을 몇 번 반복할 것인지의 반복 횟수(k)와 해당 타임 오프셋을 인라이어(inlier) 리스트에 넣을지를 결정하는 기준값 (t)이다. 반복 횟수(k)는 샘플링 파라미터라고 부를 수 있다. 또한, 기준 값(t)는 필터링 파라미터라고 부를 수 있다. When using the RANSAC model, what is needed is a reference number (t) that determines the number of iterations (k) of how many iterations of the sampling process are repeated and whether to include the time offset in the inlier list. The number of repetition times (k) may be called a sampling parameter. Further, the reference value t may be called a filtering parameter.
RANSAC 모델이 성공하기 위해서는 샘플링 데이터를 추출하는 시도 중 적어도 한 번은 인라이어들에서만 샘플링 데이터가 뽑혀야 한다. 이러한 확률은 반복 횟수(k)를 늘릴수록 증가하지만 그와 함께 연산량도 증가하므로 아래의 [수학식 3]와 같은 확률 계산식을 이용하여 반복 횟수(k)를 결정할 수 있다. In order for the RANSAC model to be successful, sampling data should be drawn only from the inliers at least once during the attempt to extract the sampling data. This probability increases as the number of repetition times k increases, but the amount of computation increases as the number of repetition times k increases. Therefore, the number of repetition times k can be determined using a probability calculation formula as shown in the following Equation (3).
Figure 112017112301112-pat00005
Figure 112017112301112-pat00005
여기서, p는 인라이어들 중에서 샘플링 데이터가 추출될 확률을 나타내고, α는 입력 데이터들(타임 오프셋들) 중에서 인라이어들의 비율, 다시 말해 타임 오프셋들 중에서 아웃라이어가 필터링된 샘플링 데이터의 비율을 나타낸다. n은 한 번에 뽑는 샘플링 데이터들의 개수를 나타내고, k는 샘플링 데이터를 뽑는 반복 횟수이다. Here, p represents the probability of sampling data being extracted from among the inliers, and a represents the ratio of the inliers among the input data (time offsets), that is, the ratio of the sampling data outliers filtered out of the time offsets . n represents the number of sampled data sampled at one time, and k represents the number of sampling sampled data.
해당 타임 오프셋을 인라이어 리스트에 넣을지를 결정하는 기준값(t)이 너무 크면 모델 간의 변별력이 없어지고, 너무 작으면 RANSAC 알고리즘 자체가 실패할 확률이 올라갈 수 있다. 일 실시예에서 인라이어들의 표준 편차를 2σ라고 할 때, 기준값(t)이 2σ 또는 3σ가 되도록 결정할 수 있다. 실시예에 따라서 타임 오프셋들의 분산을 구해서 기준값(t)를 정한 후에 RANSAC을 수행함으로써 보다 정확한 결과를 얻을 수 있다.If the reference value t for determining whether to insert the time offset into the inlier list is too large, the discrimination power between the models is lost. If the reference value t is too small, the probability of the RANSAC algorithm itself failing may increase. In one embodiment, when the standard deviation of the inliers is 2σ, the reference value t can be determined to be 2σ or 3σ. More accurate results can be obtained by performing RANSAC after determining the reference value t by obtaining the variance of the time offsets according to the embodiment.
일 실시예에 따른 영상 장치가 아웃라이어가 필터링된 샘플링 데이터를 획득하는 방법은 도 14를 참조하여 구체적으로 설명한다. A method by which a video apparatus according to an embodiment obtains filtered sampling data by an outlier will be described in detail with reference to FIG.
영상 장치는 획득된 샘플링 데이터에 기초하여, 동기화 정보를 결정한다(1320). 영상 장치가 획득된 샘플링 데이터에 기초하여 동기화 정보를 결정하는 방법은 도 15를 참조하여 구체적으로 설명한다. The imaging device determines synchronization information based on the acquired sampling data (1320). The method by which the imaging apparatus determines the synchronization information based on the obtained sampling data will be described in detail with reference to Fig.
도 14는 일 실시예에 따라 아웃라이어가 필터링된 샘플링 데이터를 획득하는 방법을 나타낸 흐름도이다. 도 14를 참조하면, 일 실시예에 따른 영상 장치는 타임 오프셋들로부터 샘플링 데이터를 추출할 수 있다(1410). 예를 들어, 타임 오프셋들이 1000 개 있다면, 영상 장치는 1000 개의 타임 오프셋들 중 100개 또는 50개를 샘플링 데이터로 추출할 수 있다. 14 is a flow diagram illustrating a method for an outlier to obtain filtered sampling data in accordance with one embodiment. Referring to FIG. 14, a video apparatus according to an exemplary embodiment may extract sampling data from time offsets (1410). For example, if there are 1000 time offsets, the imaging device can extract 100 or 50 out of 1000 time offsets as sampling data.
영상 장치는 샘플링 데이터의 통계값에 기초하여 기준 모델(criteria model) 을 결정할 수 있다(1420). 기준 모델을 예를 들어, 타임 오프셋 값의 평균값, 다시 말해 상수 모델일 수 있다. 샘플링 데이터의 통계값은 예를 들어, 평균, 또는 분산 값일 수 있다.The imaging device may determine a criteria model based on the statistical values of the sampling data (1420). The reference model may be, for example, the mean value of the time offset value, i. E., A constant model. The statistical value of the sampling data may be, for example, an average, or a variance value.
영상 장치는 샘플링 데이터와 기준 모델 간의 차이와 필터링 파라미터를 비교함으로써 아웃라이어를 제거할 수 있다(1430). 예를 들어, 필터링 파라미터가 0.0005 이고, 샘플링 데이터와 기준 모델 간의 차이가 0.0003 이라고 하자. 영상 장치는 샘플링 데이터와 기준 모델 간의 차이(0.0003)가 필터링 파라미터(0.0005) 보다 작으므로 해당 샘플링 데이터를 인라이어 리스트에 포함시킬 수 있다. 반면, 샘플링 데이터와 기준 모델 간의 차이가 0.0007이라면, 영상 장치는 샘플링 데이터와 기준 모델 간의 차이(0.0007)가 필터링 파라미터(0.0005) 보다 크므로 해당 샘플링 데이터를 아웃라이어로 판단하여 제거할 수 있다. The imaging device may remove the outlier by comparing the filtering parameters and the difference between the sampling data and the reference model (1430). For example, let us say that the filtering parameter is 0.0005, and the difference between the sampling data and the reference model is 0.0003. Since the difference (0.0003) between the sampling data and the reference model is smaller than the filtering parameter (0.0005), the imaging apparatus can include the sampling data in the inlier list. On the other hand, if the difference between the sampling data and the reference model is 0.0007, since the difference (0.0007) between the sampling data and the reference model is larger than the filtering parameter (0.0005), the video apparatus can determine the corresponding sampling data as outliers and remove it.
도 15는 일 실시예에 따라 동기화 정보를 결정하는 방법을 나타낸 흐름도이다. 도 15를 참조하면, 일 실시예에 따른 영상 장치는 샘플링 파라미터에 대응하여, 아웃라이어가 제거된 복수의 샘플링 데이터들을 획득할 수 있다(1510).15 is a flow diagram illustrating a method for determining synchronization information in accordance with one embodiment. Referring to FIG. 15, a video apparatus according to an embodiment may acquire a plurality of sampling data from which an outlier has been removed, corresponding to a sampling parameter (1510).
영상 장치는 복수의 샘플링 데이터들 중 하나의 샘플링 데이터를 선택할 수하는 있다(1520).The imaging device may select one of a plurality of sampling data (1520).
영상 장치는 선택된 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 낮은지 여부를 판단할 수 있다(1530). 단계(1530)에서, 선택된 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 높거나 같다고 판단되면, 영상 장치는 동작을 종료할 수 있다. The imaging device may determine 1530 whether the percentage of outliers removed from the selected sampling data is below a threshold. If it is determined in step 1530 that the percentage of outliers removed from the selected sampling data is greater than or equal to the threshold, the imaging device may terminate the operation.
단계(1530)에서, 선택된 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 낮다고 판단되면, 영상 장치는 샘플링 데이터의 표준 편차를 산출할 수있다(1540).If it is determined in step 1530 that the percentage of outliers removed from the selected sampling data is less than the threshold, the imaging device may calculate the standard deviation of the sampling data (1540).
영상 장치는 단계(1540)에서 산출한 샘플링 데이터의 표준 편차 중 가장 낮은 표준 편차를 가지는 샘플링 데이터를 선택할 수 있다(1550).The imaging device may select 1550 the sampling data having the lowest standard deviation of the standard deviation of the sampling data calculated in step 1540.
영상 장치는 단계(1550)에서 선택된 샘플링 데이터의 평균을 산출할 수 있다(1560). The imaging device may calculate the average of the sampling data selected in step 1550 (1560).
영상 장치는 선택된 샘플링 데이터의 평균을 동기화 정보를 설정할 수 있다(1570).The imaging device may set the synchronization information to an average of the selected sampling data (1570).
도 16은 일 실시예에 따라 SNTP(Simple Network Time Protocol) 패킷을 통해 얻어진 시간 정보를 RANSAC 모델에 적용시키는 과정을 나타낸 수도 코드(pseudo code)를 도시한 도면이다.FIG. 16 is a diagram illustrating a pseudo code illustrating a process of applying time information obtained through a Simple Network Time Protocol (SNTP) packet to a RANSAC model according to an embodiment.
도 16에 도시된 수도 코드는 SNTP를 통해 얻어진 시간 정보에 RANSAC 모델을 적용시키는 과정을 나타낸 것이다. 무선 네트워크 환경에서 SNTP를 통해 얻어진 시간 정보가 RANSAC의 입력으로 적절한 이유는 비정상적인 패킷이 가끔씩, 그러나 꾸준히 발생하기 때문이다.The numerical code shown in FIG. 16 shows a process of applying the RANSAC model to the time information obtained through the SNTP. The reason why the time information obtained through SNTP in the wireless network environment is appropriate as the input of RANSAC is that abnormal packets occasionally but steadily occur.
도 16에 도시된 알고리즘에서 반복 횟수(k)는 1000회를 시행하였고, 인라이어를 판단하는 기준값(t)는 0.0005를 사용하였다. 또한, 모델은 타임 오프셋 값들의 평균값, 즉 상수 모델을 이용하였다. In the algorithm shown in Fig. 16, the number of repetition times (k) is 1000, and the reference value t for determining the inlier is 0.0005. Also, the model uses the average value of the time offset values, that is, the constant model.
일 실시예서는 전체 데이터 중에 인라이어들이 50퍼센트 이상이 포함된 모델을 기준으로 이용하며, 그 중 신뢰도가 가장 높은 모델을 찾기 위해 각각의 표준 편차를 계산하여 가장 낮은 표준 편차를 가진 인라이어 리스트의 평균값을 이용하여 동기화 정보를 결정할 수 있다. 이러한 동기화 정보를 이용하여 일 실시예에 따르면, 동기화 시작 후, 5초 이내에 5ms 이하의 타임 오프셋을 유지하도록 할 수 있다. In one embodiment, the model uses a model containing more than 50 percent of all lyers among the whole data. To find the model with the highest reliability, each standard deviation is calculated so that the list of the inliers having the lowest standard deviation The synchronization information can be determined using the average value. With this synchronization information, according to an embodiment, it is possible to maintain a time offset of 5 ms or less within 5 seconds after the start of synchronization.
일 실시예에 따르면, SNTP 패킷과 RANSAC 모델을 이용하여 동기화를 수행함으로써 무선 네트워크 환경에서 간단한 구현과 적은 리소스를 사용하고도 고품질의 시간 동기화가 가능하게 된다. 뿐만 아니라, 일 실시예에 따르면, NTP가 제공되지 않거나 사용이 힘든 임베디드 시스템 및 IoT 기기등과 같은 다양한 환경에서 무선 동기화 재생이 가능하도록 함으로써 관련 기술 개발 및 응용에 도움이 될 수 있다.According to an exemplary embodiment, synchronization is performed using the SNTP packet and the RANSAC model, thereby achieving high-quality time synchronization even in a simple implementation and a small resource in a wireless network environment. In addition, according to an exemplary embodiment, wireless synchronization reproduction can be performed in various environments such as an embedded system and an IoT device in which NTP is not provided or is difficult to use, thereby helping to develop and apply related technologies.
일 실시예에 따른 장치 구성Device configuration according to one embodiment
도 17은 일 실시예에 따른 영상 장치의 블록도이다. 도 17을 참조하면, 일 실시예에 따른 영상 장치(1700)는 감지부(1710), 통신 인터페이스(1720), 프로세서(1730) 및 메모리(1740)를 포함할 수 있다. 감지부(1710), 통신 인터페이스(1720), 프로세서(1730) 및 메모리(1740)는 통신 버스(1705)를 통해 서로 통신할 수 있다. 17 is a block diagram of a video device according to one embodiment. 17, a video device 1700 according to one embodiment may include a sensing unit 1710, a communication interface 1720, a processor 1730, and a memory 1740. [ The sensing unit 1710, the communication interface 1720, the processor 1730 and the memory 1740 can communicate with each other via the communication bus 1705. [
감지부(1710)는 영상 장치(1700)가 디스플레이 장치에 연결되었는지 여부를 감지한다. 감지부(1710)는 예를 들어, 영상 장치(1700)가 디스플레이 장치의 HDMI 포트, 또는 USB 포트에 결합되었는지 여부 또는 전원이 공급되는지 여부에 기초하여 디스플레이 장치에 연결되었는지를 감지할 수 있다. The sensing unit 1710 senses whether the imaging device 1700 is connected to the display device. The sensing portion 1710 may sense whether the imaging device 1700 is connected to the display device based on, for example, whether the imaging device 1700 is coupled to the HDMI port of the display device, or the USB port, or whether power is supplied.
프로세서(1730)는 디스플레이 장치로부터 전원이 공급됨에 따라, 초기화가 필요한지 여부를 판단할 수 있다. 프로세서(1730)는 초기화가 필요하다는 판단에 따라, 핫 스팟 호스트로 동작하여 모바일 디바이스로부터 접속을 위한 정보를 획득할 수 있다. 프로세서(1730)는 접속을 위한 정보를 이용하여 액세스 포인트에 접속하여 그룹 키를 수신할 수 있다. 프로세서(1730)는 그룹 키를 메모리(1740)에 저장할 수 있다. The processor 1730 can determine whether initialization is required as power is supplied from the display device. The processor 1730 may act as a hotspot host to obtain information for the connection from the mobile device, as determined by the need for initialization. The processor 1730 may access the access point using the information for the connection and receive the group key. Processor 1730 may store the group key in memory 1740.
프로세서(1730)는 장치 그룹에 포함된 복수의 영상 장치들 중 영상 장치에 대응하는 디스플레이 장치가 컨텐츠의 재생을 위한 전체 영역 중 재생해야 하는 적어도 일부 영역을 설정하는 캘리브레이션 정보를 결정할 수 있다. The processor 1730 can determine the calibration information that sets at least some areas of the plurality of video devices included in the device group that the display device corresponding to the video device should reproduce from among the entire area for playback of the content.
영상 장치(1700)에서 통신 인터페이스(1720)는 컨텐츠를 재생할 공간에 대한 정보를 획득한다. 프로세서(1730)는 공간에 대한 정보에 기초하여 결정된 투사면에 영상 장치에 대응하는 디스플레이 장치가 재생할 적어도 일부 영역을 설정하기 위한 마스크를 생성한다. 프로세서(1730)는 디스플레이 장치의 컨텐츠 재생 시에 적어도 일부 영역의 픽셀들의 좌표들에 대응하여 투사면에 실제로 투사되는 영역의 픽셀들의 참조 좌표들을 포함하는 참조 텍스쳐를 결정한다. In the video device 1700, the communication interface 1720 acquires information on the space for reproducing the content. The processor 1730 generates a mask for setting at least a partial area to be reproduced by the display device corresponding to the imaging device on the projection surface determined based on the information about the space. The processor 1730 determines a reference texture including reference coordinates of pixels of an area that is actually projected on the projection surface in correspondence with the coordinates of pixels of at least some areas upon reproduction of the content of the display device.
프로세서(1730)는 전방향 카메라를 이용하여, 컨텐츠를 재생할 공간을 감지할 수 있다. 프로세서(1730)는 장치 그룹에 포함된 복수의 영상 장치들에 대응하는 디스플레이 장치들 각각으로부터 투사되는 구조화 패턴을 획득할 수 있다. 프로세서(1730)는 공간에 대한 감지 결과 및 구조화 패턴을 기초로, 컨텐츠의 전체 영역 중 디스플레이 장치들 각각이 재생할 적어도 일부 영역을 결정할 수 있다. The processor 1730 may use a forward camera to sense the space to reproduce the content. The processor 1730 may obtain a structured pattern projected from each of the display devices corresponding to the plurality of video devices included in the device group. The processor 1730 may determine at least some areas of each of the entire areas of the content to be played by each of the display devices, based on the detection result of the space and the structured pattern.
프로세서(1730)는 디스플레이 장치를 이용하여 투사면에 복수의 포인트들을 표시할 수 있다. 프로세서(1730)는 사용자 입력에 기초하여 복수의 포인트들 중 적어도 하나의 포인트를 이동시키며, 이동된 포인트를 포함하는 복수의 포인트들에 기초하여 일부 영역을 결정할 수 있다.The processor 1730 may display a plurality of points on the projection surface using the display device. Processor 1730 may move at least one of the plurality of points based on user input and may determine a portion of the area based on the plurality of points including the moved point.
프로세서(1730)는 사용자로부터 결정된 포인트들을 이용하여 투사면에서 적어도 일부 영역을 제외한 나머지 영역에 대응하는 마스크를 생성할 수 있다. 프로세서(1730)는 마스크를 이용하여 나머지 영역에 대응하는 픽셀 값을 조정할 수 있다. The processor 1730 may use the determined points from the user to create a mask corresponding to the remaining area except at least some areas on the projection surface. The processor 1730 may use a mask to adjust pixel values corresponding to the remaining regions.
프로세서(1730)는 적어도 일부 영역 중 장치 그룹에 속한 다른 영상 장치에 대응하는 디스플레이 장치가 재생할 일부의 영역과 겹치는 영역에 대한 픽셀 값을 조정할 수 있다. 프로세서(1730)는 겹치는 영역에 포함된 적어도 일부 영역들의 경계선들 및 경계선들에 인접한 영역을 포함하는 경계 영역의 픽셀 값을 스무딩할 수 있다. The processor 1730 can adjust pixel values for an area overlapping some area to be reproduced by a display device corresponding to another video device belonging to the device group among at least some device areas. The processor 1730 may smooth the pixel values of the boundary region including boundary regions of at least some regions included in the overlap region and regions adjacent to the boundary lines.
프로세서(1730)는 컨텐츠와 컨텐츠가 투사면에 실제로 투영된 투영 영상 간의 관계에 대응하는 호모그래피 매트릭스를 이용하여, 참조 텍스쳐를 결정할 수 있다. 메모리(1740)는 마스크 및 참조 텍스쳐 중 적어도 하나를 저장할 수 있다. The processor 1730 may determine the reference texture using a homography matrix corresponding to the relationship between the content and the projected image actually projected on the projection surface. Memory 1740 may store at least one of a mask and a reference texture.
프로세서(1730)는 감지부(1710)가 디스플레이 장치에 연결되었다는 판단에 따라, 영상 장치 및 하나 또는 그 이상의 다른 영상 장치들을 포함하는 장치 그룹에 대응하는 그룹 키를 획득한다. 예를 들어, 프로세서(1730)는 메모리(1740)로부터 그룹 키를 획득할 수 있다.The processor 1730 obtains the group key corresponding to the device group including the video device and one or more other video devices, in accordance with the determination that the detection unit 1710 is connected to the display device. For example, the processor 1730 may obtain the group key from the memory 1740.
프로세스(1730)는 그룹 키를 저장하고 있는지 여부를 기초로 영상 장치가 모바일 디바이스에 의해 결정된 마스터 영상 장치인지를 판단한다. 프로세서(1730)는 해당 영상 장치가 마스터 영상 장치라는 판단에 따라, 영상 장치의 동작 모드를 마스터 모드로 전환할 수 있다. Process 1730 determines whether the imaging device is the master imaging device determined by the mobile device based on whether or not the group key is stored. The processor 1730 may convert the operation mode of the video apparatus into the master mode according to the determination that the video apparatus is the master video apparatus.
프로세서(1730)는 그룹 키를 이용하여 서버에 접속함으로써 컨텐츠 재생을 위한 주소 정보를 획득하고, 컨텐츠 재생을 위한 주소 정보를 장치 그룹에 포함된 다른 영상 장치들에게 제공한다. 프로세서(1730)는 다른 영상 장치들 각각에서 주소 정보에 기초한 컨텐츠의 로딩이 완료되었는지 여부를 기초로, 다른 영상 장치들에게 컨텐츠에 대한 재생 명령을 전송한다. 프로세서(1730)는 컨텐츠, 및 컨텐츠의 재생을 위한 전체 영역 중 디스플레이 장치에 대응하는 영역에 컨텐츠의 적어도 일부를 재생하기 위한 캘리브레이션 정보에 기초하여, 디스플레이 장치를 위한 영상 정보를 생성한다. The processor 1730 acquires address information for content reproduction by connecting to the server using the group key, and provides address information for content reproduction to other video apparatuses included in the device group. The processor 1730 transmits a playback command for the content to the other video apparatuses based on whether or not the loading of the content based on the address information has been completed in each of the other video apparatuses. The processor 1730 generates the video information for the display device based on the content and the calibration information for reproducing at least a part of the content in the area corresponding to the display device among the entire area for reproduction of the content.
프로세서(1730)는 복수의 영상 장치들을 동기화하기 위한 동기화 정보에 기초하여 디스플레이 장치를 위한 영상 정보를 생성할 수 있다. 이때, 동기화 정보는 예를 들어, 장치 그룹에 포함된 복수의 영상 장치들 간의 타임 오프셋을 RANSAC 모델에 입력함으로써 결정된 것일 수 있다. Processor 1730 may generate image information for the display device based on synchronization information for synchronizing a plurality of imaging devices. At this time, the synchronization information may be determined, for example, by inputting a time offset between a plurality of video apparatuses included in the device group into the RANSAC model.
메모리(1740)는 프로세서(1730)가 생성한 영상 정보를 저장할 수 있다. 또한, 메모리(1740)는 컨텐츠 재생을 위한 주소 정보에 기초하여 로딩한 컨텐츠를 저장할 수 있다. 메모리(1740)는 예를 들어, DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), DDR RAM(Double data rate synchronous dynamic random access memory) 또는 다른 고속 액세스 고체 상태 메모리 장치 등과 같은 고속 랜덤 액세스 메모리(high-speed random access memory)를 포함할 수 있다. 메모리(1740)는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 메모리(1740)는 프로세서(1730)로부터 원격에 위치하는 적어도 하나의 저장 장치를 선택적으로 포함할 수 있다.The memory 1740 may store image information generated by the processor 1730. Also, the memory 1740 can store the loaded content based on the address information for reproducing the content. The memory 1740 may be a high speed random access memory such as, for example, a dynamic random access memory (DRAM), a static random access memory (SRAM), a double data rate synchronous dynamic random access memory (DDR RAM) And may include a high-speed random access memory. Memory 1740 may include volatile memory and non-volatile memory. Memory 1740 may optionally include at least one storage device remotely located from processor 1730.
통신 인터페이스(1720)는 프로세서(1730)가 생성한 영상 정보를 디스플레이 장치에 제공한다.The communication interface 1720 provides the display device with the image information generated by the processor 1730.
프로세서(1730)는 그룹 키를 저장하고 있지 않다고 체크되면, 영상 장치의 동작 모드를 슬레이브 모드로 전환할 수 있다. 영상 장치(1700)에서 통신 인터페이스(1720)는 장치 그룹의 마스터 영상 장치로부터 컨텐츠 재생을 위한 주소 정보를 수신한다. 프로세서(1730)는 주소 정보에 기초하여 장치 그룹을 위한 컨텐츠를 로딩한다. 프로세서(1730)는 컨텐츠의 로딩이 완료되었는지 여부를 판단한다. 프로세서(1730)는 컨텐츠의 로딩이 완료 되었는지의 판단 결과를 전송받은 마스터 영상 장치로부터 컨텐츠에 대한 재생 명령을 수신한다. 프로세서(1730)는 재생 명령에 따라 컨텐츠, 및 컨텐츠의 재생을 위한 전체 영역 중 영상 장치와 연결된 디스플레이 장치에 대응하는 영역에 컨텐츠의 적어도 일부를 재생하기 위한 캘리브레이션 정보에 기초하여, 디스플레이 장치를 위한 영상 정보를 생성한다. If the processor 1730 determines that the group key is not stored, the processor 1730 can switch the operation mode of the video apparatus to the slave mode. In the video device 1700, the communication interface 1720 receives address information for content reproduction from the master video device of the device group. The processor 1730 loads the content for the device group based on the address information. The processor 1730 determines whether or not the loading of the content has been completed. The processor 1730 receives the playback command for the content from the master video apparatus that has received the determination result that the loading of the content has been completed. The processor 1730 generates a video for the display device based on the content information and the calibration information for reproducing at least a part of the content in an area corresponding to the display device connected to the video device, Information.
영상 장치(1700)의 통신 인터페이스(1720)는 무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환한다. The communication interface 1720 of the imaging device 1700 exchanges time information with the master imaging device included in the device group in the wireless network.
프로세서(1730)는 시간 정보에 기초하여 마스터 영상 장치와 영상 장치 간의 타임 오프셋들을 산출한다. 프로세서(1730)는 샘플링 파라미터 및 필터링 파라미터에 기초하여 동기화 정보를 생성하며, 동기화 정보를 이용하여 마스터 영상 장치에 동기화한다. The processor 1730 calculates time offsets between the master imaging device and the imaging device based on the time information. The processor 1730 generates synchronization information based on the sampling parameters and the filtering parameters, and synchronizes the synchronization information with the master imaging device.
프로세서(1730)는 장치 그룹에 포함된 복수의 영상 장치들 간의 타임 오프셋을 RANSAC 모델에 입력함으로써, 마스터 영상 장치와 영상 장치를 동기화하기 위한 동기화 정보를 생성할 수 있다.Processor 1730 may generate synchronization information for synchronizing the master imaging device and the imaging device by inputting time offsets between the plurality of imaging devices included in the device group into the RANSAC model.
프로세서(1730)는 타임 오프셋들을 RANSAC 모델에 입력함으로써, 타임 오프셋들 중 아웃라이어가 필터링된 샘플링 데이터를 획득할 수 있다. 프로세서(1730)는 획득된 샘플링 데이터에 기초하여, 동기화 정보를 결정할 수 있다. Processor 1730 can input the time offsets into the RANSAC model so that outliers of the time offsets can obtain filtered sampled data. The processor 1730 may determine the synchronization information based on the acquired sampling data.
프로세서(1730)는 시간 정보, 및 마스터 영상 장치로부터 제3 시간에 전송된 제2 패킷을 제4 시간에 수신하는 영상 장치 측의 제4 타임 스탬프에 기초하여 타임 오프셋들을 산출할 수 있다. The processor 1730 may calculate time offsets based on time information and a fourth time stamp on the side of the imaging device receiving the second packet transmitted at the third time from the master imaging device at the fourth time.
프로세서(1730)는 타임 오프셋들로부터 샘플링 데이터를 추출하고, 샘플링 데이터의 통계값에 기초하여 기준 모델을 결정할 수 있다. 프로세서(1730)는 샘플링 데이터와 기준 모델 간의 차이와 필터링 파라미터를 비교함으로써 아웃라이어를 제거할 수 있다. The processor 1730 may extract the sampling data from the time offsets and determine a reference model based on the statistical values of the sampling data. The processor 1730 may remove the outliers by comparing the filtering parameters with the difference between the sampling data and the reference model.
프로세서(1730)는 샘플링 파라미터에 대응하여, 아웃라이어가 제거된 복수의 샘플링 데이터들을 획득할 수 있다. 프로세서(1730)는 복수의 샘플링 데이터들 중 선택된 하나의 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 낮은지 여부에 기초하여, 샘플링 데이터의 표준 편차를 산출할 수 있다. 프로세서(1730)는 가장 낮은 표준 편차를 가지는 샘플링 데이터를 선택하고, 선택된 샘플링 데이터의 평균을 동기화 정보로 설정할 수 있다. Processor 1730 may obtain a plurality of sampled data from which the outliers have been removed, corresponding to the sampling parameters. The processor 1730 may calculate the standard deviation of the sampling data based on whether the ratio of the outliers removed from the selected one of the plurality of sampling data is lower than the threshold value. The processor 1730 may select sampling data having the lowest standard deviation and set the average of the selected sampling data as synchronization information.
이 밖에도, 프로세서(1730)는 도 1 내지 도 16을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(1730)는 프로그램을 실행하고, 영상 장치(1700)를 제어할 수 있다. 프로세서(1730)에 의하여 실행되는 프로그램 코드는 메모리(1740)에 저장될 수 있다.In addition, processor 1730 may perform an algorithm corresponding to at least one method or at least one method described above with respect to Figures 1-16. The processor 1730 may execute the program and control the imaging device 1700. [ The program code executed by the processor 1730 may be stored in the memory 1740.
전술한 동작들은 예시적인 사항에 해당하며, 실시예들은 전술한 동작으로부터 다양하게 변형될 수 있다.The above-described operations correspond to exemplary embodiments, and the embodiments can be variously modified from the above-described operations.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. The embodiments described above may be implemented in hardware components, software components, and / or a combination of hardware components and software components. For example, the apparatuses, methods, and components described in the embodiments may be implemented by, for example, a processor, a controller, a central processing unit (CPU), a graphics processing unit (GPU) arithmetic logic unit, a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, Application Specific Integrated Circuits (ASICS) may be implemented using one or more general purpose or special purpose computers, such as any other device capable of executing and responding to instructions.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Although the preferred embodiments of the present invention have been disclosed for illustrative purposes, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (20)

  1. 영상 장치의 동기화 방법에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 단계;
    상기 시간 정보에 대한 유효성을 검사하는 단계
    상기 유효성 검사를 통과한 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하는 단계;
    상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하는 단계; 및
    상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 단계
    를 포함하는, 영상 장치의 동기화 방법.
    A method of synchronizing a video device,
    Exchanging time information with a master imaging device included in a device group in a wireless network;
    Checking the validity of the time information
    Calculating time offsets between the master video device and the video device based on the validity time information;
    Generating synchronization information based on a sampling parameter for extracting sampling data from the time offsets and a filtering parameter for determining whether the sampling data is an outlier; And
    Synchronizing to the master imaging device using the synchronization information
    The method comprising the steps of:
  2. 제1항에 있어서,
    상기 동기화 정보를 생성하는 단계는
    상기 타임 오프셋들을 RANSAC(Random Sample Consensus) 모델에 입력함으로써, 상기 타임 오프셋들 중 아웃라이어가 필터링된 샘플링 데이터를 획득하는 단계; 및
    상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하는 단계
    를 포함하는, 영상 장치의 동기화 방법.
    The method according to claim 1,
    The step of generating the synchronization information
    Inputting the time offsets into a Random Sample Consensus (RANSAC) model, wherein the outliers of the time offsets obtain filtered sampled data; And
    Determining synchronization information based on the obtained sampling data;
    The method comprising the steps of:
  3. 제2항에 있어서,
    상기 필터링 파라미터는
    상기 아웃라이어가 필터링된 샘플링 데이터의 표준 편차에 기초하여 결정되는, 영상 장치의 동기화 방법.
    3. The method of claim 2,
    The filtering parameter
    Wherein the outlier is determined based on a standard deviation of the filtered sampling data.
  4. 영상 장치의 동기화 방법에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 단계;
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하는 단계;
    상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하는 단계; 및
    상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 단계
    를 포함하고,
    상기 샘플링 파라미터(k)는
    아래의 [수학식]에 의하여 결정되는, 영상 장치의 동기화 방법.
    [수학식]
    Figure 112018120570671-pat00006

    (여기서, p는 상기 아웃라이어가 필터링된 샘플링 데이터에서 상기 샘플링 데이터가 추출될 확률을 나타내고, α는 상기 타임 오프셋들 중에서 상기 아웃라이어가 필터링된 샘플링 데이터의 비율을 나타냄)
    A method of synchronizing a video device,
    Exchanging time information with a master imaging device included in a device group in a wireless network;
    Calculating time offsets between the master video device and the video device based on the time information;
    Generating synchronization information based on a sampling parameter for extracting sampling data from the time offsets and a filtering parameter for determining whether the sampling data is an outlier; And
    Synchronizing to the master imaging device using the synchronization information
    Lt; / RTI >
    The sampling parameter (k)
    Wherein the method is determined by the following equation.
    [Mathematical Expression]
    Figure 112018120570671-pat00006

    Where p represents the probability that the outlier will extract the sampled data from the filtered sampled data and a represents the percentage of sampled data filtered outliers among the time offsets,
  5. 제1항에 있어서,
    상기 시간 정보는
    SNTP(Simple Network Time Protocol) 패킷을 이용하여 교환되는, 영상 장치의 동기화 방법.
    The method according to claim 1,
    The time information
    A method of synchronizing a video device using a Simple Network Time Protocol (SNTP) packet.
  6. 제1항에 있어서,
    상기 시간 정보는
    제1 패킷을 제1 시간에 상기 마스터 영상 장치에게 전송하는 상기 영상 장치 측의 제1 타임 스탬프, 상기 영상 장치로부터 상기 제1 시간에 전송된 패킷을 제2 시간에 수신하는 상기 마스터 영상 장치 측의 제2 타임 스탬프, 및 제2 패킷을 상기 제2 시간으로부터 소정의 딜레이 이후인 제3 시간에 상기 영상 장치로 전송하는 상기 마스터 영상 장치 측의 제3 타임 스탬프를 포함하는, 영상 장치의 동기화 방법.
    The method according to claim 1,
    The time information
    A first time stamp on the side of the video apparatus for transmitting a first packet to the master video apparatus at a first time and a second time stamp on the side of the master video apparatus for receiving a packet transmitted at the first time from the video apparatus at a second time, And a third timestamp on the master imaging device side that transmits a second packet to the imaging device at a third time after the predetermined time from the second time.
  7. 제6항에 있어서,
    상기 제1 패킷은 상기 제1 타임 스탬프를 포함하고,
    상기 제2 패킷은 상기 제1 타임 스탬프, 상기 제2 타임 스탬프, 및 상기 제3 타임 스탬프를 포함하는, 영상 장치의 동기화 방법.
    The method according to claim 6,
    The first packet including the first timestamp,
    Wherein the second packet comprises the first timestamp, the second timestamp, and the third timestamp.
  8. 영상 장치의 동기화 방법에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 단계;
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하는 단계;
    상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하는 단계; 및
    상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 단계
    를 포함하고,
    상기 시간 정보는
    제1 패킷을 제1 시간에 상기 마스터 영상 장치에게 전송하는 상기 영상 장치 측의 제1 타임 스탬프, 상기 영상 장치로부터 상기 제1 시간에 전송된 패킷을 제2 시간에 수신하는 상기 마스터 영상 장치 측의 제2 타임 스탬프, 및 제2 패킷을 상기 제2 시간으로부터 소정의 딜레이 이후인 제3 시간에 상기 영상 장치로 전송하는 상기 마스터 영상 장치 측의 제3 타임 스탬프를 포함하며,
    상기 타임 오프셋들을 산출하는 단계는
    상기 시간 정보, 및 상기 마스터 영상 장치로부터 상기 제3 시간에 전송된 제2 패킷을 제4 시간에 수신하는 상기 영상 장치 측의 제4 타임 스탬프에 기초하여 상기 타임 오프셋들을 산출하는 단계
    를 포함하는, 영상 장치의 동기화 방법.
    A method of synchronizing a video device,
    Exchanging time information with a master imaging device included in a device group in a wireless network;
    Calculating time offsets between the master video device and the video device based on the time information;
    Generating synchronization information based on a sampling parameter for extracting sampling data from the time offsets and a filtering parameter for determining whether the sampling data is an outlier; And
    Synchronizing to the master imaging device using the synchronization information
    Lt; / RTI >
    The time information
    A first time stamp on the side of the video apparatus for transmitting a first packet to the master video apparatus at a first time and a second time stamp on the side of the master video apparatus for receiving a packet transmitted at the first time from the video apparatus at a second time, And a third time stamp on the master video device side for transmitting a second packet to the video device at a third time after a predetermined delay from the second time,
    The step of calculating the time offsets
    Calculating the time offsets based on the time information and a fourth time stamp on the side of the imaging device receiving the second packet transmitted at the third time from the master imaging device at a fourth time
    The method comprising the steps of:
  9. 영상 장치의 동기화 방법에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 단계;
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하는 단계;
    상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하는 단계; 및
    상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 단계
    를 포함하고,
    상기 동기화 정보를 생성하는 단계는
    상기 타임 오프셋들을 RANSAC(Random Sample Consensus) 모델에 입력함으로써, 상기 타임 오프셋들 중 아웃라이어가 필터링된 샘플링 데이터를 획득하는 단계; 및
    상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하는 단계
    를 포함하며,
    상기 아웃라이어가 필터링된 샘플링 데이터를 획득하는 단계는
    상기 타임 오프셋들로부터 상기 샘플링 데이터를 추출하는 단계;
    상기 샘플링 데이터의 통계값에 기초하여 기준 모델(criteria model)을 결정하는 단계; 및
    상기 샘플링 데이터와 상기 기준 모델 간의 차이와 상기 필터링 파라미터를 비교함으로써 상기 아웃라이어를 제거하는 단계
    를 포함하는, 영상 장치의 동기화 방법.
    A method of synchronizing a video device,
    Exchanging time information with a master imaging device included in a device group in a wireless network;
    Calculating time offsets between the master video device and the video device based on the time information;
    Generating synchronization information based on a sampling parameter for extracting sampling data from the time offsets and a filtering parameter for determining whether the sampling data is an outlier; And
    Synchronizing to the master imaging device using the synchronization information
    Lt; / RTI >
    The step of generating the synchronization information
    Inputting the time offsets into a Random Sample Consensus (RANSAC) model, wherein the outliers of the time offsets obtain filtered sampled data; And
    Determining synchronization information based on the obtained sampling data;
    / RTI >
    The step of the outlier obtaining filtered sampled data
    Extracting the sampling data from the time offsets;
    Determining a criterion model based on a statistical value of the sampling data; And
    Removing the outlier by comparing the filtering parameter with a difference between the sampling data and the reference model
    The method comprising the steps of:
  10. 영상 장치의 동기화 방법에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 단계;
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하는 단계;
    상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하는 단계; 및
    상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 단계
    를 포함하고,
    상기 동기화 정보를 생성하는 단계는
    상기 타임 오프셋들을 RANSAC(Random Sample Consensus) 모델에 입력함으로써, 상기 타임 오프셋들 중 아웃라이어가 필터링된 샘플링 데이터를 획득하는 단계; 및
    상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하는 단계
    를 포함하며,
    상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하는 단계는
    상기 샘플링 파라미터에 대응하여, 상기 아웃라이어가 제거된 복수의 샘플링 데이터들을 획득하는 단계;
    상기 복수의 샘플링 데이터들 중 하나의 샘플링 데이터를 선택하는 단계;
    상기 선택된 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 낮은지 여부에 기초하여, 상기 샘플링 데이터의 표준 편차를 산출하는 단계;
    가장 낮은 표준 편차를 가지는 샘플링 데이터를 선택하는 단계;
    상기 선택된 샘플링 데이터의 평균을 산출하는 단계; 및
    상기 선택된 샘플링 데이터의 평균을 상기 동기화 정보로 설정하는 단계
    를 포함하는, 영상 장치의 동기화 방법.
    A method of synchronizing a video device,
    Exchanging time information with a master imaging device included in a device group in a wireless network;
    Calculating time offsets between the master video device and the video device based on the time information;
    Generating synchronization information based on a sampling parameter for extracting sampling data from the time offsets and a filtering parameter for determining whether the sampling data is an outlier; And
    Synchronizing to the master imaging device using the synchronization information
    Lt; / RTI >
    The step of generating the synchronization information
    Inputting the time offsets into a Random Sample Consensus (RANSAC) model, wherein the outliers of the time offsets obtain filtered sampled data; And
    Determining synchronization information based on the obtained sampling data;
    / RTI >
    Determining the synchronization information based on the obtained sampling data
    Obtaining a plurality of sampled data from which the outlier has been removed, corresponding to the sampling parameter;
    Selecting one of the plurality of sampling data;
    Calculating a standard deviation of the sampling data based on whether a ratio of the outliers removed from the selected sampling data is lower than a threshold value;
    Selecting sampling data having the lowest standard deviation;
    Calculating an average of the selected sampling data; And
    Setting an average of the selected sampling data as the synchronization information
    The method comprising the steps of:
  11. 삭제delete
  12. 하드웨어와 결합되어 제1항 내지 제10항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable medium for executing the method of any one of claims 1 to 10 in combination with hardware.
  13. 영상 장치에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 통신 인터페이스; 및
    상기 시간 정보에 대한 유효성을 검사하고, 상기 유효성 검사를 통과한 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하고, 상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하며, 상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 프로세서
    를 포함하는, 영상 장치.
    In the imaging apparatus,
    A communication interface for exchanging time information with a master imaging device included in a device group in a wireless network; And
    The method of claim 1, further comprising: checking validity of the time information; calculating time offsets between the master imaging device and the imaging device based on time information passed the validity checking; and extracting sampling data from the time offsets Wherein the synchronization information is generated based on a sampling parameter for determining whether the sampling data is an outlier and a filtering parameter for determining whether the sampling data is an outlier,
    / RTI >
  14. 제13항에 있어서,
    상기 프로세서는
    상기 타임 오프셋들을 RANSAC 모델에 입력함으로써, 상기 타임 오프셋들 중 상기 아웃라이어가 필터링된 샘플링 데이터를 획득하고, 상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하는, 영상 장치.
    14. The method of claim 13,
    The processor
    Inputting the time offsets to the RANSAC model so that the outliers of the time offsets obtain filtered sampled data and determine the synchronization information based on the sampled data obtained.
  15. 제14항에 있어서,
    상기 필터링 파라미터는
    상기 아웃라이어가 필터링된 샘플링 데이터의 표준 편차에 기초하여 결정되는, 영상 장치.
    15. The method of claim 14,
    The filtering parameter
    Wherein the outlier is determined based on a standard deviation of the filtered sampling data.
  16. 영상 장치에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 통신 인터페이스; 및
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하고, 상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하며, 상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 프로세서
    를 포함하고,
    상기 샘플링 파라미터(k)는
    아래의 [수학식]에 의하여 결정되는, 영상 장치.
    [수학식]
    Figure 112018120570671-pat00007

    (여기서, p는 상기 아웃라이어가 필터링된 샘플링 데이터에서 상기 샘플링 데이터가 추출될 확률을 나타내고, α는 상기 타임 오프셋들 중에서 상기 아웃라이어가 필터링된 샘플링 데이터의 비율을 나타냄)
    In the imaging apparatus,
    A communication interface for exchanging time information with a master imaging device included in a device group in a wireless network; And
    Calculating time offsets between the master imaging device and the imaging device based on the time information, sampling parameters for extracting sampling data from the time offsets, and determining whether the sampling data is an outlier A processor for generating synchronization information based on the filtering parameters for synchronization with the master imaging device using the synchronization information,
    Lt; / RTI >
    The sampling parameter (k)
    Is determined by the following equation.
    [Mathematical Expression]
    Figure 112018120570671-pat00007

    Where p represents the probability that the outlier will extract the sampled data from the filtered sampled data and a represents the percentage of sampled data filtered outliers among the time offsets,
  17. 제13항에 있어서,
    상기 시간 정보는
    제1 패킷을 제1 시간에 상기 마스터 영상 장치에게 전송하는 상기 영상 장치 측의 제1 타임 스탬프, 상기 영상 장치로부터 상기 제1 시간에 전송된 패킷을 제2 시간에 수신하는 상기 마스터 영상 장치 측의 제2 타임 스탬프, 및 제2 패킷을 상기 제2 시간으로부터 소정의 딜레이 이후인 제3 시간에 상기 영상 장치로 전송하는 상기 마스터 영상 장치 측의 제3 타임 스탬프를 포함하며,
    상기 제1 패킷은 상기 제1 타임 스탬프를 포함하고,
    상기 제2 패킷은 상기 제1 타임 스탬프, 상기 제2 타임 스탬프, 및 상기 제3 타임 스탬프를 포함하는, 영상 장치.
    14. The method of claim 13,
    The time information
    A first time stamp on the side of the video apparatus for transmitting a first packet to the master video apparatus at a first time and a second time stamp on the side of the master video apparatus for receiving a packet transmitted at the first time from the video apparatus at a second time, And a third time stamp on the master video device side for transmitting a second packet to the video device at a third time after a predetermined delay from the second time,
    The first packet including the first timestamp,
    And wherein the second packet comprises the first timestamp, the second timestamp, and the third timestamp.
  18. 영상 장치에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 통신 인터페이스; 및
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하고, 상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하며, 상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 프로세서
    를 포함하고,
    상기 시간 정보는
    제1 패킷을 제1 시간에 상기 마스터 영상 장치에게 전송하는 상기 영상 장치 측의 제1 타임 스탬프, 상기 영상 장치로부터 상기 제1 시간에 전송된 패킷을 제2 시간에 수신하는 상기 마스터 영상 장치 측의 제2 타임 스탬프, 및 제2 패킷을 상기 제2 시간으로부터 소정의 딜레이 이후인 제3 시간에 상기 영상 장치로 전송하는 상기 마스터 영상 장치 측의 제3 타임 스탬프를 포함하고,
    상기 제1 패킷은 상기 제1 타임 스탬프를 포함하고,
    상기 제2 패킷은 상기 제1 타임 스탬프, 상기 제2 타임 스탬프, 및 상기 제3 타임 스탬프를 포함하며,
    상기 프로세서는
    상기 시간 정보, 및 상기 마스터 영상 장치로부터 상기 제3 시간에 전송된 제2 패킷을 제4 시간에 수신하는 상기 영상 장치 측의 제4 타임 스탬프에 기초하여 상기 타임 오프셋들을 산출하는, 영상 장치.
    In the imaging apparatus,
    A communication interface for exchanging time information with a master imaging device included in a device group in a wireless network; And
    Calculating time offsets between the master imaging device and the imaging device based on the time information, sampling parameters for extracting sampling data from the time offsets, and determining whether the sampling data is an outlier A processor for generating synchronization information based on the filtering parameters for synchronization with the master imaging device using the synchronization information,
    Lt; / RTI >
    The time information
    A first time stamp on the side of the video apparatus for transmitting a first packet to the master video apparatus at a first time and a second time stamp on the side of the master video apparatus for receiving a packet transmitted at the first time from the video apparatus at a second time, And a third time stamp on the master video device side for transmitting a second packet to the video device at a third time after a predetermined delay from the second time,
    The first packet including the first timestamp,
    Wherein the second packet includes the first timestamp, the second timestamp, and the third timestamp,
    The processor
    And calculates the time offsets based on the time information and a fourth timestamp on the side of the imaging device receiving the second packet transmitted at the third time from the master imaging device at a fourth time.
  19. 영상 장치에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 통신 인터페이스; 및
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하고, 상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하며, 상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 프로세서
    를 포함하고,
    상기 프로세서는
    상기 타임 오프셋들을 RANSAC 모델에 입력함으로써, 상기 타임 오프셋들 중 상기 아웃라이어가 필터링된 샘플링 데이터를 획득하고, 상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하며,
    상기 프로세서는
    상기 타임 오프셋들로부터 상기 샘플링 데이터를 추출하고, 상기 샘플링 데이터의 통계값에 기초하여 기준 모델을 결정하며, 상기 샘플링 데이터와 상기 기준 모델 간의 차이와 상기 필터링 파라미터를 비교함으로써 상기 아웃라이어를 제거하는, 영상 장치.
    In the imaging apparatus,
    A communication interface for exchanging time information with a master imaging device included in a device group in a wireless network; And
    Calculating time offsets between the master imaging device and the imaging device based on the time information, sampling parameters for extracting sampling data from the time offsets, and determining whether the sampling data is an outlier A processor for generating synchronization information based on the filtering parameters for synchronization with the master imaging device using the synchronization information,
    Lt; / RTI >
    The processor
    Inputting the time offsets to the RANSAC model so that the outliers of the time offsets obtain filtered sampled data and determine the synchronization information based on the sampled data,
    The processor
    Removing the outlier by extracting the sampling data from the time offsets, determining a reference model based on the statistical values of the sampling data, and comparing the filtering parameter with a difference between the sampling data and the reference model, Imaging device.
  20. 영상 장치에 있어서,
    무선 네트워크에서 장치 그룹에 포함된 마스터 영상 장치와 시간 정보를 교환하는 통신 인터페이스; 및
    상기 시간 정보에 기초하여 상기 마스터 영상 장치와 상기 영상 장치 간의 타임 오프셋(time offset)들을 산출하고, 상기 타임 오프셋들로부터 샘플링 데이터를 추출하기 위한 샘플링 파라미터 및 상기 샘플링 데이터가 아웃라이어인지 여부를 판단하기 위한 필터링 파라미터에 기초하여, 동기화 정보를 생성하며, 상기 동기화 정보를 이용하여 상기 마스터 영상 장치에 동기화하는 프로세서
    를 포함하고,
    상기 프로세서는
    상기 타임 오프셋들을 RANSAC 모델에 입력함으로써, 상기 타임 오프셋들 중 상기 아웃라이어가 필터링된 샘플링 데이터를 획득하고, 상기 획득된 샘플링 데이터에 기초하여, 상기 동기화 정보를 결정하며,
    상기 프로세서는
    상기 샘플링 파라미터에 대응하여, 상기 아웃라이어가 제거된 복수의 샘플링 데이터들을 획득하고, 상기 복수의 샘플링 데이터들 중 선택된 하나의 샘플링 데이터로부터 제거된 아웃라이어의 비율이 임계치보다 낮은지 여부에 기초하여, 상기 샘플링 데이터의 표준 편차를 산출하고, 가장 낮은 표준 편차를 가지는 샘플링 데이터를 선택하고, 상기 선택된 샘플링 데이터의 평균을 상기 동기화 정보로 설정하는, 영상 장치.
    In the imaging apparatus,
    A communication interface for exchanging time information with a master imaging device included in a device group in a wireless network; And
    Calculating time offsets between the master imaging device and the imaging device based on the time information, sampling parameters for extracting sampling data from the time offsets, and determining whether the sampling data is an outlier A processor for generating synchronization information based on the filtering parameters for synchronization with the master imaging device using the synchronization information,
    Lt; / RTI >
    The processor
    Inputting the time offsets to the RANSAC model so that the outliers of the time offsets obtain filtered sampled data and determine the synchronization information based on the sampled data,
    The processor
    The method comprising: acquiring a plurality of sampling data from which the outlier has been removed, corresponding to the sampling parameter; and determining, based on whether the ratio of the outliers removed from the selected one of the plurality of sampling data is lower than a threshold value, Calculates a standard deviation of the sampling data, selects sampling data having the lowest standard deviation, and sets an average of the selected sampling data as the synchronization information.
KR1020170150495A 2017-11-13 2017-11-13 Image apparatus and synchronization method of image apparatus KR101969081B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170150495A KR101969081B1 (en) 2017-11-13 2017-11-13 Image apparatus and synchronization method of image apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170150495A KR101969081B1 (en) 2017-11-13 2017-11-13 Image apparatus and synchronization method of image apparatus

Publications (1)

Publication Number Publication Date
KR101969081B1 true KR101969081B1 (en) 2019-04-16

Family

ID=66281719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170150495A KR101969081B1 (en) 2017-11-13 2017-11-13 Image apparatus and synchronization method of image apparatus

Country Status (1)

Country Link
KR (1) KR101969081B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090082775A (en) * 2008-01-28 2009-07-31 웹싱크 주식회사 Digital multivision system
JP2012169739A (en) * 2011-02-10 2012-09-06 Nippon Telegr & Teleph Corp <Ntt> Video division reproduction method, video reproduction method, video division reproduction system and video division reproduction program
KR20150027892A (en) * 2013-08-30 2015-03-13 삼성전자주식회사 Method and system for presenting content using a plurality of electronic devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090082775A (en) * 2008-01-28 2009-07-31 웹싱크 주식회사 Digital multivision system
JP2012169739A (en) * 2011-02-10 2012-09-06 Nippon Telegr & Teleph Corp <Ntt> Video division reproduction method, video reproduction method, video division reproduction system and video division reproduction program
KR20150027892A (en) * 2013-08-30 2015-03-13 삼성전자주식회사 Method and system for presenting content using a plurality of electronic devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:JONGINSON ET AL., *

Similar Documents

Publication Publication Date Title
JP6712282B2 (en) Multi-angle video editing based on cloud video sharing
US8953022B2 (en) System and method for sharing virtual and augmented reality scenes between users and viewers
JP4297197B2 (en) Calibration processing apparatus, calibration processing method, and computer program
JP2006507609A (en) Image capture and display system and method for generating composite image
US20180288390A1 (en) Methods and Systems for Capturing a Plurality of Three-Dimensional Sub-Frames for Use in Forming a Volumetric Frame of a Real-World Scene
US10171785B2 (en) Color balancing based on reference points
Baker et al. Understanding performance in coliseum, an immersive videoconferencing system
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
US8842113B1 (en) Real-time view synchronization across multiple networked devices
JP2013251667A (en) Information processing device, information processing method, and program
EP3326365B1 (en) Virtual three dimensional video creation and management system and method
US11064095B2 (en) Image displaying system, communication system, and method for image displaying
US10663291B2 (en) Method and system for reproducing visual content
US20210084278A1 (en) System and method for distributing and rendering content as spherical video and 3d asset combination
Sajadi et al. Automatic registration of multi‐projector domes using a single uncalibrated camera
TW201811025A (en) Method and apparatus for streaming video content
KR101969081B1 (en) Image apparatus and synchronization method of image apparatus
KR101961841B1 (en) Image apparatus and operating method of image apparatus
KR20190054297A (en) Image apparatus and playing method of image apparatus
WO2019100631A1 (en) Video playing method, apparatus and system, and storage medium
WO2021088973A1 (en) Live stream display method and apparatus, electronic device, and readable storage medium
KR101966112B1 (en) Method and apparatus of monitoring immersive contents
KR102232220B1 (en) System and method for creating vitural high-brightness beam projector using multiple beam projectors configured in series
EP3576417B1 (en) Method and system for reproducing visual and/or audio content synchronously by a group of devices
US20200267375A1 (en) Efficient image population from captured scene

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant