KR20180070234A - Apparatus and user device for providing time slice video - Google Patents
Apparatus and user device for providing time slice video Download PDFInfo
- Publication number
- KR20180070234A KR20180070234A KR1020160172699A KR20160172699A KR20180070234A KR 20180070234 A KR20180070234 A KR 20180070234A KR 1020160172699 A KR1020160172699 A KR 1020160172699A KR 20160172699 A KR20160172699 A KR 20160172699A KR 20180070234 A KR20180070234 A KR 20180070234A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- time slice
- unit
- slice image
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 53
- 239000000284 extract Substances 0.000 claims description 17
- 238000009795 derivation Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
- H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- H04N5/232—
-
- H04N5/247—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말에 관한 것이다. The present invention relates to an apparatus and a user terminal for providing a time slice image.
타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다. The time slice technique is a technique in which a plurality of cameras are set so that they face the subject at various angles and instantaneously simultaneously photographed, and then the pictures are connected by using a computer so that the still motion of the subject is seen as if it was taken with a movie camera . Time slices not only give a three-dimensional representation of the subject, but also provide a sense of time and space.
이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다. In connection with this time slice technique, Korean Unexamined Patent Publication No. 2007-0000994 discloses a system and method for recording and reproducing images.
최근에는 스포츠 경기 중계 중 타임 슬라이스 기법이 적용된 영상을 제공함으로써, 다시점으로 구성된 상세 화면을 통해 스포츠 경기에 대한 분석 또는 해설을 구체적으로 할 수 있게 되었다. 그러나 종래의 스포츠 경기의 경우, 타임 슬라이스 영상 제작자에 의해 수동으로 이벤트가 발생될 지점을 미리 선택받아야 하는 점에서 부정확한 타임 슬라이스 영상이 제작되기도 하였다. 또한, 스포츠 경기 중에는 이벤트가 랜덤으로 발생하게 되므로, 이벤트가 발생될 지점을 예측하기 어렵다는 단점을 가지고 있었다. Recently, the time slice technique is applied during the sports competition, so that it is possible to analyze or comment on the sports game through the detailed screen composed of multiple points. However, in the case of a conventional sports game, an incorrect time slice image is produced because a point at which an event is to be manually generated by the time slice image producer must be selected in advance. Also, since the event occurs randomly during the sporting event, it has a disadvantage that it is difficult to predict the point where the event occurs.
스포츠 경기의 경우, 이벤트 발생 지점이 랜덤으로 발생됨으로써, 이벤트 발생 지점에 대한 영역의 설정이 어려웠으나, 이를 즉각적으로 처리함으로써, 스포츠 경기에서도 적용 가능한 타임 슬라이스 영상을 제공할 수 있도록 하는 장치 및 사용자 단말을 제공하고자 한다. 종래에는 추적이 가능한 객체를 중심으로 타임 슬라이스 영상을 생성할 수 밖에 없었지만, 본 발명은 임의의 지점을 중심으로 타임 슬라이스 영상을 생성하는 것이 가능하도록 함으로써, 자유도 높게 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공하고자 한다. 사용자가 임의의 영역을 선택하면, 선택된 임의의 영역에 대한 타임 슬라이스 영상을 제공하도록 하는 인터렉티브한 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. In the case of a sporting event, it is difficult to set an area for an event occurrence point by randomly generating an event occurrence point, but by instantly processing it, it is possible to provide a time slice image applicable to a sports game, . Conventionally, a time slice image can not be generated around an object which can be tracked. However, the present invention can provide a time slice image with high degree of freedom by making it possible to generate a time slice image around an arbitrary point. To provide a user terminal. An apparatus for providing an interactive time slice image for providing a time slice image for a selected arbitrary area when a user selects an arbitrary area, and a user terminal. It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 복수의 카메라로부터 촬영된 복수의 영상을 수신하는 영상 수신부, 상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택하는 선택부, 상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원하는 좌표 복원부 및 상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부를 포함하는 것인 타임 슬라이스 영상 제공 장치를 제공할 수 있다. According to an aspect of the present invention, there is provided an image processing apparatus including an image receiving unit configured to receive a plurality of images captured by a plurality of cameras, a selection unit configured to select a region of interest from at least one of the plurality of images, A coordinate restoration unit for restoring the multi-dimensional center coordinates based on the selected region of interest and the positional relationship information for the plurality of cameras, and a controller for extracting each image from the plurality of images on the basis of the restored multi- And a generation unit that generates a time slice image using each of the obtained images.
본 발명의 다른 실시예는, 복수의 카메라로부터 촬영된 복수의 영상을 사용자 단말로 전송하는 영상 전송부, 상기 사용자 단말로부터 상기 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신하는 수신부, 상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출하는 좌표 복원부, 상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부 및 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 전송부를 포함하는 것인 타임 슬라이스 영상 제공 장치를 제공할 수 있다. According to another aspect of the present invention, there is provided an image processing apparatus including an image transmission unit for transmitting a plurality of images taken by a plurality of cameras to a user terminal, a receiving unit for receiving an interest region selected from at least one image among the plurality of images, A coordinate restoration unit for deriving a multi-dimensional center coordinate based on the selected region of interest and the positional relationship information for the plurality of cameras, extracts each image from the plurality of images on the basis of the restored multi-dimensional center coordinate, A generation unit generating a time slice image using each image, and a transmission unit transmitting the generated time slice image to the user terminal.
본 발명의 또 다른 실시예는, 복수의 카메라로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치로부터 수신하는 영상 수신부, 상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받는 선택부 및 상기 선택된 관심 영역을 상기 타임 슬라이스 영상 제공 장치로 전송하는 전송부를 포함하고, 상기 영상 수신부는 상기 타임 슬라이스 영상 제공 장치로부터 상기 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신하고, 상기 복원된 다차원 중심 좌표를 중심으로 상기 복수의 영상으로부터 각각의 이미지가 추출되고, 상기 타임 슬라이스 영상은 상기 획득된 각각의 이미지를 이용하여 생성되는 것인 사용자 단말을 제공할 수 있다. According to another embodiment of the present invention, there is provided an image processing apparatus including an image receiving unit for receiving a plurality of images photographed from a plurality of cameras from a time slice image providing apparatus, a selecting unit for selecting an area of interest from at least one of the plurality of images, And a transmitting unit for transmitting the ROI to the time slice image providing apparatus, wherein the image receiving unit receives the multi-dimensional center coordinates reconstructed from the time slice image providing apparatus based on the ROI and the positional relationship information for the plurality of cameras, Wherein the time slice image is generated using each of the acquired images, the time slice image being generated based on the extracted time slice image, each image being extracted from the plurality of images around the restored multi-dimensional center coordinate, A user terminal can be provided.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described task solution is merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and the detailed description of the invention.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 스포츠 경기의 경우, 이벤트 발생 지점이 랜덤으로 발생됨으로써, 이벤트 발생 지점에 대한 영역의 설정이 어려웠으나, 이를 즉각적으로 처리함으로써, 스포츠 경기에서도 적용 가능한 타임 슬라이스 영상을 제공할 수 있도록 하는 장치 및 사용자 단말을 제공할 수 있다. 종래에는 추적이 가능한 객체를 중심으로 타임 슬라이스 영상을 생성할 수 밖에 없었지만, 본 발명은 임의의 지점을 중심으로 타임 슬라이스 영상을 생성하는 것이 가능하도록 함으로써, 자유도 높게 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공할 수 있다. 사용자가 임의의 영역을 선택하면, 선택된 영역에 대한 타임 슬라이스 영상을 제공하도록 하는 인터렉티브한 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말을 제공할 수 있다. According to any one of the above-described objects of the present invention, in the case of a sporting event, since an event occurrence point occurs at random, it is difficult to set an area for an event occurrence point, but by immediately processing it, It is possible to provide a device and a user terminal capable of providing a time slice image as much as possible. Conventionally, a time slice image can not be generated around an object which can be tracked. However, the present invention can provide a time slice image with high degree of freedom by making it possible to generate a time slice image around an arbitrary point. A user terminal can be provided. An apparatus and a user terminal providing an interactive time slice image for providing a time slice image for a selected region when a user selects an arbitrary region.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 복수의 영상에서 관심 영역을 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 사영 좌표를 중심으로 이미지를 추출하여 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다.
도 9는 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다.
도 10은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 11은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 1 is a configuration diagram of a time slice image providing system according to an embodiment of the present invention.
2 is a configuration diagram of a time slice image providing apparatus according to an embodiment of the present invention.
FIG. 3 is an exemplary diagram illustrating a process of selecting a region of interest in a plurality of images according to an exemplary embodiment of the present invention. Referring to FIG.
FIGS. 4A and 4B are exemplary diagrams for explaining a process of setting an angle of view region by extending an area from an image center coordinate according to an embodiment of the present invention.
5A and 5B are exemplary diagrams illustrating a process of restoring the multi-dimensional center coordinates according to an embodiment of the present invention.
FIG. 6 is an exemplary diagram for explaining a process of extracting an image around a projection coordinate and generating a time slice image according to an embodiment of the present invention. Referring to FIG.
7 is a flowchart illustrating a method of providing a time slice image in a time slice image providing apparatus according to an embodiment of the present invention.
8 is a configuration diagram of a time slice image providing apparatus according to another embodiment of the present invention.
9 is a flowchart illustrating a method of providing a time slice image in a time slice image providing apparatus according to another embodiment of the present invention.
10 is a configuration diagram of a user terminal according to an embodiment of the present invention.
11 is a flowchart illustrating a method of providing a time slice image in a user terminal according to an exemplary embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or the device may be performed in the server connected to the terminal or the device instead. Similarly, some of the operations or functions described as being performed by the server may also be performed on a terminal or device connected to the server.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 시스템의 구성도이다. 도 1을 참조하면, 타임 슬라이스 영상 제공 시스템(1)은 복수의 카메라(110), 타임 슬라이스 영상 제공 장치(120) 및 사용자 단말(130)을 포함할 수 있다. 복수의 카메라(110), 타임 슬라이스 영상 제공 장치(120) 및 사용자 단말(130)은 타임 슬라이스 영상 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다. 1 is a configuration diagram of a time slice image providing system according to an embodiment of the present invention. Referring to FIG. 1, a time slice
도 1의 타임 슬라이스 영상 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110) 및 사용자 단말(130)과 동시에 또는 시간 간격을 두고 연결될 수 있다. Each component of the time slice
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보교환이 가능한 연결구조를 의미하는 것으로, 이러한 네트워크의 일예는, 3G, 4G, 5G, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등이 포함되나 이에 한정되지는 않는다.The network refers to a connection structure in which information can be exchanged between each node such as terminals and servers. An example of such a network is 3G, 4G, 5G, Wi-Fi, Bluetooth, , A LAN (Local Area Network), a Wireless LAN (Local Area Network), a WAN (Wide Area Network), a PAN (Personal Area Network), and the like.
복수의 카메라(110)는 스포츠 경기장 또는 공연장에서 스포츠 경기 영상 또는 공연 영상을 촬영하고, 촬영 영상을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. 예를 들어, 복수의 카메라(110)는 스포츠 경기장 또는 공연장에 소정의 간격을 두고 설치된 것일 수 있다. The plurality of
타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 수신하고, 수신한 복수의 영상을 사용자 단말(130)로 전송할 수 있다. 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. 내부 파라미터는 복수의 카메라(110)의 초점 거리, 이미지 중심값 및 카메라 왜곡값 등을 포함하고, 외부 파라미터는 복수의 카메라(110)의 기준 좌표에 대한 상대적인 위치 정보를 포함할 수 있다. The time slice
타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 사용자 단말(130)로부터 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신함으로써, 관심 영역을 선택할 수 있다. 구체적으로, 타임 슬라이스 영상 제공 장치(120)는 사용자 단말(130)이 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하여 영상 중심 좌표로 설정하도록 함으로써 관심 영역을 선택할 수 있다. The time slice
타임 슬라이스 영상 제공 장치(120)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 적어도 둘의 영상 중심 좌표가 설정된 경우, 적어도 둘의 영상 중심 좌표 및 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다. 다른 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 위치 관계 정보에 기초하여 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 설정된 영상 중심 좌표를 연장한 직선 및 임의 지점을 포함하는 평면 방정식과의 접점을 다차원 중심 좌표로 복원할 수 있다. 또한, 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 위치 관계 정보에 기초하여 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 설정된 영상 중심 좌표를 연장한 직선에 임의 지점을 포함하는 배경의 깊이값을 반영하여 다차원 중심 좌표로 복원할 수 있다. The time slice
타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 복수의 영상에 사영하여 복수의 영상 각각으로부터 사영 좌표를 추출할 수 있다. 이 때, 타임 슬라이스 영상 제공 장치(120)는 추가 입력에 의해 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정할 수 있다. The time slice
타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 또한, 타임 슬라이스 영상 제공 장치(120)는 추출된 사영 좌표를 중심으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 장치(120)는 추출된 사영 좌표를 중심으로 설정된 화각 영역을 복수의 영상에 반영하고, 복수의 영상으로부터 반영된 화각 영역에 해당하는 이미지를 추출할 수 있다. 이 때, 타임 슬라이스 영상 제공 장치(120)는 추출된 사영 좌표를 중심으로 설정된 화각 영역을 위치 관계 정보에 의해 보정하여 복수의 영상에 반영할 수 있다. The time slice
타임 슬라이스 영상 제공 장치(120)는 생성된 타임 슬라이스 영상을 사용자 단말(130)로 전송할 수 있다. The time slice
사용자 단말(130)은 복수의 카메라(110)로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치(120)로부터 수신할 수 있다. The
사용자 단말(130)은 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받고, 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. 예를 들어, 사용자 단말(130)은 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택받아 영상 중심 좌표로 설정함으로써 관심 영역을 선택받고, 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. The
사용자 단말(130)은 추가 입력에 의해 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하고, 설정된 화각 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. 예를 들어, 사용자 단말(130)은 설정된 영상 중심 좌표로부터 드래그 입력에 의해 입력된 영역 및 영역이 반전된 영역으로 확장하여 화각 영역을 설정할 수 있다. The
사용자 단말(130)은 타임 슬라이스 영상 제공 장치(120)로부터 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신할 수 있다. The
도 2는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다. 도 2를 참조하면, 타임 슬라이스 영상 제공 장치(120)는 위치 관계 도출부(210), 영상 수신부(220), 선택부(230), 좌표 복원부(240), 사영 좌표 추출부(250) 및 생성부(260)를 포함할 수 있다. 2 is a configuration diagram of a time slice image providing apparatus according to an embodiment of the present invention. 2, the time slice
위치 관계 도출부(210)는 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. 내부 파라미터는 복수의 카메라(110)의 초점 거리, 이미지 중심값 및 카메라 왜곡값 중 적어도 하나를 포함하고, 외부 파라미터는 복수의 카메라(110)의 기준 좌표에 대한 상대적인 위치 정보를 포함할 수 있다. 예를 들어, 복수의 카메라(110)가 스포츠 경기장에 설치된 경우, 위치 관계 도출부(210)는 스포츠 경기장의 코너, 터치라인 등의 실측 가능한 지형지물을 이용하여 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. 다른 예를 들어, 위치 관계 도출부(210)는 SFM(Structure From Motion) 기법을 이용하여 복수의 카메라(110)에 대한 내부 파라미터 및 외부 파라미터에 기초하여 위치 관계 정보를 도출할 수 있다. SFM 기법은 서로 다른 시점을 갖는 영상으로부터 화면 내의 3D 구조 정보와 카메라의 움직임을 찾아내는 기법을 의미한다. The positional
복수의 카메라(110)에 대한 위치 관계 정보를 알아내는 공정은 복수의 카메라(110)가 스포츠 경기장 또는 공연장에 배치된 후 수행되며, 복수의 카메라(110)의 위치가 변경되는 경우, 복수의 카메라(110)에 대한 위치 관계 정보의 도출을 위해 재수행될 수 있다. The process of finding the positional relationship information of the plurality of
영상 수신부(220)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 수신할 수 있다. The
선택부(230)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택할 수 있다. 선택부(230)는 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하여 영상 중심 좌표로 설정함으로써 관심 영역을 선택할 수 있다. 임의 지점은 객체가 위치한 지점일 수 있지만 객체가 위치하지 않은 지점도 해당될 수 있다. 따라서, 본원 발명은 관심 영역을 선택하기 위해 객체에 대한 추적이 불필요하다는 장점을 가지고 있다. 즉, 본원 발명의 일 실시예에 따르면, 타임 슬라이스 영상 제공 장치(120)는 사용자의 입력에 따라 직접 관심 영역을 선택할 수 있다.The selecting
관심 영역을 선택하는 과정에 대해서는 도 3을 통해 상세히 설명하도록 한다. The process of selecting the region of interest will be described in detail with reference to FIG.
도 3은 본 발명의 일 실시예에 따른 복수의 영상에서 관심 영역을 선택하는 과정을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 야구 경기에 대한 타임 슬라이스 영상의 생성을 위해 복수의 영상에서 관심 영역을 선택할 수 있다. FIG. 3 is an exemplary diagram illustrating a process of selecting a region of interest in a plurality of images according to an exemplary embodiment of the present invention. Referring to FIG. Referring to FIG. 3, a region of interest may be selected from a plurality of images to generate a time slice image for a baseball game.
예를 들어, 야구 경기에 대한 타임 슬라이스 영상을 생성하고자 하는 경우, 선택부(230)는 복수의 영상 중 제 1 영상(310)에서 타석에 위치한 타자에 대해 임의 지점(311)을 선택함으로써, 선택된 임의 지점을 영상 중심 좌표(X)로 설정하여 관심 영역을 선택할 수 있다. 또한, 선택부(230)는 복수의 영상 중 제 2 영상(320)에서 타석에 위치한 타자에 대해 임의 지점(321)을 선택함으로써, 선택된 임의 지점을 영상 중심 좌표(X')로 설정하여 관심 영역을 선택할 수 있다. For example, when a time slice image for a baseball game is to be generated, the selecting
다시 도 2로 돌아와서, 선택부(230)는 추가 입력에 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정할 수 있다. 화각 영역은 예를 들어, 설정된 영상 중심 좌표로부터 사용자 단말(130)를 통해 입력된 드래그 입력에 의해 입력된 영역 및 영역이 반전된 영역으로 확장되어 설정되는 것일 수 있다. 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 과정에 대해서는 도 4a 및 도 4b를 통해 상세히 설명하도록 하겠다. 2, the
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 과정을 설명하기 위한 예시적인 도면이다. FIGS. 4A and 4B are exemplary diagrams for explaining a process of setting an angle of view region by extending an area from an image center coordinate according to an embodiment of the present invention.
도 4a는 본 발명의 일 실시예에 따른 화각 영역을 설정하는 과정을 설명하기 위한 예시적인 도면이다. 도 4a를 참조하면, 선택부(230)에서 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하면, 선택된 임의 지점에 대한 영상 중심 좌표가 설정될 수 있다. 영상 중심 좌표는 'key down'의 (xc, yc) 좌표(410)에 해당하는 것일 수 있다. FIG. 4A is an exemplary diagram illustrating a process of setting a field angle area according to an embodiment of the present invention. Referring to FIG. Referring to FIG. 4A, when an arbitrary point is selected from at least one image among a plurality of images in the selecting
선택부(230)는 선택된 영상 중심 좌표에 기초하여 관심 영역을 선택할 수 있다. 관심 영역은 예를 들어, 'key down'의 (xc, yc) 좌표(410)로부터 'key up'의 (x, y) 좌표(402)에 해당되는 영역 및 'key up'의 (x, y) 좌표(402)가 반전된 'key up'의 (-x, -y) 좌표(401)에 해당되는 영역을 포함할 수 있다. The
이 때, 사용자 단말(130)을 통해 드래그 입력이 입력된 경우, 영상 중심 좌표 및 화각 영역이 동시에 설정될 수도 있다. 예를 들어, 사용자 단말(130)을 통해 드래그 입력이 입력된 경우, 화각 영역은 'key up'의 (-x, -y) 좌표(401)로부터 'key up'의 (x, y) 좌표(402)에 해당하는 화각 영역(400)이 설정되는 동시에 영상 중심 좌표(410)가 설정될 수 있다. In this case, when the drag input is input through the
도 4b는 본 발명의 일 실시예에 따른 화각 영역이 설정된 복수의 영상을 도시한 예시적인 도면이다. 도 4b를 참조하면, 제 1 영상(420)에서 선택된 제 1 임의 지점(X)에 대한 제 1 화각 영역(421)이 설정될 수 있으며, 제 2 영상(430)에서 선택된 제 2 임의 지점(X')에 대한 제 2 화각 영역(431)이 설정될 수 있다. 4B is an exemplary diagram showing a plurality of images in which a field angle region is set according to an embodiment of the present invention. 4B, a first field of
제 1 영상(420)은 화각 영역에 대한 가로 및 세로가 각각 'w0', 'h0'로 설정될 수 있으며, 제 2 영상(430)은 화각 영역에 대한 가로 및 세로가 각각 'wn', 'hn'으로 설정될 수 있다. The
화각 영역은 원본 영상의 가로 및 세로 비율이 유지되며, 제 1 영상(420) 및 제 2 영상(430)의 사이에 위치한 중간 영상(가로: wk, 세로: hk)의 화각 영역의 크기는 수학식 1에 기초하여 선형적으로 보간될 수 있다. The horizontal and vertical ratios of the original image are maintained and the size of the field of view of the intermediate image (width: w k , length: h k ) located between the
다시 도 2로 돌아와서, 좌표 복원부(240)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다. 좌표 복원부(240)는 복수의 영상 중 영상 중심 좌표가 설정된 개수에 따라 다차원 중심 좌표를 다르게 복원할 수 있다. 영상 중심 좌표가 설정된 개수에 따라 다차원 중심 좌표를 다르게 복원하는 과정에 대해서는 도 5a 및 도 5b를 통해 상세히 설명하도록 한다. Referring back to FIG. 2, the coordinate restoring
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다. 5A and 5B are exemplary diagrams illustrating a process of restoring the multi-dimensional center coordinates according to an embodiment of the present invention.
도 5a는 본 발명의 일 실시예에 따른 복수의 영상 중 적어도 둘의 영상 중심 좌표가 설정된 경우의 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다. 도 5a를 참조하면, 좌표 복원부(240)는 복수의 영상 중 적어도 둘의 영상 중심 좌표가 설정된 경우, 적어도 둘의 영상 중심 좌표 및 위치 관계 정보에 기초하여 다차원 중심 좌표를 선형적으로 복원할 수 있다. FIG. 5A is an exemplary diagram for explaining a process of restoring a multi-dimensional center coordinate when at least two image center coordinates of a plurality of images are set according to an embodiment of the present invention. Referring to FIG. 5A, when at least two image center coordinates of a plurality of images are set, the coordinate
예를 들어, 좌표 복원부(240)는 2개의 영상 중심 좌표가 설정된 경우, 위치 관계 정보에 기초하여 2개의 영상 중심 좌표의 X(510) 및 X'(511)로부터 삼각측량(triangulation)을 통해 선형적으로 다차원 중심 좌표(500)를 복원할 수 있다. For example, when two image center coordinates are set, the coordinate restoring
도 5b는 본 발명의 일 실시예에 따른 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우의 다차원 중심 좌표를 복원하는 과정을 설명하기 위한 예시적인 도면이다. 도 5b를 참조하면, 좌표 복원부(240)는 복수의 영상 중 하나의 영상 중심 좌표(520)가 설정된 경우, 위치 관계 정보에 기초하여 설정된 영상 중심 좌표(520)와 대응하는 카메라의 시점과 설정된 영상 중심 좌표(520)를 연장한 직선(521) 및 임의 지점(520)을 포함하는 평면 방정식과의 접점(540)을 다차원 중심 좌표로 복원할 수 있다. FIG. 5B is an exemplary diagram for explaining a process of restoring the multi-dimensional center coordinates when one of the plurality of images has an image center coordinate set according to an embodiment of the present invention. Referring to FIG. 5B, when one of the image center coordinates 520 of the plurality of images is set, the coordinate restoring
예를 들어, 좌표 복원부(240)는 위치 관계 정보에 기초하여 설정된 영상 중심 좌표(520)와 대응하는 카메라의 시점과 설정된 영상 중심 좌표(520)를 연장한 직선(521)에 임의 지점을 포함하는 배경의 깊이값(530)을 반영하여 다차원 중심 좌표(540)로 복원할 수 있다. 여기서, 배경의 깊이값은 미리 계산된 것일 수 있다. For example, the coordinate restoring
다시 도 2로 돌아와서, 사영 좌표 추출부(250)는 복원된 다차원 중심 좌표를 복수의 영상에 사영하여 복수의 영상 각각으로부터 사영 좌표를 추출할 수 있다. 사영 좌표 추출부(250)는 복원된 다차원 중심 좌표를 각각의 다른 시점을 갖는 복수의 영상에 사영하여 사영 좌표를 추출할 수 있다. 2, the projection coordinate
생성부(260)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 생성부(260)는 사영 좌표 추출부(250)에서 추출된 사영 좌표를 중심으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 사영 좌표를 중심으로 타임 슬라이스 영상을 생성하는 과정에 대해서는 도 6을 통해 상세히 설명하도록 한다. The generating
도 6은 본 발명의 일 실시예에 따른 사영 좌표를 중심으로 이미지를 추출하여 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 사영 좌표 추출부(250)는 복원된 다차원 중심 좌표(X, 600)를 복수의 영상(601 내지 605)에 사영하여 복수의 영상(601 내지 605) 각각으로부터 사영 좌표(611 내지 615)를 추출할 수 있다. FIG. 6 is an exemplary diagram for explaining a process of extracting an image around a projection coordinate and generating a time slice image according to an embodiment of the present invention. Referring to FIG. 6, the projection coordinate
생성부(260)는 추출된 사영 좌표(611 내지 615)를 중심으로 설정된 화각 영역을 복수의 영상에 반영하고, 복수의 영상으로부터 반영된 화각 영역(621 내지 625)에 해당하는 이미지를 추출하여 타임 슬라이스 영상을 생성할 수 있다. 이 때, 생성부(260)는 추출된 사영 좌표(611 내지 615)를 중심으로 설정된 화각 영역(621 내지 625)을 위치 관계 정보에 의해 보정하여 복수의 영상에 반영할 수 있다. The
이러한 과정을 통해 생성된 타임 슬라이스 영상은 다차원 중심 좌표를 복수의 영상에 사영시킴으로써, 흔들리지 않고, 추적이 불가능한 가려진 위치에 대해서도 사영이 가능하다는 장점을 갖는다. The time slice image generated through this process has an advantage that it is possible to project an obscured position that is not shaken and can not be traced by projecting a multi-dimensional center coordinate to a plurality of images.
도 7은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 7에 도시된 타임 슬라이스 영상 제공 장치(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 내지 도 6에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 타임 슬라이스 영상 제공 장치(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다. 7 is a flowchart illustrating a method of providing a time slice image in a time slice image providing apparatus according to an embodiment of the present invention. The method of providing the time slice image performed by the time slice
단계 S710에서 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 수신할 수 있다. In step S710, the time slice
단계 S720에서 타임 슬라이스 영상 제공 장치(120)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택할 수 있다. In step S720, the time slice
단계 S730에서 타임 슬라이스 영상 제공 장치(120)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원할 수 있다. In step S730, the time slice
단계 S740에서 타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. In step S740, the time slice
상술한 설명에서, 단계 S710 내지 S740은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S710 to S740 may be further divided into further steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some of the steps may be omitted as necessary, and the order between the steps may be switched.
도 8은 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치의 구성도이다. 도 8을 참조하면, 타임 슬라이스 영상 제공 장치(120)는 영상 전송부(810), 수신부(820), 좌표 복원부(830), 생성부(840) 및 전송부(850)를 포함할 수 있다. 8 is a configuration diagram of a time slice image providing apparatus according to another embodiment of the present invention. 8, the time slice
영상 전송부(810)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 사용자 단말(130)로 전송할 수 있다. The
수신부(820)는 사용자 단말(130)로부터 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신할 수 있다. 관심 영역은 예를 들어, 설정된 영상 중심 좌표로부터 사용자 단말(130)을 통해 입력된 드래그 입력에 의해 입력된 영역일 수 있다. 즉, 본원 발명의 일 실시예에 따르면, 타임 슬라이스 영상 제공 장치(120)는 관심 영역에 대한 직접적인 선택 없이 사용자 단말(130)로부터 수신할 수 있다. The receiving
좌표 복원부(830)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출할 수 있다. The coordinate restoring
생성부(840)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. The generating
전송부(850)는 생성된 타임 슬라이스 영상을 사용자 단말(130)로 전송할 수 있다. The transmitting
도 9는 본 발명의 다른 실시예에 따른 타임 슬라이스 영상 제공 장치에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 9에 도시된 실시예에 따른 타임 슬라이스 영상 제공 장치(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 내지 도 8에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 8에 도시된 실시예에 따른 영상 제공 서버(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다. 9 is a flowchart illustrating a method of providing a time slice image in a time slice image providing apparatus according to another embodiment of the present invention. A method of providing a time slice image performed by the time slice
단계 S910에서 타임 슬라이스 영상 제공 장치(120)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 사용자 단말(130)로 전송할 수 있다. In step S910, the time slice
단게 S920에서 타임 슬라이스 영상 제공 장치(120)는 사용자 단말(130)로부터 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신할 수 있다. In step S920, the time slice
단계 S930에서 타임 슬라이스 영상 제공 장치(120)는 선택된 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출할 수 있다. In step S930, the time slice
단계 S940에서 타임 슬라이스 영상 제공 장치(120)는 복원된 다차원 중심 좌표를 기준으로 복수의 영상으로부터 각각의 이미지를 추출하고, 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. In step S940, the time slice
단계 S950에서 타임 슬라이스 영상 제공 장치(120)는 생성된 타임 슬라이스 영상을 사용자 단말(130)로 전송할 수 있다. In step S950, the time slice
상술한 설명에서, 단계 S910 내지 S950은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S910 to S950 may be further divided into further steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some of the steps may be omitted as necessary, and the order between the steps may be switched.
도 10은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 10을 참조하면, 사용자 단말(130)은 영상 수신부(1010), 선택부(1020) 및 전송부(1030)를 포함할 수 있다. 10 is a configuration diagram of a user terminal according to an embodiment of the present invention. Referring to FIG. 10, the
영상 수신부(1010)는 복수의 카메라(110)로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치(120)로부터 수신할 수 있다. 또한, 영상 수신부(1010)는 타임 슬라이스 영상 제공 장치(120)로부터 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신할 수 있다. The
선택부(1020)는 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받을 수 있다. 예를 들어, 선택부(1020)는 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택받아 영상 중심 좌표로 설정함으로써 관심 영역을 선택받을 수 있다. The
선택부(1020)는 추가 입력에 의해 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정할 수 있다. 예를 들어, 선택부(1020)는 설정된 영상 중심 좌표로부터 드래그 입력에 의해 입력된 영역 및 영역이 반전된 영역으로부터 확장하여 화각 영역을 설정할 수 있다. The
전송부(1030)는 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. The
한편, 사용자 단말(130)은 필요에 따라 타임 슬라이스 영상 제공 장치(120)과의 연동 없이 사용자에 의해 선택받은 관심 영역에 기초하여 타임 슬라이스 영상을 생성하는 생성부를 더 포함할 수 있다.The
도 11은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 11에 도시된 실시예에 따른 사용자 단말(130)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 내지 도 10에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 10에 도시된 실시예에 따른 사용자 단말(130)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다. 11 is a flowchart illustrating a method of providing a time slice image in a user terminal according to an exemplary embodiment of the present invention. The method of providing the time slice image performed by the
단계 S1110에서 사용자 단말(130)은 복수의 카메라(110)로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치(120)로부터 수신할 수 있다. In step S1110, the
단계 S1120에서 사용자 단말(130)은 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받을 수 있다. In step S1120, the
단계 S1130에서 사용자 단말(130)은 선택된 관심 영역을 타임 슬라이스 영상 제공 장치(120)로 전송할 수 있다. In step S1130, the
단계 S1140에서 사용자 단말(130)은 타임 슬라이스 영상 제공 장치(120)로부터 관심 영역 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신할 수 있다. In step S1140, the
상술한 설명에서, 단계 S1110 내지 S1140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S1110 to S1140 may be further divided into further steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some of the steps may be omitted as necessary, and the order between the steps may be switched.
도 1 내지 도 11을 통해 설명된 타임 슬라이스 영상 제공 장치 및 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 11을 통해 설명된 타임 슬라이스 영상 제공 장치 및 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. The method of providing the time slice image in the time slice image providing apparatus and the user terminal described with reference to Figs. 1 to 11 is a form of a recording medium including a computer program stored in a medium executed by the computer or a command executable by the computer . ≪ / RTI > In addition, the method of providing time slice images in the time slice image providing apparatus and the user terminal described with reference to FIGS. 1 to 11 may be implemented in the form of a computer program stored in a medium executed by a computer.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. The computer-readable medium may also include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
110: 복수의 카메라
120: 타임 슬라이스 영상 제공 장치
130: 사용자 단말
210: 위치 관계 도출부
220: 영상 수신부
230: 선택부
240: 좌표 복원부
250: 사영 좌표 추출부
260: 생성부
810: 영상 전송부
820: 수신부
830: 좌표 복원부
840: 생성부
850: 전송부
1010: 영상 수신부
1020: 선택부
1030: 전송부110: Multiple cameras
120: time slice image providing device
130: User terminal
210: Position relationship derivation unit
220:
230:
240: coordinate restoring unit
250: projection coordinate extracting unit
260:
810:
820:
830:
840:
850:
1010:
1020:
1030:
Claims (16)
복수의 카메라로부터 촬영된 복수의 영상을 수신하는 영상 수신부;
상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택하는 선택부;
상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 복원하는 좌표 복원부; 및
상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부
를 포함하는 것인, 타임 슬라이스 영상 제공 장치.
An apparatus for providing a time slice image,
An image receiving unit for receiving a plurality of images photographed from a plurality of cameras;
A selection unit for selecting a region of interest in at least one of the plurality of images;
A coordinate restoring unit for restoring the multi-dimensional center coordinates based on the selected region of interest and the positional relationship information for the plurality of cameras; And
Extracting each image from the plurality of images on the basis of the restored multidimensional center coordinates, and generating a time slice image using each of the obtained images,
The time slice image providing apparatus comprising:
상기 복수의 카메라에 대한 내부 파라미터 및 외부 파라미터에 기초하여 상기 위치 관계 정보를 도출하는 위치 관계 도출부를 더 포함하는 것인, 타임 슬라이스 영상 제공 장치.
The method according to claim 1,
Further comprising a positional relationship derivation unit for deriving the positional relationship information based on an internal parameter and an external parameter for the plurality of cameras.
상기 내부 파라미터는 상기 복수의 카메라의 초점 거리, 이미지 중심값 및 카메라 왜곡값 중 적어도 하나를 포함하고,
상기 외부 파라미터는 상기 복수의 카메라의 기준 좌표에 대한 상대적인 위치 정보를 포함하는 것인, 타임 슬라이스 영상 제공 장치.
3. The method of claim 2,
Wherein the internal parameter includes at least one of a focal length, an image center value, and a camera distortion value of the plurality of cameras,
Wherein the external parameter includes positional information relative to a reference coordinate of the plurality of cameras.
상기 선택부는 상기 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택하여 영상 중심 좌표로 설정함으로써 상기 관심 영역을 선택하는 것인, 타임 슬라이스 영상 제공 장치.
The method of claim 3,
Wherein the selecting unit selects the region of interest by selecting an arbitrary point on at least one of the plurality of images and setting the selected point to the center coordinates of the image.
상기 좌표 복원부는 상기 복수의 영상 중 적어도 둘의 영상 중심 좌표가 설정된 경우, 상기 적어도 둘의 영상 중심 좌표 및 상기 위치 관계 정보에 기초하여 상기 다차원 중심 좌표를 복원하는 것인, 타임 슬라이스 영상 제공 장치.
5. The method of claim 4,
Wherein the coordinate restoration unit restores the multidimensional center coordinates based on the at least two image center coordinates and the positional relationship information when at least two image center coordinates of the plurality of images are set.
상기 좌표 복원부는 상기 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 상기 위치 관계 정보에 기초하여 상기 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 상기 설정된 영상 중심 좌표를 연장한 직선 및 상기 임의 지점을 포함하는 평면 방정식과의 접점을 상기 다차원 중심 좌표로 복원하는 것인, 타임 슬라이스 영상 제공 장치.
6. The method of claim 5,
Wherein the coordinate restoration unit restores the coordinates of the center of the camera corresponding to the set image center coordinates based on the positional relationship information when the image center coordinate of one of the plurality of images is set, And restoring the point of contact with the plane equation including the coordinates of the time slice image to the multidimensional center coordinates.
상기 좌표 복원부는 상기 복수의 영상 중 하나의 영상 중심 좌표가 설정된 경우, 상기 위치 관계 정보에 기초하여 상기 설정된 영상 중심 좌표와 대응하는 카메라의 시점과 상기 설정된 영상 중심 좌표를 연장한 직선에 상기 임의 지점을 포함하는 배경의 깊이값을 반영하여 상기 다차원 중심 좌표로 복원하는 것인, 타임 슬라이스 영상 제공 장치.
6. The method of claim 5,
Wherein the coordinate restoration unit restores the coordinates of the center of the camera corresponding to the set image center coordinates based on the positional relationship information and a straight line extending the set image center coordinate, And restoring the multi-dimensional center coordinates by reflecting a depth value of the background including the depth value.
상기 복원된 다차원 중심 좌표를 상기 복수의 영상에 사영하여 상기 복수의 영상 각각으로부터 사영 좌표를 추출하는 사영 좌표 추출부
를 더 포함하고,
상기 생성부는 상기 추출된 사영 좌표를 중심으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 제공 장치.
5. The method of claim 4,
A projection coordinate extracting unit extracting projection coordinates from each of the plurality of images by projecting the restored multi-dimensional center coordinates on the plurality of images;
Further comprising:
Wherein the generator extracts each image from the plurality of images around the extracted projected coordinates, and generates a time slice image using each of the acquired images.
상기 선택부는 추가 입력에 의해 상기 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 것인, 타임 슬라이스 영상 제공 장치.
9. The method of claim 8,
Wherein the selection unit sets an angle of view area by extending an area from the set image center coordinates by an additional input.
상기 생성부는 상기 추출된 사영 좌표를 중심으로 상기 설정된 화각 영역을 상기 복수의 영상에 반영하고, 상기 복수의 영상으로부터 상기 반영된 화각 영역에 해당하는 이미지를 추출하는 것인, 타임 슬라이스 영상 제공 장치.
10. The method of claim 9,
Wherein the generation unit reflects the set angle of view area around the extracted projected coordinates on the plurality of images and extracts an image corresponding to the reflected angle of view area from the plurality of images.
상기 생성부는 상기 추출된 사영 좌표를 중심으로 상기 설정된 화각 영역을 상기 위치 관계 정보에 의해 보정하여 상기 복수의 영상에 반영하는 것인, 타임 슬라이스 영상 제공 장치.
11. The method of claim 10,
Wherein the generation unit corrects the set angle of view area with the positional relationship information around the extracted projective coordinates and reflects the corrected angle of view area on the plurality of images.
복수의 카메라로부터 촬영된 복수의 영상을 사용자 단말로 전송하는 영상 전송부;
상기 사용자 단말로부터 상기 복수의 영상 중 적어도 하나의 영상에서 선택된 관심 영역을 수신하는 수신부;
상기 선택된 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 다차원 중심 좌표를 도출하는 좌표 복원부;
상기 복원된 다차원 중심 좌표를 기준으로 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 획득된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 생성부; 및
상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 전송하는 전송부
를 포함하는 것인, 타임 슬라이스 영상 제공 장치.
An apparatus for providing a time slice image,
A video transmitting unit for transmitting a plurality of videos photographed from a plurality of cameras to a user terminal;
A receiver for receiving a selected region of interest from at least one of the plurality of images from the user terminal;
A coordinate reconstruction unit for deriving a multi-dimensional center coordinate based on the selected region of interest and positional relationship information for the plurality of cameras;
A generating unit that extracts each image from the plurality of images based on the restored multi-dimensional center coordinates, and generates a time slice image using each of the obtained images; And
A transmission unit for transmitting the generated time slice image to the user terminal,
The time slice image providing apparatus comprising:
복수의 카메라로부터 촬영된 복수의 영상을 타임 슬라이스 영상 제공 장치로부터 수신하는 영상 수신부;
상기 복수의 영상 중 적어도 하나의 영상에서 관심 영역을 선택받는 선택부; 및
상기 선택된 관심 영역을 상기 타임 슬라이스 영상 제공 장치로 전송하는 전송부를 포함하고,
상기 영상 수신부는 상기 타임 슬라이스 영상 제공 장치로부터 상기 관심 영역 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 복원된 다차원 중심 좌표를 기준으로 생성된 타임 슬라이스 영상을 수신하고,
상기 복원된 다차원 중심 좌표를 중심으로 상기 복수의 영상으로부터 각각의 이미지가 추출되고,
상기 타임 슬라이스 영상은 상기 획득된 각각의 이미지를 이용하여 생성되는 것인, 사용자 단말.
A user terminal for providing a time slice video,
An image receiving unit for receiving a plurality of images photographed by a plurality of cameras from a time slice image providing apparatus;
A selecting unit for selecting a region of interest from at least one of the plurality of images; And
And a transmitting unit for transmitting the selected region of interest to the time slice image providing apparatus,
Wherein the image receiving unit receives a time slice image generated based on the reconstructed multi-dimensional center coordinates based on the ROI and the positional relationship information for the plurality of cameras from the time slice image providing apparatus,
Each image is extracted from the plurality of images around the restored multidimensional center coordinates,
Wherein the time slice image is generated using each of the acquired images.
상기 선택부는 상기 복수의 영상 중 적어도 하나의 영상에서 임의 지점을 선택받아 영상 중심 좌표로 설정함으로써 상기 관심 영역을 선택받는 것인, 사용자 단말.
14. The method of claim 13,
Wherein the selection unit selects the region of interest by selecting an arbitrary point on at least one of the plurality of images and setting the selected point as an image center coordinate.
상기 선택부는 추가 입력에 의해 상기 설정된 영상 중심 좌표로부터 영역을 확장하여 화각 영역을 설정하는 것인, 사용자 단말.
15. The method of claim 14,
Wherein the selection unit extends an area from the set image center coordinates by an additional input to set a field angle area.
상기 선택부는 상기 설정된 영상 중심 좌표로부터 드래그 입력에 의해 입력된 영역 및 상기 영역이 반전된 영역으로 확장하여 화각 영역을 설정하는 것인, 사용자 단말.16. The method of claim 15,
Wherein the selection unit sets the field angle region by extending from the set image center coordinates to the region input by dragging input and the region inverted.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160172699A KR102139106B1 (en) | 2016-12-16 | 2016-12-16 | Apparatus and user device for providing time slice video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160172699A KR102139106B1 (en) | 2016-12-16 | 2016-12-16 | Apparatus and user device for providing time slice video |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180070234A true KR20180070234A (en) | 2018-06-26 |
KR102139106B1 KR102139106B1 (en) | 2020-07-29 |
Family
ID=62788600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160172699A KR102139106B1 (en) | 2016-12-16 | 2016-12-16 | Apparatus and user device for providing time slice video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102139106B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240008690A (en) * | 2022-07-12 | 2024-01-19 | 주식회사 래비노 | 3D image generation system and method for compensating images of moving cameras |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060029140A (en) * | 2003-06-20 | 2006-04-04 | 니폰 덴신 덴와 가부시끼가이샤 | Virtual visual point image generating method and 3-d image display method and device |
KR20090059380A (en) * | 2007-12-06 | 2009-06-11 | 한국전자통신연구원 | Apparatus and method for controlling perceived depth of multi-view images |
JP2010206404A (en) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | Image monitoring device |
JP2011182160A (en) * | 2010-03-01 | 2011-09-15 | Canon Inc | Video processor and video processing method |
JP2014126906A (en) * | 2012-12-25 | 2014-07-07 | Casio Comput Co Ltd | Display control apparatus, display control system, display control method, and program |
KR20150050172A (en) * | 2013-10-31 | 2015-05-08 | 한국전자통신연구원 | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object |
KR20160093759A (en) * | 2015-01-29 | 2016-08-09 | 한국전자통신연구원 | Multiple camera control apparatus and method for maintaining the position and size of the object in continuous service switching point |
-
2016
- 2016-12-16 KR KR1020160172699A patent/KR102139106B1/en active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060029140A (en) * | 2003-06-20 | 2006-04-04 | 니폰 덴신 덴와 가부시끼가이샤 | Virtual visual point image generating method and 3-d image display method and device |
KR20090059380A (en) * | 2007-12-06 | 2009-06-11 | 한국전자통신연구원 | Apparatus and method for controlling perceived depth of multi-view images |
JP2010206404A (en) * | 2009-03-02 | 2010-09-16 | Secom Co Ltd | Image monitoring device |
JP2011182160A (en) * | 2010-03-01 | 2011-09-15 | Canon Inc | Video processor and video processing method |
JP2014126906A (en) * | 2012-12-25 | 2014-07-07 | Casio Comput Co Ltd | Display control apparatus, display control system, display control method, and program |
KR20150050172A (en) * | 2013-10-31 | 2015-05-08 | 한국전자통신연구원 | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object |
KR20160093759A (en) * | 2015-01-29 | 2016-08-09 | 한국전자통신연구원 | Multiple camera control apparatus and method for maintaining the position and size of the object in continuous service switching point |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240008690A (en) * | 2022-07-12 | 2024-01-19 | 주식회사 래비노 | 3D image generation system and method for compensating images of moving cameras |
Also Published As
Publication number | Publication date |
---|---|
KR102139106B1 (en) | 2020-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762653B2 (en) | Generation apparatus of virtual viewpoint image, generation method, and storage medium | |
JP6961612B2 (en) | 3D model distribution method and 3D model distribution device | |
KR102246010B1 (en) | Image processing apparatus, image processing method and storage medium | |
JP6621063B2 (en) | Camera selection method and video distribution system | |
JP5456020B2 (en) | Information processing apparatus and method | |
KR101804205B1 (en) | Apparatus and method for image processing | |
US20200265633A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2019506041A (en) | Depth map processing for images | |
TW200933491A (en) | Method of synthesizing an image with multi-view images | |
US11250619B2 (en) | Image processing apparatus and method | |
US11228790B2 (en) | Providing time slice video | |
US20200137376A1 (en) | Method for generating a light-field 3d display unit image and a generating device | |
JP5133472B2 (en) | 3D image output apparatus and 3D image output method | |
US12026903B2 (en) | Processing of depth maps for images | |
CN109495733B (en) | Three-dimensional image reconstruction method, device and non-transitory computer readable storage medium thereof | |
KR102105510B1 (en) | Server, method and user device for providing time slice video | |
JP5906165B2 (en) | Virtual viewpoint image composition device, virtual viewpoint image composition method, and virtual viewpoint image composition program | |
KR102139106B1 (en) | Apparatus and user device for providing time slice video | |
US8711208B2 (en) | Imaging device, method and computer readable medium | |
JP2016224930A (en) | Method and device for bounding object in video | |
KR102242710B1 (en) | Apparatus for providing half free-viewpoint video | |
JP6339601B2 (en) | Stereoscopic image processing method and display device | |
JP7195791B2 (en) | Image processing device, information processing method and program | |
JP5868055B2 (en) | Image processing apparatus and image processing method | |
KR101883981B1 (en) | Apparatus and method for providing virtual reality video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |