KR102101382B1 - 영상 공유 방법 및 장치 - Google Patents

영상 공유 방법 및 장치 Download PDF

Info

Publication number
KR102101382B1
KR102101382B1 KR1020180109022A KR20180109022A KR102101382B1 KR 102101382 B1 KR102101382 B1 KR 102101382B1 KR 1020180109022 A KR1020180109022 A KR 1020180109022A KR 20180109022 A KR20180109022 A KR 20180109022A KR 102101382 B1 KR102101382 B1 KR 102101382B1
Authority
KR
South Korea
Prior art keywords
user device
image
target user
image processing
view
Prior art date
Application number
KR1020180109022A
Other languages
English (en)
Other versions
KR20200018179A (ko
Inventor
김용국
조성래
김용진
김준세
Original Assignee
링크플로우 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 링크플로우 주식회사 filed Critical 링크플로우 주식회사
Priority to PCT/KR2018/011229 priority Critical patent/WO2020054898A1/ko
Priority to PCT/KR2019/006916 priority patent/WO2020032371A1/ko
Priority to US17/250,109 priority patent/US20210235164A1/en
Publication of KR20200018179A publication Critical patent/KR20200018179A/ko
Application granted granted Critical
Publication of KR102101382B1 publication Critical patent/KR102101382B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 영상 공유 방법 및 장치에 관한 것이다. 영상 공유 방법은 타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계와 타겟 사용자 장치가 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하는 단계를 포함할 수 있되, 영상 처리 장치와 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.

Description

영상 공유 방법 및 장치{Method and apparatus for sharing image}
본 발명은 영상 공유 방법 및 장치에 관한 것이다. 보다 상세하게는 중계 장치를 활용하여 사용자 장치 간에 영상을 공유하기 위한 방법에 관한 것이다.
전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.
전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.
전방향 영상 처리 장치는 다양한 영역에서 활용될 수 있다. 예를 들어, 방범/보안과 같은 전방향의 영상에 대한 감시가 필요한 영역에서 활용될 수도 있고, 여행을 다닐 때 여행자가 방문했던 장소에 대한 기록을 위해 활용될 수도 있다. 이뿐만 아니라, 전방향 영상 처리 장치를 기반으로 촬영된 전방향 영상은 편집되어 상품의 판매를 위한 영상으로도 활용될 수도 있다.
전방향 영상 처리 장치를 통해 촬상된 영상이 사용자 장치를 통해 바로 확인이 가능한 경우, 전방향 영상 처리 장치가 다양한 용도로 활용될 수 있다.
따라서, 사용자가 전방향 영상 처리 장치를 기반으로 생성된 전방향 영상에 대한 다양한 처리를 통해 전방향 영상을 다양한 분야에서 활용하기 위한 기술 개발이 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자 장치와 같은 중계 장치를 활용하여 영상(예를 들어, 전방향 영상)을 타겟 사용자 장치로 전송하는 것을 목적으로 한다.
또한, 본 발명은, 원거리에 위치한 타겟 사용자 장치의 사용자가 영상 처리 장치에 의해 촬상된 영상을 실시간으로 수신하여 영상 처리 장치 위치에서의 상황을 원거리에서 공유하는 것을 목적으로 한다.
또한, 본 발명은 영상을 공유시 불필요한 영상 데이터를 최소화하여 네트워크 부하를 방지하고, 영상 끊김을 방지하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 영상 공유 방법은 타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계와 상기 타겟 사용자 장치가 상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하는 단계를 포함할 수 있되, 상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.
본 발명의 다른 태양에 따르면, 영상 공유를 수행하는 타겟 사용자 장치는 영상 데이터를 수신하기 위해 구현된 통신부와 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되, 상기 프로세서는 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하고, 상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하도록 구현될 수 있되, 상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.
본 발명에 의하면, 사용자 장치와 같은 중계 장치를 활용하여 영상(예를 들어, 전방향 영상)이 타겟 사용자 장치로 전송될 수 있다.
또한, 원거리에 위치한 타겟 사용자 장치의 사용자가 영상 처리 장치에 의해 촬상된 영상을 실시간으로 수신하여 영상 처리 장치 위치에서의 상황이 원거리에서 공유될 수 있다.
또한, 영상을 공유시 불필요한 영상 데이터를 최소화하여 네트워크 부하가 감소되고, 영상 끊김이 방지될 수 있다.
도 1은 본 발명의 실시예에 따른 영상 공유 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 영상을 원거리에 위치한 사용자 장치를 통해 확인하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 타겟 사용자에 의해 선택된 특정 시야의 영상을 제공받기 위한 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 타겟 사용자 장치에서 영상을 확인하는 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예에서는 설명의 편의상 영상 처리 장치를 전방향 영상 처리 장치로 가정하고, 영상 처리 장치에 의해 촬상된 영상을 전방향 영상으로 가정한다.
하지만, 본 발명의 실시예에 따른 영상 공유 방법 및 장치에서는 영상 처리 장치는 전방향 영상 처리 장치뿐만 아니라, 다양한 화각의 영상 처리 장치를 포함할 수 있고, 촬상된 영상은 전방향 영상뿐만 아니라, 다양한 화각의 영상을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 공유 방법을 나타낸 개념도이다.
도 1에서는 영상 처리 장치(예를 들어, 전방향 영상 처리 장치)에 의해 촬상된 영상(예를 들어, 전방향 영상)을 중계 사용자 장치를 통하여 타겟 사용자 장치로 전송하기 위한 방법이 개시된다. 타겟 사용자 장치는 영상 처리 장치와 직접적으로 연결되지 않고 영상 처리 장치에 의해 촬상된 영상을 제공받는 장치일 수 있다.
도 1을 참조하면, 중계 사용자는 영상 처리 장치(100)를 착용하고, 중계 사용자 장치(110)를 휴대할 수 있다.
본 발명의 실시예에 따른 영상 처리 장치는 웨어러블 영상 처리 장치로서 넥밴드와 같은 형태로 중계 사용자에 의해 착용 가능한 것을 가정한다. 하지만, 이러한 웨어러블 형태의 영상 처리 장치뿐만 아니라 다른 다양한 형태의 영상 처리 장치도 본 발명의 실시예에 따른 영상 처리 장치에 포함될 수 있다. 또한, 영상 처리 장치는 360도 영상을 촬상하는 영상 처리 장치뿐만 아니라, 그 이하의 화각의 영상을 촬상하는 영상 처리 장치도 포함할 수 있다.
설명의 편의상 중계 사용자가 영상 처리 장치(100)를 착용하고, 중계 사용자 장치(110)를 휴대한 것으로 가정하나, 영상 처리 장치(100)를 착용한 중계 사용자와 중계 사용자 장치(110)를 휴대한 사용자는 서로 다를 수 있다.
타겟 사용자는 타겟 사용자 장치(120)를 휴대하고 영상 처리 장치(100)에 의해 촬상된 영상을 수신할 수 있다. 설명의 편의상 하나의 사용자가 영상 처리 장치(100)를 착용하고, 중계 사용자 장치(110)를 휴대한 것으로 가정하나, 전방향 영상 처리 장치(100)를 착용한 사용자와 중계 사용자 장치(110)를 휴대한 사용자는 서로 다를 수도 있다.
영상 처리 장치(100)가 촬상하여 생성한 전방향 영상 데이터는 중계 사용자 장치(110)를 통해 타겟 사용자 장치(120)로 전송될 수 있다.
타겟 사용자가 원거리에서 중계 사용자의 현재 상황에 대한 전방향 영상을 타겟 사용자 장치(120)를 통해 확인할 수 있다.
도 2는 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 2에서는 타겟 사용자 장치를 기반으로 한 영상 확인 방법이 개시된다. 도 2에서 개시되는 통신 절차는 하나의 예시이고, 다른 다양한 방법이 타겟 사용자 장치를 통해 영상을 확인하기 위해 활용될 수 있다. 전술한 바와 같이 영상 처리 장치는 전방향 영상 처리 장치를 포함하고, 영상은 전방향 영상을 포함할 수 있다.
도 2를 참조하면, 영상 처리 장치(200)가 동작할 수 있다.
영상 처리 장치(200)와 중계 사용자 장치(210) 간에 제1 통신 연결이 수행될 수 있다. 예를 들어, 중계 사용자 장치(210)는 핫 스팟(hot spot)과 같은 기능을 기반으로 공유기로서 역할을 수행할 수 있다. 영상 처리 장치(200)는 공유기 역할을 수행하는 중계 사용자 장치(210)와 결합될 수 있다.
타겟 사용자 장치(220)가 포트 포워딩(port forwarding)을 기반으로 외부에서 영상 처리 장치(200)와 연결될 수 있다.
포트 포워딩(port forwarding) 또는 포트 매핑(port mapping)은 컴퓨터 네트워크에서 패킷이 라우터나 방화벽과 같은 네트워크 게이트웨이를 가로지르는 동안 하나의 IP(internet protocol) 주소와 포트 번호 결합의 통신 요청을 다른 곳으로 넘겨주는 네트워크 주소 변환(network address translation ,NAT) 기술이다.
예를 들어, 중계 사용자 장치(210)가 영상 처리 장치(200)를 위해 IP: PhoneA, 포트 넘버(port number): PhoneA를 설정하고, 포트 포워딩 기술을 통해 영상 처리 장치(200)와 타겟 사용자 장치(220)를 연결할 수 있다.
타겟 사용자 장치(220)는 중계 사용자 장치에 의해 설정된 IP와 포트 넘버를 입력하여 영상 처리 장치(200)를 통해 전송되는 영상 데이터를 수신할 수 있다. 또는 별도의 어플리케이션을 통해 중계 사용자 장치(210)과 타겟 사용자 장치(220) 간에 IP와 포트 넘버에 대한 정보가 자동으로 전달되어 별도의 입력 없이 타겟 사용자 장치가 영상 처리 장치에 의해 생성된 데이터를 수신할 수 있다.
타겟 사용자 장치(220)는 RTSP(real-time streaming protocol) 방식과 같은 동영상 전송 프로토콜을 기반으로 전송되는 영상 처리 장치(200)에 의해 촬상된 영상에 대해 확인할 수 있다.
포트 포워딩 및 RTSP(real-time streaming protocol) 방식은 하나의 예시로서 다양한 방식으로 영상에 대한 공유가 수행될 수 있다.
즉, 본 발명의 실시예에 따른 영상 공유 방법은 타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계, 타겟 사용자 장치가 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하는 단계를 포함할 수 있되, 영상 처리 장치와 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.
이때, 제1 통신 네트워크는 포트 포워딩을 기반으로 상기 타겟 사용자 장치의 상기 중계 사용자 장치에 의해 설정된 IP(internet protocol) 정보 및 포트 정보를 기반으로 생성되고, 제2 통신 네트워크는 상기 중계 사용자 장치의 핫스팟 기능을 기반으로 생성될 수 있다.
도 3은 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 3에서는 적어도 하나의 AP(access point)를 통해 영상 처리 장치와 사용자 장치 간에 통신을 수행하는 방법이 개시된다.
도 3을 참조하면, 영상 처리 장치(300)(예를 들어, 전방향 영상 처리 장치)가 동작을 시작하고 영상(예를 들어, 전방향 영상)을 촬상할 수 있다.
AP1(310)과 AP2(320)가 WDS(wireless distribution system) 방식으로 연결될 수 있다.
영상 처리 장치(300)와 AP1(310)이 연결되고, 사용자 장치(330)와 AP2(320)가 연결될 수 있다.
사용자 장치(330)는 어플리케이션에서 영상 처리 장치(300)의 내부 IP 및 포트 넘버를 입력할 수 있다. 사용자 장치가 영상 처리 장치(300)의 내부 IP 및 포트 넘버를 입력하는 경우, 사용자 장치(330)는 RTSP 방식으로 영상 처리 장치에 의해 촬상된 영상을 확인할 수 있다. 사용자 장치 상에서의 별도의 입력 없이 어플리케이션을 기반으로 영상 처리 장치(300)의 내부 IP 및 포트 넘버가 자동으로 입력될 수도 있다.
도 4는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 4에서는 사용자 장치를 기반으로 한 영상 전송 방법 중 전송되는 영상 데이터의 크기를 줄이기 위한 방법이 개시된다. 이하, 영상 처리 장치는 전방향 영상 처리 장치이고, 영상이 전방향 영상(360도 영상)인 경우가 가정된다.
도 4를 참조하면, 중계 사용자 장치로 전송된 전방향 영상 중 일부 화각에 해당하는 영상만을 타겟 사용자 장치로 제공함으로써 실시간으로 전송되는 영상 데이터의 양을 감소시키기 위한 방법이 개시된다.
영상 처리 장치와 직접 연결된 중계 사용자 장치로는 영상 처리 장치에 의해 촬상되는 전체 화각 영상(예를 들어, 360도 영상)에 해당하는 전체 영상 데이터가 전송될 수 있다.
하지만, 타겟 사용자 장치가 확인하는 영상은 전체 화각 영상이 아니라 전체 화각 영상 중 타겟 사용자가 관심을 가지는 일부 화각의 영상일 수 있다. 따라서, 중계 사용자 장치에 의해 전송되는 영상 데이터는 전체 화각 영상 데이터가 아니라, 타겟 사용자가 관심을 가지는 일부 화각에 대한 부분 영상 데이터(450)만 전송될 수 있다. 이러한 방법을 통해 통신 네트워크의 부담이 감소되고, 데이터 부하로 인한 불필요한 데이터 끊김 현상이 방지될 수 있다.
타겟 사용자 장치는 어플리케이션을 통해 현재 타겟 사용자 장치에 의해 출력되고 있는 출력 영상에 대한 영상 정보(400)를 중계 사용자 장치로 전송할 수 있다. 영상 정보(400)는 타겟 사용자 장치에 의해 출력되는 출력 영상 화각에 대한 정보를 포함할 수 있다.
예를 들어, 타겟 사용자 장치가 360도 영상 중 설정된 기준점(0도 지점)을 기준으로 -30도~+30도 화각에 해당하는 영상을 출력하고 있다면, 영상 정보(400)는 -30도~+30도 화각을 지시하는 정보를 출력 영상 화각 정보로서 포함할 수 있다. 타겟 사용자 장치는 영상 정보(400)를 중계 사용자 장치로 전송할 수 있다.
중계 사용자 장치는 영상 정보(400)를 수신하고, 영상 정보를 기반으로 타겟 사용자 장치로 전송될 부분 영상 데이터(450)를 결정할 수 있다.
예를 들어, 중계 사용자 장치는 영상 정보(400)에 포함된 출력 영상 화각 정보를 기반으로 결정된 기준 영상 영역(420) 및 기준 영상 영역(420)의 주변 영상 영역(440)까지 추가로 타겟 사용자 장치로 전송할 수 있다.
예를 들어, 기준 영상 영역(420)은 타겟 사용자 장치에 의해 지시된 -30도~30도 화각의 영상 영역일 수 있고, 주변 영상 영역(440)은 -30도~+30도 화각의 영상 영역을 기준으로 임계 퍼센트 확장된 주변 영상 영역(예를 들어, -60도~-30도, +30도~+60도의 영상 영역)(440)일 수 있다.
본 발명의 실시예에 따르면 통신 상태/사용자의 화면 이동 빈도에 따라 주변 영상 영역을 결정하는 임계 퍼센트가 변화될 수 있다. 통신 상태가 상대적으로 좋을수록 임계 퍼센트가 상대적으로 증가되고, 통신 상태가 상대적으로 좋지 않을수록 임계 퍼센트가 상대적으로 감소될 수 있다.
또한, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 클수록 임계 퍼센트가 상대적으로 증가되고, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 작을수록 임계 퍼센트가 상대적으로 감소될 수 있다.
영상 처리 장치에 의해 촬상되어 생성되는 원본 영상 데이터는 제1 화각의 영상 데이터이고, 영상 데이터는 제2 화각의 영상 데이터이고, 제1 화각은 상기 제2 화각보다 크고 제2 화각은 상기 타겟 사용자 장치에 의해 결정될 수 있다.
타겟 사용자 장치는 영상 정보를 생성하고, 영상 정보는 제2 화각을 지시하는 출력 영상 화각 정보를 포함하고, 출력 영상 화각 정보는 타겟 사용자 장치에서 출력될 출력 영상 화각에 대한 정보를 포함하고, 출력 영상 화각은 영상 처리 장치의 방향 또는 절대 방향을 기준으로 결정될 수 있다.
도 5는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 5에서는 사용자 장치를 기반으로 한 영상 전송 방법 중 전송되는 영상 데이터의 크기를 줄이기 위한 방법이 개시된다. 이하, 영상 처리 장치는 전방향 영상 처리 장치이고, 영상이 전방향 영상(360도 영상)인 경우가 가정된다.
도 5를 참조하면, 영상 데이터의 크기를 줄이기 위한 영상 정보(500)는 출력 영상 방향 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 포함할 수 있다.
출력 영상 방향 정보는 영상 처리 장치의 촬상 방향에 대한 정보로서 영상 처리 장치에 구현된 복수의 카메라 중 적어도 하나의 카메라에 의해 결정될 수 있다. 예를 들어, 사용자가 넥 밴드 형태의 영상 처리 장치를 착용한 경우, 영상 처리 장치에 포함되는 특정 카메라에 의해 촬상되는 특정 방향(예를 들어, 사용자의 전면 방향)이 출력 영상 방향일 수 있다.
출력 영상 가로 화각 정보는 출력 영상 방향 정보에 의해 지시되는 방향을 기준으로 가로 방향의 화각을 지시할 수 있다. 영상 처리 장치에 의해 촬상되는 전방향 영상을 하나의 구로 표현하면, 가로 방향은 경도 방향일 수 있다. 출력 영상 가로 화각 정보는 타겟 사용자에 의해 선택된 가로 방향의 화각에 대한 정보를 포함할 수 있다.
출력 영상 세로 화각 정보는 출력 영상 방향 정보에 의해 지시되는 방향을 기준으로 세로 방향의 화각을 지시할 수 있다. 영상 처리 장치에 의해 촬상되는 전방향 영상을 하나의 구로 표현하면, 세로 방향은 위도 방향일 수 있다. 출력 영상 세로 화각 정보는 타겟 사용자에 의해 선택된 세로 방향의 화각에 대한 정보를 포함할 수 있다.
중계 사용자 장치는 출력 영상 방향 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 포함하는 영상 정보(500)를 수신하고, 영상 정보(500)를 기반으로 타겟 사용자 장치로 전송될 부분 영상 데이터(550)를 결정할 수 있다.
예를 들어, 중계 사용자 장치는 영상 정보(500)에 포함된 출력 영상 화각 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 기반으로 결정된 기준 영상 영역(520) 및 기준 영상 영역(520)의 주변 영상 영역(540)까지 추가로 타겟 사용자 장치로 전송할 수 있다.
예를 들어, 기준 영상 영역(520)은 타겟 사용자 장치에 의해 지시된 제1 방향, 출력 영상 가로 화각(-30도~+30도), 출력 영상 세로 화각(-30도~+30도)의 영상 영역일 수 있고, 주변 영상 영역(540)은 제1 방향에서 출력 영상 가로 화각(-30도~+30도)을 제1 임계 퍼센트 확장하고, 출력 영상 세로 화각(-30도~+30도)을 제2 임계 퍼센트 확장한 영역일 수 있다.
타겟 사용자가 보고자 하는 방향, 및 화각이 변화되는 경우, 변화된 방향, 변화된 화각에 대한 정보가 타겟 사용자 장치에서 중계 사용자 장치로 전송될 수 있다. 이러한 경우, 다시 기준 영상 영역(520) 및 주변 영상 영역(540)이 변화될 수 있다.
또한 본 발명의 실시예에 따르면 통신 상태/사용자의 화면 이동 빈도에 따라 주변 영상 영역(540)을 결정하는 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 변화될 수 있다.
통신 상태가 상대적으로 좋을수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 증가되고, 통신 상태가 상대적으로 좋지 않을수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 감소될 수 있다.
또한, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 클수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 증가되고, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 작을수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 감소될 수 있다.
도 6은 본 발명의 실시예에 따른 영상을 원거리에 위치한 사용자 장치를 통해 확인하는 방법을 나타낸 개념도이다.
도 6에서는 원거리에 위치한 사용자 장치의 화면 시청 편리성을 위해 타겟 사용자 장치의 화면을 자동 조정하는 방법이 개시된다.
도 6을 참조하면, 영상 처리 장치에 의해 촬상된 영상은 전술한 바와 같이 중계 사용자 장치 또는 AP를 통해 타겟 사용자 장치로 전달될 수 있다.
타겟 사용자 장치는 전방향 영상을 수신한 후 타겟 사용자에 의해 설정된 기준점을 기준으로 타겟 사용자에게 영상을 제공할 수 있다.
만약, 영상 처리 장치가 영상 처리 장치를 착용한 사용자의 움직임에 의해 계속적으로 움직이는 경우, 영상을 공유하는 사용자는 어지러움을 느낄 수 있다. 따라서, 타겟 사용자에 의해 설정된 기준점(600)을 기준으로 타겟 사용자 장치로 영상을 제공할 수 있다.
예를 들어, 전달된 영상에 대해 특정 방향, 특정 가로 방향 화각, 특정 세로 방향 화각의 영상이 타겟 사용자 장치의 디스플레이의 중간에 위치하도록 기준점(600)이 설정될 수 있다. 이러한 경우, 영상 처리 장치의 위치가 변하거나, 흔들리는 경우에도 특정 가로/세로 화각, 특정 방향을 유지하는 영상이 타겟 사용자 장치 상에서 제공될 수 있다.
구체적으로 타겟 사용자는 타겟 사용자 장치 상에서 재생되는 전방향 영상에서 특정 방향, 특정 가로/세로 화각을 설정할 수 있다. 예를 들어, 타겟 사용자가 타겟 사용자 장치 상의 터치 스크린을 이용하여 전방향 영상 중에서 보고자 하는 방향 및 가로/세로 화각을 설정하고, 사용자 인터페이스를 통해 특정 터치를 발생시켜 출력 영상 방향 정보(620) 및 출력 영상 화각 정보(640)를 화면 설정 정보로서 생성할 수 있다.
이러한 타겟 사용자 장치는 전방향 영상 중 화면 설정 정보에 의해 지시된 영상을 타겟 사용자 장치 상에 출력할 수 있다. 예를 들어, 사용자가 기준점(600)을 기준으로 -60도~+60도의 가로 화각, -45도~+45도의 세로 화각을 설정하고, 선택 방향으로 영상 처리 장치를 기준으로 한 x 방향을 설정한 경우, 전방향 영상 중 화면 설정 정보를 기반으로 결정된 화면이 출력될 수 있다. 즉, 전방향 영상 중 특정 영역만이 타겟 사용자 장치 상에서 출력될 수 있고, 이러한 방법을 통해 타겟 사용자 장치는 영상 처리 장치의 실시간 움직임과 상관없이 특정 시야의 화면을 계속적으로 제공받을 수 있다.
도 7은 본 발명의 실시예에 따른 타겟 사용자에 의해 선택된 특정 시야의 영상을 제공받기 위한 방법을 나타낸 개념도이다.
도 7에서는 타겟 사용자에 의해 트래킹하고자 하는 특정 시야의 화면이 선택된 경우, 해당 시야의 화면에 대한 방향 및 화각 정보를 추출하기 위한 방법이 개시된다. 이는 도 4 및 도 5에서 전술한 출력 영상 방향 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 결정하는 방식에도 적용될 수 있다.
도 7을 참조하면, 전방향 이미지와 선택 영상을 매칭하여 출력 영상 방향 정보가 결정될 수 있다(단계 S710).
선택 화면을 기반으로 방향 정보가 결정될 수 있다.
전방향 영상 이미지는 구와 같은 형상을 할 수 있고, 전방향 영상 이미지에서의 출력 영상 방향은 다양한 방법으로 설정될 수 있다.
예를 들어, 영상 처리 장치에 구현된 복수의 카메라의 촬상 방향을 기반으로 출력 영상 방향이 생성될 수 있다. 영상 처리 장치가 구의 중심에 있다고 가정하고, 영상 처리 장치의 제1 카메라의 촬상선 방향을 기준 방향으로 360도의 방향 정보가 결정될 수 있다. 사용자가 선택한 선택 화면의 방향이 360도 중 어떠한 방향을 지시하는지를 기반으로 출력 영상 방향 정보가 결정될 수 있다. 촬상선은 카메라 렌즈의 중심이 가리키는 방향의 지시선일 수 있다.
또는 출력 영상 방향은 영상 처리 장치의 방향이 아닌 특정 방향(예를 들어, 북쪽)을 기준으로 상대적으로 결정되는 방향일 수도 있다.
전방향 이미지와 선택 화면을 매칭하여 출력 영상 가로 화각 정보/출력 영상 세로 화각 정보가 결정될 수 있다(단계 S720).
또한, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보는 출력 영상 방향을 기준으로 가로 화각, 세로 화각으로 결정될 수 있다. 가로 화각은 구 상에서 경도 방향일 수 있고, 세로 화각은 구 상에서 위도 방향일 수 있다.
이러한 출력 영상 방향, 출력 영상 가로 화각, 출력 영상 세로 화각에 대한 유지를 기반으로 타겟 사용자는 영상 촬상 장치의 움직임에도 불구하고, 유사 범위의 시야를 제공받을 수 있다.
사용자에 의해 선택된 영상 방향은 절대적인 위치(예를 들어, 북쪽)을 기준으로 설정될 수도 있고, 상대적인 위치(사용자의 정면, 제1 카메라 촬상선) 등으로 설정될 수도 있다. 절대적인 위치가 영상 방향으로 선택된 경우, 영상 처리 장치를 착용한 사용자의 방향 전환과 무관하게 특정 방향에 대한 영상을 계속적으로 제공받을 수 있다. 반대로, 상대적인 위치가 영상 방향으로 선택된 경우, 영상 처리 장치를 착용한 사용자의 방향 전환을 반영한 영상을 계속적으로 제공받을 수 있다.
또한, 본 발명의 실시예에 따르면, 타겟 사용자 장치의 방향 전환을 고려하여 타겟 사용자 장치에서 출력되는 영상을 변화시킬 수도 있다. 예를 들어, 타겟 사용자 장치의 센서를 기반으로 타겟 사용자 장치가 30도 왼쪽 방향으로 돌아간 경우, 현재 타겟 사용자 장치에서 출력되는 화면의 화각을 -30도 조정하여 타겟 사용자 장치의 움직임도 추가적으로 반영하여 타겟 사용자 장치에서 출력되는 화면을 결정할 수 있다
이뿐만 아니라, 본 발명의 실시예에 따르면, 타겟 사용자 장치에서 캡쳐 후 영상을 회전하는 기능도 제공할 수 있다. 실시간으로 제공되는 전방향 영상에 대한 캡쳐가 진행된 이후, 전방향 영상을 터치 기반으로 회전시킬 수 있고, 회전에 따라 타겟 사용자가 확인하지 못했던 다양한 화각, 시각의 화면을 제공받을 수 있다. 전술한 바와 같이 일부 기준 영상 영역 및 주변 영상 영역만이 제공되는 경우, 캡쳐 이후에 전체 캡쳐 영상과 관련된 전방향 영상 데이터가 타겟 사용자 장치로 전송될 수도 있다. 실시간으로 전방향 영상이 제공되는 경우, 타겟 사용자가 다시 캡쳐 기능을 리셋한다면, 리셋 이후 시간의 전방향 영상이 다시 타겟 사용자에게 제공될 수 있다.
도 8은 본 발명의 실시예에 따른 타겟 사용자 장치에서 영상을 확인하는 방법을 나타낸 개념도이다.
도 8에서는 타겟 사용자 장치에게 관심 영역을 추천하는 방법이 개시된다. 도 8에서는 영상 처리 장치가 전방향 영상 처리 장치이고, 영상이 전방향 영상인 경우가 가정된다.
도 8을 참조하면, 타겟 사용자가 다양한 화각의 영상을 제공받을 수 있도록 타겟 사용자 장치로 추천 화면이 제공될 수 있다. 예를 들어, 타겟 사용자가 현재 화각 -30도~+30도의 화면을 선택 화면으로서 제공받고 있는 경우, 전방향 영상 이미지 중 다른 화각에 대한 화면을 추천 화면으로서 제공할 수 있다.
예를 들어, 중계 사용자 장치 또는 영상 처리 장치는 변화가 많이 발생하는 화각에 대해 결정하고, 해당 화각에 대한 화면을 추천 화면으로서 타겟 사용자에게 제공할 수 있다.
또는 본 발명의 실시예에 따르면, 타겟 사용자에게 제공될 최적의 시야를 찾아서 타겟 사용자에게 제공할 수도 있다.
본 발명의 실시예에 따르면, 전방향 영상 처리 장치를 착용한 사용자의 시야와 동일한 시야를 타겟 사용자에게 디폴트 화면(850)으로 제공할 수도 있다. 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800)에 따라 전방향 영상 처리 장치 착용자의 시야는 변화될 수 있고, 이러한 전방향 영상 처리 장치 착용자의 동작에 따라 전방향 영상 처리 장치 착용자의 시야는 변화에 대한 학습을 통해 타겟 사용자에게 보다 자연스러운 디폴트 화면(850)을 제공할 수 있다.
구체적으로, 전방향 영상 처리 장치를 착용한 사용자의 현재 상태(800)를 판단할 수 있다. 전방향 영상 처리 장치를 착용한 사용자(이하, 전방향 영상 처리 장치 착용자)가 서있는지 앉아있는지, 이동하는지, 계단을 올라가는지 등의 동작에 대한 판단이 수행될 수 있다. 전방향 영상 처리 장치에 구현된 센서를 기반으로 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800))에 대한 판단이 수행될 수 있다. 또는 전방향 영상 처리 장치에서의 영상 변화를 기반으로 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800))에 대한 판단이 수행될 수도 있다.
이러한 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800))에 대한 학습이 수행될 수 있고, 학습 결과를 기반으로 보다 정확한 현재 전방향 영상 착용 사용자의 동작(또는 현재 상태(800))을 결정할 수 있다.
전방향 영상 처리 장치 착용자의 현재 상태(800)를 기반으로 현재 타겟 사용자에게 제공될 디폴트 화면(850)이 결정될 수 있다. 예를 들어, 본 발명에서 예시로 사용된 전방향 영상 처리 장치의 경우, 전방향 영상 처리 장치 착용자가 서있는 상태인 경우, 전방향 영상 처리 장치 착용자의 전면을 기준으로 제1 카메라의 촬상선 기준 -60~+60도 방향이 현재 전방향 영상 처리 장치 착용자의 시야와 동일할 수 있다. 이러한 경우, 전방향 영상 처리 장치 착용자의 현재 상태(800) 및 현재 상태(800)에 따른 전방향 영상 처리 장치 착용자의 시야가 반영되어 전방형 영상 처리 장치 착용자의 시야와 동일/유사 범위의 시야에 해당하는 화면이 타겟 사용자 장치로 디폴트 화면(850)으로 제공될 수 있다. 디폴트 화면(850)의 결정은 전방향 영상 처리 장치, 중계 사용자 장치, 타겟 사용자 장치 중 적어도 하나의 장치에서 수행될 수 있다. 중계 사용자 장치, 타겟 사용자 장치에서 결정되는 경우, 전방향 영상 처리 장치에 의해 전송된 동작 센싱 정보, 전방향 영상 처리 장치의 화면 변화를 기반으로 전방향 영상 처리 장치 착용자의 현재 상태(800)를 판단하고 디폴트 화면(850)을 제공할 수도 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 영상 공유 방법에 있어서,
    타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계; 및
    상기 타겟 사용자 장치가 상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 원본 영상 데이터 중 출력을 위해 필요한 부분 영상 데이터를 실시간으로 수신하는 단계를 포함하되,
    상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결되고,
    상기 제1 통신 네트워크는 포트 포워딩을 기반으로 상기 타겟 사용자 장치의 상기 중계 사용자 장치에 의해 설정된 IP(internet protocol) 정보 및 포트 정보를 기반으로 생성되고,
    상기 제2 통신 네트워크는 상기 중계 사용자 장치의 핫스팟 기능을 기반으로 생성되고,
    상기 영상 처리 장치에 의해 촬상되어 생성되는 원본 영상 데이터는 제1 화각의 영상 데이터이고,
    상기 타겟 사용자 장치 상에서 출력을 위해 사용되는 부분 영상 데이터는 제2 화각의 영상 데이터이고,
    상기 제1 화각은 상기 제2 화각보다 크고
    상기 제2 화각은 상기 타겟 사용자 장치에 의해 결정되고,
    상기 부분 영상 데이터는 기준 영상 영역 및 주변 영상 영역에 대한 데이터를 포함하고,
    상기 기준 영상 영역은 상기 타겟 사용자 장치에 의해 지시되어 상기 타겟 사용자 장치 상에 출력되는 영역이고,
    상기 주변 영상 영역은 상기 기준 영상 영역을 기준으로 확장한 영역으로서 통신 상태 및 타겟 사용자 장치의 화면 이동 빈도를 기반으로 결정되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 타겟 사용자 장치는 설정된 기준점을 기반으로 결정된 상기 기준 영상 영역을 출력하고,
    상기 기준점은 상대적인 위치 또는 절대적인 위치를 기반으로 설정되고,
    상기 상대적인 위치를 기반으로 설정된 기준점은 상기 영상 처리 장치에 포함된 카메라의 촬상선 또는 상기 영상 처리 장치를 착용한 사용자를 기반으로 결정되고,
    상기 절대적인 위치를 기반으로 설정된 기준점은 변하지 않는 고정된 방향을 기반으로 결정되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 타겟 사용자 장치는 상기 영상 처리 장치를 착용한 사용자의 시야를 고려하여 결정된 디폴트 화면을 제공받고,
    상기 디폴트 화면은 원본 영상 데이터의 영상 변화를 기반으로 상기 영상 처리 장치를 착용한 사용자의 동작의 변화를 판단하여 변화되는 것을 특징으로 하는 방법.
  4. 삭제
  5. 영상 공유를 수행하는 타겟 사용자 장치는,
    영상 데이터를 수신하기 위해 구현된 통신부; 및
    상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되,
    상기 프로세서는 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하고,
    상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 원본 영상 데이터 중 출력을 위해 필요한 부분 영상 데이터를 실시간으로 수신하도록 구현되되,
    상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결되고,
    상기 제1 통신 네트워크는 포트 포워딩을 기반으로 상기 타겟 사용자 장치의 상기 중계 사용자 장치에 의해 설정된 IP(internet protocol) 정보 및 포트 정보를 기반으로 생성되고,
    상기 제2 통신 네트워크는 상기 중계 사용자 장치의 핫스팟 기능을 기반으로 생성되고,
    상기 영상 처리 장치에 의해 촬상되어 생성되는 원본 영상 데이터는 제1 화각의 영상 데이터이고,
    상기 타겟 사용자 장치 상에서 출력을 위해 사용되는 부분 영상 데이터는 제2 화각의 영상 데이터이고,
    상기 제1 화각은 상기 제2 화각보다 크고
    상기 제2 화각은 상기 타겟 사용자 장치에 의해 결정되고,
    상기 부분 영상 데이터는 기준 영상 영역 및 주변 영상 영역에 대한 데이터를 포함하고,
    상기 기준 영상 영역은 상기 타겟 사용자 장치에 의해 지시되어 상기 타겟 사용자 장치 상에 출력되는 영역이고,
    상기 주변 영상 영역은 상기 기준 영상 영역을 기준으로 확장한 영역으로서 통신 상태 및 타겟 사용자 장치의 화면 이동 빈도를 기반으로 결정되는 것을 특징으로 하는 타겟 사용자 장치.
  6. 제5항에 있어서,
    상기 타겟 사용자 장치는 설정된 기준점을 기반으로 결정된 상기 기준 영상 영역을 출력하고,
    상기 기준점은 상대적인 위치 또는 절대적인 위치를 기반으로 설정되고,
    상기 상대적인 위치를 기반으로 설정된 기준점은 상기 영상 처리 장치에 포함된 카메라의 촬상선 또는 상기 영상 처리 장치를 착용한 사용자를 기반으로 결정되고,
    상기 절대적인 위치를 기반으로 설정된 기준점은 변하지 않는 고정된 방향을 기반으로 결정되는 것을 특징으로 하는 타겟 사용자 장치.
  7. 제5항에 있어서,
    상기 타겟 사용자 장치는 상기 영상 처리 장치를 착용한 사용자의 시야를 고려하여 결정된 디폴트 화면을 제공받고,
    상기 디폴트 화면은 원본 영상 데이터의 영상 변화를 기반으로 상기 영상 처리 장치를 착용한 사용자의 동작의 변화를 판단하여 변화되는 것을 특징으로 하는 타겟 사용자 장치.
  8. 삭제
KR1020180109022A 2018-08-09 2018-09-12 영상 공유 방법 및 장치 KR102101382B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2018/011229 WO2020054898A1 (ko) 2018-08-09 2018-09-21 영상 공유 방법 및 장치
PCT/KR2019/006916 WO2020032371A1 (ko) 2018-08-09 2019-06-09 영상 공유 방법 및 장치
US17/250,109 US20210235164A1 (en) 2018-08-09 2019-06-09 Image sharing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180092938 2018-08-09
KR20180092938 2018-08-09

Publications (2)

Publication Number Publication Date
KR20200018179A KR20200018179A (ko) 2020-02-19
KR102101382B1 true KR102101382B1 (ko) 2020-04-22

Family

ID=69669832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180109022A KR102101382B1 (ko) 2018-08-09 2018-09-12 영상 공유 방법 및 장치

Country Status (3)

Country Link
US (1) US20210235164A1 (ko)
KR (1) KR102101382B1 (ko)
WO (1) WO2020054898A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388596B2 (en) * 2019-09-03 2022-07-12 International Business Machines Corporation Secure transmittal of wireless local area network access codes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101562204B1 (ko) * 2012-01-17 2015-10-21 삼성전자주식회사 프로브 장치, 서버, 초음파 영상 진단 시스템, 및 초음파 영상 처리 방법
WO2014201876A1 (zh) * 2013-06-17 2014-12-24 华为技术有限公司 屏幕分享方法和相关设备及通信系统
KR20150039352A (ko) * 2013-10-02 2015-04-10 엘지전자 주식회사 전자 디바이스 및 그 제어방법
KR101771046B1 (ko) * 2015-11-13 2017-08-24 아바드(주) 모바일 기반의 웨어러블 카메라의 정보 전송방법 및 웨어러블 카메라
KR102463418B1 (ko) * 2016-01-06 2022-11-08 삼성전자 주식회사 영상콘텐츠 제공장치 및 그 제어방법과, 시스템
KR20180052255A (ko) * 2016-11-10 2018-05-18 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 및 이를 위한 장치
KR101843335B1 (ko) * 2017-03-31 2018-03-29 링크플로우 주식회사 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치

Also Published As

Publication number Publication date
US20210235164A1 (en) 2021-07-29
WO2020054898A1 (ko) 2020-03-19
KR20200018179A (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
US10165179B2 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
JP7203356B2 (ja) 撮像システム
JP7223978B2 (ja) 校正装置および校正方法
WO2018051815A1 (ja) 情報処理装置および方法、並びにプログラム
US9479732B1 (en) Immersive video teleconferencing robot
JP6778912B2 (ja) 映像表示方法及び映像表示装置
US10110814B1 (en) Reducing bandwidth for video streaming using de-warping and video analytics
JP7122694B2 (ja) 撮像システムおよび校正方法
US20150208032A1 (en) Content data capture, display and manipulation system
US10142540B1 (en) Panoramic video cameras, camera systems, and methods that provide data stream management for control and image streams in multi-camera environment with object tracking
US10917560B2 (en) Control apparatus, movable apparatus, and remote-control system
US20100149338A1 (en) Method and apparatus for multi-user user-specific scene visualization
US10148876B1 (en) Panoramic video cameras, camera systems, and methods that facilitate handling multiple video streams while tracking an object
US20190045125A1 (en) Virtual reality video processing
US10147191B1 (en) Panoramic video cameras, camera systems, and methods that provide object tracking and object based zoom
US11196980B2 (en) Non-intrusive 360 view without camera at the viewpoint
KR20140011964A (ko) 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법
KR102101382B1 (ko) 영상 공유 방법 및 장치
KR102200115B1 (ko) 다시점 360도 vr 컨텐츠 제공 시스템
US20170019585A1 (en) Camera clustering and tracking system
KR102178990B1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
JP2020510336A (ja) 全方位画像の方向情報を生成する方法およびこのような方法を遂行する装置
US11076097B2 (en) Method for street view service and apparatus for performing same method
KR101193129B1 (ko) 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템
JP2021125789A (ja) 映像処理装置、映像処理システム、映像処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right