KR20230098394A - 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법 - Google Patents

원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20230098394A
KR20230098394A KR1020210186854A KR20210186854A KR20230098394A KR 20230098394 A KR20230098394 A KR 20230098394A KR 1020210186854 A KR1020210186854 A KR 1020210186854A KR 20210186854 A KR20210186854 A KR 20210186854A KR 20230098394 A KR20230098394 A KR 20230098394A
Authority
KR
South Korea
Prior art keywords
setting
view
image
angle
images
Prior art date
Application number
KR1020210186854A
Other languages
English (en)
Other versions
KR102650406B1 (ko
Inventor
이명진
하성배
조희일
Original Assignee
한국항공대학교산학협력단
(주) 코마코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단, (주) 코마코 filed Critical 한국항공대학교산학협력단
Priority to KR1020210186854A priority Critical patent/KR102650406B1/ko
Publication of KR20230098394A publication Critical patent/KR20230098394A/ko
Application granted granted Critical
Publication of KR102650406B1 publication Critical patent/KR102650406B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법은, (a) 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득하는 단계, (b) 상기 복수의 화각 설정마다 획득된 상기 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성하는 단계, (c) 상기 복수의 파노라마 영상 중 어느 하나의 파노라마 영상을 기준 파노라마 영상으로 설정하고, 상기 기준 파노라마 영상을 기초로 하여 상기 복수의 파노라마 영상을 정합하는 단계, (d) 상기 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 수신하는 단계 및 (e) 상기 정합된 복수의 파노라마 영상 중 상기 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 출력하는 단계를 포함할 수 있다.

Description

원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING VIDEO SERVICE FOR MONITORING DISTANT SCENE}
본원은 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법에 관한 것이다. 예를 들면, 본원은 동일한 원거리 장면에 대하여 서로 시점에 여러 화각의 카메라 배열들을 이용하여 촬영한 영상들을 사용자의 요구에 맞게 표출하기 위한 영상 촬영, 합성, 서비스 방법에 대한 것이다.
최근 영상처리와 인터넷 기술의 발전으로 원격지의 고화질 영상을 실시간으로 스트리밍하는 서비스들이 일반화되었다. 또한, 360도 영상과 같은 고해상도의 영상을 압축하고, 사용자의 시청 방향을 고려하여 뷰포트를 생성하는 연구와 기술 개발들도 진행되어 왔다.
한편, 최근 들어 관광명소를 인터넷을 통해 홍보하려는 여러 시도들이 있고, 이들 역시 인터넷을 기반으로 해당 관광지의 사전 촬영된 영상을 주로 이미지를 이용하여 서비스한다.
이와 같은 고화질 영상 서비스는 대부분 드라마나 영화와 같이 사전에 기획된 시나리오나 촬영 방향에 맞추어 촬영되고 편집된 것들이다. 360도 영상을 사용하는 경우에는 시청자가 시점을 선택할 수는 있지만, 관심 지역을 좀 더 확대해서 보거나 또는 관광지를 넓은 화각으로 보는 서비스들은 아직까지 제공되지 않고 있다. 즉, 종래의 영상 서비스 대부분 영상 제작자가 장면을 촬영한 시점(time)의 영상을 사용자가 있는 그대로 시청해야 한다는 제약이 있다.
또한, 전망대나 철새 도래지 등에서의 관광 서비스는 대부분 안전한 특정 장소에서 원거리의 대상을 육안이나 망원경을 이용하여 관찰하는 형태로 이루어지는데, 이 경우 원거리의 대상을 육안으로 표준 화각으로 관찰할 수 있고, 관심있는 지역이나 대상물을 상대적으로 확대하여 좁은 화각으로 관찰할 수도 있다.
그러나, 이와 같은 특정 장소에서의 원거리 대상의 모니터링은 날씨나 시간에 따라 모니터링 품질이 가변적이다. 이를 해결하기 위해 관광지의 망원경에 사전 저장된 영상을 저장하고, 라이브 영상이나 저장된 영상을 선택적으로 시청할 수 있는 방법이나 장치들이 고안되고 있으나, 원거리 대상 영상을 다양한 화각에 기반하여 생성하고 저장하는 기법에 대한 개발은 미비한 실정이다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1432123호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 원거리의 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 촬영한 후 스티칭한 파노라마 영상을 기초로 하여 사용자가 시청하고자 하는 화각 설정, 시점, 시청 위치 등에 부합하는 뷰포트를 추출하여 출력하는 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 특정 장소에서의 원거리 모니터링 대상을 서로 다른 화각의 카메라 배열을 이용하여 촬영하고 기준 영상 평면상에 합성하는 방법과 서로 다른 시각에 촬영되어 합성된 영상들을 사용자의 요청 시각, 시점(viewing direction), 화각에 맞게 뷰포트를 추출하여 스트리밍하는 방법 및 시스템을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법은, (a) 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득하는 단계, (b) 상기 복수의 화각 설정마다 획득된 상기 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성하는 단계, (c) 상기 복수의 파노라마 영상 중 어느 하나의 파노라마 영상을 기준 파노라마 영상으로 설정하고, 상기 기준 파노라마 영상을 기초로 하여 상기 복수의 파노라마 영상을 정합하는 단계, (d) 상기 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 수신하는 단계 및 (e) 상기 정합된 복수의 파노라마 영상 중 상기 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 출력하는 단계를 포함할 수 있다.
또한, 상기 (c) 단계에서 상기 기준 파노라마 영상은, 상기 복수의 화각 설정 중 상대적으로 넓은 화각에 대응하여 획득된 상기 복수의 원본 영상으로부터 스티칭된 영상일 수 있다.
또한, 상기 (a) 단계는, 상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 각각 촬영하는 복수의 카메라 모듈로부터 상기 복수의 원본 영상을 각각 수신할 수 있다.
또한, 상기 (a) 단계는, 상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 소정의 카메라 모듈이 순차적으로 촬영한 상기 복수의 원본 영상을 수신할 수 있다.
또한, 상기 (a) 단계는, 상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 획득할 수 있다.
또한, 상기 복수의 화각 설정은, 상기 대상 영역에 대하여 미리 설정되는 표준 화각 설정, 상기 표준 화각 설정에 의해 촬영되는 영역 대비 넓은 영역을 촬영하기 위한 광각 설정 및 상기 표준 화각 설정에 의해 촬영되는 영역 대비 좁은 영역을 촬영하기 위한 망원 설정을 포함할 수 있다.
또한, 상기 (d) 단계에서 상기 사용자 입력은 상기 대상 영역에 대한 상기 사용자의 시청 위치 정보, 시청 방향 정보, 촬영 시점 정보 및 화각 설정 정보를 포함할 수 있다.
또한, 상기 (e) 단계는, 상기 정합된 복수의 파노라마 영상 중에서 상기 화각 설정 정보에 대응하는 화각 설정에 따라 상기 촬영 시점 정보에 대응하는 소정의 시점에 촬영되어 생성된 파노라마 영상으로부터 상기 시청 위치 정보 및 상기 시청 방향 정보에 대응하는 상기 뷰포트를 부분적으로 추출하여 표시할 수 있다.
또한, 상기 화각 설정 정보에 대응하는 화각 설정에 따라 생성된 상기 파노라마 영상이 상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 기초로 하여 생성된 영상이면, 상기 (e) 단계는, 상기 시청 위치 정보 및 상기 시청 방향 정보에 상대적으로 근접한 상기 관심 영역에 대한 상기 뷰포트를 표시할 수 있다.
한편, 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치는, 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득하는 영상 수집부, 상기 복수의 화각 설정마다 획득된 상기 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성하는 스티칭부, 상기 복수의 파노라마 영상 중 어느 하나의 파노라마 영상을 기준 파노라마 영상으로 설정하고, 상기 기준 파노라마 영상을 기초로 하여 상기 복수의 파노라마 영상을 정합하는 정합부 및 상기 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 수신하고, 상기 정합된 복수의 파노라마 영상 중 상기 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 출력하는 영상 재생부를 포함할 수 있다.
또한, 상기 영상 수집부는, 상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 각각 촬영하는 복수의 카메라 모듈로부터 상기 복수의 원본 영상을 각각 수신하거나 상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 소정의 카메라 모듈이 순차적으로 촬영한 상기 복수의 원본 영상을 수신할 수 있다.
또한, 상기 영상 수집부는, 상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 획득할 수 있다.
또한, 상기 영상 재생부는, 상기 정합된 복수의 파노라마 영상 중에서 상기 화각 설정 정보에 대응하는 화각 설정에 따라 상기 촬영 시점 정보에 대응하는 소정의 시점에 촬영되어 생성된 파노라마 영상으로부터 상기 시청 위치 정보 및 상기 시청 방향 정보에 대응하는 상기 뷰포트를 부분적으로 추출하여 표시할 수 있다.
또한, 상기 화각 설정 정보에 대응하는 화각 설정에 따라 생성된 상기 파노라마 영상이 상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 기초로 하여 생성된 영상이면, 상기 영상 재생부는, 상기 시청 위치 정보 및 상기 시청 방향 정보에 상대적으로 근접한 상기 관심 영역에 대한 상기 뷰포트를 표시할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 원거리의 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 촬영한 후 스티칭한 파노라마 영상을 기초로 하여 사용자가 시청하고자 하는 화각 설정, 시점, 시청 위치 등에 부합하는 뷰포트를 추출하여 출력하는 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 특정 장소에서의 원거리 모니터링 대상을 서로 다른 화각의 카메라 배열을 이용하여 촬영하고 기준 영상 평면상에 합성하는 방법과 서로 다른 시각에 촬영되어 합성된 영상들을 사용자의 요청 시각, 시점(viewing direction), 화각에 맞게 뷰포트를 추출하여 스트리밍하는 방법 및 시스템을 제공할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치를 포함하는 원거리 영상 서비스 제공 시스템의 개략적인 구성도이다.
도 2는 표준 화각 설정이 적용된 카메라 배열을 이용하여 대상 영역에 대한 원본 영상을 촬영하는 방식을 나타낸 개념도이다.
도 3은 광각 설정이 적용된 카메라 배열을 이용하여 대상 영역에 대한 원본 영상을 촬영하는 방식을 나타낸 개념도이다.
도 4는 망원 설정이 적용된 카메라 배열을 이용하여 대상 영역 중 미리 설정된 관심 영역에 대응하는 원본 영상을 촬영하는 방식을 나타낸 개념도이다.
도 5는 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치가 원본 영상을 스티칭하여 파노라마 영상을 생성하고, 서로 다른 화각 설정에 따른 파노라마 영상을 정합하여 데이터베이스화 하고, 클라이언트로부터 제공된 사용자 입력에 기초하여 영상을 재생하는 프로세스를 설명하기 위한 개념도이다.
도 6은 기준 파노라마 영상을 기준으로 하여 클라이언트로부터 제공된 사용자 입력에 따라 변화하는 뷰포트를 예시적으로 나타낸 도면이다.
도 7은 대상 영역에 대하여 동일한 시선 방향에 따라 상이한 화각 설정을 적용할 경우 클라이언트에서 표출되는 화면을 예시적으로 비교하여 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치의 개략적인 구성도이다.
도 9는 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법에 관한 것이다. 예를 들면, 본원은 동일한 원거리 장면에 대하여 서로 시점에 여러 화각의 카메라 배열들을 이용하여 촬영한 영상들을 사용자의 요구에 맞게 표출하기 위한 영상 촬영, 합성, 서비스 방법에 대한 것이다.
도 1은 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치를 포함하는 원거리 영상 서비스 제공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 원거리 영상 서비스 제공 시스템(10)은 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치(100)(이하, '서비스 제공 장치(100)'라 한다.), 카메라 모듈(200), 데이터베이스(300) 및 사용자 단말(400)을 포함할 수 있다.
서비스 제공 장치(100), 카메라 모듈(200), 데이터베이스(300) 및 사용자 단말(400) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(400)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
본원의 실시예에 관한 설명에서 사용자 단말(400)은 네트워크(20)를 통해 사용자 단말(400)의 사용자가 선택한 화각, 대상 영역(모니터링 대상이 되는 원거리의 영역 등), 시선 방향, 시청 시점 등을 포함하는 사용자 입력을 서비스 제공 장치(100)에 전송하며, 이에 대응하여 서비스 제공 장치(100)가 전송하는 뷰포트의 영상을 내장(탑재)된 디스플레이를 통해 재생하여 사용자에게 제공하기 위한 디바이스일 수 있다.
한편, 본원의 실시예에 관한 설명에서 사용자 단말(400)은 클라이언트(Client)로 달리 지칭될 수 있으며, 서비스 제공 장치(100)는 클라이언트(Client)와 연동하여 본원에서 개시하는 원거리 영상 서비스를 제공하기 위해 마련되는 영상 서버(Server)인 것으로 이해될 수 있다.
보다 구체적으로 도 1을 참조하면, 사용자 단말(400)은 관측 대상의 영상(화상)을 사용자가 눈을 대고 시청할 수 있도록 접안부(미도시)와 접안부(미도시)에 대향하는 위치에서 소정의 영상(화상)이 재생되도록 구비되는 디스플레이부(미도시)를 포함하는 망원경 타입 디바이스(400a)를 포함할 수 있다. 또한, 도 1을 참조하면, 사용자 단말(400)은 본원의 구현예에 따라 휴대용 단말기 타입 디바이스(400b), 개인용 컴퓨터 타입 디바이스(400c), HMD(Head Mount Display) 타입 디바이스 등을 폭넓게 포함할 수 있다.
이와 관련하여, 사용자 단말(400)로부터 서비스 제공 장치(100)로 전송되는 사용자 입력은 사용자 단말(400)의 유형에 따라 사용자 단말(400)로 인가되는 방식이 상이하게 결정될 수 있다. 예시적으로, 사용자 입력은 본원에서 개시하는 원거리 영상 서비스 제공 시스템(10)이 클라이언트로 제공하는 영상(파노라마 영상 등)의 구체적인 시청 설정과 연계된 사용자 선택 입력으로서, 후술하는 바와 같이 시청 위치 정보, 시청 방향 정보, 촬영 시점 정보, 화각 설정 정보 등을 포함할 수 있으며, 이러한 사용자 입력을 이루는 각각의 정보(데이터)는 사용자 단말(400)의 유형에 따라 입력 방식이 상이하게 결정될 수 있다.
예를 들어, 망원경 타입 디바이스(400a)의 경우, 시청 방향 정보는 접안부(미도시) 및 디스플레이부(미도시)를 포함하는 바디 구조체를 사용자가 물리적으로 회전시키는 방식에 따라 인가되는 반면, 휴대용 단말기 타입 디바이스(400b)의 경우, 시청 방향 정보는 사용자 단말(400)의 터치 디스플레이를 통해 인가되는 터치 입력에 대응하여 인가될 수 있고, 개인용 컴퓨터 타입 디바이스(400c)의 경우, 개인용 컴퓨터 타입 디바이스(400c)에 구비되는 별도의 입력 장치(예를 들면, 마우스, 키보드 등)에 대한 조작 입력에 대응하여 인가되는 것일 수 있다.
또한, 본원의 실시예에 관한 설명에서 카메라 모듈(200)은 대상 영역에 대한 원본 영상을 촬영하도록 대상 영역에 대하여 설치되는 것일 수 있으며, 본원의 구현예에 따라 상대적으로 넓은 범위의 대상 영역에 대한 원본 영상을 획득할 수 있도록 대상 영역을 소정의 화각 설정에 따라 구획한 복수의 구분 영역을 각각 촬영하도록 복수의 카메라 모듈(200)이 대상 영역에 대하여 배치되거나 카메라 모듈(200)의 설치 대수 증가에 따른 비용 등을 고려하여 대상 영역에 대하여 단일 카메라 모듈(200)이 배치되되, 대상 영역을 소정의 화각 설정에 따라 구획한 복수의 구분 영역을 순차적으로 촬영하여 원본 영상을 획득하는 방식 역시 적용될 수 있다.
이와 관련하여, 복수의 카메라 모듈(200)이 대상 영역에 대하여 배치되는 경우, 단밀 카메라 모듈(200)이 대상 영역을 구획한 구분 영역을 순차적으로 촬영하여 원본 영상을 개별 획득하는 방식 대비 대상 영역에 대한 영상을 전체적으로 동시에 촬영할 수 있어 대상 영역에 대한 실시간(Real Time) 영상을 왜곡 없이 신속하게 클라이언트 측으로 제공할 수 있다는 점에서 이점이 있을 수 있다.
또한, 본원의 실시예에 관한 설명에서 데이터베이스(300)는 전술한 카메라 모듈(200)에 의해 획득된 각각의 화각 설정에 따른 원본 영상을 스티칭한 파노라마 영상과 서로 다른 화각 설정에 따른 파노라마 영상들을 상호 정합한 가공 영상을 각 영상의 촬영 시점에 따라 분류하여 저장하기 위한 스토리지일 수 있다. 이와 관련하여, 서비스 제공 장치(100)는 카메라 모듈(200)로부터 수신한 대상 영상에 대한 원본 영상을 가공하여 데이터베이스(300)에 미리 저장하여 두고, 사용자 단말(400)로부터 사용자가 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력이 인가되면, 해당 사용자 입력에 부합하는 영상을 데이터베이스(300)로부터 탐색하여 뷰포트를 추출하고, 추출된 뷰포트를 사용자 단말(400)을 통해 출력하도록 동작할 수 있다.
이하에서는 도 2 내지 도 7을 참조하여 서비스 제공 장치(100)의 구체적인 기능 및 동작에 대하여 설명하도록 한다.
서비스 제공 장치(100)는 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득할 수 있다. 참고로, 본원의 실시예에 관한 설명에서 대상 영역은 서비스 제공 장치(100)가 클라이언트(Client)인 사용자 단말(400)로 제공하는 영상의 촬영 대상이 되는 영역으로서, 사용자가 영상을 통해 모니터링 하려는 원거리의 공간을 의미할 수 있다. 여기서, 대상 영역이 원거리라는 것은 대상 영역을 모니터링 하도록 사용자 단말(400)로 제공되는 영상에 반영된 사용자의 시청 위치를 기준으로 대상 영역이 상대적으로 원격지에 위치함을 의미할 뿐, 사용자 단말(400) 내지 사용자와 대상 영역의 실제 물리적 거리가 원거리인 것으로 제한적으로 해석되지 않는다.
보다 구체적으로 예시하면, 대상 영역은 접경지역, 산악지역, 철새 도래지 등과 같이 일반인이 가까이 접근할 수 없는 장소를 포함할 수 있다. 이와 관련하여, 상술한 예시와 같은 대상 영역에서는 주로 원거리에서 해당 대상 영역을 망원경 등을 이용하여 특정 국부적인 관심 지역이나 대상을 관찰하게 되는데, 이 경우 원거리에서 망원경을 이용하여 좁은 화각으로 관찰하기 때문에, 망원경 영상만으로 원거리의 넓은 영역 중에서 시청자가 특히 관심있는 지역이나 대상을 탐색하는 것은 쉽지 않다. 또한, 안개, 미세먼지, 강우, 강설 등의 영향으로 시정 상황이 좋지 않은 경우와 야간의 경우에는 망원경을 이용한 관찰 영상의 화질 또한 저하되고, 관심있는 지역이나 대상을 탐색하여 관찰하기가 더 어려워지게 된다.
이와 같은 문제점은 다음과 같은 두 가지 측면에서 해결할 수 있는데, 첫째로, 사용자가 원거리의 넓은 영역을 관찰하는 영상 장비가 여러 화각의 영상을 지원할 수 있다면, 넓은 화각의 영상(예를 들면, 후술하는 도 3과 같이 wide field-of-view camera array를 통해 촬영된 영상 등)에서 관심 영역의 위치를 확인하고, 상대적으로 좁은 화각으로 관심 영역을 확대한 영상(예를 들면, 후술하는 도 2와 같이 standard field-of-view camera array를 통해 촬영된 영상 내지 후술하는 도 4와 같이 narrow field-of-view camera array를 통해 촬영된 영상 등)을 통해 상세하게 관측할 수 있다. 또한, 시정 상황이 좋지 않은 경우에 사용자가 관찰하려는 관심 영역을 포함하는 영상을 사전에 촬영해 저장해 놓은 영상으로부터 추출하여 제공할 수 있다.
이와 관련하여, 대상 영역에 대한 다양한 화각 설정에 따른 영상을 사용자에게 제공하기 위해서 본원에서 개시하는 서비스 제공 장치(100)는 대상 영역에 대한 관측 서비스에서 제공할 복수의 화각 설정을 결정할 수 있다.
구체적으로 본원의 일 실시예에 따르면, 서비스 제공 장치(100)는 대상 영역에 대하여 미리 설정되는 표준 화각 설정(standard FoV), 표준 화각 설정에 의해 촬영되는 영역 대비 넓은 영역을 촬영하기 위한 광각 설정(wide FoV) 및 표준 화각 설정에 의해 촬영되는 영역 대비 좁은 영역을 촬영하기 위한 망원 설정(narrow FoV)을 포함하는 3개의 화각 설정을 대상 영역에 대한 관측 서비스에서 제공할 화각의 유형으로 결정할 수 있으나, 이에만 한정되는 것은 아니다.
다른 예로, 서비스 제공 장치(100)는 소정의 기준 시청 위치로부터 대상 영역까지의 평균 거리, 대상 영역의 크기(면적, 부피 등), 대상 영역 내에 존재하는 관심 영역의 종류, 관심 영역의 수 등을 고려하여 본원의 구현예에 따라 2개의 화각 설정을 지원하거나, 4개 이상의 화각 설정을 지원할 수 있음은 물론이다.
이와 관련하여 도 2는 표준 화각 설정이 적용된 카메라 배열을 이용하여 대상 영역에 대한 원본 영상을 촬영하는 방식을 나타낸 개념도이고, 도 3은 광각 설정이 적용된 카메라 배열을 이용하여 대상 영역에 대한 원본 영상을 촬영하는 방식을 나타낸 개념도이고, 도 4는 망원 설정이 적용된 카메라 배열을 이용하여 대상 영역 중 미리 설정된 관심 영역에 대응하는 원본 영상을 촬영하는 방식을 나타낸 개념도이다.
도 2 내지 도 4를 참조하면, 서비스 제공 장치(100)는 대상 영역을 각각의 화각 설정(예를 들면, 표준 화각 설정, 광각 설정, 망원 설정 등)에 따라 구획한 복수의 구분 영역을 각각 촬영하는 복수의 카메라 모듈(200)로부터 복수의 원본 영상을 각각 수신할 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 서비스 제공 장치(100)는 대상 영역을 각각의 화각 설정에 따라 구획한 복수의 구분 영역을 소정의 카메라 모듈(200)이 순차적으로 촬영한 복수의 원본 영상을 수신할 수 있다.
즉, 도 2 내지 도 4에 도시되지는 않았으나, 카메라 배열의 사용이 어려운 경우 등에는 각 화각 설정에 따른 카메라 모듈(200)을 대상 영역에 대하여 한 대 배치하되, 원거리의 넓은 영역인 대상 영역을 빠짐없이 순차적으로 스캔하면서 원본 영상을 촬영할 수 있다.
한편, 도 2 내지 도 4를 참조하면, 동일한 대상 영역에 대하여 구획되는 부분 영역은 화각 설정에 따른 화각이 넓어질수록 크기(면적)가 커지게 되고, 이에 따라 각각의 화각 설정에 따라 대상 영역으로부터 구획되는 부분 영역의 수는 화각이 넓어질수록 많아질 수 있다. 이에 따라, 상대적으로 좁은 화각에 대응하는 화각 설정일수록 대상 영역을 전체적으로 커버하기 위하여 필요한 카메라 모듈(200)의 수가 많아질 수 있다.
예를 들어, 도 2에 도시된 표준 화각 설정에 따라 동일한 대상 영역을 촬영하기 위해 필요한 카메라 어레이의 카메라 모듈(S1 내지 Sn)의 수는 도 3에 도시된 광각 설정에 따라 해당 대상 영역을 촬영하기 위해 필요한 카메라 어레이의 카메라 모듈(W1 내지 Wn)의 수 대비 큰 값이고, 도 4에 도시된 망원 설정에 따라 동일한 대상 영역을 촬영하기 위해 필요한 카메라 어레이의 카메라 모듈(N1 내지 Nn)의 수 대비 작은 값일 수 있다.
즉, 원거리의 넓은 영역인 대상 영역을 빠짐 없이 촬영할 수 있도록 카메라 어레이에 포함된 각각의 카메라 모듈(200)의 위치와 포즈를 설정할 수 있는데, 설정된 카메라 모듈(200)의 화각이 좁아질수록 원거리의 넓은 영역인 대상 영역을 모두 촬영하기 위한 카메라 배열의 크기가 증가하게 되고, 이에 따른 비용도 증가하게 된다. 따라서, 도 4를 참조하면, 대상 영역을 촬영하기 위한 화각이 특정 수준으로 좁아지게 되면, 선택적으로 원거리의 넓은 영역을 빠짐 없이 촬영하거나 대상 영역 내의 특정 관심 지역에 대한 영상만을 국부적으로 촬영할 수 있다. 이 과정에서 카메라들은 모두 동일하게 동영상을 촬영하거나 이미지를 촬영한다.
이와 관련하여 본원의 일 실시예에 따르면, 서비스 제공 장치(100)는 소정의 화각 설정에 대응하여 대상 영역에 대하여 구획되는 부분 영역의 면적이 미리 설정된 면적 이하이거나 구획된 부분 영역의 수가 미리 설정된 임계 수치 이상이면, 대상 영역을 전체적으로 촬영하는 대신 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 원본 영상을 부분적으로 획득하도록 동작할 수 있다.
한편, 본원의 일 실시예에 따르면, 관심 영역은 대상 영역에서 사용자가 관찰하고자 할 가능성이 높은 주요 객체가 등장하는 영역(예를 들면, 특정 지역 내에 위치하는 특정 관광 명소, 구조물 등, 철새도래지 등의 지역에서 철새가 주로 출몰하는 영역 등)으로 설정될 수 있다.
이와 관련하여, 본원의 일 실시예에 따르면, 서비스 제공 장치(100)는 대상 영역을 전체적으로 촬영하도록 획득된 영상(예를 들면, 전술한 광각 설정 또는 표준 화각 설정에 따라 획득된 복수의 원본 영상을 스티칭한 파노라마 영상 등)으로부터 소정의 주요 객체를 검출하기 위한 인공지능 기반의 영상 분석 모델을 보유할 수 있다. 예시적으로, 인공지능 기반의 영상 분석 모델은 해당 영상을 이루는 각각의 픽셀에 대응하는 객체 유형(클래스)을 식별하도록 학습되는 의미론적 영역 분할(Semantic Segmentation) 모델일 수 있으나, 이에만 한정되는 것은 아니고, 본원에서는 종래에 이미 공지되었거나 향후 개발되는 다양한 인공지능 기반의 영상 분석 알고리즘 모델이 적용될 수 있다.
또한, 예시적으로 대상 영역에서 식별될 수 있는 주요 객체는 건물, 구조물, 특정 지형, 동식물, 사람 등의 유형(클래스)로 대상 영역에 따라 다양하게 설정될 수 있으며, 이러한 객체 유형은 전술한 예시에 한정되지 않는다.
한편, 서비스 제공 장치(100)는 대상 영역에 대하여 획득된 다수의 영상 데이터에 대한 영상 분석 모델 기반의 통계적 분석을 통해 주요 객체가 등장하는 관심 영역을 주요 객체가 식별된 영역을 포함하는 영역으로 설정할 수 있다.
도 5는 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치가 원본 영상을 스티칭하여 파노라마 영상을 생성하고, 서로 다른 화각 설정에 따른 파노라마 영상을 정합하여 데이터베이스화 하고, 클라이언트로부터 제공된 사용자 입력에 기초하여 영상을 재생하는 프로세스를 설명하기 위한 개념도이다.
도 5를 참조하면, 서비스 제공 장치(100)는 앞서 상세히 설명한 바와 같이 각각의 화각 설정(예를 들면, 표준 화각 설정, 광각 설정, 망원 설정 등)에 대응하여 소정의 시점(예를 들면, T1 시점, T2 시점, T3 시점 등)에 각각 촬영한 복수의 원본 영상을 각각 획득하고 나면, 복수의 화각 설정마다 획득된 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성할 수 있다.
여기서, 스티칭(Stitching)은 연속된 이미지(복수의 원본 영상)를 중첩된 부분을 중심으로 병합하여 단일 이미지(예를 들면, 파노라마 이미지, 고해상도 이미지 등)를 생성하는 기법을 의미하며, 이러한 이미지 스티칭 기법은 영상 처리 분야의 통상의 기술자에게 자명한 사항인바 상세한 설명은 생략하도록 한다.
달리 말해, 서비스 제공 장치(100)는 복수의 원본 영상에 대한 스티칭을 통해 각각의 화각 설정마다 특정 시점에 촬영된 파노라마 영상을 생성할 수 있다. 예를 들어, 원본 영상의 획득이 이루어진 기준 시점이 T1 시점 내지 T3 시점으로 구분되고, 화각 설정이 표준 화각 설정, 광각 설정 및 망원 설정으로 분류되는 경우, 서비스 제공 장치(100)는 표준 화각 설정에 대응하는 T1 시점 내지 T3 시점 각각의 3개의 파노라마 영상을 각각 생성하고, 광각 설정에 대응하는 T1 시점 내지 T3 시점 각각의 3개의 파노라마 영상을 각각 생성하고, 망원 설정에 대응하는 T1 시점 내지 T3 시점 각각의 3개의 파노라마 영상을 각각 생성할 수 있다.
또한, 서비스 제공 장치(100)는 각 화각 설정별 카메라 배열 내 카메라 모듈(200) 각각에 대해 카메라의 내부(intrinsic) 계수와 외부(extrinsic) 계수를 추정하는 카메라 캘리브레이션을 수행할 수 있다. 또한, 서비스 제공 장치(100)는 각 화각 설정 별 카메라 배열을 이용하여 촬영한 복수의 원본 영상들을 사전에 설정한 기준 영상 평면에 기초하여 스티칭하여 파노라마 영상을 생성할 수 있다. 예를 들어, 각 화각 설정에 따른 기준 영상 평면은 해당 화각 설정에 대응하여 원본 영상을 촬영하는 카메라 배열 중 어느 하나의 카메라 모듈(200)에 대응하는 영상 평면으로 설정(지정)될 수 있다.
또한, 도 5를 참조하면, 서비스 제공 장치(100)는 복수의 화각 설정 중 상대적으로 넓은 화각(예를 들면, 광각 설정)에 대응하여 획득된 복수의 원본 영상으로부터 스티칭된 영상을 기준 파노라마 영상으로 설정할 수 있다.
또한, 서비스 제공 장치(100)는 설정된 기준 파노라마 영상을 기초로 하여 복수의 파노라마 영상을 정합(registration)할 수 있다. 예를 들어, 화각 설정이 표준 화각 설정, 광각 설정 및 망원 설정으로 분류되는 경우, 서비스 제공 장치(100)는 표준 화각 설정에 따라 획득된 복수의 원본 영상으로부터 생성된 파노라마 영상을 기준 파노라마 영상을 기초로 정합하는 동작 및 망원 설정에 따라 획득된 복수의 원본 영상으로부터 생성된 파노라마 영상을 기준 파노라마 영상을 기초로 정합하는 동작을 수행할 수 있다.
즉, 서비스 제공 장치(100)는 가장 넓은 화각의 카메라 배열로부터 스티칭한 파노라마 영상을 원거리 모니터링 서비스를 제공하기 위한 기준 파노라마 영상으로 설정하고, 기준 파노라마 영상 대비 상대적으로 좁은 화각의 카메라 배열로부터 스티칭한 파노라마 영상은 기준 파노라마 영상과 정합을 수행할 수 있다.
한편, 서비스 제공 장치(100)에 의해 생성된 특정 시점(time)에 촬영한 각 화각의 스티칭한 파노라마 영상과 기준 영상 평면과의 정합 정보는 도 5에 도시된 바와 같이 데이터베이스(300)에 저장될 수 있다. 즉, 서비스 제공 장치(100)는 각 화각 설정에 대응하는 카메라 배열을 이용하여 복수의 다른 시점(time)에 촬영되어 스티칭한 파노라마 영상과 기준 영상 평면과의 정합 정보를 데이터베이스(300)에 각각 저장할 수 있다. 예시적으로, 도 5를 참조하면, 데이터베이스(300)는 광각 설정에 따라 촬영되어 스티칭 및 정합된 파노라마 영상을 시점별로 저장하기 위한 제1데이터베이스(301), 표준 화각 설정에 따라 촬영되어 스티칭 및 정합된 파노라마 영상을 시점별로 저장하기 위한 제2데이터베이스(302) 및 망원 설정에 따라 촬영되어 스티칭 및 정합된 파노라마 영상을 시점별로 저장하기 위한 제3데이터베이스(303)를 포함할 수 있다.
또한, 서비스 제공 장치(100)는 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 클라이언트(Client)인 사용자 단말(400)로부터 수신할 수 있다. 앞서 상세히 설명한 바와 같이 네트워크(20)를 통해 서비스 제공 장치(100)에 연결(접속)되는 클라이언트(Client)는 노트북, 태블릿, 스마트폰과 같은 전자기기 단말 형태, 관광용 망원경 형태, HMD(Head Mount Display) 형태 등으로 본원의 구현예에 따라 다양하게 구비될 수 있다. 한편, 네트워크 클라이언트에 내장된 디스플레이는 서비스 제공 장치(100)가 전송한 뷰포트를 재생할 수 있다.
구체적으로, 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력은 대상 영역에 대한 사용자의 시청 위치 정보, 시청 방향 정보, 촬영 시점 정보 및 화각 설정 정보를 포함할 수 있다.
보다 구체적으로, 서비스 제공 장치(100)는 클라이언트로 제공 가능한 영상의 촬영 시점에 대한 정보(예를 들면, 실시간(Live), T1 시점, T2 시점, T3 시점 등)과 사용자가 선택 가능한 화각 설정(줌 레벨)에 대한 정보를 제공할 수 있다. 이에 대응하여, 사용자 단말(400)의 사용자는 서비스 제공 장치(100)가 제공한 촬영 시점과 화각 설정에서 원하는 시점과 화각 설정을 선택하고, 사용자에 의한 클라이언트의 이동에 따라 변동되는 시청 위치 정보 및 시청 방향 정보를 반영하는 클라이언트의 포즈 정보를 서비스 제공 장치(100)로 전송할 수 있다. 여기서, 포즈 정보는 클라이언트의 위치 내지 자세 변경에 따른 yaw 정보 및 pitch 정보를 포함할 수 있다.
또한, 서비스 제공 장치(100)는 정합된 복수의 파노라마 영상 중 사용자 단말(400)로부터 수신된 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 사용자 단말(400)을 통해 출력할 수 있다.
구체적으로, 서비스 제공 장치(100)는 정합된 복수의 파노라마 영상 중에서 사용자 입력에 포함된 화각 설정 정보에 대응하는 화각 설정에 따라 촬영 시점 정보에 대응하는 소정의 시점에 촬영되어 생성된 파노라마 영상으로부터 시청 위치 정보 및 시청 방향 정보에 대응하는 뷰포트를 부분적으로 추출하여 표시할 수 있다.
이와 관련하여, 도 6은 기준 파노라마 영상을 기준으로 하여 클라이언트로부터 제공된 사용자 입력에 따라 변화하는 뷰포트를 예시적으로 나타낸 도면이다.
도 6을 참조하면, 서비스 제공 장치(100)는 사용자 단말(400)로부터 수신한 촬영 시점의 파노라마 영상을 선택하고, 사용자 단말(400)로부터 수신한 클라이언트의 포즈 정보로부터 해당 파노라마 영상 내 사용자의 시선의 위치(실제 또는 가상의 시청 위치)를 계산할 수 있다.
한편, 본원의 일 실시예에 따르면, 네트워크 클라이언트가 사용자에게 영상 서비스를 시작하는 시점에는 사용자 단말(400)의 디스플레이의 중앙에 기준 파노라마 영상의 중심이 배치될 수 있다. 이 때, 서비스 시작 시점의 클라이언트의 포즈 정보(p1)를 (yaw0, pitch0)라 하고, 임의의 시점의 클라이언트의 포즈 정보(p2)를 (yaw1, pitch1)라고 할 때, 시작 시점의 뷰포트(V1)에 대한 중심 좌표와 임의의 시점의 뷰포트(V2)에 대한 중심 좌표는 하기 식 1 및 식 2에 의해 각각 계산될 수 있다.
[식 1]
시작시점의 뷰포트 위치 = (W/2, H/2)
[식 2]
임의시점의 뷰포트 위치 = (W/2+(yaw1-yaw0)*W/θh, H/2+(pitch1-pitch0)*H/θv)
여기서, W는 기준 파노라마 영상에서 가로방향 화소수, H는 기준 파노라마 영상에서 세로방향 화소수, θh는 세로방향 화각, θv는 가로방향 화각이다.
즉, 서비스 제공 장치(100)는 사용자 단말(400)로부터 수신된 네트워크 클라이언트의 포즈 정보로부터 계산한 뷰포트 위치와 사용자가 선택한 화각 설정(줌 레벨, FoV)로부터 해당 화각 설정에 따라 생성된 파노라마 영상에서의 뷰포트 위치를 계산하고, 사용자가 선택한 촬영시점의 해당 줌 레벨의 파노라마 영상에서 계산한 뷰포트 위치를 중심으로 뷰포트를 생성하여 사용자 단말(400)에 전송할 수 있다.
한편, 사용자 단말(400)의 사용자가 촬영시점을 실시간(live) 설정으로 선택한 경우, 서비스 제공 장치(100)는 각각의 카메라 배열에서 획득한 원본 영상을 스티칭한 파노라마 영상에서 뷰포트를 생성하여 클라이언트에 전송할 수 있다.
또한, 본원의 일 실시예에 따르면, 사용자 입력에 포함된 화각 설정 정보에 대응하는 화각 설정에 따라 생성된 파노라마 영상이 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 원본 영상을 기초로 하여 생성된 영상(예를 들면, 도 4에 도시된 바와 같이 망원 설정에 따라 관심 지역을 국부적으로 촬영한 원본 영상으로부터 생성된 영상)이면, 서비스 제공 장치(100)는 사용자 입력에 포함된 시청 위치 정보 및 시청 방향 정보에 상대적으로 근접한 관심 영역에 대한 뷰포트를 사용자 단말(400)을 통해 표시할 수 있다.
도 7은 대상 영역에 대하여 동일한 시선 방향에 따라 상이한 화각 설정을 적용할 경우 클라이언트에서 표출되는 화면을 예시적으로 비교하여 나타낸 도면이다. 구체적으로, 도 7의 (a)는 광각 설정시의 화면, 도 7의 (b)는 표준 화각 설정시의 화면, 도 7의 (c)는 망원 설정 시의 대상 영역에 대한 화면을 예시적으로 나타낸다
도 8은 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치의 개략적인 구성도이다.
도 8을 참조하면, 서비스 제공 장치(100)는 영상 수집부(110), 스티칭부(120), 정합부(130) 및 영상 재생부(140)를 포함할 수 있다.
영상 수집부(110)는 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득할 수 있다.
본원의 일 실시예에 따르면, 영상 수집부(110)는 대상 영역을 화각 설정에 따라 구획한 복수의 구분 영역을 각각 촬영하는 복수의 카메라 모듈(200)로부터 복수의 원본 영상을 각각 수신할 수 있다.
또한, 본원의 다른 실시예에 따르면, 영상 수집부(110)는 대상 영역을 화각 설정에 따라 구획한 복수의 구분 영역을 소정의 카메라 모듈(200)이 순차적으로 촬영한 복수의 원본 영상을 수신할 수 있다.
또 다른 예로, 영상 수집부(110)는 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 원본 영상을 카메라 모듈(200)로부터 획득할 수 있다.
스티칭부(120)는 복수의 화각 설정마다 획득된 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성할 수 있다.
정합부(130)는 복수의 파노라마 영상 중 어느 하나의 파노라마 영상을 기준 파노라마 영상으로 설정할 수 있다. 또한, 정합부(130)는 설정된 기준 파노라마 영상을 기초로 하여 복수의 파노라마 영상을 상호 정합할 수 있다.
영상 재생부(140)는 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 사용자 단말(400)을 통해 수신할 수 있다. 또한, 영상 재생부(140)는 정합된 복수의 파노라마 영상 중 수신된 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 출력할 수 있다.
구체적으로, 영상 재생부(140)는 정합된 복수의 파노라마 영상 중에서 사용자 입력에 포함된 화각 설정 정보에 대응하는 화각 설정에 따라 사용자 입력에 포함된 촬영 시점 정보에 대응하는 소정의 시점에 촬영되어 생성된 파노라마 영상으로부터 사용자 입력에 포함된 시청 위치 정보 및 시청 방향 정보에 대응하는 뷰포트를 부분적으로 추출하여 표시할 수 있다.
또한, 본원의 일 실시예에 따르면, 사용자 입력에 포함된 화각 설정 정보에 대응하는 화각 설정에 따라 생성된 파노라마 영상이 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 원본 영상을 기초로 하여 생성된 영상이면, 영상 재생부(140)는 사용자 입력에 포함된 시청 위치 정보 및 시청 방향 정보에 상대적으로 근접한 상기 관심 영역에 대한 뷰포트를 사용자 단말(400)을 통해 표시할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 9는 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법에 대한 동작 흐름도이다.
도 9에 도시된 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법은 앞서 설명된 서비스 제공 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 서비스 제공 장치(100)에 대하여 설명된 내용은 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 9를 참조하면, 단계 S11에서 영상 수집부(110)는 (a) 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득할 수 있다.
본원의 일 실시예에 따르면, 단계 S11에서 영상 수집부(110)는 대상 영역을 화각 설정에 따라 구획한 복수의 구분 영역을 각각 촬영하는 복수의 카메라 모듈(200)로부터 복수의 원본 영상을 각각 수신할 수 있다.
또한, 본원의 다른 실시예에 따르면, 단계 S11에서 영상 수집부(110)는 대상 영역을 화각 설정에 따라 구획한 복수의 구분 영역을 소정의 카메라 모듈(200)이 순차적으로 촬영한 복수의 원본 영상을 수신할 수 있다.
또 다른 예로, 단계 S11에서 영상 수집부(110)는 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 원본 영상을 카메라 모듈(200)로부터 획득할 수 있다.
다음으로, 단계 S12에서 스티칭부(120)는 (b) 복수의 화각 설정마다 획득된 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성할 수 있다.
다음으로, 단계 S13에서 정합부(130)는 (c) 복수의 파노라마 영상 중 어느 하나의 파노라마 영상을 기준 파노라마 영상으로 설정하고, 설정된 기준 파노라마 영상을 기초로 하여 복수의 파노라마 영상을 상호 정합할 수 있다.
다음으로, 단계 S14에서 영상 재생부(140)는 (d) 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 수신할 수 있다.
다음으로, 단계 S15에서 영상 재생부(140)는 (e) 정합된 복수의 파노라마 영상 중 단계 S14에서 수신된 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 출력할 수 있다.
구체적으로, 단계 S15에서 영상 재생부(140)는 정합된 복수의 파노라마 영상 중에서 사용자 입력에 포함된 화각 설정 정보에 대응하는 화각 설정에 따라 사용자 입력에 포함된 촬영 시점 정보에 대응하는 소정의 시점에 촬영되어 생성된 파노라마 영상으로부터 사용자 입력에 포함된 시청 위치 정보 및 시청 방향 정보에 대응하는 뷰포트를 부분적으로 추출하여 표시할 수 있다.
또한, 본원의 일 실시예에 따르면, 사용자 입력에 포함된 화각 설정 정보에 대응하는 화각 설정에 따라 생성된 파노라마 영상이 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 원본 영상을 기초로 하여 생성된 영상이면, 단계 S15에서 영상 재생부(140)는 사용자 입력에 포함된 시청 위치 정보 및 시청 방향 정보에 상대적으로 근접한 상기 관심 영역에 대한 뷰포트를 사용자 단말(400)을 통해 표시할 수 있다.
상술한 설명에서, 단계 S11 내지 S15는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 본원의 일 실시예에 따른 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 원거리 영상 서비스 제공 시스템
100: 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치
110: 영상 수집부
120: 스티칭부
130: 정합부
140: 영상 재생부
200: 카메라 모듈
300: 데이터베이스
400: 사용자 단말, 클라이언트
20: 네트워크

Claims (16)

  1. 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 방법에 있어서,
    (a) 대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득하는 단계;
    (b) 상기 복수의 화각 설정마다 획득된 상기 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성하는 단계;
    (c) 상기 복수의 파노라마 영상 중 어느 하나의 파노라마 영상을 기준 파노라마 영상으로 설정하고, 상기 기준 파노라마 영상을 기초로 하여 상기 복수의 파노라마 영상을 정합하는 단계;
    (d) 상기 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 수신하는 단계; 및
    (e) 상기 정합된 복수의 파노라마 영상 중 상기 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 출력하는 단계,
    를 포함하는, 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 (c) 단계에서 상기 기준 파노라마 영상은,
    상기 복수의 화각 설정 중 상대적으로 넓은 화각에 대응하여 획득된 상기 복수의 원본 영상으로부터 스티칭된 영상인 것을 특징으로 하는, 서비스 제공 방법.
  3. 제1항에 있어서,
    상기 (a) 단계는,
    상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 각각 촬영하는 복수의 카메라 모듈로부터 상기 복수의 원본 영상을 각각 수신하는 것인, 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 (a) 단계는,
    상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 소정의 카메라 모듈이 순차적으로 촬영한 상기 복수의 원본 영상을 수신하는 것인, 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 (a) 단계는,
    상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 획득하는 것인, 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 복수의 화각 설정은,
    상기 대상 영역에 대하여 미리 설정되는 표준 화각 설정, 상기 표준 화각 설정에 의해 촬영되는 영역 대비 넓은 영역을 촬영하기 위한 광각 설정 및 상기 표준 화각 설정에 의해 촬영되는 영역 대비 좁은 영역을 촬영하기 위한 망원 설정을 포함하는 것인, 서비스 제공 방법.
  7. 제1항에 있어서,
    상기 (d) 단계에서 상기 사용자 입력은 상기 대상 영역에 대한 상기 사용자의 시청 위치 정보, 시청 방향 정보, 촬영 시점 정보 및 화각 설정 정보를 포함하고,
    상기 (e) 단계는,
    상기 정합된 복수의 파노라마 영상 중에서 상기 화각 설정 정보에 대응하는 화각 설정에 따라 상기 촬영 시점 정보에 대응하는 소정의 시점에 촬영되어 생성된 파노라마 영상으로부터 상기 시청 위치 정보 및 상기 시청 방향 정보에 대응하는 상기 뷰포트를 부분적으로 추출하여 표시하는 것인, 서비스 제공 방법.
  8. 제7항에 있어서,
    상기 화각 설정 정보에 대응하는 화각 설정에 따라 생성된 상기 파노라마 영상이 상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 기초로 하여 생성된 영상이면,
    상기 (e) 단계는,
    상기 시청 위치 정보 및 상기 시청 방향 정보에 상대적으로 근접한 상기 관심 영역에 대한 상기 뷰포트를 표시하는 것인, 서비스 제공 방법.
  9. 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치에 있어서,
    대상 영역을 서로 다른 복수의 화각 설정에 대응하여 소정의 시점에 촬영한 복수의 원본 영상을 획득하는 영상 수집부;
    상기 복수의 화각 설정마다 획득된 상기 복수의 원본 영상을 각각 스티칭하여 복수의 파노라마 영상을 생성하는 스티칭부;
    상기 복수의 파노라마 영상 중 어느 하나의 파노라마 영상을 기준 파노라마 영상으로 설정하고, 상기 기준 파노라마 영상을 기초로 하여 상기 복수의 파노라마 영상을 정합하는 정합부; 및
    상기 대상 영역의 모니터링을 위한 시청 설정과 연계된 사용자 입력을 수신하고, 상기 정합된 복수의 파노라마 영상 중 상기 사용자 입력에 대응하는 파노라마 영상을 기초로 하여 뷰포트를 출력하는 영상 재생부,
    를 포함하는, 서비스 제공 장치.
  10. 제9항에 있어서,
    상기 기준 파노라마 영상은 상기 복수의 화각 설정 중 상대적으로 넓은 화각에 대응하여 획득된 상기 복수의 원본 영상으로부터 스티칭된 영상인 것을 특징으로 하는, 서비스 제공 장치.
  11. 제9항에 있어서,
    상기 영상 수집부는,
    상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 각각 촬영하는 복수의 카메라 모듈로부터 상기 복수의 원본 영상을 각각 수신하거나 상기 대상 영역을 상기 화각 설정에 따라 구획한 복수의 구분 영역을 소정의 카메라 모듈이 순차적으로 촬영한 상기 복수의 원본 영상을 수신하는 것인, 서비스 제공 장치.
  12. 제9항에 있어서,
    상기 영상 수집부는,
    상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 획득하는 것인, 서비스 제공 장치.
  13. 제9항에 있어서,
    상기 복수의 화각 설정은,
    상기 대상 영역에 대하여 미리 설정되는 표준 화각 설정, 상기 표준 화각 설정에 의해 촬영되는 영역 대비 넓은 영역을 촬영하기 위한 광각 설정 및 상기 표준 화각 설정에 의해 촬영되는 영역 대비 좁은 영역을 촬영하기 위한 망원 설정을 포함하는 것인, 서비스 제공 장치.
  14. 제9항에 있어서,
    상기 사용자 입력은 상기 대상 영역에 대한 상기 사용자의 시청 위치 정보, 시청 방향 정보, 촬영 시점 정보 및 화각 설정 정보를 포함하고,
    상기 영상 재생부는,
    상기 정합된 복수의 파노라마 영상 중에서 상기 화각 설정 정보에 대응하는 화각 설정에 따라 상기 촬영 시점 정보에 대응하는 소정의 시점에 촬영되어 생성된 파노라마 영상으로부터 상기 시청 위치 정보 및 상기 시청 방향 정보에 대응하는 상기 뷰포트를 부분적으로 추출하여 표시하는 것인, 서비스 제공 장치.
  15. 제14항에 있어서,
    상기 화각 설정 정보에 대응하는 화각 설정에 따라 생성된 상기 파노라마 영상이 상기 대상 영역 중 미리 설정된 관심 영역에 대응하는 적어도 하나의 상기 원본 영상을 기초로 하여 생성된 영상이면,
    상기 영상 재생부는,
    상기 시청 위치 정보 및 상기 시청 방향 정보에 상대적으로 근접한 상기 관심 영역에 대한 상기 뷰포트를 표시하는 것인, 서비스 제공 장치.
  16. 제1항 내지 제8항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
KR1020210186854A 2021-12-24 2021-12-24 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법 KR102650406B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210186854A KR102650406B1 (ko) 2021-12-24 2021-12-24 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210186854A KR102650406B1 (ko) 2021-12-24 2021-12-24 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230098394A true KR20230098394A (ko) 2023-07-04
KR102650406B1 KR102650406B1 (ko) 2024-03-25

Family

ID=87156454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186854A KR102650406B1 (ko) 2021-12-24 2021-12-24 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102650406B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140045636A (ko) * 2012-10-09 2014-04-17 한국전자통신연구원 레이어드 파노라마 영상 생성 장치
KR20190059712A (ko) * 2017-11-23 2019-05-31 전자부품연구원 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법
KR102343267B1 (ko) * 2020-11-23 2021-12-23 한국항공대학교산학협력단 다중 위치에서 촬영된 비디오를 이용한 360도 비디오 서비스 제공 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140045636A (ko) * 2012-10-09 2014-04-17 한국전자통신연구원 레이어드 파노라마 영상 생성 장치
KR20190059712A (ko) * 2017-11-23 2019-05-31 전자부품연구원 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법
KR102343267B1 (ko) * 2020-11-23 2021-12-23 한국항공대학교산학협력단 다중 위치에서 촬영된 비디오를 이용한 360도 비디오 서비스 제공 장치 및 방법

Also Published As

Publication number Publication date
KR102650406B1 (ko) 2024-03-25

Similar Documents

Publication Publication Date Title
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
US9838668B2 (en) Systems and methods for transferring a clip of video data to a user facility
US20200288108A1 (en) Method, apparatus, terminal, capturing system and device for setting capturing devices
CN101689292B (zh) Banana多媒体数字信号编解码器
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
CN110730296B (zh) 图像处理装置、图像处理方法及计算机可读介质
CN106296589B (zh) 全景图像的处理方法及装置
WO2018214707A1 (zh) 一种视频画面的输出、查看方法及装置
JP2019159950A (ja) 情報処理装置および情報処理方法
JP2012080431A (ja) パノラマ画像表示装置およびパノラマ画像表示方法
KR20170086203A (ko) 스포츠 중계 서비스 제공 방법
JP2010034652A (ja) 多方位カメラ搭載型携帯端末装置
JP2008187678A (ja) 映像生成装置及び映像生成プログラム
KR102650406B1 (ko) 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법
JP4001233B2 (ja) パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置
CN111669569A (zh) 一种视频生成方法及装置、介质、终端
CN111669604A (zh) 一种采集设备设置方法及装置、终端、采集系统、设备
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
KR100579135B1 (ko) 수렴형 3차원 다시점 영상 획득 방법
WO2019000427A1 (zh) 一种图像处理方法、装置及电子设备
CN111669603B (zh) 多角度自由视角数据处理方法及装置、介质、终端、设备
KR102211760B1 (ko) 과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법
CN111669568A (zh) 多角度自由视角交互方法及装置、介质、终端、设备
KR20140045636A (ko) 레이어드 파노라마 영상 생성 장치
JP5646033B2 (ja) 画像表示装置および画像表示方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant