KR101782670B1 - 이미 존재하는 정지 이미지 내의 비디오의 시각화 - Google Patents

이미 존재하는 정지 이미지 내의 비디오의 시각화 Download PDF

Info

Publication number
KR101782670B1
KR101782670B1 KR1020137006409A KR20137006409A KR101782670B1 KR 101782670 B1 KR101782670 B1 KR 101782670B1 KR 1020137006409 A KR1020137006409 A KR 1020137006409A KR 20137006409 A KR20137006409 A KR 20137006409A KR 101782670 B1 KR101782670 B1 KR 101782670B1
Authority
KR
South Korea
Prior art keywords
image
feed
video
video image
already existing
Prior art date
Application number
KR1020137006409A
Other languages
English (en)
Other versions
KR20130110156A (ko
Inventor
이얄 오펙
빌리 첸
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20130110156A publication Critical patent/KR20130110156A/ko
Application granted granted Critical
Publication of KR101782670B1 publication Critical patent/KR101782670B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

비디오 카메라로부터의 비디오는 더 나은 컨텍스트 및 이해도를 제공하기 위해 공통 구성 요소를 공유하는 정지 이미지에 통합(integrate)될 수 있다. 선처리(pre-processing)는 시각적으로 유동적인 방식(a visually fluid manner)으로 정지 이미지에 통합될 비디오를 변환 및 정렬하기 위한 변환 파라미터(transformation parameter)를 유도할 수 있다. 이후, 이러한 변환 파라미터는 실시간으로 비디오를 변환 및 정렬하고 정지 이미지 내에 비디오를 디스플레이하기 위해 사용될 수 있다. 비디오 카메라가 이동 가능한 경우, 선처리는 비디오의 안정화를 포함하고 동작의 영역 및 정지 구성 요소의 식별을 포함할 수 있다. 변환 파라미터는 비디오의 정지 구성 요소를 하나 이상의 존재하는 이미지의 부분들에 대응(fitting)시킴으로써 유도될 수 있다. 보다 부드러운 시각적 통합을 제공하기 위해, 정지 이미지 내에서 실시간으로 비디오를 디스플레이하는 것은 변환 및 정렬된 비디오 이미지 전체 또는 변환 및 정렬된 오직 선택된 섹션에 대한 디스플레이를 포함할 수 있다.

Description

이미 존재하는 정지 이미지 내의 비디오의 시각화{VISUALIZING VIDEO WITHIN EXISTING STILL IMAGES}
직업이 자동차를 운전하는 개인의 경우와 같은 예외적인 경우를 제외하고 대부분의 개인들에게 있어서 운전을 하면서 소비되는 시간은 일반적으로 비생산적인 시간으로서 인식된다. 이러한 비생산성은 높은 볼륨의 교통 체증 상황(high-volume traffic situations) 내에 정체되어 있는 운전자에 의해 경험되는 짜증과 다른 감정적인 소모에 의해 더욱 악화될 수 있다. 따라서 운전하는 동안 높은 볼륨의 교통 체증 상황을 회피하고자 하는 바람이 나온지 오래이다. 이러한 바람에 의해 개인이 높은 볼륨의 교통 체증 상황이나 개인이 회피하기 원하는 기타 교통 기반 상황들을 회피하는 데 도움을 주기 위해 무수한 교통 정보가 사용 가능해졌다. 예를 들어, 많은 자동차 네비게이션 시스템은 이제 실시간 교통 정보의 측정치들을 제공하게 되었다. 유사하게, 다른 예로써, 많은 네트워크 기반 맵핑 애플리케이션(network-based mapping application)들이 실시간 교통 정보를 마찬가지로 제공한다.
종종, 보다 쉬운 사용을 위해 제공되는 교통 정보는 일반화된다. 예를 들어 교통 정보는 유비쿼터스 레드, 옐로우, 및 그린 컬러 코딩을 사용하여 제공되는데, 이때 그린 컬러는 낮은 볼륨의 교통 상황을 나타내도록 사용되고 레드 컬러는 높은 볼륨의 교통 상황을 나타내도록 사용된다. 다른 예로써, 교통 정보는, 두 개의 교차로 및 다른 랜드마크 사이와 같은 미리 지정된 거리를 이동하는데 소요되는 시간의 양이나 평균 속도의 형태로 제공되기도 한다. 이러한 일반화된 교통 정보가 실질적으로 사용자가 사용하기에 보다 용이할 수 있지만, 사용자가 자동차를 운전하는데에 몰두해 있는 경우 등과 같은 특정의 경우에는, 충분한 정보를 제공하지 못할 수도 있다.
보다 상세한 교통 정보가 요구되는 이러한 상황들에 있어서, 전형적으로, 유비쿼터스 인터넷 또는 동등한 유비쿼터스 월드 와이드 웹 등과 같은 보다 큰 네트워크의 컴퓨팅 장치들과 통신하도록 결합된 비디오 카메라를 통하여, 교통 정보는 특정 위치 내의 자동차 교통의 실시간 이미지의 형태로 제공될 수도 있다. 전통적으로, 이러한 교통 카메라들은 주(state)나 지방 교통 부서와 같은 정부 기관에 의해 유지되며, 좋은 위치 또는 중요한 도로나 다른 주요 도로의 특정 방향을 제공하기 위해 설치 및 배치된다. 전형적으로, 이러한 교통 카메라에 의해 제공되는 이미지들로의 액세스는, 가공되지 않은 교통 카메라 이미지 피드(raw traffic camera image feeds)의 형태로 웹사이트 또는 다른 네트워크 기반 인터페이스를 통해 획득 가능하다. 일례로, 교통 카메라들의 위치를 적절한 아이콘 또는 다른 표시들을 통해 나타내는 지도를 웹사이트에 디스플레이할 수 있다. 이러한 아이콘 또는 다른 표시들의 선택은 가공되지 않은 교통 카메라 이미지 피드를 종종 서브 윈도우나 다른 유사한 독립적 사용자 인터페이스 구성요소에 제시하도록 할 수 있다.
비용 및 대역폭을 감안함에 따라, 전형적으로, 사용되고 있는 교통 카메라들은 높은 품질의 이미지들을 제공하지는 못하고 있다. 또한, 교통 카메라들은 자동자 교통의 이미지들을 제공하도록 디자인되었을 뿐, 주변 이미지나 컨텍스트적 이미지(contexual, or surrounding images)를 제공하지는 못한다. 따라서, 사용자들은 교통 카메라 이미지 피드에 액세스할 때 종종 혼동을 경험한다. 예를 들어, 사용자가 교통 카메라가 어느 방향을 향하고 있는지 결정하기 어려운 경우가 종종 있다. 유사하게, 교통 카메라 이미지 피드의 라이브, 실시간, 동영상으로서의 제시가 사용자가 선택한 교통 카메라로부터의 디스플레이된 지도 및 교통 카메라의 위치에 대해 제공된 시각적 표시 아이콘과 컨텍스트적으로 대단히 상이하기 때문에, 사용자들이 정확히 어느 도로가 보여지고 있다는 것을 식별하기도 종종 어렵다.
일 실시예에 따르면, 교통 카메라 이미지 피드 내에 특징지워진 동일한 도로를 포함하는 이미 존재하는 파노라마의 컨텍스트 내에서 교통 카메라 이미지 피드가 사용자에게 제시된다. 이러한 합성(amalgamation)은 이미 존재하는 파노라마들의 더 나은 시각적 컨텍스트 내에서 교통 카메라에 의해 제공되는 동적인 교통 이미지들의 뷰잉이 가능하게 한다. 이미 존재하는 파노라마들은 전용 차량에 설치된 전용 파노라마 카메라를 통해 전형적으로 캡쳐될 수 있으며, 이미 존재하는 지도 기반 웹사이트나 선택된 지도 영역의 도로 레벨 뷰와 같은 다른 유사한 네트워크 중심 인터페이스(network-centric interface)를 통해 사용자에게 전형적으로 제시될 수 있다. 파노라마에 의해 제공된 컨텍스트적 시각 정보와 결합된 이러한 거리 레벨 뷰에 대한 사용자들의 친밀도는 사용자들로 하여금 동적 교통 카메라 이미지 피드가 이러한 파노라마 내에 제공되었을 때 이를 더 쉽게 이해하고 사용할 수 있도록 한다.
다른 실시예에 따르면, 교통 카메라 이미지 피드는 이미 존재하는 파노라마와의 시각적 통합을 향상시키기 위해 교통 카메라 이미지 피드에 적용 가능한 변환 파라미터를 결정하도록 선처리될 수 있다. 이러한 선처리는 교통 카메라 이미지 피드를 디스플레이할 하나 이상의 적절한 파노라마들을 식별하는 단계를 포함할 수 있고 교통 카메라 이미지 피드의 부분 영역(portion)들 중 시간에 따라 변하는 부분(portions that change over time)과 시간에 따라 정적으로 남아 있는 부분(portions that remain static over time)을 식별하는 단계를 더 포함할 수 있다.
또 다른 실시예에 따르면, 미리 정해진 변환 파라미터에 따라서 교통 카메라 이미지 피드 전체를 변환한 뒤 이미 존재하는 파노라마 내에 그것을 디스플레이하는 것에 의해 교통 카메라 이미지 피드는 하나 이상의 이미 존재하는 파노라마에 통합될 수 있고, 이에 따라 교통 카메라로부터의 동적 비디오는 하나 이상의 파노라마의 더 나은 비주얼 컨텍스트 내에서 제시될 수 있다. 대체적인 실시예로써, 교통 카메라 이미지 피드의 움직이거나 변화하는 컴포넌트만을 필터링하고 이를 이미 존재하는 파노라마 내에 디스플레이할 수도 있다. 또 다른 대체적인 실시예에서는, 교통 카메라 이미지 피드의 움직이거나 변화하는 컴포넌트를 도로나 다른 적절한 배경 구조와 결합하고 이를 필터링하여 이미 존재하는 파노라마 내에 디스플레이할 수도 있다.
다른 실시예에 따르면, 라인 매칭 알고리즘(line matching algorithm)이 변환 파라미터를 계산하기 위해 사용될 수 있다. 이러한 라인 매칭 알고리즘은 교통 카메라 이미지 피드의 정적인 부분의 적절한 예로써의 라인들을 하나 이상의 이미 존재하는 파노라마의 유사한 예로 매칭할 수 있다.
이 요약은 발명의 상세한 설명에서 더 후술될 개념들의 단순화된 형태를 설명하고자 제공된 것으로서, 이 요약으로 청구항에 기재된 청구 대상 발명의 중요하거나 필수적인 특징들을 식별하고자 하는 것이 아닐 뿐 아니라, 이 요약이 청구 대상 발명의 범위를 제한하는 데에 사용되도록 의도된 것도 아니다.
추가적인 특징 및 효과들이 도면을 참조하여 기재된 이하의 발명의 상세한 설명에 의해 더 명확해질 것이다.
이하의 발명의 상세한 설명은 이하의 도면과 함께 설명되어 보다 명확히 이해될 수 있을 것이다.
도 1은 이미 존재하는 파노라마들 내에 교통 카메라 이미지 피드를 통합하는 시스템의 예시적인 블록 다이어그램이다.
도 2는 교통 카메라 이미지 피드를 이미 존재하는 파노라마 내에 결합하는 예시적인 매커니즘을 나타내는 블록 다이어그램이다.
도 3은 교통 카메라 이미지 피드를 이미 존재하는 파노라마와 결합하기 위한 예시적인 선처리를 나타내는 흐름도이다.
도 4는 교통 카메라 이미지 피드를 이미 존재하는 파노라마와 매칭하기 위한 예시적인 매커니즘을 나타내는 흐름도이다.
도 5는 교통 카메라 이미지 피드를 이미 존재하는 파노라마 내에서 디스플레이하는 예시적인 매커니즘을 나타내는 블록 다이어그램이다.
도 6은 예시적인 컴퓨팅 장치의 블록 다이어그램이다.
이하의 상세한 설명은 "피드"라고 명명된 실시간 비디오 카메라 이미지 데이터를 전형적으로 파노라마 이미지의 형태인 이미 존재하는 이미지 내로 통합하는 것과 관련되며, 이에 따라 비디오 카메라를 소스로 하는 동적 비디오가 이미 존재하는 이미지의 보다 넓은 이미지 컨텍스트(greater image context) 내에서 디스플레이된다. 먼저, 하나 이상의 이미 존재하는 파노라마 이미지와 혼합되고 맞춰지기 위해 비디오 카메라 이미지 피드를 시각적으로 변환하기 위해 사용될 수 있는 변환 파라미터들을 유도하기 위해 실행될 수 있는 선처리를 실행한다. 계속하여, 미리 정해진 변환 파라미터들은, 사용자가 파노라마 이미지들에 액세스하기 위해 전형적으로 사용하는 사용자 인터페이스 등을 통해 하나 이상의 이미 존재하는 파노라마 이미지 내에 비디오 카메라 이미지 피드가 디스플레이되도록 하는 데에 사용될 수 있다. 차량 교통의 컨텍스트 내에서, 교통 카메라 이미지 피드는 그 전체 가 하나 이상의 이미 존재하는 파노라마 내로 변환 및 통합될 수 있으며, 또는, 교통 카메라 이미지 피드의 특정 부분들, 예를 들어, 움직이는 차량, 또는 대체적으로, 움직이는 차량과 그 밑에 있는 도로만이 파노라마 내에 디스플레이될 수 있다. 변환 파라미터를 유도하기 위한 하나의 매커니즘은 비디오 카메라 이미지 피드의 정적인 부분들로부터 하나 이상의 파노라마 이미지 내의 라인과 대응되는 적절한 라인을 매칭 가능한 라인 매칭 알고리즘을 사용하는 것이다. 적절한 라인은 이미 존재하는 필터링 기술, 예를 들어 움직임의 방향에 기초한 필터링 또는 이미 존재하는 겹쳐진 지도 데이터에 기초한 필터링에 의해 식별될 수 있다.
설명의 편의를 위해, 상세한 설명에서는 이미 존재하는 파노라마 이미지 내에 제시된 교통 카메라 이미지 피드를 네트워크로 연결된 지도 인터페이스 내의 거리 레벨 뷰(street-level view)의 컨텍스트로서 수집하고 제시하는 기술에 대해 설명한다. 그러나, 이러한 참조는 완전히 예시적인 것으로 제공되는 특정 예시들로 실시예에 따른 매커니즘들을 한정하려는 의도는 없다. 실제로, 설명된 기술들은 비디오 카메라 이미지 피드에 의해 프레임된 하나 이상의 구성요소를 둘러싸는 보다 넓은 컨텍스트를 제공하기 위해, 동적인 부분 및 정적인 부분을 포함하는 임의의 비디오 카메라 이미지 피드와 이미 존재하는 정지 이미지와 통합에 적용 가능하다. 또한, 상세한 설명의 기재는 단지 교통 카메라 또는 파노라마 이미지에만 고유하게 한정되는 것이 아니라 보다 넓은 개념에도 동등하게 적용 가능하므로, 이하에서 참조된 "교통 카메라"는 임의의 비디오 카메라를 나타내며 이하에서 참조된 "파노라마"는 보다 넓은 시각적 컨텍스트를 제공하는 임의의 정지 이미지에 적용되도록 넓은 범위로 이해되어야 한다.
필수적이지는 않지만, 이하 상세한 설명은 프로그램 모듈과 같이 컴퓨팅 장치에 의해 실행되는 컴퓨터 실행가능한 명령어의 일반적인 컨텍스트에서 기재된다. 보다 상세하게는, 이하 상세한 설명은 다른 기재가 없는 한 하나 이상의 컴퓨팅 장치나 주변 장치에 의해 실행되는 오퍼레이션의 상징적 제시나 동작을 나타낸다. 따라서, 때때로 컴퓨터 실행되었다고 기재되어 있는 이러한 동작이나 오퍼레이션이 구조화된 형태로서 데이터를 나타내는 전자 신호의 프로세싱 유닛에 의한 조작을 포함한다고 이해되어야 할 것이다. 이러한 조작은, 본 기술분야의 통상적인 지식을 가진 자에 의해 용이하게 이해될 수 있는 바와 같이 컴퓨팅 장치나 주변 장치의 오퍼레이션을 재구성 또는 대체할 수 있도록, 데이터를 변환하거나 메모리 내의 위치에 데이터를 유지한다. 데이터가 유지되는 데이터 구조는 데이터의 포맷에 의해 정의된 특유의 속성을 가지는 물리적인 위치이다.
일반적으로, 프로그램 모듈은 특정 태스크를 실행하거나 특정 추상적 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 또한, 본 기술분야의 통상적인 기술을 가진 자라면 컴퓨팅 장치들이 보편적인 개인 컴퓨터에 한정되지 않으며 손에 쥘 수 있는 장치(hand-held device), 멀티 프로세서 시스템, 마이크로프로세서 기반 또는 프로그래밍 가능한 소비자 전자기기, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터 등의 다른 컴퓨팅 환경을 포함한다는 것을 이해할 것이다. 유사하게, 컴퓨팅 장치들은 독립된 컴퓨팅 장치에 한정될 필요가 없으며, 태스크가 통신 네트워크를 통해 링크되어 있는 원격 프로세싱 장치들에 의해 실행되는 분산 컴퓨팅 환경 내에서도 매커니즘들이 실행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 모두 위치할 수 있다.
도 1을 참조하면, 각각 네트워크(180)를 통해 서로 통신 가능하게 연결되어 있는 클라이언트 컴퓨팅 장치(130), 지도 서버 컴퓨팅 장치(120), 교통 카메라(110)를 포함하는 예시적인 시스템(100)이 도시되어 있다. 설명의 편의를 위해, 도 1의 예시적인 시스템(100) 내의 교통 카메라(110)는 도로(170) 위의 육교(171) 상에 배치되어 있으며, 이에 따라 교통 카메라(110)가 도로(170) 상의 차량 교통의 이미지를 제공 가능한 것으로 한다. 도 1의 시스템(100) 내에 독립적 이미지(141, 142, 143, 144, 145)로서 그래픽적으로 제시된 교통 카메라 이미지 피드(140)는 네트워크(180)를 통한 통신을 통해 하나 이상의 컴퓨팅 장치에 의해 사용 가능할 수 있다. 도 1의 시스템(100)에 의해 도시된 실시예에서, 지도 서버 컴퓨팅 장치(120)는 통신(149)에 의해 교통 카메라 이미지 피드(140)를 교통 카메라(110)로부터 수신 가능하다.
클라이언트 컴퓨팅 장치(130)의 사용자와 같은 사용자가 교통 카메라 이미지 피드(140)를 보다 의미 있고 보다 이해가 쉬운 컨텍스트로 수신할 수 있도록 하기 위해, 지도 서버 컴퓨팅 장치(120)는 교통 카메라 이미지 피드(140)를 하나 이상의 지도 파노라마(150)와 결합할 수 있으며, 클라이언트 컴퓨팅 장치(130)에게 교통 카메라 이미지 피드(140) 또는 그 일부가 하나 이상의 지도 파노라마(150)에 오버레이되고 하나 이상의 지도 파노라마(150)의 컨텍스트 내에 제시된 합성 이미지(160)를 제공할 수 있다. 본 기술 분야의 통상적인 지식을 가진 자들이 쉽게 이해할 수 있듯이, 지도 파노라마(150)는 지도 기반 컨텍스트(map-based context)로서 사용자에게 제공 가능하도록 배열 및 조직된 파노라마 이미지를 포함할 수 있다. 예를 들어, 지도 중심 웹사이트(map centric websites) 등과 같은 네트워크(180)를 통해 전형적으로 사용 가능하게 되는 지도 정보는 거리 레벨 뷰의 특정 형태를 사용자에게 제시할 수 있는 하나 이상의 인터페이스를 포함할 수 있다. 이러한 거리 레벨 뷰는, 전형적으로, 선택된 주요 도로를 걷거나 운전하는 동안 볼 수 있게 됨에 따라 사용자가 전통적인 지도 브라우징 기술을 통해 선택한 특정 위치를 시각화 가능하게 할 수 있다. 지도 파노라마(150)는, 본 기술 분야의 통상적인 지식을 가진 자가 쉽게 이해할 수 있듯이, 이러한 거리 레벨 뷰를 제공하도록 사용될 수 있다.
보다 구체적으로는, 지도 파노라마(150)는 사용자에게 거리 레벨 뷰를 제시 가능하도록 특정 주요 도로를 따라 운행되는 전용 캡처링 차량에 설치된 전형적으로 전용 파노마라 카메라를 통해 획득될 수 있다. 따라서, 지도 파노라마(150)는 이러한 특정 주요 도로를 따라 연속적인 포인트들에서 취해진 파노라마 이미지의 시리즈를 포함할 수 있으며, 사용자에게 제시 가능한 거리 레벨 뷰는 이러한 파노라마를 연속적으로 디스플레이함으로써 제시될 수 있고, 이에 따라 사용자가 주요 도로를 따라 모션(motion)을 시뮬레이팅 가능하게 할 수 있는 동시에, 사용자가 그들의 헤드(head)를 돌리거나 제시되는 뷰의 방향을 변경하는 것을 시뮬레이팅 가능하게 한다. 이러한 파노라마 이미지의 시리즈를 설명하기 위한 목적으로, 도 1의 시스템(110)에서 교차로(159)의 주요 도로의 하나를 따르는 포인트에서 찍힌 연속적인 파노라마 이미지(151, 152, 153, 154, 155)의 시리즈와 함께 교차로(159)가 지도에 나타날 수 있는 방식으로 도시되었다. 파노라마 이미지(151, 152, 153, 154, 155)는 다른 파노라마와 마찬가지로 지도 서버 컴퓨팅 장치(120)과 통신 가능하게 결합 가능한 지도 파노라마(150)의 일부가 될 수 있다.
설명과 묘사의 목적으로, 교차로(159)는 아래의 도로(170)와 그 위에 겹쳐지며 교통 카메라(110)가 설치된 육교(171)의 교차로와 동일한 것으로 할 수 있다. 다음으로, 하나 이상의 파노마라(151, 152, 153, 154, 155)는 교통 카메라(110)에 의해 캡쳐된 장면(scene)을 적어도 대략적으로 포함할 수 있다. 더 자세히 후술할 것처럼, 지도 서버 컴퓨팅 장치(120)는 하나 이상의 지도 파노라마(150)를 식별할 수 있고, 통신(160)에 묘사된 것처럼 클라이언트 컴퓨팅 장치(130)에 합성 이미지(160)를 제공하기 위해 교통 카메라 이미지 피드(140)를 이러한 파노라마에 통합할 수 있다. 이에 따라 거리 레벨 뷰를 지도 파노라마(150)를 통해 제공받고 있는 클라이언트 컴퓨팅 장치(130)의 사용자는, 그 거리 레벨 뷰 내에서, 교통 카메라(110)에 의해 교통 카메라 이미지 피드(140)를 통해 제시되는 도로(170) 상의 현재 교통을 포함하는 현재 상황을 볼 수 있다. 비록 설명하기는 어렵지만, 형상(figures)들의 정적인 특성 때문에, 교통 카메라(110)에 의해 교통 카메라 이미지 피드(140)의 형태로 이미 존재하는 이미지 상에 오버레이되거나 통합되어 이미 존재하는 이미지가 동적 비디오에 대해 보다 넓은 시각적 컨텍스트를 제공할 수 있고 또한 이미 존재하는 이미지 내에 동적인 형태로 비디오가 디스플레이될 수 있도록 동적 비디오를 포함하는 합성 이미지(160)를 제공할 수 있다. 이미 존재하는 파노라마의 컨텍스트 내에 교통 카메라 이미지 피드(140)를 제시함으로써, 사용자는 교통 카메라 이미지 피드(140)를 이해하기 위해 실질적으로 보다 넓은 시각적 컨텍스트를 제공받을 수 있다.
또한, 개별 이미지(141, 142, 143, 144, 145)로부터 볼 수 있듯이, 일 실시예에 따르면, 교통 카메라(110)는 카메라에 의해 캡처되는 범위(coverage)가 시간에 따라 변화할 수 있도록 이동 가능하다. 예를 들어, 이미지(142)는 교통 카메라(110)가 이미지(141)을 캡처할 때에 비해 아래로 회전된(panned downward) 상태를 제시할 수 있다. 유사하게, 이미지(143)는 교통 카메라(110)가 이미지(142), 더 나아가 이미지(141)를 캡처할 때에 비해 위로 회전된 상태를 제시할 수 있다. 또한, 이미지(144, 145)는 교통 카메라(110)가 이미지(141)를 캡처할 때에 비해 오른쪽 및 왼쪽으로 회전된 상태를 각각 제시할 수 있다. 더 자세히 후술할 것처럼, 지도 서버 컴퓨팅 장치(120)의 프로세싱은 교통 카메라(110)의 방향의 이러한 변경에 대해 고려 가능하도록 실행될 수 있다.
도 2를 참조하면, 시스템(200)은, 이미 존재하는 파노라마의 시각적 컨텍스트 내에 동적인 형태로 비디오 카메라 피드가 디스플레이되도록 비디오 카메라 피드를 이미 존재하는 파노라마에 통합 가능한 프로세싱에 대해 보다 구체적으로 묘사하고 있다. 먼저, 선처리 단계 동안과 같이, 교통 카메라 이미지 피드(140)는 미리 설정 가능한 시간의 양이나 트래픽 카메라 이미지 피드로부터 충분한 양의 시각 정보를 획득하기 위해 요구되는 시간의 양과 같은 유한한 시간의 양에 대해 샘플링될 수 있다. 일 실시예에 따르면, 이러한 미리 정해진 시간의 양은 자연광 요소(natural lighting factors)를 고려할 수 있다. 예를 들어, 미리 정해진 시간의 양은 낮 시간 및 밤 시간의 이미지를 동시에 포함하는 것을 피할 수 있게 선택될 수 있으며, 또는, 다른 예로써, 미리 정해진 시간의 양은 아침 시간 및 저녁 시간의 이미지를 동시에 포함하는 것을 피할 수 있게 선택될 수 있다. 만약 샘플링된 교통 카메라 이미지 피드(140)를 송신한 교통 카메라가 이동 가능하다는 것을 나타내어 해당 카메라에 의해 캡처되는 범위가 시간에 따라 변화하는 경우, 일 실시예에 따르면, 도 2의 시스템(200)에 의해 묘사된 것처럼, 최초 이미지 안정화(initial image stabilization)가 먼저 실행될 수 있다. 더 자세하게는, 도 2에 도시된 것처럼, 각각 다른 범위를 가지는 이미지의 시퀀스, 예를 들어, 도 1의 시스템(100)에 개별적으로 도시된 이미지(141, 142, 143, 144, 145)들은, 각각의 이미지의 공통적인 구성요소들이 중첩되도록 정렬될 수 있다. 이에 따른 결과 컴포지트(the resulting composite)는, 합성물의 상이한 부분들의 연속적인 캡처로 여겨지는 소스 비디오 카메라의 연속적인 움직임과 함께 사용될 수 있다.
이러한 컴포지트로부터, 동작(225)으로 나타나는 일 분석은, 컴포지트에 있어서 이미지 피드가 샘플링된 미리 정해진 시간 동안 움직임(motion)을 나타낸 영역을 식별할 수 있다. 본 기술 분야의 통상적인 지식을 가진 자에게 널리 알려진 이미 존재하는 이미지 분석 기술을 사용하여, 움직임을 나타내는 영역들은 모션 마스크(220)의 형태로 식별될 수 있다. 유사하게, 컴포지트로부터, 동작(235)로 표시된 다른 분석에 의해, 이미지 피드가 샘플링된 미리 정해진 시간 동안에 정적으로 남아 있거나 일정한 영역을 식별할 수 있다. 또한, 본 기술 분야의 통상적인 지식을 가진 자에게 널리 알려진 이미 존재하는 이미지 분석 기술이 이러한 영역을 식별하기 위해 사용될 수 있다. 예를 들어, 어떤 기술은 이미지 피드가 샘플링된 미리 정해진 시간 전부 또는 일부에 대해 교통 카메라 이미지 피드(140)로부터의 이미지들을 평균화(averaging)할 수 있다. 이러한 평균화는 정적으로 유지되는 구성요소들을 강조하면서 다양한 이미지 프레임에서 움직이는 구성요소를 감소시키거나 실질적으로 제거할 수 있다. 그 결과에 따른 평균 이미지(230)는 교통 카메라 이미지 피드(140)에 있어서 시간에 따라 변화하지 않는 부분들을 포함할 수 있다.
교통 카메라 이미지 피드(140)와 함께, 하나 이상의 잠재적 파노라마 이미지의 선택을 용이하게 하기 위해 교통 카메라(110)의 위치(210)에 대한 정보가 획득될 수 있다. 더 구체적으로는, 도 2의 시스템(200)에 동작(215)으로 표시된 것처럼, 카메라의 위치(210)는 파노라마(151, 152, 153, 154, 155)와 같은 하나 이상의 파노라마의 위치와 비교될 수 있다. 본 기술 분야의 통상적인 지식을 가진 자라면 이해할 수 있듯이, 이러한 파노라마 이미지가 최초에 수집되면 그들의 정확한 위치도 마찬가지로 기록될 수 있고, 이에 따라 파노라마는, 예를 들어, 지도의 제공과 함께 제공되는 거리 레벨 뷰의 일부와 같은 이미 존재하는 지도에 적절히 디스플레이되거나 통합될 수 있다. 따라서, 교통 카메라(110)의 위치(210)와 하나 이상의 파노라마가 찍힌 위치의 비교는 간단한 방식으로 이루어질 수 있다.
동작(215)은 이미 존재하는 파노라마의 집합 중에서 파노라마 후보를 선택하는 것을 나타낼 수 있으며, 이때 동작(215)은 다른 요소 중에서도 전술한 위치 메타데이터에 의해 정보 제공 받을 수 있다. 예를 들어, 일 실시예에서, 교통 카메라(110)의 위치(210)로부터의 미리 정해진 거리 내에서 찍힐 수 있는 모든 파노라마가 파노라마 후보로서 선택될 수 있다. 다른 실시예에서, 적절한 주요 도로를 따라 찍힐 수 있는 파노라마들이 파노라마 후보로서 선택될 수 있다. 또 다른 실시예에서, 파노라마 후보의 선택은 복수의 요소, 예를 들어, 정밀 사진(topography), 시선(line of sight), 또는 교통 카메라 이미지 피드(140)를 제공하는 교통 카메라(110)에 의해 캡처되는 이미지 범위와 유사한 이미지 범위를 가지는 파노라마의 적어도 일부가 포함할 가능성이 있는 다른 요소에 의해 정보 제공 받을 수 있다. 도 2에 도시된 예시적인 시스템(200)에서는 설명의 편의를 목적으로, 동작(215)에 대한 입력으로서 파노라마의 집합에 따라 제공된 교통 카메라(110)의 위치에 적어도 부분적으로 기초하여 파노라마(152, 153, 154)가 동작(215)에 의해 파노라마 후보로서 선택될 수 있다.
일단 파노라마 후보의 집합이 선택되면, 하나 이상의 파노라마 후보들의 적절한 부분들이 교통 카메라 이미지 피드(140)에 의해 제공되는 이미지 범위와 매칭될 수 있다. 일 실시예에서, 하나 이상의 파노라마 후보들의 적절한 부분의 선택은 파노라마 후보들과 연관된 이미 존재하는 지도 데이터에 의해 정보 제공될 수 있다. 예를 들어, 본 기술 분야의 통상적인 지식을 가진 자에게 이해될 수 있듯이, 파노라마 이미지들을 사용하는 거리 레벨 뷰의 전형적인 제시는, 예를 들어, 특정 도로를 나타내는 라인(line)들이나 다른 지도 표시된 요소들과 같은 컴퓨터 생성된 지도 이미지 데이터의 오버레이(overlay)를 포함할 수 있다. 이러한 파노라마 후보들과 연관된 이미 존재하는 지도 데이터는, 교통 카메라 이미지 피드(140)에 의해 제공되는 이미지 범위와 매칭될 하나 이상의 파노라마 후보들의 적절한 부분을 선택하는 데에 정보 제공하도록 사용될 수 있다. 보다 구체적으로는, 카메라의 위치(210)는 잠재적으로 사용 가능한 다른 메타데이터와 함께, 교통 카메라(110)의 방향을 따르는 하나 이상의 주요 도로를 나타낼 수 있고, 또한 교통 카메라 이미지 피드(140)에 의해 캡처된 주요 도로의 차량 교통을 나타낼 수 있다. 파노라마 후보와 연관된 이미 존재하는 지도 데이터는 유사한 방향을 지향하거나 동일한 주요 도로를 따르는 파노라마 후보들의 부분들을 식별하도록 참조될 수 있다.
도 2의 예시적인 시스템(200) 내에서, 파노라마 후보(152, 153, 154) 각각의 부분들(252, 253, 254)은, 예를 들어, 파노라마 후보들과 연관 가능한 교차로(159)의 형태로 지도 데이터를 참조하여 선택될 수 있다. 전술한 것처럼, 교차로(159)는 교통 카메라 이미지 피드(140)를 제공하는 교통 카메라(110)가 위치한 교차로(예를 들어, 카메라의 위치(210))일 수 있다. 따라서, 파노라마 후보(152, 153, 154) 각각의 부분들(252, 253, 254)은 교차로(159)의 도로 중 적절한 하나를 따라 지향하고 있을 것으로 생각된 파노라마 후보들의 부분들을 지도 데이터를 참조하여 선택하는 것에 의해 선택될 수 있다.
파노라마 후보(152, 153, 154) 각각의 부분들(252, 253, 254)로부터 선택된 부분(253)은, 동작(250)에 표시된 것처럼, 파노라마 후보들의 부분들을 전술한 방식에 따라 교통 카메라 이미지 피드(140)로부터 생성 가능한 평균 이미지(230)에 매칭하는 것에 의해 획득될 수 있다. 예를 들어, 일 실시예에 따르면, 매칭하는 동작(250)은 부분들(252, 253, 254)의 라인들을 평균 이미지(230)의 동등한 라인에 매칭하는 것에 의해 실행될 수 있다. 매칭을 위해 라인들을 선택하는 하나의 매커니즘은 움직임의 방향이나 도로의 방향에 동일하게 있는 라인들을 선택하는 것일 수 있다. 따라서, 평균 이미지(230)와 관련하여, 매칭을 위해 이미지로부터 선택되는 라인들은 모션 마스크(220)을 참조하여 선택될 수 있다. 예를 들어, 매칭을 위해 선택될 수 있는 평균 이미지(230)로부터의 라인들은 모션 마스크(220)와 실질적으로 일치(parellel)하거나 모션 마스크(220) 내에 포함되는 라인들일 수 있다. 유사하게, 파노라마 후보(152, 153, 154) 각각의 부분들(252, 253, 254)과 관련하여, 각 부분들로부터 매칭을 위한 라인들은 각각의 파노라마 후보들과 연관된 지도 데이터를 참조하여 선택될 수 있다. 보다 구체적으로는, 각각의 파노라마 후보들과 연관된 오버레이된 지도 데이터에 의해 표시되는 것과 같이, 선택된 라인들은 교통 카메라(110)의 방향을 따르는 도로라고 생각되는 도로의 방향과 실질적으로 일치하는 라인들일 수 있다.
파노라마 후보(152, 153, 154) 각각의 부분들(252, 253, 254)에 대하여, 선택된 라인들은 평균 이미지(230)의 선택된 라인들에 매칭될 수 있고, 선택된 부분(253)은 어느 라인이 가장 정확히 매칭되었는가에 대한 판정에 기초하여 선택될 수 있다. 라인 매칭 알고리즘은 본 기술 분야의 통상적인 지식을 가진 자에게 널리 알려져 있으며, 이에 더 자세히 설명하지는 않는다. 그러나, 매칭하는 동작(250)은 라인 매칭에 한정되지는 않는다. 다른 실시예에서, 포인트, 이미지 세그먼트, 또는 데이터 클러스터가 파노라마 후보(152, 153, 154) 각각의 부분들(252, 253, 254)을 평균 이미지(230)에 매칭하기 위해 사용될 수 있다. 여기서 사용된 것처럼, "이미지 특징 매칭"이라는 용어는 실시예들을 모두 전체적으로 참조하는 의미로 사용된다. 또한, 도 2의 시스템(200)이 오직 하나의 파노라마(153)의 선택된 부분(253)을 도시하고는 있지만, 다른 실시예에서는, 후술하는 변환 파라미터(260)의 유도가 복수의 파노라마에 대해 실행될 수 있으며, 이에 따라 교통 카메라 이미지 피드(140)는 복수의 상이한 파노라마와 통합 가능하다. 다만, 본 기술 분야의 통상적인 지식을 가진 자에게 이해 가능하듯이, 복수의 상이한 파노라마 중 특정한 하나의 파노라마 내로의 교통 카메라 이미지 피드의 통합 각각에 대하여 상이한 변환 파라미터가 계산 및 사용될 수 있다.
일단 파노라마의 선택된 부분(253)이 선택되면, 교통 카메라 이미지 피드(140)와 상기 선택된 부분(253)이 획득된 파노라마(153)의 통합을 가능하게 하기 위해, 평균 이미지(230)가 상기 선택된 부분(253)으로 변환 및 정렬될 수 있다. 이러한 변환 및 정령의 결과는, 동작(265)으로 표시된 것처럼, 더 자세히 후술될 것처럼, 교통 카메라 이미지 피드(140)에 실시간으로 적용되어, 이후에, 교통 카메라(110)로부터의 현재 디스플레이를 파노라마(153)과 같은 이미 존재하는 파노라마의 컨텍스트 내로 가능하게 하는 변환 파라미터(260)일 수 있다.
전술한 매칭(250)의 경우와 같이, 이미지 특징 매칭은 최적의 변환 파라미터(260)를 선택하기 위한 변환 및 정렬(265)의 일부로서 사용될 수 있다. 일 실시예에서, 변환 및 정렬(265)을 실행하기 위해 호모그래피(homography)가 사용될 수 있다. 보다 구체적으로는, 평균 이미지(230)로부터의 라인들은 랜덤하게 선택될 수 있으며 랜덤하게 선택된 라인들이 선택된 부분(253)의 동등한 라인들과 매칭되도록 호모그래피가 평균 이미지(230)를 변환하기 위해 사용될 수 있다. 이후에, 선택되지 않은 다른 라인들이 변환 및 정렬된 평균 이미지(230)와 선택된 부분(253) 사이에서 얼마나 근접하게 정합되는지에 대한 체크가 실행될 수 있다. 본 기술 분야의 통상적인 지식을 가진 자에게 널리 알려진 방식으로 상기 정합의 근접도가 점수화될 수 있으며, 이 점수는 사용된 변환 파라미터와 함께 저장될 수 있다. 이후에, 변환되지 않은 평균 이미지(230)가 다시 참조되어 상이한 라인들의 세트를 랜덤하게 선택하고 다른 호모그래피를 실행하여 새로 랜덤하게 선택된 라인들이 선택된 부분의 동등한 라인들을 매칭하도록 평균 이미지(230)를 변환할 수 있다. 이러한 변환의 점수는, 다시, 전술한 바와 동일한 방식으로 결정되고, 사용된 변환 파라미터와 함께 저장될 수 있다. 궁극적으로, 최종 변환 파라미터(260)로 선택될 수 있는 변환 파라미터는 가장 좋은 점수를 가져서 변환 및 정렬된 평균 이미지(230)와 선택된 부분(253) 사이의 최적의 정합을 보증하는 변환 파라미터일 수 있다. 다른 실시예에서, 호모그래피 이외에 아핀 매핑(affine mapping) 또는 풀 프로젝션(full projection)과 같은 다른 정합 모델이 사용될 수 있다.
변환 파라미터(260)가 결정되면, 기본적으로 실시간으로, 교통 카메라(11)로부터 수신되는 교통 카메라 이미지 피드(140)를 변환하고 변환된 이미지를 이미 존재하는 지도 파노라마에 통합하는 것에 사용될 수 있다. 보다 구체적으로는, 도 2의 예시적인 시스템(200)에서 도시된 바와 같이, 실시간으로 수신되고 있는 교통 카메라 이미지 피드(140)는 동작(275)으로 표시된 것과 같이 모션 마스크(220) 내의 변환 파라미터(260)에 기초하여 필터링되고 변환될 수 있다. 모션 마스크(220)는 교통 카메라 이미지 피드(140)의 부분들 중에서 이미 존재하는 지도 파노라마 내로 통합될 부분들을 식별하기 위해 사용될 수 있다. 이후에, 상기 부분들이 식별되면, 교통 카메라 이미지 피드(140)의 나머지 부분들은 필터링되어 나오고, 변환 파라미터(260)이 교통 카메라 이미지 피드의 상기 나머지 부분들을 변환하는 데에 적용될 수 있다. 그 결과로서의 필터링되고 변환된 교통 카메라 이미지 피드(270)는, 자세히 후술될 바와 같이, 이미 존재하는 이미지와 결합될 수 있다. 다시, 형상들의 정적인 특성에 의하여, 상기 필터링되고 변환된 교통 카메라 이미지 피드(270)는 도 2에서 단일한 그래픽 컴포지트로서 묘사되었지만, 프레임 단위(frame-by-frame)로 또는 다른 본 기술 분야의 통상적인 지식을 가진 자에 의해 널리 알려진 방식으로, 전술하였고 또한 후술할 변환(transformation)에 따라 현재 그래픽적으로 변환된 것을 제외하고, 전술한 바와 같이, 참조 숫자(reference numeral)에 의해 식별되는 그래픽 컴포지트는 교통 카메라로부터 동적인 비디오를 제시하는 것을 의미한다.
필터링되고 변환된 교통 카메라 이미지 피드(270)는 동작(285)로 표시된 바와 같이 지도 파노라마(153)의 이전에 선택된 부분(253)과 결합될 수 있다. 이러한 결합(285)은 교통 카메라 이미지 피드(140)의 이미지 범위가 지도 파노라마(153)의 보다 넓은 이미지 범위 내에 정확히 위치되거나, 또는, 더 정확히는, 교통 카메라 이미지 피드의 이미지 특징들이 지도 파노라마(153)의 동등한 이미지 특징들 상에 오버레이되는 것일 수 있다. 이러한 결합은, 동적 비디오와 같이, 라이브 또는 기본적으로 라이브인 교통 카메라 이미지 피드가 지도 파노라마(280)의 부분 내에 디스플레이되는 것을 포함하는 합성 이미지(280)를 그 결과물로 하며, 이러한 합성 이미지(280)는 동작(295)에 표시된 것처럼 사용자에게 디스플레이될 수 있다. 이러한 방식으로, 사용자는 교통 카메라(110)로부터 수신된 비디오에 대해 보다 넓은 컨텍스트를 제공받을 수 있다. 예를 들어, 지도 기반 웹사이트를 통해 제시될 수 있는 거리 레벨 뷰를 브라우징하던 사용자가 교통 카메라(110)가 위치한 교차로를 걸쳐 브라우징을 하면, 그 교차로의 거리 레벨 뷰 뿐만 아니라, 실시간 또는 대략 실시간으로 실제로 움직이는 차량 교통이 교차 도로의 이미지 상에 겹쳐진 이미지가 함께 제시될 수 있다. 유사하게, 다른 예로써, 교통 카메라 이미지 피드(140)를 보려고 하는 사용자는 이러한 교통 카메라 이미지 피드를 이미 존재하는 지도 파노라마의 컨텍스트 내에서 제공받을 수 있으며, 이에 사용자는 파노라마와 상호 작용할 수 있고 보여지는 교통 카메라의 동적 비디오에 대해 보다 나은 컨텍스트를 수신할 수 있어, 교통 카메라(110)가 어느 도로를 향하고 있는지 및 상기 카메라가 가리키는 방향에 대해 보다 나은 이해를 할 수 있다.
도 3을 참조하면, 도 3의 흐름도(300)는, 도 2에서 도시되었던 변환 파라미터(260)를 유도하기 위해 실행되는 선처리 단계들의 예시적인 순서를 나타낸다. 먼저, 도 3에 도시된 것처럼, 교통 카메라 이미지 피드가 단계(310)에서 샘플링될 수 있고 교통 카메라의 위치가 단계(350)에서 획득될 수 있다. 단계(310)에서의 교통 카메라 이미지 피드의 샘플링의 일부로서, 단계(315)에서, 교통 카메라 이미지 피드의 샘플링이 이루어지는 교통 카메라가 이동 가능한지에 대한 판정이 이루어질 수 있다. 단계(315)에서의 판정은, 예를 들어, 교통 카메라 이미지 피드의 개별 이미지 프레임들의 이미지 범위가 변화하는지 여부를 감지함으로써 이루어질 수 있다. 만약 단계(315)에서 교통 카메라가 이동 가능하지 않다고 판정되는 경우, 프로세스는 단계(330) 및 단계(335)로 진행될 수 있다. 또한, 만약, 단계(315)에서 교통 카메라가 이동 가능하다고 판정되는 경우, 프로세스는 단계(320)으로 진행되어, 전술한 것과 같은 방식으로, 교통 카메라 이미지 피드로부터 수신된 이미지가 안정화될 수 있다. 다음으로, 프로세스는 단계(330) 및 단계(335)로 진행할 수 있다.
도 3의 흐름도(300)에 나타난 것처럼, 단계(330) 및 단계(340)의 실행과 단계(335)의 실행은 서로 동시에 이루어지거나, 서로 무관하게 수행될 수 있다. 단계(330)에서, 교통 카메라 이미지 피드가 샘플링되는 시간의 전체 또는 적어도 일부를 포함하는 기간 동안 평균 이미지가 유도될 수 있다. 다음으로, 단계(340)에서, 일 실시예에 따르면, 단계(330)에서 유도된 평균 이미지의 라인들이 널리 알려진 라인 감지 기술을 사용하여 감지될 수 있다. 단계(335)에서는, 샘플링되는 교통 카메라 이미지 피드로부터 시간에 걸쳐 움직임(motion)을 나타내는 영역의 마스크가 유도될 수 있다.
단계(330) 및 단계(340)과 단계(335)가 완료됨에 따라, 프로세스는 단계(345)로 진행될 수 있다. 단계(345)에서는, 단계(330)에서 유도된 평균 이미지 내의 단계(340)에서 감지된 라인들이 단계(335)에서 유도된 모션 마스크를 사용하여 필터링될 수 있으며, 이에 따라 상기 모션 마스크에 의해 식별된 것처럼, 필터링된 라인들은 움직임의 방향을 따르거나 움직임의 방향에 대략적으로 일치하는 라인들이 될 수 있다.
전술한 단계들에 부합되거나, 전술한 단계들에 독립적으로, 단계(355)에서는, 교통 카메라의 위치에 근접한 곳에서 찍힌 파노라마들은 수신된 교통 카메라의 위치에 기초하여 식별되거나, 또는 단계(350)에서 획득될 수 있다. 단계(360)에서는, 단계(355)에서 식별된 파노라마 중의 모든 파노라마 또는 적어도 일부의 파노라마에서 널리 알려진 라인 감지 기술을 사용하여 라인들이 감지될 수 있다. 계속하여, 단계(365)에서는, 단계(360)에서 감지된 라인들이 선택된 파노라마와 통합되고 연관되는 이미 존재하는 지도 데이터에 기초하여 필터링될 수 있다. 보다 구체적으로는, 단계(365)에서 실행된 라인 필터링은, 교통 카메라 이미지 피드를 제공하는 교통 카메라가 향하고 있는 방향을 따르는 도로로서 식별된 하나 이상의 도로의 방향을 따르는 라인들을 선택할 수 있다.
단계(370)에서, 단계(345)의 라인 필터링 및 단계(365)의 라인 필터링이 완료되면, 샘플링된 교통 카메라 이미지 피드와 하나 이상의 이미 존재하는 지도 파노라마의 적어도 일부들 사이의 최적의 매치를 식별하기 위해 필터링된 라인들 사이의 비교가 이루어질 수 있다. 단계(370)에서 최적의 매치가 식별되면, 더 자세히 후술할 내용 및 도 4의 시스템(400)에 묘사된 것처럼, 교통 카메라 이미지 피드는 식별된 파노라마 또는 그 일부와 정합 및 정렬될 수 있다. 결과적으로, 교통 카메라 이미지 피드와 식별된 파노라마 또는 그 일부와의 정합 및 정렬을 실행하는데 사용되는 정확한 매커니즘에 관계없이, 도 3의 흐름도(300)와 관련된 선처리가 단계(375)에서 결론지어진 것처럼, 이러한 매커니즘의 결과물은 변환 파라미터의 유도가 될 수 있다.
도 4를 참조하면, 흐름도(400)는, 교통 카메라 이미지 피드에 적용됨으로써 교통 카메라 이미지 피드를 이미 존재하는 지도 파노라마 내로 시각적으로 양호하게 통합할 수 있는 변환 파라미터가 어떻게 유도되는지에 대한 예시적인 매커니즘에 대해 도시하고 있다. 전술한 것처럼, 도 4의 흐름도(400) 및 도 3의 흐름도(300)이 교통 카메라 이미지 피드와 하나 이상의 이미 존재하는 지도 파노라마들 사이의 매칭을 실행 및 평가하기 위해 라인들을 사용한다고 참조하고 있지만, 이러한 참조는 예시적일 뿐이며, 다른 이미지 특징들이 이러한 매칭 및 평가를 실행하기 위해 마찬가지로 사용될 수 있다.
먼저, 도 4의 흐름도(400)에 도시된 것처럼, 이미 존재하는 파노라마 내에 정합 및 정렬되는 교통 카메라 이미지는 단계(410)에서 획득될 수 있다. 다음으로, 단계(420)에서, 교통 카메라 이미지 내의 라인들이 랜덤하게 선택될 수 있다. 전술한 것처럼, 단계(420)에서 랜덤하게 선택된 몇몇 라인들로부터의 라인들의 집합은, 모션 마스크에 의해 식별되는 라인이 될 수 있고, 또는 움직임(motion)의 방향을 따르거나 움직임의 방향과 실질적으로 일치하는 라인들일 수 있다. 다음으로, 단계(430)에서, 이미 존재하는 파노라마 내의 대응되는 라인들에 랜덤으로 선택된 라인들을 정합시키기 위해 교통 카메라 이미지는 변환 및 정렬될 수 있다. 일 실시예에서, 호모그래피가 이러한 변환을 실행하기 위해 사용될 수 있다. 단계(440)에서, 이미 존재하는 파노라마 내에 변환 및 정렬된 교통 카메라 이미지들의 종합적인 정합(overall fit)은 점수화될 수 있다. 이러한 점수화는 예를 들어 교통 카메라 이미지와 이미 존재하는 파노라마를 정렬하기 위해 다른 라인들이 상기 변환에서 어떻게 매칭되는지를 평가함으로써 이루어진다. 단계(450)에서는 단계(430)에서 유도 및 사용된 변환 파라미터가 단계(440)에서 결정된 대응 점수와 함께 저장될 수 있다.
단계(460)에서, 임계치에 도달하였는지에 대한 판정이 이루어질 수 있다. 일 실시예에서, 상기 임계치는 단순히 반복(iteration)의 특정 횟수일 수 있으며, 다른 실시예에서, 상기 임계치는 변환 및 정렬된 교통 카메라 이미지와 이미 존재하는 파노라마 사이의 정합의 수용도(acceptability)를 나타내는 임계 레벨과 연관된 최소 점수가 될 수도 있으며, 다른 임계치를 나타낼 수도 있다. 만약, 단계(460)에서, 적절한 임계치가 아직 도달되지 못하였다고 판정되면, 프로세스는 단계(420)으로 리턴될 수 있으며, 이에 라인들의 상이한 집합이 랜덤하게 선택되고 단계(430, 440, 450)가 새롭게 선택된 라인들에 대해 반복될 수 있다. 반대로, 만약 단계(460)에서 적절한 임계치가 도달되었다고 판정되면, 프로세스는 단계(470)으로 진행되고, 최적의 점수를 나타낸 변환 파라미터가 선택될 수 있다. 단계(470)에서 선택된 변환 파라미터는 도 3의 흐름도 300의 단계(375)에서 표시된 것처럼 관계된 프로세스의 최종 목표일 수 있다.
도 5를 참조하면, 흐름도(500)는 교통 카메라 이미지 피드가 이미 존재하는 파노라마와 통합될 수 있는 세 가지 매커니즘에 대해 묘사하는 컴포지트 이미지의 예시적인 집합에 대해 도시하고 있다. 전술한 것처럼, 형상들의 정적인 특성에 기인하여, 합성 이미지(510, 530, 550)는 단일한 그래픽 컴포지트들로서 도시되었지만, 이들은 정적인 이미지와 함께 동적 비디오를 겹쳐지게 또는 다른 방식으로 결합되게 제시하도록 의도된 것이다. 결과적으로, 비디오 내의 다양한 그래픽 구성요소는 보는 자에게 움직이는 그래픽 구성요소로 이해되고 시각화되도록 의도된다. 추가적으로, 본 기술 분야의 통상적인 지식을 가지는 자가 이해할 수 있듯이, 상기 세 가지 매커니즘은 예시적인 것이며, 이하 제공되는 상세한 설명에 대해 별개로 하지 않고 다른 시각적 통합 매커니즘이 동일하게 교통 카메라 이미지 피드에 대해 적용될 수 있다. 합성 이미지(510)로 도시된 일 실시예에서, 지도 파노라마의 선택 부분(253)은 그 위에, 연하게 쉐이딩된 영역(520)으로 제시된 것과 같은 변환 및 정렬된 움직이는 교통 카메라 비디오를 겹쳐지도록 가질 수 있다. 그러나, 본 기술 분야의 통상적인 지식을 가지는 자가 이해할 수 있듯이, 이러한 제시는 시각적 양호함(finesse)이 부족하며 특정 사용자에게 부정적으로 인식될 수 있다.
다음으로, 합성 이미지(530)으로 도시된 다른 실시예에서는, 지도 파노라마의 선택 부분(253)은 움직이는 교통 카메라 비디오의 구성요소 중에서 차량 교통이라고 보여지는 구성요소만을 겹쳐지게 가질 수 있다. 이러한 실시예가 보다 나은 시각적 양호함을 제공하고 대부분의 파노라마 이미지의 연속성을 유지하지만, 때때로 파노라마 이미지 자체에 파노라마 이미지를 캡처할 당시에 도로에 있었던 차량 교통의 정지 이미지가 포함되어 있을 수 있다. 따라서, 합성 이미지(530)에 도시된 것처럼, 파노라마의 일부였던 차량(541)과 차량(542)이 교통 카메라 이미지 피드로부터의 차량(531, 532, 533, 534, 535)와 동일한 공간 또는 대략적으로 동일한 영역을 점유하고 있다고 보여질 수 있다. 또한, 차량(531, 532, 533, 534, 535)가 동적 비디오의 움직이는 구성요소이므로, 이들 차량이 정적인 파노라마 부분(253)의 정적 구성요소인 차량(541, 542)을 통과하거나 위로 운전하고 있는 것으로 보여질 수 있다. 이러한 측면들 및 이러한 시각적 움직임들은 특정 사용자에게 혼동을 줄 수 있다.
이어서, 합성 이미지(550)으로 도시된 또 다른 실시예에서는, 지도 파노라마의 선택 부분(253)은 도로 및 도로 위의 차량 교통으로 식별된 것들을 포함하는 움직이는 교통 카메라 비디오의 부분(560)을 겹쳐지게 가질 수 있다. 이러한 실시예에서, 비디오로부터의 움직이는 차량 교통을 가지는 교통 카메라 이미지 피드의 도로가 파노라마 위에 겹쳐지는 경우에, 파노라마의 일부가 될 수 있는 모든 차량이 가려질 수 있다(be masked). 이러한 실시예에 따라, 특정 상황에서는, 교통 카메라 이미지 피드로부터 제공된 의미 있는 시각적 정보와 파노라마로부터 제공되는 컨텍스트적인 시각 정보 사이의 매끄러운 시각적 통합을 제공할 수 있다. 예를 들어, 이러한 실시예는 교통 카메라 비디오로부터의 움직이는 차량 교통을 파노라마의 부분(253) 내에서 매끄럽게 움직이는 것으로 보이게 할 수 있다. 그러나, 전술한 것처럼, 본 상세한 설명을 벗어나지 않는 범위 내에서 두 이미지를 통합하는 다른 매커니즘이 사용될 수도 있다.
또한, 전술한 것처럼, 본 상세한 설명은 교통 카메라 및 지도 파노라마에 특별히 한정되지 않으며, 이러한 참조는 단지 상세한 설명을 명확하기 위한 목적으로 이루어진 것이다. 실제로, 본 상세한 설명은 정지 이미지 내로의 비디오의 어떠한 통합에도 적용 가능하다. 예를 들어, 다양한 공적(public) 및 사적(private) 주체들이 그들의 비디오 카메라를 유지하고 이러한 비디오 카메라로부터의 이미지 피드에 액세스를 제공한다. 이러한 주체들은 다양한 스키 슬로프의 현재 상황을 디스플레이할 수 있는 비디오 카메라를 포함하는 스키 리조트, 현재 해변 상황을 디스플레이할 수 있는 비디오 카메라를 포함하는 공적 또는 사적 해변, 그들의 캠퍼스의 다양한 영역들을 디스플레이하는 비디오 카메라를 포함하는 공적 또는 사적 대학 등을 포함할 수 있다. 앞에서 교통 카메라의 예를 들어 설명한 것과 같은 방식으로, 이러한 비디오 카메라들로부터의 이미지 피드는 이미 존재하는 정지 이미지로 통합될 수 있다. 예를 들어, 때때로 스키 슬로프, 해변 및 대학 캠퍼스는 도로 근처에 위치하며 그들의 파노라마는 지도 컨텍스트 내의 거리 레벨 뷰를 제공하기 위한 목적으로 캡처될 수 있다. 따라서, 이러한 비디오 카메라들은 위에서 참조된 것과 같은 지도 파노라마 내로 통합되는 동적 비디오를 가질 수 있다. 다른 실시예로써, 보안 카메라와 같은 가시 범위가 좁은 비디오 카메라(narrow-field-of-vision video cameras)들은 가시 범위가 좁은 비디오 카메라들에 대해 보다 넓은 시각적 컨텍스트를 제공하기 위한 목적으로 정지 이미지 내로 동적 비디오를 통합할 수 있다. 따라서, 예를 들어, 빌딩은, 빌딩의 적어도 두 측면에 대해 각각 캡처된 넓은 각도의 정지 이미지를 찍을 수 있다. 다음으로, 빌딩에 분포된 복수의 보안 카메라 모두가 상기 넓은 각도의 정지 이미지의 컨텍스트 내에 그들의 비디오를 디스플레이할 수 있다. 이처럼, 본 상세한 설명은 보다 넓은 시각적 컨텍스트를 제공하기 위해 정지 이미지 내로 동적 비디오를 통합하는 기술을 넓은 범위로 적용하는 데에 사용될 수 있다.
도 6을 참조하면, 예시적인 컴퓨팅 장치(600)에 결합되어 전술한 매커니즘들이 구현될 수 있다. 예시적인 컴퓨팅 장치(600)는 앞서 참조된 도면 및 상세한 설명에서의 하나 이상의 클라이언트 장치(130), 지도 서버 컴퓨팅 장치(120), 또는 교통 카메라(110) 중 임의의 것일 수 있다. 도 6의 예시적인 컴퓨팅 장치(600)는 하나 이상의 중앙 프로세싱 유닛(CPUs, 620), RAM(632)을 포함하는 시스템 메모리(630), 시스템 메모리를 프로세싱 유닛(620)에 연결하는 것을 비롯하여 다양한 시스템 컴포넌트들을 연결하는 시스템 버스(621)를 포함할 수 있으나, 이에 대해 한정하지는 않는다. 시스템 버스(621)는 다양한 버스 아키텍쳐 중의 임의의 것을 사용하는 메모리 버스나 메모리 컨트롤러, 주변 버스(perpheral bus), 로컬 버스를 포함하는 몇몇 유형의 버스 구조 중 임의의 것일 수 있다. 컴퓨팅 장치(600)는 시각적 사용자 인터페이스의 디스플레이를 위하여, 그래픽 하드웨어 인터페이스(690) 및 디스플레이 장치(691)를 포함하는 그래픽 하드웨어를 선택적으로 포함할 수 있으나 이에 대해 한정하지는 않는다. 또한, 컴퓨팅 장치(600)는 교통 카메라 이미지 피드(140)를 캡처하는 교통 카메라(110)의 물리적 하드웨어를 나타내는 디지털 비디오 카메라(651)와 같은 그래픽 입력 하드웨어를 또한 포함할 수 있다. 디지털 비디오 카메라(651)와 같은 그래픽 입력 하드웨어는 주변 인터페이스(650)를 통해 시스템 버스(621)와 통신 가능하게 연결될 수 있다.
또한, 컴퓨팅 장치(600)는 전형적으로 컴퓨팅 장치(600)에 의해 액세스될 수 있는 어떠한 사용가능한 매체를 포함하는 컴퓨터 판독 가능한 매체를 포함하며, 이 컴퓨터 판독 가능한 매체는 휘발성 및 비휘발성 매체, 제거가능(removable) 또는 제거 가능하지 않은 매체를 포함할 수 있다. 한정되지 않는 하나의 예로써, 컴퓨터 판독 가능한 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈이나 그 밖의 데이트 등의 정보의 저장을 위한 임의의 방법 또는 기술을 구현하는 매체를 포함한다. 컴퓨터 저장 매체는, RAM, ROM, EEPROM, 플래쉬 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 디스크 저장매체, 자기 카세트, 자기 테이프, 자기 디스크 저장매체 또는 다른 자기 저장 장치, 또는 컴퓨팅 장치(600)에 의해 액세스되도록 사용 가능하며 요구되는 정보를 저장하는 데에 사용될 수 있는 다른 어떤 매체도 포함할 수 있으나, 이에 대해 한정하지는 않는다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 캐리어 웨이브나 다른 전송 매커니즘과 같이 모듈레이팅된 데이터 신호 내의 다른 데이터를 포함할 수 있으며, 임의의 정보 전달 매체를 포함할 수 있다. 한정적이지 않은 예로써, 통신 매체는 유선 네트워크나 다이렉트 유선 연결(direct-wired connection)과 같은 유선 매체, 아쿠스틱(acoustic), RF, 적외선 또는 다른 무선 매체 등을 포함하는 무선 매체를 포함할 수 있다. 컴퓨터 판독 가능한 매체의 범위 내에는 전술한 매체들의 어떠한 조합도 모두 포함되어야 할 것이다.
시스템 메모리(630)는 휘발성 메모리 및/또는 ROM(631)와 전술한 RAM(632)와 같은 비휘발성 메모리의 형태로 컴퓨터 저장 매체를 포함할 수 있다. 스타트 업(start-up) 동안과 같은, 컴퓨팅 장치(600) 내의 구성요소 사이에 정보를 전송하는 것을 돕는 기본 루틴들을 포함하는 BIOS(basic input/output system, 633)는 ROM(631) 내에 전형적으로 저장된다. RAM(632)은 즉각 액세스 가능하거나 및/또는 현재 프로세싱 유닛(620)에 의해 동작되고 있는 데이터 및/또는 프로그램 모듈을 전형적으로 포함한다. 한정적인 않은 예로서, 도 6은 오퍼레이팅 시스템(634)을 다른 프로그램 모듈(635) 및 프로그램 데이터(636)와 함께 도시하고 있다.
컴퓨팅 장치(600)은 다른 제거가능/제거불가능, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 일 예로써, 도 6은 제거불가능이고 비휘발성인 자기 매체로부터 판독하고 이 자기 매체에 기록하는 하드 디스크 드라이브(641)을 도시하고 있다. 예시적인 컴퓨팅 장치에서 사용될 수 있는 다른 제거가능/제거불가능, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, 디지털 다용도 디스크(digital versatile disk), 디지털 비디오 테이프, 솔리드 스테이트 RAM, 솔리드 스테이트 ROM 등을 포함할 수 있지만 이에 대해 한정하지는 않는다. 하드 디스크 드라이브(641)는 인터페이스(640)와 같은 제거불가능한 메모리 인터페이스를 통해 시스템 버스(621)에 전형적으로 연결된다.
전술되었고 도 6에 도시된 바와 같은 드라이브와 그와 연관된 컴퓨터 저장 매체는, 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨팅 장치(600)를 위한 다른 데이터에 대한 저장 공간을 제공한다. 도 6에서, 예를 들어, 하드 디스크 드라이브(641)은 오퍼레이팅 시스템(644), 다른 프로그램 모듈들(645), 및 프로그램 데이터(646)를 저장하는 것으로 도시되었다. 이들은 프로그램 모듈(634), 다른 프로그램 모듈(635), 및 프로그램 데이터(636)과 동일하거나 상이한 컴포넌트일 수 있다. 오퍼레이팅 시스템(644), 다른 프로그램 모듈(645) 및 프로그램 데이터(646)은 적어도 그들이 상이한 복사본을 가질 수 있다는 점에서 상이한 도면 부호로 도시되었다.
컴퓨팅 장치(600)는 하나 이상의 원격 컴퓨터에 대한 논리적 접속을 사용하는 네트워크 환경에서 동작 가능하다. 컴퓨팅 장치(600)는 시스템 버스(621)에 연결된 네트워크 인터페이스 또는 어댑터(670)를 통해 일반 네트워크 접속(670)에 접속되는 것으로 도시되었다. 네트워크 환경에서, 컴퓨팅 장치(600)와 관련된 것으로 묘사된 프로그램 모듈 또는 그 부분 또는 주변부들은, 일반 네트워크 접속(671)을 통해 컴퓨팅 장치(600)와 통신 가능하게 연결되어 있는 하나 이상의 컴퓨팅 장치들의 메모리 내에 저장될 수 있다. 이러한 네트워크 접속은 예시적이며, 컴퓨팅 장치들 사이에 통신 링크를 설정하는 다른 수단들이 사용될 수도 있다는 것이 이해되어야 할 것이다.
전술한 상세한 설명에서 볼 수 있듯이, 라이브 비디오 카메라 피드를 이미 존재하는 정적 이미지와 통합하는 매커니즘이 열거되었다. 상세한 설명에 기재된 발명에 다양한 변형이 가능하다는 점을 고려하여 볼 때, 본 발명을 후술하는 청구항 및 그 균등물의 범위 내에는 그러한 변형까지 고려한 모든 실시예들이 포함된다고 할 것이다.

Claims (13)

  1. 이미 존재하는 정지 이미지 내로 시각적으로 통합되는 비디오 이미지 피드를 포함하는 합성 이미지(amalgamated image)를 생성하는 방법으로서,
    상기 비디오 이미지 피드의 샘플을 획득하는 단계와,
    상기 이미 존재하는 정지 이미지를 상기 이미 존재하는 정지 이미지의 이미지 범위에 기초하여 선택하는 단계 - 상기 이미 존재하는 정지 이미지의 이미지 범위는 상기 비디오 이미지 피드의 획득된 샘플의 이미지 범위의 적어도 일부를 포함하고, 상기 선택은 상기 비디오 이미지 피드 및 상기 정지 이미지 양자와 연관된 위치 메타데이터에 의해 정보 제공됨 - 와,
    상기 비디오 이미지 피드의 상기 샘플 내에서 정적(static)으로 유지되는 구성요소를 포함하는 평균 이미지를 유도하는 단계와,
    상기 비디오 이미지 피드의 상기 샘플 내에서 구성요소가 움직이는 영역을 식별하는 모션 마스크를 유도하는 단계와,
    상기 모션 마스크를 따르는 상기 평균 이미지 내의 이미지 특징(image feature)을 식별하는 단계 - 상기 평균 이미지 내의 이미지 특징은 상기 이미 존재하는 정지 이미지 내의 대응하는 이미지 특징을 가짐 - 와,
    상기 비디오 이미지 피드를 변환 및 정렬하기 위한 변환 파라미터를 유도하는 단계 - 상기 비디오 이미지 피드의 상기 샘플 내의 상기 식별된 이미지 특징은, 변환 및 정렬 이후에 상기 이미 존재하는 정지 이미지 내의 대응하는 이미지 특징의 시각적 크기 및 외관과 동등한 시각적 크기 및 외관을 갖고, 상기 선택된 정지 이미지 내의 대응하는 이미지 특징과 동등하게 오버레이될 수 있게 됨 -
    를 포함하는 합성 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 비디오 이미지 피드는 교통 카메라로부터 수신된 것이며, 상기 이미 존재하는 정지 이미지는 거리 레벨 뷰(street-level view)를 제공하기 위해 사용되는 지도 파노라마인
    합성 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 변환 파라미터를 사용하여, 상기 비디오 이미지 피드가 수신되는 동안 상기 비디오 이미지 피드를 변환 및 정렬하는 단계와,
    지속적으로 업데이트되는 합성 이미지를 생성하는 단계 - 상기 합성 이미지는 상기 선택된 정지 이미지 중 적어도 하나 상에 오버레이(overlay)되는 상기 변환 및 정렬된 비디오 이미지 피드의 이미지 범위의 적어도 일부를 포함하며, 상기 변환 및 정렬된 비디오 이미지 피드의 이미지 범위의 상기 일부는 상기 변환 및 정렬된 비디오 이미지 피드가 오버레이되는 상기 선택된 정지 이미지의 상기 적어도 하나의 대응 부분의 이미지 범위와 동등하게 됨 -
    를 더 포함하는 합성 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 이미지 특징을 식별하는 단계는, 상기 이미 존재하는 정지 이미지 내에서 상기 이미 존재하는 정지 이미지와 연관되며 교통 카메라가 향하는 방향을 따르는 도로를 따르는 이미지 특징을 식별하는 단계를 포함하며, 상기 비디오 이미지 피드는 상기 교통 카메라로부터 수신되고, 상기 이미 존재하는 정지 이미지는 파노라마인
    합성 이미지 생성 방법.
  5. 제1항에 있어서,
    상기 변환 파라미터를 유도하는 단계는,
    상기 식별된 이미지 특징 중에서 이미지 특징의 제1 집합을 선택하는 단계와,
    예비적인 변환 파라미터를 유도하는 단계와,
    상기 비디오 이미지 피드의 상기 샘플을 상기 유도된 예비적인 변환 파라미터에 따라 변환 및 정렬하는 단계와,
    변환 및 정렬된 상기 비디오 이미지 피드의 샘플과 상기 선택된 정지 이미지 사이의 종합적인 정합(overall fit)을 점수화하는 단계 - 상기 점수화는 상기 이미지 특징의 상기 제1 집합의 일부를 이루지 않는 다른 식별된 이미지 특징의 정렬의 정확성에 기초함 - 와,
    상기 식별된 이미지 특징 중에서 선택된 이미지 특징의 후속 집합에 대하여 상기 유도 및 상기 점수화를 반복하는 단계와,
    상기 종합적인 정합에 있어서 최고 점수를 할당받은 예비적인 변환 파라미터를 상기 변환 파라미터로서 선택하는 단계를 포함하는
    합성 이미지 생성 방법.
  6. 제1항에 있어서,
    상기 식별된 이미지 특징은 도로 표시 라인(traffic lane marking line)이며, 상기 변환 파라미터를 유도하는 단계는 상기 도로 표시 라인을 사용하여 호모그래피(homography)를 실행하는 단계를 더 포함하는
    합성 이미지 생성 방법.
  7. 제1항에 있어서,
    각 프레임의 공통 이미지 구성요소가 중첩되도록 서로 정렬된 상기 비디오 이미지 피드의 샘플의 개별 프레임들로 이루어지는 컴포지트(composite)로서 상기 비디오 이미지 피드의 상기 샘플을 안정화하는 단계
    를 더 포함하는 합성 이미지 생성 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 실행하기 위한 컴퓨터 실행가능 명령어들을 포함하는 하나 이상의 컴퓨터 판독가능 기록매체.
  9. 컴퓨팅 장치로서,
    하나 이상의 프로세싱 유닛과,
    컴퓨터 실행가능 명령어를 포함하는 하나 이상의 컴퓨터 판독가능 저장 매체
    를 포함하되,
    상기 컴퓨터 실행가능 명령어는 상기 하나 이상의 프로세싱 유닛에 의해 실행되는 경우 상기 컴퓨팅 장치로 하여금,
    변환 파라미터를 사용하여, 비디오 이미지 피드가 수신되는 동안 상기 비디오 이미지 피드를 변환 및 정렬하게 하고,
    지속적으로 업데이트되는 합성 이미지를 생성하게 하되 - 상기 합성 이미지는 적어도 하나의 이미 존재하는 정지 이미지 상에 오버레이되는 상기 변환 및 정렬된 비디오 이미지 피드의 이미지 범위의 적어도 일부를 포함하고, 상기 적어도 하나의 이미 존재하는 정지 이미지는 상기 비디오 이미지 피드 및 상기 적어도 하나의 이미 존재하는 정지 이미지 양자에 연관된 위치 메타데이터에 기초하여 선택되며, 상기 변환 및 정렬된 비디오 이미지 피드의 이미지 범위의 상기 일부는 상기 변환 및 정렬된 비디오 이미지 피드가 오버레이되는 상기 적어도 하나의 이미 존재하는 정지 이미지의 대응 부분의 이미지 범위와 동등하게 되며, 상기 변환 및 정렬된 비디오 이미지 피드는 상기 적어도 하나의 이미 존재하는 정지 이미지 내의 대응하는 이미지 특징의 시각적 크기 및 외관과 동등한 시각적 크기 및 외관을 가짐 -,
    상기 변환 파라미터는 모션 마스크를 따르는 평균 이미지 내의 이미지 특징에 기초하여 유도되고, 상기 이미지 특징은 상기 적어도 하나의 이미 존재하는 정지 이미지 내의 대응하는 이미지 특징을 가지며, 상기 평균 이미지는 상기 비디오 이미지 피드의 샘플 내에서 정적으로 유지되는 구성요소를 포함하고, 상기 모션 마스크는 상기 비디오 이미지 피드의 상기 샘플 내에서 구성요소가 움직이는 영역을 식별하는
    컴퓨팅 장치.
  10. 제9항에 있어서,
    상기 비디오 이미지 피드는 교통 카메라로부터 수신된 것이며, 상기 적어도 하나의 이미 존재하는 정지 이미지는 파노라마인
    컴퓨팅 장치.
  11. 제10항에 있어서,
    상기 합성 이미지를 생성하는 것은, 상기 비디오 이미지 피드에서 도로 및 도로 위의 차량 이외의 다른 부분들을 필터링하여, 상기 도로 및 상기 차량만을 상기 적어도 하나의 이미 존재하는 정지 이미지 상에 오버레이하는 것을 포함하는
    컴퓨팅 장치.
  12. 제9항에 있어서,
    상기 합성 이미지를 생성하는 것은, 상기 비디오 이미지 피드로부터 정적인 이미지 구성요소를 필터링하여, 상기 비디오 이미지 피드로부터의 움직이는 이미지 구성요소만을 상기 적어도 하나의 이미 존재하는 정지 이미지 상에 오버레이하는 것을 포함하는
    컴퓨팅 장치.
  13. 제9항에 있어서,
    상기 적어도 하나의 이미 존재하는 정지 이미지는 자신의 위치 메타데이터와 연관되며, 상기 위치 메타데이터는 상기 비디오 이미지 피드와 연관된 위치 메타데이터에 의해 식별되는 위치에 근접한 위치를 식별하는
    컴퓨팅 장치.
KR1020137006409A 2010-09-14 2011-08-16 이미 존재하는 정지 이미지 내의 비디오의 시각화 KR101782670B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/881,704 2010-09-14
US12/881,704 US9594960B2 (en) 2010-09-14 2010-09-14 Visualizing video within existing still images
PCT/US2011/047956 WO2012036832A1 (en) 2010-09-14 2011-08-16 Visualizing video within existing still images

Publications (2)

Publication Number Publication Date
KR20130110156A KR20130110156A (ko) 2013-10-08
KR101782670B1 true KR101782670B1 (ko) 2017-09-27

Family

ID=45806343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137006409A KR101782670B1 (ko) 2010-09-14 2011-08-16 이미 존재하는 정지 이미지 내의 비디오의 시각화

Country Status (10)

Country Link
US (1) US9594960B2 (ko)
EP (1) EP2617007B1 (ko)
JP (1) JP6006215B2 (ko)
KR (1) KR101782670B1 (ko)
CN (1) CN102447886A (ko)
AU (1) AU2011302558B2 (ko)
IN (1) IN2013CN01716A (ko)
RU (1) RU2573239C2 (ko)
TW (1) TWI548276B (ko)
WO (1) WO2012036832A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5733565B2 (ja) * 2011-03-18 2015-06-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9200919B2 (en) * 2012-06-05 2015-12-01 Apple Inc. Method, system and apparatus for selectively obtaining map image data according to virtual camera velocity
JP6450064B2 (ja) * 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
US20150159895A1 (en) 2013-12-11 2015-06-11 Honeywell International Inc. Building automation system with user defined lifestyle macros
JP6503881B2 (ja) * 2015-05-20 2019-04-24 株式会社リコー コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法
US9767564B2 (en) 2015-08-14 2017-09-19 International Business Machines Corporation Monitoring of object impressions and viewing patterns
KR102339178B1 (ko) * 2015-08-27 2021-12-14 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105163081B (zh) * 2015-09-02 2018-06-15 广东建设职业技术学院 一种基于异步渲染的实物展示方法及系统
CN105979136B (zh) * 2016-05-06 2019-03-12 安徽伟合电子科技有限公司 一种设备工作动态展示系统
WO2018142496A1 (ja) * 2017-02-01 2018-08-09 株式会社日立製作所 三次元計測装置
CN107147910B (zh) * 2017-05-31 2019-11-22 上海国茂数字技术有限公司 一种全景视频六角形采样方法及装置
CN108007946A (zh) * 2017-12-27 2018-05-08 同方威视技术股份有限公司 安全检查系统和检查方法
CN110430364A (zh) * 2019-08-26 2019-11-08 武汉众果科技有限公司 一种摄影拍照抠图局部动态图合成方法
CN111597986B (zh) * 2020-05-15 2023-09-29 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
JP7314878B2 (ja) * 2020-08-11 2023-07-26 トヨタ自動車株式会社 キャリブレーションシステム、キャリブレーション方法及びキャリブレーションプログラム
US11636682B2 (en) 2020-11-05 2023-04-25 International Business Machines Corporation Embedding contextual information in an image to assist understanding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2101932A1 (en) 1991-12-10 1993-06-11 Dominique Pitteloud Apparatus and methods for automerging images
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US6937266B2 (en) 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
CN1218574C (zh) * 2001-10-15 2005-09-07 华为技术有限公司 交互式视频设备及其字幕叠加方法
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20050033505A1 (en) * 2002-12-05 2005-02-10 Premier Wireless, Inc. Traffic surveillance and report system
JP2004214830A (ja) 2002-12-27 2004-07-29 Iwane Kenkyusho:Kk 一部リアルタイム画像表示装置
US7209601B2 (en) * 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
WO2005041564A1 (en) 2003-10-28 2005-05-06 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
US8190003B2 (en) * 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
JP4424031B2 (ja) * 2004-03-30 2010-03-03 株式会社日立製作所 画像生成装置、システムまたは画像合成方法。
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US20080291278A1 (en) * 2005-04-05 2008-11-27 Objectvideo, Inc. Wide-area site-based video surveillance system
GB0514715D0 (en) 2005-07-18 2005-08-24 Isis Innovation Combination of images
JP2007102536A (ja) * 2005-10-05 2007-04-19 Fujifilm Corp 顔画像取得方法および装置
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
US10454995B2 (en) 2007-06-11 2019-10-22 Crackle, Inc. System and method for obtaining and sharing content associated with geographic information
US8068693B2 (en) 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US20090027418A1 (en) * 2007-07-24 2009-01-29 Maru Nimit H Map-based interfaces for storing and locating information about geographical areas
US20090030643A1 (en) * 2007-07-25 2009-01-29 White Timothy J Method for collecting statistics for movie theaters
US20090112452A1 (en) * 2007-10-25 2009-04-30 Gm Global Technology Operations, Inc. Vehicle navigation system with real time traffic image display
US20090122195A1 (en) * 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
TWI381719B (zh) 2008-02-18 2013-01-01 Univ Nat Taiwan 穩定全幅式視訊之方法
US8237791B2 (en) 2008-03-19 2012-08-07 Microsoft Corporation Visualizing camera feeds on a map
US7921114B2 (en) * 2008-04-10 2011-04-05 Microsoft Corporation Capturing and combining media data and geodata in a composite file
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
US8130257B2 (en) 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC
JP4591576B2 (ja) * 2008-08-18 2010-12-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8238610B2 (en) * 2008-12-18 2012-08-07 University Of Central Florida Research Foundation, Inc. Homography-based passive vehicle speed measuring
US9454847B2 (en) 2009-02-24 2016-09-27 Google Inc. System and method of indicating transition between street level images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor

Also Published As

Publication number Publication date
US20120062748A1 (en) 2012-03-15
CN102447886A (zh) 2012-05-09
JP6006215B2 (ja) 2016-10-12
EP2617007A4 (en) 2017-12-20
US9594960B2 (en) 2017-03-14
RU2013111298A (ru) 2014-09-20
EP2617007B1 (en) 2019-10-02
AU2011302558A1 (en) 2013-03-21
AU2011302558B2 (en) 2014-06-19
TW201215125A (en) 2012-04-01
JP2014502430A (ja) 2014-01-30
TWI548276B (zh) 2016-09-01
WO2012036832A1 (en) 2012-03-22
KR20130110156A (ko) 2013-10-08
EP2617007A1 (en) 2013-07-24
IN2013CN01716A (ko) 2015-08-21
RU2573239C2 (ru) 2016-01-20

Similar Documents

Publication Publication Date Title
KR101782670B1 (ko) 이미 존재하는 정지 이미지 내의 비디오의 시각화
JP7480823B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US8531449B2 (en) System and method for producing multi-angle views of an object-of-interest from images in an image dataset
US10235580B2 (en) Method and system for automatic detection of parking zones
EP2261604B1 (en) Computer arrangement for and method of calculating motion vectors using range sensor data
EP2458336B1 (en) Method and system for reporting errors in a geographic database
US9256983B2 (en) On demand image overlay
US8000895B2 (en) Navigation and inspection system
US8878865B2 (en) Three-dimensional map system
DE112008003424B4 (de) Navigationsgerät, das Videobilder einer Kamera verwendet
EP2335023B1 (en) Method of and computer implemented system for generating a junction view image
DE102021204765A1 (de) Rendern von Augmented-Reality mit Verdeckung
DE112015003263T5 (de) Bildmodifikation
Choi et al. Methods to detect road features for video-based in-vehicle navigation systems
US20220301129A1 (en) Condition-aware generation of panoramic imagery
Schwartz-Chassidim et al. PSYCHOPHYSICS IN MAP PERCEPTION

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant