KR20130077829A - 교통 카메라에 대해 가외 뷰포인트 및 개선된 해상도를 갖는 시뮬레이션 비디오 - Google Patents

교통 카메라에 대해 가외 뷰포인트 및 개선된 해상도를 갖는 시뮬레이션 비디오 Download PDF

Info

Publication number
KR20130077829A
KR20130077829A KR1020127031529A KR20127031529A KR20130077829A KR 20130077829 A KR20130077829 A KR 20130077829A KR 1020127031529 A KR1020127031529 A KR 1020127031529A KR 20127031529 A KR20127031529 A KR 20127031529A KR 20130077829 A KR20130077829 A KR 20130077829A
Authority
KR
South Korea
Prior art keywords
video
vehicle
camera
images
frames
Prior art date
Application number
KR1020127031529A
Other languages
English (en)
Other versions
KR101767289B1 (ko
Inventor
빌리 첸
이얄 오펙
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20130077829A publication Critical patent/KR20130077829A/ko
Application granted granted Critical
Publication of KR101767289B1 publication Critical patent/KR101767289B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명에 따르면 저해상도의 단방향 카메라로부터의 비디오 입력에 기초하여 시뮬레이션된 고해상도의 멀티-뷰 비디오가 제공된다. 교통 감시 카메라, 보안 카메라, 모니터링 카메라 및 그 유사물로부터 수신되는 비디오는, 사전-캡처된 이미지들의 데이터베이스 및/또는 임시로 시프트된 비디오로부터의 패치들과 결합되어, 동일한 카메라에 대해 복수의 뷰포인트를 갖는 보다 높은 품질의 비디오를 생성한다.

Description

교통 카메라에 대해 가외 뷰포인트 및 개선된 해상도를 갖는 시뮬레이션 비디오{SIMULATED VIDEO WITH EXTRA VIEWPOINTS AND ENHANCED RESOLUTION FOR TRAFFIC CAMERAS}
데이터 네트워크의 전개(deployment) 및 이용이 증가함에 따라, 다양한 목적의 비디오 피드(Video feed)가 많은 사람의 일상에서 일반적인 측면이 되었다. 비디오 피드의 응용분야 중 하나는 교통 감시 카메라(traffic camera)를 포함한다. 많은 도시 및 그 외의 지역들에서, 교통 감시 카메라로부터의 비디오는 인터넷 또는 다른 네트워킹 수단을 통해서 개인이 볼 수 있도록 입수가능하다. 통근자들은 집이나 직장에서 떠나기 전에 교통 감시 카메라를 확인함으로써 교통 상황을 볼 수 있고 그에 따라 그들의 루트를 계획할 수 있다. 차량 장착 컴퓨터 시스템이 보다 흔해지면서, (안전한 상황에서는) 운전자들 역시 카메라를 통해서 앞쪽의 교통 상황을 확인할 수 있고 만약 필요하다면 그들의 루트를 변경할 수 있다.
전형적인 교통 감시 카메라는 한쪽 방향을 가리킨 채로 길을 따라 위치한다. 더욱이, 대부분의 교통 감시 카메라는 실질적인 이유로 카메라로부터 멀리 있는 차들 또는 배경의 디테일을 보여줄 수 없는 저해상도 카메라이다. 따라서, 교통 감시 카메라의 비디오 피드를 봄으로써 비디오 시청자가 얻을 수 있는 정보는 제한적이다. 예를 들어, 멀리 있는 차들은 흐릿하며, 비디오 시청자는 오직 카메라를 향해 다가오거나 또는 카메라로부터 멀어져가는 차들만을 볼 수 있을 뿐, 동일한 차도에서 카메라로 다가오는 차들과 카메라로부터 멀어져가는 차들 모두를 볼 수는 없다.
이 요약부는 아래의 상세한 설명에서 추가로 기술되는 개념들의 선택을 간략한 형태로 소개하고자 제공되었다. 본 요약부는 특허청구범위의 중요 특징 또는 기본 특징을 배타적으로 식별하고자 하는 것은 아니며, 특허청구범위의 범주를 결정하는 것을 돕고자 하는 것 또한 아니다.
본 발명의 실시예들은 낮은 프레임 속도, 저해상도의 단방향(single direction) 교통 감시 카메라로부터의 비디오 입력을 이용하여 시뮬레이션된(simulated) 높은 프레임 속도, 고해상도의 멀티-뷰 교통 비디오 이미지를 제공하는 것과 관련된다. 일부 실시예들에 따르면, 수신된 비디오는 보다 높은 품질의 비디오를 생성하기 위해서, 동일한 카메라에 대한 복수의 뷰포인트 뿐 아니라 사전 캡처된 이미지들의 데이터베이스 및/또는 시간적으로 시프트된(shifted) 비디오로부터의 패치(patch)들과 결합될 수 있다. 다른 실시예들에 따르면, 비디오 해상도 개선 및 복수의 뷰포인트 생성은 보안 카메라, 모니터링 카메라 및 그의 유사물들과 같은 다른 유형의 카메라들에 대해서도 적용될 수 있다.
이러한 특징들과 다른 특징들 및 장점들이 첨부된 도면을 참조로 하여 아래의 상세한 설명을 읽음으로써 더욱 명백해질 것이다. 전술된 일반적인 설명과 아래의 상세한 설명 모두 예시적인 것으로서 특허청구범위를 한정하는 것은 아님을 이해해야 한다.
도 1은 실시예들에 따른 비디오 해상도 개선 및 복수의 뷰포인트 생성이 이용될 수 있는, 교통 감시 카메라가 설치된 길을 도시한 개념도;
도 2는 실시예들에 따른 개선된 해상도 및 복수의 뷰포인트를 갖는 교통 감시 카메라가 설치된 다른 길을 도시한 도면;
도 3은 복수의 뷰포인트를 갖는 시뮬레이션된 교통 비디오를 생성하는 시스템의 블록도;
도 4는 복수의 뷰포인트를 갖는 시뮬레이션된 교통 비디오를 생성하는 시스템의 블록도;
도 5는 실시예들에 따른 시스템이 구현될 수 있는 네트워킹된 환경을 도시한 도면;
도 6은 실시예들이 구현될 수 있는 예시적인 컴퓨팅 운영 환경의 블록도;
도 7은 실시예들에 따른 저해상도, 단방향 교통 감시 카메라로부터의 입력에 기초하여 개선된 해상도와 복수의 뷰포인트 비디오를 제공하는 프로세스에 대한 논리적 흐름도.
앞서 간략하게 기술된 바와 같이, 시뮬레이션된 고해상도의 멀티-뷰(multi-view) 교통 비디오 이미지는 저해상도의 단방향 교통 감시 카메라로부터의 비디오 피드(video feed)에 기초하여 생성될 수 있다. 수신된 비디오는 보다 높은 품질의 비디오를 생성하기 위해서, 동일한 카메라에 대한 복수의 뷰포인트 뿐 아니라 사전 캡처된 이미지들의 데이터베이스 및/또는 시간적으로 시프트된(shifted) 비디오로부터의 패치(patch)들과 결합될 수 있다. 아래의 상세한 설명에서는, 본 명세서의 일부이며 특정한 실시예 또는 예를 예시적으로 도시한 첨부된 도면을 참조하였다. 이러한 측면들은 다른 측면들과 결합될 수 있고, 다른 측면들이 활용될 수 있으며, 구조적 변화가 본 발명의 범주 또는 사상으로부터 벗어나지 않고 이루어질 수 있다. 따라서 아래의 상세한 설명은 제한적인 의미로 받아들여져서는 안되며, 본 발명의 범주는 첨부된 특허청구범위 및 그 동등물에 의해서 정의된다.
실시예들이 개인 컴퓨터 상의 운영 시스템 상에서 실행하는 애플리케이션 프로그램과 함께 실행하는 일반적인 맥락의 프로그램 모듈로 기술될 것이지만, 당업자는 측면들이 다른 프로그램 모듈과 결합하여 구현될 수도 있음을 인식할 것이다.
일반적으로, 프로그램 모듈은 루틴, 프로그램, 컴포넌트, 데이터 구조 및 특정한 태스크를 수행하거나 특정한 추출 데이터 타입을 구현하는 다른 유형의 구조물을 포함한다. 또한 당업자는 실시예들이 휴대용 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 또는 프로그램가능한 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터 및 유사한 컴퓨팅 디바이스를 포함하는 다른 컴퓨터 시스템 구성과 실시될 수도 있음을 이해할 것이다. 실시예들은 또한 통신 네트워크를 통해 링크된 원격 프로세싱 디바이스에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 스토리지 디바이스 모두에 위치할 수 있다.
실시예들은 컴퓨터 구현되는 프로세스(방법), 컴퓨팅 시스템, 또는 컴퓨터 프로그램 제품이나 컴퓨터 판독가능한 매체와 같은 생산 상품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은, 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 또는 컴퓨팅 시스템이 예시적인 프로세스(들)를 수행하게 하는 명령들을 포함하는 컴퓨터 프로그램을 인코딩하는 컴퓨터 스토리지 매체일 수 있다. 컴퓨터 판독가능 스토리지 매체는, 예를 들어 휘발성 컴퓨터 메모리, 비휘발성 메모리, 하드 드라이브, 플래시 드라이브, 플로피 디스크, 또는 콤팩트 디스크 및 유사한 매체 중 하나 이상을 통해 구현될 수 있다.
본 명세서 전반에 걸쳐서, "플랫폼(platform)"이라는 용어는 비디오 캡처, 프로세싱 및 전송 동작들을 관리하는 소프트웨어 및 하드웨어 컴포넌트의 결합일 수 있다. 플랫폼의 예로는 복수의 서버 상에서 실행되는 호스팅 서비스, 단일 서버 상에서 실행되는 애플리케이션 및 유사한 시스템을 포함하지만, 이것으로 제한되지는 않는다. "서버"라는 용어는 전형적으로 네트워킹된 환경에서 하나 이상의 소프트웨어 프로그램을 실행하는 컴퓨팅 디바이스를 일반적으로 지칭한다. 그러나, 서버는 네트워크 상에서 서버처럼 보여지는 하나 이상의 컴퓨팅 디바이스 상에서 실행되는 가상 서버(소프트웨어 프로그램)로서 구현될 수도 있다.
"저해상도(low resolution)" 및 "높은 또는 개선된 해상도(high or enhanced resolution)"라는 용어는, 종래의 카메라 시스템의 캡처된 비디오 품질과 본 명세서의 실시예들에 따라 생성된 시뮬레이션된 비디오를 구별하기 위해 사용된다. 구체적인 예로서, 비디오 해상도는 약 480*640 픽셀 내지 4800*6400 픽셀의 범위를 가질 수 있으며, 종래의 교통 감시 카메라는 스펙트럼의 최저값에 가까운 해상도가 가능한 반면, 실시예들에 따른 시뮬레이션된 비디오는 스펙트럼에서 더 높은 값을 향하는 해상도로 개선될 수 있다. 그러나, 개시된 청구사항의 범주 및 사상으로부터 벗어나지 않고 다른 해상도가 사용될 수도 있다.
도 1은 실시예들에 따른 비디오 해상도 개선 및 복수의 뷰포인트 생성이 이용될 수 있는 교통 감시 카메라가 설치된 길을 도시한 개념도(100)를 포함한다. 도면(100)에 도시된 바와 같이, 길(102) 위의 고정된 위치에 있는 교통 감시 카메라(110)는 카메라에 가까워지는 차량(106, 112)의 비디오를 캡처하는 단방향 카메라이다. 카메라로부터 멀어지는 차량(108)은 더 이상 카메라의 뷰포인트(viewpoint) 내에 있지 않다. 실제로, 카메라를 통과한 어떠한 차도 더 이상은 전혀 보이지 않을 것이다. 또한, 일반적인 교통 감시 카메라는 통상적으로 저해상도 카메라이다(통상적으로 카메라를 비디오 프로세싱 시스템에 접속시키는 네트워크 상에서 전송될 비디오 데이터의 양을 감소시키기 위해). 따라서, 차량(112)은 카메라에 가깝기 때문에 디테일이 캡처될 수 있지만, 차량(106)은 캡처된 비디오에서 흐릿하게 보여질 가능성이 높다.
교차로(104)와 같은 소정의 위치에는 복수의 카메라가 설치될 수 있다. 그러나, 길의 직선구간 상에 있는 카메라의 수와 커버리지는 일반적으로 제한된다. 복수의 카메라가 설치된 교차로라 할지라도 카메라들이 모든 각도를 커버하진 못하며, 카메라 해상도로 인해 거리에 따른 이미지 품질의 저하를 여전히 겪을 것이다.
실시예들에 따른 시스템은 교통 감시 피드에서 차량의 고해상도 뷰를 합성으로(synthetically) 생성하고/하거나 이 차량을 다른 뷰포인트에서 보도록 구성된다. 전자는 카메라 피드의 서로 다른 시각에서의 픽셀들을 이용해 이미지 분석을 구축함으로써 달성할 수 있고, 후자는 영상의 사전 캡처 데이터베이스에 의해 획득될 수 있다. 데이터베이스에는, 차량의 앞, 뒤, 및/또는 그 외의 뷰(view)를 포함하는 영상이 수집될 수 있다. 이미지는 복수의 교통 감시 카메라에 걸쳐 차량을 추적하고, 제조자 데이터베이스로부터 이미지를 수신하는 등의 방법에 의해 획득될 수 있다. 입력 카메라 피드는 단일 이미지가 아니라, 길을 따라 복수의 순간에서 (예컨대, 먼 거리, 중간 거리, 카메라 근처와 같이 사전정의된 거리 범위에서) 동일한 차량을 관찰하기 위해 충분히 높은 빈도로 캡처된 일련의 이미지들이다. 또한, 시청자가 보는 교통 감시 카메라 비디오는 실시간일 필요가 없다. 시청자는 (예컨대 수 초간) 버퍼링되거나 지연된 비디오를 보고 있을 수 있다. 이러한 지연은 시각화를 위해 비디오를 프로세싱하는 데에 사용될 수 있다(예컨대, "미래의" 프레임으로부터 픽셀들을 빌려온다).
다른 뷰포인트의 교통 감시 카메라로부터의 입력을 디스플레이하기 위해, 서로 다른 뷰포인트들에 대해 시뮬레이션된 차량의 이미지를 생성하는데에 서로 다른 각도들로부터의 다양한 차량들의 이미지들이 사용될 수 있다. 데이터는 정사영 지도(orthographic map) 상의 합성(superimposition)에 의해, 또는 서로 다른 뷰포인트에서 길을 바라보는 사람 크기의 버블(human scale bubbles)로부터 디스플레이될 수 있다. 기하학적 구조 상에서 교통 비디오를 프로젝팅할 때, 시청자들이 카메라로부터 멀리 있는 것으로 보이기 때문에 차량들의 비디오 품질 저하가 보일 수 있다(도면(100)에서 차량(106)의 흐릿한 이미지로 표현됨). 그러나, 카메라로부터 멀리 디스플레이되는 모든 차는, (카메라로부터 멀어져가는 차량에 있어서는) 카메라에 더 가까웠을 때에 더욱 디테일하게 보여졌었고, (카메라로 다가오는 차량에 있어서는) 카메라에 더 가까워질 몇 초 내에 더욱 디테일하게 보여진다.
도 2는 실시예들에 따른 개선된 해상도와 복수의 뷰포인트를 갖는 교통 감시 카메라가 설치된 다른 길을 도시한다. 캡처된 해상도보다 더 높은 해상도로 흐릿한 (먼 거리의) 차량을 렌더링(rendering)하기 위해서, 카메라에 더 가까웠을 때에 캡처되었거나 카메라로 접근할 때 캡처될 동일한 차량의 보다 높은 해상도의 이미지가 일부 실시예들에 따라 사용될 수 있다. 다시 말하면, 가까운 차량 이미지로부터 픽셀들을 "빌릴 수" 있으며, 과거 또는 미래의 먼 거리의 차량 이미지로 전송될 수 있다. "미래를" 보기 위해서 비디오가 사전정의된 기간만큼 지연됨으로써, 가까운 차량의 픽셀들을 빌려서 먼 거리에 있는 차량의 이미지를 보다 높은 해상도로 시뮬레이션할 수 있다.
도면(200)에서, 거리를 두고 있는 차량들의 개선된 해상도는 카메라에 가까워지고 있는 차량(222, 224, 226)의 분명한 이미지로써 표현되었다. 차량(226)은 이미 카메라(210) 부근에 있고 그 이미지가 개선될 필요가 없다. 차량(224)은 카메라로부터 중간 정도의 거리만큼 떨어져 있고 그 이미지는 시간 시프트된(time shifted) (미래의) 프레임으로부터의 픽셀들을 사용함으로써 약간 개선될 필요가 있을 수 있다. 차량(222)은 먼 거리에 있다. 이것의 이미지는 차량(224)의 이미지보다 더욱 개선되어야할 수 있다. 픽셀들은 차량(들)이 카메라 근처에 있을 때의 하나 이상의 프레임으로부터 선택될 수 있으며, 먼 거리 차량의 더 높은 해상도 이미지를 생성하도록 실제 이미지와 결합될(fused) 수 있다.
전술된 바와 같이, 종래의 교통 감시 카메라가 갖는 다른 한계는 교통 감시 카메라들이 한 위치에 한 방향으로 고정된다는 점이다. 이는 하나의 카메라를 통해 다른 방향 또는 다른 뷰포인트로부터 교통 상황을 보는 것을 불가능하게 한다. 다른 실시예들에 따른 시스템은, 반대 방향의 차량들의 뷰를 시뮬레이션하는데에 교통의 대칭성을 이용한다. 다시 말하면, 한 포인트에서 보이는 교통은 반대편 뷰포인트에서는 반드시 반대 방향으로 이동한다. 이러한 뷰를 렌더링하는 것은 반대편 뷰포인트에서 볼 수 있는 차량의 숨겨진 부분(예컨대, 차량(228)의 뒷부분)을 포함한다.
카메라의 방향이 아닌 방향들로 차량들의 시뮬레이션된 이미지들을 렌더링하기 위해서, 비디오 대신 차량의 모델이 차량을 렌더링하는데에 사용될 수 있다. 이러한 접근법은 가시 절두체(frustum) 밖에 있는 차량들의 렌더링 및 다방향 뷰잉(multidirectional viewing)과 같은 장점을 가질 수 있지만, 렌더링된 비디오는인위적으로 보일 수 밖에 없다. 시뮬레이션된 교통 비디오의 사실적인(photorealistic) 이미지 기반의 렌더링을 생성하기 위해서, 수집된 이미지 데이터베이스로부터의 실제 이미지에 기초하여 차량의 다른 각도들이 사용될 수 있다. 예를 들어, 접근중인 차량의 종류 및 색상이 판정되어 동일한 차량의 다른 뷰(예컨대, 뒷부분)가 수집된 영상 데이터베이스로부터 검색될 수 있다. 검색된 이미지(들)는 참조로서 접근중인 차량의 속도를 이용하여 반대 방향으로 시뮬레이션된 비디오 스트림과 함께 결합되는데에 사용될 수 있다.
도면(200)에서, 카메라의 방향과 다른 방향으로 시뮬레이션된 비디오의 생성이 교통 감시 카메라(210)의 가상 회전(230)에 의해 나타내어졌다. 실제로, 다양한 각도들(예컨대, 앞, 옆, 뒤)로부터의 차량들의 뷰는 복수의 시뮬레이션된 비디오를 생성하는데에 사용될 수 있고, 사용자들은 교통 흐름을 보는 카메라를 서로 다른 각도에서 "가상으로" 회전시킬 수 있다. 카메라(210)는 유선 또는 무선(예컨대, 라디오 주파수 "RF", 광학 등) 통신 수단을 통해서 프로세싱 시스템으로 접속되는 임의의 비디오 캡처 디바이스일 수 있다.
도 3은 개선된 해상도를 갖는 시뮬레이션된 교통 비디오를 생성하는 시스템의 블록도(300)를 도시한다. 전술된 바와 같이, 교통 감시 카메라 비디오 피드로부터 시뮬레이션된 비디오를 생성하는 일 측면은, 다양한 거리에 있는 차량들이 유사한 품질로 보여질 수 있도록 비디오의 해상도를 개선하는 것을 포함한다. 실시예들에 따른 시스템에서, 오리지널 교통 비디오(332)는 차량 비디오 패치들의 스트림(334)을 생성하는데에 사용될 수 있다. 시각 t에서의 차량이 프레임 버퍼 내의 이미지에서 먼 거리에 있다고 가정하면, 프레임 t+n에서의 차량이 시각 t에 있는 차량과 매칭될 수 있다. 정규화 교차보정(normalized cross-correlation)을 이용한 무빙 윈도우(moving window) 또는 유사한 접근법이 블록(336)에서의 매칭을 수행하는데에 이용될 수 있다.
그 다음 패치들이 함께 결합되어(338) 매끄러운 교통 비디오(smooth traffic video)(340)를 생성할 수 있으며, 이때 시각 t에 먼 거리에 있는 흐릿한 차량들은 시각 t+n으로부터의 카메라에 가까운 차량들의 패치들로 대체된다. 그 다음 비디오는 클라이언트 머신에서의 렌더링 애플리케이션 또는 웹 서비스를 통해 렌더링될 수 있다.
다른 실시예들에 따르면, 먼 거리의 차량과 연관된 노이즈가 감소될 수 있고, 콘트라스트(contrast)가 개선되고/되거나 선명해질 수 있다. 예를 들어, 안개 낀 날에 먼 거리에 있는 차량은 흐릿하고 둔탁하게 나타날 수 있다. 흐릿함과 둔탁함은 뷰 방향으로 산란하는 대기의 빛과 안개 속으로 산란하는 차량 색상으로 인해 발생한다. 카메라에 근접했을 때의 차량 이미지를 사용함으로써, 흐릿함과 둔탁함을 감소시켜 이러한 먼 거리에 있는 차량들의 뷰가 개선될 수 있다. 또한, 생성된 비디오는 입력 비디오와 동일한 시간 해상도(temporal resolution)(예컨대, 프레임 속도)를 가질 필요가 없다. 유사한 매칭 프로세스를 사용하여 "중간(In-between)" 프레임들이 생성될 수도 있다.
도 4는 복수의 뷰포인트를 갖는 시뮬레이션된 교통 비디오를 생성하는 시스템의 블록도를 도시한다. 교통 감시 카메라 비디오 피드로부터 시뮬레이션된 비디오를 생성하는 다른 측면은 단방향 카메라로부터 복수의 뷰포인트를 생성하는 것을 포함한다. 복수의 뷰포인트를 생성하는 시스템은, 도 3에 기술된 시스템과 유사하게, 차량 비디오 패치들의 스트림(444)이 생성되는 오리지널 교통 비디오(442)로 시작한다. 오리지널 교통 비디오(442)에서는, 차량의 앞부분(카메라에 다가오는 차량) 또는 뒷부분(카메라로부터 이동해가는 차량)만이 보일 수 있다. 매칭 프로세스(446)에서, 캡처된 차량에 대해 가지고 있지 않은 이미지(예컨대, 차량의 앞부분이 보이는 경우에는 차량의 뒤, 옆 등)가 유사한 비디오 패치들(452)의 데이터베이스로부터 검색될 수 있다.
유사한 비디오 패치들(452)의 데이터베이스는 다양한 제조사, 모델, 색상 등을 가진 차량들의 사전-캡처된 및/또는 합성으로(synthetically) 생성된 이미지를 포함할 수 있다. 저장된 이미지는 교통 감시 카메라 캡처 비디오, 제조사 데이터 소스, 딜러 데이터 소스 및 차량에 대한 임의의 다른 이미지 데이터 소스로부터 획득될 수 있다. 예를 들어, 서로 다른 방향을 가리키는 복수의 카메라들이 다양한 각도에서 차량들의 이미지들을 캡처하기 위해서 사전결정된 기간 동안 한 위치에 설치될 수 있고, 이러한 이미지들은 후에 다른 카메라들과 함께 사용될 수 있도록 인덱스 및 저장될 수 있다.
매칭 프로세스(446)는 먼저 차량의 캡처된 뷰(예컨대, 앞모습)를 데이터베이스 내의 이미지에 매칭시킬 수 있고, 그 다음 그에 상응하는 뒷모습 이미지(및 다른 부분 이미지)를 찾을 수 있다. 결합 프로세스(448)에서, 선택된 이미지들의 패치들은 길 및/또는 배경 이미지, 차량들의 경로, 차량들의 속도 및 오디오와 같은 추가적인 정보를 이용하여 비디오에 결합될 수 있다(도플러 변이(Doppler shift)에 따른 다양한 배경음이 사용자에게 보다 현실적인 경험을 제공할 수 있다). 오디오는 녹음 및/또는 생성된 오디오일 수 있다. 결합 프로세스로부터 얻어진 시뮬레이션된 비디오(450)는 아래에 개시된 바와 같이 렌더링될 수 있다.
비디오 패치들의 스트림 생성, 비디오 패치들의 매칭 및 결합과 같은 도 3 및 4에 개시된 서로 다른 프로세스들은, 별개의 하드웨어 모듈, 소프트웨어 모듈, 또는 하드웨어와 소프트웨어의 조합에서 수행될 수 있다. 또한, 이러한 모듈들은 집적 방식으로 둘 이상의 프로세스를 수행할 수 있다.
도 3 및 4에서의 예시적인 시스템이 구성요소, 프로세스 및 시뮬레이션 비디오의 생성 방법으로 기술되었다. 실시예들은 이러한 예시적인 구성에 따른 시스템으로 한정되지 않는다. 복수의 뷰포인트 및 개선된 해상도를 갖는 시뮬레이션된 교통 비디오를 제공하는 플랫폼이 더 적거나 추가의 구성요소를 사용하거나 다른 태스크를 수행하는 구성에서 구현될 수 있다. 또한, 실시예들은 교통 감시 카메라에만 제한되지 않는다. 시뮬레이션된 비디오의 생성은 다른 타입의 모니터링 카메라 시스템, 보안 시스템 및 본 명세서에 기술된 원리를 이용하는 유사한 것들로 구현될 수 있다. 또한, 실시예들의 비디오 양상은 사용자 경험을 개선하도록 오디오, 색상 등과 같은 다른 효과들과 결합될 수 있다.
도 5는 실시예들이 구현될 수 있는 예시적인 네트워킹된 환경이다. 개선된 해상도 및 복수의 뷰포인트를 갖는 시뮬레이션된 비디오를 생성하는 플랫폼은 호스팅 서비스와 같이 하나 이상의 서버(514) 상에서 실행되는 소프트웨어를 통해 구현될 수 있다. 플랫폼은 네트워크(들)(510)를 통해 스마트폰(513), 랩탑 컴퓨터(512), 또는 데스크톱 컴퓨터(511)('클라이언트 디바이스')와 같은 개별적인 컴퓨팅 디바이스 상에서 클라이언트 애플리케이션과 통신할 수 있다.
임의의 클라이언트 디바이스(511-513) 상에서 실행되는 클라이언트 애플리케이션은 서버(514) 또는 개별 서버(516) 상에서 브라우징 애플리케이션을 통해 웹 애플리케이션과 상호작용할 수 있다. 웹 애플리케이션은 단방향 카메라(520)로부터 저해상도 비디오를 수신할 수 있고 전술된 바와 같이 고해상도의 복수의 뷰포인트 비디오를 생성할 수 있다. 이와 달리, 시뮬레이션된 비디오의 생성은 웹 애플리케이션과는 별개의 이미지 프로세싱 애플리케이션에 의해 수행될 수 있고, 웹 애플리케이션은 그들의 클라이언트 디바이스 상에서 사용자를 위해 시뮬레이션된 비디오를 렌더링할 수 있다. 차량의 사전 캡처된 이미지 또는 시간-시프트된 비디오와 같은 관련 데이터는 데이터 스토어(들)(519)에서/로부터 직접 또는 데이터베이스 서버(518)를 통해서 저장 및/또는 검색될 수 있다.
네트워크(들)(510)는 서버, 클라이언트, 인터넷 서비스 제공자 및 통신 매체의 임의의 토폴로지를 포함할 수 있다. 실시예들에 따른 시스템은 정적 또는 동적 토폴로지를 가질 수 있다. 네트워크(들)(510)는 사업 네트워크와 같은 보안 네트워크, 무선 오픈 네트워크와 같은 비보안 네트워크, 또는 인터넷을 포함할 수 있다. 네트워크(들)(510)는 또한 PSTN(Public Switched Telephone Network) 또는 셀룰러 네트워크와 같은 다른 네트워크 상에서의 통신을 조정할 수 있다. 또한, 네트워크(들)(510)는 블루투스 또는 그 유사물과 같은 단거리 무선 네트워크를 포함할 수 있다. 네트워크(들)(510)는 본 명세서에 기술된 노드들 사이에서의 통신을 제공한다. 한정이 아닌 예시로서, 네트워크(들)(510)는 음향, RF, 적외선 및 그 외의 무선 매체와 같은 무선 매체를 포함할 수 있다.
컴퓨팅 디바이스, 애플리케이션, 데이터 소스 및 데이터 분산 시스템의 다양한 다른 구성이, 저해상도의 단방향 카메라 입력에 기초하여 시뮬레이션된 고해상도의 멀티뷰 비디오를 제공하는 플랫폼을 구현하는 데에 사용될 수 있다. 또한, 도 5에 개시된 네트워킹된 환경은 단지 예시적인 목적을 위한 것이다. 실시예들은 예시적인 애플리케이션, 모듈, 또는 프로세스로 제한되지 않는다.
도 6 및 그와 연관된 설명은 실시예들이 구현될 수 있는 적합한 컴퓨팅 환경에 대한 간략하고 일반적인 설명을 제공하기 위한 것이다. 도 6을 참조하면, 컴퓨팅 디바이스(600)와 같이 실시예들에 따른 애플리케이션을 위한 예시적인 컴퓨팅 운영 환경의 블록도가 도시되었다. 기본 구성에서, 컴퓨팅 디바이스(600)는 실시예들에 따른 시뮬레이션된 고해상도의 복수의 뷰포인트 비디오를 생성할 수 있는 비디오 프로세싱 애플리케이션을 실행하는 서버일 수 있으며, 적어도 하나의 프로세싱 유닛(602) 및 시스템 메모리(604)를 포함한다. 컴퓨팅 디바이스(600)는 또한 프로그램의 실행시에 협력하는 복수의 프로세싱 유닛을 포함할 수 있다. 컴퓨팅 디바이스의 정확한 구성 및 유형에 따라서, 시스템 메모리(604)는 (RAM과 같이) 휘발성일 수 있고, (ROM, 플래시 메모리 등과 같이) 비휘발성일 수 있거나, 또는 이들의 소정의 조합일 수 있다. 시스템 메모리(604)는 전형적으로, 워싱턴주 레드몬드에 소재한 MICROSOFT CORPORATION사의 운영 시스템 WINDOWS®와 같이 플랫폼의 운영을 제어하기에 적합한 운영 시스템(605)을 포함한다. 시스템 메모리(604)는 프로그램 모듈(606), 비디오 애플리케이션(622) 및 결합 모듈(fusing module)(624)과 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수 있다.
비디오 애플리케이션(622)은 전술된 바와 같이 저해상도의 단방향 카메라로부터 비디오 피드를 수신하여 고해상도의 복수의 뷰포인트 비디오를 생성할 수 있다. 결합 모듈(624)은 시뮬레이션된 비디오의 해상도를 개선하고 복수의 뷰포인트를 생성하기 위해 오리지널 비디오와 사전 캡처된 차량 이미지 및/또는 시간 시프트된 비디오 스트림의 패치들을 결합할 수 있다. 비디오 애플리케이션(622) 및 결합 모듈(624)은 개별적인 애플리케이션이거나 호스팅 서비스의 집적 구성요소일 수 있다. 이러한 기본 구성은 점선(608) 내의 구성요소들에 의해 도 6에 도시되었다.
컴퓨팅 디바이스(600)는 추가적인 특징 또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 디바이스(600)는 예컨대 자기 디스크, 광디스크, 또는 테이프와 같은 추가의 데이터 스토리지 디바이스(제거가능 및/또는 제거 불가능)도 포함할 수 있다. 이러한 추가 스토리지는 제거가능한 스토리지(609) 및 제거 불가능한 스토리지(610)로 도 6에 도시되었다. 컴퓨터 판독가능한 스토리지 매체는 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현되는 휘발성 및 비휘발성, 제거가능 및 제거 불가능 매체를 포함할 수 있다. 시스템 메모리(604), 제거가능한 스토리지(609) 및 제거 불가능한 스토리지(610)는 컴퓨터 판독가능한 저장 매체의 모든 예시이다. 컴퓨터 판독가능한 저장 매체는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 스토리지, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스, 또는 원하는 정보를 저장하는데에 사용될 수 있고 컴퓨팅 디바이스(600)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이것으로 제한되는 것은 아니다. 임의의 이러한 컴퓨터 판독가능한 스토리지 매체는 컴퓨팅 디바이스(600)의 일부일 수 있다. 컴퓨팅 디바이스(600)는 또한 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 및 유사한 입력 디바이스들과 같은 입력 디바이스(들)(612)를 구비할 수 있다. 디스플레이, 스피커, 프린터 및 그 외의 유형의 출력 디바이스와 같은 출력 디바이스(들)(614)가 포함될 수도 있다. 이들 디바이스들은 당업자에게 잘 알려져 있으며, 본 명세서에서는 길게 논의할 필요가 없다.
또한 컴퓨팅 디바이스(600)는, 이것을 분산 컴퓨팅 환경의 유선 또는 무선 네트워크, 위성 링크, 셀룰러 링크, 단거리 네트워크 및 유사한 메커니즘 상에서와 같이 다른 디바이스(618)와 통신할 수 있게 하는 통신 접속부(616)를 포함할 수 있다. 다른 디바이스(618)는 통신 애플리케이션, 다른 서버들 및 유사한 디바이스들을 실행시키는 컴퓨터 디바이스(들)를 포함할 수 있다. 통신 접속부(들)(616)는 통신 매체의 일 예시이다. 통신 매체는 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 포함할 수 있다. 예시적으로, 통신 매체는 유선 네트워크 또는 다이렉트-유선(direct-wired) 접속과 같은 유선 매체 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함하지만, 이것으로 제한되는 것은 아니다.
예시적인 실시예들은 방법도 포함한다. 이러한 방법은 본 명세서에서 기술된 구조를 포함하는 임의의 수의 방식으로 구현될 수 있다. 이러한 방법 중 하나는 본 명세서에 기술된 유형의 디바이스의 기계 동작에 의한 것이다.
선택할 수 있는 다른 방법은 일부를 수행하는 한 명 이상의 운영자(human operator)와 함께 수행되는 방법의 하나 이상의 개별적인 동작들에 대한 것이다. 이러한 운영자들끼리는 서로 연관될(collocated) 필요가 없지만, 운영자 각각은 프로그램의 일부를 수행하는 기계와 연관될 수 있다.
도 7은 실시예들에 따른 저해상도의 단방향 교통 감시 카메라로부터의 입력에 기초하여 개선된 해상도 및 복수의 뷰포인트 비디오를 제공하는 프로세스(700)에 대한 논리적 흐름도를 도시한다. 프로세스(700)는 서버 상에서 실행되는 웹 애플리케이션의 일부로서 구현될 수 있다.
프로세스(700)는 저해상도의 단방향 비디오 카메라로부터의 오리지널 비디오가 수신되는 동작(710)으로 시작된다. 수신된 비디오는 사전 프로세싱될 수 있다. 예를 들어, 수신된 비디오의 포맷은 변조, 비디오 필터링 등이 될 수 있다. 동작(720)에서, 비디오 패치들의 스트림이 생성되어 매칭 및 결합이 연속으로 수행될 수 있다. 패치들은 사전정의된 거리들(예컨대, 먼 거리, 중간 거리, 가까운 거리)에서의 차량의 움직임에 상응하는 연속적인 비디오 프레임들일 수 있다.
동작(730)에서, 패치들의 스트림은 다른 방향의 카메라로부터의 패치들 및/또는 시간 시프트된 (예컨대, 차량이 카메라에 더 근접했을 때의) 프레임들의 패치들과 매칭된다. 첫 번째 매칭은 추가 뷰포인트(예컨대, 멀어져가는 차량을 보여주는 원래 카메라의 뷰포인트의 반대 방향)의 생성을 가능하게 하는 반면, 후자의 매칭은 비디오 스트림의 해상도를 개선한다. 다른 방향으로부터의 패치들은 서로 다른 종류의 차량들의 대해 서로 다른 각도로부터 사전 캡처된 이미지를 포함할 수 있다(붉은색 승용차의 앞모습, 녹색 트럭의 옆모습, 특정한 브랜드의 차량 등).
동작(740)에서, 오리지널 스트림과 매칭된 패치들이 함께 결합되어 시뮬레이션된 비디오를 생성할 수 있으며, 이것은 동작(750)에서 사용자에게 제시될 수 있다(예컨대, 사용자의 브라우징 애플리케이션을 통해 렌더링된다). 결합에 앞서, 이미지의 크기가 조정될 수도 있다.
프로세스(700)에 포함된 동작들은 예시적인 것이다. 개선된 해상도와 멀티 뷰포인트를 갖도록 시뮬레이션된 비디오를 생성하는 것은 더 적거나 추가적인 단계를 갖는 유사한 프로세스에 의해 구현될 수 있으며, 본 명세서에 기술된 원리를 이용하여 서로 다른 동작 순서로 구현될 수도 있다.
위의 명세서에서, 예시 및 데이터는 실시예들의 구성요소들의 제조 및 사용에 대한 완벽한 설명을 제공한다. 청구사항이 구조적 특징 및/또는 방법적 동작들에 대해 특정된 언어로 기술되었지만, 첨부된 특허청구범위에 정의된 청구사항이 반드시 전술된 특정한 특징 또는 동작들로 제한되는 것은 아님을 이해할 것이다. 오히려, 전술된 특정한 특징 및 동작들은 특허청구범위 및 실시예를 구현하기 위한 예시적인 형식으로 개시되었다.

Claims (15)

  1. 카메라 피드(camera feed)로부터 개선된 시뮬레이션 비디오(enhanced simulated video)를 생성하는 컴퓨팅 디바이스에서 적어도 부분적으로 실행되는 방법으로서,
    단방향(single-direction) 카메라로부터 오리지널 비디오 입력을 수신하는 단계와,
    차량 비디오 패치들(vehicle video patches)의 스트림을 생성하는 단계와,
    상기 차량 비디오 패치들 내의 차량을 상응하는 차량의 저장된 이미지에 매칭시키는 단계와,
    상기 차량의 저장된 이미지에 상응하는 다른 각도의 이미지들을 검색하는 단계와,
    다른 방향으로 이동하는 상기 차량을 디스플레이하는 시뮬레이션 비디오에 상기 검색된 이미지들을 결합하는 단계와,
    상기 시뮬레이션 비디오를 렌더링하는 단계를 포함하는
    개선된 시뮬레이션 비디오를 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 검색된 이미지들은 상기 차량의 뒷부분의 이미지이고,
    상기 시뮬레이션 비디오는 카메라 방향과 반대 방향의 교통 흐름을 나타내는
    개선된 시뮬레이션 비디오를 생성하는 방법.
  3. 제 1 항에 있어서,
    길(road) 이미지, 배경 이미지, 각 차량의 경로, 각 차량의 속도, 녹음된 오디오 및 생성된 오디오의 세트 중에서 적어도 하나를 이용하여 상기 시뮬레이션 비디오를 개선하는 단계를 더 포함하는
    개선된 시뮬레이션 비디오를 생성하는 방법.
  4. 제 1 항에 있어서,
    사전정의된 수의 프레임들을 버퍼링하는 단계와,
    상기 차량이 상기 카메라에 가깝게 보이는 프레임들 내의 차량의 이미지들을 캡처하는 단계와,
    상기 캡처된 이미지들의 크기를 조정하는 단계와,
    동일한 상기 차량이 상기 카메라로부터 먼 거리에 보이는 프레임들 위에 상기 조정된 이미지를 합성(superimposing)하는 단계와,
    상기 합성된 프레임들을 상기 시뮬레이션 비디오에 결합하는 단계를 더 포함하는
    개선된 시뮬레이션 비디오를 생성하는 방법.
  5. 제 4 항에 있어서,
    상기 버퍼링은 미래의 프레임들에 대해 수행되는
    개선된 시뮬레이션 비디오를 생성하는 방법.
  6. 제 5 항에 있어서,
    버퍼링된 프레임들 내의 상기 차량은 정규화 교차보정(normalized cross-correlation)을 이용하여 매칭되는
    개선된 시뮬레이션 비디오를 생성하는 방법.
  7. 제 5 항에 있어서,
    버퍼링될 프레임들의 수는 상기 카메라로부터 차량의 사전정의된 거리 범위들에 기초하여 결정되는
    개선된 시뮬레이션 비디오를 생성하는 방법.

  8. 카메라 피드로부터 개선된 시뮬레이션 비디오를 생성하는 시스템으로서,
    적어도 하나의 단방향 카메라와,
    상기 적어도 하나의 단방향 카메라에 연결되며 비디오 프로세싱 애플리케이션을 실행하는 서버를 포함하되,
    상기 비디오 프로세싱 애플리케이션은,
    상기 단방향 카메라로부터 오리지널 비디오 입력을 수신하고,
    차량 비디오 패치들의 스트림을 생성하고,
    사전정의된 수의 비디오 프레임들을 버퍼링하고,
    차량들이 상기 카메라에 가깝게 보이는 프레임들에서 제 1 그룹의 차량들의 이미지를 캡처하고,
    상기 제 1 그룹의 차량들이 상기 카메라로부터 먼 거리에 보이는 프레임들 위에 상기 이미지를 합성하고,
    상기 차량 비디오 패치들 내의 제 2 그룹의 차량들을 상응하는 차량들의 저장된 이미지들에 매칭시키고,
    상기 차량들의 상기 저장된 이미지들에 상응하는 다른 각도의 이미지들을 검색하고,
    상기 합성된 이미지들을 개선된 해상도를 갖는 제 1 시뮬레이션 비디오에 결합하고,
    다른 방향으로 이동하는 상기 제 2 그룹의 차량들을 디스플레이하는 제 2 시뮬레이션 비디오에 상기 검색된 이미지들을 결합하며,
    상기 시뮬레이션 비디오들을 렌더링
    하도록 구성되는
    개선된 시뮬레이션 비디오를 생성하는 시스템.
  9. 제 8 항에 있어서,
    상기 제 1 비디오 및 상기 제 2 비디오는 동일한 비디오 스트림인
    개선된 시뮬레이션 비디오를 생성하는 시스템.
  10. 제 8 항에 있어서,
    상기 비디오 프로세싱 애플리케이션은, 사용자에게 상기 카메라의 가상 회전(virtual rotation)을 제공하는 사용자 입력에 기초하여 상기 다른 각도의 이미지들을 선택함으로써 상기 사용자가 시야각(viewing angle)을 선택할 수 있도록 더 구성되는
    개선된 시뮬레이션 비디오를 생성하는 시스템.
  11. 제 9 항에 있어서,
    상기 저장된 이미지들은 사전-캡처된 이미지들 및 합성으로(synthetically) 생성된 이미지들 중 적어도 하나를 포함하는
    개선된 시뮬레이션 비디오를 생성하는 시스템.
  12. 제 9 항에 있어서,
    상기 제 2 비디오는 정사영 지도(orthographic map) 위에 상기 검색된 이미지들을 결합함으로써 생성되는
    개선된 시뮬레이션 비디오를 생성하는 시스템.
  13. 카메라 피드로부터 개선된 시뮬레이션 비디오를 생성하는 명령들이 저장된 컴퓨터 판독가능한 저장 매체로서, 상기 명령들은,
    단방향 카메라로부터 오리지널 비디오 입력을 수신하게 하고,
    차량 비디오 패치들의 스트림을 생성하게 하고,
    사전정의된 수의 프레임들을 버퍼링하게 하고,
    상기 카메라로부터 멀리 있는 차량의 이미지가 개선되도록 정규화 교차보정을 이용하여 상기 버퍼링된 프레임들을 매칭하게 하고,
    상기 매칭된 프레임들을 상기 시뮬레이션 비디오에 결합하게 하는 것을 포함하는
    컴퓨터 판독가능한 저장 매체.
  14. 제 13 항에 있어서,
    상기 명령들은,
    상기 차량 비디오 패치들 내의 차량을 상응하는 차량의 저장된 이미지들에 매칭하게 하고,
    상기 차량의 상기 저장된 이미지들에 상응하는 다른 각도의 이미지들을 검색하게 하고,
    다른 방향으로 이동하는 상기 차량을 디스플레이하는 상기 시뮬레이션 비디오에 상기 검색된 이미지들을 결합하게 하는 것을 더 포함하는
    컴퓨터 판독가능한 저장 매체.
  15. 제 13 항에 있어서,
    상기 비디오 패치들의 스트림 생성, 상기 프레임들의 버퍼링, 상기 프레임들의 매칭은, 하드웨어 모듈, 소프트웨어 모듈 및 하드웨어와 소프트웨어 모듈의 조합의 세트 중 적어도 하나에 의해 각각 수행되는
    컴퓨터 판독가능한 저장 매체.
KR1020127031529A 2010-06-03 2011-05-23 교통 카메라에 대해 가외 뷰포인트 및 개선된 해상도를 갖는 시뮬레이션 비디오 생성 기법 KR101767289B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/792,881 2010-06-03
US12/792,881 US8823797B2 (en) 2010-06-03 2010-06-03 Simulated video with extra viewpoints and enhanced resolution for traffic cameras
PCT/US2011/037488 WO2011153015A2 (en) 2010-06-03 2011-05-23 Simulated video with extra viewpoints and enhanced resolution for traffic cameras

Publications (2)

Publication Number Publication Date
KR20130077829A true KR20130077829A (ko) 2013-07-09
KR101767289B1 KR101767289B1 (ko) 2017-08-10

Family

ID=45064180

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127031529A KR101767289B1 (ko) 2010-06-03 2011-05-23 교통 카메라에 대해 가외 뷰포인트 및 개선된 해상도를 갖는 시뮬레이션 비디오 생성 기법

Country Status (9)

Country Link
US (1) US8823797B2 (ko)
EP (1) EP2577958B1 (ko)
JP (1) JP5815026B2 (ko)
KR (1) KR101767289B1 (ko)
CN (1) CN102907091B (ko)
AU (1) AU2011261690B2 (ko)
RU (1) RU2554069C2 (ko)
TW (1) TWI535284B (ko)
WO (1) WO2011153015A2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171527B2 (en) * 2012-11-20 2015-10-27 Google Inc. System and method for displaying geographic imagery
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP6219101B2 (ja) 2013-08-29 2017-10-25 株式会社日立製作所 映像監視システム、映像監視方法、映像監視システム構築方法
CN105119837A (zh) * 2015-05-12 2015-12-02 电子科技大学 基于仿真终端配置优化的分布式交通仿真负载均衡算法
CN105681719A (zh) * 2016-02-17 2016-06-15 北京金迈捷科技有限公司 一种利用时域数据融合技术获取图像和视频的方法
KR102302004B1 (ko) * 2016-06-19 2021-09-14 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
FR3080701B1 (fr) 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
JP7187182B2 (ja) 2018-06-11 2022-12-12 キヤノン株式会社 データ生成装置、方法およびプログラム
RU2725682C1 (ru) * 2019-04-29 2020-07-03 Кэнон Кабусики Кайся Устройство обработки информации, способ обработки информации и носитель данных
US11827150B2 (en) * 2021-09-21 2023-11-28 International Business Machines Corporation Computer-implemented object visibility improvement by interposing an image in a viewer's line-of-sight
CN117011787B (zh) * 2023-07-12 2024-02-02 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270756A (en) 1992-02-18 1993-12-14 Hughes Training, Inc. Method and apparatus for generating high resolution vidicon camera images
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
JPH1139589A (ja) 1997-07-18 1999-02-12 Fuji Electric Co Ltd 交通監視装置および交通監視方法
JPH1196494A (ja) 1997-09-22 1999-04-09 Hitachi Ltd 交通流監視方法および装置
US8260537B2 (en) * 1997-10-22 2012-09-04 Intelligent Technologies International, Inc. Method for modifying an existing vehicle on a retrofit basis to integrate the vehicle into an information exchange system
AU4690899A (en) * 1998-06-18 2000-01-05 Kline & Walker Llc Automated devices to control equipment and machines with remote control and accountability worldwide
US6496850B1 (en) * 1999-08-31 2002-12-17 Accenture Llp Clean-up of orphaned server contexts
JP4387511B2 (ja) 1999-09-09 2009-12-16 株式会社バンダイナムコゲームス ゲーム装置および情報記憶媒体
JP3601392B2 (ja) * 1999-12-27 2004-12-15 住友電気工業株式会社 画像処理装置、画像処理方法及び車両監視システム
JP3816747B2 (ja) * 2000-12-21 2006-08-30 株式会社東芝 車種判別装置及び車種判別方法及び車種判別方法を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体
JP3467774B2 (ja) * 2001-04-27 2003-11-17 住友電気工業株式会社 画像処理装置、画像処理方法及び車両監視システム
US7389181B2 (en) * 2004-08-31 2008-06-17 Visre, Inc. Apparatus and method for producing video drive-by data corresponding to a geographic location
EP1553872B1 (en) * 2002-10-15 2010-01-13 Volvo Technology Corporation Method for interpreting a subjects head and eye activity
JP4144378B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7486294B2 (en) * 2003-03-27 2009-02-03 Microsoft Corporation Vector graphics element-based model, application programming interface, and markup language
JP2005020330A (ja) * 2003-06-26 2005-01-20 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7308341B2 (en) * 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US20050125121A1 (en) 2003-11-28 2005-06-09 Denso Corporation Vehicle driving assisting apparatus
CN101156434B (zh) 2004-05-01 2010-06-02 雅各布·伊莱泽 具有非均匀图像分辨率的数码相机
JP2006092450A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 画像処置装置および画像処理方法
US20060269105A1 (en) * 2005-05-24 2006-11-30 Langlinais Ashton L Methods, Apparatus and Products for Image Capture
US7577522B2 (en) * 2005-12-05 2009-08-18 Outland Research, Llc Spatially associated personal reminder system and method
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
JP2006197614A (ja) * 2006-01-20 2006-07-27 Sumitomo Electric Ind Ltd 画像処理装置、画像処理方法及び車両監視システム
US20080002909A1 (en) 2006-07-03 2008-01-03 Siemens Corporate Research, Inc. Reconstructing Blurred High Resolution Images
US7633383B2 (en) 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
US9076332B2 (en) 2006-10-19 2015-07-07 Makor Issues And Rights Ltd. Multi-objective optimization for real time traffic light control and navigation systems for urban saturated networks
US7580547B2 (en) * 2006-10-24 2009-08-25 Iteris, Inc. Electronic traffic monitor
US8139115B2 (en) * 2006-10-30 2012-03-20 International Business Machines Corporation Method and apparatus for managing parking lots
US7688229B2 (en) * 2007-04-30 2010-03-30 Navteq North America, Llc System and method for stitching of video for routes
JP2009151379A (ja) * 2007-12-18 2009-07-09 Nec Corp 通行監視システム、撮像装置、情報処理装置、通行監視方法、及び通行監視プログラム
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8237791B2 (en) 2008-03-19 2012-08-07 Microsoft Corporation Visualizing camera feeds on a map

Also Published As

Publication number Publication date
CN102907091B (zh) 2016-05-18
US8823797B2 (en) 2014-09-02
EP2577958A2 (en) 2013-04-10
WO2011153015A3 (en) 2012-01-26
TWI535284B (zh) 2016-05-21
TW201204021A (en) 2012-01-16
US20110298928A1 (en) 2011-12-08
EP2577958A4 (en) 2014-09-17
AU2011261690A1 (en) 2012-12-13
EP2577958B1 (en) 2018-05-02
JP2013530463A (ja) 2013-07-25
RU2012151489A (ru) 2014-06-10
KR101767289B1 (ko) 2017-08-10
JP5815026B2 (ja) 2015-11-17
CN102907091A (zh) 2013-01-30
RU2554069C2 (ru) 2015-06-27
WO2011153015A2 (en) 2011-12-08
AU2011261690B2 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
KR101767289B1 (ko) 교통 카메라에 대해 가외 뷰포인트 및 개선된 해상도를 갖는 시뮬레이션 비디오 생성 기법
US11223821B2 (en) Video display method and video display device including a selection of a viewpoint from a plurality of viewpoints
CN103024416B (zh) 视差补偿
US20190189006A1 (en) Three-dimensional information processing method and three-dimensional information processing device
US9251174B2 (en) System and method for producing multi-angle views of an object-of-interest from images in an image dataset
EP3413570B1 (en) Video display method and video display device
US9723223B1 (en) Apparatus and method for panoramic video hosting with directional audio
US8686873B2 (en) Two-way video and 3D transmission between vehicles and system placed on roadside
CN112369051A (zh) 用于车辆乘员和远程用户的共享环境
US9460351B2 (en) Image processing apparatus and method using smart glass
KR20100129745A (ko) 지도 상에서의 카메라 피드의 시각화
US20160379412A1 (en) Reality augmentation to eliminate, or de-emphasize, selected portions of base image
JP2016511850A (ja) プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
US9906769B1 (en) Methods and apparatus for collaborative multi-view augmented reality video
CN105138763A (zh) 一种增强现实中实景与现实信息叠加的方法
US20240096094A1 (en) Multi-view visual data damage detection
US20220254008A1 (en) Multi-view interactive digital media representation capture
US20220254007A1 (en) Multi-view interactive digital media representation viewer
US11827150B2 (en) Computer-implemented object visibility improvement by interposing an image in a viewer's line-of-sight
JP7261121B2 (ja) 情報端末装置及びプログラム
US20230316675A1 (en) Traveling in time and space continuum
CN117556122A (zh) 一种信息推送方法、系统、终端和存储介质
WO2022170327A1 (en) Multi-view interactive digital media representation viewer
Markov et al. Autostereoscopic displays for visualization of urban environments

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant