KR101860106B1 - 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램 - Google Patents

화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램 Download PDF

Info

Publication number
KR101860106B1
KR101860106B1 KR1020177006511A KR20177006511A KR101860106B1 KR 101860106 B1 KR101860106 B1 KR 101860106B1 KR 1020177006511 A KR1020177006511 A KR 1020177006511A KR 20177006511 A KR20177006511 A KR 20177006511A KR 101860106 B1 KR101860106 B1 KR 101860106B1
Authority
KR
South Korea
Prior art keywords
image
frame
area
quot
image data
Prior art date
Application number
KR1020177006511A
Other languages
English (en)
Other versions
KR20170041251A (ko
Inventor
토모아키 니타
Original Assignee
가부시키가이샤 차오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 차오 filed Critical 가부시키가이샤 차오
Publication of KR20170041251A publication Critical patent/KR20170041251A/ko
Application granted granted Critical
Publication of KR101860106B1 publication Critical patent/KR101860106B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

연속되는 정지 화상을 전송하여 동화상을 합성할 때, 흔들림이나 잔상의 발생을 방지하면서 전송량을 억제하는 것을 목적으로 한다. 　거점 서버(3)는 촬상 장치(2)에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준 프레임의 화상 데이터를 집약 서버(4)에 전송하는 기준 화상 전송 수단(11)과, 연속된 복수 프레임의 화상으로부터 배경 화상을 얻어, 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 각 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임의 직전의 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출하는 추출 영역 산출 수단(12)과, 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 집약 서버에 전송하는 추출 화상 전송 수단(13)을 포함하고, 집약 서버(4)는 거점 서버(3)로부터 전송된 기준 화상 데이터 및 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 화상 합성 수단(14)을 포함한다.

Description

화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램{IMAGE TRANSMISSION DEVICE, IMAGE TRANSMISSION METHOD, AND IMAGE TRANSMISSION PROGRAM}
본 발명은 촬상 거점에 있어서 촬상된 화상을 전송하는 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램에 관한 것이다.
촬상된 동화상을 원격지에 전송할 때 전송량을 억제하기 위해서 동화상 데이터의 압축이 행해진다. 이 동화상 데이터의 압축 기술로서는 다양한 종류의 것이 있는데, 기본적인 수법은 동화상의 각 프레임의 전후에서 변화가 있는 영역(차분 발생 영역)만을 전송하는 것이다(비특허문헌 1 참조.).
마츠다 유지, "동화 압축의 기술", [online], TDK 가부시키가이샤, [평성 26년 3월 12일 검색], 인터넷 <URL : http://www.tdk.co.jp/techmag/knowledge/200804/index2.htm>
그런데 연속된 복수 프레임의 화상을 취득하고, 이것을 원격지에 전송하여 합성함으로써 동화상을 얻고자 한 경우, 연속되는 복수 프레임의 화상의 전후에서 변화가 있는 영역을 차분 발생 영역으로서 추출할 때, 변화의 유무를 역치에 의해 판정하면, 동화상에 흔들림이 나오거나 잔상이 나타나거나 한다. 이것은 광의 흔들림 등에 의해 실제로는 변화가 있어도 변화 없음으로 판정되거나 변화가 없어도 변화 있음으로 판정되거나 하기 때문이다.
그래서 본 발명에 있어서는 연속된 복수 프레임의 화상을 전송하여 동화상을 얻을 때, 흔들림이나 잔상의 발생을 방지하면서 전송량을 억제하는 것이 가능한 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 화상 전송 장치는, 촬상 거점에 설치되고, 촬상 장치가 접속되는 거점 서버와, 거점 서버와 전기 통신 회선에 의해 접속되는 집약 서버를 포함하고, 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준이 되는 프레임(이하 「기준 프레임」이라고 함)의 화상의 데이터(이하 「기준 화상 데이터」라고 함)를 집약 서버에 전송하는 기준 화상 전송 수단과, 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 배경으로 하는 화상(이하 「배경 화상」이라고 함)을 얻어, 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 각 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임의 직전의 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출하는 추출 영역 산출 수단과, 각 프레임의 화상으로부터 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 집약 서버에 전송하는 추출 화상 전송 수단을 포함하고, 집약 서버는 거점 서버로부터 전송된 기준 화상 데이터 및 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 화상 합성 수단을 포함하는 것을 특징으로 한다.
또 본 발명의 화상 전송 방법은, 촬상 거점에 설치되고, 촬상 장치가 접속되는 거점 서버와, 거점 서버와 전기 통신 회선에 의해 접속되는 집약 서버에 의한 화상 전송 방법으로서, 거점 서버가 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준이 되는 프레임(기준 프레임)의 화상의 데이터(기준 화상 데이터)를 집약 서버에 전송하는 것, 거점 서버가 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 배경으로 하는 화상(배경 화상)을 얻어, 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 각 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임의 직전의 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출하는 것, 거점 서버가 각 프레임의 화상으로부터 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 집약 서버에 전송하는 것, 집약 서버가 거점 서버로부터 전송된 기준 화상 데이터 및 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 것을 포함하는 것을 특징으로 한다.
또 본 발명의 화상 전송 프로그램은, 촬상 거점에 설치되고, 촬상 장치가 접속되는 제1 컴퓨터를 거점 서버로서, 거점 서버와 전기 통신 회선에 의해 접속되는 제2 컴퓨터를 집약 서버로서 각각 기능시키기 위한 화상 전송 프로그램으로서, 제1 컴퓨터를, 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준이 되는 프레임(기준 프레임)의 화상의 데이터(기준 화상 데이터)를 집약 서버에 전송하는 기준 화상 전송 수단과, 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 배경으로 하는 화상(배경 화상)을 얻어, 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 각 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임의 직전의 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출하는 추출 영역 산출 수단과, 각 프레임의 화상으로부터 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 집약 서버에 전송하는 추출 화상 전송 수단으로서 기능시키기 위한 프로그램과, 제2 컴퓨터를, 거점 서버로부터 전송된 기준 화상 데이터 및 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 화상 합성 수단으로서 기능시키기 위한 프로그램을 포함하는 것이다.
상기 발명에 의하면 연속된 복수 프레임의 화상의 전후에서 변화가 있는 영역을 각각 추출하여 집약 서버에 전송하여 합성하는 것이 아니라, 연속된 복수 프레임의 각 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임의 직전의 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역의 화상 데이터를 추출하여 집약 서버에 전송하여 합성하므로, 연속된 복수 프레임의 화상의 전후에서 변화가 있는 영역의 각각의 광의 흔들림 등에 의한 영향이 적어지고, 동화상의 흔들림이나 잔상의 발생을 방지할 수 있다.
본 발명에 의하면 연속된 복수 프레임의 화상을 전송하여 동화상을 합성할 때, 흔들림이나 잔상의 발생을 방지하면서 전송량을 억제하는 것이 가능하게 된다.
도 1은 본 발명의 실시형태에 있어서의 화상 전송 장치의 개략 구성도이다.
도 2는 도 1의 화상 전송 장치의 블록도이다.
도 3은 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상의 설명도이다.
도 4는 복수 프레임의 화상예를 나타내는 도면이다.
도 5는 도 4의 (a), (b), (c)의 각 프레임의 화상과 각각의 배경 화상의 차분을 취한 화상예를 나타내는 도면이다.
도 6의 (a)는 도 4의 (a)의 프레임의 차분 발생 영역과 이것을 둘러싸는 제2 영역을 나타내는 도면, (b)는 도 4(b)의 프레임의 차분 발생 영역과 이들을 둘러싸는 제1 영역을 나타내는 도면, (c)는 도 4(a)의 프레임의 차분 발생 영역과 도 4(b)의 프레임의 차분 발생 영역의 양쪽을 둘러싸는 제3 영역을 나타내는 도면이다.
도 7은 도 4(b)의 프레임에 도 6(c)에 나타내는 제3 영역을 나타낸 설명도이다.
도 8은 도 4(a)의 프레임에 도 6(c)에 나타내는 제3 영역을 나타낸 설명도이다.
도 1에 있어서, 본 발명의 실시형태에 있어서의 화상 전송 장치(1)는, 촬상 거점에 설치되고, 촬상 장치(2)가 접속되는 거점 서버(3)와, 거점 서버(3)와 전기 통신 회선(N)에 의해 접속되는 집약 서버(4)로 구성된다. 촬상 장치(2)는 소정의 시간 간격(예를 들면 1/120초~1초 간격)으로 정지 화상을 촬상함으로써, 연속된 복수 프레임의 화상을 취득하는 장치이다. 거점 서버(3)는 촬상 거점마다 각각 설치된다. 또 각 거점 서버(3)에는 하나 또는 복수의 촬상 장치(2)가 접속된다.
도 2에 나타내는 바와 같이, 거점 서버(3)는 촬상 장치(2)에 의해 순차적으로 취득되는 연속된 복수 프레임의 각 프레임의 화상을 일시 기억하는 기억 수단(10)과, 소정의 타이밍마다 기준이 되는 프레임(기준 프레임)의 화상의 데이터(기준 화상 데이터)를 집약 서버(4)에 전송하는 기준 화상 전송 수단(11)과, 복수 프레임의 기준 프레임의 뒤의 각 프레임으로부터 추출하는 영역(이하 「추출 영역」이라고 함)을 산출하는 추출 영역 산출 수단(12)과, 각 프레임의 화상으로부터 각 프레임의 추출 영역의 화상 데이터를 순차적으로 추출하여 집약 서버(4)에 전송하는 추출 화상 전송 수단(13)을 가진다.
거점 서버(3)는 범용 서버, 퍼스널 컴퓨터, 마이크로 컴퓨터, PDA(개인 정보 단말), 포켓 컴퓨터, 스마트 폰, 피처 폰(휴대전화기)이나 휴대형 게임기 등의 다양한 컴퓨터 상에서, 이 컴퓨터를 상기 각 수단(10~13)으로서 기능시키기 위한 프로그램을 실행함으로써 실현된다.
기준 화상 전송 수단(11)은 도 3에 나타내는 바와 같이 촬상 장치(2)에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상(20a, 20b,…,20c, 20d, 20e, 20f, 20g, 20h, 20i, 20j, 20k,…)으로부터 소정의 타이밍마다 기준이 되는 프레임(기준 프레임)의 화상(20a, 20d, 20j)의 데이터(기준 화상 데이터)를 집약 서버(4)에 전송한다. 기준 프레임은 미리 설정된 시간(예를 들면 30초 간격이나 1분 간격 등)이나, 미리 설정된 프레임 수 등의 타이밍마다 결정된다.
추출 영역 산출 수단(12)은 촬상 장치(2)에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 배경으로 하는 화상(배경 화상)을 얻어, 촬상 장치(2)에 의해 순차적으로 취득되는 연속된 복수 프레임의 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 각 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임의 직전의 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출한다. 제3 영역이 추출 화상 전송 수단(13)에 의해 추출하는 영역(추출 영역)이다.
여기서 배경 화상은 각 프레임의 직전의 복수 프레임의 화상을 평균화한 것을 사용한다. 예를 들면 프레임(20d)에 대해서 배경 화상과의 차가 발생하고 있는 영역을 산출하는 경우, 추출 영역 산출 수단(12)은 이 프레임(20d)의 직전의 100프레임의 화상을 평균한 것을 배경 화상으로 한다. 그리고 이 배경 화상과 프레임(20d)의 차분을 취한다. 도 4(a)~(c)는 각 프레임(20d, 20e, 20f)의 화상의 예를, 도 5(a)~(c)는 도 4(a)~(c)의 각 프레임(20d, 20e, 20f)의 화상과 각각의 배경 화상과의 차분을 취한 화상의 예를 각각 나타내고 있다.
추출 영역 산출 수단(12)은 이와 같은 차분 처리를 기준 프레임(20d)의 뒤의 각 프레임(20e~20i)에 대해서 순차적으로 행하고, 각 프레임(20e~20i)의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임(20e~20i)의 직전의 프레임(20d~20h)의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역(추출 영역)을 산출한다. 도 6(a)은 프레임(20d)의 차분 발생 영역(31)과 이것을 둘러싸는 제2 영역(42)을 나타내고 있다. 도 6(b)은 프레임(20e)의 차분 발생 영역(32a, 32b)과 이들을 둘러싸는 제1 영역(41)을 나타내고 있다. 도 6(c)은 프레임(20d)의 차분 발생 영역(31)과 프레임(20e)의 차분 발생 영역(32a, 32b)의 양쪽을 둘러싸는 제3 영역(추출 영역)(43)을 나타내고 있다.
또한 본 실시형태에 있어서, 추출 영역 산출 수단(12)은 연산 처리를 간단히 하기 위해서, 2개의 수평선 및 2개의 수직선에 의해 구성되는 직사각형에 의해 둘러싸인 영역을 산출하는데, 본 발명은 이것에 한정되는 것은 아니다. 요컨대 차분이 발생하고 있는 화소 영역을 하나로 합쳐 1개의 영역에 의해 모두 둘러싸는 영역을 산출하는 것이면 된다.
또 추출 영역 산출 수단(12)은 각 프레임에 대한 제3 영역(추출 영역)의 위치 및 크기를 특정하는 제3 영역 정보(이하 「추출 영역 정보」라고 함)를 산출한다. 도 6(c)의 예에서는 추출 영역 산출 수단(12)은 추출 영역 정보로서 제3 영역(43)의 좌상측 모서리의 위치의 좌표(X, Y)와, 제3 영역(43)의 크기(폭(W) 및 높이(H))를 산출한다.
추출 화상 전송 수단(13)은 각 프레임의 화상으로부터 추출 영역 산출 수단(12)에 의해 산출된 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 집약 서버(4)에 전송한다. 도 4의 예에서는 추출 화상 전송 수단(13)은 도 7에 나타내는 바와 같이 프레임(20e)의 화상으로부터 도 6(c)에 나타내는 제3 영역(43)의 화상 데이터를 추출하여 집약 서버(4)에 전송한다. 또 추출 화상 전송 수단(13)은 이 제3 영역(43)의 화상 데이터에 더해 추출 영역 정보(좌표(X, Y), 폭(W) 및 높이(H))를 집약 서버(4)에 전송한다.
한편 집약 서버(4)는 도 2에 나타내는 바와 같이 거점 서버(3)로부터 전송된 기준 화상 데이터 및 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 화상 합성 수단(14)과, 화상 합성 수단(14)에 의해 합성된 동화상을 기억하는 기억 수단(15)과, 전기 통신 회선(N)을 통하여 접속하는 컴퓨터(5)(도 1 참조.)에 대하여 기억 수단(15)에 기억한 동화상을 제공하는 동화상 제공 수단(16)을 가진다. 집약 서버(4)는 상기 서술한 바와 같은 다양한 컴퓨터 상에서, 이 컴퓨터를 상기 각 수단(14~16)으로서 기능시키기 위한 프로그램을 실행함으로써 실현된다.
화상 합성 수단(14)은 거점 서버(3)로부터 전송된 기준 화상 데이터 및 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하고, 합성된 동화상을 기억 수단(15)에 기억한다. 본 실시형태에 있어서는 화상 합성 수단(14)은 각 프레임의 추출 영역 정보에 기초하여 기준 화상 데이터의 일부를 순차적으로 각 프레임의 제3 영역의 화상 데이터로 치환함으로써 동화상을 합성한다.
도 4의 예에서는 화상 합성 수단(14)은 도 8에 나타내는 기준 프레임(20d)의 화상에 대하여 프레임(20e)의 추출 영역 정보에 기초하여 좌표(X, Y)로부터 폭(W) 및 높이(H)의 일부의 화상 데이터를 도 7에 나타내는 프레임(20e)의 제3 영역(43)의 화상 데이터로 치환하여 기준 프레임(20d)의 다음의 프레임의 화상 데이터로 한다. 그리고 화상 합성 수단(14)은 다음의 프레임(20f)에 대해서도 순차적으로 직전의 프레임(20e)의 화상에 대하여 프레임(20f)의 추출 영역 정보에 기초하여 프레임(20f)의 제3 영역의 화상 데이터로 치환해감으로써 동화상을 합성한다.
동화상 제공 수단(16)은 전기 통신 회선(N)을 통하여 접속하는 컴퓨터(5)의 요구에 따라 기억 수단(15)에 기억한 동화상을 제공한다. 동화상 제공 수단(16)은 컴퓨터(5)로부터 촬상 거점마다 촬상 장치(2)를 지정하여 동화상이 요구되면, 요구된 동화상을 기억 수단(15)으로부터 취득하여, 전기 통신 회선(N)을 통하여 컴퓨터(5)에 제공한다.
상기 구성의 화상 전송 장치(1)에서는 각 촬상 거점에 설치된 거점 서버(3)가 하나 또는 복수의 촬상 장치(2)에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준 프레임의 화상 데이터를 기준 화상 전송 수단(11)에 의해 집약 서버(4)에 전송하고, 이 기준 프레임의 뒤의 각 프레임의 화상에 대해서는 순차적으로 추출 영역 산출 수단(12)에 의해 산출한 각 프레임의 제3 영역의 화상 데이터를 추출 화상 전송 수단(13)에 의해 추출하여 집약 서버(4)에 전송한다.
한편 집약 서버(4)는 거점 서버(3)로부터 전송된 기준 화상 데이터와, 순차적으로 전송된 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하고, 기억 수단(15)에 기억한다. 그리고 집약 서버(4)는 전기 통신 회선(N)을 통하여 접속하는 컴퓨터(5)의 요구에 따라 기억 수단(15)에 기억한 동화상을 제공한다.
이와 같이 본 실시형태에 있어서의 화상 전송 장치(1)에서는 연속된 복수 프레임의 화상의 전후에서 변화가 있는 영역을 각각 추출하여 집약 서버(4)에 전송하여 합성하는 것이 아니라, 연속된 복수 프레임의 각 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제1 영역과, 각 프레임의 직전의 프레임의 화상과 배경 화상 사이에서 차가 발생하고 있는 제2 영역의 양쪽을 둘러싸는 제3 영역(추출 영역)의 화상 데이터를 추출하고, 집약 서버(4)에 전송하여 합성하므로, 연속된 복수 프레임의 화상의 전후에서 변화가 있는 영역의 각각의 광의 흔들림 등에 의한 영향이 적어져, 동화상의 흔들림이나 잔상의 발생을 방지하면서 전송량을 억제할 수 있다.
또한 본 실시형태에 있어서는 기준 프레임을 미리 설정된 시간이나 프레임 수 등의 타이밍에 바꾸고 있지만, 다른 타이밍에 바꾸는 구성으로 하는 것도 가능하다. 예를 들면 일정량 이상의 차분이 발생한 타이밍(예를 들면 전체의 80%의 화소가 변화한 타이밍)에 바꾸는 것도 가능하다.
또 본 실시형태에 있어서는 배경 화상으로서 각 프레임의 직전의 복수 프레임의 화상을 평균화한 것을 사용하고 있지만, 배경 화상으로서 기준 프레임의 화상을 사용하거나, 기준 프레임의 직전의 복수 프레임의 화상을 평균화한 것을 사용하거나 하는 것도 가능하다. 또한 배경 화상으로서 기준 프레임의 화상을 사용하면, 모든 부분에 차분이 발생해버리기 때문에 전송량이 늘어나버리는데, 본 실시형태와 같이 배경 화상으로서 각 프레임의 직전의 복수 프레임의 화상을 평균화한 것을 사용함으로써 차분의 발생을 억제할 수 있다.
(산업상 이용 가능성)
본 발명의 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램은 감시 장소 등의 촬상 거점에 있어서 촬상된 화상을 흔들림이나 잔상의 발생을 방지하면서 전송량을 억제하여 전송하고, 동화상을 합성하는 장치, 방법 및 프로그램으로서 유용하다.
1…화상 전송 장치 2…촬상 장치
3…거점 서버 4…집약 서버
5…컴퓨터 10, 15…기억 수단
11…기준 화상 전송 수단 12…추출 영역 산출 수단
13…추출 화상 전송 수단 14…화상 합성 수단
16…동화상 제공 수단

Claims (7)

  1. 촬상 거점에 설치되고, 촬상 장치가 접속되는 거점 서버; 및
    상기 거점 서버와 전기 통신 회선에 의해 접속되는 집약 서버;
    를 포함하고,
    상기 거점 서버는
    상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준이 되는 프레임(이하 「기준 프레임」이라고 함)의 화상의 데이터(이하 「기준 화상 데이터」라고 함)를 상기 집약 서버에 전송하는 기준 화상 전송 수단,
    상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 배경으로 하는 화상(이하 「배경 화상」이라고 함)을 얻어, 상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 상기 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 상기 각 프레임의 화상과 상기 배경 화상 사이에서 차가 발생하고 있는 영역을 둘러싸는 제1 영역과, 상기 각 프레임의 직전의 프레임의 화상과 상기 배경 화상 사이에서 차가 발생하고 있는 영역을 둘러싸는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출하는 추출 영역 산출 수단, 및
    상기 각 프레임의 화상으로부터 상기 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 상기 집약 서버에 전송하는 추출 화상 전송 수단
    을 포함하고,
    상기 집약 서버는
    상기 거점 서버로부터 전송된 상기 기준 화상 데이터 및 상기 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 화상 합성 수단,
    을 포함하는 것을 특징으로 하는 화상 전송 장치.
  2. 제1 항에 있어서, 상기 배경 화상은 상기 각 프레임의 직전의 복수 프레임의 화상을 평균화한 것인 것을 특징으로 하는 화상 전송 장치.
  3. 제1 항에 있어서, 상기 배경 화상은 상기 기준 프레임의 화상인 것을 특징으로 하는 화상 전송 장치.
  4. 제1 항에 있어서, 상기 배경 화상은 상기 기준 프레임의 직전의 복수 프레임의 화상을 평균화한 것인 것을 특징으로 하는 화상 전송 장치.
  5. 제1 항 내지 제4 항 중 어느 한 항에 있어서, 상기 추출 영역 산출 수단은 상기 각 프레임의 제3 영역의 위치 및 크기를 특정하는 정보(이하 「제3 영역 정보」라고 함)를 산출하는 것이고,
    상기 추출 화상 전송 수단은 상기 각 프레임의 제3 영역의 화상 데이터에 더해 상기 각 프레임의 제3 영역 정보를 전송하는 것이고,
    상기 화상 합성 수단은 상기 각 프레임의 제3 영역 정보에 기초하여 상기 기준 화상 데이터의 일부를 순차적으로 상기 각 프레임의 제3 영역의 화상 데이터로 치환함으로써 상기 동화상을 합성하는 것인
    것을 특징으로 하는 화상 전송 장치.
  6. 촬상 거점에 설치되고, 촬상 장치가 접속되는 거점 서버, 및
    상기 거점 서버와 전기 통신 회선에 의해 접속되는 집약 서버
    에 의한 화상 전송 방법으로서,
    상기 거점 서버가 상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준이 되는 프레임(이하 「기준 프레임」이라고 함)의 화상의 데이터(이하 「기준 화상 데이터」라고 함)를 상기 집약 서버에 전송하는 단계;
    상기 거점 서버가 상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 배경으로 하는 화상(이하 「배경 화상」이라고 함)을 얻어, 상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 상기 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 상기 각 프레임의 화상과 상기 배경 화상 사이에서 차가 발생하고 있는 영역을 둘러싸는 제1 영역과, 상기 각 프레임의 직전의 프레임의 화상과 상기 배경 화상 사이에서 차가 발생하고 있는 영역을 둘러싸는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출하는 단계;
    상기 거점 서버가 상기 각 프레임의 화상으로부터 상기 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 상기 집약 서버에 전송하는 단계; 및
    상기 집약 서버가 상기 거점 서버로부터 전송된 상기 기준 화상 데이터 및 상기 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 단계;
    를 포함하는 것을 특징으로 하는 화상 전송 방법.
  7. 촬상 거점에 설치되고, 촬상 장치가 접속되는 제1 컴퓨터를 거점 서버로서, 상기 거점 서버와 전기 통신 회선에 의해 접속되는 제2 컴퓨터를 집약 서버로서 각각 기능시키기 위한, 컴퓨터 판독 가능한 기록 매체에 저장된 화상 전송 프로그램으로서,
    상기 제1 컴퓨터를
    상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 소정의 타이밍마다 기준이 되는 프레임(이하 「기준 프레임」이라고 함)의 화상의 데이터(이하 「기준 화상 데이터」라고 함)를 상기 집약 서버에 전송하는 기준 화상 전송 수단과,
    상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 화상으로부터 배경으로 하는 화상(이하 「배경 화상」이라고 함)을 얻어, 상기 촬상 장치에 의해 순차적으로 취득되는 연속된 복수 프레임의 상기 기준 프레임의 뒤의 각 프레임에 대해서, 순차적으로 상기 각 프레임의 화상과 상기 배경 화상 사이에서 차가 발생하고 있는 영역을 둘러싸는 제1 영역과, 상기 각 프레임의 직전의 프레임의 화상과 상기 배경 화상 사이에서 차가 발생하고 있는 영역을 둘러싸는 제2 영역의 양쪽을 둘러싸는 제3 영역을 산출하는 추출 영역 산출 수단과,
    상기 각 프레임의 화상으로부터 상기 각 프레임의 제3 영역의 화상 데이터를 순차적으로 추출하여 상기 집약 서버에 전송하는 추출 화상 전송 수단
    으로서 기능시키기 위한 프로그램과,
    상기 제2 컴퓨터를
    상기 거점 서버로부터 전송된 상기 기준 화상 데이터 및 상기 각 프레임의 제3 영역의 화상 데이터로부터 동화상을 합성하는 화상 합성 수단
    으로서 기능시키기 위한 프로그램
    을 포함하고, 컴퓨터 판독 가능한 기록 매체에 저장된 화상 전송 프로그램.
KR1020177006511A 2014-08-11 2015-08-07 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램 KR101860106B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-163821 2014-08-11
JP2014163821A JP6049024B2 (ja) 2014-08-11 2014-08-11 画像伝送装置、画像伝送方法および画像伝送プログラム
PCT/JP2015/072531 WO2016024546A1 (ja) 2014-08-11 2015-08-07 画像伝送装置、画像伝送方法および画像伝送プログラム

Publications (2)

Publication Number Publication Date
KR20170041251A KR20170041251A (ko) 2017-04-14
KR101860106B1 true KR101860106B1 (ko) 2018-05-21

Family

ID=55304174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177006511A KR101860106B1 (ko) 2014-08-11 2015-08-07 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램

Country Status (7)

Country Link
US (1) US10171822B2 (ko)
EP (1) EP3182711B1 (ko)
JP (1) JP6049024B2 (ko)
KR (1) KR101860106B1 (ko)
CN (1) CN107079175B (ko)
EA (1) EA038312B1 (ko)
WO (1) WO2016024546A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6732826B2 (ja) 2018-03-19 2020-07-29 株式会社チャオ カメラシステム
JP7093908B2 (ja) 2018-05-22 2022-07-01 株式会社チャオ カメラシステム
JP2020017804A (ja) * 2018-07-23 2020-01-30 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム
KR20210086812A (ko) * 2019-12-30 2021-07-09 삼성전자주식회사 동영상 처리 방법 및 이를 지원하는 전자 장치
EP3910961A1 (en) * 2020-05-12 2021-11-17 Axis AB Video compression stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置，プログラム，車両用監視システム
JP2010288230A (ja) * 2009-06-15 2010-12-24 Tokai Paudekkusu:Kk 動画情報中継システム、及び動画情報中継プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53116025A (en) * 1977-03-18 1978-10-11 Matsushita Electric Ind Co Ltd Picture transmission system
JP3150452B2 (ja) * 1992-10-21 2001-03-26 日本電信電話株式会社 動画像符号化装置
JP3830616B2 (ja) * 1996-12-26 2006-10-04 三菱電機株式会社 監視用画像処理装置
WO1998029834A1 (en) * 1996-12-30 1998-07-09 Sharp Kabushiki Kaisha Sprite-based video coding system
WO1998044739A1 (en) * 1997-03-31 1998-10-08 Sharp Kabushiki Kaisha Mosaic generation and sprite-based image coding with automatic foreground and background separation
JPH10336670A (ja) * 1997-04-04 1998-12-18 Sony Corp 画像伝送装置および画像伝送方法、提供媒体
US6157675A (en) 1997-04-04 2000-12-05 Sony Corporation Image transmission device and image transmission method
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
JP2006013754A (ja) 2004-06-24 2006-01-12 Victor Co Of Japan Ltd 動画像符号化装置及び動画像復号化装置
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
AU2007330109A1 (en) * 2006-11-30 2008-06-12 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
US9138942B2 (en) * 2009-11-14 2015-09-22 Expandable Structures, Llc Composite structure manufacturing method and apparatus
US9049447B2 (en) * 2010-12-30 2015-06-02 Pelco, Inc. Video coding
JP5333522B2 (ja) * 2011-06-06 2013-11-06 カシオ計算機株式会社 動画生成装置、動画生成方法、および、プログラム
US20130007004A1 (en) * 2011-06-30 2013-01-03 Landon Ip, Inc. Method and apparatus for creating a search index for a composite document and searching same
US20130019879A1 (en) * 2011-07-21 2013-01-24 Sun Spark Enterprise Co., Ltd. Mask with chin support
WO2013019517A1 (en) * 2011-08-02 2013-02-07 Ciinow, Inc. A method and mechanism for efficiently delivering visual data across a network
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
US9791184B2 (en) * 2014-07-07 2017-10-17 Santa Clara University Mobile thermoelectric vaccine cooler with a planar heat pipe
US9704201B2 (en) * 2014-07-30 2017-07-11 Conduent Business Services, Llc Method and system for detecting uninsured motor vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置，プログラム，車両用監視システム
JP2010288230A (ja) * 2009-06-15 2010-12-24 Tokai Paudekkusu:Kk 動画情報中継システム、及び動画情報中継プログラム

Also Published As

Publication number Publication date
EP3182711A1 (en) 2017-06-21
JP6049024B2 (ja) 2016-12-21
WO2016024546A1 (ja) 2016-02-18
CN107079175B (zh) 2019-11-22
CN107079175A (zh) 2017-08-18
EA038312B1 (ru) 2021-08-09
KR20170041251A (ko) 2017-04-14
US10171822B2 (en) 2019-01-01
EA201790310A1 (ru) 2017-07-31
US20170155915A1 (en) 2017-06-01
JP2016039606A (ja) 2016-03-22
EP3182711A4 (en) 2018-03-07
EP3182711B1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
KR101860106B1 (ko) 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
EP3391639B1 (en) Generating output video from video streams
US11798211B2 (en) Image processing system, image processing method and program, and device
US8305448B2 (en) Selective privacy protection for imaged matter
US10277832B2 (en) Image processing method and image processing system
US11582383B2 (en) Obtaining image data of an object in a scene
US20220174209A1 (en) System and method providing object-oriented zoom in multimedia messaging
CN108154058B (zh) 图形码展示、位置区域确定方法及装置
US20170127039A1 (en) Ultrasonic proximity detection system
CN111788538A (zh) 头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法
WO2022132826A1 (en) Systems and methods for synthetic augmentation of cameras using neural networks
JP6222703B2 (ja) ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
KR102168110B1 (ko) 카메라 시스템
US20120300021A1 (en) On-board camera system
CN109698933B (zh) 数据传输方法及摄像机、电子设备、计算机可读存储介质
JP2012212235A (ja) 物体検出システム、物体検出方法、及びプログラム
JP2020017804A (ja) 画像伝送装置、画像伝送方法および画像伝送プログラム
JP6251651B2 (ja) 電子透かし情報埋め込みシステム、電子透かし情報埋め込み方法及び電子透かし情報埋め込みプログラム
US11831965B1 (en) Identifiable information redaction and/or replacement
JP7142543B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法
WO2016024547A1 (ja) ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
KR101409906B1 (ko) 스트리밍 영상의 접근을 위한 이미지 파일의 제공 방법
MX2019009793A (es) Dispositivo y metodo de analisis de caracteristicas espaciales para el reconocimiento de acciones humanas.
WO2014092549A8 (en) System and method for moving object extraction using stereo vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant