KR101029202B1 - 파노라마 화상을 이용한 감시 장치 및 감시 방법 - Google Patents

파노라마 화상을 이용한 감시 장치 및 감시 방법 Download PDF

Info

Publication number
KR101029202B1
KR101029202B1 KR1020047014685A KR20047014685A KR101029202B1 KR 101029202 B1 KR101029202 B1 KR 101029202B1 KR 1020047014685 A KR1020047014685 A KR 1020047014685A KR 20047014685 A KR20047014685 A KR 20047014685A KR 101029202 B1 KR101029202 B1 KR 101029202B1
Authority
KR
South Korea
Prior art keywords
image
unit
delete delete
unit image
sequentially
Prior art date
Application number
KR1020047014685A
Other languages
English (en)
Other versions
KR20050090318A (ko
Inventor
히로노리 후지따
미끼꼬 마세
히데끼 하마
히로유끼 하세가와
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050090318A publication Critical patent/KR20050090318A/ko
Application granted granted Critical
Publication of KR101029202B1 publication Critical patent/KR101029202B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 촬영 방향을 순차적으로 변화시켜서 촬영 범위를 촬상함으로써 얻어지는 파노라마 화상을 감시하는 감시 장치이며, 촬영 방향을 순차적으로 변화시켜서 촬영 범위를 촬상함으로써 얻어지는 파노라마 화상에 대하여 각 단위 화상별로 서버(53)에 순차적으로 기록하여 두어, 서버로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서 원색 성분별로 휘도 레벨을 비교하여, 그 비교 결과에 기초하여 파노라마 화상을 구성하는 단위 화상별로 소정의 정보를 디스플레이(6)를 통해 표시함으로써, 사용자에게 주의를 촉구한다.
Figure R1020047014685
카메라 유닛, 감시 장치, 카메라부, 파노라마 화상, 단위 화상

Description

파노라마 화상을 이용한 감시 장치 및 감시 방법{MONITORING DEVICE AND MONITORING METHOD USING PANORAMA IMAGE}
본 발명은 촬영 방향을 순차적으로 변화시켜서 촬상함으로써 얻어진 파노라마 화상을 이용하여 광범위한 상황을 감시하는 감시 장치 및 감시 방법에 관한 것이다.
본 출원은 일본에서 2003년 1월 20일에 출원된 일본 특허출원 번호 2003-011614를 기초로 우선권을 주장하는 것이며, 이 출원은 참조함으로써 본 출원에 원용된다.
종래, 널리 이용되고 있는 전자 스틸 카메라는 렌즈를 통하여 CCD 등의 고체 촬상 소자에 의해 촬상한 피사체상을 전기 신호로서의 화상 신호로 변환하고, 이를 기록 매체에 기록하고, 기록한 화상 신호의 재생을 행하는 기능을 구비하고 있다. 또한, 전자 스틸 카메라의 대부분은 촬상한 정지 화상을 표시할 수 있는 모니터를 구비하고, 지금까지 기록한 정지 화상 중 특정의 것을 선택하여 표시할 수 있다. 이 전자 스틸 카메라에 있어서, 모니터에 공급되는 화상 신호는 한 화면마다의 피사체에 대응하는 것이기 때문에, 동시에 표시되는 화상은 좁은 범위의 것이 되어 광범위한 상황을 동시에 감시할 수 없었다. 이와 같은 문제점을 해결하기 위해, 카메라의 촬영 방향을 차례로 시프트시키면서 피사체를 촬영하고, 이들을 합성하여 파노라마 화상을 얻음으로써 광범위한 상황을 감시할 수 있는 모니터링 방법이 제안되고 있다.
특히 최근에는, 복수의 화상 신호를 축소/합성하여 1프레임의 화상 신호로 하는 기술이 일본 특허공개 평10-108163호 공보에서 제안되고, 설치된 복수의 감시용 비디오 카메라로부터 감시 영상을 모아서 비디오 테이터 등의 기록 매체에 기록하고 감시를 행할 수 있게 하는 집중 감시 기록 시스템도 일본 특허공개 2000-243062호 공보에서 제안되어 있다.
이 기록 매체에 기록되어 있는 화상을 이용하여, 촬영 범위에 있어서의 무엇인가의 변화를 검출하는 경우에, 감시원은 1스캔마다 시시각각으로 입력되는 감시 화상의 상황을 구석구석까지 관찰하지 않으면 안되었다. 특히 감시원은 사소한 화상의 변화나 미소한 대상물의 출현 등에 대해 항상 식별하지 않으면 안되어, 과대한 노력이나 시간을 필요로 하며, 더욱이 이러한 감시원의 눈에 의존하는 시스템이기 때문에 이러한 상황 변화를 간과할 우려도 있었다.
또한, 촬영 범위에서의 변화가 검출된 경우에 있어서, 과거에 기록되어 있는 화상 데이터까지 거슬러 올라가 이를 참조하여, 상세한 상황이나 원인을 해석하지 않으면 안되므로, 감시원의 노력 부담이 더욱 증대한다는 문제점도 있었다.
본 발명의 목적은, 상술한 바와 같은 종래 기술이 갖는 문제점을 해결할 수 있는 신규의 감시 장치 및 감시 방법, 또한 촬상 장치, 감시 장치를 동작시키기 위 한 프로그램, 또한 감시 시스템을 제공하는 것에 있다.
본 발명의 다른 목적은, 감시원의 노력 부담을 경감시키고, 넓은 촬영 범위로부터 신속하며 정확하게 상황의 변화를 검출할 수 있는 감시 장치 및 감시 방법, 또한 촬상 장치, 감시 장치를 동작시키기 위한 프로그램, 또한 감시 시스템을 제공하는 것에 있다.
본 발명에 관련된 감시 장치는, 촬영 방향을 순차적으로 변화시켜서 촬영 범위를 촬상함으로써 얻어진 파노라마 화상에 대하여 각 단위 화상마다 기록 매체에 순차적으로 기록하여 두고, 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서 원색 성분마다 휘도 레벨을 비교하여, 그 비교 결과에 기초하여 파노라마 화상을 구성하는 단위 화상마다 소정의 정보를 표시함으로서, 사용자에게 주의를 촉구하도록 한 것이다.
구체적으로 본 발명은, 촬영 방향을 순차적으로 변화시켜 촬영 범위를 촬상함으로써 얻어진 파노라마 화상을 감시하는 감시 장치에 있어서, 상기 파노라마 화상을 구성하는 각 단위 화상으로서, 촬상 방향을 수평 방향 또는 수직 방향으로 차례로 변화시켜 촬상된 i×j개의 단위 화상을 기록 매체에 순차적으로 기록하는 기록 수단과, 상기 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서, 원색 성분별로 상기 단위 화상들 사이의 휘도 레벨을 비교하는 비교 수단과, 상기 촬상한 i×j개의 단위 화상을 접합함으로써 합성한 파노라마 화상과 함께, 상기 비교 수단에 의한 비교 결과에 기초하여, 상기 파노라마 화상을 구성하는 상기 단위 화상별로 소정의 정보를 표시하는 표시 수단을 구비한다.
본 발명에 관련된 감시 방법은, 촬영 방향을 순차적으로 변화시켜 촬영 범위를 촬상함으로써 얻어진 파노라마 화상을 감시하는 감시 방법에 있어서, 상기 파노라마 화상을 구성하는 각 단위 화상으로서, 촬상 방향을 수평 방향 또는 수직 방향으로 차례로 변화시켜 촬상된 i×j개의 단위 화상을 기록 매체에 순차적으로 기록하고, 상기 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서, 원색 성분별로 상기 단위 화상들 사이의 휘도 레벨을 비교하고, 상기 촬상한 i×j개의 단위 화상을 접합함으로써 합성한 파노라마 화상과 함께, 상기 비교 결과에 기초하여 상기 파노라마 화상을 구성하는 상기 단위 화상별로 소정의 정보를 표시한다.
본 발명에 관련된 촬상 장치는, 촬영 방향을 순차적으로 변화시켜서 촬영 범위를 촬상함으로써 파노라마 화상의 화상 신호를 생성하는 촬상 수단과, 생성된 화상 신호에 기초하여 파노라마 화상을 구성하는 각 단위 화상을 기록 매체에 순차적으로 기록하는 기록 수단과, 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서 원색 성분마다 휘도 레벨을 비교하는 비교 수단과, 비교 수단에 의한 비교 결과에 기초하여 파노라마 화상을 구성하는 단위 화상마다 소정의 정보를 표시하는 표시 수단을 구비한다.
본 발명에 관련된 컴퓨터에 의해 판독 가능한 프로그램은, 촬영 방향을 순차적으로 변화시켜서 촬영 범위를 촬상함으로써 얻어진 파노라마 화상을 감시하는 프로그램으로, 파노라마 화상을 구성하는 각 단위 화상을 기록 매체에 순차적으로 기록하고, 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서 원색 성분마다 휘도 레벨을 비교하고, 비교 결과에 기초하여 파노라마 화상을 구성하는 단위 화상마다 소 정의 정보를 표시한다.
본 발명에 관련된 감시 시스템은, 촬영 방향을 순차적으로 변화시켜서 촬영 범위를 촬상함으로써 파노라마 화상의 화상 신호를 생성하는 촬상 장치와, 생성되는 화상 신호에 기초하여 파노라마 화상을 구성하는 각 단위 화상을 순차적으로 기록하는 서버와, 서버로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서 원색 성분마다 휘도 레벨을 비교하는 서버 제어 수단과, 통신망을 통하여 서버 제어 수단에 의한 비교 결과가 송신되고 당해 비교 결과에 기초하여 파노라마 화상을 구성하는 단위 화상마다 소정의 정보를 표시하는 단말 장치를 구비한다.
본 발명의 또 다른 목적, 본 발명에 의해 얻어지는 구체적인 이점은 이하에서 도면을 참조하여 설명되는 실시 형태의 설명에서 한층 분명해질 것이다.
도 1은 본 발명을 적용한 감시 시스템의 구성을 도시한 도면이다.
도 2는 카메라 유닛, 감시 장치의 블록도이다.
도 3은 카메라 유닛에 의해, 검정 테두리로 표시된 촬영 범위 내를 촬영 화각 u로 촬상하는 경우에 대해 설명하기 위한 도면이다.
도 4는 디스플레이상의 표시 화면의 구성예를 도시한 도면이다.
도 5는 촬상된 화상위에 생긴 차이를 검출하는 방법에 대해 설명하기 위한 도면이다.
도 6A 내지 도 6C는 원색 성분마다 색 레벨, 차이 검출 레벨을 설정하는 방 법에 대해 설명하기 위한 도면이다.
도 7A, 도 7B는 차이를 검출할 수 있는 대상물의 크기를 선택하는 경우에 대해 설명하기 위한 도면이다.
도 8은 피검출 영역과 참조 화상 영역과의 사이즈 비교의 일례를 도시한 도면이다.
도 9는 기준 블록, 탐색 블록의 설정에 대해 설명하기 위한 도면이다.
도 10A, 도 10B는 상이도를 구하는 방법에 대해 설명하기 위한 도면이다.
도 11A, 도 11B는 분산 적분치의 산출 방법에 대해 설명하기 위한 도면이다.
도 12는 전체 화상 표시부에서 표시되는 단위 화상에 대해 사용자에 의한 각종 설정 순서를 도시한 플로우차트이다.
도 13은 각 단위 화상에 대해서의 차이 검출의 순서를 도시한 플로우차트이다.
도 14는 검출한 차이에 관한 정보를 단말 장치를 조작하는 사용자에 대해 제공하는 순서를 도시한 플로우차트이다.
이하, 본 발명의 실시 형태에 대해 도면을 참조하면서 상세히 설명한다.
본 발명을 적용한 감시 시스템(1)은 도 1에 도시한 바와 같이 피사체를 촬상하여 화상 신호를 생성하는 카메라 유닛(2)과, 카메라 유닛(2)에 의해 생성된 화상 신호가 전송되는 감시 장치(5)와, 감시 장치(5)에 접속되는 디스플레이(6)와, 복수의 사용자가 어플리케이션을 실행하기 위한 단말 장치(9)와, 감시 장치(5)와 각 단 말 장치(9)의 사이에서 정보를 송수신하기 위한 네트워크(8)와, 단말 장치(9)에 접속되는 단말 디스플레이(10)와, 네트워크(8)에 접속되는 네트워크 서버(11)를 구비하고 있다.
카메라 유닛(2)은 팬틸터부(3)와, 카메라부(4)가 일체적으로 구성되어서 이루어진다. 팬틸터부(3)는 예를 들면 팬, 틸트의 2축에 대하여 촬영 방향을 자유자재로 변경하기 위한 회전대로서 구성된다.
카메라부(4)는 팬틸터부(3)를 구성하는 회전대상에 배치되고, 감시 장치(5)에 의한 제어에 응하여 촬영 방향을 수평 방향 또는 수직 방향으로 조정하면서 피사체를 촬상한다. 이 카메라부(4)는 감시 장치(5)에 의한 제어에 응하여 촬영 화각을 순차적으로 변경함으로써, 촬영 배율을 확대 또는 축소하여 피사체를 촬상한다. 이 카메라부(4)를 하나의 감시 장치(5)에 대하여 복수 설치함으로써, 동일 피사체에 대하여 서로 다른 촬영 각도에서 촬상할 수 있어 다면적인 화상 정보를 얻는 것도 가능하게 된다.
감시 장치(5)는, 예를 들면 퍼스널 컴퓨터(PC) 등의 정보 처리 장치에 의해 구성되어, 카메라 유닛(2)으로부터 전송되는 화상 신호를 기록하고 기록한 화상 신호에 대하여 디스플레이(6)를 통하여 사용자에게 표시한다. 이 감시 장치(5)는 사용자로부터 원하는 화상 영역 또는 화상 위치가 지정된 경우에는, 기록한 화상 신호 중에서 최적인 것을 선택하여 이를 표시하도록 제어한다. 감시 장치(5)는 네트워크(8) 전체를 제어하기 위한 이른바 중앙 제어 장치로서의 역할도 담당하며, 다른 단말 장치(9)로부터의 요구에 응하여 화상을 송신한다.
네트워크(8)는, 예를 들면 감시 장치(5)와 전화 회선을 통해 접속되는 인터넷망을 시작으로, TA/모뎀과 접속되는 ISDN(Integrated Services Digital Network)/B(broadband)-ISDN 등과 같이, 정보의 쌍방향 송수신을 가능하게 한 공중 통신망이다. 한편, 감시 시스템(1)을 일정한 좁은 에어리어내에서 운용할 경우에는 네트워크(8)를 LAN(Local Area Network)으로 구성해도 된다. 네트워크(8)는 정지 화상에 추가해서 MPEG 화상도 송신할 수 있도록 하여도 된다. 이같은 경우에는 인터넷 프로토콜(IP)에 기초하여 MPEG 데이터가 있는 하나의 채널로부터 계속적으로 송신되며, 정지 화상 데이터는 다른 채널로부터 일정 시간마다 송신되게 된다.
단말 장치(9)는 각 가정이나 기업 등에 대기하는 사용자가 네트워크(8)를 통하여 감시 장치(5)로부터 화상을 취득하고 원하는 처리를 실행하기 위한 PC이다. 복수의 단말 장치(9)를 네트워크(8)에 접속함으로써 복수의 사용자에 대해 이 감시 시스템(1)의 어플리케이션을 동시에 제공하는 것이 가능하게 된다. 이 단말 장치(9)는 감시 장치(5)로부터 취득한 화상을 단말 디스플레이(10)에 표시한다. 또한 이 단말 장치(9)는 사용자에 의한 지정 조작에 응하여 요구 신호를 생성하고 이를 감시 장치(5)에 송신한다. 한편 단말 장치(9)의 블록 구성에 대해서는 후술하는 감시 장치(5)의 구성을 인용하고, 설명을 생략한다.
네트워크 서버(11)는, 예를 들면 인터넷 정보를 관리하여 단말 장치(9)에 의한 요구를 받아서 자신이 저장하고 있는 소정의 정보를 송신한다.
다음에, 본 발명을 적용한 감시 시스템(1)의 구성하는 카메라 유닛(2), 감시 장치(5)의 구성을 상세하게 설명한다.
도 2는 카메라 유닛(2), 감시 장치(5)의 구성을 도시한 블록도이다. 도 2에서 공통의 컨트롤러 버스(21)에 대하여 카메라 유닛(2) 그리고 감시 장치(5)의 각 구성 요소가 접속되어 있다.
카메라 유닛(2)을 구성하는 팬틸터부(3)는 촬상 방향을 변경하기 위한 회전대를 제어하는 틸트(Tilt)부(3a), 팬(Pan)부(3b)를 갖는다. 또한 카메라 유닛(2)을 구성하는 카메라부(4)는 주로 렌즈부(22)의 화각을 변경하기 위한 렌즈 제어부(23)와, 렌즈부(22)의 광축에 직교하는 위치로 배치되는 촬상부(24)와, 촬상부(24)에 의해 생성된 화상 신호를 감시 장치(5)에 송신하기 위한 IEEE(Institute of Electrical and Electronics Engineers) 1394 인터페이스(25)와, 카메라 유닛(2)의 현재 위치를 탐색하기 위한 GPS(Global Positioning System) 수신부(28)와, GPS 수신부(28)에 장착되는 메타데이터 생성부(29)를 구비하고 있다. 한편, IEEE 1394 인터페이스(25)는 이더넷(등록 상표)로 대체하여도 된다.
감시 장치(5)는 IEEE 1394 인터페이스(25)에 접속되는 버퍼 메모리(51)와, 버퍼 메모리(51)에 접속되는 엔코더(52)와, 엔코더(52)로부터 출력되는 화상을 축적하는 서버(53)와, 서버(53)로부터 판독된 화상을 압축하기 위한 화상 압축부(54)와, 서버(53) 및 화상 압축부(54)에 접속되어 디스플레이(6)상에 표시되는 화상을 만들어 내는 그래픽 컨트롤러(55)와, 컨트롤러 버스(21)를 통하여 각부를 제어하기 위한 CPU(56)와, I/O 포트(58)에 각각 접속되어 디스플레이(6)상에 표시되어 있는 화상으로부터 사용자가 원하는 화상 영역, 화상 위치를 지정하기 위한 키보드(59) 그리고 마우스(60)와, 또한 이 I/O 포트(58)에 접속되는 메모리 카드(61) 그리고 시계(62)를 구비하고 있다.
틸드부(3a) 그리고 팬부(3b)는 CPU(56)로부터의 구동 신호에 기초하여 회전대의 구동원으로서 구성되어 있는 스테핑 모터를 회전시킨다. 이에 따라 회전대 위에 설치되어 있는 카메라부(4)의 촬영 방향을 수평 방향 또는 수직 방향으로 변경할 수 있다.
렌즈 제어부(23)는 CPU(56)로부터의 구동 신호에 기초하여 렌즈부(22)에 대하여 자동 노출 제어 동작이나 자동 초점 제어 동작을 실행한다. 이 렌즈 제어부(23)는 이같은 구동 신호에 기초하여 피사체에 대한 촬영 화각을 변경한다. 이에 따라 카메라부(4)는 촬영 배율을 순차적으로 조절하여 피사체를 촬상하는 것도 가능해진다.
촬상부(24)는, 예를 들면 CCD(Charge Coupled Device) 등의 고체 촬상 소자에 의해 구성되며, 렌즈부(22)를 통하여 입사되는 피사체상을 화상면 위에 결상시켜 광전 변환에 의해 화상 신호를 생성하여, 이를 IEEE 1394 인터페이스(25)에 송신한다.
GPS 수신부(28)는 GPS 시스템에 의해 송출되는 신호에 기초하여 카메라 유닛(2)의 설치 장소나 촬영 방향을 검출한다. 이 GPS 수신부(28)를 설치함으로써, 특히 복수의 카메라 유닛(2)을 설치하는 경우에 있어서 쌍방의 촬영 방향을 연동하여 제어하는 것이 가능하게 된다. GPS 수신부(28)로부터의 출력 신호는 메타데이터 생성부(29)에 공급되어 GPS에 의한 측위 결과에 기초한 위도, 경도, 방위, 고도 등의 위치 정보, 그리고 시각이나 각종 파라메터 등으로 이루어지는 메타데이터가 생 성된다. 메타데이터 생성부(29)는 이 생성한 위치 정보나 메타데이터를 엔코더(52)에 공급한다. 한편 본 발명에서는 이 GPS 수신부(28), 메타데이터 생성부(29)의 구성을 생략해도 된다.
버퍼 메모리(51)는 CPU(56)로부터의 제어 신호에 기초하여 IEEE 1394 인터페이스(25)로부터 공급되는 화상 신호를 일시적으로 저장한다. 이 버퍼 메모리(51)에서 일시적으로 저장된 화상 신호는 엔코더(52)에 공급되어, 예를 들면 JPEG(Joint Photographic Experts Group) 등의 규격에 기초하여 압축 부호화된다. 이 엔코더(52)는 압축 부호화하는 화상 신호에 대하여 메타데이터 생성부(29)로부터 공급되는 위치 정보나 메타데이터를 추가해도 된다. 엔코더(52)는 압축 부호화한 화상 신호를 서버(53) 혹은 화상 압축부(54)에 출력한다. 한편, 공급되는 화상 신호에 대해 압축 부호화를 행하지 않는 경우에는 이 엔코더(52)에서의 처리는 생략할 수 있다.
서버(53)는 엔코더(52)로부터 출력되는 화상 신호를 위치 정보나 메타데이터와 관련시켜서 순차적으로 기록한다. 이 서버(53)는, 예를 들면 하드디스크나, 착탈 자재인 디스크상 기록 매체로 대체해도 된다. 서버(53)에 기록된 화상 신호는 CPU(56)에 의한 제어에 기초하여, 화상 압축부(54)나 그래픽 컨트롤러(55)에 판독된다. 한편 서버(53)에 기록되는 화상 신호를 메모리 카드(61)에 기록하도록 제어함으로써, 사용자는 이같은 촬상한 화상을 다른 PC에 이전하는 것도 가능해진다. 또한, 서버(53)에 기록되어 있는 화상 신호를 네트워크 서버(11)에 기록하도록 제어함으로써, 서버(53)를 네트워크 서버(11)에 대체하는 것도 가능해진다.
화상 압축부(54)는 서버(53)로부터 독출한 JPEG 형식의 화상 신호에 대해 각각 압축 화상 또는 섬네일 화상을 생성한다. 그래픽 컨트롤러(55)는 서버(53)로부터 판독한 화상 신호 또는 화상 압축부(54)로부터 출력되는 화상 신호에 기초하여, 디스플레이(6)에의 회화 처리를 실행한다. 또한, 이 그래픽 컨트롤러(55)는 CPU(56)에 의한 제어에 기초하여, 디스플레이(6)에서의 콘트라스트, 휘도의 제어를 실행한다.
CPU(56)는 사용자에 의해 키보드(59)나 마우스(60)를 통하여 화상 영역, 화상 위치가 지정된 경우에, 팬틸터부(3)나 렌즈 제어부(23)를 구동하기 위한 구동 신호나, 감시 장치(5) 내의 각부를 제어하기 위한 제어 신호를 컨트롤러 버스(21)를 통하여 송신한다. 이 CPU(56)는 단말 장치(9)로부터 소정의 요구 신호를 받아서 서버(53)에 기록되어 있는 화상으로부터 최적의 것을 선택하여, 혹은 각종 정보를 선택하여 이를 해당 단말 장치(9)에 송신하도록 제어한다.
다음에, 본 발명을 적용한 감시 시스템(1)에서의 촬상 동작에 대해서 설명한다.
도 3은 카메라 유닛(2)에 의해 검은 테두리로 표시한 촬영 범위 내를 촬영 각도 u로 촬영하는 경우에 대해 도시하고 있다. 촬영 범위를 촬상 각도 u로 전부 촬상하기 위해서는 촬영 방향을 수평 방향 또는 수직 방향에 차례로 시프트시켜서 촬상할 필요가 있다. 가령 촬영 범위의 사이즈가 임의의 촬영 화각 u로 촬상함으로써 얻어지는 프레임(이하, 단위 화상이라 한다.)의 사이즈의 i×j배로 표시할 수 있는 경우에는, 적어도 i×j종류의 촬영 방향을 설정할 필요가 있다. 이 촬영 화 각 u로 촬상한 i × j개의 단위 화상을 첩합시킴으로써 촬영 범위 전체를 표시하는 전체 화상을 합성할 수 있다.
여기에서, 촬영 범위의 각 단위 화상의 좌표(M, N)을 수평 방향에 대해 도 3의 좌측 끝에서부터 차례로 1, 2, … M, i라 하고, 수직 방향에 대해 위쪽 끝에서 부터 차례로 1, 2, … N, j로 했을 경우, CPU(56)은 틸트부(3a) 그리고 팬부(3b)에 대해서 구동 신호를 송신함으로써, 카메라부(4)의 촬영 방향을 먼저 좌측 위에 위치하는 좌표(1, 1)에 맞추어 촬영을 실행시킨다. 이 좌표(1, 1)에 대해 촬상함으로써 생성된 단위 화상에 기초하는 화상 신호는 버퍼 메모리(51)에 일시적으로 저장되어 엔코더(52)에서 JPEG 규격에 기초하여 압축 부호화된다. 그리고 이 화상 신호는 GPS(28)로부터 송신되는 촬영 방향 등을 표시하는 위치 정보나 메타데이터가 동시에 부가되어 서버(53)에 기록된다.
마찬가지로 CPU(56)는 틸트부(3a) 그리고 팬부(3b)에 대해서 구동 신호를 송신함으로써, 카메라부(4)의 촬영 방향을 우측에 1화면 프레임만큼 시프트시켜서 좌표(2, 1)에 맞추어 촬상을 실행한다. 이 좌표(2, 1)에 대해 촬상함으로써 생성된 화상 신호도 마찬가지로 서버(53)에 기록된다. CPU(56)에 의한 제어에 기초하여 카메라부(4)는 촬영 방향을 좌표(3, 1), (4, 1) … (i, 1)로 수평 방향에 순차적으로 변경시켜 촬상을 실행한다.
카메라부(4)는 1열째의 촬상을 종료한 후, CPU(56)에 의한 제어에 기초하여 촬영 방향을 2열째의 좌표(1, 2)에 조정하여 촬상을 실행하여, 그 후 수평 방향에 순차적으로 시프트시키면서 촬상을 실행한다. 이같은 동작을 반복하여 좌표(i, j) 까지 촬상을 종료시킨 후, 서버(53)는 좌표별로 촬상한 i×j개의 단위 화상에 기초하는 화상 신호가 기록되어 있는 상태가 된다.
이 서버(53)에 기록되어 있는 각 단위 화상에 기초하는 화상 신호는, 화상 압축부(54)에 의해 순차적으로 판독되어 디스플레이(6)의 표시 화면 사이즈에 적합하도록 압축된다. 이 압축된 각 단위 화상은 그래픽 컨트롤러(55)를 거쳐 디스플레이(6)에 표시된다. 서버(53)에 기록된 i×j개의 단위 화상을 전부 디스플레이(6)에 표시시킴으로써 한장의 전체 화상이 합성되게 된다. 상술한 촬상 동작을 일정 간격으로 실행함으로써, 촬영 범위의 최신 상황을 나타내는 전체 화상을 취득하는 것이 가능해진다.
도 4는 촬상한 i×j개의 단위 화상을 첩합(貼合)함으로써 합성한 전체 화상을, 디스플레이(6)의 전체 화상 표시부(70)에 표시하는 예를 도시하고 있다. 이 감시 장치(5)는 전체 화상 표시부(70)에 대해 전체 화상을 구성하는 각 단위 화상간의 경계를 표시시켜도 되고, 심리스한 전체 화상만을 표시시켜도 된다. 또한, 감시 장치(5)는 파노라마상의 전체 화상의 대체로서 촬상 범위 전체를 잡을 수 있는 촬영 화각에서 촬영한 한장의 전체 화상을 이 전체 화상 표시부(70)에 표시시켜도 된다.
표시 화면(45)에는 단위 화상을 확대한 확대 화상을 표시하기 위한 확대 화상 표시부(71)가 더 설치되어 있다. 이 확대 화상 표시부(71)는 전체 화상 표시부(70)에 표시되는 전체 화상을 구성하는 단위 화상 중, 사용자에 의해 지정된 하나의 단위 화상을 확대하여 표시하여도 되고, 또한 이같은 하나의 단위 화상의 촬영 방향에 대해 동화를 순차적으로 표시하여도 된다. 이에 따라 사용자는 지정한 단위 화상에서의 촬영 방향의 상황에 대해 리얼타임으로 확인할 수 있다.
표시 화면(45)에는 확대 화상 표시부(71)에 표시되어 있는 단위 화상에 대해 촬영 배율을 축소하여 표시시키기 위한 WIDE 버튼(72), 촬영 배율을 확대하여 표시시키기 위한 ZOOM 버튼(73)이 표시된다. 이 표시 화면(45)에는 카메라부(4)의 촬영 방향을 수평, 수직 방향에서 조정하기 위한 촬영 방향 제어부(75), 각종 모드 설정이나 서버에 대해 원하는 어드레스에 단위 화상에 기초하는 화상 신호를 기록시키기 위한 설정 버튼(76) 등도 표시된다.
사용자는 전체 화상 표시부(70)나 확대 화상 표시부(71)에 대해서 키보드(59)나 마우스(60)를 이용하여, 원하는 화상 영역, 화상 위치를 지정할 수 있다. 한편, 각 표시부(70, 71)에는 마우스(60) 등의 움직임에 연동시켜 상술한 지정 조작을 실행하기 위한 조준선이나 포인터를 더 표시시켜도 된다.
다음에, 본 발명을 적용한 감시 시스템(1)에 의해 촬상한 화상 위에 생긴 차이를 검출하는 방법에 대해서 설명한다.
상술한 바와 같이 일정 간격으로 실행되는 촬상 동작에 의해 서버(53)에는 최신의 상황을 촬상한 전체 화상이 순차적으로 기록된다. 여기에서, 서버(53)에 기록되어 있는 전체 화상 중, 촬영 범위의 최신 상황을 나타내는 전체 화상을 비교 전체 화상이라 하고, 또한 이 비교 전체 화상의 직전에 촬상되어 기록되어 있는 전체 화상을 기본 전체 화상이라 한다.
감시 시스템(1)은 도 5에 도시한 바와 같이 비교 전체 화상을 구성하는 각 단위 화상과 기본 전체 화상을 구성하는 각 단위 화상의 사이에서, R, G, B의 원색 성분별로 휘도 레벨을 비교한다. 이 휘도 레벨의 비교는 동일 좌표(M, N)에 있는 단위 화상 사이에서, 다시 말하면 동일 촬영 방향에 있는 단위 화상 사이에서 실행한다. 이에 따라, 기본 전체 화상에 대한 비교 전체 화상의 각 원색 성분에서의 휘도 레벨의 변화를 촬영 방향별로 검출할 수 있다.
휘도 레벨을 단위 화상별로 비교한 결과, 예를 들면 좌표 (3, 2), (5, 5), (7, 6)에 있어서 차이가 검출된 경우에는, 이러한 단위 화상만 색있는 테두리를 표시함으로써 사용자에 대해 주의를 촉구한다. 이 때, 표시 화면(45)에서 색있는 테두리를 표시함과 동시에 비교하는 두개의 단위 화상을 표시함으로써 이러한 차이의 원인을 즉시 알리도록 하여도 된다.
이에 따라 사용자는 표시 화면(45)상에서 색있는 테두리로 표시되어 있는 단위 화상만 착안하여, 차이의 상세를 조사할 수 있기 때문에, 노력의 부담을 경감시킬 수 있다.
한편, 본 발명에서는 비교 전체 화상을 구성하는 일부의 단위 화상만에 대하여, 상술한 바와 같이 휘도 레벨을 비교하여도 된다. 이 때 사용자는 마우스(60) 등을 이용하여 원하는 단위 화상을 지정함으로써, 이러한 지정된 단위 화상만에 대해 휘도 레벨 차이의 유무를 식별하는 것이 가능해진다. 이에 따라, 고정밀도, 고감도의 화상 차이 검출이 가능하게 된다.
도 6A는 원색 성분 중 R(적)의 휘도 레벨을 비교하는 상태를 설명하는 도면이다. 세로축은 비교하는 단위 화상에 따라 대응하는 화소별로 연산한 차분치(밝 기)를 나타내고 있다. 도 6B는 도 6A에 도시한 차분치 중 수평 방향에서의 최대치를 표시한 것이며, 도 6C는 도 6A에 도시한 차분치 중 수직 방향에서의 최대치를 표시한 것이다.
차이 검출 레벨(L1) 그리고 색 레벨(L2)은 키보드(59)나 마우스(60)를 이용하여 모두 사용자에 의해 자유롭게 설정할 수 있는 레벨이다. 연산된 원색 성분(R)의 휘도 레벨의 차분치가 이 차이 검출 레벨(L1)을 초과하는 경우, 차이가 검출되었다고 판단된다. 색 레벨(L2)은 S/N비를 향상시키기 위해 연산되는 차분치의 게인을 설정하기 위한 레벨이다. 예를 들면, 도 6에 도시한 바와 같이 하나의 차분치를 색 레벨(L2)까지 증폭시킴으로써, 다른 차분치도 마찬가지로 증폭되게 된다. 증폭된 각 차분치에 대해 원하는 차이 검출 레벨(L1)을 설정함으로써 고정밀도의 차이 검출을 실현할 수 있다. 즉 사용자는, 검출을 원하는 차분치 레벨에 대응시켜 자유자재로 색 레벨(L2)을 설정할 수 있고, 또한 이 색 레벨(L2)과의 관계에 있어서 차이 검출 레벨(L1)을 설정함으로써 색 레벨(L2)의 비율에 응하여 어는 정도의 레벨 변화를 일으켜서 차이가 검출되었다고 판단할지 자유롭게 설정할 수 있다. 다른 원색 성분(G, B)에 대해서도 마찬가지로 L1, L2를 설정할 수 있다.
이 차이 검출 레벨(L1) 및 색 레벨(L2)은 R, G, B의 원색 성분별로 서로 다른 레벨로 설정해도 되고, 또한 비교 전체 화상을 구성하는 단위 화상별로 서로 다른 레벨로 설정해도 된다.
즉, 감시 시스템(1)에서는 비교하는 단위 화상에 대해 원색 성분별로 연산한 휘도 레벨의 차분치 중, 적어도 하나의 원색 성분에 있어서 차이 검출 레벨(L1)을 초과한 경우에 당해 단위 화상에 대해 무언가의 차이가 검출되었다고 판단할 수 있다. 때문에, R, G, B별로 단독으로 차이를 검출할 수 있어, 실제로 화면 표시(45)상에서 표시된 전체 화상에 있어서 시각적으로 검출하는 것이 불가능한 미소한 상황 변화까지도 고정밀도로 검출할 수 있다.
본 발명을 적용한 감시 시스템(1)에서는 차이를 검출할 수 있는 대상물의 크기를 선택할 수도 있다.
도 7A에 도시한 바와 같이 사용자는 키보드(59)나 마우스(60)를 이용하여 각 단위 화상별로 원하는 참조 화상 영역을 설정할 수 있다. 이 설정된 참조 화상 영역은 하나의 단위 화상에 대해서 1종만 설정해도 되고, 복수종 설정해도 된다. 또한, 원색 성분별로 서로 다른 사이즈로 이루어지는 참조 화상 영역을 설정해도 된다.
여기에서, 사용자에 의해 도 7B에 도시한 바와 같이 수평 방향의 길이가 W이고 또한 수직 방향의 길이가 t인 참조 화상 영역이 설정된 경우에 있어서, CPU(56)는 이같은 참조 화상 영역이 설정된 단위 화상에 대해 구해진 차분치가 차이 검출 레벨(L1)을 초과하는 피검출 영역을 식별한다. CPU(56)는 이 식별한 피검출 영역에 대해 참조 화상 영역과의 사이에서 사이즈를 비교한다.
예를 들면, 도 8에 도시한 바와 같이 차분치가 차이 검출 레벨(L1)을 초과하는 피검출 영역으로서, 먼저 수평 방향의 길이가 W1이고 수직 방향의 길이가 t1인 피검출 영역 R1을 식별한 경우에, 수평 방향에 대해 참조 화상 영역의 길이 W와 이 W1을 비교하고, 또한 수직 방향에 대해 참조 화상 영역의 길이 t와 이 t1을 비교한 다. 그 결과, 피검출 영역 R1의 사이즈가 수평, 수직 방향에서 모두 참조 화상 영역의 사이즈를 초과한 경우에는 차이가 검출되었다고 판정한다. 이 피검출 영역 R1에서 수평, 수직 방향 중 어느 한쪽의 사이즈가 참조 화상 영역 사이즈를 밑도는 경우에는 차이가 검출되지 않았다고 판정한다.
마찬가지로, CPU(56)는 차분치가 차이 검출 레벨(L1)을 초과하는 피검출 영역으로, 수평 방향의 길이가 W2이고 수직 방향의 길이가 t2인 피검출 영역 R2를 식별한 경우에, 수평 방향에 대해 참조 화상 영역의 길이 W와 이 W2을 비교하고, 또한 수직 방향에 대해 참조 화상 영역의 길이 t와 이 t2을 비교하여 차이의 유무를 판정한다.
본 발명을 적용한 감시 시스템(1)에서는 사용자에 의해 설정된 참조 화상 영역에 기초하여 차이를 검출하기 위한 피검출 영역을 선택할 수 있다. 특히, 참조 화상 영역의 사이즈를 세밀하게 조정함으로써, 미소한 피검출 영역에 대해 차이가 검출되는 일은 없어진다. 그 결과, 이러한 피검출 영역을 포함하는 단위 화상에 대해 상술한 바와 같이 색있는 테두리를 표시하는 일이 없어지기 때문에 사용자에 대한 과도한 주의 환기를 방지할 수 있다.
또한, 촬영 범위내에 존재하는 피사체 중 어느 특정 대상에 대해 차이 검출을 원하는 경우에 있어서도 참조 화상 영역의 사이즈를 해당 검출 대상의 사이즈에 응하여 설정함으로써 실현할 수 있다. 특히 촬영 방향을 순차적으로 변화시켜서 피사체를 촬상함으로써 얻어지는 전체 화상은 여러가지 촬영 대상물을 포함하는 경우가 많기 때문에, 단위 화상간에서 서로 다른 사이즈로 이루어지는 참조 화상 영 역을 설정함으로써 각 촬영 대상물에 대해 단일 시스템에 의한 차이 검출을 실현할 수 있다.
카메라부(4)로부터 원거리에 있는 촬영 대상물과 근거리에 있는 촬영 대상물은 가령 동일물이더라도 단위 화상으로 표시되는 사이즈가 다르다. 예를 들면, 카메라부(4)로부터 원거리 위치에 부설되어 있는 도로상의 자동차와 카메라부(4)로부터 근거리 위치에 부설되어 있는 도로상의 자동차에서는, 동일 종류의 것이더라도 후자가 크게 표시된다. 때문에, 카메라부(4)로부터 원거리 위치에 부설되어 있는 도로를 포함하는 단위 화상과 카메라부(4)로부터 근거리 위치에 부설되어 있는 도로를 포함하는 단위 화상과의 사이에 설정하는 참조 화상 영역의 사이즈를 바꾸는 일 없이, 이러한 동일 종류의 자동차에 대해서도 카메라부(4)로부터의 원근에 상관없이 정확한 차이 검출을 실현할 수 있다.
한편, 본 발명에서는 상술한 실시의 형태에 한정되는 일 없이, 피검출 영역의 사이즈가 수평, 수직 방향의 어느 한쪽에서 참조 화상 영역의 사이즈를 초과한 경우에 차이가 검출되었다고 판정해도 된다.
본 발명을 적용한 감시 시스템(1)에서는 휘도 레벨을 비교하는 단위 화상의 위치 차이를 조정하기 위한 위치 일치를 행할 수도 있다.
CPU(56)는 휘도 레벨을 비교하는 두개의 단위 화상 중 기본 전체 화상을 구성하는 단위 화상(선 단위 화상)으로부터, 소정의 화소수(예를 들면, 16×16 화소)로 이루어진 기준 블록(91)을 잘라 낸다. 이 기준 블록(91)은, 예를 들면 도 9에 도시한 바와 같이 에지 성분 등과 같은 소위 고주파 영역을 포함하도록 설정된다.
다음으로, CPU(56)은 비교 전체 화상을 구성하는 단위 화상(후 단위 화상)에서 탐색 범위(94)를 설정한다. 이 탐색 범위(94)는, 예를 들면 기준 블록(91)을 중심으로 각각 수평, 수직 방향으로 ±4화소분 확장한 24×24 화소로 이루어지는 영역으로 설정된다. 다음에, CPU(56)는, 후(後)의 단위 화상에서 탐색 범위(94)내에 탐색 블록(93)을 더 설정한다. 탐색 블록(93)에서의 수평, 수직 방향의 화소수는 상술한 기준 블록(91)의 수평, 수직 방향의 화소수와 동등하도록 설정된다.
다음에, CPU(56)는 탐색 블록(93)을 탐색 범위(94)내에서 수평, 수직 방향으로 순차적으로 이동시킨다. CPU(56)는 이 탐색 블록(93)에 대해 한화소씩 이동시켜도 되고 몇개의 화소 간격으로 이동시켜도 된다. CPU(56)는 이 순차적으로 이동하는 탐색 블록(93)과 기준 블록(91)과의 사이에서 상이도를 구한다. 그리고, 기준 블록(91)과 가장 높은 상이도를 나타내는 탐색 블록(93)의 위치를 검출한다.
이 상이도를 구하는 경우에 있어서, CPU(56)는 먼저 탐색 블록(93)의 흑백 화상 신호의 휘도 레벨과 기준 블록(91)의 흑백 화상 신호의 휘도 레벨의 차분치 RD를 연산한다. 흑백 화상 신호는 R, G, B의 원색 성분으로부터 이하의 식(1)에 기초하여 계산할 수 있다.
흑백 화상 신호 = (R×0.30+G×0.59+B×0.11)
도 10A는 탐색 블록(93)에서 흑백 화상 신호의 휘도 레벨차가 생긴 영역을 표시하고 있다. 도 10A에서 사선으로 표시된 영역은 후 단위 화상에서 위치 차이가 발생한 결과 기준 블록(91)과 탐색 블록(93) 사이에서 흑백 화상 신호의 휘도 레벨에 대해 격차가 생긴 영역이다.
또한, 도 10B의 가로축은 도 10A에서의 점선상에 위치하는 수평 방향의 화소에 대응하며, 세로축은 이같은 점선상에 위치하는 화소에 대해 구한 차분치 RD를 8비트 데이터로 표시한 예이다.
여기에서 CPU(56)은 이같은 세로축에 나타난 차분치 평균인 평균 차분치 RA를 구한다. 그리고, 구한 평균 차분치 RA를 기준으로 점선상에 위치하는 각 화소에 대해 이하의 식(2)를 이용하여 분산 적분치 F를 구한다.
분산 적분치 F = ∫(차분치 RD-평균 차분치 RA)
이 식(2)에 의해 구해진 분산 적분치 F는 도 10B 중의 사선 영역으로 표시된다.
CPU(56)는 이와 같은 분산 적분치 F를 도 11A에 도시한 바와 같이 점선을 수직 방향으로 순차적으로 이동시키면서 구할 수 있다. 이 결과, 도 11B 중의 사선 영역에 도시된 바와 같이 수직 성분별로 구한 분산 적분치 F를 얻을 수 있다. CPU(56)는 이 분산 적분치 F를 이용하여 최종적으로 이하의 식(3)으로 나타나는 분산 적분치 F'를 구한다.
분산 적분값 F' = ∬(차분치 RD-평균 차분치 RA)
이와 같이 하여, 탐색 범위(94)내를 순차적으로 이동하는 탐색 블록(93)과 기준 블록(91) 사이에서 상술한 식에 기초하여 분산 적분치 F'를 순차적으로 구하 여, 가장 작은 분산 적분치 F'를 나타내는 탐색 블록(93)의 위치를 가장 높은 상이도를 나타내는 위치로 한다. 이같은 탐색 블록(93)에 대해 구한 기준 블록(91)에 대한 상대적인 위치에 기초하여 후 단위 화상의 위치 일치를 행한다.
본 발명을 적용한 감시 시스템(1)은 전체 화상을 구성하는 모든 단위 화상에 대해 상술한 바와 같이 위치 일치를 실행할 수 있다. 이에 의해 단순한 단위 화상의 위치 차이에 대해서 차이 검출되는 일은 없어진다. 특히 광범위한 촬영 범위에 대해 촬영 방향을 순차적으로 변화시키면서 촬상하는 단위 화상은, 화소 단위에서 위치 차이가 생기는 경우가 많고 또한 촬상하는 카메라부(4)의 성능에 의해 팬틸터부(3)에 의해 제어되는 촬영 방향에 미묘한 차이가 생기는 경우가 있다. 이같은 경우에 있어서도, 각 단위 화상을 최적 위치에 일치시켜 들임으로써 차이 검출의 정도를 더욱 향상시키는 것이 가능해진다.
상술한 위치 일치에서는 기준 블록(91) 및 탐색 블록(93)을 각 하나씩 설정하는 경우에 대해 설명하였으나, 도 9에 도시한 바와 같이 각각에 대해 복수 설정해도 된다. 이에 따라, 설정한 기준 블록(91)의 영역에서 차이가 발생하는 경우이더라도 다른 기준 블록에서 정확하게 위치 일치를 행할 수 있다.
이 위치 일치에서 통상의 블록 매칭법에 기초하여 가장 높은 상이도를 나타내는 탐색 블록(93)의 위치를 구해도 된다.
마지막으로, 본 발명을 적용한 감시 시스템(1)에 있어서의 동작 수단의 일례에 대해 설명한다.
도 12는 전체 화상 표시부(70)에 표시되는 단위 화상에 대해 사용자가 각종 설정을 하기 위한 플로우차트를 나타내고 있다.
먼저, 단계 S11에서 기준 블록(91)의 설정을 행한다. 이 기준 블록(91)의 설정은 사용자가 원하는 영역에 대해 마우스(60) 등을 이용하여 설정하여도 되고, CPU(56)가 스스로 에지 부분을 우선적으로 추출함으로써 설정해도 된다.
다음에, 단계 S12로 이행하고, 기준 블록(91)을 복수 설치하는 경우에는 단계 S11과 같은 처리를 실행한다.
다음에, 단계 S13으로 이행하여 사용자는 원색 성분(R)에 대해 색 레벨(L2)의 설정을 행하고, 또한 설정한 색 레벨(L2)에 따라 차이 검출 레벨(L1)의 설정을 행한다. 이 L1, L2의 설정은 각 단위 화상별로 실행해도 되고 전체 화상에서 일률적으로 설정해도 된다.
다음에, 단계 S14로 이행하여 사용자는 원색 성분(G)에 대해 색 레벨(L2)의 설정을 행하고, 또한 설정한 색 레벨(L2)에 따라 차이 검출 레벨(L1)의 설정을 행한다. 단계 S15에서도 원색 성분(B)에 대해 마찬가지로 L1, L2의 설정을 행한다.
다음에, 단계 S15로 이행하여 상술한 참조 화상 영역의 설정을 각 단위 화상별로 실행한다. 이 단계 S15까지의 설정 처리를 완료시킴으로써 전체 화상을 구성하는 각 단위 화상에 대해 차이 검출이 가능해진다.
도 13은 이같은 각 단위 화상에 대한 차이 검출의 플로우차트를 나타내고 있다.
촬상이 실행되면, 상술한 바와 같이 서버(53)에는 촬상된 화상 신호에 기초한 단위 화상이 순차적으로 기록된다. CPU(56)는 서버(53)에 새롭게 기록된 비교 전체 화상을 구성하는 후 단위 화상에 대해, 기본 전체 화상을 구성하는 선 단위 화상과의 사이에서 위치 일치를 실행한다(단계 S21).
다음에, 단계 S22로 이행하여, 원색 성분(R)에 대해 각 단위 화상별로 휘도 레벨의 차분치를 연산한다. 다음에, 단계 S23에 이행하여 이같은 휘도 레벨의 차분치가 차이 검출 레벨(L1)을 초과하고 있는지의 여부를 판단한다.
마찬가지로 단계 S24 내지 단계 S25에서 원색 성분(G)에 대해 각 단위 화상별로 휘도 레벨의 차분치를 연산하고, 또한 해당 차분치가 차이 검출 레벨(L1)을 초과하고 있는지의 여부를 판단한다. 단계 S26 내지 단계 S27에서도 원색 성분(B)에 대해 마찬가지로 판단한다.
다음으로, 단계 S28에 이행하여 원색 성분인 R, G, B 중 적어도 한색에 대해 차이가 검출되었는지의 여부를 판단한다. 그 결과, 적어도 한색에 대해 차이가 검출된 경우에는 단계 S29에 이행한다. 한편, 각 원색 성분에서 어떠한 차이도 검출되지 않는 경우에는 단계 S31로 이행하여, 비교 대상이 되는 단위 화상에 대해 특히 사용자에 대해 주의를 환기시키지 않고 다음 단위 화상의 차이 검출로 이행한다.
단계 S29에서 피검출 영역과 참조 화면 영역의 사이즈를 비교한다. 그 결과, 상술한 바와 같이 피검출 영역의 수평, 수직 방향 모두 참조 화상 영역의 사이즈를 초과하는 경우에는, 단계 S30에 이행한다. 수평, 수직 방향 중 어느 한쪽의 사이즈가 참조 화상 영역의 사이즈를 밑도는 경우에는 단계 S31에 이행한다. 단계 S30에서는 비교의 대상이 되는 단위 화상에 대해 색있는 테두리를 표시함으로써 사용 자에 대해 주위를 환기시킨 후, 단계 S31로 이행한다.
이 단계 S21부터 단계 S31까지의 동작을 전체 화상을 구성하는 모든 단위 화상에 대해 실행한 후, 다음 촬상에 들어간다. 상술한 처리에서의 비교 전체 화상은 그대로 서버(53)에 계속하여 기록되고, 다음 촬상에 기초한 단위 화상이 새롭게 서버에 기록된 경우에는 기본 단위 화상으로서 차이 검출시에 참조되게 된다. 이 비교 전체 화상 및 기본 전체 화상은, 새로운 촬상이 실행됨으로써 순차적으로 갱신되게 된다.
한편, 본 발명을 적용한 감시 시스템(1)에서는 또한 도 14에 도시한 순서에 따라 단말 장치(9)를 조작하는 사용자에 대해서도 검출한 차이에 관한 정보를 제공할 수 있다.
먼저, 단계 S41에서 단말 장치(9)를 조작하는 각 사용자는 네트워크(8)에 접속되어 있는 감시 장치(5)에 억세스한다.
다음에, 단계 S42에 이행하여 감시 장치(5)는 자신의 서버(53)에 기록되어 있는 전체 화면 중 사용자에 대해 공개할 수 있는 것에 대해, 공개 가능 화상 리스트를 작성하여 이를 단말 장치(9)에 송신한다. 덧붙여서, 이 공개 가능 화상 리스트에는 각 전체 화상의 파일명이나 파일 사이즈 뿐만 아니라, 축소된 전체 화상이 덧붙여지는 경우도 있다. 이 공개 가능 화상 리스트는 네트워크(8), 단말 장치(9)를 통해 단말 디스플레이(10)상에 표시된다.
다음에, 단계 S43에 이행하여 사용자는 공개 가능 화상 리스트로부터 원하는 전체 화상을 선택한다. 단말 장치(9)는 사용자에 의한 선택 조작에 응하여 전체 화 상 송신 요구 C1을 감시 장치(5)에 송신한다.
단계 S44에서 감시 장치(5)는 이같은 전체 화상 송신 요구 C1를 받아서 사용자에 의해 선택된 전체 화상을 서버로부터 판독하여, 이를 단말 장치(9)에 송신한다. 송신된 전체 화상은 네트워크(8), 단말 장치(9)를 통해 단말 디스플레이(10)에 표시된다.
다음에, 단계 S45에 이행하여 사용자는 단말 디스플레이(10)에 표시된 전체 화상에 대해, 각 단위 화상 혹은 원하는 단위 화상에 대해, 마우스(60) 등을 이용하여 포인트 지정하여 단계 S11 내지 단계 S16에 나타낸 각종 설정을 행한다. 단말 장치(9)는 이같은 사용자의 지정 조작에 응하여 소정의 요구 신호 C2를 송신한다.
다음에, 단계 S46에 이행하여 감시 장치(5)는 이같은 요구 신호 C2를 받아, 단계 S21 내지 단계 S31에 나타낸 동작을 실행한다. 그리고 감시 장치(5)는 단계 S30에서 사용자에 대해 주의를 촉구하는 것이 필요한 단위 화상의 좌표를 단말 장치(9)에 통지한다. 그 결과 단계 S47에서, 단말 장치(9)에 접속된 단말 디스플레이(10)상에 있어서 이같은 차이가 검출된 단위 화상에 대해 색있는 테두리가 표시되게 된다.
이상 설명한 순서를 실행함으로써 본 발명을 적용한 감시 시스템(1)에서는, 감시 장치(5)를 조작하는 사용자에 더해서 네트워크(8)에 접속되어 있는 단말 장치(9)를 조작하는 사용자에 대해서도 적절한 검출 정보를 제공할 수 있다.
도 14에 도시한 예에서는 단계 S46에 도시한 동작을 감시 장치(5)가 실행하 는 경우에 대해 설명하였으나, 이같은 경우에 한정되는 것은 아니다. 예를 들면, 촬상한 단위 화상을 네트워크(8)에 접속되어 있는 네트워크 서버(11)에 순차적으로 기록하여 둠으로써, 감시 장치(5) 자신이 이같은 네트워크 서버(11)에 억세스하여 단위 화상을 판독하고 단계 S46에 상당하는 동작을 실행해도 된다.
이에 따라, 복수의 단말 장치(9)로부터 억세스를 받은 감시 장치(5)에 대해 부담을 경감시킬 수 있다.
이 감시 시스템(1)에서는 과거에 촬상한 화상 신호에 기초한 전체 화상을 서버(53)에 축적함으로써, 과거에 발생한 차이에 대해 사후적으로 분석할 수 있다. 이같은 경우에서 상세한 상황이나 원인을 해석할 때에 CPU(56)가 단위 화상간의 휘도 레벨을 비교하여, 무엇인가 차이가 발생한 단위 화상에 대해 주의를 촉구할 수 있기 때문에 사용자의 노력 부담을 해소할 수 있다.
한편, 본 발명은 상술한 예에 한정되는 것이 아니며, 첨부한 청구의 범위 및 그 주지를 이탈하는 일없이, 다양한 변경, 치환 또는 그 동등의 것을 행할 수 있다는 것은 당업자에게는 명백하다.
상술한 바와 같이, 본 발명에서는 촬영 방향을 순차적으로 변화시켜 촬영 범위를 촬상함으로써 얻어진 파노라마 화상에 대해, 각 단위 화상별로 기록 매체에 순차적으로 기록하여 두고, 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서 원색 성분별로 휘도 레벨을 비교하고, 그 비교 결과에 기초하여 파노라마 화상을 구 성하는 단위 화상별로 소정의 정보를 표시하도록 하고 있기 때문에, 사용자는 세밀한 화상의 변화나 미소한 대상물의 출현 등에 대해 항상 주의를 기울일 필요가 없어져서, 노력의 부담을 경감시킬 수 있다. 이같은 차이의 검출에 필요한 시간을 단축화시킬 수 있다. 또한, 사용자의 눈에 의존할 필요가 없어져 차이 검출의 정밀도를 향상시킬 수 있다.

Claims (32)

  1. 촬영 방향을 순차적으로 변화시켜 촬영 범위를 촬상함으로써 얻어진 파노라마 화상을 감시하는 감시 장치에 있어서,
    상기 파노라마 화상을 구성하는 각 단위 화상으로서, 촬상 방향을 수평 방향 또는 수직 방향으로 차례로 변화시켜 촬상된 i×j개의 단위 화상을 기록 매체에 순차적으로 기록하는 기록 수단과,
    상기 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서, 원색 성분별로 상기 단위 화상들 사이의 휘도 레벨을 비교하는 비교 수단과,
    상기 촬상한 i×j개의 단위 화상을 접합함으로써 합성한 파노라마 화상과 함께, 상기 비교 수단에 의한 비교 결과에 기초하여, 상기 파노라마 화상을 구성하는 상기 단위 화상별로 소정의 정보를 표시하는 표시 수단을 구비하는 것을 특징으로 하는 감시 장치.
  2. 제1항에 있어서, 상기 원색 성분별로 원하는 임계치를 설정하기 위한 설정 수단을 더 구비하고,
    상기 비교 수단은 휘도 레벨의 차분치를 상기 원색 성분별로 구하며,
    상기 표시 수단은 상기 비교 수단에 의해 구해진 차분치가 그 원색 성분별로 설정된 임계치를 초과할 때, 상기 소정의 정보를 표시하는 것을 특징으로 하는 감시 장치.
  3. 제2항에 있어서, 상기 설정 수단은 또한 상기 단위 화상별로 원하는 임계치를 설정하는 것을 특징으로 하는 감시 장치.
  4. 제2항에 있어서, 상기 비교 수단은 상기 단위 화상을 구성하는 각 화소에 대해 휘도 레벨의 차분치를 구하는 것을 특징으로 하는 감시 장치.
  5. 제4항에 있어서, 상기 설정 수단은 또한 상기 단위 화상별로 참조 화상 영역을 설정하고,
    상기 표시 수단은 상기 비교 수단에 의해 구해진 차분치가 상기 임계치를 초과하는 화소로 구성되는 화상 영역을 순차적으로 추출하고, 상기 추출한 화상 영역의 종방향 및 횡방향의 각 최대 길이가 상기 설정된 참조 화상 영역에서의 종방향과 횡방향의 어느 한 쪽이 상기 참조 화상 영역의 크기를 초과할 때에, 상기 소정의 정보를 표시하는 것을 특징으로 하는 감시 장치.
  6. 제1항에 있어서, 상기 비교 수단은 상기 기록 매체로부터 판독한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서, 흑백 화상 신호에 대한 상기 단위 화상들 사이의 휘도 레벨을 비교하고, 당해 비교 결과에 따라 휘도 레벨에 대해 격차가 생기는 경우 상기 판독한 하나의 단위 화상의 위치를 이동시켜, 상기 원색 성분별로 휘도 레벨을 비교하는 것을 특징으로 하는 감시 장치.
  7. 제6항에 있어서, 상기 비교 수단은 상기 기록 매체로부터 판독한 단위 화상을 구성하는 적어도 하나의 기준 블록을 잘라냄과 함께, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상으로부터 탐색 블록을 순차적으로 이동시켜서 잘라내고, 상기 잘라낸 기준 블록 및 탐색 블록과의 사이에서 상기 흑백 화상 신호의 휘도 레벨에 있어서의 분산 적분치를 순차적으로 연산하며,
    상기 표시 수단은 상기 비교 수단에 의해 연산된 분산 적분치에 기초하여 상기 소정의 정보를 표시하는 것을 특징으로 하는 감시 장치.
  8. 제1항에 있어서, 상기 비교 수단에 의한 비교 결과에 기초하여, 접속된 통신망을 통해, 상기 소정의 정보를 표시해야 할 단위 화상을 다른 전자 기기에 통지하는 통신 제어 수단을 더 구비하는 것을 특징으로 하는 감시 장치.
  9. 촬영 방향을 순차적으로 변화시켜 촬영 범위를 촬상함으로써 얻어진 파노라마 화상을 감시하는 감시 방법에 있어서,
    상기 파노라마 화상을 구성하는 각 단위 화상으로서, 촬상 방향을 수평 방향 또는 수직 방향으로 차례로 변화시켜 촬상된 i×j개의 단위 화상을 기록 매체에 순차적으로 기록하고,
    상기 기록 매체로부터 선택한 하나의 단위 화상과, 당해 단위 화상보다도 먼저 기록되어 있는 동일 촬영 방향상의 단위 화상과의 사이에서, 원색 성분별로 상기 단위 화상들 사이의 휘도 레벨을 비교하고,
    상기 촬상한 i×j개의 단위 화상을 접합함으로써 합성한 파노라마 화상과 함께, 상기 비교 결과에 기초하여 상기 파노라마 화상을 구성하는 상기 단위 화상별로 소정의 정보를 표시하는 것을 특징으로 하는 감시 방법.
  10. 제9항에 있어서, 상기 원색 성분별로 원하는 임계치가 설정되고, 휘도 레벨의 차분치를 상기 원색 성분별로 구하며, 상기 구해진 차분치가 그 원색 성분별로 설정된 임계치를 초과할 때, 상기 소정의 정보를 표시하는 것을 특징으로 하는 감시 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
KR1020047014685A 2003-01-20 2004-01-14 파노라마 화상을 이용한 감시 장치 및 감시 방법 KR101029202B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00011614 2003-01-20
JP2003011614A JP3849645B2 (ja) 2003-01-20 2003-01-20 監視装置

Publications (2)

Publication Number Publication Date
KR20050090318A KR20050090318A (ko) 2005-09-13
KR101029202B1 true KR101029202B1 (ko) 2011-04-12

Family

ID=32767289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047014685A KR101029202B1 (ko) 2003-01-20 2004-01-14 파노라마 화상을 이용한 감시 장치 및 감시 방법

Country Status (6)

Country Link
US (1) US20050151838A1 (ko)
EP (1) EP1653743A4 (ko)
JP (1) JP3849645B2 (ko)
KR (1) KR101029202B1 (ko)
CN (1) CN100433830C (ko)
WO (1) WO2004066631A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170062376A (ko) * 2015-11-27 2017-06-07 삼성전자주식회사 전자 장치 및 파노라마 영상 표시와 생성 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686531B1 (en) * 2005-01-27 2018-04-25 QUALCOMM Incorporated A method, a software product and an electronic device for generating an image composition
JP4573032B2 (ja) * 2005-02-04 2010-11-04 富士フイルム株式会社 オートフォーカスシステム
KR100962155B1 (ko) * 2005-04-20 2010-06-10 미디어팟 엘엘씨 필름 또는 다른 촬상 매체를 시뮬레이션하는 시스템 및방법
JP4712872B2 (ja) * 2005-06-03 2011-06-29 メディアポッド リミテッド ライアビリティ カンパニー 多次元画像化システムおよびその方法
US20070037102A1 (en) * 2005-07-22 2007-02-15 Mediapod Llc System, apparatus, and method for increasing media storage capacity
US20070035542A1 (en) * 2005-07-27 2007-02-15 Mediapod Llc System, apparatus, and method for capturing and screening visual images for multi-dimensional display
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
WO2007002271A2 (en) 2005-06-22 2007-01-04 Mediapod Llc. System and method for digital film simulation
JP2009500963A (ja) * 2005-07-06 2009-01-08 メディアポッド リミテッド ライアビリティ カンパニー 多次元映像表示のための視覚データ及び非視覚データを捕捉するシステム及び方法
JP2009512396A (ja) * 2005-10-16 2009-03-19 メディアポッド リミテッド ライアビリティ カンパニー デジタル映像捕獲の質を高めるための装置、システム及び方法
KR20080070765A (ko) * 2005-11-22 2008-07-30 미디어팟 엘엘씨 합성 매체 기록 요소 및 이를 이용하는 이미징 시스템 및방법
PL2562578T3 (pl) * 2007-03-16 2017-12-29 Kollmorgen Corporation System do panoramicznego przetwarzania obrazu
JP2009044328A (ja) 2007-08-07 2009-02-26 Seiko Epson Corp 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
CN101119482B (zh) * 2007-09-28 2011-07-20 北京智安邦科技有限公司 一种全景监控方法及设备
US9060160B2 (en) * 2008-09-24 2015-06-16 Nikon Corporation Image generation device, imaging device, image reproduction device, and image reproduction program
JP2010093342A (ja) * 2008-10-03 2010-04-22 Canon Inc 映像サーバ装置、映像クライアント装置、映像送受信システム及び情報処理方法
JP5453953B2 (ja) * 2009-06-24 2014-03-26 ソニー株式会社 可動機構部制御装置、可動機構部制御方法、プログラム
JP2011009929A (ja) 2009-06-24 2011-01-13 Sony Corp 可動機構部制御装置、可動機構部制御方法、プログラム
KR101586702B1 (ko) * 2009-07-08 2016-01-19 한화테크윈 주식회사 감시 카메라들의 제어 방법 및 이를 사용한 제어 장치
CN101668190A (zh) * 2009-09-15 2010-03-10 中兴通讯股份有限公司 云台控制方法及云台控制系统
JP5696419B2 (ja) * 2010-09-30 2015-04-08 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
CN103828357B (zh) * 2011-09-30 2016-01-20 李汶基 图像处理系统以及图像处理方法
CN103442178A (zh) * 2013-09-12 2013-12-11 电子科技大学 高速多数据通路拼接系统
KR101386285B1 (ko) * 2014-02-07 2014-04-17 에이치씨테크(주) 영상처리보드 및 이를 이용한 영상감시장치
US10204291B2 (en) 2015-08-31 2019-02-12 International Business Machines Corporation System, method, and recording medium for detecting events for interest from mobile
JP6420505B2 (ja) * 2016-02-10 2018-11-07 株式会社日立国際電気 映像信号伝送装置
US10163219B2 (en) * 2016-06-24 2018-12-25 Fca Us Llc Machine vision cargo monitoring in a vehicle
US10791316B2 (en) * 2017-03-28 2020-09-29 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
JP7267686B2 (ja) * 2018-05-31 2023-05-02 キヤノン株式会社 撮像装置及びその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09168145A (ja) * 1995-12-15 1997-06-24 Sony Corp ビデオカメラシステム及びその自動追尾方法
JP2002369182A (ja) * 2001-06-12 2002-12-20 Sanyo Electric Co Ltd 監視装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3842356A1 (de) * 1988-12-16 1990-06-28 Martin Spies System zum feststellen einer bewegung bzw. einer veraenderung im ueberwachungsbereich mehrerer fernsehkameras
JPH0827338B2 (ja) * 1989-03-13 1996-03-21 日本電気株式会社 カラー画像目標追随装置
FR2665600A1 (fr) * 1990-08-03 1992-02-07 Thomson Csf Procede de detection pour camera panoramique, camera pour sa mise en óoeuvre, et systeme de veille equipe d'une telle camera.
DE4138254C1 (ko) * 1991-11-21 1993-06-24 Grundig E.M.V. Elektro-Mechanische Versuchsanstalt Max Grundig Hollaend. Stiftung & Co Kg, 8510 Fuerth, De
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
JPH06153051A (ja) * 1992-11-02 1994-05-31 Nippon Telegr & Teleph Corp <Ntt> 移動物体追尾撮像装置
EP0623268A1 (en) * 1992-11-24 1994-11-09 Geeris Holding Nederland B.V. A method and device for producing panoramic images, and a method and device for consulting panoramic images
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US5555019A (en) * 1995-03-09 1996-09-10 Dole; Kevin Miniature vehicle video production system
US6640004B2 (en) * 1995-07-28 2003-10-28 Canon Kabushiki Kaisha Image sensing and image processing apparatuses
DE19603935A1 (de) * 1996-02-03 1997-08-07 Bosch Gmbh Robert Verfahren zum Erkennen von Änderungen in einem Überwachungsbereich
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
WO1998047291A2 (en) * 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6034716A (en) * 1997-12-18 2000-03-07 Whiting; Joshua B. Panoramic digital camera system
CN1240323A (zh) * 1998-05-29 2000-01-05 日本电气株式会社 摄像机用户接口、摄像机控制方法及计算机程序产品
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
JP2000152168A (ja) * 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
AU1930700A (en) * 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
JP2001069394A (ja) * 1999-06-22 2001-03-16 Canon Inc 画像処理システム、カメラ、画像出力装置、画像修正装置、画像修正システム、画像修正方法、及び画像修正プログラムを提供する媒体
US6470151B1 (en) * 1999-06-22 2002-10-22 Canon Kabushiki Kaisha Camera, image correcting apparatus, image correcting system, image correcting method, and computer program product providing the image correcting method
JP3773433B2 (ja) * 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
US20020054211A1 (en) * 2000-11-06 2002-05-09 Edelson Steven D. Surveillance video camera enhancement system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09168145A (ja) * 1995-12-15 1997-06-24 Sony Corp ビデオカメラシステム及びその自動追尾方法
JP2002369182A (ja) * 2001-06-12 2002-12-20 Sanyo Electric Co Ltd 監視装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170062376A (ko) * 2015-11-27 2017-06-07 삼성전자주식회사 전자 장치 및 파노라마 영상 표시와 생성 방법
KR102632270B1 (ko) 2015-11-27 2024-02-02 삼성전자주식회사 전자 장치 및 파노라마 영상 표시와 생성 방법

Also Published As

Publication number Publication date
JP2004266317A (ja) 2004-09-24
JP3849645B2 (ja) 2006-11-22
CN100433830C (zh) 2008-11-12
WO2004066631A1 (ja) 2004-08-05
KR20050090318A (ko) 2005-09-13
EP1653743A1 (en) 2006-05-03
CN1698379A (zh) 2005-11-16
US20050151838A1 (en) 2005-07-14
EP1653743A4 (en) 2009-01-14

Similar Documents

Publication Publication Date Title
KR101029202B1 (ko) 파노라마 화상을 이용한 감시 장치 및 감시 방법
JP4614653B2 (ja) 監視装置
JP2006333133A (ja) 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム
EP1536633A1 (en) Photographing apparatus and method, supervising system, program and recording medium
JP2006333132A (ja) 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
JP2006013923A (ja) 監視装置
JP4736381B2 (ja) 撮像装置及び方法、監視システム、プログラム並びに記録媒体
JPH11112956A (ja) 画像合成通信装置
JP4583717B2 (ja) 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置
JP2004228711A (ja) 監視装置及び方法、プログラム並びに監視システム
JP4172352B2 (ja) 撮像装置及び方法、撮像システム、プログラム
JP4333255B2 (ja) 監視装置
JP4367177B2 (ja) 監視装置
JP2004088558A (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4438396B2 (ja) 監視装置
JP2004266669A (ja) 監視カメラ並びに撮像方法
JP2004241834A (ja) 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体
JP4127080B2 (ja) 撮像装置及び方法
JP4211377B2 (ja) 画像信号処理装置
JP2005277582A (ja) パノラマ撮像装置、パノラマ撮像方法、監視システム、パノラマ撮像装置の制御プログラム並びにプログラム記録媒体
JP2002238016A (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2005176141A (ja) 監視装置
JP2004194114A (ja) 画像情報提供システム
JP2001128154A (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee