KR20030034995A - 영상압축 알고리즘을 이용한 카메라 제어방법 - Google Patents

영상압축 알고리즘을 이용한 카메라 제어방법 Download PDF

Info

Publication number
KR20030034995A
KR20030034995A KR1020010066851A KR20010066851A KR20030034995A KR 20030034995 A KR20030034995 A KR 20030034995A KR 1020010066851 A KR1020010066851 A KR 1020010066851A KR 20010066851 A KR20010066851 A KR 20010066851A KR 20030034995 A KR20030034995 A KR 20030034995A
Authority
KR
South Korea
Prior art keywords
camera
moving object
area
input image
moving
Prior art date
Application number
KR1020010066851A
Other languages
English (en)
Other versions
KR100426174B1 (ko
Inventor
조재수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2001-0066851A priority Critical patent/KR100426174B1/ko
Priority to US10/225,154 priority patent/US7248286B2/en
Priority to JP2002265845A priority patent/JP2003189290A/ja
Priority to EP02256973A priority patent/EP1311123B1/en
Priority to DE60224866T priority patent/DE60224866T2/de
Priority to CNB02146894XA priority patent/CN1236599C/zh
Publication of KR20030034995A publication Critical patent/KR20030034995A/ko
Application granted granted Critical
Publication of KR100426174B1 publication Critical patent/KR100426174B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

영상 압축 알고리즘을 이용한 카메라 제어방법이 개시된다. 본 카메라 제어방법에서는 촬영된 입력영상의 압축 데이터 생성을 위한 매크로블록의 움직임 벡터값으로부터 입력영상의 움직임영역과 정지영역을 결정하고, 움직임영역으로부터 이동물체의 중심값 및 크기 정보를 추정하며, 추정된 이동물체의 중심값 및 크기정보를 통해 이동물체를 추적하며 촬영하도록 카메라를 제어한다. 이에 따라 이동물체 추적을 위한 별도의 영상신호처리 없이 카메라를 제어할 수 있어 종래의 이동물체 추적 시스템에 비해 중앙처리장치의 부하량을 대폭 감소시킬 수 있게 되며, 시스템 전반의 처리속도를 개선할 수 있게 된다.

Description

영상압축 알고리즘을 이용한 카메라 제어방법{Method for controlling a camera using video compression algorithm}
본 발명은 피사체를 촬영하는 시스템에 관한 것으로서, 특히 입력영상을 압축하는 과정에서 생성된 피사체의 움직임 정보를 획득하여 카메라를 제어하는 방법에 관한 것이다.
일반적으로 카메라를 이용한 촬영 시스템에서는 촬영된 영상을 보다 많이 기록하기 위하여 또는 원격지에 송신하기 위하여 데이터 크기를 줄이는 압축과정을 수행한다. 일 예로 디지털 TV 전송시스템에서는 카메라를 통해 촬영된 영상데이터를 압축하고, 압축된 영상신호를 방송신호로서 전송한다.
도 1a는 종래 영상 압축/복원 시스템에서의 일반적인 영상 압축과정을 나타낸 순서도이다. 시스템에서는 카메라를 통해 촬영된 영상이 입력되면(S11), 입력영상을 압축하기 위한 전처리 과정을 수행한다(S12). 즉, 잡음제거 및 화질을 저감시킬 수 있는 요소들을 배제시키도록 영상을 신호처리한다. 그 다음 전처리된 영상을 이전프레임들과 비교하여 메크로 블록의 움직임벡터를 계산한다(S13). 그리고 입력영상에 대한 압축관련 후처리를 수행한 후(S14), 이진화 특성에 따른 부호화를 수행(S15)하여 입력영상에 대한 압축데이터를 생성한다(S16).
여기서 영상데이터의 압축을 위해 이용되는 메크로블록의 움직임 벡터란 전후프레임간의 영상신호에서 움직임이 있는 물체의 방향성을 나타낸 것으로서, 수직과 수평 두 성분으로 표현된다. 예를 들어, 임의의 매크로블록의 움직임 벡터값이 (2, -3)의 값을 가진다면, 그 임의의 메크로블록은 수평방향으로 2화소, 수직방향으로 -3화소만큼 움직임이 있다는 것을 말한다.
위와 같은 과정을 통해 생성된 압축데이터는 촬영된 영상을 보다 많이 저장장치에 저장할 수 있도록 하며, 원격지에 빠른 속도로 보다 많은 영상 데이터를 전송할 수 있게 한다.
한편, 입력영상을 신호처리하여 이동물체를 자동으로 추적하며 촬영할 수 있는 이동물체 자동 추적 시스템이 다양하게 제안되었다.
도 2는 종래 이동물체 자동 추적 시스템에서 입력영상의 신호처리를 통한 카메라 제어과정을 나타낸 순서도이다. 시스템은 영상이 입력되면(S21), 입력영상에 대한 전처리를 수행한다(S22). 이후, 입력영상을 다수의 영역으로 분할하고(S23), 입력영상의 다수의 분할영역으로부터 배경영역과 움직임영역을 분리하여 이동물체를 추출한다(S24). 그리고 추출된 이동물체의 크기 및 이동정보를 획득(S25)하여 카메라의 이동 및 팬/틸트 그리고 줌 인/아웃 등을 제어한다(S26).
위와 같은 과정을 통해 감시영역 내의 이동물체를 자동으로 추적하며 촬영을 할 수 있게 된다.
여기서, 이동물체 자동 추적 시스템에는 앞에서 언급한 영상 압축 알고리즘이 접목되어 촬영된 영상을 압축하여 저장장치에 저장하고 있으며, 향후에는 인터넷 또는 무선통신망 등과 연계되어 이동물체의 촬영 내용을 원격지로 전송될 수 있도록 하는 방법이 활발하게 연구되고 있다.
그러나 상기와 같은 종래의 이동물체 자동 추적 시스템에서는 입력영상을 압축하기 위한 과정과 이동물체를 추적하기 위한 과정이 하나의 시스템 내에서 각각 독립적으로 처리되고 있어 매우 비효율적이다는 문제점이 있다. 즉, 입력영상에 대한 압축과정과 카메라 제어를 위한 입력영상의 처리과정이 각각 입력영상을 독립적으로 처리하도록 하고 있기 때문에 제어장치의 부하 부담이 커지며, 불필요한 전력 소모 등에 의해 자원의 낭비를 초래하게 된다.
본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 입력영상을 압축하는 과정에서 생성된 정보를 토대로 움직이는 물체를 추적하며 촬영할 수 있는 압축정보를 이용한 카메라 제어방법을 제공하는 데 있다.
도 1은 일반적인 영상 압축 방법을 설명하는 순서도,
도 2는 일반적인 영상신호를 이용한 이동물체 자동 추적방법을 설명하는 순서도,
도 3은 본 발명의 실시예에 따른 이동물체 자동 추적 시스템의 블록도,
도 4는 도 3의 이동물체 자동 추적 시스템의 동작을 설명하는 순서도,
도 5는 메크로블록의 움직임 벡터로부터 움직임영역과 정지영역에 대한 결정 과정을 설명하기 위한 도면,
도 6은 이동물체의 크기 및 중심값의 추정 과정을 설명하기 위한 도면,
도 7은 카메라의 팬/틸트 제어영역을 나타낸 도면,
도 8은 카메라의 줌 인/아웃 제어영역을 나타낸 도면, 그리고
도 9 및 도 10은 카메라 제어시간과 이동물체에 대한 정보 추정 시간의 실시예를 각각 나타낸 타이밍도이다.
*도면의 주요부분에 대한 부호의 설명*
100: 촬영부110: 영상입력부
120: 전처리부130: 움직임벡터계산부
140: 후처리부150: 부호화부
210: 카메라구동부220: 렌즈구동부
300: 구동부400: 촬영제어부
상기의 목적을 달성하기 위한 본 발명의 영상압축정보를 이용한 카메라 제어방법은, 카메라에 의해 촬영된 입력영상의 압축 데이터 생성을 위한 매크로블록의 움직임 벡터값을 이용하여 상기 입력영상의 움직임영역과 정지영역을 결정하는 단계; 상기 움직임영역으로부터 이동물체의 중심값 및 크기 정보를 추정하는 단계; 및 상기 중심값 및 상기 크기정보를 통해 상기 이동물체를 추적하며 촬영하도록 상기 카메라를 제어하는 단계;를 포함한다.
여기서, 상기 입력영상의 움직임영역과 정지영역을 결정하는 단계는, 상기메크로블록의 이동거리를 계산하는 단계; 및 상기 메크로블록의 계산된 이동거리와 임계값의 비교결과에 따라 상기 움직임영역과 상기 정지영역을 판단하는 단계;를 포함한다.
또한, 상기 이동물체의 크기는 상기 움직임영역의 테두리를 이루는 사각형의 면적으로 결정하며, 상기 사각형의 중심을 이동물체의 중심으로 결정한다. 이때, 결정된 상기 이동물체의 크기는 촬영시의 줌 인/아웃 제어에 이용되며, 상기 이동물체의 중심값은 촬영시 팬/틸트 제어에 이용된다.
또한, 상기 카메라 제어방법은 이동물체의 추적을 위하여 상기 사각형 영역을 상기 이동물체의 이동을 추적하기 위한 추적창으로 설정하고, 상기 사각형 내의 이전프레임을 토대로 상기 이동물체의 이동지점을 예측하여 상기 추적창을 이동시키는 단계;를 더 포함한다. 그리고 상기 카메라 제어단계에서는 상기 추적창을 이동시킬 때, 상기 추적창의 중심값이 상기 입력영상 전체영역 내의 설정범위 이외에 존재하면, 상기 추적창의 이동예측정보를 토대로 상기 카메라의 촬영방향이 전환되도록 제어한다.
여기서, 상기 카메라의 제어와 상기 이동물체의 중심값 및 상기 크기정보에 대한 추정은 상호 시분할적으로 수행되도록 한다.
이상과 같은 영상압축정보를 이용한 카메라 제어방법은 이동물체를 추적하기 위한 영상처리과정을 생략하면서도 기존의 영상 압축을 위해 계산된 상기 움직임 벡터를 이용하여 카메라의 이동, 팬/틸트 그리고 줌 인/아웃을 제어할 수 있게 된다.
이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 이동물체 추적 시스템의 블록도이다. 이동물체 추적 시스템은 촬영부(100), 영상압축처리부(200), 구동부(300) 및 촬영제어부(400)를 포함한다.
촬영부(100)는 렌즈들(미도시) 및 CCD(미도시)를 구비하며, 감시영역을 촬영하여 영상신호를 생성한다.
영상압축처리부(200)는 촬영부(100)에서 전달된 영상신호로부터 데이터의 크기를 줄이기 위한 압축을 수행하여 저장장치(미도시) 또는 네트워크 전송장치(미도시)에 출력한다. 이를 위해 영상압축처리부(200)는 촬영부(100)로부터 전달된 영상을 입력받는 영상입력부(110)와, 입력영상을 전처리하는 전처리부(120)와, 전처리된 입력영상으로부터 이전프레임과의 차값을 통해 움직임벡터를 계산하는 움직임벡터계산부(130)와, 움직임 벡터가 계산된 입력영상에 대하여 압축관련 후처리를 수행하는 후처리부(140) 및 후처리된 입력영상에 대하여 데이터 특징에 따른 압축데이터를 생성하는 부호화부(150)를 구비한다.
구동부(300)는 촬영제어부(400)로부터 출력된 제어신호에 따라 촬영부(100)를 구동한다. 즉, 입력영상에 대한 팬/틸트 및 줌 인/아웃을 수행하도록 렌즈를 조절하기 위한 렌즈구동부(220)와, 이동물체를 추적하여 촬영하도록 촬영부(100)의 방향을 전환시키기 위한 카메라 구동부(210)를 구비한다.
촬영제어부(400)는 영상압축처리부(200)의 움직임벡터계산부(130)에서 계산된 메크로블록의 움직임 벡터값으로부터 이동물체의 크기 및 중심값을 추정하고,구동부를 통해 촬영부(100)를 제어한다.
도 4는 도 3의 이동물체 추적 시스템의 동작을 설명하는 순서도이다. 먼저 촬영부(100)를 통해 피사체가 촬영되면(S310), 영상입력부(200)를 통해 입력된 입력영상을 전처리부(120)에서 입력영상의 압축관련 전처리를 수행한다(S320). 이렇게 전처리된 영상은 움직임벡터계산부(130)에서 이전프레임들과 비교되어 메크로블록의 움직임벡터값을 계산한다(S330).
이후, 움직임 벡터값이 계산된 입력영상은 입력영상의 이진데이터 배열특성을 이용하여 압축데이터를 생성한다(340). 즉, 후처리부(140)에서 데이터 압축을 위해 후처리가 수행되고(342), 후처리된 입력영상을 부호화부(150)를 통해 부호화(S344)하여 압축데이터를 생성한다(S346).
한편, 촬영제어부(400)에서는 움직임벡터계산부(130)에서 계산된 움직임 벡터값을 토대로 이동물체에 대한 정보를 획득하여 획득된 정보에 따라 제어신호를 구동부(300)에 출력하여 촬영부(100)를 제어한다(S350).
이하에 계산된 움직임 벡터값을 이용하여 촬영부를 제어하는 과정을 상세하게 살펴본다.
먼저, 촬영제어부(400)에서는 움직임벡터계산부(130)에서 계산된 움직임 벡터값을 입력받아 입력영상의 움직임영역과 정지영역을 결정한다(S352). 이를 위해 촬영제어부(400)에서는 도 5와 같이 메크로블록의 움직임 벡터값으로부터 이동물체의 이동거리를 계산하고, 계산된 이동거리와 메크로블록의 움직임 영역을 결정하기 위한 임계값을 비교하여 입력영상의 움직임 영역을 결정한다. 도 5에서 메크로블록의 이동거리는 다음 수학식 1로 정의된다.
{ A: 수평방향 움직임 벡터값
B: 수직방향 움직임 벡터값 }
도 5에서 메크로블록의 이동거리가 임계값 '2'보다 크면 움직임이 있는 메크로블록으로, 적으면 움직임이 없는 블록으로 판정할 수 있다. 도면 우측에는 임계값과 메크로블록의 이동거리가 비교되어 움직임 영역(A)이 결정된 영상을 보이고 있다.
여기서, 메크로블록의 이동거리는 다양하게 정의할 수 있으며, 다른 예로 다음 수학식 2와 같이 정의할 수도 있다.
그리고 위와 같이 입력영상으로부터 움직임영역과 정지영역이 결정되면, 촬영제어부(400)는 움직임영역으로부터 이동물체의 크기 및 중심값 정보를 추정한다. 이때, 이동물체의 크기(B)는 도 6에 보인바와 같이 움직임영역의 외곽을 에워싸는 사각형의 면적으로 결정된다. 그리고 이동물체의 중심값(C)은 이동물체의 크기를 나타내는 사각형의 중심으로 결정한다.
다시 도 4를 참조하여, 촬영제어부(400)는 위와 같이 이동물체의 크기 및 중심값이 결정되면, 이동물체의 크기정보 및 중심값 정보에 따라 촬영제어신호를 구동부(300)에 출력하여 촬영부(100)를 제어한다(S356). 이때, 이동물체의 크기정보에 따라 이동물체의 크기가 영상면에서 일정한 점유율을 유지하도록 렌즈구동부(220)에 줌 인/아웃 제어신호를 출력하여 촬영부(100)의 줌 인/아웃을 제어한다. 또한, 중심값정보에 따라 움직이는 물체의 중심이 영상면의 중심에 위치하도록 렌즈구동부(220)에 팬/틸트제어신호를 출력하여 촬영부(100)의 팬/틸트를 제어한다. 이때, 촬영부(100)의 팬/틸트 제어는 과다한 제어에 의해 화면떨림이 발생하는 것을 방지하기 위하여 도 7에서와 같이 입력영상 전체영역의 설정영역(D) 이외의 영역(E)에 이동물체의 중심값이 위치하는 경우에만 수행하도록 한다. 또한, 촬영부(100)의 줌 인/아웃 제어 역시 도 8에서와 같이 입력영상 전체영역의 설정된 영역(G) 내(F)에 존재하는 경우에 줌인을 수행하고, 설정영역(G) 밖(H)에 위치하는 경우에 줌 아웃을 수행하도록 한다.
또한, 촬영제어부(400)에서는 사각형 영역을 이동물체의 이동을 추적하기 위한 추적창으로 설정하고, 사각형 내의 이전프레임을 토대로 이동물체의 이동지점을 예측하여 추적창을 이동시켜 이동물체를 추적할 수 있다. 그리고 추적창의 중심값이 입력영상 전체영역 내의 설정범위 밖에 존재하면, 추적창의 이동예측정보를 토대로 카메라 구동부(310)에 카메라 방향전환제어신호를 출력하여 촬영부(100)의 촬영방향을 제어한다.
한편, 위와 같이 카메라를 제어하는 데 있어서, 카메라 제어가 수행되는 동안 입력된 영상은 실제 이동물체의 움직임이 아닌 카메라의 움직임에 의한 움직임 벡터값이 발생하게 되므로 유용한 정보라고 할 수 없게 된다. 따라서, 카메라를 제어하는 시간(a′)과 이동물체의 중심값 및 크기정보를 추정하는 시간(a)은 도 9의 타이밍도와 같이 상호 시분할적으로 수행되도록 한다. 도 10은 이동물체에 대한 정보(b)와 카메라 제어(b′)에 대한 또 다른 실시예이다.
이상과 같은 본 발명의 압축정보를 이용한 카메라 제어방법에 의하면, 이동물체 추적을 위한 기본정보를 영상 압축 시스템으로부터 획득하여 처리하기 때문에 각각 신호처리를 하는 종래의 이동물체 추적 시스템에 비해 중앙처리장치의 부하량을 대폭 감소시킬 수 있게 되며, 영상 압축 기능과 촬영 제어 기능이 결합됨으로서 제품의 비용면에서 보다 더 유리하게 된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명은 상술한 실시예에 한정되지 아니하며, 영상 압축시스템을 가지면서 촬영을 할 수 있는 시스템에는 모두 적용 가능한 관계로 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능할 것이다.

Claims (12)

  1. 카메라에 의해 촬영된 입력영상의 압축 데이터 생성을 위한 매크로블록의 움직임 벡터값을 이용하여 상기 입력영상의 움직임영역과 정지영역을 결정하는 단계;
    상기 움직임영역으로부터 이동물체의 중심값 및 크기 정보를 추정하는 단계; 및
    상기 중심값 및 상기 크기정보를 통해 상기 이동물체를 추적하며 촬영하도록 상기 카메라를 제어하는 단계;를 포함하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  2. 제 1항에 있어서,
    상기 입력영상의 움직임영역과 정지영역을 결정하는 단계는,
    상기 메크로블록의 이동거리를 계산하는 단계; 및
    상기 메크로블록의 계산된 이동거리와 임계값의 비교결과에 따라 상기 움직임영역과 상기 정지영역을 판단하는 단계;를 포함하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  3. 제 2항에 있어서,
    상기 이동거리는, 다음 수학식:
    에 의해 산출되는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  4. 제 2항에 있어서,
    상기 이동거리는, 다음 수학식:
    에 의해 산출되는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  5. 제 1항에 있어서,
    상기 이동물체의 크기는 상기 움직임영역의 외곽을 에워싸는 사각형의 면적으로 결정하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  6. 제 1항에 있어서,
    상기 사각형 영역을 상기 이동물체의 이동을 추적하기 위한 추적창으로 설정하고, 상기 사각형 내의 이전 프레임을 토대로 상기 이동물체의 이동지점을 예측하여 상기 추적창을 이동시키는 단계;를 더 포함하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  7. 제 6항에 있어서,
    상기 카메라 제어 단계에서는, 상기 추적창의 중심값이 상기 입력영상 전체영역 내의 설정범위 이외에 존재하면, 상기 추적창의 이동예측정보를 토대로 상기카메라의 촬영방향이 전환되도록 제어하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  8. 제 1항에 있어서,
    상기 카메라 제어단계에서는, 상기 이동물체의 중심값 정보를 통해 상기 카메라의 팬/틸트를 제어하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  9. 제 8항에 있어서,
    상기 카메라의 팬/틸트 제어는, 상기 이동물체의 중심값이 상기 입력영상 전체영역의 설정 영역 이외에 위치하는 경우에 수행되는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  10. 제 1항에 있어서,
    상기 카메라 제어단계에서는, 상기 이동물체의 크기정보를 통해 상기 카메라의 줌 인/아웃을 제어하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  11. 제 10항에 있어서,
    상기 카메라의 줌 인/아웃 제어는, 상기 이동물체가 상기 입력영상 전체영역의 설정된 영역 내에 존재하는 경우에 줌인을 수행하고, 상기 설정 영역 외에 위치하는 경우에 줌 아웃이 수행되도록 하는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
  12. 제 1항 내지 제 11항 중 어느 한 항에 있어서,
    상기 카메라의 제어와 상기 이동물체의 중심값 및 상기 크기정보의 추정은 상호 시분할적으로 수행되는 것을 특징으로 하는 영상압축정보를 이용한 카메라 제어방법.
KR10-2001-0066851A 2001-10-29 2001-10-29 영상압축 알고리즘을 이용한 카메라 제어방법 KR100426174B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR10-2001-0066851A KR100426174B1 (ko) 2001-10-29 2001-10-29 영상압축 알고리즘을 이용한 카메라 제어방법
US10/225,154 US7248286B2 (en) 2001-10-29 2002-08-22 Apparatus and method for controlling a camera using a video compression algorithm
JP2002265845A JP2003189290A (ja) 2001-10-29 2002-09-11 映像圧縮アルゴリズムを用いるカメラ制御方法と装置
EP02256973A EP1311123B1 (en) 2001-10-29 2002-10-08 Controlling a video camera
DE60224866T DE60224866T2 (de) 2001-10-29 2002-10-08 Steuern einer Videokamera
CNB02146894XA CN1236599C (zh) 2001-10-29 2002-10-18 利用视频压缩算法控制摄像机的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0066851A KR100426174B1 (ko) 2001-10-29 2001-10-29 영상압축 알고리즘을 이용한 카메라 제어방법

Publications (2)

Publication Number Publication Date
KR20030034995A true KR20030034995A (ko) 2003-05-09
KR100426174B1 KR100426174B1 (ko) 2004-04-06

Family

ID=19715482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0066851A KR100426174B1 (ko) 2001-10-29 2001-10-29 영상압축 알고리즘을 이용한 카메라 제어방법

Country Status (6)

Country Link
US (1) US7248286B2 (ko)
EP (1) EP1311123B1 (ko)
JP (1) JP2003189290A (ko)
KR (1) KR100426174B1 (ko)
CN (1) CN1236599C (ko)
DE (1) DE60224866T2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687077B2 (en) 2007-09-28 2014-04-01 Samsung Electronics Co., Ltd. Method and system for controlling camera through wireless sensor network
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4491295B2 (ja) * 2004-07-22 2010-06-30 キヤノン株式会社 画像再生方法及び画像再生装置
JP2006129152A (ja) * 2004-10-29 2006-05-18 Konica Minolta Holdings Inc 撮像装置および画像配信システム
US20060126737A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a camera to track an object using motion vector data
US20060126738A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a plurality of cameras to track an object using motion vector data
JP4533284B2 (ja) * 2005-08-30 2010-09-01 キヤノン株式会社 追尾撮像装置及びその追尾制御方法、並びに制御プログラム
US20080232477A1 (en) * 2005-09-01 2008-09-25 Koninklijke Philips Electronics, N.V. Method and Device For Coding and Decoding of Video Error Resilience
JP4413235B2 (ja) * 2006-02-22 2010-02-10 三洋電機株式会社 電子カメラ
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
US8458105B2 (en) * 2009-02-12 2013-06-04 Decisive Analytics Corporation Method and apparatus for analyzing and interrelating data
US20100235314A1 (en) * 2009-02-12 2010-09-16 Decisive Analytics Corporation Method and apparatus for analyzing and interrelating video data
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
US8772975B2 (en) 2009-12-07 2014-07-08 Qualcomm Incorporated Apparatus and method for implementing a differential drive amplifier and a coil arrangement
JP5589527B2 (ja) * 2010-04-23 2014-09-17 株式会社リコー 撮像装置および追尾被写体検出方法
US20110280438A1 (en) * 2010-05-14 2011-11-17 Yong Zhang Image processing method, integrated circuit for image processing and image processing system
US9661232B2 (en) 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
KR101666397B1 (ko) * 2010-12-21 2016-10-14 한국전자통신연구원 객체 영상 획득 장치 및 방법
JP5507014B2 (ja) * 2011-08-10 2014-05-28 富士フイルム株式会社 動体検出装置及び方法
US9686463B2 (en) * 2015-03-10 2017-06-20 Qualcomm Incorporated Systems and methods for continuous auto focus (CAF)
KR101935414B1 (ko) * 2016-10-27 2019-04-08 동명대학교산학협력단 부유물 수거용 자율 수상로봇
JP2019114902A (ja) * 2017-12-22 2019-07-11 ルネサスエレクトロニクス株式会社 半導体装置、撮像システム、及びプログラム
CN108230366B (zh) * 2017-12-28 2021-09-07 厦门市美亚柏科信息股份有限公司 一种目标物的追踪方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
KR940007163B1 (ko) * 1991-07-09 1994-08-06 삼성전자 주식회사 캠코더의 피사체 자동추적장치
JP3114888B2 (ja) * 1991-09-17 2000-12-04 ソニー株式会社 カメラ制御装置
KR0138137B1 (ko) * 1992-02-28 1998-05-15 강진구 감시용 카메라 시스템
JP3487436B2 (ja) * 1992-09-28 2004-01-19 ソニー株式会社 ビデオカメラシステム
FR2703802A1 (fr) 1993-04-07 1994-10-14 Philips Electronique Lab Dispositif d'estimation de mouvement entre des images successives d'une séquence d'images animées subdivisées en blocs bidimensionnels d'éléments d'image.
JPH06339056A (ja) * 1993-05-31 1994-12-06 Oki Electric Ind Co Ltd ビデオカメラ駆動装置
JPH0767015A (ja) * 1993-08-24 1995-03-10 Canon Inc 画像記録装置
US5521634A (en) 1994-06-17 1996-05-28 Harris Corporation Automatic detection and prioritized image transmission system and method
JPH0869597A (ja) 1994-08-30 1996-03-12 Matsushita Electric Ind Co Ltd 動きベクトル検出手段を用いた監視装置
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
US5790686A (en) * 1995-09-19 1998-08-04 University Of Maryland At College Park DCT-based motion estimation method
JPH09153138A (ja) 1995-12-01 1997-06-10 Fujitsu Ltd カメラ制御装置
JPH09182078A (ja) * 1995-12-25 1997-07-11 Casio Comput Co Ltd 動きベクトル検出装置及び動きベクトル検出方法
JP3658617B2 (ja) * 1996-01-16 2005-06-08 いすゞ自動車株式会社 自動車のステアリングホイールにおけるコンビネーションスイッチ及びエアーバッグ用ロータリーコイルの取付機構
JP2940469B2 (ja) 1996-04-30 1999-08-25 日本電気株式会社 動画像解析装置及び動画像解析方法
FR2773937B1 (fr) 1998-01-22 2000-02-18 Commissariat Energie Atomique Procede et dispositif de poursuite automatique d'une cible
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
JP2000032435A (ja) 1998-07-10 2000-01-28 Mega Chips Corp 監視システム
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP4280353B2 (ja) * 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
JP2001145109A (ja) * 1999-11-11 2001-05-25 Nec Corp 動きベクトル検出装置
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687077B2 (en) 2007-09-28 2014-04-01 Samsung Electronics Co., Ltd. Method and system for controlling camera through wireless sensor network
KR101403223B1 (ko) * 2007-09-28 2014-06-03 삼성전자주식회사 무선 센서 네트워크를 통한 카메라 제어 방법 및 이를 위한시스템
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치

Also Published As

Publication number Publication date
US20030081130A1 (en) 2003-05-01
DE60224866T2 (de) 2008-05-21
US7248286B2 (en) 2007-07-24
DE60224866D1 (de) 2008-03-20
EP1311123A1 (en) 2003-05-14
JP2003189290A (ja) 2003-07-04
EP1311123B1 (en) 2008-01-30
CN1236599C (zh) 2006-01-11
CN1466373A (zh) 2004-01-07
KR100426174B1 (ko) 2004-04-06

Similar Documents

Publication Publication Date Title
KR100426174B1 (ko) 영상압축 알고리즘을 이용한 카메라 제어방법
US7840085B2 (en) Electronic video image stabilization
CN108737837B (zh) 形成视频流的方法及图像处理单元
US8624993B2 (en) Video image pickup device
US7889248B2 (en) Imaging apparatus and method of processing image
JP6574645B2 (ja) 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
KR20140022925A (ko) 이미지 캡쳐 파라미터들에 기초한 비디오 인코딩의 제어
US20130176460A1 (en) Image processing apparatus, image capturing apparatus, and computer program
CN110636223A (zh) 防抖处理方法和装置、电子设备、计算机可读存储介质
KR20090063120A (ko) 결합 이미지를 생성하는 방법 및 장치
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
JP2001358984A (ja) 動画像処理カメラ
KR101372838B1 (ko) 다기능 차량촬영 시스템 및 방법
KR101321974B1 (ko) 옵티컬 플로우를 이용한 이동물체 영상합성 방법
EP3989530A1 (en) Generating substitute image frames based on camera motion
US8625933B2 (en) Image processing apparatus and method for the same
JP2957800B2 (ja) 自動焦点調節装置
JP2005175970A (ja) 撮像システム
JP7299690B2 (ja) 画像処理装置およびその制御方法
KR100761817B1 (ko) 움직이는 물체를 효율적으로 추적하는 감시용 카메라시스템 및 그 제어 방법
WO2019167546A1 (ja) 映像符号化装置及び映像符号化方法
JP6808446B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7336185B2 (ja) 画像処理装置および画像処理方法
JP2000217108A (ja) 画像符号化方法及び記憶媒体
WO2019176361A1 (ja) 映像符号化装置及び映像符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20011029

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20030730

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20040323

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20040325

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20040326

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20070227

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20080228

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20080228

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee