KR20150074569A - Image processing apparatus and the method therof - Google Patents

Image processing apparatus and the method therof Download PDF

Info

Publication number
KR20150074569A
KR20150074569A KR1020130162470A KR20130162470A KR20150074569A KR 20150074569 A KR20150074569 A KR 20150074569A KR 1020130162470 A KR1020130162470 A KR 1020130162470A KR 20130162470 A KR20130162470 A KR 20130162470A KR 20150074569 A KR20150074569 A KR 20150074569A
Authority
KR
South Korea
Prior art keywords
image
frames
external
predetermined number
divided images
Prior art date
Application number
KR1020130162470A
Other languages
Korean (ko)
Inventor
김민영
김영모
박수인
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020130162470A priority Critical patent/KR20150074569A/en
Publication of KR20150074569A publication Critical patent/KR20150074569A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Disclosed is a device for treating an image. The device comprises: a photographing unit for obtaining an image for an external region; a control unit for renewing a background image according to the number of frames about an obtained external image, or extracting an entity image accessing the photographing unit; and an external interface unit for transmitting the extracted entity image to an external device. When the number of accumulated frames about an obtained external image is equivalent to or more than a predetermined number, the control unit renews a background image or traces a position of an entity. When the number of the accumulated frames about an obtained external image is less than a predetermined number, the control unit generates a plurality of division images corresponding to a predetermined number about any one of a width axial direction and a length axial direction of total images including an entity image.

Description

영상 처리 장치 및 그 방법{IMAGE PROCESSING APPARATUS AND THE METHOD THEROF}[0001] IMAGE PROCESSING APPARATUS AND THE METHOD THEROF [0002]

본 발명은 영상 처리 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 촬영된 이미지로부터 객체의 접근을 판단하는 영상 처리 장치 및 그 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method thereof, and more particularly, to an image processing apparatus and method for determining an approach of an object from a photographed image.

일반적으로, 감시 시스템은 사용자가 감시하고자 하는 원격 위치에 카메라를 설치하고, 카메라에 의해 촬영된 영상을 디스플레이 장치에 표시되도록 하여, 원격의 위치에 있는 영역을 감시하게 된다. Generally, the surveillance system installs a camera at a remote location that a user wants to monitor, and displays an image photographed by the camera on a display device, thereby monitoring an area at a remote location.

통상적으로 감지 시스템은 카메라를 구비하고, 카메라를 통해 감시 영역을 지속적으로 촬영하는 방식과, 센서를 이용하여 이동 물체의 감지시 카메라를 통해 촬영한 이미지를 녹화하고 경보를 발생하는 방식이 있다. Generally, the sensing system includes a camera, a method of continuously photographing a surveillance area through a camera, and a method of recording an image photographed through a camera when a moving object is sensed using a sensor and generating an alarm.

전자의 방식의 경우, 지속적으로 카메라를 통해 촬영하여 저장매체에 저장하고, 침입자에 의한 도난 발생 시 매체에 저장된 녹화 이미지를 검사하여 침입자를 찾아내는 방식이다. 그러나, 이러한 방식의 경우 경비원 또는 관리원이 촬영 이미지를 지속적으로 감시하여 침입자를 판단해야 하므로 침입을 미연에 방지하기는 어려운 측면이 있으며, 지속적인 촬영으로 많은 저장 공간과 저장 매체에 대한 수시 관리를 필요로 한다. 따라서 침입 발생 후 해당 촬영 이미지를 찾기 어려운 문제점이 있으며, 많은 저장 공간과 촬영된 이미지를 관리하기 위한 많은 시간과 비용이 소모되는 문제점이 있었다. In the case of the former method, it is continuously photographed through a camera and stored in a storage medium, and in the event of the theft by the intruder, the recorded image stored in the medium is inspected to find the intruder. However, in such a case, it is difficult to prevent the intruder from intruding because the security guard or the maintenance staff continuously monitors the shot image to judge the intruder. do. Therefore, there is a problem that it is difficult to find a corresponding captured image after an intrusion, and there is a problem that a lot of time and expense are required to manage a lot of storage space and a captured image.

후자의 방식의 경우, 센서에 의해 이동물체가 감지되는 경우에만 촬영하여 저장하므로 상기 전자의 방식에 비해 많은 저장공간을 요하지 않으며, 그 관리 또한 수월한 장점을 가진다. 그러나 센서의 동작이 원활하지 않거나 센서가 오동작하는 경우 또는 센서의 불량으로 인하여 동작하지 않는 경우 등이 발생하여 잘못된 촬영 및 외부로부터 침입자 발생 시 제대로 동작하지 않을 수 있는 문제점이 있었다. In the case of the latter method, since the object is photographed and stored only when a moving object is sensed by the sensor, it does not require much storage space as compared with the former method, and its management is also advantageous. However, there is a problem that the operation of the sensor is not smooth, the sensor is malfunctioning, or the sensor is not operated due to the failure.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 센서에 의하지 않고서 촬영된 이미지에 의하여 객체의 접근을 판단하는 영상 처리 장치 및 그 방법을 제공하기 위함이다. It is an object of the present invention to provide an image processing apparatus and method for determining an access of an object by an image photographed without using a sensor.

상기의 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 처리 장치는 외부 영역에 대한 이미지를 획득하기 위한 촬영부, 획득된 외부 이미지에 대한 프레임 개수에 따라 배경 이미지를 갱신하거나 촬영부로 접근하는 객체 이미지를 추출하는 제어부, 및 추출된 객체 이미지를 외부 장치로 전송하는 외부 인터페이스부를 포함하고, 제어부는 획득된 외부 이미지에 대한 누적 프레임의 개수가 기 설정된 개수 이상이면, 배경 이미지를 갱신하거나 객체의 위치를 추적하고, 획득된 외부 이미지에 대한 누적 프레임의 개수가 기 설정된 개수 미만이면, 객체 이미지가 포함된 전체 이미지의 가로 축 방향 및 세로 축 방향 중 어느 하나에 대하여 기 설정된 개수에 대응되는 복수의 분할 영상을 생성한다. In order to achieve the above object, an image processing apparatus according to an embodiment of the present invention includes a photographing unit for obtaining an image of an outside region, a background image updating unit for updating the background image according to the number of frames of the obtained external image, And the control unit may update the background image or update the background image if the number of accumulated frames for the acquired external image is equal to or greater than a predetermined number, If the number of accumulated frames for the acquired external image is less than the preset number, a plurality of images corresponding to a predetermined number in any one of the horizontal axis direction and the vertical axis direction of the entire image including the object image As shown in FIG.

또한, 제어부는 카운팅된 프레임 개수가 기 설정된 개수 이상이면, 객체 이미지를 추출할 수 있다. In addition, if the number of counted frames is equal to or greater than a predetermined number, the control unit can extract an object image.

또한, 제어부는 카운팅된 프레임 개수가 기 설정된 개수 미만이면, 배경 이미지를 갱신할 수 있다. In addition, the control unit can update the background image if the counted number of frames is less than the predetermined number.

또한, 제어부는 복수의 분할 영상 각각에 대하여 배경 이미지와 입력 이미지의 화소 값 차이를 산출하고, 산출된 화소 값 차이에 따라 복수의 분할 영상 각각에 대하여 라벨링(labeling)을 수행할 수 있다. The control unit may calculate a difference between pixel values of the background image and the input image for each of the plurality of divided images, and label each of the plurality of divided images according to the calculated difference of the pixel values.

또한, 제어부는 라벨링 결과에 따른 객체의 크기 정보 및 위치 정보를 이용하여 객체의 접근 여부를 판단할 수 있다. Also, the controller can determine whether the object is accessed using the size information and the position information of the object according to the labeling result.

또한, 제어부는 객체가 접근하는 것으로 판단되면, 객체에 대응되는 적어도 하나의 분할 영상에 대한 스틸 이미지를 획득할 수 있다. In addition, if it is determined that the object is accessed, the control unit may acquire a still image of at least one divided image corresponding to the object.

또한, 스틸 이미지는 객체 이미지 중 적어도 일부를 포함하는 복수의 분할 영상 중 일부만을 추출하여 조합한 것일 수 있다. Also, the still image may be a combination of a plurality of divided images including at least a part of the object image.

한편, 본 발명의 일 실시예에 따른 영상 처리 방법은 외부 영역에 대한 이미지를 획득하는 단계, 획득된 외부 이미지에 대한 누적 프레임의 개수가 기 설정된 개수 미만이면, 프레임 개수를 카운팅하여 객체 이미지를 추출하는 단계, 추출된 객체 이미지를 외부 장치로 전송하는 단계를 포함한다. Meanwhile, the image processing method according to an embodiment of the present invention includes the steps of acquiring an image of an outer region, counting the number of frames when the number of accumulated frames for the acquired outer image is less than a predetermined number, And transmitting the extracted object image to an external device.

또한, 복수의 분할 영상 각각에 대하여 배경 이미지와 입력 이미지의 화소 값 차이를 산출하는 단계, 및 산출된 화소 값 차이에 따라 복수의 분할 영상 각각에 대하여 라벨링(labeling)을 수행하는 단계를 더 포함할 수 있다. The method may further include calculating pixel value differences between the background image and the input image for each of the plurality of divided images, and labeling each of the plurality of divided images according to the calculated pixel value difference .

또한, 라벨링 결과에 따른 객체의 크기 정보 및 위치 정보를 이용하여 객체의 접근 여부를 판단하는 단계를 더 포함할 수 있다. The method may further include determining whether the object is accessed using the size information and the position information of the object according to the labeling result.

또한, 객체가 접근하는 것으로 판단되면, 객체에 대응되는 적어도 하나의 분할 영상에 대한 스틸 이미지를 획득하는 단계를 더 포함할 수 있다. In addition, if it is determined that the object is accessed, the method may further include obtaining a still image of at least one divided image corresponding to the object.

또한, 스틸 이미지는 객체 이미지 중 적어도 일부를 포함하는 복수의 분할 영상 중 일부만을 추출하여 조합한 것일 수 있다. Also, the still image may be a combination of a plurality of divided images including at least a part of the object image.

본 발명의 다양한 실시예에 따르면, 연속된 촬영 이미지를 저장할 필요가 없으므로, 이미지 저장 매체의 관리에 대한 시간 및 비용이 줄어들게 된다. According to various embodiments of the present invention, there is no need to store a continuous shot image, thereby reducing the time and cost of management of the image storage medium.

또한, 본 발명의 다양한 실시예에 따르면, 센서를 필요로 하지 않으므로, 센서의 오동작, 불량 등에 의한 손실 등을 막을 수 있게 된다. In addition, according to various embodiments of the present invention, since no sensor is required, it is possible to prevent a loss due to malfunction of the sensor, defective or the like.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템에 관한 도면의 일 예,
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치에 관한 블럭도의 일 예,
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에 관한 블럭도의 다른 예,
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법에 관한 순서도의 일 예,
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법에 관한 순서도의 다른 예,
도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에서, 객체의 접근 여부를 설명하기 위한 도면의 일 예이다. 1 is a block diagram of an image processing system according to an embodiment of the present invention.
2 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
3 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.
FIG. 5 is a flowchart showing another example of a flowchart of an image processing method according to an embodiment of the present invention,
6 is an example of a diagram for explaining whether an object is accessed in an image processing method according to an embodiment of the present invention.

이하에서는 도면을 참조하여, 본 발명에 대해 자세히 설명하기로 한다. Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템에 관한 도면의 일 예이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 시스템은 영상 처리 장치(100), 외부 장치(200), 사용자 단말기(300)를 포함한다. 1 is an example of a diagram of an image processing system according to an embodiment of the present invention. Referring to FIG. 1, an image processing system according to an exemplary embodiment of the present invention includes an image processing apparatus 100, an external apparatus 200, and a user terminal 300.

영상 처리 장치(100)는 객체를 촬영하여, 촬영된 객체 이미지를 영상 처리하기 위한 구성요소이다. 또한, 영상 처리 장치(100)는 촬영된 객체 이미지를 유선 또는 무선으로 연결된 외부 장치(200)에 대해 전송할 수 있다. The image processing apparatus 100 is a component for photographing an object and image-processing the photographed object image. In addition, the image processing apparatus 100 may transmit the photographed object image to the external device 200 connected by wire or wirelessly.

특히, 영상 처리 장치(100)는 획득된 외부 이미지에 대한 프레임의 개수에 따라 배경 이미지를 갱신하거나, 영상 처리 장치(100)로 접근하는 객체 이미지를 추출할 수 있다. 이 경우, 영상 처리 장치(100)는 추출된 객체 이미지를 외부 장치(200)로 전송할 수 있다. 특히, 영상 처리 장치(100)는 촬영된 객체 이미지 중 적어도 일부를 포함하는 복수의 분할 이미지 중 일부만을 조합한 이미지를 전송할 수 있다. In particular, the image processing apparatus 100 may update the background image according to the number of frames of the obtained external image, or may extract an object image to be accessed by the image processing apparatus 100. In this case, the image processing apparatus 100 can transmit the extracted object image to the external device 200. [ In particular, the image processing apparatus 100 may transmit an image combining only a part of a plurality of divided images including at least a part of the photographed object images.

외부 장치(200)는 영상 처리 장치(100)로부터 수신된 객체 이미지를 저장할 수 있다. 이 경우, 외부 장치(200)는 복수의 영상 처리 기기들과 연결되어, 복수의 영상 처리 기기들로부터 수신된 각각의 이미지를 저장할 수 있다. 또한, 외부 장치(200)는 저장된 복수의 이미지 각각에 대해 메타 데이터를 부가할 수 있으며, 메타 데이터는 저장된 이미지를 전송한 영상 처리 기기의 ID를 의미하는 데이터일 수 있다. 외부 장치(200)는 이러한 메타 데이터를 인식하여, 저장된 이미지를 전송하고자 하는 사용자 단말기(300)를 인식할 수 있다. 예를 들어, AAA 영상 처리 기기로부터 수신된 이미지는 AAA 영상 처리 기기와 연동되어 그로부터 수신된 이미지를 수신하기 위한 AAA 단말기로 전송되기 위한 메타 데이터를 포함할 수 있다. 따라서, 외부 장치(200)는 저장된 이미지에 포함된 메타 데이터에 의해, 해당 이미지를 특정한 사용자 단말기(300)로 전송할 수 있다. The external device 200 may store an object image received from the image processing apparatus 100. [ In this case, the external device 200 may be connected to a plurality of image processing devices, and may store respective images received from the plurality of image processing devices. In addition, the external device 200 may add metadata to each of a plurality of stored images, and the metadata may be data indicating an ID of an image processing apparatus that has transmitted the stored image. The external device 200 recognizes the metadata and recognizes the user terminal 300 that wants to transmit the stored image. For example, the image received from the AAA image processing device may include metadata for being transmitted to the AAA terminal for receiving the image received from the AAA image processing device. Accordingly, the external device 200 can transmit the image to the specific user terminal 300 according to the metadata included in the stored image.

사용자 단말기(300)는 외부 장치(200)와 유선 또는 무선으로 연결되어, 영상 처리 장치(100)가 촬영한 이미지를 전송받을 수 있다. 이 경우, 사용자 단말기(300)는 스마트 폰, 태블릿 PC 등 다양한 사용자 단말일 수 있다. 특히, 사용자 단말기(300)는 영상 처리 장치(100)가 전송한 이미지로서, 객체 이미지 중 적어도 일부를 포함하는 복수의 분할 이미지 중 일부만을 조합한 이미지를 수신할 수 있다. The user terminal 300 may be connected to the external device 200 through a wired or wireless connection so that the image captured by the image processing apparatus 100 can be received. In this case, the user terminal 300 may be a variety of user terminals such as a smart phone, a tablet PC, and the like. In particular, the user terminal 300 can receive an image transmitted by the image processing apparatus 100, which is a combination of only a part of a plurality of divided images including at least a part of an object image.

이하에서는, 영상 처리 장치(100)의 구성에 대해 상세하게 설명하도록 한다. Hereinafter, the configuration of the image processing apparatus 100 will be described in detail.

도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(100)에 관한 블럭도의 일 예이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(100)는 외부 인터페이스부(110), 촬영부(120), 제어부(130)를 포함한다. 2 is a block diagram of an image processing apparatus 100 according to an embodiment of the present invention. 2, an image processing apparatus 100 according to an exemplary embodiment of the present invention includes an external interface unit 110, a photographing unit 120, and a controller 130.

촬영부(120)는 촬영 동작을 수행하기 위한 구성요소이다. 특히, 촬영부(120)는 영상 처리 장치(100)에 장착되어 외부 영역에 대한 이미지를 획득하기 위한 촬영을 수행한다. 이 경우, 외부 영상은 정지 이미지일 수 있다. The photographing unit 120 is a component for performing a photographing operation. Particularly, the photographing unit 120 is mounted on the image processing apparatus 100 and performs photographing to acquire an image of the external region. In this case, the external image may be a still image.

또한, 촬영부(120)는 영상 처리 장치(100)의 전면부에 장착된 전면 카메라 및 영상 처리 장치(100)의 후면부에 장착된 후면 카메라와 같이 복수 개로 구현될 수 있다. The photographing unit 120 may be implemented as a front camera mounted on a front face of the image processing apparatus 100 and a rear face camera mounted on a rear face of the image processing apparatus 100.

뿐만 아니라, 촬영부(120)는 사용자가 출입을 통제하고자 하는 장소에서 적절한 위치 및 방향으로 배치되어, 촬영부(120)가 배치된 장소의 주변 영상을 촬영할 수 있다. In addition, the photographing unit 120 may be disposed in a proper position and direction at a place where the user wants to control entrance / exit, so that the photographing unit 120 can take a surrounding image of the place where the photographing unit 120 is disposed.

제어부(130)는 영상 처리 장치(100)에 대한 전반적인 제어를 수행한다. 특히, 제어부(130)는 획득된 외부 이미지에 대한 프레임 개수에 따라 배경 이미지를 갱신하거나 촬영부(120)로 접근하는 객체 이미지를 추출할 수 있다. 제어부(130)는 추출된 객체 이미지를 외부 인터페이스부(110)로 전송할 수 있다. The control unit 130 performs overall control of the image processing apparatus 100. In particular, the controller 130 may update the background image according to the number of frames of the acquired external image, or may extract an object image to be accessed by the photographing unit 120. The control unit 130 may transmit the extracted object image to the external interface unit 110. [

외부 인터페이스부(110)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치(200) 또는 서버 등과의 통신을 수행할 수 있다. 특히, 외부 인터페이스부(110)는 추출된 객체 이미지를 외부 장치(200)로 전송할 수 있다. 이 경우, 추출된 객체 이미지를 수신한 외부 장치(200)는 특정 영상 처리 장치(100)와 전용적으로(exclusively) 연동된 적어도 하나의 사용자 단말기(300)로 객체 이미지를 전송할 수 있다. The external interface unit 110 can perform communication with various types of external devices 200, servers, and the like according to various types of communication methods. In particular, the external interface unit 110 may transmit the extracted object image to the external device 200. [ In this case, the external device 200 receiving the extracted object image can transmit the object image to at least one user terminal 300 exclusively interlocked with the specific image processing device 100.

한편, 제어부(130)는 임시 배경 이미지를 갱신할 수 있다. 이 경우, 임시 배경 이미지는 추후에 상세될 배경 이미지에 대한 초기 갱신 조건으로 사용될 수 있다. 이에 대하여 상세하면 다음과 같다. On the other hand, the control unit 130 can update the temporary background image. In this case, the temporary background image can be used as an initial update condition for the background image to be detailed later. The details are as follows.

먼저, 제어부(130)는 외부 이미지를 입력하여, 제1 누적 프레임의 개수를 카운팅할 수 있다. 카운팅된 제1 누적 프레임의 개수가 기 설정된 개수 이상이면, 제어부(130)는 임시 배경 이미지를 갱신하고, 갱신된 배경 이미지를 저장할 수 있다. First, the control unit 130 may input an external image and count the number of first accumulated frames. If the number of the first cumulative frames counted is greater than or equal to the predetermined number, the controller 130 may update the temporary background image and store the updated background image.

이 경우, 카운팅된 제1 누적 프레임의 개수가 기 설정된 개수 미만이면, 제어부(130)는 임시 배경 이미지의 화소 값에서 촬영부(120)에 의해 촬영되어 입력된 입력 이미지의 화소 값을 감산할 수 있다. 제어부(130)는 감산된 화소 값에 따라 화소 값이 변화된 픽셀의 개수를 카운팅할 수 있다. 만약, 카운팅된 픽셀의 개수가 기 설정된 개수 미만이면, 제어부(130)는 외부 이미지를 입력할 수 있다. 만약, 카운팅된 픽셀의 개수가 기 설정된 개수 이상이면, 제어부(130)는 제1 누적 프레임의 개수를 1만큼 증가시킬 수 있다. In this case, if the number of the first accumulated frames counted is less than the preset number, the control unit 130 may subtract the pixel value of the input image captured by the photographing unit 120 from the pixel value of the temporary background image have. The control unit 130 may count the number of pixels whose pixel values have changed according to the subtracted pixel values. If the number of the counted pixels is less than the predetermined number, the controller 130 may input an external image. If the number of the counted pixels is equal to or greater than the predetermined number, the controller 130 may increase the number of the first accumulated frames by one.

한편, 제어부(130)는 외부 이미지를 입력하도록 촬영부(120)를 제어하고, 입력된 외부 이미지의 제2 누적 프레임의 개수를 카운팅할 수 있다. 카운팅된 제2 누적 프레임의 개수가 기 설정된 개수 이상이면, 제어부(130)는 외부 이미지의 제3 누적 프레임의 개수를 카운팅할 수 있다. 만약, 제3 누적 프레임의 개수가 기 설정된 개수 미만이면, 제어부(130)는 배경 이미지를 갱신할 수 있고, 기 설정된 개수 이상이면, 제어부(130)는 외부 이미지에 포함된 객체를 추적할 수 있다. Meanwhile, the control unit 130 may control the photographing unit 120 to input an external image, and may count the number of second accumulated frames of the inputted external image. If the number of counted second accumulation frames is greater than or equal to a predetermined number, the controller 130 may count the number of third accumulation frames of the external image. If the number of the third accumulation frames is less than the predetermined number, the control unit 130 can update the background image. If the number of the third accumulation frames is greater than or equal to the predetermined number, the control unit 130 can track the object included in the external image .

한편, 카운팅된 제2 누적 프레임의 개수가 기 설정된 개수 미만이면, 제어부(130)는 배경 이미지의 화소 값에서 입력 이미지의 화소 값을 감산할 수 있다. 이 후, 제어부(130)는 산출된 감산 결과에 따라 하나의 입력 이미지를 복수의 분할 이미지로 분할하여, 복수의 분할 이미지 각각에 대하여 라벨링(labeling)을 수행할 수 있다. On the other hand, if the counted number of second accumulated frames is less than the preset number, the controller 130 may subtract the pixel value of the input image from the pixel value of the background image. Thereafter, the control unit 130 may divide one input image into a plurality of divided images according to the calculated subtraction result, and perform labeling for each of the plurality of divided images.

뿐만 아니라, 제어부(130)는 전술한 바와 같은 화소 값 감산과 라벨링 수행의 동작에 대한 순서를 변경할 수도 있다. 즉, 카운팅된 제2 누적 프레임의 개수가 기 설정된 개수 미만이면, 제어부(130)는 하나의 입력 이미지를 복수의 분할 이미지로 분할할 수 있다. 이 후, 제어부(130)는 복수의 분할 이미지 각각에 대하여 배경 이미지의 화소 값에서 입력 이미지의 화소 값을 감산할 수 있다. 따라서, 제어부(130)는 복수의 분할 이미지 각각에 대하여 라벨링을 수행할 수 있다. In addition, the control unit 130 may change the order of operations for performing the pixel value subtraction and labeling as described above. That is, if the number of counted second accumulation frames is less than the predetermined number, the controller 130 may divide one input image into a plurality of divided images. Thereafter, the control unit 130 may subtract the pixel value of the input image from the pixel value of the background image for each of the plurality of divided images. Accordingly, the control unit 130 may perform labeling for each of the plurality of divided images.

이 경우, 제어부(130)는 객체 이미지가 포함된 전체 이미지의 가로 축 방향 및 세로 축 방향 중 어느 하나에 대하여 기 설정된 개수에 대응되는 복수의 분할 영상을 생성할 수 있다. 만약, 제어부(130)가 전체 이미지의 가로 축 방향에 대하여 복수의 분할 이미지로 분할하였다면, 제어부(130)는 가로 축 방향으로 분할된 복수의 분할 이미지 각각에 대하여 라벨링을 수행할 수 있다. 마찬가지로, 제어부(130)가 전체 이미지의 세로 축 방향에 대하여 복수의 분할 이미지로 분할하였다면, 제어부(130)는 세로 축 방향에 대하여 분할된 복수의 분할 이미지 각각에 대하여 라벨링을 수행할 수 있다. In this case, the controller 130 may generate a plurality of divided images corresponding to a preset number of the horizontal axis direction and the vertical axis direction of the entire image including the object image. If the control unit 130 divides the image into a plurality of divided images with respect to the horizontal axis direction of the entire image, the controller 130 may label each of the plurality of divided images divided in the horizontal axis direction. Similarly, if the control unit 130 divides the image into a plurality of divided images with respect to the longitudinal axis direction of the entire image, the control unit 130 may perform labeling on each of the plurality of divided images divided in the longitudinal axis direction.

한편, 제어부(130)는 라벨링된 결과에 따라, 객체의 크기 정보 및 위치 정보를 산출할 수 있다. 제어부(130)는 객체에 대하여 산출된 크기 정보 및 위치 정보를 이용하여, 객체의 접근 여부를 판단할 수 있다. 이 경우, 제어부(130)는 산출된 크기 정보 및 위치 정보에 따른 벡터 정보에 의하여, 객체의 접근 여부를 판단할 수 있다. 전술한 바와 같은 라벨링 및 객체의 접근 판단의 구체적인 예시에 대해서는 도 6에서 상세하도록 한다. Meanwhile, the controller 130 may calculate size information and position information of the object according to the labeled result. The control unit 130 can determine whether the object is accessed using the size information and the position information calculated for the object. In this case, the control unit 130 can determine whether the object is accessed based on the calculated size information and vector information according to the position information. A specific example of the labeling and access determination of the object as described above will be described in detail with reference to FIG.

이 후, 객체가 접근하는 것으로 판단되면, 제어부(130)는 객체에 대응되는 적어도 하나의 분할 영상에 대한 스틸 이미지를 획득할 수 있다. 즉, 제어부(130)는 전체 이미지 중 접근하는 것으로 판단된 객체 이미지 중 일부가 포함된 분할 이미지만을 획득할 수 있다. 따라서, 제어부(130)는 획득된 분할 이미지 각각을 조합함으로써, 객체 이미지를 획득할 수 있으며, 획득된 객체 이미지는 스틸 이미지의 형태로 획득될 수 있다. 이러한 방법에 의해 획득된 스틸 이미지는 외부 인터페이스부(110)를 통해 외부 장치(200)로 전송될 수 있다. Thereafter, when it is determined that the object is accessed, the control unit 130 may acquire a still image of at least one divided image corresponding to the object. That is, the control unit 130 may acquire only the divided image including a part of the object images determined to be accessed among the entire images. Accordingly, the control unit 130 can acquire an object image by combining each of the obtained divided images, and the acquired object image can be acquired in the form of a still image. The still image obtained by this method can be transmitted to the external device 200 through the external interface unit 110. [

도 3은 본 발명의 일 실시예에 따른 영상 처리 장치(100A)에 관한 블럭도의 다른 예이다. 3 is another example of a block diagram of the image processing apparatus 100A according to the embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(100A)는 외부 인터페이스부(110), 촬영부(120), 제어부(130), JPEG 압축부(140), 저장부(150), 디스플레이부(160)를 포함한다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다. 3, an image processing apparatus 100A according to an exemplary embodiment of the present invention includes an external interface unit 110, a photographing unit 120, a controller 130, a JPEG compression unit 140, a storage unit 150 , And a display unit 160. [ Hereinafter, the description of the parts overlapping with the above description will be omitted.

외부 인터페이스부(110)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치(200) 또는 서버 등과 통신을 수행하는 구성이다. 외부 인터페이스부(110)는 와이파이 칩, 블루투스 칩, 무선통신 칩, NFC 칩을 포함할 수 있다. The external interface unit 110 is configured to perform communication with various types of external devices 200, servers, and the like according to various types of communication methods. The external interface unit 110 may include a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, and an NFC chip.

와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. The Wi-Fi chip and the Bluetooth chip communicate with each other using the WiFi method and the Bluetooth method, respectively. When a Wi-Fi chip or a Bluetooth chip is used, various connection information such as an SSID and a session key may be transmitted and received first, and communication information may be used to transmit and receive various information. The wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3rd Generation Partnership Project (3GPP), LTE (Long Term Evolution) The NFC chip refers to a chip operating in an NFC (Near Field Communication) system using 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz, and 2.45 GHz.

한편, 외부 인터페이스부(110)는 외부 장치(200)에 대하여 제어부(130)에 의해 획득된 스틸 이미지를 전송한다. Meanwhile, the external interface unit 110 transmits the still image obtained by the control unit 130 to the external device 200. [

촬영부(120)는 촬영 동작을 수행하기 위한 구성요소이다. 특히, 촬영부(120)는 영상 처리 장치(100A)에 장착되어 외부 영상을 촬영한다. 이 경우, 외부 영상은 정지 영상 또는 동영상일 수 있다. 또한, 촬영부(120)는 영상 처리 장치(100A)의 전면부에 장착된 전면 카메라 및 영상 처리 장치(100A)의 후면부에 장착된 후면 카메라와 같이 복수 개로 구현될 수 있다. The photographing unit 120 is a component for performing a photographing operation. Particularly, the photographing unit 120 is attached to the image processing apparatus 100A and photographs an external image. In this case, the external image may be a still image or a moving image. The photographing unit 120 may be implemented as a front camera mounted on the front face of the image processing apparatus 100A and a rear face camera mounted on the rear face of the image processing apparatus 100A.

촬영부(120)는 렌즈와 이미지 센서를 포함한다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 영상 처리 장치(100A)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다. The photographing unit 120 includes a lens and an image sensor. The types of lenses include a general purpose lens, a wide-angle lens, a zoom lens, and the like, and can be determined according to the type, characteristics, use environment, and the like of the image processing apparatus 100A. As the image sensor, a complementary metal oxide semiconductor (CMOS) and a charge coupled device (CCD) can be used.

JPEG 압축부(140)는 촬영부(120)에서 촬영한 이미지를 읽어내어, 압축 부호화를 실행한다. 이 경우, JPEG 압축부(140)는 JPEG 압축 부호화기로 구성될 수 있다. 이를 위하여, 외부 이미지를 1개의 메모리에 기록하고, 해당 메모리를 독출하는 절차로 이루어질 수 있다. The JPEG compression unit 140 reads an image taken by the photographing unit 120 and performs compression encoding. In this case, the JPEG compression unit 140 may be configured as a JPEG compression encoder. To do this, the external image may be written into one memory and the corresponding memory may be read.

따라서, JPEG 압축부(140)는 획득된 객체 이미지, 즉 스틸 이미지를 JPEG 압축하고, 제어부(130)는 압축된 스틸 이미지를 외부 인터페이스부(110)를 통하여 외부 장치(200)로 전송하도록 제어한다. Accordingly, the JPEG compression unit 140 JPEG-compresses the obtained object image, that is, the still image, and the control unit 130 controls the compressed still image to be transmitted to the external device 200 through the external interface unit 110 .

디스플레이부(160)는 다양한 영상을 디스플레이한다. 디스플레이부(160)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이부(160) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. The display unit 160 displays various images. The display unit 160 may be implemented as various types of displays such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, and a plasma display panel (PDP). The display unit 160 may include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an OTFT (organic TFT)

비디오 프로세서(미도시)는 촬영부(120)를 통해 수신된 영상 신호에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 즉, 비디오 프로세서(미도시)는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 영상 처리를 수행할 수 있다. 이 경우, 디스플레이부(160)는 비디오 프로세서(미도시)에서 생성한 이미지 프레임을 디스플레이할 수 있다. A video processor (not shown) is a component for processing video data included in the video signal received through the photographing unit 120. [ That is, a video processor (not shown) can perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on image data. In this case, the display unit 160 may display an image frame generated by a video processor (not shown).

한편, 저장부(150)는 임시 배경 이미지, 배경 이미지, 이들의 갱신된 이미지 뿐만 아니라, 객체 이미지, 객체 이미지에 대한 복수의 분할 이미지 등을 저장할 수 있다. Meanwhile, the storage unit 150 may store not only the temporary background image, the background image, and the updated images but also the object image, the plurality of divided images for the object image, and the like.

뿐만 아니라, 저장부(150)는 영상 처리 장치(100A)의 동작에 필요한 각종 프로그램 및 데이터를 저장하기 위한 구성요소이다. In addition, the storage unit 150 is a component for storing various programs and data necessary for the operation of the image processing apparatus 100A.

제어부(130)는 저장부(150)에 저장된 각종 프로그램 및 데이터를 이용하여 영상 처리 장치(100A)의 동작을 전반적으로 제어한다. 제어부(130)는 RAM(131), ROM(132), CPU(133), GPU(134), 버스(135)를 포함한다. RAM(131), ROM(132), CPU(133), GPU(134) 등은 버스(135)를 통해 서로 연결될 수 있다. The control unit 130 controls the operation of the image processing apparatus 100A using various programs and data stored in the storage unit 150 as a whole. The control unit 130 includes a RAM 131, a ROM 132, a CPU 133, a GPU 134, The RAM 131, the ROM 132, the CPU 133, the GPU 134, and the like may be connected to each other via the bus 135.

CPU(133)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴-온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(132)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(150)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. The CPU 133 accesses the storage unit 150 and performs booting using the O / S stored in the storage unit 150. [ Then, various operations are performed using various programs, contents, data, and the like stored in the storage unit 150. The ROM 132 stores a command set for booting the system and the like. When the turn-on command is input and power is supplied, the CPU 133 copies O / S stored in the storage unit 150 to the RAM 131 according to the instruction stored in the ROM 132, To boot the system. When the booting is completed, the CPU 133 copies various programs stored in the storage unit 150 to the RAM 131, executes the program copied to the RAM 131, and performs various operations.

GPU(134)는 영상 처리 장치(100A)의 부팅이 완료되면, 영상을 디스플레이한다. 구체적으로는, GPU(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부(미도시)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(160)로 제공되어, 디스플레이 영역 내에 표시된다. When the booting of the image processing apparatus 100A is completed, the GPU 134 displays an image. Specifically, the GPU 134 can generate a screen including various objects such as an icon, an image, and a text using an operation unit (not shown) and a rendering unit (not shown). The operation unit (not shown) calculates an attribute value such as a coordinate value, a shape, a size, and a color to be displayed by each object according to the layout of the screen. The rendering unit (not shown) creates screens of various layouts including the objects based on the attribute values calculated by the operation unit (not shown). The screen generated by the rendering unit (not shown) is provided to the display unit 160 and displayed in the display area.

도 4는 본 발명의 일 실시예에 따른 영상 처리 방법에 관한 순서도의 일 예로서, 임시 배경 이미지를 갱신 및 저장하는 순서도를 도시한 것이다. 4 is a flowchart illustrating an image processing method according to an exemplary embodiment of the present invention.

먼저, 제어부(130)는 외부 이미지를 입력한(S410) 후 외부 이미지에 대한 누적 프레임인 제1 누적 프레임을 카운팅한다(S420). 여기서, 카운팅된 제1 누적 프레임의 개수가 기 설정된 개수(A) 이상(S420_Y)이면, 제어부(130)는 임시 배경 이미지를 갱신할 수 있다(S460). 따라서, 제어부(130)는 갱신된 임시 배경 이미지를 저장부에 저장할 수 있다(S470). 이와 같이 갱신된 임시 배경 이미지는 도 5에서 설명되는 배경 이미지에 대한 갱신 조건으로 사용될 수 있다. In operation S410, the controller 130 counts a first accumulation frame, which is a cumulative frame of the external image, after the external image is input (S410). If the counted number of the first accumulated frames is equal to or greater than the predetermined number A (S420_Y), the controller 130 may update the temporary background image (S460). Accordingly, the controller 130 may store the updated temporary background image in the storage unit (S470). The updated temporary background image can be used as an update condition for the background image illustrated in FIG.

만약, 카운팅된 제1 누적 프레임의 개수가 기 설정된 개수(A) 미만(S420_N)이면, 제어부(130)는 임시 배경 이미지의 화소 값에서 촬영부(120)가 입력한 입력 이미지의 화소 값을 감산한다(S430). 여기서, 제어부(130)는 임시 배경 이미지의 화소 값에서 입력 이미지의 화소 값을 감산한 결과가 기 설정된 값 이상을 가지는지를 판단할 수 있다. 이 후, 제어부(130)는 상기의 감산 결과가 기 설정된 값 이상의 값을 가지는 화소의 수를 카운팅(S440)하여, 카운팅된 화소의 수가 기 설정된 개수 이상이면(S440_Y), 제어부(130)는 누적 프레임의 개수를 1만큼 증가시킬 수 있다(S450). If the number of the first accumulated frames counted is less than the predetermined number A (S420_N), the control unit 130 subtracts the pixel value of the input image input by the photographing unit 120 from the pixel value of the temporary background image (S430). Here, the controller 130 may determine whether the result of subtracting the pixel value of the input image from the pixel value of the temporary background image has a predetermined value or more. If the counted number of pixels is greater than or equal to a predetermined number (S440_Y), the controller 130 counts the number of pixels having a value equal to or greater than a predetermined value at step S440. The number of frames can be increased by one (S450).

도 5는 본 발명의 일 실시예에 따른 영상 처리 방법에 관한 순서도의 다른 예로서, 스틸 이미지를 서버로 전송하는 과정을 도시한 순서도이다. 이하에서는 전술한 설명과 중복되는 부분에 대한 설명은 생략하기로 한다. 5 is a flowchart illustrating a process of transmitting a still image to a server according to another example of a flowchart of an image processing method according to an embodiment of the present invention. Hereinafter, the description of the parts overlapping with the above description will be omitted.

먼저, 제어부(130)는 촬영부(120)를 이용하여 외부 이미지를 입력하고(S510), 입력된 외부 이미지에 대한 누적 프레임인 제2 누적 프레임의 개수를 카운팅한다(S520). 즉, 제어부(130)는 카운팅된 제2 누적 프레임의 개수가 기 설정된 개수(B) 이상인지 여부를 판단한다. 이 경우, 제2 누적 프레임의 개수와 비교되는 기준 개수(B)는 제1 누적 프레임의 개수와 비교되는 기준 개수(A)보다 10배 내지 20배 이상 큰 것이 바람직하다. First, the control unit 130 inputs an external image using the photographing unit 120 (S510), and counts the number of second accumulated frames, which are cumulative frames of the inputted external image (S520). That is, the controller 130 determines whether the number of the second cumulative frames counted is equal to or greater than a predetermined number B or not. In this case, the reference number B to be compared with the number of second accumulation frames is preferably 10 to 20 times larger than the reference number A to be compared with the number of first accumulation frames.

한편, 제2 누적 프레임의 개수가 기 설정된 개수(B) 이상이면(S520_Y), 제어부(130)는 배경 이미지를 갱신하거나 배경 이미지를 갱신하지 않도록 제어할 수 있다(S580). 이에 대한 구체적인 설명은 다음과 같다. On the other hand, if the number of the second accumulation frames is equal to or greater than the predetermined number B (S520_Y), the control unit 130 may control to update the background image or not update the background image (S580). A detailed explanation is as follows.

즉, 제어부(130)는 촬영부(120)를 이용하여 외부 이미지를 입력하고, 입력된 외부 이미지에 대한 누적 프레임인 제3 누적 프레임의 개수를 카운팅한다. 만약, 카운팅된 제3 누적 프레임의 개수가 기 설정된 개수(C) 미만이면, 제어부(130)는 배경 이미지를 갱신한다. 따라서, 제어부(130)는 전술한 방식에 의하여 변수를 초기화할 수 있게 된다(S580). 그러나, 카운팅된 제3 누적 프레임의 개수가 기 설정된 개수(C) 이상이면, 제어부(130)는 배경 이미지를 갱신하지 않게 된다. That is, the control unit 130 inputs an external image using the photographing unit 120, and counts the number of the third cumulative frames, which are cumulative frames of the input external image. If the counted number of the third accumulated frames is less than the preset number C, the controller 130 updates the background image. Accordingly, the control unit 130 can initialize the variable by the above-described method (S580). However, if the number of counted third accumulation frames is equal to or greater than the preset number C, the controller 130 does not update the background image.

한편, 제2 누적 프레임의 개수가 기 설정된 개수(B) 미만이면(S520_N), 제어부(130)는 배경 이미지의 화소 값에서 입력 이미지의 화소 값을 감산할 수 있다(S530). 또한, 제어부(130)는 하나의 입력 이미지를 복수의 분할 이미지로 분할할 수 있다. On the other hand, if the number of second accumulation frames is less than the predetermined number B (S520_N), the controller 130 may subtract the pixel value of the input image from the pixel value of the background image (S530). Also, the control unit 130 may divide one input image into a plurality of divided images.

따라서, 제어부(130)는 산출된 감산 결과에 따라 하나의 입력 이미지에 대한 복수의 분할 이미지 각각에 대하여 라벨링을 수행하고(S540), 라벨링 결과에 따라 객체의 접근 여부를 판단할 수 있다(S550). 복수의 분할 영상에 대한 라벨링 및 그에 따른 객체의 접근 여부 판단 방법에 대해서는 도 6에서 상세하도록 한다. Accordingly, the control unit 130 performs labeling for each of the plurality of divided images for one input image according to the calculated subtraction result (S540), and determines whether the object is accessed according to the labeling result (S550) . A labeling method for a plurality of divided images and a method for determining whether the objects are accessed according to the labeling will be described in detail with reference to FIG.

이 후, 객체가 접근하는 것으로 판단된 경우, 제어부(130)는 객체에 대응되는 적어도 하나의 분할 영상에 대한 스틸 이미지를 획득한다(S560). 구체적으로, 제어부(130)는 촬영부(120)를 향해 접근하는 것으로 판단된 객체를 포함하는 전체 이미지를 획득하게 된다. 이 경우, 제어부(130)는 전체 영상을 복수의 분할 영상으로 분할하므로, 복수의 분할 영상 중 일부는 객체의 일부를 포함할 수 있다. 따라서, 제어부(130)는 복수의 분할 영상 중 객체 이미지의 일부만을 포함하는 복수의 분할 영상을 추출하고, 추출된 복수의 분할 영상을 조합한 영상에 대한 스틸 이미지를 획득할 수 있다. Thereafter, if it is determined that the object is accessed, the control unit 130 obtains a still image of at least one divided image corresponding to the object (S560). Specifically, the control unit 130 acquires the entire image including the object determined to approach the photographing unit 120. In this case, the control unit 130 divides the entire image into a plurality of divided images, so that a part of the plurality of divided images may include a part of the object. Accordingly, the controller 130 can extract a plurality of divided images including only a part of the object image among the plurality of divided images, and obtain a still image of the combined image of the plurality of divided images.

이 후, 제어부(130)는 획득된 스틸 이미지를 외부 장치(200) 또는 서버 등에 대하여 전송할 수 있다(S570). Thereafter, the control unit 130 may transmit the acquired still image to the external device 200, the server, or the like (S570).

도 6은 본 발명의 일 실시예에 따른 영상 처리 방법에서, 객체의 접근 여부를 설명하기 위한 도면의 일 예이다. 6 is an example of a diagram for explaining whether an object is accessed in an image processing method according to an embodiment of the present invention.

전술한 바와 같이, 객체 이미지를 포함하는 전체 이미지는 가로 축 방향 또는 세로 축 방향 중 어느 하나에 대하여 분할될 수 있다. 이하에서는 전체 이미지가 가로 축 방향에 대하여 복수의 영상으로 분할된 경우를 설명하기로 한다. As described above, the entire image including the object image can be divided in either the horizontal axis direction or the vertical axis direction. Hereinafter, the case where the entire image is divided into a plurality of images with respect to the horizontal axis direction will be described.

도 6의 (a)를 참조하면, 객체 이미지를 포함하는 전체 이미지가 가로 축 방향에 대하여 복수의 영상으로 분할되었다. 분할된 복수의 영상 중 적어도 하나 이상은 객체 이미지의 적어도 일부를 포함한다. 예를 들어, 제1 분할 영상은 객체의 좌측 이미지, 제2 분할 영상은 객체의 중앙 이미지, 제3 분할 영상은 객체의 우측 이미지, 제4 분할 영상 내지 제5 분할 영상은 배경 이미지를 포함하는 방식이다. Referring to FIG. 6A, the entire image including the object image is divided into a plurality of images with respect to the horizontal axis direction. At least one of the plurality of divided images includes at least a part of the object image. For example, the first divided image is the left image of the object, the second divided image is the central image of the object, the third divided image is the right image of the object, and the fourth divided image to the fifth divided image includes the background image to be.

따라서, 객체 이미지를 포함하는 복수의 분할 영상은 도 6의 (b)에 도시된 바와 같이 이진화될 수 있다. 이 경우, 화소 값의 변화가 있는 분할 영상은 1로 표현될 수 있고, 화소 값의 변화가 없는 분할 영상은 0으로 표현될 수 있다. 즉, 도 6의 (b)에서, 1이 적어도 하나 이상 연속된 영역은 화소 값의 변화가 있음을 의미하므로, 객체 이미지가 차지하는 영역으로 볼 수 있다. 마찬가지로, 도 6의 (b)에서, 0이 적어도 하나 이상 연속된 영역은 화소 값의 변화가 없음을 의미하므로, 배경 이미지가 차지하는 영역으로 볼 수 있다. Accordingly, a plurality of divided images including an object image can be binarized as shown in Fig. 6 (b). In this case, the divided image having the pixel value change can be represented by 1, and the divided image without the pixel value change can be represented by 0. That is, in (b) of FIG. 6, at least one continuous region means that there is a change in the pixel value, so that it can be regarded as an area occupied by the object image. Likewise, in FIG. 6B, at least one continuous region of 0 means that there is no change in the pixel value, and thus can be regarded as an area occupied by the background image.

전술한 바와 같은 이진화 해석에 의해, 도 6의 (c)와 같은 모델링이 수행될 수 있다. 즉, 제어부(130)는 적어도 하나 이상의 1이 연속된 영역을 객체 이미지가 차지하는 영역으로 간주하여, 이들 영역에 대한 적어도 하나의 객체 이미지를 모델링하게 된다. 이 경우, 제어부(130)는 연속하여 입력된 전체 이미지로부터 모델링된 객체 이미지의 이동 벡터를 산출할 수 있다. 예를 들어, 도 6의 (c)와 같이, 제1 객체 모델, 제2 객체 모델, 제3 객체 모델은 좌측 방향, 우측 방향, 우측 방향으로 각각 이동하는 것을 의미하는 제1 이동 벡터, 제2 이동 벡터, 제3 이동 벡터를 가질 수 있다. 또한, 각각의 이동 벡터는 길이가 상이하므로, 복수의 이동 벡터에 대한 방향 및 크기를 이용하여 도 6의 (d)와 같은 접근 객체를 모델링할 수 있다. 따라서, 촬영부(120)가 위치한 방향으로 접근하는 객체는 도 6의 (d)와 같이 모델링될 수 있으며, 제어부(130)는 이와 같이 모델링된 객체에 대응하는 복수의 분할 화면을 조합할 수 있다. 즉, 조합된 복수의 분할 화면은 객체 이미지에 해당하며, 제어부(130)는 객체 이미지에 대한 스틸 이미지를 추출한 후 외부 장치(200) 또는 서버 등으로 전송할 수 있다. By the above-described binarization analysis, modeling as shown in Fig. 6C can be performed. That is, the controller 130 considers at least one continuous region as a region occupied by the object image, and models at least one object image for these regions. In this case, the control unit 130 may calculate the motion vector of the modeled object image from the continuously input whole image. For example, as shown in (c) of FIG. 6, the first object model, the second object model, and the third object model are a first movement vector indicating movement in the left direction, right direction and right direction respectively, A motion vector, and a third motion vector. Since each motion vector is different in length, an access object as shown in FIG. 6 (d) can be modeled using the direction and size of a plurality of motion vectors. Therefore, the object approaching the direction in which the photographing unit 120 is located can be modeled as shown in (d) of FIG. 6, and the control unit 130 can combine a plurality of divided screens corresponding to the modeled object . That is, a plurality of combined divided screens corresponds to an object image, and the controller 130 may extract a still image of the object image and then transmit the extracted still image to the external device 200 or the server.

상술한 다양한 실시 예들에 따른 영상 처리 방법은, 비일시적 판독 가능 매체(non-transitory readable medium)에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다. The image processing method according to various embodiments described above may be stored in a non-transitory readable medium. Such non-transiently readable media can be used in various devices.

일 예로, 외부 영역에 대한 이미지를 획득하는 단계, 획득된 외부 이미지에 대한 누적 프레임의 개수가 기 설정된 개수 이상이면, 프레임 개수를 카운팅하여 객체 이미지를 추출하는 단계, 추출된 객체 이미지를 외부 장치로 전송하는 단계를 포함하는 영상 처리 방법을 수행하기 위한 프로그램 코드가 비일시적 판독 가능 매체에 저장되어 제공될 수 있다. For example, the method includes acquiring an image for an outer region, extracting an object image by counting the number of frames if the number of accumulated frames for the obtained outer image is equal to or greater than a predetermined number, The program code for performing the image processing method including the step of transmitting may be stored in a non-transitory readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.A non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus. Specifically, it may be a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.

300 : 사용자 단말기 200 : 외부 장치
100 : 영상 처리 장치 110 : 외부 인터페이스부
120 : 촬영부 130 : 제어부300: user terminal 200: external device
100: image processing apparatus 110: external interface unit
120: photographing unit 130:

Claims (12)

외부 영역에 대한 이미지를 획득하기 위한 촬영부;
상기 획득된 외부 이미지에 대한 프레임 개수에 따라 배경 이미지를 갱신하거나 상기 촬영부로 접근하는 객체 이미지를 추출하는 제어부; 및
상기 추출된 객체 이미지를 외부 장치로 전송하는 외부 인터페이스부;를 포함하고,
상기 제어부는,
상기 획득된 외부 이미지에 대한 누적 프레임의 개수가 기 설정된 개수 이상이면, 상기 배경 이미지를 갱신하거나 상기 객체의 위치를 추적하고,
상기 획득된 외부 이미지에 대한 누적 프레임의 개수가 기 설정된 개수 미만이면, 상기 객체 이미지가 포함된 전체 이미지의 가로 축 방향 및 세로 축 방향 중 어느 하나에 대하여 기 설정된 개수에 대응되는 복수의 분할 영상을 생성하는 영상 처리 장치.An imaging unit for acquiring an image of an outer region;
A control unit for updating the background image according to the number of frames of the acquired external image or extracting an object image to be accessed by the photographing unit; And
And an external interface unit for transmitting the extracted object image to an external device,
Wherein,
Updating the background image or tracking the position of the object if the number of accumulated frames for the obtained external image is equal to or greater than a predetermined number,
If a number of the accumulated frames for the obtained external image is less than a predetermined number, a plurality of divided images corresponding to a predetermined number in any one of the horizontal axis direction and the vertical axis direction of the entire image including the object image The image processing apparatus to generate. 제1항에 있어서,
상기 제어부는,
상기 카운팅된 프레임 개수가 기 설정된 개수 이상이면, 상기 객체 이미지를 추출하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein,
And extracts the object image if the counted number of frames is equal to or greater than a predetermined number. 제1항에 있어서,
상기 제어부는,
상기 카운팅된 프레임 개수가 기 설정된 개수 미만이면, 상기 배경 이미지를 갱신하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein,
And updates the background image if the counted number of frames is less than a predetermined number. 제1항에 있어서,
상기 제어부는,
상기 복수의 분할 영상 각각에 대하여 배경 이미지와 입력 이미지의 화소 값 차이를 산출하고,
상기 산출된 화소 값 차이에 따라 상기 복수의 분할 영상 각각에 대하여 라벨링(labeling)을 수행하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
Wherein,
Calculating a difference between pixel values of a background image and an input image for each of the plurality of divided images,
And performs labeling for each of the plurality of divided images according to the calculated pixel value difference. 제4항에 있어서,
상기 제어부는,
상기 라벨링 결과에 따른 상기 객체의 크기 정보 및 위치 정보를 이용하여 상기 객체의 접근 여부를 판단하는 것을 특징으로 하는 영상 처리 장치.5. The method of claim 4,
Wherein,
And determines whether the object is accessed using size information and position information of the object according to the labeling result. 제5항에 있어서,
상기 제어부는,
상기 객체가 접근하는 것으로 판단되면, 상기 객체에 대응되는 적어도 하나의 분할 영상에 대한 스틸 이미지를 획득하는 것을 특징으로 하는 영상 처리 장치.6. The method of claim 5,
Wherein,
And acquires a still image of at least one divided image corresponding to the object if it is determined that the object is accessed. 제6항에 있어서,
상기 스틸 이미지는,
상기 객체 이미지 중 적어도 일부를 포함하는 상기 복수의 분할 영상 중 일부만을 추출하여 조합한 것을 특징으로 하는 영상 처리 장치.The method according to claim 6,
The still image includes:
Wherein a part of the plurality of divided images including at least a part of the object images is extracted and combined. 외부 영역에 대한 이미지를 획득하는 단계;
상기 획득된 외부 이미지에 대한 누적 프레임의 개수가 기 설정된 개수 미만이면, 상기 프레임 개수를 카운팅하여 객체 이미지를 추출하는 단계;
상기 추출된 객체 이미지를 외부 장치로 전송하는 단계;를 포함하는 영상 처리 방법.Obtaining an image for an outer region;
Extracting an object image by counting the number of frames if the number of accumulated frames for the acquired external image is less than a predetermined number;
And transmitting the extracted object image to an external device. 제8항에 있어서,
상기 복수의 분할 영상 각각에 대하여 배경 이미지와 입력 이미지의 화소 값 차이를 산출하는 단계; 및
상기 산출된 화소 값 차이에 따라 상기 복수의 분할 영상 각각에 대하여 라벨링(labeling)을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.9. The method of claim 8,
Calculating a pixel value difference between a background image and an input image for each of the plurality of divided images; And
And performing labeling for each of the plurality of divided images according to the calculated pixel value difference. 제9항에 있어서,
상기 라벨링 결과에 따른 상기 객체의 크기 정보 및 위치 정보를 이용하여 상기 객체의 접근 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.10. The method of claim 9,
And determining whether the object is accessed using size information and position information of the object according to the labeling result. 제10항에 있어서,
상기 객체가 접근하는 것으로 판단되면, 상기 객체에 대응되는 적어도 하나의 분할 영상에 대한 스틸 이미지를 획득하는 단계;를 더 포함하는 것을 특징으로 하는 영상 처리 방법.11. The method of claim 10,
And acquiring a still image of at least one divided image corresponding to the object when it is determined that the object is accessed. 제11항에 있어서,
상기 스틸 이미지는,
상기 객체 이미지 중 적어도 일부를 포함하는 상기 복수의 분할 영상 중 일부만을 추출하여 조합한 것을 특징으로 하는 영상 처리 방법.
12. The method of claim 11,
The still image includes:
Wherein a part of the plurality of divided images including at least a part of the object images is extracted and combined.
KR1020130162470A 2013-12-24 2013-12-24 Image processing apparatus and the method therof KR20150074569A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130162470A KR20150074569A (en) 2013-12-24 2013-12-24 Image processing apparatus and the method therof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130162470A KR20150074569A (en) 2013-12-24 2013-12-24 Image processing apparatus and the method therof

Publications (1)

Publication Number Publication Date
KR20150074569A true KR20150074569A (en) 2015-07-02

Family

ID=53787664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130162470A KR20150074569A (en) 2013-12-24 2013-12-24 Image processing apparatus and the method therof

Country Status (1)

Country Link
KR (1) KR20150074569A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379762A (en) * 2021-05-28 2021-09-10 上海商汤智能科技有限公司 Image segmentation method and device, electronic equipment and storage medium
KR20220015040A (en) * 2020-07-30 2022-02-08 주식회사 영국전자 PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015040A (en) * 2020-07-30 2022-02-08 주식회사 영국전자 PTZ Camera Control Method for obtaining precise images in connection with Omnidirectional Panoramic Camera
CN113379762A (en) * 2021-05-28 2021-09-10 上海商汤智能科技有限公司 Image segmentation method and device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
US10929561B2 (en) Removing personally identifiable data before transmission from a device
US10937290B2 (en) Protection of privacy in video monitoring systems
JP6814673B2 (en) Movement route prediction device and movement route prediction method
CN108010008B (en) Target tracking method and device and electronic equipment
US10546199B2 (en) Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
CN105611373B (en) Method of video image processing and device
US10157227B2 (en) Apparatus and method for generating a summary image by image processing
US20150269739A1 (en) Apparatus and method for foreground object segmentation
CN104506847A (en) Method and device for detecting display fault
JP6414066B2 (en) Image processing system, image processing method, and program
WO2016021147A1 (en) Image processing system for detecting retention of moving body from image, image processing method, and recording medium
US20160084932A1 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP5460793B2 (en) Display device, display method, television receiver, and display control device
CN105450971A (en) Privacy protection method and device of video call and television
US20130107065A1 (en) Inertial sensor aided stationary object detection in videos
US9245207B2 (en) Differentiating abandoned and removed object using temporal edge information
JP2012257021A (en) Display control device and method, program, and recording medium
KR20120113014A (en) Image recognition apparatus and vison monitoring method thereof
KR20150074569A (en) Image processing apparatus and the method therof
KR101082845B1 (en) Image providing system for smart phone using ip camera
WO2021027889A1 (en) Systems and methods for image retrieval
US10643304B2 (en) Image providing apparatus and method
KR20190028016A (en) Apparatus for monitoring home, method and computer program
JP5834671B2 (en) Image processing apparatus, image processing method, and program
JP7562301B2 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid