KR20120091970A - System, device and method for object image registration, and recording medium having the method recorded thereon - Google Patents

System, device and method for object image registration, and recording medium having the method recorded thereon Download PDF

Info

Publication number
KR20120091970A
KR20120091970A KR1020110017423A KR20110017423A KR20120091970A KR 20120091970 A KR20120091970 A KR 20120091970A KR 1020110017423 A KR1020110017423 A KR 1020110017423A KR 20110017423 A KR20110017423 A KR 20110017423A KR 20120091970 A KR20120091970 A KR 20120091970A
Authority
KR
South Korea
Prior art keywords
image
dimensional
color
thermal
camera
Prior art date
Application number
KR1020110017423A
Other languages
Korean (ko)
Inventor
이상윤
김중락
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20120091970A publication Critical patent/KR20120091970A/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An object image matching system, a device thereof, a method thereof, and a recording medium thereof are provided to supply an accurate image without respect to surrounding conditions. CONSTITUTION: A TOF(Time-of-Flight) camera(100) obtains 3D images(110,130) of an object(10). A color camera(200) obtains a color image(210) of the object. A thermal infrared camera(300) obtains a thermal image(310) of the object. An image matching device(400) provides a 3D matching image by matching the 3D images, the color image, and the thermal image of the object.

Description

객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체{System, device and method for object image registration, and recording medium having the method recorded thereon}System, device and method for object image registration, and recording medium having the method recorded thereon}

본 발명은 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체에 대한 것으로, 더욱 상세하게는 ToF 카메라, 컬러 카메라 및 열-적외선 카메라를 사용하여 3차원 이미지 정보, 컬러 이미지 정보 및 열 이미지 정보를 실시간을 취득하고 통합하여, 객체에 대한 3차원 정합 이미지를 제공하며, 나아가 객체 인식 및 감시 시스템 등에 활용될 수 있도록 하기 위한 것이다. The present invention relates to an object image matching system, a matching device and a matching method, and a recording medium recording the method. More specifically, three-dimensional image information, color image information, and the like using a ToF camera, a color camera, and a thermal-infrared camera. By acquiring and integrating the thermal image information in real time, it is to provide a three-dimensional registration image of the object, and to be used in the object recognition and monitoring system.

객체의 이미지를 촬영하여, 객체를 구분하거나 인식 또는 감시하는 기술은 다양한 분야에서 활용되고 있다. 특히, 얼굴을 인식하고 감시하는 기술은 신원 확인, 출입 통제, 감독, 데이터 베이스 검색 등의 다양한 분야에서 사용되고 있다. Techniques for classifying, recognizing or monitoring an object by photographing an image of the object have been utilized in various fields. In particular, face recognition and surveillance technology is used in various fields such as identity verification, access control, supervision, and database search.

객체의 이미지를 인식하는 기술은 크게, 2차원 인식 기술과 3차원 인식 기술로 구분될 수 있다. 2차원 객체 이미지 인식 기술은 일반적으로 컬러 카메라를 활용한 것으로, 포즈 변화 또는 각도에 따라 다른 이미지를 인식하며, 또한 빛의 변화에 따라 이미지가 달라지기 때문에 정확한 이미지를 인식하기 어려운 문제가 있다. Techniques for recognizing an image of an object can be classified into two-dimensional recognition technology and three-dimensional recognition technology. 2D object image recognition technology generally utilizes a color camera, and recognizes different images according to pose changes or angles, and also has difficulty in recognizing accurate images because images vary according to light changes.

한편, 사용되는 3차원 객체 이미지 인식 기술로는 ToF(Time of Flight) 카메라를 활용하는 방법이 있다. ToF 카메라를 사용한 인식 기술은 3차원 이미지를 제공할 수 있기 때문에 다양한 각도의 이미지를 얻을 수 있는 장점이 있다. 그러나, 객체의 컬러를 인식하지 못하는 단점이 있다. 또한, 빛의 양이 적은 곳에서는 정확한 거리를 인식하지 못하여 거리 데이터의 노이즈가 증가하게 된다. Meanwhile, the three-dimensional object image recognition technology used is a method using a time of flight (ToF) camera. Recognition technology using the ToF camera has the advantage of obtaining images of various angles because it can provide three-dimensional images. However, there is a disadvantage that the color of the object is not recognized. In addition, where the amount of light is small, accurate distance is not recognized and noise of the distance data increases.

이러한 문제를 해결하기 위해, ToF 카메라를 사용하여 객체의 포즈에 상관없이 3차원 이미지를 제공하고, 컬러 카메라를 사용하여 이미지에 컬러 정보를 제공하며, 열 적외선 카메라를 사용하여 저조도 및 빛이 없는 극단적인 상황에서도 정상적으로 이미지가 제공될 수 있도록 한다. To solve this problem, you can use ToF cameras to provide three-dimensional images regardless of the pose of the object, color cameras to provide color information to the image, and thermal infrared cameras to provide extreme low light and no light. In this situation, the image can be provided normally.

본 발명이 해결하고자 하는 과제는 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체를 제공하는 것이다. An object of the present invention is to provide an object image matching system, a matching device and a matching method, and a recording medium on which the method is recorded.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 객체 이미지 정합 시스템은, 객체의 3차원 이미지를 획득하는 TOF 카메라; 상기 객체의 컬러 이미지를 획득하는 컬러 카메라; 상기 객체의 열 이미지를 획득하는 열-적외선 카메라; 및 상기 객체의 3차원 이미지, 상기 컬러 이미지 및 열 이미지를 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 이미지 정합 장치를 포함한다. Object image matching system according to an embodiment of the present invention for achieving the above object, TOF camera for obtaining a three-dimensional image of the object; A color camera for obtaining a color image of the object; A thermal-infrared camera for acquiring a thermal image of the object; And an image registration device for matching the 3D image, the color image, and the thermal image of the object to provide a 3D registration image of the object.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 객체 이미지 정합 장치는, ToF 카메라에서 획득한 객체에 대한 3차원 이미지를 제공하는 3차원 이미지 제공부; 컬러 카메라에서 획득한 상기 객체에 대한 컬러 이미지를 제공하는 컬러 이미지 제공부; 열-적외선 카메라에서 획득한 상기 객체에 대한 상기 열 이미지를 제공하는 열 이미지 제공부; 및 상기 객체의 3차원 이미지, 컬러 이미지 및 열 이미지를 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 객체 이미지 정합부를 포함한다.Object image matching device according to another embodiment of the present invention for achieving the above object, a three-dimensional image providing unit for providing a three-dimensional image of the object obtained by the ToF camera; A color image providing unit that provides a color image of the object obtained by a color camera; A thermal image providing unit which provides the thermal image of the object obtained by a thermal-infrared camera; And an object image matching unit for matching the 3D image, the color image, and the thermal image of the object to provide a 3D matching image of the object.

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 이미지 정합 방법은, ToF 카메라를 사용하여 객체의 3차원 이미지를 획득하는 단계; 칼라 카메라를 사용하여 상기 객체의 컬러 정보를 획득하는 단계; 열-적외선 카메라를 사용하여 상기 객체의 열 패턴 정보를 획득하는 단계; 및 상기 획득된 객체의 3차원 이미지, 상기 컬러 이미지 및 상기 열 이미지를 프로젝션 매트릭스를 추정하는 방법으로 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 단계를 포함한다. Object image matching method according to another embodiment of the present invention for achieving the above object comprises the steps of obtaining a three-dimensional image of the object using a ToF camera; Acquiring color information of the object using a color camera; Obtaining thermal pattern information of the object using a thermal-infrared camera; And matching the obtained 3D image, the color image, and the thermal image by a method of estimating a projection matrix to provide a 3D matched image of the object.

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 이미지 정합 방법을 구현하기 위한 프로그램이 기록된 기록매체는, 객체 이미지 정합 방법을 구현하기 위한 프로그램이 기록된 기록매체에 있어서, ToF 카메라를 사용하여 객체의 3차원 이미지를 획득하는 단계; 칼라 카메라를 사용하여 상기 객체의 컬러 정보를 획득하는 단계; 열-적외선 카메라를 사용하여 상기 객체의 열 패턴 정보를 획득하는 단계; 및 상기 획득된 객체의 3차원 이미지, 상기 컬러 이미지 및 상기 열 이미지를 프로젝션 매트릭스를 추정하는 방법으로 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 단계를 포함한다.According to another aspect of the present invention, there is provided a recording medium on which a program for implementing an object image registration method is recorded. Obtaining a three-dimensional image of an object using a camera; Acquiring color information of the object using a color camera; Obtaining thermal pattern information of the object using a thermal-infrared camera; And matching the obtained 3D image, the color image, and the thermal image by a method of estimating a projection matrix to provide a 3D matched image of the object.

본 발명의 일 실시예에 따른 객체 이미지 정합 시스템, 정합 장치, 정합 방법과 상기 방법을 구현하기 위한 프로그램이 기록된 기록매체에 따르면, 열 패턴 정보, 컬러 정보 및 3차원 정보가 하나로 정합된 3차원 정합 이미지를 제공할 수 있다. According to an object image matching system, a matching device, a matching method, and a recording medium having recorded thereon a program for implementing the method, according to an embodiment of the present invention, a three-dimensional image in which thermal pattern information, color information, and three-dimensional information are matched into one The registration image can be provided.

따라서, 다양한 포즈 변화에 대응할 수 있는 3차원 이미지를 제공할 수 있으며, 주변 환경 특히 빛의 양과 상관없이 정확한 이미지를 제공할 수 있다. Therefore, it is possible to provide a three-dimensional image that can respond to various pose changes, and can provide an accurate image regardless of the surrounding environment, in particular the amount of light.

즉, 주변 환경 및 사용자의 포즈의 변화에 강인하고, 특히 어두운 상황에서도 정상적으로 동작하는 정합 시스템을 제공할 수 있다. That is, it is possible to provide a matching system that is robust to changes in the surrounding environment and the pose of the user, and works normally even in a dark situation.

한편, 본 발명의 일 실시예에 따른 객체 이미지 정합 시스템, 정합 장치, 정합 방법과 상기 방법을 구현하기 위한 프로그램이 기록된 얼굴 및 감시 시스템에 적용하여 얼굴 인식이 필요한 신원 확인, 출입 통제, 감독, 데이터 베이스 검색, 범죄자 인식 등의 분야에 적용될 수 있다. 더불어, 열 패턴을 이용한 전염병 검출, 생물체 파악, 침입자 발견 등을 동시에 수행할 수 있다. Meanwhile, identification, access control, supervision, which requires face recognition, is applied to an object image matching system, a matching device, a matching method, and a face and surveillance system in which a program for implementing the method is recorded according to an embodiment of the present invention. It can be applied to fields such as database search and criminal recognition. In addition, it is possible to simultaneously detect infectious diseases, identify organisms, and find intruders using heat patterns.

따라서, 객체의 3차원 칼라 정합 이미지를 검출함과 함께 객체의 열 패턴 정보를 제공할 수 있다. 따라서, 공항 및 입국장에 설치될 수 있으며, 건물 등의 침입자 감시 시스템으로 사용될 수 있다. Therefore, the 3D color registration image of the object can be detected and the thermal pattern information of the object can be provided. Therefore, it can be installed in airports and arrival halls, and can be used as an intruder monitoring system for buildings.

도 1은 본 발명의 일 실시예에 따른 객체 이미지 정합 시스템의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 객체 이미지 정합 장치를 도시한 블록도이다.
도 3a는 ToF 카메라에서 획득한 이미지와 컬러 카메라에서 획득한 이미지를 정합하는 방법을 설명하기 위한 간략도이다.
도 3b는 도 3a의 정합 방법을 구체적으로 설명하기 위한 도면이다.
도 4는 ToF 카메라에서 획득한 이미지와 컬러 카메라에서 획득한 이미지를 정합한 실험예이다.
도 5a는 ToF 카메라에서 획득한 이미지와 열 적외선 카메라에서 획득한 이미지를 정합하는 방법을 설명하기 위한 간략도이다.
도 5b는 도 5a의 정합 방법을 구체적으로 설명하기 위한 도면이다.
도 6은 ToF 카메라에서 획득한 이미지와 열 적외선 카메라에서 획득한 이미지를 정합한 실험예이다.
도 7은 본 발명의 또 다른 실시예에 따른 객체 이미지 정합 장치를 나타낸 도면이다. 1 is a block diagram schematically illustrating a configuration of an object image registration system according to an embodiment of the present invention.
2 is a block diagram illustrating an object image registration device according to an embodiment of the present invention.
3A is a simplified diagram for explaining a method of matching an image acquired by a ToF camera and an image obtained by a color camera.
FIG. 3B is a diagram for specifically describing a matching method of FIG. 3A.
4 illustrates an example of matching an image acquired by a ToF camera with an image obtained by a color camera.
5A is a simplified diagram for explaining a method of matching an image acquired by a ToF camera and an image obtained by a thermal infrared camera.
FIG. 5B is a diagram for specifically describing a matching method of FIG. 5A.
6 illustrates an example of matching an image acquired by a ToF camera with an image obtained by a thermal infrared camera.
7 is a view showing an object image registration device according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be embodied in various different forms, and the present embodiments merely make the disclosure of the present invention complete, and are common in the art to which the present invention pertains. It is provided to fully inform those skilled in the art of the scope of the invention, which is to be defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 객체 이미지 정합 시스템의 구성을 개략적으로 도시한 블록도이다. 도 2는 본 발명의 일 실시예에 따른 객체 이미지 정합 장치를 도시한 블록도이다. 1 is a block diagram schematically illustrating a configuration of an object image registration system according to an embodiment of the present invention. 2 is a block diagram illustrating an object image registration device according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 이미지 정합 시스템은 ToF(Time-of-Flight) 카메라(100), 컬러(color) 카메라(200), 열 적외선(thermal-IR) 카메라(200) 및 객체 이미지 정합 장치(400)를 포함한다. 1 and 2, an object image registration system according to an embodiment of the present invention may include a time-of-flight (100) camera, a color camera (200), and thermal-IR (IR). ) A camera 200 and an object image matching device 400.

ToF 카메라(100)는 객체(10)의 3차원 이미지를 제공하여, 객체(10)의 3차원 공간 정보를 획득할 수 있다. 이 때, ToF 카메라(100)는 그레이 스케일(gray-scale) 이미지(110) 및 거리(distance) 이미지(130)를 제공할 수 있다. The ToF camera 100 may obtain 3D spatial information of the object 10 by providing a 3D image of the object 10. In this case, the ToF camera 100 may provide a gray-scale image 110 and a distance image 130.

컬러 카메라(200)는 객체(10)의 2차원 컬러 이미지(210)를 제공하여, 객체(10)의 컬러 정보를 획득할 수 있으며, 열 적외선 카메라(300)는 객체(10)의 2차원 열 이미지(310)를 제공하여 객체(10)의 열 패턴 정보를 획득할 수 있도록 한다. The color camera 200 may provide a two-dimensional color image 210 of the object 10 to obtain color information of the object 10, and the thermal infrared camera 300 may be a two-dimensional column of the object 10. The image 310 may be provided to acquire thermal pattern information of the object 10.

객체 이미지 정합 장치(400)는 ToF 카메라(100)에서 획득한 객체(10)에 대한 3차원 이미지(130)를 제공하는 3차원 이미지 제공부(401), 컬러 카메라(200)에서 획득한 객체(10)에 대한 컬러 이미지(210)를 제공하는 컬러 이미지 제공부(403), 열 적외선 카메라(300)에서 획득한 객체(10)에 대한 열 이미지(310)를 제공하는 열 이미지 제공부(405), 및 객체(10)의 3차원 이미지(130), 컬러 이미지(210) 및 열 이미지(310)를 정합하여 객체의 3차원 정합 이미지를 제공하는 객체 이미지 정합부(407)를 포함한다. 또한, 상기 3차원 이미지 제공부(401), 컬러 이미지 제공부(403), 열 이미지 제공부(405) 및 객체 이미지 정합부(407)를 제어하는 제어부(409)를 더 포함할 수 있다. The object image matching device 400 may include a three-dimensional image providing unit 401 that provides a three-dimensional image 130 of the object 10 obtained by the ToF camera 100, and an object obtained by the color camera 200. A color image providing unit 403 for providing a color image 210 for the image 10) and a thermal image providing unit 405 for providing a thermal image 310 for the object 10 obtained by the thermal infrared camera 300. And an object image matching unit 407 that matches the 3D image 130, the color image 210, and the thermal image 310 of the object 10 to provide a 3D registration image of the object. The controller 409 may further include a controller 409 for controlling the 3D image providing unit 401, the color image providing unit 403, the thermal image providing unit 405, and the object image matching unit 407.

즉, 객체 이미지 정합 장치(400)는 ToF 카메라(100)에서 획득한 그레이 스케일 이미지(110) 및 거리 이미지(130), 컬러 카메라(200)에서 획득한 컬러 이미지(210) 및 열 적외선 카메라(300)에서 획득한 열 이미지(310)를 정합하여 객체(10)의 3차원 정합 이미지를 제공한다. That is, the object image matching device 400 may include the gray scale image 110 and the distance image 130 obtained by the ToF camera 100, the color image 210 obtained by the color camera 200, and the thermal infrared camera 300. The thermal image 310 acquired in the) is matched to provide a 3D registration image of the object 10.

이하, 객체 이미지 정합 장치(400)의 객체 이미지 정합 방법에 대하여 예시적으로 설명한다. Hereinafter, an object image registration method of the object image registration device 400 will be described.

도 3a는 ToF 카메라에서 획득한 이미지와 컬러 카메라에서 획득한 이미지를 정합하는 방법을 설명하기 위한 간략도이다. 도 3b는 도 3a의 정합 방법을 구체적으로 설명하기 위한 도면이다. 3A is a simplified diagram for explaining a method of matching an image acquired by a ToF camera and an image obtained by a color camera. FIG. 3B is a diagram for specifically describing a matching method of FIG. 3A.

도 1 내지 도 3b를 참조하면, ToF 카메라(100)에서는 객체(10)의 그레이 스케일 이미지(110) 및 거리 이미지(130)가 제공된다. ToF 카메라(100)의 그레이 스케일 이미지(110)에서 정합하려는 영역의 위치 포인트(a1)를 추출한다. 그레이 스케일 이미지(110)와 거리 이미지(130)는 모두 ToF 카메라(100)에서 획득한 것으로, 서로 완벽하게 정합된다. 즉, 그레이 스케일 이미지(110)와 거리 이미지(130)는 서로 일치하는 이미지이므로, 그레이 스케일 이미지(110)에서 추출한 위치 포인트(a1)에 대응되는 거리 이미지(130) 내의 3차원 포인트(a2)를 추출할 수 있다. 1 to 3B, the ToF camera 100 provides a gray scale image 110 and a distance image 130 of the object 10. The location point a1 of the region to be matched is extracted from the gray scale image 110 of the ToF camera 100. The gray scale image 110 and the distance image 130 are both acquired by the ToF camera 100 and perfectly match each other. That is, since the gray scale image 110 and the distance image 130 coincide with each other, the 3D point a2 in the distance image 130 corresponding to the location point a1 extracted from the gray scale image 110 is selected. Can be extracted.

한편, 컬러 카메라(200)에서는 컬러 이미지(210)가 제공되며, 컬러 이미지(210)에서 그레이 스케일 이미지(110)에서 추출한 위치 포인트(a1)에 대응하는 2차원 포인트(b1)를 추출한다. In the color camera 200, a color image 210 is provided, and the two-dimensional point b1 corresponding to the location point a1 extracted from the gray scale image 110 is extracted from the color image 210.

이 때, ToF 카메라(100)에서 추출한 거리 이미지(130) 내의 3차원 포인트(a2)와 컬러 카메라(200)에서 추출한 컬러 이미지(210) 내의 3차원 포인트(a2)와의 관계는 수학식 1과 같이 나타낼 수 있다.At this time, the relationship between the three-dimensional point a2 in the distance image 130 extracted by the ToF camera 100 and the three-dimensional point a2 in the color image 210 extracted by the color camera 200 is represented by Equation 1 below. Can be represented.

Figure pat00001
Figure pat00001

여기서, xc는 컬러 카메라(200)에서 획득한 컬러 이미지(210)의 2차원 포인트(b1)에 대응하는 좌표이고, XToF는 ToF 카메라(100)에서 획득한 거리 이미지(130)의 3차원 포인트(a2)에 대응하는 좌표이다. Pv는 3차원 포인트(a2)와 2차원 포인트(b1) 사이의 프로젝션 매트릭스(Projection matrix)이다.Here, x c is a coordinate corresponding to the two-dimensional point (b1) of the color image 210 obtained by the color camera 200, X ToF is a three-dimensional of the distance image 130 obtained by the ToF camera 100 Coordinates corresponding to the point a2. P v is a projection matrix between the three-dimensional point a2 and the two-dimensional point b1.

상술한 바와 같이, 컬러 이미지(210)의 2차원 포인트(b1)와 거리 이미지(130)의 3차원 포인트(a2)를 획득하였으므로, Direct Linear Transformation(DLT) 알고리즘에 의해, 프로젝션 매트릭스(Pv)를 추정할 수 있다. 한편, 프로젝션 매트릭스(Pv)를 알 수 있다면, 수학식 1에 의해, 3차원 이미지에 대응되는 지점의 칼라 정보를 알 수 있다. As described above, since the two-dimensional point b1 of the color image 210 and the three-dimensional point a2 of the distance image 130 are obtained, the projection matrix P v is obtained by the Direct Linear Transformation (DLT) algorithm. Can be estimated. Meanwhile, if the projection matrix P v is known, the color information of the point corresponding to the three-dimensional image may be known by Equation 1.

한편, ToF 카메라(100)에서는 ToF 카메라(100)와의 거리를 픽셀값으로 나타낸 거리 이미지뿐 아니라, 미터로 표현된 데카르트 좌표(Cartesian coordinate)도 제공하는데, 데카르트 좌표는 투사 과정에서 일부 왜곡될 수 있다. 따라서, 왜곡 보정(homography; "Multiple View Geomery in computer Vision", Cambridge University Press, Cambridge (2000) 참조)에 의해 유사 좌표(similarity coordinate)로 데이터를 변환할 수 있다. Meanwhile, the ToF camera 100 provides Cartesian coordinates expressed in meters as well as distance images representing distances from the ToF camera 100 in pixel values. The Cartesian coordinates may be partially distorted during the projection process. . Thus, data can be transformed into similar coordinates by distortion correction (see "Multiple View Geomery in computer Vision", Cambridge University Press, Cambridge (2000)).

도 4는 ToF 카메라에서 획득한 이미지와 컬러 카메라에서 획득한 이미지를 정합한 실험예이다. 4 illustrates an example of matching an image acquired by a ToF camera with an image obtained by a color camera.

도 4를 참조하면, ToF 카메라에서 제공된 거리 이미지(114)와 컬러 카메라에서 제공된 컬러 이미지(214)를 정합하여, 컬러 3차원 정합 이미지(410)를 제공하였다. 이러한 실시예에 따르면, 2차원이 아닌 3차원의 다양한 방향에서의 컬러 정합 이미지를 제공할 수 있다. Referring to FIG. 4, the distance image 114 provided by the ToF camera and the color image 214 provided by the color camera are matched to provide a color three-dimensional registered image 410. According to this embodiment, it is possible to provide color registration images in various directions in three dimensions rather than two dimensions.

도 5a는 ToF 카메라에서 획득한 이미지와 열 적외선 카메라에서 획득한 이미지를 정합하는 방법을 설명하기 위한 간략도이다. 도 5b는 도 5a의 정합 방법을 구체적으로 설명하기 위한 도면이다. 5A is a simplified diagram for explaining a method of matching an image acquired by a ToF camera and an image obtained by a thermal infrared camera. FIG. 5B is a diagram for specifically describing a matching method of FIG. 5A.

ToF 카메라에서 획득한 이미지와 열 적외선 카메라에서 획득한 이미지를 정합하는 방법은 상기에서 기술한 ToF 카메라에서 획득한 이미지와 컬러 카메라에서 획득한 이미지를 정합하는 방법과 유사하다. The method of matching the image acquired by the ToF camera and the image acquired by the thermal infrared camera is similar to the method of matching the image acquired by the ToF camera and the image acquired by the color camera described above.

즉, ToF 카메라(100)의 그레이 스케일 이미지(110)에서 정합하려는 부분의 위치 포인트(a1)를 추출하고, 그레이 스케일 이미지(110)에서 추출한 위치 포인트(a1)에 대응되는 거리 이미지(130) 내의 3차원 포인트(a2)를 추출한다. That is, the position point a1 of the portion to be matched is extracted from the gray scale image 110 of the ToF camera 100, and the distance point 130 corresponding to the position point a1 extracted from the gray scale image 110 is included. The three-dimensional point a2 is extracted.

한편, 열 적외선 카메라(300)에서는 열 이미지(310)가 제공되며, 열 이미지(310)에서 그레이 스케일 이미지(110)에서 추출한 위치 포인트(a1)에 대응하는 2차원 포인트(c1)를 추출한다. The thermal infrared camera 300 is provided with a thermal image 310, and extracts a two-dimensional point c1 corresponding to the position point a1 extracted from the gray scale image 110 from the thermal image 310.

이 때, ToF 카메라(100)에서 추출한 거리 이미지(130) 내의 3차원 포인트(a2)와 열 적외선 카메라(300)에서 추출한 열 이미지(310) 내의 3차원 포인트(a2)와의 관계는 수학식 2와 같이 나타낼 수 있다. In this case, the relationship between the three-dimensional point a2 in the distance image 130 extracted by the ToF camera 100 and the three-dimensional point a2 in the thermal image 310 extracted by the thermal infrared camera 300 may be represented by Equation 2 as follows. Can be represented as:

Figure pat00002
Figure pat00002

여기서, xth는 컬러 카메라(200)에서 획득한 열 이미지(310)의 2차원 포인트(c1)이고, XToF는 ToF 카메라(100)에서 획득한 거리 이미지(130)의 3차원 포인트(a2)이다. PT는 3차원 포인트(a2)와 2차원 포인트(c1) 사이의 프로젝션 매트릭스이다.Here, x th is the two-dimensional point (c1) of the thermal image 310 obtained by the color camera 200, X ToF is the three-dimensional point (a2) of the distance image 130 obtained by the ToF camera 100 to be. P T is the projection matrix between the three-dimensional point a2 and the two-dimensional point c1.

Direct Linear Transformation(DLT) 알고리즘에 의해, 프로젝션 매트릭스(PT)를 추정하여, 3차원 포인트(a2)에 대응되는 지점의 열 정보를 파악한다. By the Direct Linear Transformation (DLT) algorithm, the projection matrix P T is estimated to grasp column information of a point corresponding to the three-dimensional point a2.

한편, ToF 카메라에서 제공된 데카르트 좌표로 표현된 3차원 이미지에 대하여, 왜곡 보정을 수행하여 투사 과정에서의 왜곡을 제거할 수 있다. On the other hand, for the three-dimensional image expressed in Cartesian coordinates provided by the ToF camera, it is possible to remove the distortion during the projection process by performing distortion correction.

도 6은 ToF 카메라에서 획득한 이미지와 열 적외선 카메라에서 획득한 이미지를 정합한 실험예이다. 6 illustrates an example of matching an image acquired by a ToF camera with an image obtained by a thermal infrared camera.

도 6을 참조하면, ToF 카메라에서 제공된 거리 이미지(116)와 열 적외선 카메라에서 제공된 열 이미지(316)를 정합하여, 3차원 정합 이미지(420)를 제공하였다. 이러한 실시예에 따르면, 다양한 포즈를 제공하는 3차원 이미지에, 조명이 어두운 곳에서도 보다 명확한 실루엣의 이미지를 제공하는 열 이미지가 결합된 3차원 정합 이미지를 제공할 수 있다. Referring to FIG. 6, the distance image 116 provided by the ToF camera and the thermal image 316 provided by the thermal infrared camera are matched to provide a three-dimensional registered image 420. According to this embodiment, it is possible to provide a three-dimensional registration image combined with a three-dimensional image providing various poses, and a thermal image providing a clearer silhouette image even in a dark place.

한편, 상기에서 기술한 ToF 카메라(100)의 3차원 이미지와 컬러 카메라(200)의 컬러 이미지를 정합한 제1 정합 이미지 및, ToF 카메라(100)의 3차원 이미지와 열 적외선 카메라(300)의 열 이미지를 정합한 제2 정합 이미지를 정합하여, 최종 3차원 정합 이미지를 제공할 수 있다. 이러한 최종 3차원 정합 이미지는, 컬러정보 및 열 정보가 정합된 3차원 정합 이미지이다. 따라서, 객체의 3차원 이미지뿐 아니라, 열 패턴 정보를 포함하여, 객체의 인식뿐 아니라, 생물체를 판별하거나 전염병을 검출하는데도 사용될 수 있다. On the other hand, the first registration image of the three-dimensional image of the ToF camera 100 and the color image of the color camera 200 described above, the three-dimensional image of the ToF camera 100 and the thermal infrared camera 300 The second registration image, which matches the thermal image, may be registered to provide a final three-dimensional registration image. The final 3D matched image is a 3D matched image in which color information and column information are matched. Therefore, not only the three-dimensional image of the object, but also including the thermal pattern information, it can be used not only to recognize the object, but also to determine the organism or detect infectious diseases.

본 발명의 다른 실시예들에 따른 객체 이미지 정합 방법에 따르면, ToF 카메라(100)의 3차원 이미지와 컬러 카메라(200)의 컬러 이미지를 정합한 제3 정합 이미지에, 열 적외선 카메라(300)의 열 이미지를 정합한 제4 정합 이미지를 제공할 수 있다. 또는, ToF 카메라(100)의 3차원 이미지와 열 적외선 카메라(300)의 열 이미지를 정합한 제5 정합 이미지에, 컬러 카메라(200)의 컬러 이미지를 정합한 제6 정합 이미지를 제공할 수 있다. 또는, 열 적외선 카메라(300)의 열 이미지와 컬러 카메라의 컬러 이미지를 정합한 제7 정합 이미지에, ToF 카메라의 3차원 이미지를 정합한 제8 정합 이미지를 제공할 수 있다.According to the object image registration method according to another embodiment of the present invention, the thermal infrared camera 300 to the third registration image of the three-dimensional image of the ToF camera 100 and the color image of the color camera 200 A fourth registration image may be provided that matched the thermal image. Alternatively, a sixth registration image in which the color image of the color camera 200 is matched to the fifth registration image in which the three-dimensional image of the ToF camera 100 and the thermal image of the thermal infrared camera 300 are matched. . Alternatively, an eighth registration image obtained by matching the three-dimensional image of the ToF camera may be provided to the seventh registration image that matches the thermal image of the thermal infrared camera 300 and the color image of the color camera.

상기 각 실시예들에서, 3차원 이미지와 2차원 이미지를 정합하는 것은 도 2a 내지 도 5를 참조하여 상술한 상기의 이미지 정합 방법을 사용할 수 있음은 물론이다. In each of the above embodiments, the matching of the 3D image and the 2D image may be performed using the image matching method described above with reference to FIGS. 2A through 5.

도 7은 본 발명의 또 다른 실시예에 따른 객체 이미지 정합 장치를 나타낸 도면이다. 7 is a view showing an object image registration device according to another embodiment of the present invention.

도 7을 참조하면, 본 발명의 다른 실시예에 따른 객체 이미지 정합 장치는 ToF 카메라에서 거리 이미지를 제공받고, 컬러 카메라에서 컬러 이미지를 제공받으며, 열 적외선 카메라에서 열 이미지를 제공받고, 이러한 이미지들을 정합하여 하나의 객체 3차원 정합 이미지를 제공하는 툴을 포함할 수 있다. Referring to FIG. 7, an object image matching device according to another embodiment of the present invention is provided with a distance image from a ToF camera, a color image from a color camera, a thermal image from a thermal infrared camera, It may include a tool to register to provide a single object three-dimensional registration image.

또한, 본 발명의 다른 실시예에 따르면, 본 발명에 따른 객체 이미지 정합 방법을 구현하기 위한 프로그램이 기록된 기록매체가 제공될 수 있으며, 상기 프로그램은 하드웨어 상에서 구동될 수 있음은 물론이다. In addition, according to another embodiment of the present invention, a recording medium on which a program for implementing the object image registration method according to the present invention is recorded may be provided, and the program may be run on hardware.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

10: 객체 100: ToF 카메라
200: 컬러 카메라 300: 열 적외선 카메라
400: 객체 이미지 정합 장치 10: object 100: ToF camera
200: color camera 300: thermal infrared camera
400: object image registration device

Claims (10)

객체의 3차원 이미지를 획득하는 TOF 카메라;
상기 객체의 컬러 이미지를 획득하는 컬러 카메라;
상기 객체의 열 이미지를 획득하는 열-적외선 카메라; 및
상기 객체의 3차원 이미지, 상기 컬러 이미지 및 열 이미지를 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 이미지 정합 장치를 포함하는 객체 이미지 정합 시스템. TOF camera to obtain a three-dimensional image of the object;
A color camera for obtaining a color image of the object;
A thermal-infrared camera for acquiring a thermal image of the object; And
And an image registration device for matching the three-dimensional image, the color image, and the thermal image of the object to provide a three-dimensional registration image of the object. 제 1항에 있어서,
상기 3차원 이미지 정합 장치는,
상기 객체의 3차원 이미지 및 컬러 이미지를 정합하여 제1 정합 이미지를 제공하고, 상기 객체의 3차원 이미지 및 열 이미지를 정합하여 제2 정합 이미지를 제공하는 객체 이미지 정합 시스템.The method of claim 1,
The three-dimensional image matching device,
And a 3D image and a color image of the object to provide a first matched image, and to match the 3D image and a thermal image of the object to provide a second matched image. 제 2항에 있어서,
상기 컬러 이미지에서 상기 3차원 이미지의 소정 영역에 대한 컬러 정보를 획득하고, 상기 컬러 이미지와 상기 3차원 이미지를 정합할 때 발생하는 왜곡을 보정하여 상기 제1 정합 이미지를 제공하는 객체 이미지 정합 시스템.The method of claim 2,
And obtaining color information of a predetermined area of the 3D image from the color image and correcting distortion generated when the color image and the 3D image are matched to provide the first matched image. 제 2항에 있어서,
상기 열 이미지에서 상기 3차원 이미지의 소정 영역에 대한 열 패턴 정보를 획득하고, 상기 열 이미지와 상기 3차원 이미지를 정합할 때 발생하는 왜곡을 보정하여 상기 제2 정합 이미지를 제공하는 객체 이미지 정합 시스템.The method of claim 2,
An object image registration system for acquiring thermal pattern information of a predetermined region of the three-dimensional image from the thermal image, and correcting distortion generated when the thermal image matches the three-dimensional image to provide the second registration image . 제 1항에 있어서,
상기 3차원 이미지 정합 장치는,
상기 객체의 3차원 이미지 및 컬러 이미지를 정합하여 제1 정합 이미지를 제공하고, 상기 제1 정합 이미지 및 열 이미지를 정합하여 제2 정합 이미지를 제공하는 객체 이미지 정합 시스템.The method of claim 1,
The three-dimensional image matching device,
And a 3D image and a color image of the object to provide a first matched image, and to match the first and thermal images to provide a second matched image. ToF 카메라에서 획득한 객체에 대한 3차원 이미지를 제공하는 3차원 이미지 제공부;
컬러 카메라에서 획득한 상기 객체에 대한 컬러 이미지를 제공하는 컬러 이미지 제공부;
열-적외선 카메라에서 획득한 상기 객체에 대한 상기 열 이미지를 제공하는 열 이미지 제공부; 및
상기 객체의 3차원 이미지, 컬러 이미지 및 열 이미지를 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 객체 이미지 정합부를 포함하는, 객체 이미지 정합 장치.A three-dimensional image providing unit which provides a three-dimensional image of the object obtained by the ToF camera;
A color image providing unit that provides a color image of the object obtained by a color camera;
A thermal image providing unit which provides the thermal image of the object obtained by a thermal-infrared camera; And
And an object image matching unit for matching the 3D image, the color image, and the thermal image of the object to provide a 3D registration image of the object. 제 6항에 있어서,
상기 객체 이미지 정합부는,
상기 객체의 3차원 이미지에서 3차원 포인트를 추출하고, 상기 컬러 이미지에서 2차원 포인트를 추출하여, 상기 3차원 포인트와 상기 2차원 포인트 사이의 제1 프로젝션 매트릭스를 추정하고,
상기 객체의 3차원 이미지에서 3차원 포인트를 추출하고, 상기 열 이미지에서 2차원 포인트를 추출하여, 상기 3차원 포인트와 상기 2차원 포인트 사이의 제2 프로젝션 매트릭스를 추정하는 객체 이미지 정합 장치.The method according to claim 6,
The object image matching unit,
Extracting a three-dimensional point from the three-dimensional image of the object, extracting a two-dimensional point from the color image, estimating a first projection matrix between the three-dimensional point and the two-dimensional point,
And extracting a 3D point from the 3D image of the object and extracting a 2D point from the thermal image to estimate a second projection matrix between the 3D point and the 2D point. 제 7항에 있어서,
상기 객체 이미지 정합부는 상기 3차원 포인트와 상기 2차원 포인트 간의 프로젝션에서 발생하는 왜곡을 수정하여 3차원 정합 이미지를 제공하는 객체 이미지 정합 장치.8. The method of claim 7,
The object image matching unit provides a three-dimensional registration image by correcting the distortion generated in the projection between the three-dimensional point and the two-dimensional point. ToF 카메라를 사용하여 객체의 3차원 이미지를 획득하는 단계;
칼라 카메라를 사용하여 상기 객체의 컬러 정보를 획득하는 단계;
열-적외선 카메라를 사용하여 상기 객체의 열 패턴 정보를 획득하는 단계; 및
상기 획득된 객체의 3차원 이미지, 상기 컬러 이미지 및 상기 열 이미지를 프로젝션 매트릭스를 추정하는 방법으로 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 단계를 포함하는, 객체 이미지 정합 방법. Obtaining a three-dimensional image of the object using a ToF camera;
Acquiring color information of the object using a color camera;
Obtaining thermal pattern information of the object using a thermal-infrared camera; And
And matching the obtained three-dimensional image, the color image, and the thermal image by a method of estimating a projection matrix, to provide a three-dimensional registered image of the object. 객체 이미지 정합 방법을 구현하기 위한 프로그램이 기록된 기록매체에 있어서,
ToF 카메라를 사용하여 객체의 3차원 이미지를 획득하는 단계;
칼라 카메라를 사용하여 상기 객체의 컬러 정보를 획득하는 단계;
열-적외선 카메라를 사용하여 상기 객체의 열 패턴 정보를 획득하는 단계; 및
상기 획득된 객체의 3차원 이미지, 상기 컬러 이미지 및 상기 열 이미지를 프로젝션 매트릭스를 추정하는 방법으로 정합하여 상기 객체의 3차원 정합 이미지를 제공하는 단계를 포함하는 객체 이미지 정합 방법을 구현하기 위한 프로그램이 기록된 기록 매체.In the recording medium on which a program for implementing the object image registration method is recorded,
Obtaining a three-dimensional image of the object using a ToF camera;
Acquiring color information of the object using a color camera;
Obtaining thermal pattern information of the object using a thermal-infrared camera; And
And matching the obtained three-dimensional image, the color image, and the thermal image with a method of estimating a projection matrix to provide a three-dimensional registered image of the object. Recorded media.
KR1020110017423A 2011-02-09 2011-02-25 System, device and method for object image registration, and recording medium having the method recorded thereon KR20120091970A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110011355 2011-02-09
KR20110011355 2011-02-09

Publications (1)

Publication Number Publication Date
KR20120091970A true KR20120091970A (en) 2012-08-20

Family

ID=46884229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110017423A KR20120091970A (en) 2011-02-09 2011-02-25 System, device and method for object image registration, and recording medium having the method recorded thereon

Country Status (1)

Country Link
KR (1) KR20120091970A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035128A1 (en) * 2012-09-03 2014-03-06 Lg Innotek Co., Ltd. Image processing system
WO2014035127A1 (en) * 2012-09-03 2014-03-06 Lg Innotek Co., Ltd. Apparatus for generating depth image
WO2014106626A1 (en) * 2013-01-03 2014-07-10 Icrealisations Bvba Dual sensor system and related data manipulation methods and uses
KR20200016507A (en) * 2018-08-07 2020-02-17 주식회사 한컴엠디에스 Method and Apparatus for Synthesizing Image
KR20220084500A (en) 2020-12-14 2022-06-21 주식회사 씨자인 Distance measurement system using tof sensor and measurement method therefor

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035128A1 (en) * 2012-09-03 2014-03-06 Lg Innotek Co., Ltd. Image processing system
WO2014035127A1 (en) * 2012-09-03 2014-03-06 Lg Innotek Co., Ltd. Apparatus for generating depth image
US9781406B2 (en) 2012-09-03 2017-10-03 Lg Innotek Co., Ltd. Apparatus for generating depth image
US9860521B2 (en) 2012-09-03 2018-01-02 Lg Innotek Co., Ltd. Image processing system
WO2014106626A1 (en) * 2013-01-03 2014-07-10 Icrealisations Bvba Dual sensor system and related data manipulation methods and uses
GB2524216A (en) * 2013-01-03 2015-09-16 Icrealisations Bvba Dual sensor system and related data manipulation methods and uses
US9685065B2 (en) 2013-01-03 2017-06-20 Sensolid Bvba Dual sensor system and related data manipulation methods and uses
GB2524216B (en) * 2013-01-03 2018-06-27 Icrealisations Bvba Dual sensor system and related data manipulation methods and uses
KR20200016507A (en) * 2018-08-07 2020-02-17 주식회사 한컴엠디에스 Method and Apparatus for Synthesizing Image
KR20220084500A (en) 2020-12-14 2022-06-21 주식회사 씨자인 Distance measurement system using tof sensor and measurement method therefor

Similar Documents

Publication Publication Date Title
CN107093171B (en) Image processing method, device and system
JP4650669B2 (en) Motion recognition device
US8254633B1 (en) Method and system for finding correspondence between face camera views and behavior camera views
US7321386B2 (en) Robust stereo-driven video-based surveillance
WO2017000115A1 (en) Person re-identification method and device
US9589177B2 (en) Enhanced face detection using depth information
CN102313536B (en) Method for barrier perception based on airborne binocular vision
Krotosky et al. Mutual information based registration of multimodal stereo videos for person tracking
TWI394093B (en) An image synthesis method
JP6428266B2 (en) COLOR CORRECTION DEVICE, COLOR CORRECTION METHOD, AND COLOR CORRECTION PROGRAM
US10019624B2 (en) Face recognition system and face recognition method
US20130010095A1 (en) Face recognition device and face recognition method
JP6474126B2 (en) Object tracking method, apparatus and program
JP2017103602A (en) Position detection device, and position detection method and program
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
JP4042517B2 (en) Moving body and position detection device thereof
KR101460313B1 (en) Apparatus and method for robot localization using visual feature and geometric constraints
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
KR20120091970A (en) System, device and method for object image registration, and recording medium having the method recorded thereon
Arsic et al. Applying multi layer homography for multi camera person tracking
CN104182747A (en) Object detection and tracking method and device based on multiple stereo cameras
Chowdhury et al. Robust human detection and localization in security applications
KR102550673B1 (en) Method for visitor access statistics analysis and apparatus for the same
CN104732222B (en) A kind of multiple features human body recognition method based on depth camera
JP2007249298A (en) Face authentication apparatus and face authentication method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application