KR20180040336A - 카메라 시스템 및 이의 객체 인식 방법 - Google Patents

카메라 시스템 및 이의 객체 인식 방법 Download PDF

Info

Publication number
KR20180040336A
KR20180040336A KR1020160132078A KR20160132078A KR20180040336A KR 20180040336 A KR20180040336 A KR 20180040336A KR 1020160132078 A KR1020160132078 A KR 1020160132078A KR 20160132078 A KR20160132078 A KR 20160132078A KR 20180040336 A KR20180040336 A KR 20180040336A
Authority
KR
South Korea
Prior art keywords
value
dimensional
camera
control data
unit
Prior art date
Application number
KR1020160132078A
Other languages
English (en)
Other versions
KR101854461B1 (ko
Inventor
박영충
최광순
안양근
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160132078A priority Critical patent/KR101854461B1/ko
Priority to US15/448,213 priority patent/US20180103210A1/en
Publication of KR20180040336A publication Critical patent/KR20180040336A/ko
Application granted granted Critical
Publication of KR101854461B1 publication Critical patent/KR101854461B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 객체 인식을 위한 카메라 시스템은 객체의 3차원 위치값에 대응하는 3차원 포인트 클라우드를 획득하는 능동형 3차원 센서부, 상기 센싱된 3차원 위치값에 대응하는 줌(zoom)값, 팬(pan)값 및 틸트(tilt)값을 조절하기 위한 제어 데이터를 생성하는 제어부 및 상기 제어 데이터에 기초하여 주밍, 패닝 및 틸팅 중 하나 이상을 수행하여 상기 객체를 촬영하는 카메라부를 포함한다.

Description

카메라 시스템 및 이의 객체 인식 방법{CAMERA SYSTEM AND METHOD FOR RECOGNIZING OBJECT THEREOF}
본 발명은 카메라 시스템 및 이의 객체 인식 방법에 관한 것이다.
현재 폐쇄회로 카메라 시스템, 얼굴 인식 카메라 시스템 및 자동차 번호판 인식을 위한 카메라 시스템의 경우, 한국공개특허공보 제10-2012-0060339호(발명의 명칭: 협각렌즈와 광각렌즈를 이용한 폐쇄회로 카메라 시스템 및 그 구현방법)에 개시된 바와 같이, 협각렌즈와 광각렌즈를 동시에 이용하되, 광각렌즈를 사용하여 움직이는 특정 물체를 검출하고 협각렌즈로 확대된 영상을 획득할 수 있는 기술을 이용하고 있다.
그러나 상기 발명은 검출된 물체의 정확한 3차원 위치를 알 수 없는바, 어느 정도 확대(zoom)해야 되는지 알 수 없다는 문제가 있으며 또한 물체의 방향(pan, tilt)도 정확하게 추정하기 어려운 문제가 있다.
또 다른 예로, 한국공개특허공보 제10-2013-0133127호(발명의 명칭: 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템)에 개시된 바와 같이, 3차원 스테레오 카메라를 이용하여 사용자의 위치를 검출하고 화각이 고정된 협각카메라를 통해 팬(pan)값과 틸트(tilt)값을 제어하여 시선을 추적하는 기술을 이용하기도 한다.
그러나 상기 발명은 화각이 고정된 협각 카메라로 패닝 및 틸팅만을 제어하여 시선을 추적하는 것에 그칠 뿐이고 화각조절 즉, 확대기능(zoom)을 지원하지 않는다는 문제가 있다.
따라서, 3차원 위치의 특정 물체에 대하여 화각과 카메라의 방향을 조절하여 확대할 수 있도록 팬값, 틸트값 및 줌값을 계산하여 카메라를 제어할 수 있는 기술이 필요하다.
본 발명의 실시예는 3차원 포인트의 정확한 센싱이 가능한 능동형 3차원 센서를 이용하여 객체의 3차원 위치를 검출하고, 3차원 위치의 특정 객체에 대하여 화각과 카메라의 방향을 조절하여 확대하여 볼 수 있도록 팬값, 틸트값 및 줌값을 계산하여 카메라를 제어할 수 있는 카메라 시스템 및 이의 객체 인식 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 객체 인식을 위한 카메라 시스템은 객체의 3차원 위치값에 대응하는 3차원 포인트 클라우드를 획득하는 능동형 3차원 센서부, 상기 3차원 위치값에 대응하는 줌(zoom)값, 팬(pan)값 및 틸트(tilt)값을 조절하기 위한 제어 데이터를 생성하는 제어부 및 상기 제어 데이터에 기초하여 주밍, 패닝 및 틸팅 중 하나 이상을 수행하여 상기 객체를 촬영하는 카메라부를 포함한다.
또한, 본 발명의 제 2 측면에 따른 카메라 시스템에서의 객체 인식 방법은 능동형 3차원 센서부에 의해 센싱된 객체의 3차원 위치값에 대응하는 3차원 포인트 클라우드를 획득하는 단계; 상기 센싱된 3차원 위치값에 대응하는 카메라의 줌(zoom)값, 팬(pan)값 및 틸트(tilt)값을 조절하기 위한 제어 데이터를 생성하는 단계 및 상기 생성된 제어 데이터에 기초하여 상기 카메라의 주밍, 패닝 및 틸딩 중 하나 이상을 수행하여 상기 객체를 촬영하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 능동형 3차원 센서를 사용하여 객체의 공간상 정확한 3차원 위치를 감지하여 객체의 방향으로 카메라의 방향을 정확히 제어할 수 있다.
또한, 객체와의 거리를 계산하여 확대함으로써 적절한 크기의 확대 영상을 획득할 수 있는바 객체의 정확한 인식이 가능하다.
이와 더불어, 깊이 추출에 오차가 많고 화각이 좁은 수동형 스테레오 카메라를 적용함에 따라 발생되는 문제를 해소할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 시스템의 블록도이다.
도 3은 센서부에 의해 획득된 3차원 포인트 클라우드의 예시도이다.
도 4는 객체가 이동하는 단위 공간 블록을 인식하는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 객체 인식 방법의 순서도이다.
도 6은 제어 데이터를 생성하는 단계의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 카메라 시스템(100) 및 이의 객체 인식 방법에 관한 것이다.
본 발명의 일 실시예에 따르면 3차원 포인트의 정확한 센싱이 가능한 능동형 3차원 센서를 이용하여 객체의 3차원 위치를 검출하고, 3차원 위치의 특정 객체에 대하여 화각과 카메라의 방향을 조절하여 확대하여 볼 수 있도록 팬값, 틸트값 및 줌값을 계산하여 카메라를 제어할 수 있다.
이하에서는 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 카메라 시스템(100)에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템(100)을 개략적으로 설명하기 위한 도면이다. 도 2는 본 발명의 일 실시예에 따른 카메라 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 객체 인식을 위한 카메라 시스템(100)은 능동형 3차원 센서부(110), 제어부(120) 및 카메라부(130)를 포함한다.
이때, 외부에 설치되는 물리적 구성요소는 도 1에 도시된 바와 같이 능동형 3차원 센서부(110)와 카메라부(130)가 되며, 제어부(120)는 코드화된 프로그램이 설치된 PC 등을 기반으로 수행된다.
능동형 3차원 센서부(110)는 객체의 3차원 위치값을 센싱한다. 이때, 본 발명에서의 능동형 3차원 센서부(110)는 객체의 3차원 위치값에 대응하는 3차원 포인트를 획득할 수 있다. 이러한 능동형 3차원 센서부(110)는 레이저를 투사하여 돌아오는 레이저의 시간차를 이용한 능동형 광 레이더인 라이다(LADAR), 또는 TOF(Time of flight) 깊이 카메라(Depth Camera)일 수 있다.
종래 기술의 경우 수동형 스테레오 카메라를 주로 사용하였으나, 이러한 스테레오 카메라의 경우 깊이 추출에 오차가 많고 화각이 좁다는 문제가 있었다. 또한, 스테레오 카메라는 텍스처(texture)가 없거나 배경과 색상이 비슷한 경우 두 스테레오 카메라 간의 색상 차이가 없어 거리 계산 오차가 발생하는 문제가 있었다.
그러나 본 발명의 일 실시예에 따른 카메라 시스템(100)은 스테레오 카메라 대신 능동형 3차원 센서부(110)를 이용함으로써 종래 기술에 따른 문제를 해소할 수 있다.
이러한 능동형 3차원 센서부(110)는 촬영하고자 하는 3차원 공간에 대하여 사각지대가 발생하지 않도록 지정된 방향을 향하여 복수 개가 구비될 수 있으며, 이를 통해 사람이나 자동차 등의 객체가 위치하는 공간상의 정확한 3차원 위치를 감지할 수 있다.
제어부(120)는 센싱된 3차원 위치값에 대응하는 카메라부(130)의 줌(zoom)값, 팬(pan)값 및 틸트(tilt)값을 조절하기 위한 제어 데이터를 생성한다.
이와 같은 제어부(120)는 통신모듈(121), 메모리(122) 및 프로세서(123)를 포함할 수 있다.
통신모듈(121)은 능동형 3차원 센서부(110) 및 카메라부(130)와 데이터를 송수신할 수 있다. 여기에서, 통신모듈(121)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
메모리(122)에는 제어 데이터를 생성하기 위한 프로그램이 저장된다. 여기에서, 메모리(122)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(122)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(123)는 메모리(122)에 저장된 프로그램을 실행시킴에 따라, 카메라부(130)를 제어하기 위한 제어 데이터를 생성할 수 있다.
구체적으로 프로세서(123)는 능동형 3차원 센서부(110)에 의해 센싱된 객체의 방향으로 팬값 및 틸트값 중 하나 이상을 조절하여 카메라부(130)의 방향을 조절하기 위한 제어 데이터를 생성할 수 있다.
또한, 프로세서(123)는 능동형 3차원 센서부(110)에 의해 센싱된 객체와의 거리를 산출하고, 산출된 거리에 기초하여 줌값이 조절된 제어 데이터를 생성할 수 있다.
카메라부(130)는 제어부(120)에 의해 생성된 제어 데이터에 기초하여 주밍, 패닝 및 틸팅 중 하나 이상을 수행하여 객체를 촬영한다.
즉, 카메라부(130)는 제어 데이터에 기초하여 패닝 및 틸팅을 수행하여 객체가 위치하고 있는 곳으로 방향을 정확히 조절할 수 있으며, 줌값에 기초하여 객체를 촬영함으로써 사람의 얼굴이나 자동차 번호판 등을 인식하기에 적절한 객체의 확대 영상을 획득할 수 있다.
여기에서 주밍이랑 배율을 조정하여 객체를 확대 또는 축소하는 것을 의미하고, 패닝이란 카메라를 좌우 방향으로 이동시켜 객체의 영상을 획득하는 것을 의미하며, 틸팅이란 카메라를 수직 방향으로 이동시켜 객체의 영상을 획득하는 것을 의미한다.
이러한 카메라부(130)는 PTZ 카메라일 수 있으며, 객체의 정보를 식별하기 위한 구성이므로 객체의 움직임이나 3차원 위치값을 감지하는 능동형 3차원 센서부(110)보다 고해상도의 성능을 가지는 카메라임이 바람직하다.
한편, 본 발명의 일 실시예에 따른 카메라 시스템(100)은 능동형 3차원 센서부(110)에 의해 3차원 포인트 클라우드를 획득하여 객체의 3차원 위치값을 획득하고, 이에 기초하여 제어부(120)는 카메라부(130)를 제어하기 위한 제어 데이터를 생성할 수 있는바, 이하 도 3 및 도 4를 참조하여 설명하도록 한다.
도 3은 능동형 3차원 센서부(110)에 의해 획득된 3차원 포인트 클라우드의 예시도이다. 도 4는 객체가 이동하는 단위 공간 블록을 인식하는 과정을 설명하기 위한 예시도이다.
능동형 3차원 센서부(110)가 도 3에 도시된 바와 같이 객체에 대응하는 3차원 포인트 클라우드를 획득하면, 제어부(120)는 도 4의 (a)와 같이 3차원 공간을 기 설정된 크기의 단위 공간 블록으로 분할한다.
그 다음 도 4의 (b)와 같이 일정 시간 동안(t0→t1) 분할된 단위 공간 블록 중 특정 단위 공간 블록(P1)에서의 3차원 포인트(P2)의 개수가 기 설정된 개수 이상 차이가 나는 경우, 제어부(120)는 특정 단위 공간 블록(P1)을 객체가 이동하는 단위 공간 블록으로 인식할 수 있다.
이에 따라, 제어부(120)는 객체가 이동하는 것으로 인식된 단위 공간 블록(P1)의 3차원 중심 방향으로 팬값 및 틸트값 중 하나 이상을 설정하여 카메라부(130)의 방향을 조절하기 위한 제어 데이터를 생성할 수 있다.
또한, 제어부(120)는 객체가 이동하는 것으로 인식된 단위 공간 블록(P1)의 3차원 중심과 카메라부(130)와의 거리를 산출하고, 산출된 거리에 기초하여 줌값이 설정된 제어 데이터를 생성할 수 있다. 이러한 제어 데이터를 기초로 하여 카메라부(130)는 객체를 촬영하여 객체의 확대 영상을 획득할 수 있다.
이와 같은 과정에 따라 본 발명의 일 실시예에 따른 카메라 시스템(100)은 정지 중인 객체뿐만 아니라 이동 중인 객체의 움직임을 인식하여 카메라부(130)를 정확하게 제어할 수 있다.
참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 5 및 도 6을 참조하여 본 발명의 일 실시예에 따른 카메라 시스템(100)에서의 객체 인식 방법에 대하여 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 객체 인식 방법의 순서도이다. 도 6은 제어 데이터를 생성하는 단계의 순서도이다.
본 발명의 일 실시예에 따른 객체 인식 방법은 먼저 능동형 3차원 센서부(110)에 의해 센싱된 객체의 3차원 위치값을 획득한다(S110). 이때,능동형 3차원 센서부(110)는 객체의 3차원 위치값에 대응하는 3차원 포인트 클라우드를 획득할 수 있다.
다음으로, 센싱된 3차원 위치값에 대응하는 카메라의 줌(zoom)값, 팬(pan)값 및 틸트(tilt)값을 조절하기 위한 제어 데이터를 생성한다(S120).
이때, 제어 데이터를 생성하는 단계는 도 6에 도시된 바와 같이, 3차원 공간을 기 설정된 단위 공간 블록으로 분할하고(S121), 특정 단위 공간 블록에서 3차원 포인트의 개수에 변화가 있는지 여부를 판단한다(S122). 이에 따라, 일정 시간 동안 분할된 단위 공간 블록 중 특정 단위 공간 블록에서의 3차원 포인트의 개수가 기 설정된 개수 이상 차이가 나는 경우, 특정 단위 공간 블록을 객체가 이동하는 단위 공간 블록으로 인식한다(S123).
이와 같이 특정 단위 공간 블록에서 객체가 이동하는 것으로 인식하면, 해당 단위 공간 블록의 3차원 중심 방향으로 팬값 및 틸트값 중 하나 이상을 설정하고(S124), 설정된 팬값 및 틸트값에 기초하여 카메라의 방향을 조절하기 위한 제어 데이터를 생성할 수 있다(S125).
또한, 객체가 이동하는 것으로 인식된 단위 공간 블록의 3차원 중심과 카메라와의 거리를 산출하고(S126), 산출된 거리에 기초하여 줌값이 설정된 제어 데이터를 생성할 수 있다(S127).
다음으로, 생성된 제어 데이터에 기초하여 카메라의 주밍, 패닝 및 틸팅 중 하나 이상을 수행하여 객체를 촬영한다(S130). 즉, 제어 데이터에 의해 카메라의 패닝 및 틸팅을 중 하나 이상을 수행함으로써 정지 중이거나 이동 중인 객체가 위치하는 방향을 향하도록 조절할 수 있으며, 동시에 주밍을 수행하여 객체를 촬영함으로써 객체의 확대 영상을 획득할 수 있다.
한편 상술한 설명에서, 단계 S110 내지 S130는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 4에서의 카메라 시스템(100)에 관하여 이미 기술된 내용은 도 5 및 도 6의 객체 인식 방법에도 적용된다.
전술한 본 발명의 일 실시예에 의하면, 능동형 3차원 센서부(110)를 통해 객체의 공간상 정확한 3차원 위치를 감지하여 객체의 방향으로 카메라의 방향을 정확히 제어할 수 있다.
또한, 객체와의 거리를 계산하여 확대함으로써 적절한 크기의 확대 영상을 획득할 수 있는바 객체의 정확한 인식이 가능하다.
이와 더불어, 깊이 추출에 오차가 많고 화각이 좁은 수동형 스테레오 카메라를 적용함에 따라 발생되는 문제를 해소할 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 카메라 시스템
110: 능동형 3차원 센서부
120: 제어부
121: 통신모듈
122: 메모리
123: 프로세서
130: 카메라부

Claims (8)

  1. 객체 인식을 위한 카메라 시스템에 있어서,
    객체의 3차원 위치값에 대응하는 3차원 포인트 클라우드를 획득하는 능동형 3차원 센서부,
    상기 3차원 위치값에 대응하는 줌(zoom)값, 팬(pan)값 및 틸트(tilt)값을 조절하기 위한 제어 데이터를 생성하는 제어부 및
    상기 제어 데이터에 기초하여 주밍, 패닝 및 틸팅 중 하나 이상을 수행하여 상기 객체를 촬영하는 카메라부를 포함하는 카메라 시스템.
  2. 제 1 항에 있어서,
    상기 제어부는 3차원 공간을 기 설정된 크기의 단위 공간 블록으로 분할하고, 일정 시간 동안 상기 분할된 단위 공간 블록 중 특정 단위 공간 블록에서의 3차원 포인트의 개수가 기 설정된 개수 이상 차이가 나는 경우 상기 특정 단위 공간 블록을 상기 객체가 이동하는 단위 공간 블록으로 인식하는 것인 카메라 시스템.
  3. 제 2 항에 있어서,
    상기 제어부는 상기 객체가 이동하는 것으로 인식된 단위 공간 블록의 3차원 중심 방향으로 팬값 및 틸트값 중 하나 이상을 설정하여 상기 카메라부의 방향을 조절하기 위한 제어 데이터를 생성하는 것인 카메라 시스템.
  4. 제 2 항에 있어서,
    상기 제어부는 상기 객체가 이동하는 것으로 인식된 단위 공간 블록의 3차원 중심과 상기 카메라와의 거리를 산출하고, 상기 산출된 거리에 기초하여 상기 줌값이 설정된 제어 데이터를 생성하며,
    상기 카메라부는 상기 제어 데이터에 기초하여 상기 객체를 촬영하여 상기 객체의 확대 영상을 획득하는 것인 카메라 시스템.
  5. 카메라 시스템에서의 객체 인식 방법에 있어서,
    능동형 3차원 센서부에 의해 센싱된 객체의 3차원 위치값에 대응하는 3차원 포인트 클라우드를 획득하는 단계;
    상기 센싱된 3차원 위치값에 대응하는 카메라의 줌(zoom)값, 팬(pan)값 및 틸트(tilt)값을 조절하기 위한 제어 데이터를 생성하는 단계 및
    상기 생성된 제어 데이터에 기초하여 상기 카메라의 주밍, 패닝 및 틸딩 중 하나 이상을 수행하여 상기 객체를 촬영하는 단계를 포함하는 객체 인식 방법.
  6. 제 5 항에 있어서,
    상기 제어 데이터를 생성하는 단계는,
    3차원 공간을 기 설정된 크기의 단위 공간 블록으로 분할하는 단계 및
    일정 시간 동안 상기 분할된 단위 공간 블록 중 특정 단위 공간 블록에서의 3차원 포인트의 개수가 기 설정된 개수 이상 차이가 나는 경우, 상기 특정 단위 공간 블록을 상기 객체가 이동하는 단위 공간 블록으로 인식하는 단계를 포함하는 객체 인식 방법.
  7. 제 6 항에 있어서,
    상기 제어 데이터를 생성하는 단계는,
    상기 객체가 이동하는 것으로 인식된 단위 공간 블록의 3차원 중심 방향으로 팬값 및 틸트값 중 하나 이상을 설정하는 단계 및
    상기 설정된 팬값 및 틸트값에 기초하여 상기 카메라의 방향을 조절하기 위한 제어 데이터를 생성하는 단계를 포함하는 것인 객체 인식 방법.
  8. 제 6 항에 있어서,
    상기 제어 데이터를 생성하는 단계는,
    상기 객체가 이동하는 것으로 인식된 단위 공간 블록의 3차원 중심과 상기 카메라의 거리를 산출하는 단계 및
    상기 산출된 거리에 기초하여 상기 줌값이 설정된 제어 데이터를 생성하는 단계를 포함하되,
    상기 객체를 촬영하는 단계는,
    상기 줌값이 설정된 제어 데이터에 기초하여 상기 카메라를 통해 상기 객체를 촬영하여 상기 객체의 확대 영상을 획득하는 것인 객체 인식 방법.
KR1020160132078A 2016-10-12 2016-10-12 카메라 시스템 및 이의 객체 인식 방법 KR101854461B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160132078A KR101854461B1 (ko) 2016-10-12 2016-10-12 카메라 시스템 및 이의 객체 인식 방법
US15/448,213 US20180103210A1 (en) 2016-10-12 2017-03-02 Camera system and object recognition method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160132078A KR101854461B1 (ko) 2016-10-12 2016-10-12 카메라 시스템 및 이의 객체 인식 방법

Publications (2)

Publication Number Publication Date
KR20180040336A true KR20180040336A (ko) 2018-04-20
KR101854461B1 KR101854461B1 (ko) 2018-05-03

Family

ID=61830322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160132078A KR101854461B1 (ko) 2016-10-12 2016-10-12 카메라 시스템 및 이의 객체 인식 방법

Country Status (2)

Country Link
US (1) US20180103210A1 (ko)
KR (1) KR101854461B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD959071S1 (en) 2020-09-02 2022-07-26 Samsung Electronics Co., Ltd. Vacuum cleaner
USD959070S1 (en) 2020-09-02 2022-07-26 Samsung Electronics Co., Ltd. Vacuum cleaner
USD990078S1 (en) 2020-09-02 2023-06-20 Samsung Electronics Co., Ltd. Vacuum cleaner

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279372B (zh) * 2015-09-29 2018-12-14 百度在线网络技术（北京）有限公司 一种确定建筑物高度的方法和装置
JP6559201B2 (ja) * 2017-09-29 2019-08-14 株式会社トプコン 解析システム、解析方法、及び解析プログラム
CN110059608B (zh) * 2019-04-11 2021-07-06 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
US11063489B2 (en) 2019-09-23 2021-07-13 Canoo Technologies Inc. Fractional slot electric motors with coil elements having rectangular cross-sections
KR20210077877A (ko) 2019-12-18 2021-06-28 주식회사 파로스 객체 식별 방법 및 시스템
KR102108326B1 (ko) 2019-12-19 2020-05-12 주식회사 세오 레이더 신호 및 카메라 영상 정보 기반 인공지능 객체 식별 방법 및 시스템
KR102445971B1 (ko) 2021-04-23 2022-09-22 주식회사 파로스 레이더와 카메라를 이용한 영상 감시 방법 및 시스템
KR102502300B1 (ko) 2021-04-26 2023-02-23 주식회사 파로스 레이더와 카메라 융합 방법 및 시스템
KR20240036367A (ko) 2022-09-13 2024-03-20 주식회사 파로스 레이더와 카메라를 이용한 영상 감시 방법 및 시스템
KR102593769B1 (ko) 2023-05-04 2023-10-25 박찬배 인공지능에 의한 무선형 객체 인식 시스템 및 이를 이용한 객체 인식 방법
KR102620115B1 (ko) 2023-09-05 2024-01-02 박찬배 무선형 인공지능 객체인식 원격 모니터링 시스템 및 이를 이용한 객체 인식 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184780A (ja) * 2006-01-06 2007-07-19 Ihi Aerospace Co Ltd 遠隔監視装置
KR100940035B1 (ko) * 2008-04-17 2010-02-04 (주)인펙비전 스쿨 존 모니터링 시스템
JP2011226860A (ja) * 2010-04-16 2011-11-10 Toyota Motor Corp 周辺物体検出装置
KR101699844B1 (ko) * 2010-05-12 2017-01-25 삼성전자주식회사 움직임 보상 3차원 필터링 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD959071S1 (en) 2020-09-02 2022-07-26 Samsung Electronics Co., Ltd. Vacuum cleaner
USD959070S1 (en) 2020-09-02 2022-07-26 Samsung Electronics Co., Ltd. Vacuum cleaner
USD990078S1 (en) 2020-09-02 2023-06-20 Samsung Electronics Co., Ltd. Vacuum cleaner

Also Published As

Publication number Publication date
US20180103210A1 (en) 2018-04-12
KR101854461B1 (ko) 2018-05-03

Similar Documents

Publication Publication Date Title
KR101854461B1 (ko) 카메라 시스템 및 이의 객체 인식 방법
WO2019114617A1 (zh) 快速抓拍的方法、装置及系统
CN107924104B (zh) 深度感测自动聚焦多相机系统
CN108718373B (zh) 影像装置
US20160295097A1 (en) Dual camera autofocus
KR102166691B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
US9137511B1 (en) 3D modeling with depth camera and surface normals
WO2021238214A1 (zh) 一种三维测量系统、方法及计算机设备
US20200267309A1 (en) Focusing method and device, and readable storage medium
KR20170056698A (ko) 자동 포커싱 방법, 장치 및 전자 장치
TW201520633A (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
WO2014065854A1 (en) Method, system and computer program product for gamifying the process of obtaining panoramic images
US10545215B2 (en) 4D camera tracking and optical stabilization
TW201741685A (zh) 深度資訊量測方法及裝置
US9648223B2 (en) Laser beam scanning assisted autofocus
WO2017117749A1 (zh) 基于多种测距方式的跟焦系统、方法及拍摄系统
KR102335167B1 (ko) 영상 촬영 장치 및 이의 촬영 방법
JP6967464B2 (ja) 画像処理装置
CN104918031B (zh) 深度恢复设备和方法
KR101993757B1 (ko) 프로젝터에 부착되는 자동 초점 조절 장치
US10281265B2 (en) Method and system for scene scanning
US9160904B1 (en) Gantry observation feedback controller
US20210065404A1 (en) Image processing apparatus, image processing method, and program
JP6734994B2 (ja) ステレオ計測装置及びシステム
US9854150B2 (en) Auto-focus control in a camera to prevent oscillation

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant