KR102540678B1 - 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템 - Google Patents

카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템 Download PDF

Info

Publication number
KR102540678B1
KR102540678B1 KR1020220112149A KR20220112149A KR102540678B1 KR 102540678 B1 KR102540678 B1 KR 102540678B1 KR 1020220112149 A KR1020220112149 A KR 1020220112149A KR 20220112149 A KR20220112149 A KR 20220112149A KR 102540678 B1 KR102540678 B1 KR 102540678B1
Authority
KR
South Korea
Prior art keywords
information
coordinate information
distance
stereo camera
coordinate
Prior art date
Application number
KR1020220112149A
Other languages
English (en)
Inventor
이학경
양학재
이지홍
박창희
유지현
임호진
Original Assignee
콩테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콩테크 주식회사 filed Critical 콩테크 주식회사
Priority to KR1020220112149A priority Critical patent/KR102540678B1/ko
Application granted granted Critical
Publication of KR102540678B1 publication Critical patent/KR102540678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템으로서, 스테레오카메라에 의해 촬영된 RGB이미지 및 디스패리티맵을 수신하여, 디스패리티맵상에서 객체와 스테레오카메라 사이의 거리정보를 도출하고, RGB이미지상에서 해당 객체에 해당하는 픽셀이 지칭하는 바닥면과 스테레오카메라사이의 거리정보를 도출하고, 도출된 정보에 기초하여 객체의 위치정보를 도출할 수 있는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템에 관한 것이다.

Description

카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템 {Method and System for Supplementing Derive the Position of an Object Using a Camera Image}
본 발명은 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템으로서, 스테레오카메라에 의해 촬영된 RGB이미지 및 디스패리티맵을 수신하여, 디스패리티맵상에서 객체와 스테레오카메라 사이의 거리정보를 도출하고, RGB이미지상에서 해당 객체에 해당하는 픽셀이 지칭하는 바닥면과 스테레오카메라사이의 거리정보를 도출하고, 도출된 정보에 기초하여 객체의 위치정보를 도출할 수 있는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템에 관한 것이다.
스테레오 카메라란 3차원 공간에서 객체의 좌표, 및 깊이를 인식하기 위하여 인간의 양안 시력을 모방하여 두 개 이상의 카메라를 이용한 카메라로서, 자율주행차, 3D스캐너, 가상 시뮬레이션 게임, 드론, CCTV 등 다양한 산업 및 기술분야에서 활용되고 있거나 활용될 여지가 있다.
구체적으로 스테레오 카메라는 2개의 카메라 각각에 의해 대상 물체를 촬영한 2차원 영상에서 2차원 좌표정보를 추출하고, 추출된 2차원 좌표정보간의 상관관계에 대한 함수를 적용하여 대상 물체와의 거리를 측정할 수 있다.
한편, 스테레오 카메라에 의한 도출된 물체와의 거리에 기초하여, 해당 물체의 3차원 좌표정보(위치)를 도출하는 다양한 방법이 있으나, 높은 계산 복잡도로 인해 연산과정에서 많은 시간과 메모리가 소요되는 문제점을 내재하고 있었다.
국내등록특허 KR 10-2316243 B1
본 발명은 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템으로서, 스테레오카메라에 의해 촬영된 RGB이미지 및 디스패리티맵을 수신하여, 디스패리티맵상에서 객체와 스테레오카메라 사이의 거리정보를 도출하고, RGB이미지상에서 해당 객체에 해당하는 픽셀이 지칭하는 바닥면과 스테레오카메라사이의 거리정보를 도출하고, 도출된 정보에 기초하여 객체의 위치정보를 도출할 수 있는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템을 제공한다.
상기와 같은 과제를 해결하기 위하여, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는,　카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법으로서, 스테레오카메라에서 촬영된 RGB이미지에 대하여 객체를 검출하는 객체검출단계; 검출된 객체영역 내부에 존재하는 1 이상의 픽셀 각각에 대응하는, 스테레오카메라에서 촬영된 디스패리티맵의 그레이스케일수치로부터 해당 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출하는 제1거리정보도출단계; 검출된 객체영역 내부에 존재하는 1 이상의 픽셀에 대하여,　해당 픽셀에 해당하는 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 기준지점과 상기 스테레오카메라 사이의 제2거리정보를 제2거리정보도출단계; 및 상기 제1거리정보, 제2거리정보, 및 해당 픽셀이 지칭하는 바닥면의 기준지점의 바닥면좌표계에서의 제1좌표정보, 및 제2좌표정보에 기초하여, 공간 내의 객체에 대한 절대좌표정보를 도출하는 절대좌표정보도출단계;를 포함하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법을 제공한다.
본 발명의 일 실시예에서는, 상기 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법은, 특정 픽셀이 지칭하는 바닥면의 RGB이미지에서의 이미지좌표정보, 및 해당 바닥면의 바닥면좌표계에서의 바닥면좌표정보에 기초하여, RGB이미지에서의 좌표정보를 바닥면좌표계에서의 좌표정보로 변환하는 변환행렬을 생성하는 변환행렬생성단계;를 더 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 제2거리정보도출단계는, RGB이미지상에서 객체가 검출되었을 때, 상기 변환행렬을 이용하여, 해당 객체에 대한 RGB이미지에서의 좌표정보를, 해당 픽셀에 해당하는 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 좌표인 제1좌표정보 및 제2좌표정보로 변환하고, 변환된 상기 제1좌표정보, 제2좌표정보, 및 스테레오카메라에 대해 기저장된 좌표정보를 이용하여, 상기 제2거리정보를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 절대좌표정보도출단계는, 제1평면에 스테레오카메라에 대한 좌표정보와 상기 제1좌표정보를 투영하고, 상기 스테레오카메라에 대한 좌표정보와 상기 제1좌표정보를 꼭지점으로 하는 삼각형을 가정하여, 상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제1축에서의 객체에 대한 제1객체좌표정보를 도출하고, 상기 제1평면과 직교하는 제2평면에 스테레오카메라에 대한 좌표정보와 상기 제2좌표정보를 투영하고, 상기 스테레오카메라에 대한 좌표정보와 상기 제2좌표정보를 꼭지점으로 하는 삼각형을 가정하여, 상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제2축에서의 객체에 대한 제2객체좌표정보를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 컴퓨팅장치에는 디스패리티맵의 그레이스케일수치 각각에 대하여, 상기 스테레오카메라와 객체 사이의 거리에 대한 거리매핑정보가 저장되어 있고, 상기 제1거리정보도출단계는, 상기 그레이스케일수치 및 상기 거리매핑정보를 이용하여 검출된 1 이상의 픽셀 각각에 대한 제1거리정보를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 디스패리티맵은, 상기 스테레오카메라 좌우 양측의 이미지센서 각각에서 촬영되는 RGB이미지의 1　이상의 픽셀 각각에 대한 상대적 차이가 0 내지 255의 수치를 가지는 그레이스케일수치로 표현될 수 있다.
본 발명의 일 실시예에서는, 상기 제1거리정보도출단계는, 기설정된 기준에 따라 검출된 객체영역의 일부 영역을 관심영역으로 지정하고, 상기　관심영역에 존재하는 1　이상의 픽셀에 대한 디스패리티맵의 그레이스케일수치 중, 상기 객체와 상기 스테레오카메라 사이의 거리가 가장 가까운 기설정된 개수의 그레이스케일수치를 대표그레이스케일수치로 선정하고, 상기 대표그레이스케일수치 및 상기 거리매핑정보를 이용하여 상기 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 제1거리정보도출단계는, 기설정된 개수로 선정된 상기 대표그레이스케일수치의 평균값 및 상기 거리매핑정보를 이용하여 상기 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 기설정된 기준은, 검출된 객체영역에서 세로축 기준으로 기설정된 비율의 상단 일부 영역을 관심영역으로 지정할 수 있다.
본 발명의 일 실시예에서는, 상기 절대좌표정보도출단계는, 상기 스테레오카메라에 대한 절대좌표정보, 상기 객체에 대해 도출된 제1객체좌표정보, 및 제2객체좌표정보에 기초하여, 상기 스테레오카메라와 객체 상호간의 상대좌표정보를 도출하는 상대좌표정보도출단계;를 더 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 시스템으로서, 스테레오카메라에서 촬영된 RGB이미지에 대하여 객체를 검출하는 객체검출단계; 검출된 객체영역 내부에 존재하는 1 이상의 픽셀 각각에 대응하는, 스테레오카메라에서 촬영된 디스패리티맵의 그레이스케일수치로부터 해당 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출하는 제1거리정보도출단계; 검출된 객체영역 내부에 존재하는 1 이상의 픽셀에 대하여,　해당 픽셀에 해당하는 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 기준지점과 상기 스테레오카메라 사이의 제2거리정보를 제2거리정보도출단계; 및 상기 제1거리정보, 제2거리정보, 및 해당 픽셀이 지칭하는 바닥면의 기준지점의 바닥면좌표계에서의 제1좌표정보, 및 제2좌표정보에 기초하여, 공간 내의 객체에 대한 절대좌표정보를 도출하는 절대좌표정보도출단계;를 수행하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 시스템을 제공한다.
본 발명의 일 실시예에 따르면, 딥러닝 기반의 학습된 추론모델에 의하여 RGB이미지상에서 객체를 검출하고 트래킹할 수 있다.
본 발명의 일 실시예에 따르면, 서버시스템에 디스패리티맵의 그레이스케일수치별로 객체와 스테레오카메라 사이의 거리에 대한 정보인 거리매핑정보가 저장되고, 검출된 객체영역의 그레이스케일수치에 기초하여 해당 객체와 스테레오카메라 사이의 거리에 대한 정보인 거리정보가 도출될 수 있다.
본 발명의 일 실시예에 따르면, RGB이미지상에서 검출된 객체영역과 상응하는 디스패리티맵상에서의 객체영역에 대하여, 세로축 기준 상단 일부 영역을 관심영역으로 지정함으로써, 검출된 객체(사람)의 머리에 해당하는 영역에 대한 거리정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면, 관리자에 입력된 특정 바닥면에 대한 RGB이미지에서의 이미지좌표정보, 및 실제 바닥면좌표계에서의 바닥면좌표정보에 기초하여, RGB이미지에서의 특정 좌표정보를 바닥면좌표계에서의 좌표정보로 변환하는 변환행렬을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 생성된 변환행렬을 이용하여 검출된 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 바닥면좌표계에서의 좌표정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면, 도출된 바닥면의 좌표정보 및 스테레오카메라에 대한 좌표정보에 기초하여, '검출된 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면'과 스테레오카메라 사이의 거리정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면, 도출된 거리정보 및 좌표정보들이 투영된 삼각형을 가정하여 해당 객체에 대한 절대좌표정보 및 상대좌표정보를 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 시스템을 위한 구현하기 위한 구성요소들을 도시한다.
도 2는 본 발명의 일 실시예에 따른 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 시스템을 위한 구현하기 위한 구성요소들을 도시한다.
도 3은 본 발명의 일 실시예에 따른 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법의 단계들을 도시한다.
도 4는 본 발명의 일 실시예에 따른 관리자에 의해 입력될 수 있는 특정 바닥면에 대한 RGB이미지에서의 이미지좌표정보를 도시한다.
도 5는 본 발명의 일 실시예에 따른 변환행렬을 생성하는 단계를 도시한다.
도 6은 본 발명의 일 실시예에 따른 스테레오카메라로부터 수신하는 RGB이미지 및 디스패리티맵을 도시한다.
도 7은 본 발명의 일 실시예에 따른 스테레오카메라와 객체간의 거리와 그레이스케일수치간의 상관관계에 대한 정보인 거리매핑정보를 도시한다.
도 8은 본 발명의 일 실시예에 따른 디스패리티맵의 그레이스케일수치에 기초하여 객체의 제1거리정보를 도출하는 단계를 도시한다.
도 9는 본 발명의 일 실시예에 따른 제1거리정보, 제2거리정보에 기초하여 객체의 좌표정보를 도출하는 단계를 도시한다.
도 10은 본 발명의 일 실시예에 따른 객체의 좌표정보를 도출하는 일례를 도시한다.
도 11은 본 발명의 일 실시예에 따른 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 시스템에 의해 디스플레이되는 화면을 도시한다.
도 12는 본 발명의 일 실시예에 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 및 2는 본 발명의 일 실시예에 따른 카메라이미지를 이용하여 객체(O)의 위치정보 출력을 보완하는 방법 및 시스템을 위한 구현하기 위한 구성요소들을 도시한다.
도 1 및 2에 도시된 바와 같이, 본 발명은 특정 공간을 촬영하는 카메라에 의해 촬영된 이미지에서 검출된 객체(O)에 대하여, 해당 객체(O)의 위치정보를 도출하기 위한 방법을 제시한다.
본 발명의 일 실시예에서 카메라는 스테레오카메라(C)일 수 있다. 구체적으로 스테레오카메라(C)란 좌우 양측에 두 개 이상의 이미지센서를 포함하여 좌우 양측의 이미지센서 각각에서 촬영된 이미지간의 상관관계에 기초하여 이미지상의 객체(O)와 스테레오카메라(C) 사이의 거리(깊이)를 도출할 수 있는 카메라일 수 있다. 바람직하게는 객체(O)와 스테레오카메라(C) 사이의 거리(깊이)에 대한 정보는 디스패리티맵으로 표현될 수 있다.
결과적으로 스테레오카메라(C)는 촬영한 공간이 색상으로 표현되는 RGB이미지와 해당 RGB이미지상의 객체(O)들과 카메라 사이의 거리에 대한 정보가 표현되는 디스패리티맵 2가지 형태의 이미지데이터를 생성할 수 있다.
바람직하게는 상기 RGB이미지 및 상기 디스패리티맵은 상기 스테레오카메라(C)에 의해 녹화된 영상의 특정 영상프레임에 대한 이미지데이터일 수 있다.
본 발명의 일 실시예에서 상기 카메라는 CCTV카메라일 수 있다.
본 발명의 일 실시예에서 상기 스테레오카메라(C)는 외부 조명을 사용하지 않는 패시브 스테레오카메라(C) 혹은 레이저 또는 구조 광과 같은 빛을 사용하는 액티브 스테레오카메라(C)일 수 있다. 바람직하게는 상기 스테레오카메라(C)는 촬영하고자 하는 공간의 설치환경, 중요도, 설치비용 등을 고려하여 선택적으로 결정될 수 있다.
한편, 상기 스테레오카메라(C)는 서버시스템(1)과 통신을 수행할 수 있는 별도의 통신모듈을 더 포함할 수 있다. 구체적으로 스테레오카메라(C)에 의해 생성된 이미지데이터(RGB이미지 및 디스패리티맵)들은 해당 스테레오카메라(C)가 설치된 장소를 감시하는 관제서버인 서버시스템(1)으로 송신될 수 있다. 바람직하게는 상기 통신모듈은 USB, 이더넷 등의 유무선 네트워크를 통해 서버시스템(1)으로 이미지데이터를 송신할 수 있다.
또한, 상기 스테레오카메라(C)는 서버시스템(1)으로 이미지데이터를 송신하기에 앞서 영상을 압축하는 별도의 인코딩모듈(미도시)을 더 포함할 수 있다. 구체적으로 인코딩모듈(미도시)은 상기 스테레오카메라(C)가 촬영한 이미지데이터를 압축함으로써, 데이터 송수신과정에서의 네트워크 부하를 경감할 수 있다. 바람직하게는 상기 인코딩모듈(미도시)은 상기 이미지데이터의 화질, 해상도, 프레임 등을 변환할 수 있다.
본 발명의 일 실시예에서, 상기 스테레오카메라(C)에 의해 생성된 이미지데이터는 2560
Figure 112022093276465-pat00001
720 크기, 최대 10fps의 yuy2 형식의 이미지 혹은 영상일 수 있고, 상기 인코딩모듈(미도시)에 의해 인코딩된 데이터는 1280
Figure 112022093276465-pat00002
720 크기, 15fps 형식의 이미지 혹은 영상일 수 있다.
한편, 관리자는 상기 스테레오카메라(C)가 촬영하고 있는 특정 바닥면에 대한 좌표정보를 측정하고 입력할 수 있다. 구체적으로 관리자는 상기 RGB이미지에서 표시되는 특정 바닥면에 대하여, 해당 바닥면이 실제 공간에서 가지는 좌표정보를 측정하고 서버시스템에 입력할 수 있다.
바람직하게는 관리자는 RGB이미지에서 표시되는 사각형 형태의 특정 바닥면의 모든 꼭지점 각각에 대하여, 실제 공간에서 각 꼭지점의 좌표정보를 측정하여, 해당 바닥면의 RGB이미지에서의 이미지좌표정보와 실제 바닥면에서의 바닥면좌표정보를 매핑할 수 있다.
서버시스템(1)은 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치로 구현될 수 있으며, 스테레오카메라(C)로부터 수신한 이미지데이터에 기초하여, 객체(O)의 위치를 도출하는 주체일 수 있다.
또한 상기 서버시스템(1)은 스테레오카메라(C)와 통신을 수행하고 이미지데이터(RGB이미지 및 디스패리티맵)를 수신하는 이미지수신부(10), 관리자로부터 스테레오카메라(C)의 설치위치, 특정 바닥면에 대한 RGB이미지에서의 이미지좌표정보 및 실제 바닥면에서의 바닥면좌표정보 등에 대한 설정정보를 입력받는 설정정보입력부(11), RGB이미지에서의 특정 좌표정보를 실제 바닥면에서의 좌표정보로 변환하는 변환행렬을 생성하는 변환행렬생성부(12), 스테레오카메라(C)에 의해 촬영된 이미지상의 객체(O)를 검출하는 객체검출부(13), 검출된 객체(O)의 위치를 도출하는 위치정보도출부(14), 및 상기 과정들의 수행에 필요한 복수의 정보들을 저장하는 데이터베이스(15)를 포함할 수 있다.
구체적으로 이미지수신부(10)는 USB, 이더넷 등의 유무선상 네트워크를 통해 스테레오카메라(C)로부터 이미지데이터를 수신하고, 이를 데이터베이스(15)에 저장할 수 있다.
또한, 상기 이미지수신부(10)는 전처리과정을 수행하는 별도의 구성요소들을 더 포함할 수 있다. 구체적으로 본 발명의 일 실시예에서 상기 이미지수신부(10)는 RGB이미지의 색상을 표준색상으로 보정하는 켈리브레이션부(Calibration), 및 스테레오카메라(C)의 좌우양측 이미지센서에 의해 촬영된 이미지의 에피폴라 라인을 서로 평행하게 일치시키는 렉티피케이션부(Rectification)를 더 포함할 수 있다.
이와 같은 이미지수신부(10)는 이미지데이터에 전처리과정을 수행하는 별도의 구성요소들을 더 포함함으로써, 객체(O)검출 및 위치정보 도출과정에서의 정확성과 효율성을 향상할 수 있다.
한편, 본 발명의 다른 실시예에서 상기 켈리브레이션부 및 상기 렉티피케이션부는 스테레오카메라(C)에 포함되는 형태로 구현될 수도 있다. 즉, 스테레오카메라(C)단에서 상기 이미지데이터에 대한 전처리과정이 수행된 후에 서버시스템(1)으로 데이터들이 송신될 수도 있다.
설정정보입력부(11)는 서버시스템(1)이 객체(O)의 위치를 도출하기 위해 필요한 기초적 정보들인 설정정보를 관리자로부터 입력받아 데이터베이스(15)에 저장할 수 있다.
본 발명의 일 실시예에서, 설정정보는 스테레오카메라(C)가 설치된 위치에 대한 정보를 포함할 수 있다. 구체적으로 상기 스테레오카메라(C)의 설치위치가 해당 스테레오카메라(C)가 촬영하고 있는 공간상의 바닥면좌표계(xy평면)에서의 좌표정보로 표현되어 관리자에 의해 서버시스템에 저장될 수 있다. 바람직하게는 상기 스테레오카메라(C)의 설치높이(z축)에 대한 정보가 좌표정보로 더 표현되어 서버시스템에 저장될 수 있다.
또한, 상기 설정정보는 디스패리티맵의 그레이스케일수치와 객체(O)와 스테레오카메라(C) 사이의 거리에 대한 상관관계에 대한 정보인 거리매핑정보를 포함할 수 있다. 상술한 바와 같이 객체(O)와 스테레오카메라(C) 사이의 거리에 대한 정보는 디스패리티맵으로 표현될 수 있고, 더욱 상세하게는 디스패리티맵의 각 픽셀별 회색조의 그레이스케일수치로 표현될 수 있다.
즉, 거리매핑정보란 디스패리티맵의 그레이스케일수치별로 객체(O)와 스테레오카메라(C) 사이의 거리가 매핑된 정보일 수 있다.
변환행렬생성부(12)는 RGB이미지에서의 이미지좌표정보를 실제 바닥면좌표계에서의 바닥면좌표정보로 변환하는 변환행렬을 생성할 수 있다. 구체적으로 변환행렬생성부(12)는 RGB이미지를 원근변환(Perspective Transform)하여 원근감이 반영되어 왜곡된 RGB이미지를 연직방향으로 내려다보는 형태의 이미지로 변환하는 변환행렬을 생성할 수 있다.
한편, 변환행렬은 관리자에 의해 입력된 설정정보에 기반하여 생성될 수 있다. 구체적으로 전술한 바와 같이, 관리자에 의해 특정 바닥면의 RGB이미지상에서의 이미지좌표정보와 실제 바닥면에서의 바닥면좌표정보가 매핑되어 서버시스템에 저장될 수 있고, 변환행렬생성부(12)는 매핑된 정보에 기초하여 RGB이미지에서의 좌표정보를 실제 바닥면좌표계에서의 좌표정보로 변환하는 변환행렬을 생성할 수 있다.
이와 같이, 상기 변환행렬은 원근에 의해 왜곡되어 RGB이미지에서 직사각형, 평행사변형 등의 형태로 표시되는 바닥면을, 실제 바닥면좌표계에서 존재하는 형태로 변환하여, 바닥면좌표계에서의 좌표정보를 도출할 수 있다.
본 발명의 일 실시예에서, 상기 변환행렬은 OpenCV-Python 등의 컴퓨팅 프로그램을 통해 구현될 수 있다. 구체적으로 상기 변환행렬은 warpPerspective()함수에 의해 구현될 수 있다.
이와 같이 생성된 변환행렬을 이용하여, RGB이미지에서 특정 객체(O)가 검출되었을 때, RGB이미지에서의 객체(O)의 좌표정보를 변환행렬을 이용하여 바닥면좌표계에서의 좌표정보로 변환할 수 있다. 이와 같이 변환된 좌표정보는 해당 객체(O)가 존재하지 않았다고 가정했을 때 해당 픽셀에 지칭하는 바닥면의 좌표에 해당할 수 있다.
객체검출부(13)는 RGB이미지에서 객체(O)를 검출할 수 있다. 본 발명의 일 실시예에서 상기 객체검출부(13)는 YOLO기반 딥러닝 기반 추론모델을 포함하는 형태로 구현될 수 있다.
구체적으로 상기 추론모델은 이미지정보를 복수의 셀로 나누어 각 셀마다 객체(O)를 예측하여 바운딩박스를 설정하고, 해당 객체(O)의 위치 및 크기에 대한 정보를 부여할 수 있다. 바람직하게는 상기 객체검출부(13)는 상기 RGB이미지에서 복수의 객체(O)를 검출할 수 있고, 검출된 복수의 각각에 대한 식별정보를 부여하고 저장할 수 있다.
본 발명의 일 실시예에서 상기 추론모델은 COCO dataset 등의 공지된 학습데이터를 통해 학습될 수 있다.
한편, 상기 객체검출부(13)는 객체트래킹부(미도시)를 더 포함하는 형태로 구현될 수 있다. 전술한 바와 같이 상기 RGB이미지는 스테레오카메라(C)에 의해 녹화된 영상의 특정 영상프레임에 대한 이미지일 수 있고, 상기 객체트래킹부(미도시)는 상기 객체검출부(13)가 검출한 객체(O)에 대하여, 이전에 분석된 영상프레임의 RGB이미지에서의 객체(O)의 위치와 상기 영상프레임 전후의 RGB이미지에서 예측되는 객체(O)의 위치의 비교에 의하여 해당 객체(O)를 트래킹할 수 있다.
바람직하게는 객체트래킹부(미도시)는 선형적 거동에 강인한 칼만필터를 이용하여 객체(O)의 위치를 예측할 수 있다.
또한, 객체트래킹부(미도시)는 특정 영상프레임의 RGB이미지에서 특정 객체(O)의 위치와 해당 영상프레임의 다음 영상프레임의 RGB이미지에서 검출된 객체(O)의 위치가 기설정된 기준에 부합하는 경우, 두 영상프레임의 RGB이미지에서 검출된 객체(O)를 동일한 객체(O)로 판단할 수 있다. 바람직하게는 이와 같이 두 객체(O) 사이의 차이에 대한 기설정된 기준은 Mahalanobis distance일 수 있다.
이와 같이 본 발명의 일 실시예에서는, 이전의 검출 혹은 트래킹 결과로부터 예측되는 객체(O)의 위치에 기초하여 트래킹이 수행될 수 있다.
본 발명의 다른 실시예에서는, 검출된 객체(O)에 대한 특징정보를 도출하여 객체(O)를 트래킹할 수 있다. 구체적으로 객체검출부(13) 혹은 객체트래킹부(미도시)는 공지된 다양한 알고리즘을 통해 객체(O)의 외양적 특징 등에 대한 특징정보를 도출하고 비교함으로써, 상이한 영상프레임에서 검출된 객체(O)가 동일한 객체(O)에 해당하는 지 여부를 판단할 수 있다.
또한 본 발명의 일 실시예에서 상기 객체검출부(13)는 RGB이미지상의 복수의 객체(O)를 검출하고, 복수의 객체(O) 각각을 트래킹할 수 있다.
이와 같이, 본 발명에서는 검출된 복수의 객체(O) 각각에 대해 예측되는 위치, 외양적 특징 등을 고려하여 서로 다른 시퀀스의 영상프레임에서 검출된 동일 객체(O)에 동일한 식별정보를 부여할 수 있다.
위치정보도출부(14)는 객체검출부(13)에 의해 검출된 객체(O)의 위치정보를 도출할 수 있다. 구체적으로 위치정보도출부(14)는 스테레오카메라(C)와 객체(O) 사이의 거리에 대한 정보인 제1거리정보를 도출하는 제1거리정보도출부(140), 상기 객체(O)가 존재하지 않다고 가정했을 때, 해당 픽셀이 지칭하는 바닥면과 스테레오카메라(C) 사이의 거리에 대한 정보인 제2거리정보를 도출하는 제2거리정보도출부(141), 및 상기 제1거리정보, 제2거리정보, 및 해당 바닥면의 제1좌표정보, 및 제2좌표정보에 기초하여, 스테레오카메라(C)와 객체(O) 상호간의 상대적인 좌표 및 공간상의 객체(O)의 절대적인 좌표를 도출하는 좌표정보도출부(142)를 포함할 수 있다.
위치정보도출부(14)의 각 구성요소들이 상기 정보들을 도출하는 과정은 후술하도록 한다.
한편, 서버시스템(1)의 각 구성요소들에 의한 정보들은 데이터베이스(15)에 저장될 수 있다. 구체적으로 상기 데이터베이스(15)에는 스테레오카메라(C)로부터 수신한 이미지데이터(RGB이미지 및 디스패리티맵), 관리자에 의해 입력된 스테레오카메라(C)의 설치위치에 대한 정보, 생성된 변환행렬에 대한 정보, RGB이미지상에서 검출된 객체(O)에 대해 도출된 위치정보 등이 저장될 수 있다.
도 3은 본 발명의 일 실시예에 따른 카메라이미지를 이용하여 객체(O)의 위치정보 출력을 보완하는 방법의 단계들을 도시한다.
도 3에 도시된 바와 같이, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는,　카메라이미지를 이용하여 객체(O)의 위치정보 출력을 보완하는 방법은 스테레오카메라(C)에서 촬영된 RGB이미지에 대하여 객체(O)를 검출하는 객체(O)검출단계; 검출된 객체영역 내부에 존재하는 1 이상의 픽셀 각각에 대응하는, 스테레오카메라(C)에서 촬영된 디스패리티맵의 그레이스케일수치로부터 해당 객체(O)와 상기 스테레오카메라(C) 사이의 제1거리정보를 도출하는 제1거리정보도출단계; 검출된 객체영역 내부에 존재하는 1 이상의 픽셀에 대하여,　해당 픽셀에 해당하는 객체(O)가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 기준지점과 상기 스테레오카메라(C) 사이의 제2거리정보를 제2거리정보도출단계; 및 상기 제1거리정보, 제2거리정보, 및 해당 픽셀이 지칭하는 바닥면의 기준지점의 바닥면좌표계에서의 제1좌표정보, 및 제2좌표정보에 기초하여, 공간 내의 객체(O)에 대한 절대좌표정보를 도출하는 절대좌표정보도출단계;를 포함할 수 있다.
구체적으로 S1 내지 S8단계는 상술한 서버시스템(1)의 각 구성요소들에 의해 수행될 수 있다.
S1단계에서 서버시스템(1)에는 객체(O)의 위치를 도출하는 데 필요한 정보들인 설정정보가 저장될 수 있다. 구체적으로 관리자에 의해 스테레오카메라(C)의 설치위치에 대한 정보, 거리매핑정보, 특정 바닥면의 RGB이미지에서의 이미지좌표정보 및 해당 바닥면의 실제 바닥면좌표계에서의 바닥면좌표정보를 포함하는 설정정보들이 서버시스템(1)에 저장될 수 있다.
S2단계는 서버시스템(1)은 변환행렬을 생성할 수 있다. 전술한 바와 같이 변환행렬은 특정 바닥면에 대한 RGB이미지에서의 이미지좌표정보, 및 실제 바닥면좌표계에서의 바닥면좌표정보에 기반하여 생성될 수 있다. 변환행렬은 RGB이미지에서의 특정 좌표정보를 실제 바닥면좌표계에서의 좌표정보로 변환할 수 있다.
S3단계에서 서버시스템(1)은 스테레오카메라(C)로부터 이미지데이터를 수신할 수 있다. 구체적으로 서버시스템(1)은 스테레오카메라(C)에 의해 촬영된 RGB이미지 및 디스패리티맵을 수신할 수 있다. 바람직하게는 상기 이미지데이터는 스테레오카메라(C)에 의한 영상의 특정 영상프레임의 이미지데이터일 수 있다.
S4단계에서 서버시스템(1)은 상기 RGB이미지상의 객체(O)를 검출할 수 있다. 구체적으로 서버시스템(1)은 RGB이미지상의 복수의 객체(O)들을 검출하고, 검출된 복수의 객체(O) 각각을 트래킹할 수 있다. 바람직하게는 검출된 복수의 객체(O) 각각에 대한 바운딩박스가 부여되어 트래킹될 수 있다.
S5단계에서 서버시스템(1)은 객체(O)에 대한 제1거리정보를 도출할 수 있다. 구체적으로 서버시스템(1)은 RGB이미지상에서 검출된 객체(O)에 대하여, 해당 RGB이미지의 픽셀과 대응하는 디스패리티맵의 그레이스케일수치에 기초하여, 검출된 객체(O)와 스테레오카메라(C) 사이의 거리에 대한 정보인 제1거리정보를 도출할 수 있다.
바람직하게는 상기 서버시스템(1)은 객체(O)에 부여된 바운딩박스에 대하여, 기설정된 기준에 따라 특정 영역을 관심영역으로 설정하고 상기 관심영역에서의 객체(O)의 부분과 스테레오카메라(C) 사이의 거리에 대한 정보인 제1거리정보를 도출할 수 있다.
결과적으로 서버시스템(1)은 디스패리티맵에 기반하여, 객체(O)와 스테레오카메라(C) 사이의 거리를 도출할 수 있다.
S6단계에서 서버시스템(1)은 변환행렬을 이용하여, RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면의 좌표정보를 도출할 수 있다.
전술한 바와 같이, RGB이미지에서 객체(O)가 검출될 수 있고, 서버시스템(1)은 해당 객체(O)의 픽셀에 대한 RGB이미지에서의 좌표정보를 변환행렬에 입력하여 해당 픽셀이 지칭하는 바닥면의 바닥면좌표계에서의 좌표정보를 도출할 수 있다. 바람직하게는 변환행렬에 의해 도출된 좌표정보는 제1축에서의 제1좌표정보 및 제2축에서의 제2좌표정보로 도출될 수 있다.
본 발명의 일 실시예에서 상기 제1축(x축) 및 제2축(y축)은 바닥면좌표계(xy평면)를 이루는 축일 수 있다.
또한 상기 변환행렬에 입력되는 좌표정보는 해당 객체(O)에 대해 설정된 관심영역에 해당하는 특정 좌표정보일 수 있다. 본 발명의 일 실시예에 따르면 관심영역은 해당 사람의 머리에 해당하므로, 높이차에 의해 도출된 바닥면에 대한 제1좌표정보 및 제2좌표정보와 해당 객체(O)의 실제위치는 상이할 수 있다. 즉 바닥면좌표계에서 해당 객체(O)가 실제 위치하는 좌표정보와 변환행렬에 의해 도출된 제1좌표정보, 및 제2좌표정보는 상이할 수 있다.
결과적으로 변환행렬에 의해 생성된 제1좌표정보 및 제2좌표정보는 스테레오카메라(C) 기준으로 객체(O)의 관심영역을 투사하여 지칭되는 바닥면의 바닥면좌표계에서의 좌표정보에 해당할 수 있고, 객체(O)의 높이에 의해 실제 객체(O)가 위치하는 바닥면좌표계에서의 좌표정보와는 상이할 수 있다.
S7단계에서 서버시스템(1)은 제2거리정보를 도출할 수 있다. 구체적으로 제2거리정보란 S6단계에서 변환행렬을 이용해 도출된 좌표정보와 스테레오카메라(C)에 대한 좌표정보 사이의 거리를 의미할 수 있다. 즉, 제2거리정보란 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면'과 '스테레오카메라(C)' 사이의 거리에 대한 정보일 수 있다.
제2거리정보는 스테레오카메라(C)에 대해 저장된 좌표정보와 변환행렬에 의해 도출된 제1거리정보 및 제2거리정보에 기초하여 산출될 수 있다. 구체적으로 스테레오카메라(C)에 대한 좌표정보는 바닥면좌표계의 제1축 및 제2축에서의 좌표정보, 및 설치높이에 대한 제3축(z축)에서의 좌표정보를 포함할 수 있고, 이는 관리자에 의해 서버시스템(1)에 저장되는 정보일 수 있다.
한편, 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면'에 대한 제1좌표정보 및 제2좌표정보는 각각 바닥면좌표계의 제1축 및 제2축에서의 좌표정보를 의미하고, (바닥면에 해당하므로) 높이에 대한 제3축에서의 좌표정보는 0으로 결정될 수 있다.
결과적으로 제1축(x축), 제2축(y축), 제3축(z축)에서의 스테레오카메라(C)와 바닥면에 대한 좌표정보가 각각 도출될 수 있으므로, 제2거리정보가 산출될 수 있다.
S8단계에서 서버시스템(1)은 객체(O)에 대한 위치정보를 도출할 수 있다. 구체적으로 서버시스템(1)은 도출된 제1거리정보, 제2거리정보, 스테레오카메라(C)의 좌표정보, 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면'의 좌표정보에 기초하여, 해당 객체(O)가 위치하는 실제 좌표정보를 도출할 수 있다.
바람직하게는 해당 객체(O)에 대한 제1축(x축)에서의 좌표정보인 재1객체(O)좌표정보는 제1평면(xz평면)으로 투영한 삼각형을 가정하여, 제1거리정보와 제2거리정보의 비례관계에 따라 산출될 수 있다. 또한, 제2축(y축)에서의 좌표정보인 제2객체좌표정보는 제2평면(yz평면)으로 투영한 삼각형을 가정하여, 제1거리정보와 제2거리정보의 비례관계에 따라 산출될 수 있다.
이와 같은 방식으로 바닥면좌표계의 제1축 및 제2축에서 해당 객체(O)가 위치하는 실제 좌표정보가 도출될 수 있다. 또는, 스테레오카메라(C)와 객체(O) 상호간의 상대적인 좌표정보가 도출될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 관리자에 의해 입력될 수 있는 특정 바닥면에 대한 RGB이미지에서의 이미지좌표정보를 도시하고, 도 5는 본 발명의 일 실시예에 따른 변환행렬을 생성하는 단계를 도시한다.
도 4 및 5에 도시된 바와 같이, 상기 카메라이미지를 이용하여 객체(O)의 위치정보 출력을 보완하는 방법은, 특정 픽셀이 지칭하는 바닥면의 RGB이미지에서의 이미지좌표정보, 및 해당 바닥면의 바닥면좌표계에서의 바닥면좌표정보에 기초하여, RGB이미지에서의 좌표정보를 바닥면좌표계에서의 좌표정보로 변환하는 변환행렬을 생성하는 변환행렬생성단계;를 더 포함할 수 있다.
또한, 상기 제2거리정보도출단계는, RGB이미지상에서 객체(O)가 검출되었을 때, 상기 변환행렬을 이용하여, 해당 객체(O)에 대한 RGB이미지에서의 좌표정보를, 해당 픽셀에 해당하는 객체(O)가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 좌표인 제1좌표정보 및 제2좌표정보로 변환하고, 변환된 상기 제1좌표정보, 제2좌표정보, 및 스테레오카메라(C)에 대해 기저장된 좌표정보를 이용하여, 상기 제2거리정보를 도출할 수 있다.
구체적으로 도 4는 스테레오카메라(C)에 의해 특정 공간이 촬영된 RGB이미지를 도시하고 있고, 이는 서버시스템이 객체(O)를 검출하고 위치정보를 추적하기 전 변환행렬을 생성하기 위한 RGB이미지에 해당할 수 있다.
한편 도시된 바와 같이 원근에 의한 왜곡에 의해 해당 공간의 바닥면의 RGB이미지에서의 이미지좌표정보와 실제 바닥면좌표계에서의 바닥면좌표정보와 상응할 수 없다.
본 발명에서는 RGB이미지에서의 이미지좌표정보를 실제 바닥면좌표계에서의 바닥면좌표정보로 대응시키기 위한 변환행렬을 생성할 수 있다. 구체적으로 도 5의 (a)에 도시된 바와 같이 관리자는 특정 바닥면에 대하여, RGB이미지에서의 이미지좌표정보 및 실제 바닥면좌표계에서의 바닥면좌표정보를 입력하고, 입력된 정보들에 의해 변환행렬이 생성될 수 있다.
전술한 바와 같이, 본 발명의 일 실시예에서 해당 바닥면은 사각형 형태일 수 있고, 관리자는 사각형의 각 꼭지점에 해당하는 RGB이미지 및 바닥면좌표계 각각에서의 좌표정보(이미지좌표정보.1~4, 및 바닥면좌표정보.1~4)를 입력할 수 있다.
결과적으로 RGB이미지에서의 이미지좌표정보.1, 이미지좌표정보.2, 이미지좌표정보.3, 이미지좌표정보.4는 각각 바닥면좌표계에서의 바닥면좌표정보.1, 바닥면좌표정보.2, 바닥면좌표정보.3, 바닥면좌표정보.4와 대응될 수 있다.
본 발명의 일 실시예에서 관리자는 실제 공간에서 특정 바닥면의 꼭지점에 해당하는 지점을 마킹하고, 마킹된 지점 각각에 대한 바닥면좌표정보를 측정하고, 해당 지점의 마커들이 표시되는 RGB이미지의 이미지좌표에 해당 마커에 대한 바닥면좌표정보를 매칭함으로써, RGB이미지에서의 이미지좌표정보와 바닥면좌표계에서의 바닥면좌표정보를 매칭할 수 있다.
변환행렬은 RGB이미지에서의 이미지좌표정보와 실제 바닥면좌표계에서의 바닥면좌표정보간의 상관관계에 기초하여 생성될 수 있고, 결과적으로는 도 5의 (b)에 도시된 바와 같이, 변환행렬을 이용하여 RGB이미지의 모든 픽셀의 좌표정보에 대해, 해당 픽셀이 지칭하는 바닥면(O')의 실제 바닥면좌표계에서의 좌표정보(xfloor, yfloor)가 도출될 수 있다.
한편, 도 5의 (b)에 도시된 바와 같이 변환행렬에 의해 도출된 바닥면좌표계에서의 좌표정보인 제1좌표정보(xfloor) 및 제2좌표정보(yfloor)는, 해당 객체(O)가 실제 위치하는 좌표정보(xreal, yreal)와는 상이할 수 있다.
구체적으로 통상적인 경우 본 발명에서 검출하고자 하는 객체(O)는 사람일 수 있고, 변환행렬에 입력되는 해당 객체(O)에 대한 좌표정보는 사람의 머리에 해당하는 관심영역에 포함되는 특정 좌표일 수 있다.
즉 바닥면으로부터 입력되는 좌표정보(사람의 머리)까지의 높이차에 의해, 변환행렬에 의해 도출된 좌표정보(제1좌표정보(xfloor), 및 제2좌표정보(yfloor))와 실제 해당 객체(O)가 존재하는 좌표정보(xreal, yreal)가 상이할 수 있다.
도 6는 본 발명의 일 실시예에 따른 스테레오카메라(C)로부터 수신하는 RGB이미지 및 디스패리티맵을 도시한다.
전술한 바와 같이, 서버시스템(1)은 스테레오카메라(C)가 촬영한 특정 공간이 색상정보로 표현되는 RGB이미지(도 6의 (a)), 및 좌우 양측 이미지센서에 의해 촬영된 RGB이미지의 차이에 기초하여 도출되는 디스패리티맵(도 6의 (b))에 기반하여, 해당 공간의 객체(O)를 검출 및 위치정보를 도출할 수 있다.
구체적으로 서버시스템(1)은 RGB이미지에서 객체(O)를 검출하는 추론모델에 의하여, 객체(O)를 검출하고 해당 객체영역에 바운딩박스를 부여할 수 있다. 일례로, 도 6의 (a)는 두 개의 객체(O)가 검출되어 바운딩박스가 부여된 RGB이미지를 도시하고 있다. 또한 검출된 각 객체(O)들은 전후 영상프레임에서 예측되는 위치, 특징정보 등에 기반하여 트래킹될 수 있다.
한편, 도 6의 (b)는 도 6의 (a)와 동일한 공간에 대하여, 객체(O)와 스테레오카메라(C) 사이의 거리가 표현된 디스패리티맵을 도시하고 있다. 구체적으로 객체(O)와 스테레오카메라(C) 사이의 거리는 디스패리티맵의 각 픽셀별로 회색조의 그레이스케일수치로 표현될 수 있다. 바람직하게는 디스패리티맵의 각 픽셀은 회색조의 0 내지 255의 수치를 가지는 그레이스케일수치로 표현될 수 있다.
일례로, 도 6의 (b)에서 객체(O)와 스테레오카메라(C) 사이의 거리가 멀수록 0(검은색)에 가까운 그레이스케일수치를 가질 수 있고, 객체(O)와 스테레오카메라(C) 사이의 거리가 가까울수록 255(흰색)에 가까운 그레이스케일수치를 가질 수 있다.
전술한 바와 같이, 상기 RGB이미지 및 디스패리티맵은 스테레오카메라(C)에 의해 녹화된 영상의 특정 영상프레임에 대한 이미지데이터일 수 있다.
한편, 이하에서 상술하는 RGB이미지 혹은 디스패리티맵의 픽셀은, 상기 RGB이미지 혹은 디스패리티맵을 구성하는 개별픽셀 각각이 될 수도 있고, 혹은 상기 개별픽셀이 그룹화된 픽셀그룹을 의미할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 스테레오카메라(C)와 객체(O)간의 거리와 그레이스케일수치간의 상관관계에 대한 정보인 거리매핑정보를 도시한다.
도 7에 도시된 바와 같이, 컴퓨팅장치에는 디스패리티맵의 그레이스케일수치 각각에 대하여, 상기 스테레오카메라(C)와 객체(O) 사이의 거리에 대한 거리매핑정보가 저장되어 있고, 상기 제1거리정보도출단계는, 상기 그레이스케일수치 및 상기 거리매핑정보를 이용하여 검출된 1 이상의 픽셀 각각에 대한 제1거리정보를 도출할 수 있다.
또한 상기 디스패리티맵은, 상기 스테레오카메라(C) 좌우 양측의 이미지센서 각각에서 촬영되는 RGB이미지의 1　이상의 픽셀 각각에 대한 상대적 차이가 0 내지 255의 수치를 가지는 그레이스케일수치로 표현될 수 있다.
구체적으로 거리매핑정보란 관리자에 의해 서버시스템(1)에 입력 및 저장될 수 있는 그레이스케일수치와 거리와의 상관관계에 대한 정보로서, 더 구체적으로는 0 내지 255의 수치를 가지는 그레이스케일수치별로 객체(O)와 스테레오카메라(C)사이의 실거리(예를 들어 몇 m)가 매핑된 정보일 수 있다.
일례로 관리자는 그레이스케일수치가 0일 때 객체(O)와 스테레오카메라(C)사이의 거리에 대한 정보(예를 들어 50m)를 입력하고, 그레이스케일수치가 255일 때 객체(O)와 스테레오카메라(C)사이의 거리에 대한 정보(예를 들어 0m)를 입력하고, 1 내지 254의 그레이스케일수치에 대한 정보는 입력된 정보에 기초하여 비례적으로 결정될 수 있다.
결과적으로 서버시스템(1)은 거리매핑정보 및 디스패리티맵의 각 픽셀별 그레이스케일수치에 기초하여, 해당 픽셀의 객체(O)와 스테레오카메라(C)사이의 거리를 도출할 수 있다.
도 8은 본 발명의 일 실시예에 따른 디스패리티맵의 그레이스케일수치에 기초하여 객체(O)의 제1거리정보를 도출하는 단계를 도시한다.
도 8에 도시된 바와 같이, 상기 제1거리정보도출단계는, 기설정된 기준에 따라 검출된 객체영역의 일부 영역을 관심영역으로 지정하고, 상기　관심영역에 존재하는 1　이상의 픽셀에 대한 디스패리티맵의 그레이스케일수치 중, 상기 객체(O)와 상기 스테레오카메라(C) 사이의 거리가 가장 가까운 기설정된 개수의 그레이스케일수치를 대표그레이스케일수치로 선정하고, 상기 대표그레이스케일수치 및 상기 거리매핑정보를 이용하여 상기 객체(O)와 상기 스테레오카메라(C) 사이의 제1거리정보를 도출할 수 있다.
또한 상기 제1거리정보도출단계는, 기설정된 개수로 선정된 상기 대표그레이스케일수치의 평균값 및 상기 거리매핑정보를 이용하여 상기 객체(O)와 상기 스테레오카메라(C) 사이의 제1거리정보를 도출할 수 있다.
또한 상기 기설정된 기준은, 검출된 객체영역에서 세로축 기준으로 기설정된 비율의 상단 일부 영역을 관심영역으로 지정할 수 있다.
구체적으로 도 8의 (a)에 도시된 바와 같이, 서버시스템(1)은 디스패리티맵의 객체영역의 픽셀별 그레이스케일수치에 기초하여 해당 객체영역의 객체(O)에 대한 제1거리정보를 도출할 수 있다. 전술한 바와 같이, 서버시스템(1)은 RGB이미지에서 객체(O)를 검출하는 추론모델을 포함할 수 있고, 디스패리티맵의 객체영역은 RGB이미지에 의해 도출된 객체영역과 상응하는 영역에 해당할 수 있다.
즉, 도 8의 (a)의 디스패리티맵에서의 객체영역은, 도 6의 (a)의 RGB이미지에서 검출된 특정 객체(O)(도 6의 (a)의 28)에 대한 객체영역과 동일한 영역에 해당할 수 있다.
한편, 본 발명의 일 실시예에서 서버시스템(1)은 기설정된 기준에 따라 객체영역의 일부를 관심영역으로 설정할 수 있다. 구체적으로 서버시스템(1)은 객체영역을 기설정된 비율로 나누어, 객체영역의 일부 영역을 관심영역으로 설정하고 해당 관심영역의 객체(O)의 부분과 스테레오카메라(C)사이의 제1거리정보를 도출할 수 있다.
더 구체적으로 서버시스템(1)은 객체영역을 세로축 기준으로 기설정된 비율로 나누어, 객체영역의 상단 일부 영역을 관심영역으로 설정하고 해당 관심영역의 객체(O)의 부분과 스테레오카메라(C)사이의 제1거리정보를 도출할 수 있다.
본 발명의 일 실시예에서, 서버시스템(1)은 객체영역의 세로축 기준 1/8에 해당하는 상단 일부 영역을 관심영역으로 설정할 수 있다.
전술한 바와 같이, 통상적인 관제시스템에서 위치정보를 도출하고자 하는 객체(O)는 사람에 해당할 수 있고, 이와 같은 방식으로 객체영역을 관심영역으로 한정하는 경우 관심영역에 해당하는 객체(O)의 부분은 사람의 머리에 해당할 수 있다.
즉 본 발명의 일 실시예에 따르면, 검출된 객체영역 전체에 대한 그레이스케일수치에 기초하여 제1거리정보를 산출하지 않고, 통상적으로 신체 부위 중 스테레오카메라(C)와 가장 가까울 수 있는 머리에 해당하는 영역을 관심영역으로 한정하고 거리정보를 도출할 수 있다.
한편, 본 발명의 일 실시예에서 상기의 기설정된 기준에 따라 객체영역을 관심영역으로 한정하는 단계를 수행하지 않고, 객체영역의 픽셀별 그레이스케일수치에 기초하여 제1거리정보를 도출할 수도 있다.
한편, 전술한 바와 같이, 서버시스템(1)에는 0 내지 255의 수치를 가지는 그레이스케일수치별로, 객체(O)와 스테레오카메라(C)사이의 거리에 대한 정보인 거리매핑정보가 매핑되어 저장될 수 있고, 도 8의 (b)에 도시된 바와 같이 서버시스템(1)은 관심영역의 픽셀별 그레이스케일수치에 대한 거리매핑정보에 기초하여, 해당 객체(O)에 대한 제1거리정보를 도출할 수 있다.
구체적으로 서버시스템(1)은 관심영역의 픽셀별 그레이스케일수치 중 일부를 대표그레이스케일수치로 선정하고, 선정된 대표그레이스케일수치에 대한 거리매핑정보에 기초하여 제1거리정보를 도출할 수 있다.
바람직하게는 상기 관심영역의 픽셀별 그레이스케일수치 중 객체(O)와 상기 스테레오카메라(C) 사이의 거리가 가장 가까운 기설정된 개수의 그레이스케일수치를 대표그레이스케일수치로 선정할 수 있다.
즉, 본 발명의 일 실시예에서 0 내지 255의 수치를 가지는 그레이스케일수치 중 기설정된 개수의 상위 n개(예를 들어, 25개)를 대표그레이스케일수치로 선정할 수 있다.
서버시스템(1)은 선정된 복수의 대표그레이스케일수치에 대한 거리매핑정보에 기초하여, 제1거리정보를 도출할 수 있다. 구체적으로 서버시스템(1)은 평균, 표준편차, 분산 등 공지된 통계적 계산법을 이용하여 제1거리정보를 도출할 수 있다.
바람직하게는 서버시스템(1)은 복수의 대표그레이스케일수치에 대한 거리매핑정보를 평균하여 해당 객체(O)에 대한 제1거리정보를 도출할 수 있다.
한편, 본 발명의 일 실시예에서 관심영역 내 그레이스케일수치 중 일부를 대표그레이스케일수치로 선정하는 과정에 있어, 노이즈를 제거하는 단계가 더 수행될 수도 있다. 구체적으로 선정된 복수의 대표그레이스케일수치 중 픽셀의 위치정보가 매우 상이하여 이상치(outlier)에 해당하는 특정 대표그레이스케일수치를 제외하고, 제1거리정보를 산출할 수 있다.
결과적으로, 제1거리정보는 디스패리티맵의 픽셀별 그레이스케일수치에 기초하여 산출되고, 검출된 객체(O)와 스테레오카메라(C)사이의 거리가 표현된 정보일 수 있다. 더 구체적으로는 제1거리정보는 검출된 사람의 머리와 스테레오카메라(C)사이의 거리가 표현된 정보일 수 있다.
한편, 본 발명의 일 실시예에서 대표그레이스케일수치에 해당하는 복수의 픽셀의 중앙값을 해당 객체(O)에 대한 픽셀로 정의할 수 있다. 구체적으로 이상치를 제외하고 대표그레이스케일수치에 해당하는 복수의 픽셀의 RGB이미지 상에서의 좌표정보의 중앙값을 해당 객체(O)에 대한 RGB이미지상에서의 픽셀위치로 정의할 수 있다.
즉, 이하에서 객체(O)에 대한 제2거리정보를 도출함에 있어, 변환행렬에 입력되는 객체(O)에 대한 좌표정보는 대표그레이스케일수치에 해당하는 복수의 픽셀의 RGB이미지 상에서의 좌표정보의 중앙값일 수 있다.
다시 도 5로 돌아가서, 객체(O)에 대한 제2거리정보는 변환행렬을 이용하여 도출될 수 있다. 전술한 바와 같이 변환행렬은 RGB이미지에서의 좌표정보를 바닥면좌표계에서의 좌표정보로 변환하는 행렬일 수 있고, 관리자로부터 입력된 정보에 의해 생성되어 서버시스템에 저장될 수 있다.
즉, RGB이미지에서 검출된 객체(O)에 대한 좌표정보가 변환행렬에 입력되어, 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면'에 대한 좌표정보가 도출될 수 있다.
전술한 바와 같이, 해당 객체(O)에 대한 픽셀은 대표그레이스케일수치에 해당하는 복수의 픽셀의 중앙값일 수 있고, 해당 픽셀에 대한 좌표정보가 변환행렬에 입력되어, 바닥면좌표계의 제1축에서의 제1좌표정보, 및 제2축에서의 제2좌표정보가 도출될 수 있다.
다시 말하자면, 검출된 객체(O)(사람)의 머리에 해당하는 픽셀의 좌표정보가 변환행렬에 입력되어 제1좌표정보 및 제2좌표정보가 도출될 수 있다.
이와 같이 도출된 제1좌표정보 및 제2좌표정보에 기초하여, 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면'과 '스테레오카메라(C)' 사이의 거리에 대한 정보인 제2거리정보가 도출될 수 있다. 구체적으로 제2거리정보는 스테레오카메라(C)에 대한 좌표정보와 변환행렬에 의해 도출된 제1좌표정보, 및 제2좌표정보의 기하학적 거리에 따라 산출될 수 있다.
도 9는 본 발명의 일 실시예에 따른 제1거리정보, 제2거리정보에 기초하여 객체(O)의 좌표정보를 도출하는 단계를 도시한다.
도 9에 도시된 바와 같이, 상기 절대좌표정보도출단계는, 상기 스테레오카메라(C)에 대한 절대좌표정보, 상기 객체(O)에 대해 도출된 제1객체좌표정보, 및 제2객체좌표정보에 기초하여, 상기 스테레오카메라(C)와 객체(O) 상호간의 상대좌표정보를 도출하는 상대좌표정보도출단계;를 더 포함할 수 있다.
도 9의 (a)에 도시된 바와 같이, 서버시스템(1)은 전술한 과정을 통해 도출된 제1거리정보, 제2거리정보, 제1좌표정보, 제2좌표정보, 및 스테레오카메라(C)에 대한 좌표정보에 기초하여, 스테레오카메라(C)와 객체(O)사이의 상대적인 좌표에 대한 정보인 상대좌표정보 및 공간상의 객체(O)의 위치에 대한 절대좌표정보를 도출할 수 있다.
구체적으로 도 9의 (b)에 도시된 바와 같이, 제1거리정보(d1)는 디스패리티맵에 의해 도출되고, 객체(O)와 스테레오카메라(C)사이의 거리를 의미할 수 있다. 바람직하게는 제1거리정보(d1)는 검출된 객체(O)(사람)의 머리와 스테레오카메라(C)사이의 거리를 의미할 수 있다.
또한 제2거리정보(d2)는 RGB이미지에 의해 도출되고, 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면(O')'과 스테레오카메라(C)사이의 거리를 의미할 수 있다. 바람직하게는 제2거리정보(d2)는 스테레오카메라(C) 기준으로 검출된 객체(O)(사람)의 머리를 투영했을 때 지칭되는 바닥면(O')과의 거리를 의미할 수 있다.
제1좌표정보(xfloor), 및 제2좌표정보(yfloor)는 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면(O')'의 바닥면좌표계의 제1축(x축)에서의 좌표정보 및 제2축(y축)에서의 좌표정보를 의미할 수 있다. 바람직하게는 제1좌표정보(xfloor), 및 제2좌표정보(yfloor)는 스테레오카메라(C) 기준으로 검출된 객체(O)(사람)의 머리를 투영했을 때 지칭되는 바닥면(O')의 바닥면좌표계의 제1축 및 제2축에서의 좌표정보를 의미할 수 있다.
한편 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면(O')'의 제3축(z축)에 대한 좌표정보는 0일 수 있다.
또한 스테레오카메라(C)의 제1축, 제2축, 제3축에 대한 좌표정보는 관리자에 의해 기저장된 정보일 수 있다.
이와 같은 정보들을 활용하여 해당 객체(O)가 실제 위치하는 좌표정보가 도출될 수 있다. 구체적으로 객체(O)가 실제 위치하는 좌표정보는 바닥면좌표계의 제1축에서의 제1객체좌표정보(xreal) 및 제2축에서의 제2객체좌표정보(yreal)로 도출될 수 있다.
또한, 객체(O)와 스테레오카메라(C)에 대한 절대좌표정보에 기초하여, 객체(O)와 스테레오카메라(C) 상호간의 상대좌표정보가 도출될 수 있다.
도 10은 본 발명의 일 실시예에 따른 객체(O)의 좌표정보를 도출하는 일례를 도시한다.
도 10에 도시된 바와 같이, 상기 절대좌표정보도출단계는, 제1평면에 스테레오카메라(C)에 대한 좌표정보와 상기 제1좌표정보를 투영하고, 상기 스테레오카메라(C)에 대한 좌표정보와 상기 제1좌표정보를 꼭지점으로 하는 삼각형을 가정하여, 상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제1축에서의 객체(O)에 대한 제1객체좌표정보를 도출하고, 상기 제1평면과 직교하는 제2평면에 스테레오카메라(C)에 대한 좌표정보와 상기 제2좌표정보를 투영하고, 상기 스테레오카메라(C)에 대한 좌표정보와 상기 제2좌표정보를 꼭지점으로 하는 삼각형을 가정하여, 상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제2축에서의 객체(O)에 대한 제2객체좌표정보를 도출할 수 있다.
도 10의 (a)에 도시된 바와 같이, 바닥면좌표계의 제1축에서의 객체(O)에 대한 좌표정보인 제1객체좌표정보(xreal)는, 스테레오카메라(C) 및 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면(O')'에 대한 좌표정보가 제1평면(xz평면)에 투영된 삼각형을 가정하여, 제1거리정보(d1) 및 제2거리정보(d2)의 비례관계에 따라 도출될 수 있다.
구체적으로 제1평면이란 바닥면좌표계의 제1축(x축)과 높이에 대한 제3축(z축)으로 이루어진 평면일 수 있고, 스테레오카메라(C)에 대한 좌표정보(xc,zc)와 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면(O')'에 대한 좌표정보(제1좌표정보(xfloor),0)를 꼭지점으로 하는 삼각형으로 가정하여, 제1거리정보(d1) 및 제2거리정보(d2)의 비례관계에 따라 해당 객체(O)에 대한 제1객체좌표정보(xreal)가 도출될 수 있다.
바람직하게는, 객체(O)에 대한 제1객체좌표정보(xreal)는, (d2-d1):d2=(xfloor-xreal):xfloor 와 같은 수식으로 도출될 수 있다.
한편 도 10의 (a)에 도시된 바와 같이, 바닥면좌표계의 제2축에서의 객체(O)에 대한 좌표정보인 제2객체좌표정보(yreal)는, 스테레오카메라(C) 및 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면(O')'에 대한 좌표정보가 제2평면(yz평면)에 투영된 삼각형을 가정하여, 제1거리정보(d1) 및 제2거리정보(d2)의 비례관계에 따라 도출될 수 있다.
구체적으로 제2평면이란 바닥면좌표계의 제2축(y축)과 높이에 대한 제3축(z축)으로 이루어진 평면일 수 있고, 스테레오카메라(C)에 대한 좌표정보(yc,zc)와 'RGB이미지에서 검출된 객체(O)가 존재하지 않는다고 가정했을 때, 해당 객체(O)에 해당하는 픽셀이 지칭하는 바닥면(O')'에 대한 좌표정보(제2좌표정보(yfloor),0)를 꼭지점으로 하는 삼각형으로 가정하여, 제1거리정보(d1) 및 제2거리정보(d2)의 비례관계에 따라 해당 객체(O)에 대한 제2객체좌표정보(yreal)가 도출될 수 있다.
바람직하게는, 객체(O)에 대한 제2객체좌표정보(yreal)는, (d2-d1):d2=(yfloor-yreal):yfloor 와 같은 수식으로 도출될 수 있다.
이와 같이 본 발명의 일 실시예에 따르면, 객체(O)가 실제 위치하는 좌표정보를 도출할 수 있다. 즉, 검출된 객체(O)의 높이에 의해 발생하는, 실제 위치와 이미지상에서 객체(O)에 해당하는 픽셀이 지칭하는 바닥면의 좌표정보간의 차이가 고려되어 객체(O)에 대한 좌표정보가 도출될 수 있다.
본 발명의 일 실시예에 따르면, 도출된 정보에 따라 제3축에서의 객체(O)에 대한 좌표정보, 즉 해당 객체(O)의 높이를 도출할 수 있다. 바람직하게는 도출된 정보에 따라 검출된 객체(O)(사람)의 머리에 해당하는 좌표의 높이를 도출할 수 있다.
도 11은 본 발명의 일 실시예에 따른 카메라이미지를 이용하여 객체(O)의 위치정보 출력을 보완하는 방법 및 시스템에 의해 디스플레이되는 화면을 도시한다.
구체적으로 서버시스템(1)이 제공하는 화면은, 도 11의 좌상단 및 좌하단에 도시된 RGB이미지 및 디스패리티맵을 포함할 수 있다. 전술한 바와 같이 상기 RGB이미지 및 디스패리티맵은 스테레오카메라(C)로부터 수신하는 이미지데이터일 수 있다.
또한, 도시된 바와 같이 RGB이미지에서 복수의 객체(O)들이 검출되고, 검출된 객체(O) 각각에 객체영역(바운딩박스)이 부여될 수 있다.
한편, 도 11의 우측에 도시된 바와 같이, 서버시스템(1)은 복수의 객체(O) 각각에 대해 도출된 위치정보를 디스플레이할 수 있다. 구체적으로 도 11의 우상단에는 검출된 2차원에서 좌표정보가 디스플레이되는 이미지를 도시하고 있고, 도 11의 우하단에는 3차원에서 좌표정보가 디스플레이되는 이미지를 도시하고 있다.
전술한 바와 같이, RGB이미지상에서 검출된 복수의 객체(O) 각각에 대한 좌표정보가 트래킹되어 디스플레이되고 있다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
상술한 도 2에 도시된 서버시스템(1)은 상기 도 12에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.
도 12에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 12에 도시된 서버시스템(1)에 해당될 수 있다.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 12의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 12에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 12에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일 실시예에 따르면, 딥러닝 기반의 학습된 추론모델에 의하여 RGB이미지상에서 객체를 검출하고 트래킹할 수 있다.
본 발명의 일 실시예에 따르면, 서버시스템에 디스패리티맵의 그레이스케일수치별로 객체와 스테레오카메라 사이의 거리에 대한 정보인 거리매핑정보가 저장되고, 검출된 객체영역의 그레이스케일수치에 기초하여 해당 객체와 스테레오카메라 사이의 거리에 대한 정보인 거리정보가 도출될 수 있다.
본 발명의 일 실시예에 따르면, RGB이미지상에서 검출된 객체영역과 상응하는 디스패리티맵상에서의 객체영역에 대하여, 세로축 기준 상단 일부 영역을 관심영역으로 지정함으로써, 검출된 객체(사람)의 머리에 해당하는 영역에 대한 거리정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면, 관리자에 입력된 특정 바닥면에 대한 RGB이미지에서의 이미지좌표정보, 및 실제 바닥면좌표계에서의 바닥면좌표정보에 기초하여, RGB이미지에서의 특정 좌표정보를 바닥면좌표계에서의 좌표정보로 변환하는 변환행렬을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 생성된 변환행렬을 이용하여 검출된 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 바닥면좌표계에서의 좌표정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면, 도출된 바닥면의 좌표정보 및 스테레오카메라에 대한 좌표정보에 기초하여, '검출된 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면'과 스테레오카메라 사이의 거리정보를 도출할 수 있다.
본 발명의 일 실시예에 따르면, 도출된 거리정보 및 좌표정보들이 투영된 삼각형을 가정하여 해당 객체에 대한 절대좌표정보 및 상대좌표정보를 도출할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는,　카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법으로서,
스테레오카메라에서 촬영된 RGB이미지에 대하여 객체를 검출하는 객체검출단계;
검출된 객체영역 내부에 존재하는 1 이상의 픽셀 각각에 대응하는, 스테레오카메라에서 촬영된 디스패리티맵의 그레이스케일수치로부터 해당 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출하는 제1거리정보도출단계;
검출된 객체영역 내부에 존재하는 1 이상의 픽셀에 대하여,　해당 픽셀에 해당하는 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 기준지점과 상기 스테레오카메라 사이의 제2거리정보를 제2거리정보도출단계;
상기 제1거리정보, 제2거리정보, 및 해당 픽셀이 지칭하는 바닥면의 기준지점의 바닥면좌표계에서의 제1좌표정보, 및 제2좌표정보에 기초하여, 공간 내의 객체에 대한 절대좌표정보를 도출하는 절대좌표정보도출단계; 및
특정 픽셀이 지칭하는 바닥면의 RGB이미지에서의 이미지좌표정보, 및 해당 바닥면의 바닥면좌표계에서의 바닥면좌표정보에 기초하여,
RGB이미지에서의 좌표정보를 바닥면좌표계에서의 좌표정보로 변환하는 변환행렬을 생성하는 변환행렬생성단계;를 포함하고,
상기 절대좌표정보도출단계는,
제1평면에 스테레오카메라에 대한 좌표정보와 상기 제1좌표정보를 투영하고, 상기 스테레오카메라에 대한 좌표정보와 상기 제1좌표정보를 꼭지점으로 하는 삼각형을 가정하여,
상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제1축에서의 객체에 대한 제1객체좌표정보를 도출하고,
상기 제1평면과 직교하는 제2평면에 스테레오카메라에 대한 좌표정보와 상기 제2좌표정보를 투영하고, 상기 스테레오카메라에 대한 좌표정보와 상기 제2좌표정보를 꼭지점으로 하는 삼각형을 가정하여,
상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제2축에서의 객체에 대한 제2객체좌표정보를 도출하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
삭제
청구항 1에 있어서,
상기 제2거리정보도출단계는,
RGB이미지상에서 객체가 검출되었을 때, 상기 변환행렬을 이용하여, 해당 객체에 대한 RGB이미지에서의 좌표정보를, 해당 픽셀에 해당하는 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 좌표인 제1좌표정보 및 제2좌표정보로 변환하고,
변환된 상기 제1좌표정보, 제2좌표정보, 및 스테레오카메라에 대해 기저장된 좌표정보를 이용하여, 상기 제2거리정보를 도출하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
삭제
청구항 1에 있어서,
상기 컴퓨팅장치에는 디스패리티맵의 그레이스케일수치 각각에 대하여, 상기 스테레오카메라와 객체 사이의 거리에 대한 거리매핑정보가 저장되어 있고,
상기 제1거리정보도출단계는,
상기 그레이스케일수치 및 상기 거리매핑정보를 이용하여 검출된 1 이상의 픽셀 각각에 대한 제1거리정보를 도출하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
청구항 1에 있어서,
상기 디스패리티맵은,
상기 스테레오카메라 좌우 양측의 이미지센서 각각에서 촬영되는 RGB이미지의 1　이상의 픽셀 각각에 대한 상대적 차이가 0 내지 255의 수치를 가지는 그레이스케일수치로 표현되는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
청구항 5에 있어서,
상기 제1거리정보도출단계는,
기설정된 기준에 따라 검출된 객체영역의 일부 영역을 관심영역으로 지정하고,
상기　관심영역에 존재하는 1　이상의 픽셀에 대한 디스패리티맵의 그레이스케일수치 중, 상기 객체와 상기 스테레오카메라 사이의 거리가 가장 가까운 기설정된 개수의 그레이스케일수치를 대표그레이스케일수치로 선정하고,
상기 대표그레이스케일수치 및 상기 거리매핑정보를 이용하여 상기 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
청구항 7에 있어서,
상기 제1거리정보도출단계는,
기설정된 개수로 선정된 상기 대표그레이스케일수치의 평균값 및 상기 거리매핑정보를 이용하여 상기 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
청구항 7에 있어서,
상기 기설정된 기준은,
검출된 객체영역에서 세로축 기준으로 기설정된 비율의 상단 일부 영역을 관심영역으로 지정하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
청구항 1에 있어서,
상기 절대좌표정보도출단계는,
상기 스테레오카메라에 대한 절대좌표정보, 상기 객체에 대해 도출된 제1객체좌표정보, 및 제2객체좌표정보에 기초하여, 상기 스테레오카메라와 객체 상호간의 상대좌표정보를 도출하는 상대좌표정보도출단계;를 더 포함하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법.
카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 시스템으로서,
스테레오카메라에서 촬영된 RGB이미지에 대하여 객체를 검출하는 객체검출단계;
검출된 객체영역 내부에 존재하는 1 이상의 픽셀 각각에 대응하는, 스테레오카메라에서 촬영된 디스패리티맵의 그레이스케일수치로부터 해당 객체와 상기 스테레오카메라 사이의 제1거리정보를 도출하는 제1거리정보도출단계;
검출된 객체영역 내부에 존재하는 1 이상의 픽셀에 대하여,　해당 픽셀에 해당하는 객체가 없었다고 가정하는 경우에 해당 픽셀이 지칭하는 바닥면의 기준지점과 상기 스테레오카메라 사이의 제2거리정보를 제2거리정보도출단계;
상기 제1거리정보, 제2거리정보, 및 해당 픽셀이 지칭하는 바닥면의 기준지점의 바닥면좌표계에서의 제1좌표정보, 및 제2좌표정보에 기초하여, 공간 내의 객체에 대한 절대좌표정보를 도출하는 절대좌표정보도출단계; 및
특정 픽셀이 지칭하는 바닥면의 RGB이미지에서의 이미지좌표정보, 및 해당 바닥면의 바닥면좌표계에서의 바닥면좌표정보에 기초하여,
RGB이미지에서의 좌표정보를 바닥면좌표계에서의 좌표정보로 변환하는 변환행렬을 생성하는 변환행렬생성단계;를 수행하고,
상기 절대좌표정보도출단계는,
제1평면에 스테레오카메라에 대한 좌표정보와 상기 제1좌표정보를 투영하고, 상기 스테레오카메라에 대한 좌표정보와 상기 제1좌표정보를 꼭지점으로 하는 삼각형을 가정하여,
상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제1축에서의 객체에 대한 제1객체좌표정보를 도출하고,
상기 제1평면과 직교하는 제2평면에 스테레오카메라에 대한 좌표정보와 상기 제2좌표정보를 투영하고, 상기 스테레오카메라에 대한 좌표정보와 상기 제2좌표정보를 꼭지점으로 하는 삼각형을 가정하여,
상기 제1거리정보 및 상기 제2거리정보의 비례관계에 따라 바닥면좌표계의 제2축에서의 객체에 대한 제2객체좌표정보를 도출하는, 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 시스템.


KR1020220112149A 2022-09-05 2022-09-05 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템 KR102540678B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220112149A KR102540678B1 (ko) 2022-09-05 2022-09-05 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220112149A KR102540678B1 (ko) 2022-09-05 2022-09-05 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR102540678B1 true KR102540678B1 (ko) 2023-06-07

Family

ID=86760703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220112149A KR102540678B1 (ko) 2022-09-05 2022-09-05 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102540678B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102643408B1 (ko) * 2023-11-28 2024-03-06 한화시스템(주) 나이트 비전 시스템 및 이의 거리 추정 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187974A (ja) * 1996-12-19 1998-07-21 Matsushita Electric Ind Co Ltd 物流計測装置
KR20110082907A (ko) * 2010-01-12 2011-07-20 (주) 인디에스피 입체 영상 변환 방법 및 입체 영상 변환 장치
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
KR20210083021A (ko) * 2019-12-26 2021-07-06 주식회사 로탈 스테레오 카메라를 이용한 객체 위치 결정 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187974A (ja) * 1996-12-19 1998-07-21 Matsushita Electric Ind Co Ltd 物流計測装置
KR20110082907A (ko) * 2010-01-12 2011-07-20 (주) 인디에스피 입체 영상 변환 방법 및 입체 영상 변환 장치
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
KR20210083021A (ko) * 2019-12-26 2021-07-06 주식회사 로탈 스테레오 카메라를 이용한 객체 위치 결정 시스템
KR102316243B1 (ko) 2019-12-26 2021-10-22 주식회사 로탈 스테레오 카메라를 이용한 객체 위치 결정 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102643408B1 (ko) * 2023-11-28 2024-03-06 한화시스템(주) 나이트 비전 시스템 및 이의 거리 추정 방법

Similar Documents

Publication Publication Date Title
US12008778B2 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11494915B2 (en) Image processing system, image processing method, and program
US9443143B2 (en) Methods, devices and systems for detecting objects in a video
US20180005018A1 (en) System and method for face recognition using three dimensions
KR20190112894A (ko) 3d 렌더링 방법 및 장치
US20120062749A1 (en) Human body identification method using range image camera and human body identification apparatus
KR102608956B1 (ko) 스테레오 이미지의 정류를 위한 방법 및 시스템
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
US11488354B2 (en) Information processing apparatus and information processing method
US20190371058A1 (en) Image Processing Apparatus, Image Processing Method, And Image Processing Program
KR102540678B1 (ko) 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템
Hu et al. Aerial monocular 3d object detection
EP4107650A1 (en) Systems and methods for object detection including pose and size estimation
Canovas et al. Onboard dynamic RGB‐D simultaneous localization and mapping for mobile robot navigation
Ye et al. Object detection in rgb-d indoor scenes
KR20210018114A (ko) 교차 도메인 메트릭 학습 시스템 및 방법
KR102540676B1 (ko) 카메라이미지를 이용하여 객체의 위치를 도출하는 방법 및 그 시스템
US20220230459A1 (en) Object recognition device and object recognition method
Nakazawa et al. Calibration of multiple kinects with little overlap regions
Amamra et al. Real-time multiview data fusion for object tracking with RGBD sensors
KR20230052208A (ko) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
Zhao Camera planning and fusion in a heterogeneous camera network
Tu et al. Method of Using RealSense Camera to Estimate the Depth Map of Any Monocular Camera
Howells et al. Depth maps comparisons from monocular images by midas convolutional neural networks and dense prediction transformers

Legal Events

Date Code Title Description
GRNT Written decision to grant