KR101921709B1 - 멀티 카메라 유닛을 이용한 객체 인식 시스템 - Google Patents

멀티 카메라 유닛을 이용한 객체 인식 시스템 Download PDF

Info

Publication number
KR101921709B1
KR101921709B1 KR1020160182666A KR20160182666A KR101921709B1 KR 101921709 B1 KR101921709 B1 KR 101921709B1 KR 1020160182666 A KR1020160182666 A KR 1020160182666A KR 20160182666 A KR20160182666 A KR 20160182666A KR 101921709 B1 KR101921709 B1 KR 101921709B1
Authority
KR
South Korea
Prior art keywords
cameras
camera
performer
value
identification
Prior art date
Application number
KR1020160182666A
Other languages
English (en)
Other versions
KR20180077866A (ko
Inventor
최이권
허건
김유화
박정현
Original Assignee
모젼스랩 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모젼스랩 (주) filed Critical 모젼스랩 (주)
Priority to KR1020160182666A priority Critical patent/KR101921709B1/ko
Publication of KR20180077866A publication Critical patent/KR20180077866A/ko
Application granted granted Critical
Publication of KR101921709B1 publication Critical patent/KR101921709B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N5/23229
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 다수 공연자를 다수의 (IR)카메라를 이용하여 트레킹하되, 공연자 추적의 정확성을 향사시키도록 구현된 멀티 카메라를 유닛을 이용한 객체 인식 시스템에 관한 것으로, 본 발명은 공연자가 이동하면서 공연을 실연하는 무대와; 실연 공간 내의 식별표지를 인식하기 위해, 상기 무대를 향해 설치되는 다수의 카메라들과; 상기 공연자 신체 일부에 부착되어, 상기 카메라에 의해 인식되는 IR 마커; 그리고 상기 카메라들로부터 인식된 IR마커 센싱값을 수신받아, 상기 IR마커 센싱값에 따라 상기 공연자의 위치를 인식하고 추적하는 제어유닛을 포함하여 구성되고: 상기 제어유닛은, 상기 무대는 다수개의 구역으로 구분하고; 각 구역에 대한 상기 카메라들의 인식률에 따라 각 구역 별로 상기 공연자 인식 및 추적에 사용될 둘 이상의 카메라를 각각 할당한다. 이와 같은 본 발명에 의하면, 본 발명에서는 다수의 멀티 IR 카메라들로 공연 공간 내의 사용자 위치를 식별/추적하되, 상기 공연공간을 구분하여, 각 영역 별로 인식률이 높은 IR 카메라 조합을 통해 객체를 인식/추적하므로 공연자의 위치를 정확히 파악할 수 있는 효과가 있다.

Description

멀티 카메라 유닛을 이용한 객체 인식 시스템 { SYSTEM FOR OBJECT TRACKING USING MULI-CAMERA UNIT }
본 발명은 공연자를 구별하여 추적하는 시스템에 있어, 다수 공연자를 다수의 IR 카메라를 이용하여 트레킹하되, 공연자 추적의 정확성을 향사시키도록 구현된 멀티 카메라를 유닛을 이용한 객체 인식 시스템에 관한 것으로, 문화체육관광부의 스포츠산업기술기반조성사업 중 '태권도 액션 퍼포먼스 스포츠기술 개발' 과제를 수행함에 있어 산출된 결과물에 대한 발명이다.
근래에 멀티미디어 환경의 급속한 발달에 따라, 공연 문화에도 다양한 IOT 기술이 적용되고 있다.
이에 최근에는 공연에 참여한 실연자와 각종 무대장치 및 특수효과 등이 서로 인터렉션하는 기술이 개발되고 있다.
이와 같은, 공연 인터렉션을 구현하기 위해서는, 기본적으로 물리적인 공연공간 상에서 실연하는 공연자를 구별하여 인식하여 처리하는 기술이 제공되어야 한다.
본 출원인은 키넥트 카메라를 이용하여 다수 참여자 간 인터렉션이 가능한 시스템을 개발하여 특허등록 받은바 있다(대한민국 등록 특허 제1575063호).
그러나 키넥트 카메라를 이용한 종래기술의 경우. 도 1에 도시된 바와 같이, 사용자 입력의 안정성은 확보되나, 장비 설치 비용이 높고, 터치입력이라는 한정된 행위만을 인식하여, 사용자의 이동범위 및 인터렉션 행위가 제한적이라는 단점이 있다.
반면에, IR 카메라는 사용자의 다양한 행위를 인식하여 인터렉션할 수 있는 장점이 있으나, 다양한 요인에 의해 사용자의 위치 및 구분에 오류가 발생되는 문제점이 있었다.
특히, 다수 사용자가 동시에 참여하면서, 액션 스피드가 빠른 스포츠 공연의 경우, 사용자 간의 중첩등의 문제로 사용자 식별에 오류가 발생되는 문제점이 있었다.
대한민국 등록 특허 제1575063호
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 공연 공간 내에 설치된 다수의 IR 카메라를 이용하여 다수의 사용자의 위치를 식별/추적함에 있어, 위치별로 인식률이 높은 카메라의 조합으로 사용자의 위치 추적 및 식별하여 정확성을 높일 수 있는 멀티 카메라 유닛을 이용한 객체 인식 시스템을 제공하고자 하는 것이다.
또한, 본 발명은 다수의 IR 카메라를 이용하여 공연공간 내의 사용자를 인식함에 있어, 공연 공간 위치에 따라 추적 정확도가 높은 IR 카메라를 활용하여 사용자를 인식하되, 각 카메라 인식영역을 기설정하여 객체 인식 효율을 향상시킬 수 있는 멀티 카메라 유닛을 이용한 객체 인식 시스템을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은, 공연자가 이동하면서 공연을 실연하는 무대와; 실연 공간 내의 식별표지를 인식하기 위해, 상기 무대를 향해 설치되는 다수의 카메라들과; 상기 공연자 신체 일부에 부착되어, 상기 카메라에 의해 인식되는 IR 마커; 그리고 상기 카메라들로부터 인식된 IR마커 센싱값을 수신받아, 상기 IR마커 센싱값에 따라 상기 공연자의 위치를 인식하고 추적하는 제어유닛을 포함하여 구성되고: 상기 제어유닛은, 상기 무대는 다수개의 구역으로 구분하고; 각 구역에 대한 상기 카메라들의 인식률에 따라 각 구역 별로 상기 공연자 인식 및 추적에 사용될 둘 이상의 카메라를 각각 할당한다.
그리고 상기 카메라들은, 서로 설치 위치가 이격되어 배치될 수도 있다.
또한, 상기 제어유닛은, 상기 카메라의 IR 마커 센싱값을 수신받는 통신모듈과; 상기 카메라들로부터 수신된 센싱값을 데이터베이스에 저장하는 제어모듈과; 상기 데이터베이스에 저장되는 상기 카메라의 센싱값을 이용하여 상기 사용자를 식별하여 상기 사용자의 위치를 산출 및 보정하는 연산모듈; 그리고 상기 카메라로부터 수신된 센싱값 및 측정값을 저장하는 데이터베이스를 포함하여 구성될 수도 있다.
그리고 상기 각 구역에 대한 상기 카메라들의 인식률은, 상기 무대에 설치된 식별패드 상의 식별표지를 인식함에 의해 검사될 수도 있다.
이때, 상기 식별패드는, 격자형태로 영역이 구분되고, 상기 각 영역에 적외선 인식이 가능한 식별표지가 부착되어 구성된 패드일 수도 있다.
한편, 상기 각 구역에 대한 상기 카메라들의 인식률은, 격자형태로 영역이 구분된 무대에 설치된 식별유닛 상의 식별표지를 인식함에 의해 검사될 수도 있다.
이때, 상기 식별유닛은, 받침부와; 상기 받침부 상부에 바닥면과 수직하게 구비되는 회전판과; 상기 회전판을 회전시키는 구동부; 그리고 상기 회전판 일 측면에 부착되는 식별표지를 포함하여 구성될 수도 있다.
그리고 상기 구동부는, 공연 종류에 따라 설정된 회전속도에 따라 상기 회전판을 회전시킬 수도 있다.
또한, 상기 제어모듈은, 상기 카메라들을 구동시켜 상기 무대상에 설치된 식별표지를 인식하고; 각 카메라들에 대한 각 위치의 식별표지 인식값을 수신하여; 각 카메라들의 인식값에 따른 식별표지의 위치값을 산출하며; 산출된 위치값들을 서로 비교하여, 평균값과의 차이값에 따라 해당 영역에 대한 각 카메라의 인식률을 판별할 수도 있다.
그리고 상기 제어모듈은, 상기 카메라들의 인식값에 따른 식별표지의 위치값을 산출함에 있어, 둘 이상의 카메라들의 조합에 의해 위치값을 산출하고; 카메라들의 조합 별로, 해당 영역에 대한 인식률을 판별할 수도 있다.
또한, 상기 제어모듈은, 각 구역에 대한 카메라들 조합의 인식률에 따라 각 구역 별로 상기 공연자 인식 및 추적에 사용될 카메라들의 조합을 설정할 수도 있다.
위에서 살핀 바와 같은 본 발명에 의한 멀티 카메라 유닛을 이용한 객체 인식 시스템에서는 다음과 같은 효과를 기대할 수 있다.
즉, 본 발명에서는 다수의 멀티 IR 카메라들로 공연 공간 내의 사용자 위치를 식별/추적하되, 상기 공연공간을 구분하여, 각 영역 별로 인식률이 높은 IR 카메라 조합을 통해 객체를 인식/추적하므로 공연자의 위치를 정확히 파악할 수 있는 효과가 있다.
또한, 본 발명은, 각 IR 카메라를 물리적으로 설치한 이후에 IR 카메라의 조작없이 각 영역별 인식률을 검사하고 이에 따라 각 영역에 대한 IR 카메라를 할당하므로, 작업자의 조작에 의한 동기화 오류를 예방할 수 있는 효과가 있다.
본 발명은 이와 같이, 공연공간 내에 위치한 사용자의 위치 추적 및 식별에 대한 정확성을 확보함에 따라, 공연공간 내에 다수 사용자가 참여하고 빠른 동작을 수행함에도 각 사용자와 정확한 인터렉션을 수행할 수 있는 효과가 있다.
도 1은 종래 기술에 의한 터치 디바이스 상의 다수 사용자 식별방법을 도시한 예시도.
도 2는 본 발명에 의한 객체 인식 시스템이 공연공간 내에 구축된 예를 도시한 예시도.
도 3은 본 발명의 구체적인 실시예에 의한 멀티 카메라 유닛을 이용한 객체 인식 시스템의 구성을 도시한 블록도.
도 4는 본 발명의 구체적인 실시예에 의한 공연공간 내 설치된 멀티 카메라 유닛의 위치별 인식률 산정예를 도시한 예시도.
도 5는 본 발명의 다른 실시예에 의한 공연공간 내 설치된 멀티 카메라 유닛의 위치별 인식률 산정예를 도시한 예시도.
도 6은 본 발명의 다른 실시예에 적용된 식별유닛의 일 예를 도시한 예시도.
도 7은 본 발명의 카메라별 인식률을 반영하여 공연공간 내 구역별 객체 인식 방법을 도시한 예시도.
도 8은 본 발명의 구체적인 실시예에 의한 공연공간 내 설치된 멀티 카메라의 위치별 인식률 산정 방법을 도시한 흐름도.
이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 멀티 카메라 유닛을 이용한 객체 인식 시스템을 살펴보기로 한다.
설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.
즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
도 2는 본 발명에 의한 객체 인식 시스템이 공연공간 내에 구축된 예를 도시한 예시도이고, 도 3은 본 발명의 구체적인 실시예에 의한 멀티 카메라 유닛을 이용한 객체 인식 시스템의 구성을 도시한 블록도이며, 도 4는 본 발명의 구체적인 실시예에 의한 공연공간 내 설치된 멀티 카메라 유닛의 위치별 인식률 산정예를 도시한 예시도이고, 도 5는 본 발명의 다른 실시예에 의한 공연공간 내 설치된 멀티 카메라 유닛의 위치별 인식률 산정예를 도시한 예시도이며, 도 6은 본 발명의 다른 실시예에 적용된 식별유닛의 일 예를 도시한 예시도이고, 도 7은 본 발명의 카메라별 인식률을 반영하여 공연공간 내 구역별 객체 인식 방법을 도시한 예시도이며, 도 8은 본 발명의 구체적인 실시예에 의한 공연공간 내 설치된 멀티 카메라의 위치별 인식률 산정 방법을 도시한 흐름도이다.
본 발명에 의한 멀티 카메라 유닛을 이용한 객체 인식 시스템은 공연 공간상에 구비되는 무대(10)와 상기 무대(10)를 향해 설치되는 다수의 (IR)카메라(100), 실연자인 사용자에게 부착되는 IR마커(200), 상기 카메라(100)를 제어하고, 수신된 센싱값을 이용하여 사용자의 위치를 추적하는 제어유닛(400)을 포함하여 구성된다.
상기 카메라(100)는 적외선(Infrared Rays; IR)을 이용하여, 피사체를 촬영하는 적외선(IR) 카메라를 둘 이상 포함하여 구성된다. 이때, 상기 카메라(100)를 구성하는 복수의 카메라들(110, 120)은 서로 이격된 위치에 설치된다.
이에 따라 상기 카메라(100)는 인식된 피사체의 촬상 각의 차이를 통해 피사체의 위치를 산출할 수 있다. 멀티 카메라들에 의해 촬영된 피사체의 위치를 산출하는 알고리즘은 상용화된 기술로, 본 명세서에서 상세히 설명하지는 않도록 한다.
한편, 본 발명은 도 2에 도시된 바와 같이, 다 각도로 설치된 다수개의 카메라(100)들을 포함하여 구성된다.
따라서, 본 발명은 다수개의 카메라(100)를 통해 좀 더 정확성 있는 피사체의 위치를 산출할 수 있다.
한편, 본 발명에서 카메라는 피사체 자체를 인식하는 것도 가능하나, 인식의 정확성을 향상시키기 위하여, 적외선 카메라에 식별력이 높은 IR 마커(200)를 인식하도록 한다. 이에 대하여는 다시 상세히 설명하기로 한다.
그리고 IR 마커(200)는 상기 IR 카메라가 사용자를 정확히 인식하도록 사용자 신체 일부에 부착되는 마커로, 일반적인 적외선 반사 필름 등으로 구성되는 식별표지를 포함하여 구성될 수 있다.
상기 식별표지는 상기 IR 카메라의 특성에 따라 다양하게 구성될 수 있는데, 바람직하게는 특정 색상이 표시된 표지 또는 특정 영역의 주파수를 갖는 광신호를 반사시키는 표지일 수 있다.
한편, 상기 제어유닛(400)은 상기 카메라(100)의 촬상 데이터를 이용하여 사용자의 정확한 위치 및 방향을 산출하는 것으로, 이를 위해 상기 제어유닛(400)은 통신모듈(410), 연산모듈(420), 제어모듈(410) 및 데이터베이스(440)를 포함하여 구성된다.
상기 통신모듈(410)은 상기 카메라(100)의 촬상데이터를 수신하는 부분이다.
그리고 상기 제어모듈(430)은 상기 카메라(100)들로부터 수신된 대상체(사용자)의 측정값을 상기 데이터베이스(440)에 저장한다.
또한, 상기 연산모듈(420)은 상기 데이터베이스(440)에 저장되는 상기 카메라(100)의 측정값을 이용하여 상기 대상체의 위치를 산출하고, 상기 대상체의 위치를 보정하는 역할을 수행한다.
그리고 상기 데이터베이스(440)는 상기 연산모듈(420)이 대상체의 위치 및 방향을 산출하기 위해 상기 카메라(100)로부터 수신된 측정값을 저장하는 부분이다.
한편, 상기 제어모듈(430)은 후술할 각 카메라(100)별 각 영역에 대한 인식률을 바탕으로, 무대(10)를 다수개의 영역으로 구분하고, 각 영역에 있어, 대상 객체 추적에 이용될 카메라(100)들을 할당하여 저장한다.
즉, 상기 제어모듈(430)은 대상 객체가 무대(10)상의 특정영역에 위치하는 경우, 설치된 모든 카메라(100)를 이용하여 상기 대상 객체를 인식/추적하는 것이 아니고, 상기 영역에 할당된 카메라(100)들 만을 이용하여 대상 객체를 인식/추적한다.
이하에서는, 카메라(110, 120) 설치 후 각 카메라(110, 120) 별로 무대상의 영역별 인식률을 검사하고, 해당 인식률에 따라 영역별 카메라를 할당하는 방법에 대하여 설명하기로 한다.
본 발명에 의한 멀티 카메라 유닛을 이용한 객체 인식 시스템에 있어, 각 카메라의 영역별 인식률 검사방법은 크게 식별패드를 이용하는 방법과 식별유닛을 이용하는 방법으로 구분되고, 이에서는 상기 두 가지 방법에 대하여 각각 살펴보기로 한다.
먼저, 도 4는에 도시된 바와 같이, 식별패드(20)를 이용하여 카메라 별 인식률을 검사하는 방법은, 무대상에 설치된 식별패드(20)를 이용하여 각 카메라의 인식률을 검사한다.
상기 식별패드(20)는 무대에 카메라(100)를 설치 시, 각 카메라(100)에 대한 위치별 인식률을 설정하기 위한 구성으로, 식별표지(220)가 표시되어 무대에 배치시킬 수 있는 패드를 의미한다.
상기 식별패드(20)는 다양한 형태로 구성될 수 있으나, 도 4에 도시된 바와 같이, 식별패드(20) 상의 위치를 구별할 수 있도록 격자형태로 영역이 구분되고, 구분된 각 영역에 상기 식별표지(220)가 부착된 형태로 구성될 수 있다.
즉, 도 4에 도시된 바와 같이, 설정된 위치에 카메라(100)들을 설치 후, 상기 무대 상에 식별패드(20)를 설치한다.
이후, 도 8에 도시된 바와 같이, 상기 카메라(100)들은 구동시켜, 상기 식별패드(20) 상의 각 식별표지(220)를 인식한다(S110, S120).
그리고 상기 제어유닛(400)은 각 카메라(1 내지 8)들의 식별표지 인식값(센싱값)을 수신하여, 각 식별표지(210)에 대한 위치값을 산출한다.
이때, 상기 제어유닛(400)은 개별적인 카메라의 측정값에 따라 식별표지(220)의 위치값을 산출하는 것도 가능하지만, 둘 이상의 카메라 측정값을 통해 상기 식별표지의 위치값을 산출하는 것도 가능하다.
이는 어떠한 카메라의 조합이 특정 영역에서 높은 위치 인식률을 나타내는지 여부를 판단하기 위한 것이다.
다음으로, 상기 제어유닛(400)은 각 카메라(100)(또는 카메라의 조합)이 산출한 위치값을 서로 비교하여, 다른 카메라로부터 산출된 위치값과 오차가 큰 영역에 대하여, 해당 카메라 유닛의 반영률을 낮추어 설정한다.
즉, 상기 카메라 유닛의 대상체 위치 산출은 기본적으로 영상분석을 통해 산출하는 것이므로, 카메라와 사용자 사이의 거리 및 방향에 따라, 정확도가 떨어지는 위치가 있을 수 있다.
이에 따라, 본 발명은 각 카메라들의 설치시, 각 카메라의 위치값 산출 정확도를 시험적으로 판별하여, 정확도가 낮은 위치에 대하여는, 시스템 운용시 산출된 위치값의 반영률을 낮게 설정하여 사용자의 위치를 특정하기 위한 것이다.
이와 같이, 판별된 무대상의 위치별 인식률에 따라, 대상체의 위치에 따른 카메라를 설정하여 대상체를 인식하는 것도 가능하다.
즉, 도 7에 도시된 바와 같이, 무대상의 전체 영역(S0~S4)을 구분하여 설정하고, 각 영역별로, 인식률이 높은 카메라를 설정하여, 해당 영역에 대한 대상체의 위치 인식 및 추적을 해당 카메라를 이용하여 활용하는 것이 가능하다.
도 7에 도시된 예에서, 통상 중앙부의 S0 영역은 모든 카메라의 인식률이 높게 나오므로, 어떤 카메라를 이용하여 대상체를 인식/추적하여도 무방할 것이나, 모서리 부분인 S1 내지 S4 영역에는 경사각이 비교적 적은 위치의 카메라를 이용하여 대상체를 인식/추적하는 것이 바람직하고, 각 카메라별 인식률은 전술한 바와 같은 방법에 의해 산출된다.
한편, 도 4에 도시된 실시예와 같이 식별패드를 이용하여 각 카메라의 영역별 인식률 산출은 3차원 공간상의 제약에 따라 정확성이 다소 부족할 수 있다.
즉, 실제 공연자는 인체의 특정부위에 IR마커(200)를 부착하고, 회전을 포함하는 이동을 하는 반면, 식별패드는 바닥면에 고정된 상태로 위치하므로, 상기 식별패드(20) 상의 식별표지(220)에 대한 인식률이 높은 카메라도, 실제 공연 상황에서 상기 IR 마커(200)의 3차원 공간상의 방향 및 위치에 따라 인식률이 떨어질 수 있다.
이에 따라 본원 발명의 다른 실시예는, 식별유닛(500)을 이용하여 카메라 별 인식률을 검사하는 방법을 포함한다.
즉, 본 발명의 다른 실시예는 도 5에 도시된 바와 같이, 식별패드 상에 식별표지를 부착하여 사용하지 않고, 식별표지가 포함된 식별유닛(500)을 이용한다.
상기 식별유닛은 도 5 및 도 6에 도시된 바와 같이, 상기 식별패드의 구분된 영역에 이동 가능하게 세울 수 있는 받침부와 상기 받침부 상부에 바닥면과 수직하게 형성되는 회전판과 상기 회전판을 회전시키는 구동부 및 상기 회전판 일 측에 부착되는 식별표지를 포함하여 구성된다.
즉, 상기 식별유닛(500)은 상기 식별패드(20)의 각 영역을 이동하여 세울 수 있도록 구성되고, 식별표지가 부착되는 회전판이 바닥면에 수직 한 방향으로 구비되어 회전가능하게 구성된다.
이에 따라 상기 식별표지는 실제 공연자의 공연상황에 유사한 형태로 설치되어, 실제 공연상황에서 어떤 카메라 또는 카메라의 조합이 해당 영역의 대상체 인식률이 높은지 여부를 판단할 수 있다.
나아가, 관리자는 상기 회전판의 회전속도를 공연종류에 따라 달리 설정하여, 실제 공연상태와 유사한 상화에서의 카메라별 인식률을 검사할 수 있다.
즉, 운동성이 높은 스포츠 공연에서는 상기 회전판의 회전속도를 높게 설정하고, 운동성이 낮은 공연에서는 상기 회전판의 회전속도를 낮게 설정하여, 실제 공연 상태와 뷰사한 조건에서의 인식률 검사를 수행할 수 있다.
한편, 상기 식별유닛(500)을 이용하여 제어유닛(400)이 각 카메라별 해당 영역에 대한 인식률을 검사하는 방법은 전술한 바와 같다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
본 발명은 다수 공연자를 다수의 (IR)카메라를 이용하여 트레킹하되, 공연자 추적의 정확성을 향사시키도록 구현된 멀티 카메라를 유닛을 이용한 객체 인식 시스템에 관한 것으로, 본 발명에 의하면 다수의 멀티 IR 카메라들로 공연 공간 내의 사용자 위치를 식별/추적하되, 상기 공연공간을 구분하여, 각 영역 별로 인식률이 높은 IR 카메라 조합을 통해 객체를 인식/추적하므로 공연자의 위치를 정확히 파악할 수 있는 효과가 있다.
100 : 카메라 200 : IR마커
400 : 제어유닛 410 : 통신모듈
420 : 연산모듈 430 : 제어모듈
440 : 데이터베이스 500 : 식별유닛

Claims (8)

  1. 공연자가 이동하면서 공연을 실연하는 무대와;
    실연 공간 내의 식별표지를 인식하기 위해, 상기 무대를 향해 설치되는 다수의 카메라들과;
    상기 공연자 신체 일부에 부착되어, 상기 카메라에 의해 인식되는 IR 마커; 그리고
    상기 카메라들로부터 인식된 IR마커 센싱값을 수신받아, 상기 IR마커 센싱값에 따라 상기 공연자의 위치를 인식하고 추적하는 제어유닛을 포함하여 구성되고:
    상기 제어유닛은,
    상기 무대는 다수개의 구역으로 구분하고;
    각 구역에 대한 상기 카메라들의 인식률에 따라 각 구역 별로 상기 공연자 인식 및 추적에 사용될 둘 이상의 카메라를 각각 할당하며:
    상기 카메라들은,
    서로 설치 위치가 이격되어 배치되고:
    상기 제어유닛은,
    상기 카메라의 IR 마커 센싱값을 수신받는 통신모듈과;
    상기 카메라들로부터 수신된 센싱값을 데이터베이스에 저장하는 제어모듈과;
    상기 데이터베이스에 저장되는 상기 카메라의 센싱값을 이용하여 상기 공연자를 식별하여 상기 공연자의 위치를 산출 및 보정하는 연산모듈; 그리고
    상기 카메라로부터 수신된 센싱값 및 측정값을 저장하는 데이터베이스를 포함하여 구성되며:
    상기 각 구역에 대한 상기 카메라들의 인식률은,
    격자형태로 영역이 구분된 무대에 설치된 식별유닛 상의 식별표지를 인식함에 의해 검사되고:
    상기 식별유닛은,
    받침부와;
    상기 받침부 상부에 바닥면과 수직하게 구비되는 회전판과;
    상기 회전판을 회전시키는 구동부; 그리고
    상기 회전판 일 측면에 부착되는 식별표지를 포함하여 구성되며:
    상기 제어모듈은,
    상기 카메라들을 구동시켜 상기 무대상에 설치된 식별표지를 인식하고;
    각 카메라들에 대한 각 위치의 식별표지 인식값을 수신하여;
    각 카메라들의 인식값에 따른 식별표지의 위치값을 산출하며;
    산출된 위치값들을 서로 비교하여, 평균값과의 차이값에 따라 해당 영역에 대한 각 카메라의 인식률을 판별함을 특징으로 하는 멀티 카메라 유닛을 이용한 객체 인식 시스템.
  2. 제 1 항에 있어서,
    상기 구동부는,
    공연 종류에 따라 설정된 회전속도에 따라 상기 회전판을 회전시킴을 특징으로 하는 멀티 카메라 유닛을 이용한 객체 인식 시스템.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 제어모듈은,
    상기 카메라들의 인식값에 따른 식별표지의 위치값을 산출함에 있어,
    둘 이상의 카메라들의 조합에 의해 위치값을 산출하고;
    카메라들의 조합 별로, 해당 영역에 대한 인식률을 판별함을 특징으로 하는 멀티 카메라 유닛을 이용한 객체 인식 시스템.
  8. 제 7 항에 있어서,
    상기 제어모듈은,
    각 구역에 대한 카메라들 조합의 인식률에 따라 각 구역 별로 상기 공연자 인식 및 추적에 사용될 카메라들의 조합이 설정함을 특징으로 하는 멀티 카메라 유닛을 이용한 객체 인식 시스템.
KR1020160182666A 2016-12-29 2016-12-29 멀티 카메라 유닛을 이용한 객체 인식 시스템 KR101921709B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160182666A KR101921709B1 (ko) 2016-12-29 2016-12-29 멀티 카메라 유닛을 이용한 객체 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160182666A KR101921709B1 (ko) 2016-12-29 2016-12-29 멀티 카메라 유닛을 이용한 객체 인식 시스템

Publications (2)

Publication Number Publication Date
KR20180077866A KR20180077866A (ko) 2018-07-09
KR101921709B1 true KR101921709B1 (ko) 2018-11-26

Family

ID=62919541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160182666A KR101921709B1 (ko) 2016-12-29 2016-12-29 멀티 카메라 유닛을 이용한 객체 인식 시스템

Country Status (1)

Country Link
KR (1) KR101921709B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220088227A (ko) 2020-12-18 2022-06-27 인천대학교 산학협력단 멀티채널 비디오 스트림의 실시간 객체 인식 장치
KR102437755B1 (ko) 2021-02-25 2022-08-29 인천대학교 산학협력단 실시간 객체 인식을 위한 적응형 프레임 관리 시스템 및 이를 이용한 적응형 프레임 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339386B1 (ko) * 2012-06-19 2013-12-09 에이알비전 (주) 훈련자의 자세추적을 통한 몸동작 인식시스템
KR101380628B1 (ko) * 2013-10-18 2014-04-02 브이씨에이 테크놀러지 엘티디 복수의 카메라를 사용한 객체 추적 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100485696B1 (ko) * 2003-02-07 2005-04-28 삼성광주전자 주식회사 로봇청소기의 위치인식표지 검출방법 및 이 검출방법을적용한 로봇청소기
JP4876056B2 (ja) * 2007-11-16 2012-02-15 キヤノン株式会社 画像処理装置、画像処理方法
KR101175611B1 (ko) * 2011-03-16 2012-08-21 재단법인대구경북과학기술원 마커를 이용한 물체 위치 추적 시스템 및 그 방법
JP2015060299A (ja) * 2013-09-17 2015-03-30 株式会社日立製作所 マルチカメラ撮影画像合成装置およびマルチカメラ撮影画像の合成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339386B1 (ko) * 2012-06-19 2013-12-09 에이알비전 (주) 훈련자의 자세추적을 통한 몸동작 인식시스템
KR101380628B1 (ko) * 2013-10-18 2014-04-02 브이씨에이 테크놀러지 엘티디 복수의 카메라를 사용한 객체 추적 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220088227A (ko) 2020-12-18 2022-06-27 인천대학교 산학협력단 멀티채널 비디오 스트림의 실시간 객체 인식 장치
KR102437755B1 (ko) 2021-02-25 2022-08-29 인천대학교 산학협력단 실시간 객체 인식을 위한 적응형 프레임 관리 시스템 및 이를 이용한 적응형 프레임 제어 방법

Also Published As

Publication number Publication date
KR20180077866A (ko) 2018-07-09

Similar Documents

Publication Publication Date Title
US10782399B2 (en) Object detecting method and apparatus using light detection and ranging (LIDAR) sensor and radar sensor
US9605960B2 (en) System and method for photographing moving subject by means of camera, and acquiring actual movement trajectory of subject based on photographed image
CN106092086B (zh) 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
CN104427252B (zh) 用于合成图像的方法及其电子设备
US10456651B2 (en) Golf simulator, and golf simulation method
CN108022264B (zh) 相机位姿确定方法及设备
JP7051315B2 (ja) ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
KR101808095B1 (ko) 사용자 단말의 위치 측정 방법 및 장치
US11150318B2 (en) System and method of camera-less optical motion capture
EP3262439A1 (en) Using intensity variations in a light pattern for depth mapping of objects in a volume
KR102436730B1 (ko) 가상 스크린의 파라미터 추정 방법 및 장치
US20180035100A1 (en) Method and apparatus for extending binocular camera positioning range
WO2007037227A1 (ja) 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム
JP7076955B2 (ja) ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
KR101921709B1 (ko) 멀티 카메라 유닛을 이용한 객체 인식 시스템
WO2019152084A1 (en) System and method for calibrating light intensity
US11758100B2 (en) Portable projection mapping device and projection mapping system
US20230224576A1 (en) System for generating a three-dimensional scene of a physical environment
KR20180096100A (ko) 레이저 거리 측정기를 이용한 카메라 정렬 장치 및 방법
Pennisi et al. Ground truth acquisition of humanoid soccer robot behaviour
US10885663B2 (en) Method for setting a viewing direction in a representation of a virtual environment
US11620846B2 (en) Data processing method for multi-sensor fusion, positioning apparatus and virtual reality device
Azmi et al. ArUcoRSV: robot localisation using artificial marker
JP7054869B2 (ja) 内装材検査システム、及び、内装材検査方法
Meger et al. The UBC visual robot survey: A benchmark for robot category recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant