KR101718081B1 - 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치 - Google Patents

손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치 Download PDF

Info

Publication number
KR101718081B1
KR101718081B1 KR1020150107572A KR20150107572A KR101718081B1 KR 101718081 B1 KR101718081 B1 KR 101718081B1 KR 1020150107572 A KR1020150107572 A KR 1020150107572A KR 20150107572 A KR20150107572 A KR 20150107572A KR 101718081 B1 KR101718081 B1 KR 101718081B1
Authority
KR
South Korea
Prior art keywords
image
eptz
hand
wide angle
circular
Prior art date
Application number
KR1020150107572A
Other languages
English (en)
Other versions
KR20170011927A (ko
Inventor
정정필
임영호
민태훈
박종배
권혁섭
Original Assignee
주식회사 케이티앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티앤씨 filed Critical 주식회사 케이티앤씨
Publication of KR20170011927A publication Critical patent/KR20170011927A/ko
Application granted granted Critical
Publication of KR101718081B1 publication Critical patent/KR101718081B1/ko

Links

Images

Classifications

    • G06K9/00375—
    • G06K9/00389—
    • H04N5/23203—

Landscapes

  • Studio Devices (AREA)

Abstract

본 발명은 초광각 카메라 모듈, 상기 초광각 카메라 모듈의 촬상 동작과 상기 카메라 시스템의 전체 신호 처리 동작을 제어, 운용하는 메인 제어부, 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환하는 영상 프로세스 유닛 및, 상기 영상 프로세스 유닛에 의해 변환된 파노라마 평면영상에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 손 제스처 인식부를 포함하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템에 관한 것으로, 손의 모양을 인식함으로써 마우스나 리모컨과 같은 장치를 사용하지 않고, 컴퓨팅 기기와 사용자 간의 인터페이스를 구성할 수 있어 편의성과 다양한 응용이 가능하다.

Description

손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치{Super Wide Angle Camera System for recognizing hand gesture and Transport Video Interface Apparatus used in it}
본 발명은 기술혁신 개발사업에서 주식회사 케이티앤씨를 주관기관으로, 개발 기간 : 2013-06-01 ~ 2015-05-31(24개월) 동안 개발된 스마트 NUX 기반의 고해상도 광각보정 카메라 모듈과 영상통화 플랫폼 기술 개발 과제(과제번호 S2091405)와 관련된 발명이다. 구체적으로, 본 발명은 모니터링 영상을 제공하는 카메라 시스템에 관한 것이다.
손 제스처는 인간의 대화 수단인 음성의 보조 역할로 사용되어 원활한 의사 소통을 가능하게 한다. 특히, 손 동작은 제스처 중에서도 가장 많이 사용되는 동작이며, 수신호 및 수화 등은 독립적인 대화 수단으로 사용되고 있다.
이러한 손 제스처는 마우스나 키보드 같은 난해한 입력 인터페이스를 대신할 수 있는 사용자 인터페이스로써의 활용에 대한 노력이 진행되고 있다. 손 제스처에 의한 명령 입력은 다른 인터페이스에 더 편리한 응용 분야가 있으며 이러한 응용들을 위해 손 제스처 인식 기술 개발이 다양하게 진행되고 있다.
마우스나 키보드보다 손 제스처에 의해 컴퓨터 프로그램을 구동시키거나 휴대폰에서 손을 직접대지 않고 손 제스처를 통해 명령을 전달하기도 한다. 특히, 컴퓨터에 무선으로 연결된 기기나 로봇에 직관적인 행동으로 의도하는 명령을 전달하는 것은 편리할 경우가 많다.
이러한 편리와 수요에 맞추어 손 제스처 인식에 사용할 효율적인 손 영상 입력 장치의 필요성이 증대되고 있다.
손 영상 입력 장치는 초광각 카메라를 이용하여 얻어진 기준 영상 및 비교 영상 신호의 시차를 검출하고 이를 기반으로 손의 거리를 파악하고 손의 변화 및 이동을 인식한다. 일반적으로 바로 시차의 거리 정보를 이용하여 손 영역이 파악되고 있으나, 손 영상의 초기 위치를 파악하는데 어려움이 발생한다.(한국 공개특허 공보 제10-2010-0112840호)
한편, 최근 경제 성장과 함께 보안에 대한 관심이 꾸준히 증가하고 있으며, 방범 시스템의 중요성이 강조되고 있다. 방범 시스템과 같이 넓은 공간을 촬영해야 하는 시스템에서는 시야가 넓은 카메라가 필수적으로 요구된다.
그러나, 일반적인 카메라는 획득할 수 있는 영상의 시야가 제한적이기 대문에 필요에 따라 여러 대의 카메라를 설치하여 넓은 공간을 촬영하거나, 또는 하나의 카메라를 움직여 획득한 각각의 영상을 합성하여 넓은 공간을 촬영해야만 한다. 하지만 이러한 방법은 여러 대의 카메라로 인한 가격적 문제와 카메라 움직임에 의한 여러 열화 현상을 발생시킨다.
이러한 문제를 해결하면서 넓은 공간을 촬영하기 위해 넓은 시야를 갖는 렌즈를 대안으로 사용할 수 있으며, 특히 어안렌즈(fish-eye lens)의 경우 다른 렌즈들 보다 더 넓은 시야각을 가지므로 넓은 공간을 촬영하는데 아주 유용하게 사용할 수 있다.
어안렌즈는 360도가 넘는 시야각으로 인해 한 화면에 많은 정보를 담을 수 있다. 따라서 감시 카메라나 기상카메라와 같이 한 화면을 통해 많은 정보를 획득하고자 하는 응용분야에서 사용하기 적합하다. 실제로 기상 관측 분야에서는 넓은 하늘의 구름 분포를 관측하기 위하여 어안렌즈를 사용한다.
하지만 렌즈의 특성상, 획득하는 영상은 초광각 카메라 시스템의 왜곡 영상 보정의 ePTZ 구현 영상과 같이 극심한 기하 왜곡 현상이 발생하게 되어, 영상을 통한 정확한 정보를 획득하기 어렵다.
따라서, 정확한 정보 획득이 필수적인 감시 카메라 업체들은 하나의 렌즈 사용으로 인한 장점과 어안렌즈의 넓은 시야각, 정확한 정보의 획득과 같이 어안렌즈를 사용했을 시 발생하는 여러 장점들을 위해 기존에 널리 알려진 렌즈 보정 알고리즘을 통해 영상의 왜곡을 보정하여 사용하고 있다.(일본 공개특허 제2009-140066호)
본 발명은 상기한 문제점을 해결하기 위해 개발된 것으로, 손의 모양을 인식함으로써 마우스나 리모컨과 같은 장치를 사용하지 않고, 컴퓨팅 기기와 사용자 간의 인터페이스를 구성할 수 있어 편의성과 다양한 응용이 가능할 수 있도록 하는 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 그 목적이 있다.
다른 목적은, 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공할 수 있도록 하는 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 있다.
또 다른 목적은, 리모트 콘트롤러 유닛과 연동하여, ePTZ수행과 관련해서 사용자 편의성을 높일 수 있도록 하는 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 있다.
이러한 목적을 달성하기 위한 본 발명에 따른 손 제스처 인식용 초광각 카메라 시스템은,
초광각 카메라 모듈, 상기 초광각 카메라 모듈의 촬상 동작과 상기 카메라 시스템의 전체 신호 처리 동작을 제어, 운용하는 메인 제어부, 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환하는 영상 프로세스 유닛 및, 상기 영상 프로세스 유닛에 의해 변환된 파노라마 평면영상에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 손 제스처 인식부를 포함하는 것을 특징으로 한다.
바람직하게, 상기 손 제스처 인식부는 영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생하고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생하며, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트를 발생하여 제공하는 것을 특징으로 한다.
그리고, 상기 영상 프로세스 유닛은 상기 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점으로 시점 보정하고 독립적으로 가상의 ePTZ(Panning, Tilting, Zooming)를 수행하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ를 수행하고, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공하는 것을 특징으로 한다.
바람직하게, 상기 영상 프로세스 유닛은 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하는 것을 특징으로 한다.
그리고, 상기 각 PTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한 리모트 콘트롤러 유닛(RCU)을 포함하고, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행하는 것을 특징으로 한다.
바람직하게, 상기 영상 프로세스 유닛은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 또 다른 본 발명에 따른 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치는,
초광각 원형 전방위 영상을 촬상하는 영상 촬상부, 상기 영상 촬상부의 촬상 동작을 제어하는 카메라 프로세서, 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 왜곡 보정부, 오디오 신호를 입력받아 처리하는 오디오 처리부, 상기 왜곡 보정부에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부, 상기 화면 재생정보를 표시 장치로 제공하는 제1 인터페이스, 상기 화면 재생정보 내에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 손 제스처 인식부 및, 상기 손 제스처 인식부에서 제공된 제어 이벤트를 상기 표시 장치로 제공하는 제2 인터페이스를 포함하는 것을 특징으로 한다.
바람직하게, 상기 손 제스처 인식부는 영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생하고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생하며, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트를 발생하여 제공하는 것을 특징으로 한다.
그리고, 상기 왜곡 보정부는 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공하는 것을 특징으로 한다.
바람직하게, 상기 왜곡 보정부는 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하는 것을 특징으로 한다.
그리고, 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한 리모트 콘트롤러 유닛(RCU)을 포함하고, 상기 왜곡 보정부는 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행하는 것을 특징으로 한다.
바람직하게, 상기 왜곡 보정부는 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행하는 것을 특징으로 한다.
본 발명은 손의 모양을 인식함으로써 마우스나 리모컨과 같은 장치를 사용하지 않고, 컴퓨팅 기기와 사용자 간의 인터페이스를 구성할 수 있어 편의성과 다양한 응용이 가능하다.
그리고, 본 발명은 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
즉, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없으나, 본 발명은 그 다른 사용자가 희망하는 영역의 모니터링을 한다.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있었고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있었으나, 본 발명은 사용자 관심영역의 주시 위치를 기준으로 보정하여 ePTZ를 수행함으로써, 넓은 영역을 전방위적으로 모니터링한다.
그리고, HD-TVI (High Definition Transport Video Interface) 이용하여 DVR에 저장하며, 비디오 영상은 Full HD(1280x720p, 1920x1080p)의 영상을 저장 및 가상적 PTZ을 수행하여 상시 녹화를 수행한다. 기존의 아날로그 케이블을 사용하여 300m(1000ft) 이상의 거리에서도 깨끗한 영상을 본다.
도 1은 본 발명에 따른 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치와 관련된 시스템의 구성을 도시한 도면
도 2는 본 발명에 따른 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI 장치의 구성을 도시한 도면
도 3은 본 발명에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 동작을 순서대로 도시한 도면
도 4는 본 발명에 따른 파노라마 평면영상으로 변환하는 동작을 도시한 도면
도 5는 본 발명에 따른 손 모양 변화에 상응하여 제어 이벤트를 발생하는 동작을 도시한 도면
도 1은 본 발명에 따른 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치와 관련된 시스템의 구성을 도시한 도면이다. 그리고, 도 2는 본 발명에 따른 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치(100)의 구성을 도시한 도면이다.
도 1과 도 2에 도시된 바와 같이, 본 발명에 따른 시스템은 초광각 원형 전방위 영상을 촬상하는 영상 촬상부, 상기 영상 촬상부의 촬상 동작을 제어하는 카메라 프로세서, 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 왜곡 보정부, 오디오 신호를 입력받아 처리하는 오디오 처리부, 상기 왜곡 보정부에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부, 상기 화면 재생정보를 표시 장치로 제공하는 제1 인터페이스(107), 상기 화면 재생정보 내에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 손 제스처 인식부(106) 및, 상기 손 제스처 인식부(106)에서 제공된 제어 이벤트를 상기 표시 장치로 제공하는 제2 인터페이스(108)를 포함한다.
영상 촬영부(101)는 초광각 카메라 모듈이 구비된 것으로, 특정 영역의 전방위 영상을 촬영하여, 그 영역의 원형 360도 전방위 영상을 카메라 시스템으로 입력하는 것이다. 본 발명은 액추에이터와 같은 별도의 장치 없이, 초광각 카메라를 이용하여 촬영된 영상을 다수의 사용자가 희망하는 영역의 영상 지정하고, 시점을 보정하는 것에 의해, 가상적 ePTZ(Panning, Tilting, Zooming)를 수행할 수 있다.
카메라 프로세서(102)는 상기 초광각 카메라의 촬상 동작과 관련된 각종 제어 동작(예: 초광각 카메라의 촬상 개시 동작 등)을 수행하고, 그 촬상된 원형 360도 전방위 영상을 신호 처리하여 왜곡 보정부(103)로 전달한다.
왜곡 보정부(103)는 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛으로 된 것이다. 상기 영상 프로세스 유닛은 상기 초광각 카메라 모듈의 원형 전방위 영상(360도 영상)을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점(즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, 이 경우 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다(참고로, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다. 그리고, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있다. 또한, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.). 그리고, 상기 영상 프로세스 유닛은 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다. 또한, 상기 영상 프로세스 유닛은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역(예를 들어, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있고, 이 경우 그 다수의 담당자별로 희망하는 관심영역이 됨)의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. 즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다. 한편, 본 발명은 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.
리모트 콘트롤러 유닛(RCU)은 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한다. 그리고, 사용자 키 누름시 해당 ePTZ 명령을 식별시켜주는 RCU 기반의 코드 값 즉, 본 식별 RCU 코드 값을 카메라 시스템으로 전송한다.
오디오 처리부(105)는 TVI 장치(100)의 오디오 처리부(105)로, 입력된 음성 신호를 기지정된 프로토콜에 상응하여 오디오 신호 처리하여 비디오 처리부(104)로 전달한다.
비디오 처리부(104)는 왜곡 보정부(103)에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부(104) 및, 상기 화면 재생정보를 표시 장치로 제공하는 것이다(이는 종래 기술에 속하는 것으로, 그에 대한 상세한 설명을 생략한다).
손 제스처 인식부(106)는 비디오 처리부가 생성한 화면 재생정보 내에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 것이다. 상기 손 제스처 인식부(106)는 영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생하고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생하며, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트를 발생하여 제공한다.
인터페이스(107)는 비디오 처리부(104)로부터 제공된 화면 재생정보를 표시 장치(예: HD 모니터)와 인터페이스하여, 그 표시 장치로 출력한다. 예를 들어, 시리얼 디지털 인터페이스(SDI-TX)나, 트랜스포트 비디오 인터페이스(SDI-TX) 중 어느 하나를 사용한다.
리모트 콘트롤러 유닛(RCU)은 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한다. 그리고, 사용자 키 누름시 해당 ePTZ 명령을 식별시켜주는 RCU 기반의 코드 값 즉, 본 식별 RCU 코드 값을 카메라 시스템으로 전송한다.
한편, 한편, 본 발명은 손 제스처 인식용 초광각 카메라 시스템을 독립적으로 구현, 운용할 수 있다. 이를 경우 해당 카메라 시스템은 다음과 같이 구성된다.
즉, 본 카메라 시스템은 초광각 카메라 모듈, 상기 초광각 카메라 모듈의 촬상 동작과 상기 카메라 시스템의 전체 신호 처리 동작을 제어, 운용하는 메인 제어부, 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환하는 영상 프로세스 유닛 및, 상기 영상 프로세스 유닛에 의해 변환된 파노라마 평면영상에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 손 제스처 인식부(106)를 포함한다.
초광각 카메라 모듈은 특정 영역의 전방위 영상을 촬영하여, 그 영역의 원형 360도 전방위 영상을 카메라 시스템으로 입력하는 것이다. 본 발명은 액추에이터와 같은 별도의 장치 없이, 초광각 카메라를 이용하여 촬영된 영상을 다수의 사용자가 희망하는 영역의 영상 지정하고, 시점을 보정하는 것에 의해, 가상적 ePTZ(Panning, Tilting, Zooming)를 수행할 수 있다.
메인 제어부는 카메라 시스템의 메인 제어부이다. 즉, 상기 초광각 카메라 모듈의 촬상 동작을 제어하고, 카메라 시스템과 관련된 전체 신호 처리를 관리 운용하는 카메라 시스템의 메인 제어부이다(이는 종래 기술에 속하는 것으로, 그에 대한 상세한 설명은 생략한다.).
손 제스처 인식부는 영상 프로세스 유닛에 의해 변환된 파노라마 평면영상에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 것이다. 상기 손 제스처 인식부는 영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생하고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생하며, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트를 발생하여 제공한다.
영상 프로세스 유닛(또는, 엔진)은 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛으로 된 것이다. 상기 영상 프로세스 유닛은 상기 초광각 카메라 모듈의 원형 전방위 영상(360도 영상)을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점(즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, 이 경우 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다(참고로, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다. 그리고, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있다. 또한, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.). 그리고, 상기 영상 프로세스 유닛은 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다. 또한, 상기 영상 프로세스 유닛은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역(예를 들어, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있고, 이 경우 그 다수의 담당자별로 희망하는 관심영역이 됨)의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. 즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다. 한편, 본 발명은 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.
리모트 콘트롤러 유닛(RCU)은 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한다. 그리고, 사용자 키 누름시 해당 ePTZ 명령을 식별시켜주는 RCU 기반의 코드 값 즉, 본 식별 RCU 코드 값을 카메라 시스템으로 전송한다.
도 3은 본 발명에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 동작을 순서대로 도시한 도면이다.
도 3에 도시된 바와 같이, 먼저 본 발명에 따른 카메라 시스템은 초광각 카메라 모듈의 원형 전방위 영상을 입력받아(S301) 광각 보정하여 파노라마 평면영상으로 변환한다(S302).
다음, 그 변환된 파노라마 평면영상에서 인체의 손을 인식하여(S303) 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공한다(S304).
예를 들어, 다음과 같은 동작으로 이루어진다.
먼저, 초광각 카메라에 입력된 손 영역이 포함된 영상으로부터 초기 손 영역을 파악하고, 상기 검출된 초기 손 영역에 대해 스테레오 카메라의 시차를 이용하여 손 영역을 확인하며, 상기 확정된 손 영역에 대해 손 모양을 검출하는 손 모양을 검출하고, 상기 검출된 손 모양의 변화에 따른 손의 동작을 인식하여 제어 이벤트를 발생한다.
예를 들어, 상기 초기 손 영역 검출은 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악한다. 그리고, 손 영역 검출은 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 손 영역과 배경으로 분리한다.
그리고, 상기 손 영역 확정은 상기 초기 영상의 시차 정보를 이용하여 손 및 배경의 거리를 각각 계산하여 가장 근접한 지점을 확인하고, 상기 가장 근접한 지점의 영역을 손 영역으로 확정한다.
다음, 인식된 인체 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공한다.
예를 들어, 영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생한다.
그리고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생한다.
또한, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트를 발생하여 제공한다.
그렇게 하여, 손의 모양을 인식함으로써 마우스나 리모컨과 같은 장치를 사용하지 않고, 컴퓨팅 기기와 사용자 간의 인터페이스를 구성할 수 있어 편의성과 다양한 응용이 가능하다.
한편, 본 발명은 초광각 카메라 모듈의 원형 전방위 영상을 입력받아(S301) 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고(S304), 상기 관심영역에 상응하는 원형 전방위 영상을 분리한다(이 경우, 디폴트 관심영역이 설정된 경우, 그 기설정된 디폴트 관심영역 정보에 따라 설정 개수만큼 원형 전방위 영상을 분할하여 분리한다.)(S302, S305).
다음, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주 시 시점으로 시점 보정하고 가상의 ePTZ를 수행하며(S303), 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, (이 경우, 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
예를 들어, 상기 분리된 관심영역의 원형 전방위 영상을 리모트 콘트롤러 유닛으로부터 팬(P : Panning) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환한다. 그리고, 리모트 콘트롤러 유닛으로부터 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환한다. 또한, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
그래서, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없으나, 본 발명은 그 다른 사용자가 희망하는 영역의 모니터링을 한다.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있었고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있었으나, 본 발명은 사용자 관심영역의 주시 위치를 기준으로 보정하여 ePTZ를 수행함으로써, 넓은 영역을 전방위적으로 모니터링한다.
한편, 본 발명은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다.
구체적으로, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있는데, 본 발명은 이 경우, 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 그 다수의 담당자별로 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다.
즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다.
또한, 본 발명은 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.
도 4는 본 발명에 따른 파노라마 평면영상으로 변환하는 동작을 도시한 도면이다.
도 4에 도시된 바와 같이, 본 발명은 초광각 카메라 모듈의 오리지널 원형 영상 즉, 특정 영역의 360도 전방위를 촬영한 오리지널 원형 영상을 광각 보정하여 파노라마 평면영상(예: 360도 파노라마 평면영상이나 또는, 180도 파노라마 평면영상)으로 변환해서 모니터링 영상으로 제공한다.
본 발명의 보정 방법은, 회전변환 방식 및 원근 보정 방식을 예로 들 수 있다. 원근 보정 방식은 원근감에 의해 영상이 한 점이나 한 위치를 기준으로 멀수록 줄어드는 부분을 보완 영상의 Y축을 기준으로 원근 보정을 진행하면 PTZ의 틸팅 효과를 줄 수 있다. 원근 보정 방식 중, 소실점(Vanishing Point) 방식은 소실점 영상의 원근감에 의해 멀어질수록 사물이 축소되며, 무한대의 거리를 가정하는 방식이다.
도 5는 본 발명에 따른 손 모양 변화에 상응하여 제어 이벤트를 발생하는 동작을 도시한 도면이다.
도 5에 도시된 바와 같이, 본 발명은 사용자의 입력에 따른 이벤트가 구현되기 위하여, 각 이벤트별 가장 자연스럽고 직관적인 사용자 제스처를 정의한다.
예를 들어, 캠-시프트(Cam-shift)를 통해 중심점을 추적하여 일정량의 프레임을 축적하고, 그 영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생한다.
그리고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생한다.
또한, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트(예를 들어, ● distance > 임계값 : 오른쪽으로 이동 이벤트 실행, ● distance < (-1)*임계값 : 왼쪽으로 이동 이벤트 실행)를 발생하여 제공한다.
* 도면의 주요 부분에 대한 부호의 설명 *
* 도면의 주요 부분에 대한 부호의 설명 *
101 : 영상 촬영부 102 : 카메라 프로세서
103 : 왜곡 보정부 104 : 비디오 처리부
105 : 오디오 처리부 106 : 손 제스처 인식부
107 : 인터페이스 108 : 제2 인터페이스

Claims (12)

  1. 초광각 카메라 모듈;
    상기 초광각 카메라 모듈의 촬상 동작과 상기 카메라 시스템의 전체 신호 처리 동작을 제어, 운용하는 메인 제어부;
    상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환하는 영상 프로세스 유닛; 및
    상기 영상 프로세스 유닛에 의해 변환된 파노라마 평면영상에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 손 제스처 인식부;
    를 포함하고,

    상기 영상 프로세스 유닛은,
    상기 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점으로 시점 보정하고 독립적으로 가상의 ePTZ(Panning, Tilting, Zooming)를 수행하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ를 수행하고, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템.
  2. 제 1 항에 있어서,
    상기 손 제스처 인식부는,
    영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생하고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생하며, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트를 발생하여 제공하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 영상 프로세스 유닛은,
    상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템.
  5. 제 1 항에 있어서,
    상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한 리모트 콘트롤러 유닛(RCU);
    을 포함하고,

    상기 영상 프로세스 유닛은,
    상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템.
  6. 제 1 항 또는 제 4 항에 있어서,
    상기 영상 프로세스 유닛은,
    미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템.
  7. 초광각 원형 전방위 영상을 촬상하는 영상 촬상부;
    상기 영상 촬상부의 촬상 동작을 제어하는 카메라 프로세서;
    상기 영상 촬상부의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 왜곡 보정부;
    오디오 신호를 입력받아 처리하는 오디오 처리부;
    상기 왜곡 보정부에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부;
    상기 화면 재생정보를 표시 장치로 제공하는 제1 인터페이스;
    상기 화면 재생정보 내에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 손 제스처 인식부; 및
    상기 손 제스처 인식부에서 제공된 제어 이벤트를 상기 표시 장치로 제공하는 제2 인터페이스;
    를 포함하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치.
  8. 제 7 항에 있어서,
    상기 손 제스처 인식부는,
    영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생하고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생하며, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동(Prev), 오른쪽 이동(Next) 이벤트를 발생하여 제공하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치.
  9. 제 7 항에 있어서,
    상기 왜곡 보정부는 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치.
  10. 제 9 항에 있어서,
    상기 왜곡 보정부는,
    상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치.
  11. 제 9 항에 있어서,
    상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한 리모트 콘트롤러 유닛(RCU);
    을 포함하고,

    상기 왜곡 보정부는,
    상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치.
  12. 제 9 항 또는, 제 10 항에 있어서,
    상기 왜곡 보정부는,
    미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행하는 것을 특징으로 하는 손 제스처 인식용 초광각 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치.
KR1020150107572A 2015-07-22 2015-07-29 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치 KR101718081B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150103742 2015-07-22
KR1020150103742 2015-07-22

Publications (2)

Publication Number Publication Date
KR20170011927A KR20170011927A (ko) 2017-02-02
KR101718081B1 true KR101718081B1 (ko) 2017-03-20

Family

ID=58154041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150107572A KR101718081B1 (ko) 2015-07-22 2015-07-29 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치

Country Status (1)

Country Link
KR (1) KR101718081B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203574A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334858A (zh) * 2018-02-27 2018-07-27 上海摩象网络科技有限公司 一种利用动作控制智能设备拍摄的方法及系统
CN110211365A (zh) * 2019-06-14 2019-09-06 无锡迪富智能电子股份有限公司 基于手势识别的遥控器控制系统及控制方法
CN113467612A (zh) * 2021-06-17 2021-10-01 深圳市瑞立视多媒体科技有限公司 一种应用于基于ue4全息沙盘的交互方法及装置
KR20240037067A (ko) 2022-09-14 2024-03-21 엘디시스템 주식회사 일반 카메라를 이용한 인공지능 기반 제스처 인식 장치와 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360322B1 (ko) * 2011-12-30 2014-02-25 영남대학교 산학협력단 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법
KR20150047123A (ko) * 2015-03-10 2015-05-04 서울과학기술대학교 산학협력단 차량용 초광각 파노라마 영상 촬영 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203574A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치

Also Published As

Publication number Publication date
KR20170011927A (ko) 2017-02-02

Similar Documents

Publication Publication Date Title
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
KR101718081B1 (ko) 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치
JP5569329B2 (ja) 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
JP5233926B2 (ja) 魚眼監視システム
US20220122279A1 (en) Imaging method and imaging control apparatus
CN106357991A (zh) 图像处理方法、图像处理装置及显示系统
CN108965656B (zh) 显示控制设备、显示控制方法和存储介质
CN106780550B (zh) 一种目标跟踪方法及电子设备
WO2007055335A1 (ja) 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
US20120236180A1 (en) Image adjustment method and electronics system using the same
JP2009130878A (ja) 撮像装置および方法、情報処理装置および方法、並びにプログラム
KR20130115094A (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
JP2011152593A (ja) ロボット操作装置
KR101977635B1 (ko) 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
US8692879B2 (en) Image capturing system, image capturing device, information processing device, and image capturing method
US9172860B2 (en) Computational camera and method for setting multiple focus planes in a captured image
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
KR101856547B1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
JP2000341574A (ja) カメラ装置及びカメラ制御システム
CN103780829A (zh) 多摄影机的整合处理系统及其方法
US20190166309A1 (en) Panoramic camera and image processing method
KR101237975B1 (ko) 영상 처리 장치
US11838634B2 (en) Method of generating a digital video image using a wide-angle field of view lens
JP2006033188A (ja) 監視装置および監視方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right