KR101464882B1 - 로보카를 이용한 실시간 영상 전송 방법 및 시스템 - Google Patents

로보카를 이용한 실시간 영상 전송 방법 및 시스템 Download PDF

Info

Publication number
KR101464882B1
KR101464882B1 KR20130067752A KR20130067752A KR101464882B1 KR 101464882 B1 KR101464882 B1 KR 101464882B1 KR 20130067752 A KR20130067752 A KR 20130067752A KR 20130067752 A KR20130067752 A KR 20130067752A KR 101464882 B1 KR101464882 B1 KR 101464882B1
Authority
KR
South Korea
Prior art keywords
image
face
color information
target person
robot
Prior art date
Application number
KR20130067752A
Other languages
English (en)
Inventor
유효라
강태경
이승희
이재영
이은영
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR20130067752A priority Critical patent/KR101464882B1/ko
Application granted granted Critical
Publication of KR101464882B1 publication Critical patent/KR101464882B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

개시된 기술은 로보카를 이용한 실시간 영상 전송 방법 및 시스템에 관한 것으로, 로보카(Robo-Car)에 탑재된 카메라를 이용하여 대상 인물의 영상을 촬영하고, 상기 영상에서 얼굴을 인식하는 단계; 상기 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정하고, 상기 x, y 좌표에 해당하는 색상 정보를 추출하여 상기 색상 정보를 토대로 상기 얼굴이 상기 대상 인물의 얼굴인지 비교하는 단계; 상기 대상 인물의 동선을 인지하고, 상기 동선을 토대로 상기 로보카의 몸체를 제어하여 상기 대상 인물을 추적하는 단계; 및 상기 로보카와 무선으로 연결되는 제어 단말기에 상기 영상을 전송하는 단계;를 포함한다. 따라서 사용자는 카메라가 접근하지 않고 로보카를 제어하여 대상 인물을 원하는대로 촬영하는 효과를 제공한다.

Description

로보카를 이용한 실시간 영상 전송 방법 및 시스템 {METHOD AND SYSTEM TO TRANSMIT REAL-TIME VIDEO USING ROBO-CAR}
개시된 기술은 로보카를 이용하여 촬영한 영상을 실시간으로 전송하는 방법 및 시스템에 관한 것이다.
카메라 촬영 기술이 발전됨에 따라, 최근에는 특정한 인물 내지는 그룹을 대상으로 인식하여 대상만을 포커싱하여 촬영하는 것이 가능해졌다. 따라서, 사람이 지속적으로 대상을 촬영하지 않아도 카메라가 스스로 포커싱하고 촬영을 수행하게 된다. 따라서, 과거에 가족사진이나 단체사진을 찍을 때, 일행 중 어느 한사람이 카메라 셔터를 누르게 되어 사진에서 빠지는 경우를 방지할 수 있게 되었다.
한편, 위와 같은 카메라 기술의 발전에 따라 사람이 카메라에 접근하지 않아도 되는 장점이 생긴 반면, 이와 함께 발생된 불편한 점 또한 존재한다. 통상적으로 대상을 촬영하는 카메라는 어느 한 지점에 고정된 상태로 촬영을 하게 되는데, 이러한 경우 카메라가 쵤영할 수 있는 반경이 제약된다. 일례로, 종래의 cctv는 대부분 건물의 모서리에 고정되어 좌우 내지는 상하 반경으로 움직이며 촬영이 가능하지만, 전방위를 모두 촬영하지는 못한다. 다른 일례로, 움직이는 운동선수나 자동차를 촬영하는 카메라들 또한 고정된 위치에서 대상을 포커싱하여 촬영하는 것은 가능하나, 고정된 반대편에서의 촬영은 물리적으로 불가능하다는 문제점이 있다.
물론, 상기의 문제점을 해결할 수 있는 헬리캠과 같은 장비들 또한 존재한다. 헬리캠은 소형 헬리콥터에 카메라를 장착하고, 헬리콥터 동체를 제어하여 전방위에서 촬영하는 장비이다. 그러나 이러한 장비들은 통상적으로 고가의 가격대를 형성하고 있어서 일반 가정 내지 단체에서 사용하기에는 현실적으로 어렵다.
개시된 기술에서는 이러한 문제점을 해결하고, 나아가 촬영과 동시에 촬영하는 대상을 따라 움직이고, 또한 동시에 촬영한 영상을 전송할 수 있는 방법 및 시스템에 대하여 개시하고자 한다.
카메라를 이용하여 특정 대상을 촬영하는 방법 및 시스템에 관한 종래기술로는 한국 공개특허 제10-2006-0121503호 (발명의 명칭 : 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법)가 있다.
개시된 기술은 로보카의 카메라를 이용하여 촬영한 영상에서 대상 인물을 인식하고, 동시에 대상인물을 추적하고 영상을 제어 단말기에 전송하는 방법 및 시스템을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 로보카(Robo-Car)에 탑재된 카메라를 이용하여 대상 인물의 영상을 촬영하고, 상기 영상에서 얼굴을 인식하는 단계, 상기 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정하고, 상기 x, y 좌표에 해당하는 색상 정보를 추출하여 상기 색상 정보를 토대로 상기 얼굴이 상기 대상 인물의 얼굴인지 비교하는 단계, 상기 대상 인물의 동선을 인지하고, 상기 동선을 토대로 상기 로보카의 몸체를 제어하여 상기 대상 인물을 추적하는 단계 및 상기 로보카와 무선으로 연결되는 제어 단말기에 상기 영상을 전송하는 단계를 포함하는 로보카를 이용한 실시간 영상 전송 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은, 대상 인물의 영상을 촬영하고, 상기 영상에서 얼굴을 인식하는 카메라, 상기 카메라에서 상기 영상을 전달받아 상기 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정하고, 상기 x, y 좌표에 해당하는 색상 정보를 추출하여 상기 색상 정보를 토대로 상기 얼굴이 상기 대상 인물의 얼굴인지 비교하는 영상 처리부 및 상기 영상 처리부에서 전달받은 상기 x, y 좌표를 토대로 상기 대상 인물의 동선을 인지하고, 상기 동선에 따라 상기 대상 인물을 추적하는 동작 제어부를 포함하는 로보카(Robo-Car) 및 상기 로보카와 무선으로 연결되어 상기 로보카로부터 상기 영상을 수신하는 제어 단말기를 포함하는 로보카를 이용한 실시간 영상 전송 시스템을 제공하는데 있다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면 로보카를 이용한 실시간 영상 전송 방법은 카메라에 직접 접근하지 않고 원격으로 촬영된 영상을 수신하여 대상 인물의 모습을 영상으로 확인하는 효과가 있다.
또한, 움직임이 가능한 로봇을 제어하여 대상을 따라다니면서 사용자가 원하는 대상의 모습을 촬영하고 이를 확인할 수 있는 장점이 있다.
도 1은 종래의 얼굴 인식이 가능한 카메라들에 대한 도면이다.
도 2은 개시된 기술의 일 실시예에 따른 로보카를 이용한 실시간 영상 전송 방법에 대한 순서도이다.
도 3는 개시된 기술의 일 실시예에 따른 로보카를 이용한 실시간 영상 전송 시스템에 대한 블록도이다.
도 4은 개시된 기술의 일 실시예에서 이용하는 서브 윈도우에 대한 도면이다.
도 5는 개시된 기술의 일 실시예를 실제로 적용한 사례를 나타낸 도면이다.
도 6은 개시된 기술의 일 실시예에서 제어 단말기 및 로보카 간에 무선 연결을 나타내는 도면이다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제 1", "제 2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는" 과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
개시된 기술에 대한 설명에 앞서 본 발명은 2012년 11월 22일에 공학교육 페스티벌 E2festa 박람회에 출품되어 공개되었음을 밝힌다.
도 1은 종래의 얼굴 인식이 가능한 카메라들에 대한 도면이다. 도 1을 참조하면 종래의 CCTV 또는 디지털 카메라가 갖는 문제점들을 확인할 수 있다. 최근에 출시되는 카메라에는 통상적으로 사람의 얼굴을 인식하는 기술들이 적용된 경우가 많다. 특히, 사람들 사이에 널리 보급되어 있는 디지털 카메라의 경우 얼굴을 인식하는 것 뿐만 아니라 자동으로 대상의 얼굴을 보정해주는 기능까지 지원할 수 있을 정도로 높은 기술적 완성도를 제공한다.
그러나 도 1에서 확인할 수 있듯이 종래의 CCTV는 고정된 지역에서 정해진 장소 내지는 영역만을 촬영하는 문제점을 가지고 있다. 물론, CCTV의 종류에 따라 몸체의 상측에 연결 케이블을 배치시키고 주변 360도를 회전하면서 촬영하는 것도 존재하고는 있으나, 다른 종류의 CCTV에 비해서 가격대가 높은 편이고, 연결된 케이블을 주기적으로 관리해야하는 문제점이 파생된다.
한편, 강단에서 강의를 하는 강사의 움직임을 따라가며 촬영하는 카메라 역시 CCTV와 마찬가지로 좌우 또는 상하 정도의 반경을 움직이며 촬영한다는 한계점을 가지고 있다. 마지막으로 디지털 카메라는 사람이 직접 손에 들고 촬영을 하거나 삼각대와 같이 고정시키는 장치를 이용하여 촬영하기 때문에 역시 촬영하고자 하는 대상을 유연하게 따라갈 수 없다는 문제점이 있었다. 따라서, 개시된 기술에서는 이러한 문제점을 해결하기 위해서 이하의 도 2 내지 도 6을 통하여 로보카(Robo-Car)의 몸체에 카메라를 탑재시키고 이를 제어하는 방법 및 시스템에 대하여 개시하고자 한다.
도 2은 개시된 기술의 일 실시예에 따른 로보카를 이용한 실시간 영상 전송 방법에 대한 순서도이다. 도 2를 참조하면 로보카를 이용한 실시간 영상 전송 방법은 로보카(Robo-Car)에 탑재된 카메라를 이용하여 대상 인물의 영상을 촬영하고, 상기 영상에서 얼굴을 인식하는 단계(210), 상기 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정하고, 상기 x, y 좌표에 해당하는 색상 정보를 추출하여 상기 색상 정보를 토대로 상기 얼굴이 상기 대상 인물의 얼굴인지 비교하는 단계(220), 상기 대상 인물의 동선을 인지하고, 상기 동선을 토대로 상기 로보카의 몸체를 제어하여 상기 대상 인물을 추적하는 단계(230) 및 상기 로보카와 무선으로 연결되는 제어 단말기에 상기 영상을 전송하는 단계(240)를 포함한다.
210 단계에서는 로보카가 카메라를 이용하여 촬영한 영상에서 얼굴을 인식한다. 로보카는 개시된 기술에서 대상 인물을 사람이 직접 카메라를 들고 촬영하지 않음과 동시에 대상 인물을 추적하기 용이하도록 제작된 로봇이다. 로보카는 몸체에 카메라를 탑재한 상태에서 이동이 용이하도록 지면과 닿는 부분에 바퀴를 배치하여 제작하는 것이 바람직하다.
한편, 로보카는 촬영한 영상에서 대상 인물의 얼굴을 인식한다. 얼굴을 인식하는 단계에 있어서, 개시된 기술에서는 Haar Cascade Classifier를 이용한다. Haar Cascade Classifier는 OpenCV에서 제공되는 것으로 Haar like feature에 기반한 데이터를 사용하여 얼굴 영역에 따른 명도 차이에 의한 얼굴의 특징량을 나타낸다.
또한, 상기의 과정에 있어서 개시된 기술에서는 adaboost 알고리즘을 이용하여 얼굴 영역의 복수개의 특징량들 중에서 가장 적합한 특징량을 선택하는 것이 가능하다. 그리고 cascade 알고리즘을 수행하여 상기의 얼굴 인식에 따르는 수행시간을 단축시킴과 동시에 얼굴 인식 성공률을 높이는 것이 가능하다.
한편, 210 단계에서는 로보카의 카메라가 촬영하는 매 영상마다 얼굴 인식을 수행하지는 않는다. 얼굴을 인식하는 과정은 다소 시간이 소요되는 과정이므로 실시간으로 처리하기에는 다소 무리가 따른다. 따라서, 영상의 첫 번째 프레임을 이용하여 얼굴 인식을 수행하고, 나머지 프레임들에 대해서는 이하의 220 단계를 통하여 색상 추출을 수행한다.
220 단계에서는 얼굴에서 색상 정보를 추출하여 인식된 얼굴이 대상 인물의 얼굴인지 비교한다. 220 단계에서는 대상 얼굴과의 동일 여부를 판단하기 위해서 앞서 210 단계에서 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정한다. 그리고 상기의 x, y 좌표값에 해당하는 색상 정보를 추출한다. 여기에서 색상 정보는 YCrCb의 색상값을 의미한다.
한편 220 단계에서는, 미리 대상 인물의 얼굴을 촬영하여 저장한 기준 색상 정보와 앞서 추출한 색상 정보를 비교하여 일치 여부를 판단한다. 따라서 220 단계는 기준 색상 정보와 추출한 색상 정보를 비교하여 일치하면 영상에 촬영된 얼굴을 대상 인물의 얼굴로 판단하는 단계 및 기준 색상 정보가 추출한 색상 정보와 불일치하면 카메라가 다시 영상을 촬영하여 앞서 수신한 영상과 다른 영상을 수신하도록 카메라를 제어하는 단계를 더 포함한다.
한편 220 단계에서는 영상에 촬영된 얼굴과 대상 인물의 얼굴을 비교하는데 있어서, 서브 윈도우를 이용한다. 서브 윈도우는 x, y 좌표를 기준으로 소정의 크기로 생성하는 영역을 의미한다. 상기의 서브 윈도우를 이용하여 영상 전체에서 색상 정보와 일치하는 영역의 좌표를 검출하는데 따르는 시간을 단축시키는 것이 가능하다. 즉, 서브 윈도우는 색상 정보와 일치하는 영역을 검출하는 범위를 줄여서 검출 시간을 단축시키고 에러 발생률을 감소시키는 효과를 제공한다. 서브 윈도우에 대해서는 도 4를 통하여 후술한다.
한편 220 단계에서는 서브 윈도우 내에서 기준 색상 정보와 일치하는 색상 정보를 검출하면 해당 영역을 새로운 x, y 좌표로 설정하여 기존의 x, y 좌표를 갱신한다. 이러한 과정들을 촬영한 영상의 프레임마다 적어도 2회를 반복하여 에러를 줄이고 정확도를 개선한다.
230 단계에서는 대상 인물이 움직이는 동선을 인지하고, 상기 동선을 토대로 로보카의 몸체를 제어하여 대상 인물을 추적한다. 대상 인물의 동선은 앞서 갱신된 x, y 좌표 값을 통해 인지한다. 그리고 로보카 내부에 탑재된 프로세서 내지는 처리기에서 상기 인지된 동선에 따라 로보카의 움직임을 제어한다. 여기에서 로보카는 움직이는 경로에 위치할 수 있는 장애물을 회피하기 위해서 PSD 센서를 구비하는 것이 바람직하다. 따라서, 장애물에 영향을 받지 않으면서 대상을 추적하는 것이 가능하다.
240 단계에서는 로보카가 카메라를 이용하여 촬영한 영상을 제어 단말기에 전송한다. 로보카 및 제어 단말기는 서로 무선으로 연결된다. 예컨대, 로보카 및 제어 단말기는 애드혹(ad-hoc) 네트워크로 연결될 수 있다.
한편, 로보카는 고정 IP를 보유하는데, 제어 단말기가 로보카로부터 상기 고정 IP 값을 수신하여 서로 간에 페어링되어 무선 네트워크를 구성한다. 제어 단말기는 상기 무선 네트워크를 통하여 로보카에서 전송하는 영상을 원격지에서 수신한다. 따라서, 사용자가 카메라에 접근하지 않고 촬영된 영상을 원격지에서 수신하는 것이 가능하다.
한편, 여기에서 제어 단말기는 스마트폰을 포함한다. 로보카에서 전송하는 영상을 스마트폰의 디스플레이로 확인할 수 있다. 그리고 스마트폰에서 실행되는 어플리케이션을 이용하여 로보카를 제어할 수 있다. 로보카는 앞서 220 내지 230 단계를 통하여 스스로 대상 인물을 추적하며 영상을 촬영하는 것도 가능하지만, 종래의 RC카와 같이 컨트롤러에서 전송되는 제어 신호에 따라 작동하는 것 또한 얼마든지 가능하다. 예컨대, 스마트폰의 사용자가 촬영을 종료하고, 어플리케이션을 이용하여 로보카를 귀환하도록 조작할 수 있다. 따라서 움직임이 가능한 로봇을 스마트폰으로 제어하여 대상을 따라다니면서 사용자가 원하는 대상의 모습을 촬영하고 이를 확인할 수 있는 장점이 있다. 아울러 상기의 장점으로 인하여 개시된 기술은 이하의 다양한 실시예로 개발하는 것이 가능하다.
첫째로, 병원에서 회진용 로보카로 이용할 수 있다. 병원에서는 환자들의 상태를 살피기 위해서 의사들이 직접 돌아다니면서 환자 상태를 눈으로 확인하고 소정의 진료행위를 하고 있다. 그러나 시간적으로 여유가 없거니 기타 다른 이유로 인해서 회진에 어려움이 있는 상황에서는 로보카가 의사를 대신하여 환자들의 상태를 영상으로 촬영하고, 이를 담당 의사의 터미널로 전송하면 직접 회진하는 것과 동일한 효과를 기대할 수 있다.
둘째로, 가정에서 아이의 상태를 관찰하는 용도로 이용할 수 있다. 영유아의 경우 스스로 몸을 제대로 가눌 수 없어서 몸을 뒤집다가 질식할 수도 있고, 어린이는 넘어지거나 의자나 침대에서 굴러떨어질 수도 있는데 부모가 잠시 자리를 비운 사이에 불미스러운 사고가 발생할 수도 있다. 이러한 경우 로보카가 영유아나 어린이를 대상 인물로 인식하여 따라다니면서 영상을 촬영하고, 이를 부모의 스마트폰으로 전송하면 잠시 자리를 비운 상황에서도 아이의 상태를 확인하는 것이 가능하다. 이와 같이 다양한 용도로 로보카를 이용하여 종래보다 개선된 효과를 얻는 것이 가능하다.
도 3는 개시된 기술의 일 실시예에 따른 로보카를 이용한 실시간 영상 전송 시스템에 대한 블록도이다. 도 3을 참조하면 로보카를 이용한 실시간 영상 전송 시스템은 대상 인물의 영상을 촬영하고, 상기 영상에서 얼굴을 인식하는 카메라(310), 상기 카메라에서 상기 영상을 전달받아 상기 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정하고, 상기 x, y 좌표에 해당하는 색상 정보를 추출하여 상기 색상 정보를 토대로 상기 얼굴이 상기 대상 인물의 얼굴인지 비교하는 영상 처리부(320) 및 상기 영상 처리부에서 전달받은 상기 x, y 좌표를 토대로 상기 대상 인물의 동선을 인지하고, 상기 동선에 따라 상기 대상 인물을 추적하는 동작 제어부(330)를 포함하는 로보카(Robo-Car) 및 상기 로보카와 무선으로 연결되어 상기 로보카로부터 상기 영상을 수신하는 제어 단말기(340)를 포함한다.
카메라(310)는 로보카에 탑재되어 영상을 촬영한다. 그리고 촬영한 영상에서 얼굴을 인식한다. 로보카는 개시된 기술에서 대상 인물을 사람이 직접 카메라를 들고 촬영하지 않음과 동시에 대상 인물을 추적하기 용이하도록 제작된 로봇으로, 몸체에 카메라를 탑재한 상태에서 이동이 용이하도록 지면과 닿는 부분에 바퀴를 배치하여 제작된다. 물론 바퀴 뿐만 아니라 다른 이동수단을 배치하는 것 또한 가능하다. 예컨대, 컨베이어 벨트 형태의 이동수단을 배치할 수도 있고, 보행이 가능하도록 이족보행 로봇으로 로보카를 제작할 수도 있다.
한편, 로보카에 탑재된 카메라(310)는 촬영한 영상에서 대상 인물의 얼굴을 인식한다. 얼굴을 인식하는데 있어서, 개시된 기술에서 카메라(310)는 Haar Cascade Classifier를 이용한다. Haar Cascade Classifier는 OpenCV에서 제공되는 것으로 Haar like feature에 기반한 데이터를 사용하여 얼굴 영역에 따른 명도 차이에 의한 얼굴의 특징량을 나타낸다. 상기의 과정을 수행하기 위해서 카메라(310)는 특징량 계산부 및 얼굴 인식부를 포함한다. 물론 도 3에서 도시하는 바와 같이 영상 처리부가 특징량 계산부를 포함하는 것 또한 가능하다. 그리고 특징량 계산부에서 Haar like feature에 기반한 얼굴 특징량들을 계산하고, 얼굴 인식부에서 cascade 알고리즘을 수행하여 앞서 특징량 계산부에서 계산한 특징량들 중 일부를 선택하여 얼굴을 인식한다.
또한, 개시된 기술에서 카메라(310)는 adaboost 알고리즘을 이용하여 얼굴 영역의 복수개의 특징량들 중에서 가장 적합한 특징량을 선택하는 것 또한 가능하다. 앞서 cascade 알고리즘을 수행하는 것과 더불어 얼굴 인식에 따르는 수행시간을 단축시킴과 동시에 얼굴 인식 성공률을 높이는 것이 가능하다.
한편, 여기에서 카메라(310)는 촬영하는 매 영상마다 얼굴 인식을 수행하지는 않는다. 얼굴을 인식하는 과정은 다소 시간이 소요되는 과정이므로 실시간으로 처리하기에는 다소 무리가 따른다. 따라서, 영상의 첫 번째 프레임을 이용하여 얼굴 인식을 수행한다. 만약, 첫 번째 프레임에서 얼굴 인식에 실패하면 로보카의 프로세서에 설정된 알고리즘에 따라 영상을 다시 촬영하여 얼굴 인식을 수행할 수 있음은 당연하다.
영상 처리부(320)는 카메라(310)에서 인식한 얼굴의 색상 정보를 추출한다. 그리고 영상에서 인식된 얼굴이 실제 촬영하고자 하는 대상 인물의 얼굴이 맞는지를 비교한다. 얼굴의 비교를 위해서 영상 처리부(320)는 카메라(310)가 인식한 얼굴의 중심을 기점으로 x, y 좌표를 설정한다. 그리고 상기의 x, y 좌표값에 해당하는 색상 정보를 추출한다. 여기에서 색상 정보는 YCrCb의 색상값을 의미한다.
한편, 영상 처리부(320)는, 미리 대상 인물의 얼굴 정면을 촬영하여 저장한 기준 색상 정보와 앞서 추출한 색상 정보를 비교하여 일치 여부를 판단한다. 만약 기준 색상 정보와 추출한 색상 정보를 비교하여 일치하면 영상에 촬영된 얼굴을 대상 인물의 얼굴로 판단하고, 기준 색상 정보가 추출한 색상 정보와 불일치하면 다시 영상을 촬영하도록 카메라(310)에 재전송 신호를 전송한다.
한편, 영상 처리부(320)는 영상에 촬영된 얼굴과 대상 인물의 얼굴을 비교하는데 있어서, 서브 윈도우를 이용한다. 서브 윈도우는 x, y 좌표를 기준으로 소정의 크기로 생성하는 영역을 의미한다. 여기에서 서브 윈도우는 전체 영상의 크기보다 작은 것이 바람직하다. 개시된 기술에서는 색상 정보를 검출하는 범위를 줄여서 색상 정보를 검출하는데 소요되는 시간을 단축시키고 에러 발생률을 감소시키고자 서브 윈도우를 이용한다.
또한, 영상 처리부(320)는 서브 윈도우 내에서 기준 색상 정보와 일치하는 색상 정보를 검출하면 해당 영역을 새로운 x, y 좌표로 설정하여 기존의 x, y 좌표를 갱신한다. 그리고 상기의 과정들을 적어도 2회를 반복하여 에러를 줄이고 정확도를 개선한다.
동작 제어부(330)는 상기 영상 처리부(320)로부터 전달받은 대상 인물이 움직이는 동선을 토대로 로보카의 몸체를 제어하여 대상 인물을 추적한다. 대상 인물의 동선은 영상 처리부(320)에서 계산한 바와 같이 갱신된 x, y 좌표 값을 토대로 인지하는 것이 가능하다. 여기에서 동작 제어부(330)는 로보카가 움직이는 경로에 위치할 수 있는 장애물을 회피하기 위해서 PSD 센서를 포함한다. 따라서, 로보카가 장애물에 영향을 받지 않으면서 대상을 추적하는 것이 가능하다.
제어 단말기(340)는 카메라(310)가 촬영한 영상을 수신한다. 로보카는 고정 IP를 보유하는데, 제어 단말기가 로보카로부터 상기 고정 IP 값을 수신하여 서로 간에 페어링되어 무선 네트워크를 구성한다. 그리고 상기의 무선 네트워크를 통하여 카메라(310)가 촬영한 영상을 수신하는 것이 가능하다. 일 실시예로, 로보카는 영상을 전송하는 통신부를 더 포함하고 상기 통신부를 이용하여 제어 단말기(340)에 영상을 전송하는 것이 가능하다.
한편, 여기에서 제어 단말기(340)는 스마트폰을 포함한다. 로보카에서 전송하는 영상을 스마트폰의 디스플레이로 확인할 수 있다. 그리고 스마트폰에서 실행되는 어플리케이션을 이용하여 로보카를 제어할 수 있다. 즉, 로보카를 종래의 RC카와 같이 컨트롤러에서 전송되는 제어 신호에 따라 작동시키는 것 또한 얼마든지 가능하다. 예컨대, 스마트폰의 사용자가 촬영을 종료하고, 어플리케이션을 이용하여 로보카를 귀환하도록 조작할 수 있다. 물론 스마트폰 뿐만 아니라 PC를 이용하는 것 또한 가능하다. 마우스 또는 키보드와 같은 입력수단을 이용하여 PC에서 로보카를 원격으로 제어할 수 있다. 따라서 움직임이 가능한 로봇을 스마트폰으로 제어하여 대상을 따라다니면서 사용자가 원하는 대상의 모습을 촬영하고 이를 확인할 수 있는 장점이 있다.
도 4은 개시된 기술의 일 실시예에서 이용하는 서브 윈도우에 대한 도면이다. 도 4를 참조하면 x, y 좌표를 기준으로 소정 크기의 서브 윈도우가 생성된 것을 알 수 있다. 여기에서 서브 윈도우는 도 2 및 도 3을 통하여 설명한 바와 같이 기준 색상 정보와 영상에서의 색상 정보의 일치여부를 판단하는데 있어서, 색상 정보를 검출하는 범위를 좁히기 위하여 사용하는 것이다. 따라서, 이러한 서브 윈도우를 활용하여 기준 색상 정보와 동일한 색상 정보를 검출하는데 소요되는 시간을 단축시키는 효과를 기대할 수 있다. 아울러, 영상에 포함된 대상 인물의 얼굴이 아닌 영역, 예컨대 배경 영역으로 인하여 발생할 수 있는 오류를 방지하는 효과 또한 기대할 수 있다.
도 5는 개시된 기술의 일 실시예를 실제로 적용한 사례를 나타낸 도면이다. 도 5를 참조하면 로보카의 카메라를 이용하여 촬영한 영상에서 서브 윈도우를 적용한 후, 미리 저장된 기준 색상 정보와 일치하는 색상 정보를 영상에서 검출하는 것을 확인할 수 있다.
도 6은 개시된 기술의 일 실시예에서 제어 단말기 및 로보카 간에 무선 연결을 나타내는 도면이다. 클라이언트 서버 구조의 소켓 통신과 마찬가지로 로보카의 고정 아이피를 지정하여 애드혹(ad-hoc)으로 제어 단말기를 연결한다. 그리고 제어 단말기에서 전송되는 제어 신호에 따라 로보카가 촬영된 영상을 송신한다. 뿐만 아니라 상기의 무선 네트워크를 통하여 전송되는 입력 신호에 따라 로보카의 움직임을 제어하는 것 또한 가능하다. 예컨대, 로보카가 구환할 수 있도록 입력 신호를 전송할 수 있다.
개시된 기술의 실시예를 통한 로보카를 이용한 실시간 영상 전송 방법 및 시스템은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허 청구 범위에 의해 정해져야 할 것이다.
210 : 영상 촬영 및 얼굴 인식 220 : 색상 정보 추출 및 기준값 비교
230 : 대상 인물 추적 240 : 무선으로 영상 전송
310 : 카메라 320 : 영상 처리부
330 : 동작 제어부 340 : 제어 단말기

Claims (14)

  1. 로보카(Robo-Car)에 탑재된 카메라를 이용하여 인물의 영상을 촬영하고, 상기 영상에서 얼굴을 인식하는 단계;
    상기 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정하고, 상기 x, y 좌표에 해당하는 색상 정보를 추출하여 상기 색상 정보를 토대로 상기 얼굴이 대상 인물의 얼굴인지 비교하는 단계;
    상기 대상 인물의 동선을 인지하고, 상기 동선을 토대로 상기 로보카의 몸체를 제어하여 상기 대상 인물을 추적하는 단계; 및
    상기 로보카와 무선으로 연결되는 제어 단말기에 상기 영상을 전송하는 단계;를 포함하되,
    상기 대상 인물의 얼굴인지 비교하는 단계는,
    상기 대상 인물의 정면 얼굴 영상으로부터 미리 추출한 기준 색상 정보와 상기 색상 정보를 비교하여 상기 색상 정보가 상기 기준 색상 정보와 일치하면 상기 얼굴을 상기 대상 인물의 얼굴로 판단하는 단계; 및
    상기 색상 정보가 상기 기준 색상 정보와 불일치하면 상기 영상과 서로 다른 영상을 수신하도록 상기 카메라를 제어하는 단계를 더 포함하고,
    상기 x, y 좌표를 기준으로 소정 크기의 서브 윈도우를 생성하고, 상기 서브 윈도우 내에서 상기 기준 색상 정보와 일치하는 영역의 좌표를 검출하고, 상기 x, y 좌표를 상기 영역의 좌표로 갱신하는 로보카를 이용한 실시간 영상 전송 방법.
  2. 제 1 항에 있어서, 상기 얼굴을 인식하는 단계는,
    Haar-Like Feature 방식을 적용하여 상기 영상에서 명도 차이를 계산하고, 상기 얼굴에 해당하는 복수의 특징량들을 계산하고, cascade 알고리즘을 이용하여 상기 복수의 특징량들 중 일부를 자동으로 선택하여 상기 얼굴을 인식하는 로보카를 이용한 실시간 영상 전송 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 대상 인물을 추적하는 단계는,
    상기 로보카의 움직임을 방해하는 장애물을 감지하는 PSD(Position Sensitive Device) 센서를 이용하는 로보카를 이용한 실시간 영상 전송 방법.
  6. 제 1 항에 있어서, 상기 영상을 전송하는 단계는,
    상기 로보카의 고정 IP 주소를 상기 제어 단말기가 수신하여 서로 간에 무선 애드혹 네트워크가 설정되고, 상기 무선 애드혹 네트워크를 통하여 상기 로보카가 상기 영상을 상기 제어 단말기에 전송하는 로보카를 이용한 실시간 영상 전송 방법.
  7. 제 1 항에 있어서, 상기 제어 단말기는,
    스마트폰을 포함하고, 상기 스마트폰에서 실행되는 어플리케이션을 이용하여 상기 로보카를 제어하는 로보카를 이용한 실시간 영상 전송 방법.
  8. 인물의 영상을 촬영하고, 상기 영상에서 얼굴을 인식하는 카메라;
    상기 카메라에서 상기 영상을 전달받아 상기 인식된 얼굴의 중심을 기점으로 x, y 좌표를 설정하고, 상기 x, y 좌표에 해당하는 색상 정보를 추출하여 상기 색상 정보를 토대로 상기 얼굴이 대상 인물의 얼굴인지 비교하는 영상 처리부; 및
    상기 영상 처리부에서 전달받은 상기 x, y 좌표를 토대로 상기 대상 인물의 동선을 인지하고, 상기 동선에 따라 상기 대상 인물을 추적하는 동작 제어부;를 포함하는 로보카(Robo-Car) 및
    상기 로보카와 무선으로 연결되어 상기 로보카로부터 상기 영상을 수신하는 제어 단말기를 포함하되,
    상기 영상 처리부는,
    상기 대상 인물의 정면 얼굴 영상으로부터 미리 추출한 기준 색상 정보와 상기 색상 정보를 비교하여 상기 색상 정보가 상기 기준 색상 정보와 일치하면 상기 얼굴을 상기 대상 인물의 얼굴로 판단하고,
    상기 색상 정보가 상기 기준 색상 정보와 불일치하면 상기 영상과 서로 다른 영상을 수신하도록 상기 카메라에 재전송 신호를 전송하고,
    상기 x, y 좌표를 기준으로 서브 윈도우를 생성하고, 상기 서브 윈도우 내에서 상기 기준 색상 정보와 일치하는 영역의 좌표를 검출하고, 상기 x, y 좌표를 상기 영역의 좌표로 갱신하는 로보카를 이용한 실시간 영상 전송 시스템.
  9. 제 8 항에 있어서, 상기 카메라는,
    Haar-Like Feature 방식을 적용하여 상기 영상에서 명도 차이를 계산하고, 상기 얼굴에 해당하는 복수의 특징량들을 계산하는 특징량 계산부 및
    cascade 알고리즘을 이용하여 상기 복수의 특징량들 중 일부를 자동으로 선택하여 상기 얼굴을 인식하는 얼굴 인식부를 포함하는 로보카를 이용한 실시간 영상 전송 시스템.
  10. 삭제
  11. 삭제
  12. 제 8 항에 있어서, 상기 동작 제어부는,
    PSD(Position Sensitive Device) 센서를 포함하고, 상기 PSD 센서를 이용하여 상기 로보카의 움직임을 방해하는 장애물을 감지하는 로보카를 이용한 실시간 영상 전송 시스템.
  13. 제 8 항에 있어서, 상기 제어 단말기는,
    상기 로보카의 고정 IP 주소를 수신하여 서로 간에 무선 애드혹 네트워크를 설정하고, 상기 무선 애드혹 네트워크를 통하여 상기 로보카로부터 상기 영상을 수신하는 로보카를 이용한 실시간 영상 전송 시스템.
  14. 제 8 항에 있어서, 상기 제어 단말기는,
    스마트폰을 포함하고, 상기 스마트폰에서 실행되는 어플리케이션을 이용하여 상기 로보카를 제어하는 로보카를 이용한 실시간 영상 전송 시스템.
KR20130067752A 2013-06-13 2013-06-13 로보카를 이용한 실시간 영상 전송 방법 및 시스템 KR101464882B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130067752A KR101464882B1 (ko) 2013-06-13 2013-06-13 로보카를 이용한 실시간 영상 전송 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130067752A KR101464882B1 (ko) 2013-06-13 2013-06-13 로보카를 이용한 실시간 영상 전송 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101464882B1 true KR101464882B1 (ko) 2014-12-04

Family

ID=52676810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130067752A KR101464882B1 (ko) 2013-06-13 2013-06-13 로보카를 이용한 실시간 영상 전송 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101464882B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185237A (ja) * 2018-04-05 2019-10-24 矢崎エナジーシステム株式会社 解析システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004130427A (ja) * 2002-10-09 2004-04-30 Sony Corp ロボット装置及びロボット装置の動作制御方法
KR20050020661A (ko) * 2003-08-18 2005-03-04 혼다 기켄 고교 가부시키가이샤 사진을 촬영하는 이동로봇
JP2006293732A (ja) * 2005-04-12 2006-10-26 Hitachi Ltd 情報処理装置およびイメージセンサおよび生体認識システムならびに情報処理装置の生体認識プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004130427A (ja) * 2002-10-09 2004-04-30 Sony Corp ロボット装置及びロボット装置の動作制御方法
KR20050020661A (ko) * 2003-08-18 2005-03-04 혼다 기켄 고교 가부시키가이샤 사진을 촬영하는 이동로봇
JP2006293732A (ja) * 2005-04-12 2006-10-26 Hitachi Ltd 情報処理装置およびイメージセンサおよび生体認識システムならびに情報処理装置の生体認識プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185237A (ja) * 2018-04-05 2019-10-24 矢崎エナジーシステム株式会社 解析システム

Similar Documents

Publication Publication Date Title
US10255417B2 (en) Electronic device with method for controlling access to same
US10880470B2 (en) Robotic camera system
CN105718887A (zh) 基于移动终端摄像头实现动态捕捉人脸摄像的方法及系统
US10169880B2 (en) Information processing apparatus, information processing method, and program
TW200933538A (en) Nursing system
US11011141B2 (en) Method for controlling display of screen of mobile terminal, and mobile terminal
US20160292886A1 (en) Apparatus and method for photographing people using a movable remote device
WO2015154359A1 (zh) 拍摄的实现方法及装置
CN103577789A (zh) 检测方法和装置
US20150015659A1 (en) Method and apparatus for hands-free control of a far end camera
US20110187866A1 (en) Camera adjusting system and method
CN111168691B (zh) 机器人控制方法、控制系统以及机器人
US8319865B2 (en) Camera adjusting system and method
KR101464882B1 (ko) 로보카를 이용한 실시간 영상 전송 방법 및 시스템
CN111182280A (zh) 一种投影方法、投影装置、音箱设备及存储介质
US9143763B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium
JP2018085579A (ja) 撮像装置、制御方法、及び情報処理プログラム
WO2020241057A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US20210368105A1 (en) Video capture device positioning based on participant movement
CN107749951A (zh) 一种用于无人摄影的视觉感知方法和系统
US8743192B2 (en) Electronic device and image capture control method using the same
US20200349442A1 (en) Auto feed forward/backward augmented reality learning system
KR20200115723A (ko) 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들
KR102400143B1 (ko) 스마트폰의 영상통화에 기반하는 원격로봇의 자세 제어방법 및 장치
CN110572565A (zh) 智能跟拍系统及智能跟拍控制方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee