KR101072399B1 - 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법 - Google Patents

카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법 Download PDF

Info

Publication number
KR101072399B1
KR101072399B1 KR1020090045324A KR20090045324A KR101072399B1 KR 101072399 B1 KR101072399 B1 KR 101072399B1 KR 1020090045324 A KR1020090045324 A KR 1020090045324A KR 20090045324 A KR20090045324 A KR 20090045324A KR 101072399 B1 KR101072399 B1 KR 101072399B1
Authority
KR
South Korea
Prior art keywords
image
motor
control
camera
foreground
Prior art date
Application number
KR1020090045324A
Other languages
English (en)
Other versions
KR20100126904A (ko
Inventor
고선웅
김명수
Original Assignee
김명수
고선웅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김명수, 고선웅 filed Critical 김명수
Priority to KR1020090045324A priority Critical patent/KR101072399B1/ko
Publication of KR20100126904A publication Critical patent/KR20100126904A/ko
Application granted granted Critical
Publication of KR101072399B1 publication Critical patent/KR101072399B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/024—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치에 관한 것으로, 물체(Object)의 이미지를 촬영하기 위한 카메라 모듈(Camera Module); 상기 카메라 모듈에 의해 촬영된 이미지를 캡처하고 분석하며, 그 위치 및 크기를 분석하여 처리하는 이미지 프로세싱부(Image Processing Part); 현재 영상 프레임상에 존재하는 각 물체의 좌표상의 위치 및 크기를 기준으로 하여 구동 대상인 장치를 위치 제어 할 수 있도록 통신 프로토콜 생성 및 제어 대상물의 현재 위치를 파악하여 이동 해야 할 위치, 속도 및 이동량을 연산하는 모터 제어 및 인터페이스 기능을 수행하는 모터 컨트롤러부; 상기 모터 컨트롤러부로부터 위치제어 신호를 제공받아 모터를 구동하는 모터 구동부; 및 상기 모터 구동부에 연동되어, 현재의 모터 위치 데이터를 모터 컨트롤러부에 피드백 함으로써, 위치 변경에 따른 변위를 제공하는 위치센서; 를 포함하여 이루어지는 것을 특징으로 한다.
카메라, 영상분석, 물체 인식 기반, 오브젝트(Object), 이미지 프로세싱

Description

카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법{INTELLIGENT CONTROL METHOD BASED ON OBJECT RECOGNITION USING CAMERA IMAGE ANALYSIS}
본 발명은 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는, 이미지 센서가 취부된 디지털카메라모듈과 마이크로프로세서 혹은 디지털신호 프로세서를 이용하여 영상을 캡처하고, 캡처된 영상내의 물체들의 위치와 숫자를 특수 알고리즘을 이용하여 분석, 파악한 후 추출된 값에 의하여 에어컨 장치의 바람과 TV 나 광고형 디스플레이의 시청각을 인공 지능적으로 제어하는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법에 관한 것이다.
일반적으로, 거실, 사무실, 식당, 빌딩 내에서 인공지능 지향 에어컨의 가동및 정지, 풍향, 풍량 및 풍속의 제어는 초음파나 적외선 센서 기반의 비 정확한 추정 제어에 의존하고 있다.
즉, 종래에 사용하고 있는 센서의 경우 센싱 범위내에서 사람의 유무 파악 및 거리 측정 정도가 가능한 실정으로, 사람의 위치와 필요 공간 내에 몇명의 사람이 존재하는지 알 수 없기 때문에 원하는 위치에 원하는 풍량을 원하는 시간동안 보낼 수 없다는 문제점이 있었다.
또한, 이와 같이 작동하는 종래의 인공지능 지향 장치는 에너지 낭비가 큰 것은 물론이고, 사람의 신체적인 특성과 풍량에 대한 취향을 무시한 일방적인 기기 작동으로 사용자의 불편함을 초래하였다. 특히, 일정 공간에 사람 2~3명이 밀집하여 업무를 수행 하고 있을 경우에, 사람이 없는 빈 공간에 바람을 공급하므로써 매우 비 효율적인 에어컨 가동이 될 수 밖에 없었다.
또, TV 시청의 경우 배치 위치가 단 방향으로 고정되어 있기 때문에 시청자의 시청 위치에 따라서 화면 시청각의 제한, TV의 특성 및 주변 조명의 영향에 의한 양질의 시청 불가, 시청자의 자세와 TV 화면과의 최적 시청 조건 불일치, 예를 들면 시청자가 누워 있을 경우나 좌우로 비스듬히 앉거나 누워 있을 경우 인체에 피로가 유발되는 문제점을 가지고 있다.
또한, 대중이 이용하는 식당, 커피샵, 프랜차이즈점 등에 설치된 광고용 디스플레이(Display)의 경우 시청중인 사람의 유무에 상관 없이 일정한 방향에서만 최상의 시청이 가능하게 되어 있으므로, 사람의 위치가 시청이 용이하지 못한 지역에 있는 시청각일 경우 광고의 효과가 거의 발생하지 못하는 것이 실정이다.
본원은 상술한 제반 문제점을 해결하기 위하여 안출한 것으로, 그 목적으로 하는 바는, 소형 디지털카메라 모듈을 설치하고 디스플레이 내에 에어컨 최적 지능 제어에 필수적인 위치, 사람수, 거리를 파악 할 수 있도록 하여 인원이 적을 때는 국부적으로 송풍을 가동하고, 무인시에는 송풍 가동을 자동으로 중단할 수 있도록 작동함으로써 전기에너지의 낭비를 획기적으로 절감할 수 있는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법을 제공함에 있다.
또, 본 발명의 다른 목적은 카메라 및 지능형 영상 분석 알고리즘을 활용하여, 사람의 위치, 거리 및 인원 수에 따라서 TV 장치 및 디스플레이 장치를 자율적으로 상하, 좌우로 움직여 최상의 시야각을 시청자에게 제공하고, 광고용 디스플레이 장치의 시청각을 확대하여 광고 효율을 높일 수 있는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법을 제공함에 있다.
그리고, 소비자 전자제품의 특별기능 제어에 대한 방법은 사용가능한 센서, 기능제어 모듈과 적용 전자제품과의 통합, 최적제어를 위한 제어값 도출 알고리즘, 각 부품과의 인터페이스와 같은 요소에 의해서 성능과 가격이 달라진다. 이에 따라, 본 발명의 또 다른 목적은, 이미지센서가 취부된 디지털카메라 모듈과 마이크로프로세서나 혹은 디지털신호프로세서를 이용하여 영상을 캡쳐하고, 캡쳐된 영상내의 물체들의위치와 숫자를 특수알고리즘을 이용하여 분석 및 파악한 후 추출된 값에 의하여 에어컨의 바람과 TV나 광고형 디스플레이의 시청각을 인공지능적으로 제어하는 제어방법을 제공하는 것을 그 목적으로한다.
본 발명의 실시 예에 의한 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치는, 본 발명은 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치로서, 물체(Object)의 이미지를 촬영하기 위한 카메라 모듈(Camera Module); 상기 카메라 모듈에 의해 촬영된 이미지를 캡처하고 분석하며, 그 위치 및 크기를 분석하여 처리하는 이미지 프로세싱부(Image Processing Part); 현재 영상 프레임상에 존재하는 각 물체의 좌표상의 위치 및 크기를 기준으로 하여 구동 대상인 장치를 위치 제어 할 수 있도록 통신 프로토콜 생성 및 제어 대상물의 현재 위치를 파악하여 이동 해야 할 위치, 속도 및 이동량을 연산하는 모터 제어 및 인터페이스 기능을 수행하는 모터 컨트롤러부; 상기 모터 컨트롤러부로부터 위치제어 신호를 제공받아 모터를 구동하는 모터 구동부; 및 상기 모터 구동부에 연동되어, 현재의 모터 위치 데이터를 모터 컨트롤러부에 피드백 함으로써, 위치 변경에 따른 변위를 제공하는 위치센서; 를 포함하여 구성함으로써 달성할 수 있다.
이때, 본 발명에 의한 이미지 프로세싱부는, 이미지캡처 및 분석기(Image capture and Analyzer)와, 이미지 위치 및 크기 분석기(Image Location and Size Analyzer), 및 상기 이미지캡처 및 분석기와 이미지 위치 및 크기 분석기를 통해 제공되는 이미지를 프로세싱하기 위한 CPU를 구비하여 이루어지는 것이 바람직하다.
또, 상기 상기 모터 컨트롤러부는, X축, Y축 및 Z축으로 작동하는 모터를 제어하기 위한 모터 제어부(Motor Controller)와, 대상 오브젝트의 위치를 파악하기 위한 위치분석기와, 모터의 작동을 지원하기 위한 인터페이스(Interface)를 구비하여 이루어지는 것이 바람직하다.
본 발명의 실시 예에 의한 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치의 그 제어방법은, 카메라 장치를 통하여 영상을 촬영하여 이 신호를 이미지 프로세싱부에 제공하며, 입력된 영상을 처리하고 장치를 제어하는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법으로서, S10: 카메라 모듈로부터의 영상을 입력받아, 전처리 및 프레임 버퍼내에 프레임을 저장하고, 저장된 프레임을 공급하는 단계; S20: 상기 공급된 프레임에서 전경을 추출하는 단계; S22: 상기 공급된 프레임 중, 캡쳐된 영상에서 고정된 영상과 움직이는 영상을 식별하기 위한 단계인 배경 영상을 학습하는 단계; S24: 상기 추출된 전경과(S20), 상기 배경 영상을 학습한 단계(S22)의 자료를 바탕으로 배경을 모델화하는 단계; S26: 상기 전경 추출 단계(S20)에서 전경을 입력 받아 전경 물체를 형상화하는 단계; S28: 상기 전경 물체를 형상화한 후, 복수개의 멀티 물체를 추적하는 단계; S30: 상기 추적된 멀티 물체를 분석하여 물체의 특성을 설정하는 단계; S32: 상기 물체 특성을 설정한 후, 물체의 외곽을 형성하도록 궤도화하는 단계; S34: 상기 물체 특성을 설정한 후, 캡쳐되는 영상에서 움직이는 물체의 영상이 다수 개 일 경우 이 물체를 동시에 추적할 수 있도록 이것들을 순서화하여 동시추적이 가능하도록 하는 물체 겹침 선점을 순서화하는 단계; S36: 상기 물체 특성 을 설정한 후, 모양별로 특성화하는 단계; S38: 상기 물체를 궤도화하고(S32), 겹침 선점을 순서화하는 단계(S34)를 통해 이동할 수 있는 활동 영역을 찾아내는 단계; S40: 상기 모양별로 특성화 한(S36) 물체를 분석하고, 해당 물체를 찾아내어 이미지 프로세싱부를 통해 이미지를 구현하고, 해당하는 물체의 위치로 이동하기 위하여 모터 구동부에 위치정보를 제공하는 단계; S50: 상기 이미지 프로세싱부에서 처리된 물체별 위치 및 크기의 특성 데이터를 추출하여 모터 구동부에서 전달받아, 모터제어 모듈을 구동하는 단계; S60: 모터제어 인터페이스가 작동하여, 모터 제어값과 모터 위치값을 모터 컨트롤러에 전송하는 단계; S70: 상기 전송된 모터 제어값과 모터 위치값을 수신하여 모터를 X축, Y축 및 Z축으로 작동하도록 제어하도록 모터 컨트롤러를 제어하는 단계;를 구비 함으로써 달성할 수 있다.
본 발명의 바람직한 실시 예에 의하면, 소형 디지털카메라 모듈을 설치하고 디스플레이 내에 에어컨 최적 지능 제어에 필수적인 위치, 사람수, 거리를 파악 할 수 있도록 하여 인원이 적을 때는 국부적으로 송풍을 가동하고, 무인시에는 송풍 가동을 자동으로 중단할 수 있도록 작동함으로써 전기에너지의 낭비를 획기적으로 절감할 수 있는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법을 제공하는 효과를 구현할 수 있다.
또, 본 발명의 실시 예에 따르면, 카메라 및 지능형 영상 분석 알고리즘을 활용하여, 사람의 위치, 거리 및 인원 수에 따라서 TV 장치 및 디스플레이 장치를 자율적으로 상하, 좌우로 움직여 최상의 시야각을 시청자에게 제공하고, 광고용 디스플레이 장치의 시청각을 확대하여 광고 효율을 높일 수 있는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법을 제공하는 탁월한 효과를 구현할 수 있다.
또한, 본 발명에 따르면, 대략적 위치나 물체 존재유무에 의한 비정확한 제품 제어가 아닌 사람이 눈으로 보고 판단하듯 정확한 물체의 수와 위치를 파악하여 지능적으로 제품을 제어하므로써 사용자의 사용취향과 욕구를 충족시키며 제어대상 전자제품의 에너지를 절감하는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법을 구현할 수 있다.
이하, 본 발명의 바람직한 실시 예를 첨부 도면을 참조하면서 더욱 구체적으로 설명하기로 한다.
(실시 예)
도 1은 본 발명의 실시 예에 따른 물체 인식 기반 지능형 제어장치의 작동원리를 설명하기 위해 도시한 개략 구성도이고, 도 2는 본 발명의 실시 예에 따른 영상 이미지 물체 인식 기반 전자기기의 제어 공정을 설명하기 위한 기능 흐름도를 각각 도시한다.
도면에서 부호 10은 물체(Object)의 이미지를 촬영하기 위한 카메라 모듈, 부호 20은 촬영된 이미지를 캡처하고 분석하며, 그 위치 및 크기를 분석하여 처리 하는 이미지 프로세싱부(Image Processing Part)를 도시하고, 부호 22는 이미지캡처 및 분석기(Image capture and Analyzer), 부호 24는 이미지 위치 및 크기 분석기(Image Location and Size Analyzer)를 각각 도시하고, 부호 26은 상기 이미지캡처 및 분석기(22)와 이미지 위치 및 크기 분석기(24)통한 이미지를 처리하기 위한 중앙처리장치(CPU; Central Processing Unit)를 도시한다. 또, 부호 30은 모터 컨트롤러부(Motor Controller Part)를 도시하고, 부호 32는 X축, Y축 및 Z축으로 작동하는 모터를 제어하기 위한 모터 제어부(Motor Controller), 부호 34는 오브젝트의 위치를 파악하기 위한 위치분석부, 부호 36은 모터의 작동을 위한 인터페이스(Interface), 부호 40은 X축, Y축 및 Z축으로 작동하는 모터를 구비하는 모터 구동부, 부호 50은 현재의 모터 위치 데이터를 모터 컨트롤러부(40)에 제공하여 보상 제어하는 위치센서를 도시하며, 부호 100은 이러한 구성을 갖는 물체 인식 기반 지능형 제어장치를 각각 도시한다.
먼저, 도 1에 도시한 바를 참조하여 본 발명에 의한 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치의 작동을 설명하면 다음과 같다.
도 1에 도시한 바와 같이, 카메라 모듈(10)로부터 오브젝트를 촬영하여 디지털화된 VGA(680 X 480) 규격 해상도의 영상을 초당 2~30 프레임씩 물체 인식 기반 지능형 제어장치(100)의 하드웨어에서 연속적으로 포착한 후 각각의 영상 프레임 내용을 분석한다.
상기 이미지 프로세싱부(20)는, 새로운 물체가 출현할 때 마다 이전 영상에서 얻게 된 배경과 비교하여 그 물체를 추출하고, 배경 프레임을 모델화 하며, 메 모리에 추출된 각각 물체의 특성(칼라, 모양, 크기, 움직임 궤도, 좌표상의 위치) 데이터를 저장한다. 그리고, 다음 영상 프레임에서 이전 영상 프레임에서 추출된 물체의 활동을 찾아내며, 새로이 출현한 물체를 연속적으로 추출하여 물체를 관리하며 지속적으로 배경을 모델화 한다.
다음으로, 상기 모터 컨트롤러부(30)에서는, 매 프레임에서 추출된 물체의 특성을 기초로 하여 화면상 공간에서 각각 물체에 대한 위치와 크기, 밀집도를 파악하고 이 데이터를 전자 기기의 지능형 핵심 제어 파라메타로 사용한다. 또, 매 영상 프레임에서 파악된 각 물체 특성 데이터를 기반으로 영상 공간상에서 물체의 추적 혹은 추적된 물체에 대한 부가 기능을 제어하도록 모터를 구동 한다. 이러한 기능은 모터 구동부(40)와 이미지 센서(50)를 통하여 구현된다.
상술한 바와 같이 본 발명에 의해 제안된 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법은, 실제 적용 대상의 산업분야에서 요구하는 저렴한 비용 유지를 위해서 매우 제한된 연산 성능 및 기능을 가진 하드웨어를 선택해야 하고 실시간으로 작동 되어야 한다.
특히 매우 적은 메모리 공간에 배경 이미지를 온라인으로 학습한 후 결과를 지속적으로 업데이트 할 수 있도록 구동하며, 현재의 프레임상에서 새롭게 출현하는 물체를 추출하여 물체의 특성을 만들어 연속적으로 추적할 수 있도록 해야 하는데 추적해야 할 물체의 수가 늘어날 경우 처리 속도, 메모리 공간을 효율적으로 사용할 수 있도록 설계 되었다.
엄격하게 제한되는 이용 자원을 활용하여야 하기 때문에 기존의 컴퓨터나 고 가의 디지털 신호 프로세싱 장치에서 큰 무리 없이 성능을 발휘 하였던 알고리즘을 사용할 수 없으므로, 비교적 낮은 해상도를 가지면서 고감도로 작동해야 하는 체계(Scheme)의 새로운 알고리즘을 설계하고 저 사양 하드웨어에 맞추어 개발된 알고리즘이 빠르게 작동 할 수 있도록 하는 최적화 작업이 병행될 필요가 있다.
본 발명은 영상 이미지 분석기술 특성의 관찰과 지각적인 아이디어를 토대로하여 한계성을 갖는 하드웨어에서 실제로 작동 하도록 다음과 같은 핵심 구성요소를 갖는다:
첫째로, 동적으로 카메라 영상을 받아서 가용할 수 있는 하드웨어 자원 조건에 맞도록 해상도를 리사이징(Resizing)하거나, 프레임을 스킵(Skip) 할 수 있도록 하는 스마트형 전처리 이미지 프로세싱부(20)를 설치하고,
둘째로, 포착된 이미지를 이전 프레임과 비교하고 분석하여 전경에서 새로운 물체의 특성(모양, 색상분포)을 추출하여 물체를 형성한다.
또, 배경을 습득하여 새로운 배경을 형성하며, 각각의 물체들에 대한 특성을 설정하고 이를 추적하며, 물체가 겹쳤을 때 분리나 합성, 또는 물체가 사라지거나 출현시에는 이것을 인지하고, 좌표상에서 물체의 위치와 크기를 파악하는 지능형 영상 인식기로서의 지능형 영상인식기에 구비되는 이미지캡처 및 분석기(22)와, 이미지 위치 및 크기 분석기(24)를 구비한다.
추가로, 현재 영상 프레임상에 존재하는 각 물체의 좌표상의 위치 및 크기를 기준으로 하여 전자 제품의 기능성 위치 제어 할 수 있도록 통신 프로토콜 생성 및 제어 대상물의 현재 위치를 파악하여 이동 해야 할 위치, 속도 및 이동량을 연산하 는 모터 제어 및 인터페이스 기능을 수행하는 모터 컨트롤러부(30)를 구비하여 이루어진다.
본 발명에 따른 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치의 효과는 실제 제품에 장착되어 최적으로 작동되도록 고려된 것 이며 실제로 사용자의 편리성 향상과 에너지 절약을 위해서 사용된다.
다음으로, 도 2를 참조하면서, 본 발명에 따른 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치의 구체적인 제어방법을 설명하기로 한다. 도 2에서는 일 실시 예를 각 구성부를 상세히 블록으로 표현하여 개념을 설명하기 위한 것으로 알고리즘이나 성능의 개선을 위해서 변경 될 수 있음은 물론이다.
도 2를 참조하면, 먼저 카메라 모듈(10)을 통하여 영상을 촬영하고 이 신호를 이미지 프로세싱부(20)에 제공한다. 상기 이미지 프로세싱부(20)에서는 이하의 작동을 통하여 입력된 영상을 처리한다.
S10: 카메라 모듈(10)로부터의 영상을 입력받아, 전처리 및 프레임 버퍼내에 프레임을 저장하고, 프레임을 공급하는 단계;
S20: 상기 공급된 프레임에서 전경을 추출하는 단계;
S22: 상기 공급된 프레임에서 배경 영상을 학습하는 단계;
S24: 상기 추출된 전경과, 상기 배경 영상 학습 자료를 바탕으로 배경을 모델화하는 단계;
S26: 상기 전경 추출 단계(S20)를 입력 받아 전경 물체를 형상화하는 단계;
S28: 상기 전경 물체를 형상화한 후, 멀티 물체를 추적하는 단계;
S30: 상기 추적된 멀티 물체를 분석하여 물체 특성을 설정하는 단계;
S32: 상기 물체 특성을 설정하여, 물체의 외곽을 형성하도록 궤도화하는 단계;
S34: 상기 물체 특성을 설정하여, 겹침 선점을 순서화하는 단계;
S36: 상기 물체 특성을 설정하여, 모양별로 특성화하는 단계;
S38: 상기 물체를 궤도화하고(S32), 겹침 선점을 순서화하는 단계(S34)를 통해 활동 영역을 찾아내는 단계;
S40: 상기 모양별로 특성화한(S36) 물체를 분석하여, 해당 물체를 찾아내는 단계; 로 구성하는 이미지 프로세싱을 구현하고, 이를 모터 구동부(30)에 제공한다.
S50: 상기 이미지 프로세싱부(20)에서 처리된 물체별 위치, 크기등의 특성 데이터를 추출하여 모터 구동부(30)에서 전달받아, 모터제어 모듈을 구동하는 단계;
S60: 모터제어 인터페이스가 작동하여, 모터 제어값과 모터 위치값을 모터 컨트롤러에 전송하는 단계;
S70: 상기 전송된 모터 제어값과 모터 위치값을 수신하여 X축, Y축 및 Z축으로 작동하는 모터를 구비하는 모터 컨트롤러를 작동하고, 제어하는 단계;로 구성된다.
여기에서, S22에서 설명하는 배경 영상을 학습하는 단계란, 캡쳐된 영상에서 고정된 영상과 움직이는 영상을 식별하기 위한 단계를 설명한다. 그리고, S34에서 기재하는 겹침 선점을 순서화하는 단계란, 캡쳐되는 영상에서 움직이는 물체의 영상이 다수 개 일 경우 이 물체를 동시에 추적하여야 하므로 이것들을 순서화하여 동시추적이 가능하도록 하는 단계를 말한다.
다음으로, 본 발명의 실시 예에 따른 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 그를 이용한 제어방법을 적용한 에어컨 장치 및 TV 장치의 예를 설명하기로 한다.
도 3은 본 발명의 실시 예에 따른 영상 이미지 분석에 의한 에어컨 지능 제어 공정을 설명하기 위한 예시도이고, 도 4는 본 발명의 실시 예에 따른 영상 이미지 분석에 의한 TV 시청 위치 제어 공정을 설명하기 위한 예시도이다.
먼저, 도 3을 참조하면서 에어컨 장치에 본 발명에 따른 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 적용한 제어방법의 예를 설명한다.
도 3에서는 풍향제어각도, 풍속 및 풍량의 강함과 중간정도, 약함의 구분에 따라 각각 A 구역, B 구역, C 구역 및 일반구역으로 구분하였다.
A 구역에는 4 명의 사람이 에어컨으로부터 멀리 떨어진 거리에 위치하고, B 구역은 2 명이 역시 에어컨으로부터 먼거리에 위치하고 있으며, C 구역에는 1 명의사람이 비교적 가까운 거리에 위치하고 있다. 일반구역으로 표시한 구역에는 사람이 위치하고 있지 않는 빈공간이라고 할 수 있다.
본 발명에 의한 실시 예에서, 카메라를 이용한 영상분석 알고리즘을 통해 A,B,C 구역 및 일반구역에 위치하는 인원의 수, 거리, 위치를 파악하여 A 구역에서는 강한 바람을 불게 하면서 천천히 좌우로 사람이 존재하는 위치에 촛점을 맞추어 이동하고, B 구역에 도달하면 중급정도의 바람을 불게 하면서 사람이 존재하는 위치에 상하풍향의 위치를 맞추어 약간 빠르게 좌우로 이동하며, C 구역에서는 비교적 약한 풍량의 바람을 사람의 위치에 맞게 상하로 풍향위치를 맞추고 빠른속도로 좌우로 이동하며 공급하는 자율적인 제어를 실행한다. 본 발명에서는 이러한 알고리즘에 대해서는 구체적으로 기술하지 않지만, 도 1 및 도 2를 참조로 하는 제어 장치 및 제어 방법을 참조하여 제어 알고리즘은 충분히 제작할 수 있는 것이다.
이때, 사람이 존재하고 있지 아니하는 일반구역에서는 아주 빠르게 좌우로 이동하도록 하여 사람이 존재하는 지역에 바람이 집중될 수 있도록 하여 A,B,C 지역에 있는 사람들에게 상쾌함과 함께 풍량을 충분히 느낄 수 있도록 제어한다.
상술한 알고리즘을 표로 정리하여 나타내면 다음과 같다.

구역
풍향 제어각
이동속도
인원수
풍량

A(멀다)
대
Slow
많음
강하다

B(멀다)
중
Medium
중간
보통

C(가깝다)
소
Fast
적음
약하다

일반(무인)구역
대-중
Very Fast
없음
매우약하다
다음으로, 도 4를 참조하면서 TV 시청 위치 제어 공정에 본 발명에 따른 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 적용한 제어방법의 예를 설명한다.
도 4에 도시한 바와 같이, 공시청이 가능지역에 TV 를 설치하고, A 구역에 3 명의 인원이 있고, B 구역에 2 명이 존재할 경우를 도시하고 있다.
또는, A 나 B 구역에만 사람이 존재 할 경우 사람의 인원수가 많은 위치로 TV 화면이 회전하도록 알고리즘을 구비함으로써 다수의 사람이 보다 편안하게 TV 시청을 할 수 있는 작동 사례를 도시하고 있다.
도 4의 경우에 대한 알고리즘은 다음과 같이 구성할 수 있다. 즉, 다수의 시청자에게 노출을 더욱 많게 하고, 해당 방면으로 이동하는 TV 장치에 대한 영상분석 알고리즘은 A,B 구역의 사람의수, 거리, 위치를 파악하여 항상 고정된 위치로 TV 화면이 보여지게 하는 것을 뛰어넘어 사람수 분포에 맞도록 TV 거치대를 좌우, 상하로 움직여 가급적 어떤장소에서든 사람이 편안하게 시청할 수 있도록 한다.
상술한 바와 같은 본 발명에 의한 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치 및 그 제어방법은 그 일례를 들어 설명하였지만, 본 발명의 구성과 그 기술적 사상이 동일한 기타의 구성이라면 본 발명의 권리범위 내에 있음은 자명한 것이다.
도 1은 본 발명의 실시 예에 따른 물체 인식 기반 지능형 제어장치의 작동원리를 설명하기 위해 도시한 개략 구성도.
도 2는 본 발명의 실시 예에 따른 영상 이미지 물체 인식 기반 전자기기의 제어 공정을 설명하기 위한 기능 흐름도.
도 3은 본 발명의 실시 예에 따른 영상 이미지 분석에 의한 에어컨 지능 제어 공정을 설명하기 위한 예시도.
도 4는 본 발명의 실시 예에 따른 영상 이미지 분석에 의한 TV 시청 위치 제어 공정을 설명하기 위한 예시도.
*도면의 주요 부분에 대한 부호의 설명*
10: 카메라 모듈 20: 이미지 프로세싱부
22: 이미지캡처 및 분석기 24: 이미지 위치 및 크기 분석기
26: CPU(Central Processing Unit)
30: 모터 컨트롤러부 32: 모터 제어부
34: 위치분석부 36: 인터페이스
40: 모터 구동부 50: 위치센서
100: 물체 인식 기반 지능형 제어장치

Claims (4)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 카메라 장치를 통하여 영상을 촬영하여 이 신호를 이미지 프로세싱부에 제공하며, 입력된 영상을 처리하고 장치를 제어하는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법에 있어서,
    S10: 카메라 모듈로부터의 영상을 입력받아, 전처리 및 프레임 버퍼내에 프레임을 저장하고, 저장된 프레임을 공급하는 단계;
    S20: 상기 공급된 프레임에서 전경을 추출하는 단계;
    S22: 상기 공급된 프레임 중, 캡쳐된 영상에서 고정된 영상과 움직이는 영상을 식별하기 위한 단계인 배경 영상을 학습하는 단계;
    S24: 상기 추출된 전경과(S20), 상기 배경 영상을 학습한 단계(S22)의 자료를 바탕으로 배경을 모델화하는 단계;
    S26: 상기 전경 추출 단계(S20)에서 전경을 입력 받아 전경 물체를 형상화하는 단계;
    S28: 상기 전경 물체를 형상화한 후, 복수개의 멀티 물체를 추적하는 단계;
    S30: 상기 추적된 멀티 물체를 분석하여 물체의 특성을 설정하는 단계;
    S32: 상기 물체 특성을 설정한 후, 물체의 외곽을 형성하도록 궤도화하는 단계;
    S34: 상기 물체 특성을 설정한 후, 캡쳐되는 영상에서 움직이는 물체의 영상이 다수 개 일 경우 이 물체를 동시에 추적할 수 있도록 이것들을 순서화하여 동시추적이 가능하도록 하는 물체 겹침 선점을 순서화하는 단계;
    S36: 상기 물체 특성을 설정한 후, 모양별로 특성화하는 단계;
    S38: 상기 물체를 궤도화하고(S32), 겹침 선점을 순서화하는 단계(S34)를 통해 이동할 수 있는 활동 영역을 찾아내는 단계;
    S40: 상기 모양별로 특성화 한(S36) 물체를 분석하고, 해당 물체를 찾아내어 이미지 프로세싱부를 통해 이미지를 구현하고, 해당하는 물체의 위치로 이동하기 위하여 모터 구동부에 위치정보를 제공하는 단계;
    S50: 상기 이미지 프로세싱부에서 처리된 물체별 위치 및 크기의 특성 데이터를 추출하여 모터 구동부에서 전달받아, 모터제어 모듈을 구동하는 단계;
    S60: 모터제어 인터페이스가 작동하여, 모터 제어값과 모터 위치값을 모터 컨트롤러에 전송하는 단계;
    S70: 상기 전송된 모터 제어값과 모터 위치값을 수신하여 모터를 X축, Y축 및 Z축으로 작동하도록 제어하도록 모터 컨트롤러를 제어하는 단계;를 구비하여 이루어지는 것을 특징으로 하는 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법.
KR1020090045324A 2009-05-25 2009-05-25 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법 KR101072399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090045324A KR101072399B1 (ko) 2009-05-25 2009-05-25 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090045324A KR101072399B1 (ko) 2009-05-25 2009-05-25 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법

Publications (2)

Publication Number Publication Date
KR20100126904A KR20100126904A (ko) 2010-12-03
KR101072399B1 true KR101072399B1 (ko) 2011-10-11

Family

ID=43504303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090045324A KR101072399B1 (ko) 2009-05-25 2009-05-25 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법

Country Status (1)

Country Link
KR (1) KR101072399B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225912A1 (ko) * 2018-05-24 2019-11-28 엘지전자 주식회사 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020192210A1 (en) * 2019-03-26 2020-10-01 Woofaa Company Limited A method and a system for managing indoor air quality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364582B1 (ko) 2000-04-28 2002-12-16 주식회사 네트웍코리아 다중 이동물체 추적/감시 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364582B1 (ko) 2000-04-28 2002-12-16 주식회사 네트웍코리아 다중 이동물체 추적/감시 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225912A1 (ko) * 2018-05-24 2019-11-28 엘지전자 주식회사 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기
US11421906B2 (en) 2018-05-24 2022-08-23 Lg Electronics Inc. Method for controlling air conditioner by recognizing zone on basis of artificial intelligence, server and air conditioner

Also Published As

Publication number Publication date
KR20100126904A (ko) 2010-12-03

Similar Documents

Publication Publication Date Title
CN109085966B (zh) 一种基于云计算的三维展示系统及方法
US8427476B2 (en) System and method for automatically adjusting visual setting of display device
EP2664131B1 (en) Apparatus and method for compositing image in a portable terminal
KR101541561B1 (ko) 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
KR101922589B1 (ko) 디스플레이장치 및 그 시선추적방법
US8675136B2 (en) Image display apparatus and detection method
KR102220118B1 (ko) 디스플레이장치 및 그 제어방법
CN109479115B (zh) 信息处理装置、信息处理方法和程序
CN108712603B (zh) 一种图像处理方法及移动终端
US20090251421A1 (en) Method and apparatus for tactile perception of digital images
US20110254846A1 (en) User adaptive display device and method thereof
KR20140010541A (ko) 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
CN103400543A (zh) 3d互动展示系统及其展示方法
US20160054796A1 (en) Display apparatus and control method thereof
US20120013604A1 (en) Display apparatus and method for setting sense of depth thereof
CN103092332A (zh) 电视数字图像交互方法及系统
WO2020151255A1 (zh) 一种基于移动终端的展示控制系统及方法
JP2013115644A (ja) 表示装置及び表示方法
US20230209204A1 (en) Display apparatus and camera tracking method
KR102208893B1 (ko) 디스플레이 장치 및 디스플레이 장치의 채널 맵 관리 방법
KR101072399B1 (ko) 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법
KR20220127568A (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
EP2860966B1 (en) Image processing apparatus and control method thereof
CN104079980A (zh) 一种配合可弯曲屏电视的交互系统和交互方法
US11205405B2 (en) Content arrangements on mirrored displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 5