KR20200118524A

KR20200118524A - 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법

Info

Publication number: KR20200118524A
Application number: KR1020190040514A
Authority: KR
Inventors: 유홍준
Original assignee: 유홍준
Priority date: 2019-04-08
Filing date: 2019-04-08
Publication date: 2020-10-16

Abstract

본 발명은 동작을 추적하여 자동적으로 영상이 원하는 위치로 이동하여 표시되도록 하고 해당 위치에서의 능동적 동작 인식에 의한 영상 처리 제어를 가능하도록 함으로써, 기존의 스마트홈에 스마트 인테리어와 스마트 콘텐츠가 결합된 진정한 스마트한 재택 근무와 같은 자유로운 경제 활동을 지원한다. 이를 통해 미래형 일자리 폭을 획기적으로 증대시켜줄 수 있는 등 산업의 활용에 기여하는 효과 창출을 지원할 수 있다.

Description

능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법{Image Processing System and Method Based on Active Motion Recognition Tracking}

본 발명은, TV나 비디오를 비롯한 제반 동영상, 정지영상, 텍스트 등의 영상을 시청하고 조작 처리함에 있어서, 콘텐츠 크리에이터(Content Creator), 콘텐츠 리크리에이터(Content Recreator) 등을 포함한 시청자가 원하는 위치에 해당 영상이 나타날 수 있도록 동작을 추적하여 영상 디스플레이 위치가 변화하고, 시청자가 고정되기를 원하는 위치에 고정될 수 있도록 함은 물론, 해당 위치에서 디스플레이 되는 화면을 터치하거나 모션으로 디스플레이 상태를 조작할 수 있도록 하는 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법에 관한 것이다.

초기의 TV나 비디오 등의 영상을 시청할 수 있는 장치는 고정된 위치에 설치되는 형태였다. 그러던 것이 소형화와 경량화를 거치면서 휴대가 가능한 형태로 발전하였다. 여기에 터치 스크린이나 모션 인식 기술이 발전하면서 부착된 버튼 등을 조작하지 않고도 화면을 터치하거나 일정한 거리의 공간에서 시선 등의 모션을 인식하도록 함으로써 조작하는 기술로 발전하였다. 하지만, 이런 모든 기술들은 고정된 위치에서 인간의 터치나 모션을 인식하는 형태였으며, 영상의 이동도 시선을 추적하는 형태로 하되, 표시되는 위치는 고정된 영역 내에서 이동하는 형태였다. 영상 영역 자체가 이동하는 형태는 아니었던 것이다. 실외에서 광고의 경우 떨어진 건물에 설치된 각각의 광고 디스플레이 장치가 연동하는 경우는 있었으나, 이것은 능동형으로 인간의 동작을 인식하는 형태가 아니라 주어진 환경에 미리 설정된 시나리오에 의해 연동되는 프로그램형 디스플레이라는 한계를 가지고 있었다. 이처럼 영상 표시 및 조작이 아직 인간의 일상생활의 모든 곳에서 인간의 생활 습성에 맞춤형으로 적용하기에는 한계가 있어왔던 것도 사실이다. 예를 들어, 거실에서 TV나 비디오를 시청하던 가정주부가 음식을 하러 주방 기구가 있는 장소로 이동했다고 생각해보자. 이 경우에는 거실의 TV를 시청할 수 없으므로, 휴대용 시청 장치를 별도로 가지고 이동하던지, 아니면 주방에도 TV나 비디오 시청 장치를 설치해놓고 움직일 수밖에 없는 상황이 발생한다. 그럼, 만일 베란다로 나가 빨래를 널거나, 화장실로 들어가는 상황에서는 어떻게 될까? 안방이나 건넌방, 사랑방 등 TV나 비디오 장치가 설치되어있지 않은 상태에서는 어떻게 될까? 자연히 시청하던 흐름은 끊어지고 정보의 단절이 발생하게 될 수밖에 없다. 이걸 조금 더 확대해보자. 최근에는 유튜브를 통해 콘텐츠를 시청하는 사람들(Content Viewers) 제작하는 사람들(Content Creators)은 물론 기존의 콘텐츠를 분해 조립하여 새로운 콘텐츠로 다시 만들어내는 콘텐츠를 재창조하는 사람들(Content Recreators)이 급속히 늘고 있다. 이들은 생활자체에 동영상이나 정지영상 등의 화상과 밀접한 관계를 맺을 수밖에 없다. 그런데, 이들이 이동하는 장소마다 시청기구를 들고다니기 어려운 불편한 상황들이 이어지는 문제점이 있었다.

이러한 문제점은 인간이 일상생활을 영위해나가는 과정에서 다양한 위치와 방향으로 시선 등을 포함한 몸동작이 변화할 수밖에 없고, 거기에 영상 처리 장치가 맞춤형으로 대응할 수 없었던 원인에 기인한다.

이를 해결하기 위한 방법으로, 아예 인간이 원하는 방향과 위치에 자동적으로 원하는 내용이 디스플레이되도록 하고, 그것을 터치나 모션을 능동적으로 인식하여 처리해줄 수 있도록 영상 처리해주면 어떻게 될까? 그러면, 굳이 다수의 기기를 별도의 위치에 놓지 않더라도, 일정 영역의 영상 처리 장치들을 연동시켜 자연스럽게 인간의 동작을 능동적으로 인식하여 추적하며 영상 처리를 해줌으로써 인간의 생활 리듬에 맞는 영상 처리 지원이 가능하게 될 것이다. 이러한 인간의 생활 리듬에 맞는 영상 처리를 위해 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법을 확립할 필요성이 증대하게 되었다.

KR 대한민국 등록특허 제10-1558619-0000호, 시선인식 디스플레이 시스템 KR 대한민국 등록특허 제10-1414823-0000호, 장치의 움직임에 반응하여 사용자 인터페이스 화면을 디스플레이하는 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체 KR 대한민국 등록특허 제10-1756249-0000호, 헤드업 디스플레이의 위치 제어 장치 및 방법 KR 대한민국 등록특허 제10-1679265-0000호, 투명 디스플레이 장치 및 그 동작 방법 KR 대한민국 등록특허 제10-1786581-0000호, 헤드업 디스플레이의 표시 제어 장치 KR 대한민국 등록특허 제10-0843093-0000호, 움직임에 따라 컨텐츠를 디스플레이하는 장치 및 방법 KR 대한민국 등록특허 제10-1230265-0000호, 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말 KR 대한민국 공개특허 제10-2013-0081901호, 시선인식을 이용한 장치 연결 방법 및 장치 KR 대한민국 거절특허 제10-2011-0034768호, 디스플레이화면의 시선인식 시스템 및 그 방법 KR 대한민국 공개특허 제10-2013-0018394호, 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 KR 대한민국 등록특허 제10-1254037-0000호, 시선 및 제슈처 인식을 이용한 화면 처리 방법 및 휴대단말 KR 대한민국 등록특허 제10-1745774-0000호, 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템 KR 대한민국 등록특허 제10-1788452-0000호, 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법 KR 대한민국 등록특허 제10-1920646-0000호, 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법 KR 대한민국 공개특허 제10-201-7027275호, 시선 추적과 음성 인식을 조합하여 제어를 개선하는 방법 KR 대한민국 등록특허 제10-1817436-0000호, 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법 KR 대한민국 등록특허 제10-1395819-0000호, 시선 추적 장치 및 방법 KR 대한민국 등록특허 제10-1769177-0000호, 시선 추적 장치 및 방법 KR 대한민국 등록특허 제10-1961266-0000호, 시선 추적 장치 및 이의 시선 추적 방법 KR 대한민국 등록특허 제10-1671838-0000호, 시선 추적을 이용한 입력 장치

정수영, 최종훈, "자동차 윈도우를 활용한 감성 영상콘텐츠 적용 방안", 한국콘텐츠학회논문지. 2014-01 14:37-46

전술한 요구에 부응하기 위해 본 발명은, 일정 공간의 영상 처리가 가능한 공간을 구획하여 위치 정보를 부여한 후, 인간이 원하는 위치에 가장 근접한 공간에 영상 디스플레이를 포함한 관련 영상 처리가 가능하도록 하는 것을 맞춤형으로 보장해주는데 그 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 집안이나 회사 내 등 일정 공간에서 영상 디스플레이가 가능한 공간에서 인간이 원하는 위치에 영상이 디스플레이되고 인간의 동작을 능동적으로 인식하여 처리할 수 있도록, 인간의 생체 패턴을 능동적으로 인식하여 인증하는 생체패턴능동인증부, 인간의 동작 신호를 능동적으로 인식하여 원하는 위치로 영상 표시 위치를 옮길 것인지 여부를 식별하는 영상위치이동식별부, 영상 처리가 가능한 공간을 구획하여 위치 정보를 능동적으로 지속 추적 확인하는 영상위치추적확인부, 인간이 원하는 위치를 능동적으로 인식 확정하여 영상을 표시하는 확정위치영상표시부, 인간의 터치나 모션이나 음성 등의 동작 신호를 능동적으로 지속 인식하여 영상 처리를 제어해주는 영상처리능동제어부를 포함하는 것을 특징으로 하는 능동형 동작 인식 추적 기반의 영상 처리 시스템을 제공한다.

또한, 본 발명의 또다른 목적에 의하면, 능동형 동작 인식 추적 기반의 영상 처리 방법에 있어, (a) 인간의 생체 패턴을 능동적으로 인식하여 인증하는 단계; (b) 인간의 동작 신호를 능동적으로 인식하여 원하는 위치로 영상 표시 위치를 옮길 것인지 여부를 식별하는 단계; (c) 영상 처리가 가능한 공간을 구획하여 위치 정보를 능동적으로 지속 추적 확인하는 단계; (d) 인간이 원하는 위치를 능동적으로 인식 확정하여 영상을 표시하는 단계; (e) 인간의 터치나 모션이나 음성 등의 동작 신호를 능동적으로 지속 인식하여 영상 처리를 제어해주는 단계

를 포함하는 능동형 동작 인식 추적 기반의 영상 처리 방법을 제공한다.

이상에서 설명한 바와 같이 본 발명에 의하면, 가정이나 회사 등의 일정한 공간에서 작업하는 인간의 생체 패턴을 인식하여 인증한 후, 일정 영역 내에서 구획으로 구분하여 파악한 영상 처리 가능 위치를 기반으로, 해당 인간의 동작 신호를 능동적으로 인식하여, 영상 처리가 가능한 구획으로 식별한 위치 정보를 능동적으로 지속 추적 확인하고, 인간이 원하는 위치를 능동적으로 인식 확정하여 영상을 표시한 후, 인간의 터치나 모션을 능동적으로 지속 인식하여 영상 처리를 제어해줌으로써, 스마트 홈에 스마트 인테리어 기능을 부가해주는 역할을 한다. 이러한 기술 기반으로 생활 리듬에 맞는 스마트 콘텐츠의 생산을 지원해줌으로써 재택 근무를 촉진하는 결정적인 효과를 창출할 수 있다.

도1은 본 발명의 핵심 장치인 능동형 동작 인식 추적 기반의 영상 처리 시스템의 블록도이다.
도1의 100은 인간의 생체 패턴을 능동적으로 인식하여 인증하는 생체패턴능동인증부이다.
도1의 200은 인간의 동작 신호를 능동적으로 인식하여 원하는 위치로 영상 표시 위치를 옮길 것인지 여부를 식별하는 영상위치이동식별부이다.
도1의 300은 영상 처리가 가능한 공간을 구획하여 위치 정보를 능동적으로 지속 추적 확인하는 영상위치추적확인부이다.
도1의 400은 인간이 원하는 위치를 능동적으로 인식 확정하여 영상을 표시하는 확정위치영상표시부이다.
도1의 500은 인간의 터치나 모션을 능동적으로 지속 인식하여 영상 처리를 제어해주는 영상처리능동제어부이다.
도2는 능동형 동작 인식 추적 기반의 영상 처리 방법을 흐름도로 나타낸 것이다.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다.

도1은 본 발명의 실시를 위한 능동형 동작 인식 추적 기반의 영상 처리 시스템의 블록 구성도이다.

본 발명의 실시에 따른 능동형 동작 인식 추적 기반의 영상 처리 시스템은 생체패턴능동인증부(100), 영상위치이동식별부(200), 영상위치추적확인부(300), 확정위치영상표시부(400), 영상처리능동제어부(500)로 구성된다.

도1의 『능동형 동작 인식 추적 기반의 영상 처리 시스템』의 인간 동작의 능동적인 추적을 통한 원하는 위치로의 영상 이동 표시와 이를 근거로 한 영상 처리를 지원하는 원리를 설명해보자.

도1의 100의 생체패턴능동인증부는 인간의 망막 모세 혈관 분포 패턴, 홍채의 무늬 형태 색깔 등의 패턴, 지문 패턴, 얼굴 모양 패턴, 음성 패턴 등의 생체 패턴을 단일 또는 복합 인식 통해 능동적으로 해당 인물에 대한 인증을 수행한다.

도1의 200의 영상위치이동식별부는 영상 처리 장치가 인간의 동작 신호를 능동적으로 인식하여 원하는 위치로 영상 표시 위치를 옮길 것인지 여부를 식별한다. 예를 들어, 눈깜박 동작 신호를 인식하는 경우 영상위치이동식별부는 동작하는 인간의 눈깜박임 신호를 능동적으로 인식하여 영상을 이동시킬지 여부를 결정한다. 예를 들어, 인간이 영상 장치를 보며 짧게 3번 연속하여 눈을 깜박일 경우 영상을 이동시키는 것으로 신호를 보내는 것이라 할 때, 이를 인식하여 그 때부터 영상을 이동 모드로 절환한다. 이때부터 영상은 위치 이동 추적 모드로 절환된다.

여기서 인간의 동작 신호라 함은 단순히 움직이는 동작 뿐만이 아니라, 터치, 모션이외의 표정, 음성 등과 같은 신호를 포함한 보다 포괄적으로 인간이 장치에 보내는 모든 동작 신호를 의미한다. 이를 능동적으로 인식한다 함은 인간이 주체적으로 신호를 보내는 것을 인식하는 것이 아니라, 인간이 행하는 모든 동작 신호를 능동형 동작 인식 추적 기반의 영상 처리 시스템이 능동적으로 인식하여 분석 식별한 후 자동적으로 일련의 신호 목적에 맞는 작업 처리를 행할 수 있도록 함을 의미한다.

따라서, 능동형 동작 인식 추적 기반의 영상 처리 시스템에서는 인간이 영상 처리의 주체가 아니라 영상 처리 시스템이 능동적으로 처리의 주체가 되어 인간의 신호를 인식하여 처리하는 형태의 작업이 이루어진다.

도1의 300의 영상위치추적확인부는 위치 이동 추적 모드로 절환된 상태에서 해당 인간이 영상이 멈추기를 원하는 위치 근처를 바라보면서 위치 이동 추적 모드로 절환할 때 썼던 신호와 동일한 신호(예를 들어, 짧게 3번 연속하여 눈을 깜박이는 신호)를 보내면, 해당 위치에서 영상이 정지되어 나타난다. 이때 위치 이동 추적 모드에서 위치 고정 모드로의 절환은 토글 형태로 나타나게 할 수도 있고, 서로 다른 동작 신호를 줌으로써 절환하게 할 수도 있다. 또한, 동작 신호는 눈깜박임뿐만이 아니라, 손동작이나 음성 신호 등과 같이 전혀 다른 동작 신호 형태로 줄 수도 있다. 중요한 것은 위치 이동 추적 모드로 절환할 때와 위치 고정 모드로 절환하는 것에는 신호를 준다는 것이며, 이 인간의 신호를 수동적으로 기다리는 것이 아니라, 해당 시스템이 적극적이고 능동적으로 인간의 신호를 지속적으로 감지하여 대응하는 것이 특징이다.

도1의 400의 확정위치영상표시부는 인간이 위치 확정 신호를 보낼 경우 이를 인식하여 해당 확정 위치에 영상을 고정적으로 표시해주는 역할을 한다. 이때, 확정 위치는 하나가 될 수도 있고, 신호를 주는데 따라, 2개 이상의 위치에 나타나도록 할 수도 있다. 이런 경우는 2명 이상이 작업하는 경우에 적용할 수 있으며, 1명이 작업하더라도 다양한 위치에 동시에 동일한 영상 또는 서로 다른 다수의 영상을 나타내어 비교 분석하면서 작업하는 것이 더 편리할 경우에도 동작 신호를 능동적으로 인식하여 표시하는 작업을 수행한다.

도1의 500의 영상처리능동제어부는 인간의 터치 또는 모션을 능동적으로 인식하여 인간이 원하는 방향으로 조작 제어 처리를 행하는 역할을 수행한다. 이는 스마트 홈과 스마트 인테리어에서 발전하여 스마트 콘텐츠를 만들어내는 행위를 인간이 행할 경우에 영상표시 장치가 보다 능동적으로 인간의 다양한 동작을 인식하여 대응하기 위한 관점에서 구현된 기능이라고 볼 수 있다.

이런 형태로, 어떤 특정 범위 내의 여러 위치에서 다양한 형태의 영상 표시 및 조작 제어를 능동적으로 인식하여 처리하는 것을 가능하게 한다.

능동형 동작 인식 추적 기반의 영상 처리 방법을 흐름도 형태로 나타내면 도2와 같다. 세부적으로 설명해보자.

첫째, 인간의 생체 패턴을 능동적으로 인식하여 인증한다(도2의 A110).

둘째, 인간의 동작 신호를 능동적으로 인식하여 원하는 위치로 영상 표시 위치를 옮길 것인지 여부를 식별한다(도2의 A120)

셋째, 영상 처리가 가능한 공간을 구획하여 위치 정보를 능동적으로 지속 추적 확인한다(도2의 A130).

넷째, 인간이 원하는 위치를 능동적으로 인식 확정하여 영상을 표시한다(도2의 A140).

다섯째, 인간의 터치나 모션을 능동적으로 지속 인식하여 영상 처리를 제어해준다(도2의 A150).

제4차 산업혁명 시대가 도래한 이후 산업 변화가 급속히 진행됨에 따라 기존의 직업은 사라지고 새로운 직업이 창출되어야 하는 시기가 되었다. 이런 시기에서는 기존과 같이 아침 9시 출근과 저녁 6시 퇴근이라는 산업 사회의 공식은 사라지게 되며, 재택 근무와 같은 다양한 자유로운 직업군의 출현이 필연적이 된다.

이런 상황하에서는 가정이나 회사도 보다 스마트한 형태로 환경이 구축되어야 하며, 빅 데이터를 비롯한 정보의 창조와 구축 그리고 기존 데이터의 분해 조립을 통한 콘텐츠 재창조가 아주 중요해진다.

직업 환경이 이처럼 급속히 변화하고 있는데 작업 환경이 단순히 노트북이나 PC 등으로 이루어지는 형태처럼 위치에 제약을 받게 되면 효율성과 생산성이 떨어진다. 이러한 문제점을 해결하기 위해 스마트 인테리어 기술을 적용하여 가정의 벽면을 포함한 다양한 공간을 능동형 디스플레이 소자를 포함하는 능동 인식 처리 시스템 형태로 만들어 본 발명을 적용하면, 기존에 직장 등 경제 활동에서 소외된 가정주부, 노인, 장애인, 미취업자 등은 물론 프리랜서도 포함하여 본인의 의지에 따라 적성에 맞는 직업을 자택 등 다양한 영역에서 자유롭게 가질 수 있게 할 수 있는 등 경제 활동의 폭이 획기적으로 증대하게 된다. 이를 통해 산업의 보다 창조적이고 미래지향적인 발전에 커다란 기여를 하는 형태로 이용될 것으로 예상된다.

100: 생체패턴능동인증부
200: 영상위치이동식별부
300: 영상위치추적확인부
400: 확정위치영상표시부
500: 영상처리능동제어부

Claims

능동형 동작 인식 추적 기반의 영상 처리 시스템에서,
인간의 생체 패턴을 능동적으로 인식하여 인증하는 생체패턴능동인증부;
동작 신호를 능동 인식하여 원하는 위치로의 영상 표시 위치 이동 여부를 식별하는 영상위치이동식별부;
영상 처리가 가능한 공간을 구획하여 위치 정보를 능동적으로 지속 추적 확인하는 영상위치추적확인부;
인간이 원하는 위치를 능동적으로 인식 확정하여 영상을 표시하는 확정위치영상표시부;
인간의 동작 신호를 능동적으로 지속 인식하여 영상 처리를 제어해주는 영상처리능동제어부
를 포함하는 능동형 동작 인식 추적 기반의 영상 처리 시스템.
능동형 동작 인식 추적 기반의 영상 처리 방법에 있어,
(a) 인간의 생체 패턴을 능동적으로 인식하여 인증하는 단계;
(b) 동작 신호를 능동 인식하여 원하는 위치로의 영상 표시 위치 이동 여부를 식별하는 단계;
(c) 영상 처리가 가능한 공간을 구획하여 위치 정보를 능동적으로 지속 추적 확인하는 단계;
(d) 인간이 원하는 위치를 능동적으로 인식 확정하여 영상을 표시하는 단계;
(d) 인간의 동작 신호를 능동적으로 지속 인식하여 영상 처리를 제어해주는 단계
를 포함하는 능동형 동작 인식 추적 기반의 영상 처리 방법.