KR20150114589A - 피사체 재구성을 위한 장치 및 방법 - Google Patents

피사체 재구성을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20150114589A
KR20150114589A KR1020140038391A KR20140038391A KR20150114589A KR 20150114589 A KR20150114589 A KR 20150114589A KR 1020140038391 A KR1020140038391 A KR 1020140038391A KR 20140038391 A KR20140038391 A KR 20140038391A KR 20150114589 A KR20150114589 A KR 20150114589A
Authority
KR
South Korea
Prior art keywords
image
unit
angle
objects
detecting
Prior art date
Application number
KR1020140038391A
Other languages
English (en)
Inventor
신임근
Original Assignee
주식회사 유비벨록스모바일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유비벨록스모바일 filed Critical 주식회사 유비벨록스모바일
Priority to KR1020140038391A priority Critical patent/KR20150114589A/ko
Publication of KR20150114589A publication Critical patent/KR20150114589A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 피사체 재구성 장치는, 단말에 장착되어, 렌즈에 노출된 객체들을 촬영하고 영상을 생성하는 카메라부와, 상기 생성된 영상을 구성하는 객체들을 인식하고 각 객체의 지향방향을 검출하는 객체 인식부와, 사용자의 선택을 입력받는 입력부와, 상기 입력부를 통해 사용자가 특정 객체를 선택하면, 해당 객체를 기준 객체로 설정하는 제어부와, 상기 기준 객체까지의 거리 그리고 각 객체들간의 거리를 검출하는 거리 검출부와, 상기 기준 객체와의 각도 그리고 기준 객체와 다른 객체들간의 각도를 검출하는 각도 검출부와, 상기 검출된 지향방향에 관한 정보와, 거리 및 각도정보에 따라 상기 생성된 영상을 회전, 확대, 축소하여 상기 기준 객체 중심의 시점으로 영상을 재구성하는 영상 재구성부와, 상기 재구성된 영상을 단말화면에 출력하는 디스플레이부를 포함하여 구성된다.
본 발명에 따른 피사체 재구성 장치는 영상 속 인물 중심의 시점으로 영상을 재구성함으로써 영상 속의 인물이 바라보는 정보를 직접 확인할 수 있고, 이를 다양한 서비스에 응용할 수 있을 것으로 기대된다. 특히 폐쇄회로(CCTV)나 차량용 블랙박스와 같이 연속으로 촬영된 영상을 변환하여 기준객체의 시각에서 객체들의 움직임을 재구성함으로써 추적에 필요한 정보를 추가로 확보할 수 있다.

Description

피사체 재구성을 위한 장치 및 방법{APPARATUS AND METHOD FOR SUBJECT RECONSTRUCTION}
본 발명은 영상을 촬영하고 모니터링하는 장치에 관한 것으로 특히, 촬영된 영상의 모니터링을 위해 영상을 합성 및 재구성하는 장치에 관한 것이다.
우리 주변에는, 의도하든 혹은 의도하지 않든 가정, 회사, 빌딩, 지하철역, 도로변, 공공장소 등에는 다양한 목적의 촬영 및 모니터링 장치들이 존재한다. 이러한 촬영 및 모니터링 장치들은 범죄예방이나 치안용, 산업용, 교육용, 의료용, 교통 관제용 감시, 방재용 및 사내의 화상정보 전달용 등 다양한 용도로 존재하며, 폐쇄회로 텔레비젼이라고 하는 CCTV(closed circuit television)가 그 대표적인 설비이다.
CCTV는 특정 수신자를 대상으로 화상을 전송하는 텔레비젼 방식을 말하며, 화상의 송,수신을 유선 또는 무선으로 연결하며 수신대상 이외는 임의로 수신할 수 없도록 되어 있어 폐쇄회로 텔레비젼이라고 한다. 최근에는 특히 골목과 같은 우범지대에 CCTV를 설치하는 등 범죄예방을 위한 설치가 늘고 있다.
특히, 우리 주변에 범죄예방이나 치안을 목적으로 하는 이러한 촬영 및 모니터링 장치의 설치가 급증하는 것은 그것이 가지는 범죄의 예방 및 억제효과, 범인의 발견 및 체포의 용이성, 시민들이 인식하는 범죄의 두려움 감소, 그리고 주요지역에의 설치로 인한 한정된 경찰인력의 보완 등의 효과가 실증적으로 증명되었기 때문이다.
또한, 최근 IT기술과 디지털 영상처리 기술의 급격한 발전은 이러한 촬영 및 모니터링 장치들의 영상을 단순히 저장하고 공유하는데 그치지 않고, 합성과 재가공하는 기술의 성공 가능성을 높였고, 그에 따라 다양한 연구가 진행 중에 있다.
종래, 촬영 및 모니터링 장치들은 복수개의 카메라 혹은 연속된 사진을 이용하여 파노라마 사진을 합성하는 정도의 기능을 구비하고 있을 뿐, 촬영된 영상을 가공하여 피사체의 시점으로 화면을 재구성하거나 인물의 행적을 모니터링 할 수 있는 기능에 관한 연구와 기술개발은 아직 시도되지 않고 있다.
본 발명의 목적은 촬영된 사진을 피사체의 시점으로 전환하여 화면을 재구성하는 피사체 재구성 장치를 제공하는데 있다.
본 발명의 부가적인 특성 및 이점들은 아래의 설명에 기재될 것이며, 부분적으로는 상기 설명에 의해 명백해지거나 본 발명의 실행을 통해 숙지 될 것이다. 본 발명의 목표 및 다른 이점들은 특히 아래 기재된 설명 및 부가된 도면뿐만 아니라 청구항에서 지적한 구조에 의해 구현될 것이다.
본 발명에 따른 피사체 재구성 장치는 영상 속 인물 중심의 시점으로 영상을 재구성함으로써 영상 속의 인물이 바라보는 정보를 직접 확인할 수 있고, 이를 다양한 서비스에 응용할 수 있을 것으로 기대된다. 특히 폐쇄회로(CCTV)나 차량용 블랙박스와 같이 연속으로 촬영된 영상을 변환하여 기준객체의 시각에서 객체들의 움직임을 재구성함으로써 추적에 필요한 정보를 추가로 확보할 수 있다.
본 발명은 CCTV의 영상을 이용해 특정 인물의 행적을 추적할 때, 그 인물의 시각으로 영상을 재구성하여 인물의 행적을 모니터링할 수 있을 것이다. 또한, 블랙박스의 영상으로 특정 차량의 움직임을 추적할 때, 대상 차량 운전자의 시각으로 촬영된 영상을 재구성할 수 있을 것이다.
도1은 본 발명에 따라 피사체를 재구성하는 단말장치에 관한 블록 구성도.
도2는 본 발명에 따른 객체 인식부의 블록 구성도.
도3a는 본 발명에 따라 영상 속 객체들을 검출하고 거리와 각도를 산정한 영상의 예시도.
도3b는 본 발명에 따라 재구성된 영상의 예시도.
도4는 객체의 지향방향을 나타낸 예시도.
도5는 객체 안구의 위치를 참조한 지향방향에 관한 예시도.
도6은 본 발명에 따른 피사체 재구성 방법의 흐름도.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 피사체 재구성 장치는,
단말에 장착되어, 렌즈에 노출된 객체들을 촬영하고 영상을 생성하는 카메라부와, 상기 생성된 영상을 구성하는 객체들을 인식하고 각 객체의 지향방향을 검출하는 객체 인식부와, 사용자의 선택을 입력받는 입력부와, 상기 입력부를 통해 사용자가 특정 객체를 선택하면, 해당 객체를 기준 객체로 설정하는 제어부와, 상기 기준 객체까지의 거리 그리고 각 객체들간의 거리를 검출하는 거리 검출부와, 상기 기준 객체와의 각도 그리고 기준 객체와 다른 객체들간의 각도를 검출하는 각도 검출부와, 상기 검출된 지향방향에 관한 정보와, 거리 및 각도정보에 따라 상기 생성된 영상을 회전, 확대, 축소하여 상기 기준 객체 중심의 시점으로 영상을 재구성하는 영상 재구성부와, 상기 재구성된 영상을 단말화면에 출력하는 디스플레이부를 포함하여 구성된다.
바람직하게, 상기 객체 인식부는, 상기 생성된 영상의 각 객체들을 인식하고 검출하는 객체 검출부와, 상기 검출된 객체들의 지향방향을 검출하는 지향각 검출부와, 얼굴인식 기술을 통해 상기 검출된 객체 안면의 눈 각도를 추출하는 안각 검출부를 포함하여 구성되는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 피사체 재구성 방법은,
카메라 렌즈에 노출된 객체들을 촬영하고 영상을 생성하는 과정과, 객체 인식부가 상기 생성된 영상을 구성하는 객체들을 인식하고 각 객체의 지향방향을 검출하는 과정과, 입력부를 통해 사용자가 특정 객체를 선택하면, 제어부가 해당 객체를 기준 객체로 설정하는 과정과, 거리 검출부가 상기 기준 객체까지의 거리 그리고 각 객체들간의 거리를 검출하는 과정과, 각도 검출부가 상기 기준 객체와의 각도 그리고 기준 객체와 다른 객체들간의 각도를 검출하는 과정과, 영상 재구성부가 상기 검출된 지향방향에 관한 정보와, 거리 및 각도정보에 따라 상기 생성된 영상을 회전, 확대, 축소하여 상기 기준 객체 중심의 시점으로 영상을 재구성하는 과정과, 디스플레이부가 상기 재구성된 영상을 화면에 표시하는 과정을 포함하여 이루어진다.
바람직하게, 상기 객체의 지향방향을 검출하는 과정은, 상기 생성된 영상의 각 객체들을 인식하고 검출하는 과정과, 상기 검출된 객체들의 지향방향을 검출하는 과정과, 얼굴인식 기술을 통해 상기 객체 안면과 눈이 인식되면, 인식된 눈의 각도를 추출하는 과정을 포함하는 것을 특징으로 한다.
이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 설명하면 다음과 같다.
일반적으로 사진(예: 정지영상) 또는 동영상은 촬영자(카메라(O0))의 시각에서 보여지는 장면을 담은 것이다.
그러나, 사진이나 동영상에 사람(예: 객체O1 ~ On)이 포함된 경우 사진 속의 객체 중 하나(예: 객체O1)를 기준 객체로 설정하고, 기준 객체(O1)의 시점으로 바꿔서 본다면 촬영자(카메라(O0))의 시점보다 광각의 파노라마 사진을 구성할 수 있다.
예를 들어, 촬영자(카메라(O0))가 기준객체(O1)의 뒷면을 촬영한 경우, 기준 객체(O1) 중심의 시점에서 본다면 전면/좌측/우측의 모습이 포함된 영상을 구성할 수 있다. 특히, 카메라 모듈이 광각을 지원한다면 기준 객체(O1) 중심의 시점에서 보다 넓은 각도(시야각)의 영상을 생성할 수 있다.
이렇게, 영상 속 인물(예: 객체O1) 중심의 시점으로 영상을 재구성함으로써 영상 속의 인물(예: 객체O1)이 바라보는 정보를 직접 확인할 수 있고, 이를 다양한 서비스에 응용할 수 있을 것으로 기대된다. 특히 폐쇄회로(CCTV)나 차량용 블랙박스와 같이 연속으로 촬영된 영상을 변환하여 기준객체(O1)의 시각에서 객체들의 움직임을 재구성함으로써 추적에 필요한 정보를 추가로 확보할 수 있다.
본 발명에 따른 영상시점 변환 기술은, 우선, 영상(예: 사진, 동영상) 속에서 인식이 가능한 모든 객체들(O1~O2)을 인식하여 검출한 후, 도3a에 도시된 바와 같이, 각 객체들과 촬영자(O0) 간의 거리(L1~L3)와 촬영각도(D1~D3)를 산정한다. 도3a는 본 발명에 따라 영상 속 객체들을 검출하고 거리와 각도를 산정한 영상의 예시도이다.
본 발명은 기준 객체(예: 객체O1)가 선택되면, 기준 객체(예: 객체O1)와 각 객체들 간의 거리 및 각도를 산정하고, 산정된 정보들을 이용해서 영상을 회전/ 확대/축소하여 도3b에 도시된 바와 같이, 기준 객체(예: 객체O1) 중심의 시점으로 영상을 재구성한다. 도3b는 본 발명에 따라 재구성된 영상의 예시도이다.
도1은 본 발명에 따라 피사체를 재구성하는 단말장치에 관한 블록 구성도(block diagram)이다.
본 발명에 따라 피사체를 재구성하는 단말장치(100)는 휴대폰, 스마트 폰(smart phone), 테블릿 컴퓨터, 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 차량 블랙박스 등과 같은 이동형 단말기이거나, 또는 데스크탑(Desktop) 과 같은 고정형 단말기일 수 있다.
도1을 참조하여, 본 발명에 따라 피사체를 재구성하는 단말장치를 살펴보면 다음과 같다.
본 발명에 따라 피사체를 재구성하는 단말장치(100)는 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 전원 공급부(190) 및 영상시점 변환모듈(300) 등의 구성요소들을 포함할 수 있다.
상기 통신부(110)는 단말장치(100)와 통신 시스템 간의 통신, 또는 단말장치(100)와 단말장치(100)가 위치한 네트웍간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(110)는 방송수신 모듈, 데이터 통신모듈, 근거리 통신 모듈, 그리고 위치정보 모듈 중, 적어도 하나 혹은 그 이상을 포함할 수 있다.
상기 A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 카메라부(121)와 마이크(122) 등이 이에 포함될 수 있다. 상기 카메라부(121)는 단말장치(100)에 장착되어, 렌즈에 노출된 객체들을 촬영하고 영상을 생성한다. 또한, 촬영모드에서 이미지 센서에 의해 얻어지는 정지영상이나 동영상의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부 (151)에 표시될 수 있다.
상기 카메라부(121)에서 처리된 화상 프레임은 상기 메모리(160)에 저장되거나 통신부(110)를 통해 외부로 전송될 수 있다. 상기 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수 있다.
카메라부(121)는 피사체의 상을 결상시키는 렌즈 유닛과, 렌즈 유닛에 의해 결상된 상을 전기적 신호인 영상신호로 변환하는 촬상 소자를 포함한다. 촬상 소자는 결상된 피사체의 상을 광전 변환하는 소자로서, 씨씨디(CCD; charge coupled device) 촬상 소자나, 씨모스(CMOS; complementary MOS) 촬상 소자가 이용될 수 있다.
상기 마이크(122)는 촬영모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향신호를 입력받아 전기적인 음성 데이터로 처리한다.
상기 사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 또한, 상기 생성된 영상의 특정 객체를 선택하는 사용자의 명령을 입력받는다.
상기 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 때, 이를 터치 스크린이라 부를 수 있다.
또한, 상기 인터페이스부(170)는 단말장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 단말장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령신호가 단말장치(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령신호 또는 상기 전원은 상기 외부 전자기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
상기 출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향출력 모듈(152), 알람부(153) 등을 포함할 수 있다.
상기 디스플레이부(151)는 촬영과 관련된 정보는 물론, 단말장치(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 단말장치(100)가 촬영한 영상이나 기준객체 중심의 시점으로 재구성된 영상을 표시하고, 촬영모드인 경우 사진촬영 또는 동영상 촬영과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함한다.
그리고 단말장치(100)의 구현 형태에 따라 디스플레이부(151)는 2개 이상 존재할 수 있다. 예를 들어, 단말장치(100)에는 복수의 디스플레이 부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
상기 디스플레이부(151)와 터치동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력장치 이외에 입력장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
상기 음향출력 모듈(152)는 녹음모드, 음성인식 모드, 방송수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(152)은 단말장치(100)에서 수행되는 기능(예를 들어, 동영상 재생 등)과 관련된 음향신호를 출력한다. 이러한 음향출력 모듈(152)에는 리시버(Receiver), 스피커 (speaker), 버저(Buzzer) 등이 포함될 수 있다.
상기 알람부(153)는 단말장치(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 상기 이벤트의 예로는 데이터 전송, 메시지 수신, 키 신호 입력, 터치입력 등이 있다. 알람부(153)는 오디오 신호나 비디오 신호 이외에 다른 형태로 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151, 152)은 알람부(153)의 일부로 분류될 수도 있다.
상기 메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 상기 카메라부(121)의 촬영 데이터들(예를 들어, 정지영상, 동영상 등)과 본 발명에 따라 재구성된 영상들의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 단말장치(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
상기 제어부(180)는 통상적으로 단말장치의 전반적인 동작을 제어한다. 예를 들어 피사체 재구성 및 데이터 통신 등과 관련된 제어 및 처리를 수행한다. 제어부(180)는 상기 입력부(130)를 통해 사용자가 특정 객체를 선택하면, 해당 객체를 기준 객체로 설정한다.
그리고, 본 발명에 따라 재구성된 영상을 상기 디스플레이부(151) 화면에 출력한다.
상기 전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
상기 영상시점 변환모듈(300)은 상기 카메라부(121)가 촬영한 영상(예: 사진, 동영상) 속에서 인식이 가능한 모든 객체들(O1~O2)을 인식하여 검출한 후, 도3a에 도시된 바와 같이, 각 객체들과 촬영자(O0) 간의 거리(L1~L3)와 촬영각도(D1~D3)를 산정한다. 그리고, 사용자가 상기 인식된 객체들(O1~O2) 중, 기준 객체(예: 객체O1)를 하나 선택하면, 그 기준 객체(예: 객체O1)와 각 객체들 간의 거리 및 각도를 산정하고, 산정된 정보들을 이용해서 영상을 편집하여 기준 객체(예: 객체O1) 중심의 시점으로 영상을 재구성한다.
본 발명에 따른 영상시점 변환모듈(300)은 도1에 도시된 바와 같이, 객체 인식부(310), 거리 검출부(320), 각도 검출부(330), 영상 재구성부(340)를 포함하여 구성된다.
상기 객체 인식부(310)는 상기 카메라부(121)의 촬영 영상 혹은 메모리 (160)의 저장 영상을 로드하여 해당 영상을 구성하는 객체들(예: 사람 혹은 동물 등)을 인식하고 각 객체의 지향방향을 검출한다.
상기 거리 검출부(320)는 사용자가 선택한 기준 객체까지의 거리(L2) 그리고 각 객체들간의 거리(L1, L3)를 검출한다.
본 발명은 이미지 촬영시, 소정 거리계측기를 이용하여, 가장 가까운 거리에 있는 객체(예: O1)까지의 거리(L2)를 측정하고, 그 측정된 거리값을 각 객체들간의 거리 검출을 위한 기준 값으로서, 상기 거리 검출부(320)에 제공한다. 그리고, 거리 검출부(320)는 제공된 기준 값을 참조하여, 기준객체와 각 객체들간의 거리검출을 수행한다. 상기 소정의 거리 계측기는 적외선 거리측정 센서, 초음파 거리측정 센서, 및 레이져 거리 측정기 등 다양한 계측기를 채용할 수 있다.
상기 각도 검출부(330)는 상기 기준 객체와의 각도 그리고 기준 객체와 다른 객체들간의 각도를 검출한다.
각도 검출부(330)는 카메라부(121)의 렌즈 축이 지향하는 방향(정면방향)과 기준 객체(예: 기준 객체가 위치하는 지점)와의 각도(수평각), 그리고 기준 객체와 다른 객체들간의 각도를 검출한다. 본 발명에 따른 각도 검출부(330)는 렌즈 축이 지향하는 방향(정면방향)을 기준으로, 좌측(L)과 우측(R)으로 나누어 각도를 검출한다. 이때 검출되는 각은 수평각이며, 0~90˚(예: L30˚ 혹은 R45˚)의 범위를 가질 수 있으며, 카메라 모듈이 광각을 지원하는 경우 상기 검출되는 각의 범위는 더 넓어질 것이다. 상기 L30˚는 렌즈 축의 지향방향(정면방향)에서 좌측으로 30˚각도를 의미하는 것이며, 상기 R45˚는 렌즈 축의 지향방향(정면 방향)에서 우측으로 45˚각도를 의미하는 것이다. 예를 들어, 도3a의 객체O1이 렌즈 축이 지향하는 방향(정면방향)과 45˚의 각을 이루는 경우, 객체O1의 각도정보(D2)는 R45˚가 될 것이다. 그리고, 객체O2가 렌즈 축 지향방향(정면 방향)과 30˚의 각을 이루는 경우, 객체O2의 각도정보(D1)는 L30˚가 될 것이다.
상기 영상 재구성부(340)는 상기 검출된 지향방향에 관한 정보와, 거리 및 각도정보에 따라 상기 생성된 영상을 회전, 확대, 축소하여 상기 기준 객체 중심의 시점으로 영상을 재구성한다.
영상 재구성부(340)는 상기 생성된 영상에서 객체로 인식되지 못한 사물(예: 산, 도로 등)에 대해서는 인접한 객체들의 거리정보와 각도정보를 이용하여 평균 처리한다.
이때, 상기 평균처리는 객체로 인식되지 않은 일반 사물(예: 산, 도로 등)을 배경으로 처리하기 위한 것으로, 기준 객체 중심으로 산정한 각도에 따라 상기 일반 사물(예: 산, 도로 등)에 대해 회전이나 늘임 등의 처리를 적용한다는 의미이다.
영상 재구성부(340)는 상기 객체 인식부(310)의 얼굴인식을 통해 상기 기준 객체가 바라보는 시각이 확인되면, 기준 객체의 시각이 지향하는 방향이 변환된 영상의 중심에 위치하도록 회전하여 최종 이미지를 구성한다. 만일, 상기 얼굴인식을 통해 상기 기준 객체의 시각이 확인되지 않으면, 기준 객체가 지향하는 방향(정면 방향)이 변환된 영상의 중심에 위치하도록 한다.
본 발명에 따른 객체 인식부(310)는 도2에 도시된 바와 같이, 객체 검출부(302), 지향각 검출부(304), 안각 검출부(306)를 포함하여 구성된다. 도2는 본 발명에 따른 객체 인식부의 블록 구성도이다.
상기 객체 검출부(302)는 상기 생성된 영상의 각 객체들을 인식하고 검출한다.
상기 지향각 검출부(304)는 상기 검출된 객체들의 지향방향을 검출한다. 사실상, 객체의 지향방향은 얼굴인식을 통해, 도4에 도시된 바와 같이, 객체의 안면이 지향하는 방향을 객체의 지향방향으로 인식한다. 도4는 객체의 지향방향을 나타낸 예시도이다.
상기 안각 검출부(306)는 얼굴인식 기술을 통해 도5에 도시된 바와 같이, 상기 검출된 객체 안면의 눈(안구(眼球)) 각도를 추출한다. 도5는 객체 안구의 위치를 참조한 지향방향에 관한 예시도이다.
본 발명은 객체(예: O1)의 눈이 지향하는 각도를 안구(眼球)가 위치하는 지점에 따라 단순히 좌측(Left)응시, 우측(Right)응시, 정면(Front)응시의 3가지로 분류하며, 상기 좌측(Left)응시는 정면으로부터 좌측 45˚각도(L45˚)이며, 우측(Right)응시는 정면으로부터 우측 45˚각도(R45˚)인 것으로 설정한다.
객체(예: O1)의 안구(眼球)가 좌측(Left)에 위치하는 것으로 검출되면, 안각 검출부(306)는 상기 지향각 검출부(304)가 검출한 객체(예: O1)의 지향방향(정면 (Front) 응시에 해당)으로부터 추가로 좌측으로 45˚각도를 이동한 방향을 사실상 상기 객체(예: O1)의 지향방향으로 설정한다.
안각 검출부(306)의 안구(眼球) 각도 추출은 우측 안구 우선으로 수행한다. 도5의 a)에 도시된 바와 같이 우측 안구의 각도가 우측응시(RR), 정면응시(RF), 혹은 좌측응시(RL)인지를 판정한다. 그리고, 우측 안구가 인식되지 않으면, 좌측 안구의 각도를 추출하여 도5의 b)에 도시된 바와 같이 안구 각도가 우측응시(LR), 정면응시(LF), 혹은 좌측응시(LL)인지 여부를 판정한다.
만일, 객체가 등진모습을 취하고 있거나 얼굴인식에 실패한 경우, 안각 검출부(306)는 객체가 정면응시(RF, LF)하는 것으로 간주하게 되며, 상기 지향각 검출부(304)에서 검출된 객체의 지향방향에 관한 정보가 객체 인식부(310)의 최종 검출정보로서 영상 재구성부(340)측에 제공된다.
본 발명은 상기 영상시점 변환모듈(300)이 단말기에 부속된 것으로 예시하여 설명하였으나, 영상시점 변환모듈(300)이 실장된 영상 시점변환 기능을 처리하는 서버시스템을 구현할 수도 있다.
영상시점 변환모듈(300)이 서버시스템에 실장되는 경우, 해당 서버 시스템은 네트워크를 통해 각 단말들(예: CCTV 등)로부터 인입된 영상에 대한 분석과 시점 변환작업을 수행할 수 있다.
영상시점 변환모듈(300)을 실장한 서버시스템은 복수개의 단말들(예: CCTV 등)로부터 인입된 영상을 연결해서 처리할 수 있으며, 서버 시스템의 자원(처리용량)에 따라 실시간 처리(영상시점 변환)가 가능한 장점을 갖는다.
이하, 본 발명에 따른 피사체를 재구성 장치의 동작을 상세히 설명하면 다음과 같다.
도6은 본 발명에 따른 피사체 재구성 방법의 흐름도이다.
도6에 도시된 바와 같이, 본 발명에 따른 피사체 재구성 장치는 우선, 카메라 렌즈에 노출된 객체들을 촬영하고 영상(예: 정지영상, 동영상 등)을 생성한다. (S10)
그리고, 객체 인식부(310)를 통해, 상기 촬영 영상(혹은 메모리(160)의 저장 영상)을 구성하는 객체들(예: 사람 혹은 동물 등)을 인식하고 각 객체의 지향방향을 검출한다. (S20) 그리고, 다른 한편으로, 사용자의 선택에 따라 상기 인식된 객체들(예: O1~O2) 중 하나를 기준 객체(예: O1)를 설정한다. (S30)
상기 과정(S20)을 위해, 상기 객체 인식부(310)의 객체 검출부(302)는 우선, 상기 촬영 영상(혹은 메모리(160)의 저장 영상)을 구성하는 객체들(예: O1~O2)을 인식하고 검출한다.
그리고, 상기 지향각 검출부(304)가 상기 기준 객체(예: O1)의 지향방향을 검출한다. 만일, 상기 기준 객체(예: O1)의 얼굴(예: 눈 안구(眼球))이 인식 가능한 경우, 안각 검출부(306)는 상기 검출된 객체(예: O1) 안면의 안구(眼球) 각도(예: (L45˚))를 추출한다. 상기 영상 재구성부(340)는 상기 기준 객체(예: O1) 중심의 시점으로 영상을 재구성할 때, 상기 추출된 안구(眼球) 각도 정보(예: (L45˚))를 참조한다.
만일, 상기 기준 객체(예: O1)의 얼굴을 인식할 수 없는 경우, 영상 재구성부(340)는 객체 인식부(310)의 최종 검출정보로서 상기 지향각 검출부(304)에서 검출된 객체의 지향방향에 관한 정보를 참조하게 된다.
이상의 과정들(S20~S30)을 통해, 상기 촬영 영상을 구성하는 객체들이 검출되고, 기준 객체(예: O1)가 설정되면, 피사체 재구성 장치는 상기 기준 객체까지의 거리(L2) 그리고 각 객체들간의 거리(L1, L3)를 검출한다. 그리고, 상기 기준 객체(예: O1)와의 각도(D2) 그리고 기준 객체(예: O1) 및 각 객체들간의 각도(D1, D3)를 검출한다. (S40)
이후, 객체들 간의 거리 및 각도정보 검출이 완료되면, 영상 재구성부 (340)는 상기 과정들(S20, S40)을 통해 검출된 지향방향에 관한 정보와, 거리 및 각도정보에 따라 상기 생성된 영상을 회전, 확대, 축소하여 상기 기준 객체(예: O1) 중심의 시점으로 영상을 재구성한다. (S50)
그리고, 상기 재구성된 영상을 화면에 디스플레이 한다. (S60)
이상, 본 발명에 따른 제어부(180)와 영상시점 변환모듈(300)은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하며, 소프트웨어 코드의 기능을 실행하도록 설계된 하드웨어 칩셋으로 구현될 수도 있다. 그리고 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
상기 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 상기 컴퓨터는 상기 제어부(180)와 영상시점 변환모듈(300)을 포함할 수도 있다.
본 발명은 도면에 도시된 실시 예(들)를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형이 이루어질 수 있으며, 상기 설명된 실시예(들)의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
이상 기술된 바와 같이, 본 발명에 따른 피사체 재구성 장치(100)는 영상 속 인물 중심의 시점으로 영상을 재구성함으로써 영상 속의 인물이 바라보는 정보를 직접 확인할 수 있고, 이를 다양한 서비스에 응용할 수 있을 것으로 기대된다. 특히 폐쇄회로(CCTV)나 차량용 블랙박스와 같이 연속으로 촬영된 영상을 변환하여 기준객체(O1)의 시각에서 객체들의 움직임을 재구성함으로써 추적에 필요한 정보를 추가로 확보할 수 있다.
본 발명은 CCTV의 영상을 이용해 특정 인물의 행적을 추적할 때, 그 인물의 시각으로 영상을 재구성하여 인물의 행적을 모니터링할 수 있을 것이다. 또한, 블랙박스의 영상으로 특정 차량의 움직임을 추적할 때, 대상 차량 운전자의 시각으로 촬영된 영상을 재구성할 수 있을 것이다.
100 : 단말장치
110 : 통신부 120 : AV입력부
130 : 사용자 입력부 150 : 출력부
160 : 메모리 170 : 인터페이스부
180 : 제어부 190 : 전원공급부
300 : 영상시점 변환모듈 310 : 객체 인식부
320 : 거리 검출부 330 : 각도 검출부
340 : 영상 재구성부

Claims (5)

  1. 단말(100)에 장착되어, 렌즈에 노출된 객체들을 촬영하고 영상을 생성하는 카메라부(121)와,
    상기 생성된 영상을 구성하는 객체들을 인식하고 각 객체의 지향방향을 검출하는 객체 인식부(310)와,
    사용자의 선택을 입력받는 입력부(130)와,
    상기 입력부(130)를 통해 사용자가 특정 객체를 선택하면, 해당 객체를 기준 객체로 설정하는 제어부(180)와,
    상기 기준 객체까지의 거리 그리고 각 객체들간의 거리를 검출하는 거리 검출부(320)와,
    상기 기준 객체와의 각도 그리고 기준 객체와 다른 객체들간의 각도를 검출하는 각도 검출부(330)와,
    상기 검출된 지향방향에 관한 정보와, 거리 및 각도정보에 따라 상기 생성된 영상을 회전, 확대, 축소하여 상기 기준 객체 중심의 시점으로 영상을 재구성하는 영상 재구성부(340)와,
    상기 재구성된 영상을 단말화면에 출력하는 디스플레이부(151)를 포함하여 구성되는 것을 특징으로 하는 피사체 재구성 장치.
  2. 제1항에 있어서, 상기 객체 인식부(310)는
    상기 생성된 영상의 각 객체들을 인식하고 검출하는 객체 검출부(302)와,
    상기 검출된 객체들의 지향방향을 검출하는 지향각 검출부(304)와,
    얼굴인식 기술을 통해 상기 검출된 객체 안면의 눈 각도를 추출하는 안각 검출부(306)를 포함하여 구성되는 것을 특징으로 하는 피사체 재구성 장치.
  3. 카메라 렌즈에 노출된 객체들을 촬영하고 영상을 생성하는 과정과,
    객체 인식부(310)가 상기 생성된 영상을 구성하는 객체들을 인식하고 각 객체의 지향방향을 검출하는 과정과,
    입력부(130)를 통해 사용자가 특정 객체를 선택하면, 제어부(180)가 해당 객체를 기준 객체로 설정하는 과정과,
    거리 검출부(320)가 상기 기준 객체까지의 거리 그리고 각 객체들간의 거리를 검출하는 과정과,
    각도 검출부(330)가 상기 기준 객체와의 각도 그리고 기준 객체와 다른 객체들간의 각도를 검출하는 과정과,
    영상 재구성부(340)가 상기 검출된 지향방향에 관한 정보와, 거리 및 각도정보에 따라 상기 생성된 영상을 회전, 확대, 축소하여 상기 기준 객체 중심의 시점으로 영상을 재구성하는 과정과,
    디스플레이부(151)가 상기 재구성된 영상을 화면에 표시하는 과정을 포함하여 이루어지는 것을 특징으로 하는 피사체 재구성 방법.
  4. 제3항에 있어서, 상기 객체의 지향방향을 검출하는 과정은
    상기 생성된 영상의 각 객체들을 인식하고 검출하는 과정과,
    상기 검출된 객체들의 지향방향을 검출하는 과정과,
    얼굴인식 기술을 통해 상기 객체 안면과 눈이 인식되면, 인식된 눈의 각도를 추출하는 과정을 포함하는 것을 특징으로 하는 피사체 재구성 방법.
  5. 제3항에 있어서, 상기 객체 인식부(310)는
    상기 생성된 영상의 각 객체들을 인식하고 검출하는 객체 검출부(302)와,
    상기 검출된 객체들의 지향방향을 검출하는 지향각 검출부(304)와,
    얼굴인식 기술을 통해 상기 검출된 객체 안면의 눈 각도를 추출하는 안각 검출부(306)를 포함하여 구성되는 것을 특징으로 하는 피사체 재구성 방법.
KR1020140038391A 2014-04-01 2014-04-01 피사체 재구성을 위한 장치 및 방법 KR20150114589A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140038391A KR20150114589A (ko) 2014-04-01 2014-04-01 피사체 재구성을 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140038391A KR20150114589A (ko) 2014-04-01 2014-04-01 피사체 재구성을 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150114589A true KR20150114589A (ko) 2015-10-13

Family

ID=54348031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140038391A KR20150114589A (ko) 2014-04-01 2014-04-01 피사체 재구성을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20150114589A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054580A1 (ko) * 2019-09-17 2021-03-25 김필재 객체의 후면 정보 제공 장치 및 그 방법
KR20210147680A (ko) * 2020-05-29 2021-12-07 주식회사 아이티엑스에이아이 밀집 통제를 위한 영상 감시 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054580A1 (ko) * 2019-09-17 2021-03-25 김필재 객체의 후면 정보 제공 장치 및 그 방법
KR20210147680A (ko) * 2020-05-29 2021-12-07 주식회사 아이티엑스에이아이 밀집 통제를 위한 영상 감시 장치

Similar Documents

Publication Publication Date Title
CN101123722B (zh) 全景视频智能监控方法和系统
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
CN108495032B (zh) 图像处理方法、装置、存储介质及电子设备
US20150161449A1 (en) System and method for the use of multiple cameras for video surveillance
CN108616776B (zh) 直播分析数据获取方法及装置
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
US9167048B2 (en) Method and apparatus for filtering devices within a security social network
US10341616B2 (en) Surveillance system and method of controlling the same
CN113240053A (zh) 摄像头检测方法、装置、存储介质与电子设备
CN106470313B (zh) 影像产生系统及影像产生方法
CN112839165B (zh) 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质
CN106791703B (zh) 基于全景视图来监视场景的方法和系统
CN111724412A (zh) 确定运动轨迹的方法、装置及计算机存储介质
KR20150041939A (ko) 실시간 이벤트 감지를 통한 도어 감시시스템 및 그 방법
KR20100121086A (ko) 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법
US11546556B2 (en) Redundant array of inexpensive cameras
CN113706807B (zh) 发出报警信息的方法、装置、设备及存储介质
CN113822216A (zh) 事件检测方法及装置、系统、电子设备和存储介质
KR20150114589A (ko) 피사체 재구성을 위한 장치 및 방법
CN110717926A (zh) 一种获取行人流量信息的方法及装置
KR20150045465A (ko) 이벤트와 연관된 정보를 사람에게 제공하기 위한 방법
CN113938606B (zh) 确定球机架设参数的方法、装置及计算机存储介质
US20140273989A1 (en) Method and apparatus for filtering devices within a security social network
CN113709353B (zh) 图像采集方法和设备
US11651456B1 (en) Rental property monitoring solution using computer vision and audio analytics to detect parties and pets while preserving renter privacy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application