KR20180092495A - 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법 - Google Patents

다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20180092495A
KR20180092495A KR1020170018231A KR20170018231A KR20180092495A KR 20180092495 A KR20180092495 A KR 20180092495A KR 1020170018231 A KR1020170018231 A KR 1020170018231A KR 20170018231 A KR20170018231 A KR 20170018231A KR 20180092495 A KR20180092495 A KR 20180092495A
Authority
KR
South Korea
Prior art keywords
interest
image
best view
extracted
calculating
Prior art date
Application number
KR1020170018231A
Other languages
English (en)
Inventor
엄기문
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170018231A priority Critical patent/KR20180092495A/ko
Priority to US15/648,533 priority patent/US10515471B2/en
Publication of KR20180092495A publication Critical patent/KR20180092495A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

본 발명은 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법에 관한 것으로서, 본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치는, 다중 카메라로 관심 객체를 추적하면서 촬영된 다중 카메라 영상 내에서 객체 영역을 검출하는 객체 영역 검출부; 상기 검출된 객체 영역 내의 객체 중에서 관심 객체 ID에 대응되는 관심 객체를 식별하여 관심 객체 영역을 추출하는 관심 객체 식별부; 상기 추출된 관심 객체 영역을 대상으로 각 카메라 영상별로 프레임마다 베스트 뷰(Best view)의 판단 척도와 인접 프레임 간의 관심 객체 영역에 대한 변화량 계산을 통해 프레임 간 연속성 기반 베스트 뷰의 판단 척도를 계산하는 판단 척도 계산부; 및 상기 계산된 베스트 뷰의 판단 척도에 기초하여 영상 프레임별 베스트 뷰 영상을 선택하는 영상 선택부;를 포함한다.

Description

다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법{Apparatus and method for Object of Interest-centric Best-view Generation in Multi-camera Video}
본 발명은 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법에 관한 것으로서, 더욱 상세하게는 관심 객체 중심의 베스트 뷰(Best-view) 영상의 판단 척도에 기반하여 베스트 뷰 카메라 영상을 선택함으로써, 보다 정확하게 시청자가 원하는 관심 객체의 움직임 등 모습이 잘 보이는 베스트 뷰 영상을 제공할 수 있는, 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법에 관한 것이다.
최근 스포츠 장면을 생생하게 전달하기 위해 다양한 각도에서 경기를 중계하고 이를 위해 많은 카메라가 동원되고 있다. 스포츠 경기에 동원되는 카메라 대수가 증가함에 따라 스포츠 경기 특성상 실시간 편집을 수행할 때 수많은 카메라 화면에서 순간적으로 최고의 화면을 고르는데 어려움이 있다.
지금까지 여러 대 카메라로 스포츠 경기를 촬영한 영상들에서 자동으로 최고의 화면을 선택하는 방법들이 많이 연구되어 왔다. 하지만, 종래 방법들은 배경이 움직이는 영상들은 고려하지 않고 배경이 고정된 영상들만을 고려하여 최고의 화면을 선택했다. 따라서 배경이 움직이는 영상들을 대상으로 최고의 화면을 자동으로 선택하는 방법에 대한 연구가 요구된다.
배경이 고정된 영상들에서 최고의 화면을 선택하는 연구는 배경 제거 알고리즘을 사용하여 화면 안에 존재하는 선수들의 실루엣을 추출하여 최고의 화면을 선택하기 위한 요소로 사용하고 있다. 하지만, 배경이 움직이는 영상에서는 배경이 고정된 영상과 달리 배경을 모델링하기 어려워 배경 제거 알고리즘을 사용하여 선수들의 실루엣을 추출하기 어렵다. 또한, 배경이 고정된 영상들에서는 카메라의 설치위치를 토대로 선수들의 경기장 내 위치를 알 수 있어 이를 최고의 화면을 선택하기 위한 요소로 사용했지만 배경이 움직이는 화면에서는 같은 방법으로 선수들의 경기장 내 위치를 알 수 없다.
종래 기술에서 사용된 방법을 배경이 움직이는 영상에서는 사용하기 부적합하다. 이러한 종래 기술로서 농구와 같은 스포츠 경기에서 영상 내 선수 인원수. 활동량, 경기장 내 위치를 고려한 정량화된 척도에 의해 고정된 위치에 설치된 다중 카메라 영상 중에서 베스트 뷰 영상을 선택하는 기술이 있다. 다른 종래 기술로서는 다중 카메라 영상에서 선수들의 존재 유무 또는 경기장 내 선수의 위치에 가중치를 두어 시청자가 선호하는 베스트 뷰 영상을 선택하는 기술이 제시되어 있다.
이러한 종래기술들은 주로 카메라 영상 전체 장면 구성과 전체적인 객체 움직임이나 객체 가시성 여부에 중점을 두고 베스트 뷰 선택을 위한 척도를 정의하여 베스트 뷰 영상을 선택한다. 그렇게 함으로써, 종래기술들은 시청자가 관심 있는 선수 객체를 중심으로 획득된 다중 카메라 영상에서 베스트 뷰 영상을 선택할 때, 그 척도가 관심 객체 중심으로 제시되어 있지 않아 보다 관심 객체 중심의 베스트 뷰를 선택하기에는 문제점이 있다.
이러한 종래기술의 문제점을 해결하기 위해, 본 발명의 실시 예들은 관심 객체 중심의 베스트 뷰 영상 판단 척도에 기반하여 베스트 뷰 카메라 영상을 선택함으로써, 보다 정확하게 시청자가 원하는 관심 객체의 움직임 등 모습이 잘 보이는 베스트 뷰 영상을 제공할 수 있는, 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법을 제공하고자 한다.
본 발명의 실시 예들은 스포츠 경기 등에서 다수의 인물 객체가 동시에 움직이는 환경에서 다수의 PTZ(pan-tilt-zoom) 카메라로 관심 객체를 따라가면서 여러 각도에서 촬영된 영상 중에서 관심 인물 객체의 모습이나 움직임이 잘 보이는 카메라 영상을 선택함으로써, 관심 객체 중심으로 잘 보이는 영상만을 모아서 보여주는 베스트 뷰 영상을 정확하게 생성하여 제공할 수 있는, 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법을 제공하고자 한다.
본 발명의 제1 측면에 따르면, 다중 카메라로 관심 객체를 추적하면서 촬영된 다중 카메라 영상 내에서 객체 영역을 검출하는 객체 영역 검출부; 상기 검출된 객체 영역 내의 객체 중에서 관심 객체 ID에 대응되는 관심 객체를 식별하여 관심 객체 영역을 추출하는 관심 객체 식별부; 상기 추출된 관심 객체 영역을 대상으로 각 카메라 영상별로 프레임마다 베스트 뷰(Best view)의 판단 척도와 인접 프레임 간의 관심 객체 영역에 대한 변화량 계산을 통해 프레임 간 연속성 기반 베스트 뷰의 판단 척도를 계산하는 판단 척도 계산부; 및 상기 계산된 베스트 뷰의 판단 척도에 기초하여 영상 프레임별 베스트 뷰 영상을 선택하는 영상 선택부;를 포함하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치가 제공될 수 있다.
상기 판단 척도 계산부는, 관심 객체의 실루엣 기반 활동량, 관심 객체의 얼굴 가시성 정도, 영상 블러링 정도 및 관심 객체와 다른 객체 간의 겹침 정도 중에서 적어도 하나 이상을 베스트 뷰의 판단 척도로 계산하고, 상기 영상 선택부는, 상기 계산된 베스트 뷰의 판단 척도에 대한 가중 합(weighted-sum)을 통해 영상 프레임별 베스트 뷰 영상을 선택할 수 있다.
상기 판단 척도 계산부는, 상기 추출된 관심 객체 영역 안에서 관심 객체의 실루엣을 추출하고, 기설정된 시간 동안 상기 추출된 실루엣을 겹쳐서 관심 객체의 실루엣에 기초를 둔 활동량을 계산할 수 있다.
상기 판단 척도 계산부는, 상기 추출된 실루엣을 겹친 영역에서의 백색 화소 개수 및 회색 화소 개수를 이용하여 관심 객체의 실루엣에 기초를 둔 활동량을 계산할 수 있다.
상기 판단 척도 계산부는, 상기 추출된 관심 객체 영역 안에서 하르(Harr) 특징을 이용하여 관심 객체의 정면 얼굴의 존재 여부를 검출하여 관심 객체의 얼굴 가시성 정도를 계산할 수 있다.
상기 판단 척도 계산부는, 상기 추출된 관심 객체 영역이 포함된 영상의 제1 색 공간을 제2 색 공간으로 변환하고, 상기 변환된 색 공간에서 색상(Hue)의 화소 값을 추출하고, 인접한 프레임 간 색상의 화소 값에 대한 화소 차이를 계산하여 영상 블러링 정도를 계산할 수 있다.
상기 판단 척도 계산부는, 객체 실루엣 기준으로 겹침 기준 영역을 설정하고, 상기 설정된 겹침 기준 영역을 이용하여 상기 추출된 관심 객체 영역에서 관심 객체 및 다른 객체 간의 실루엣 간의 겹침 정도를 계산할 수 있다.
상기 판단 척도 계산부는, 관심 객체와 다른 객체 간 앞뒤 판단을 통해 관심 객체가 다른 객체 뒤쪽으로 겹침이 발생했을 때, 관심 객체 및 다른 객체 간의 실루엣 간의 겹침으로 판단할 수 있다.
상기 판단 척도 계산부는, 카메라 영상의 매 프레임에서 관심 객체 및 다른 객체의 실루엣을 추출하고, 상기 추출된 관심 객체 및 다른 객체의 실루엣이 합쳐진 실루엣 영역에 이전 프레임에서 추출한 관심 객체를 제외한 다른 객체들의 영역의 중점이 포함되면 시점을 관심 객체 및 다른 객체가 겹쳐지기 시작하는 겹침 시작 시점으로 판단할 수 있다.
상기 판단 척도 계산부는, 현재 프레임에서 추출된 객체들 실루엣 영역들 중 이전 프레임의 관심 객체 영역에서 관심 객체를 제외한 다른 객체의 영역 중점이 포함되면 겹침 끝 시점으로 판단할 수 있다.
한편, 본 발명의 제2 측면에 따르면, 다중 카메라로 관심 객체를 추적하면서 촬영된 다중 카메라 영상 내에서 객체 영역을 검출하는 단계; 상기 검출된 객체 영역 내의 객체 중에서 관심 객체 ID에 대응되는 관심 객체를 식별하여 관심 객체 영역을 추출하는 단계; 상기 추출된 관심 객체 영역을 대상으로 각 카메라 영상별로 프레임마다 베스트 뷰(Best view)의 판단 척도와 인접 프레임 간의 관심 객체 영역에 대한 변화량 계산을 통해 프레임 간 연속성 기반 베스트 뷰의 판단 척도를 계산하는 단계; 및 상기 계산된 베스트 뷰의 판단 척도에 기초하여 영상 프레임별 베스트 뷰 영상을 선택하는 단계;를 포함하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법이 제공될 수 있다.
상기 판단 척도를 계산하는 단계는, 관심 객체의 실루엣 기반 활동량, 관심 객체의 얼굴 가시성 정도, 영상 블러링 정도 및 관심 객체와 다른 객체 간의 겹침 정도 중에서 적어도 하나 이상을 베스트 뷰의 판단 척도로 계산하고, 상기 베스트 뷰 영상을 선택하는 단계는, 상기 계산된 베스트 뷰의 판단 척도에 대한 가중 합(weighted-sum)을 통해 영상 프레임별 베스트 뷰 영상을 선택할 수 있다.
상기 판단 척도를 계산하는 단계는, 상기 추출된 관심 객체 영역 안에서 관심 객체의 실루엣을 추출하고, 기설정된 시간 동안 상기 추출된 실루엣을 겹쳐서 관심 객체의 실루엣에 기초를 둔 활동량을 계산할 수 있다.
상기 판단 척도를 계산하는 단계는, 상기 추출된 실루엣을 겹친 영역에서의 백색 화소 개수 및 회색 화소 개수를 이용하여 관심 객체의 실루엣에 기초를 둔 활동량을 계산할 수 있다.
상기 판단 척도를 계산하는 단계는, 상기 추출된 관심 객체 영역 안에서 하르(Harr) 특징을 이용하여 관심 객체의 정면 얼굴의 존재 여부를 검출하여 관심 객체의 얼굴 가시성 정도를 계산할 수 있다.
상기 판단 척도를 계산하는 단계는, 상기 추출된 관심 객체 영역이 포함된 영상의 제1 색 공간을 제2 색 공간으로 변환하고, 상기 변환된 색 공간에서 색상(Hue)의 화소 값을 추출하고, 인접한 프레임 간 색상의 화소 값에 대한 화소 차이를 계산하여 영상 블러링 정도를 계산할 수 있다.
상기 판단 척도를 계산하는 단계는, 객체 실루엣 기준으로 겹침 기준 영역을 설정하고, 상기 설정된 겹침 기준 영역을 이용하여 상기 추출된 관심 객체 영역에서 관심 객체 및 다른 객체 간의 실루엣 간의 겹침 정도를 계산할 수 있다.
상기 판단 척도를 계산하는 단계는, 관심 객체와 다른 객체 간 앞뒤 판단을 통해 관심 객체가 다른 객체 뒤쪽으로 겹침이 발생했을 때, 관심 객체 및 다른 객체 간의 실루엣 간의 겹침으로 판단할 수 있다.
상기 판단 척도를 계산하는 단계는, 카메라 영상의 매 프레임에서 관심 객체 및 다른 객체의 실루엣을 추출하고, 상기 추출된 관심 객체 및 다른 객체의 실루엣이 합쳐진 실루엣 영역에 이전 프레임에서 추출한 관심 객체를 제외한 다른 객체들의 영역의 중점이 포함되면 시점을 관심 객체 및 다른 객체가 겹쳐지기 시작하는 겹침 시작 시점으로 판단할 수 있다.
상기 판단 척도를 계산하는 단계는, 현재 프레임에서 추출된 객체들 실루엣 영역들 중 이전 프레임의 관심 객체 영역에서 관심 객체를 제외한 다른 객체의 영역 중점이 포함되면 겹침 끝 시점으로 판단할 수 있다.
본 발명의 실시 예들은 관심 객체 중심의 베스트 뷰 영상 판단 척도에 기반하여 베스트 뷰 카메라 영상을 선택함으로써, 보다 정확하게 시청자가 원하는 관심 객체의 움직임 등 모습이 잘 보이는 베스트 뷰 영상을 제공할 수 있다.
본 발명의 실시 예들은 스포츠 경기 등에서 다수의 인물 객체가 동시에 움직이는 환경에서 다수의 PTZ(pan-tilt-zoom) 카메라로 관심 객체를 따라가면서 여러 각도에서 촬영된 영상 중에서 관심 인물 객체의 모습이나 움직임이 잘 보이는 카메라 영상을 선택함으로써, 관심 객체 중심으로 잘 보이는 영상만을 모아서 보여주는 베스트 뷰 영상을 정확하게 생성하여 제공할 수 있다.
종래 기술은 장면 중심의 베스트 뷰 영상 판단 척도에 기반하여 베스트 뷰 카메라 영상을 선택하는 데 비해, 본 발명의 실시 예들은 관심 객체 중심의 베스트 뷰 영상 판단 척도에 기반하여 베스트 뷰 카메라 영상을 선택함으로써, 보다 정확하게 시청자가 원하는 관심 객체의 움직임 등 모습이 잘 보이는 베스트 뷰 영상을 제공할 수 있다.
본 발명의 실시 예들은 본 발명은 스포츠 경기에서 특정 선수 중심의 하이라이트 동영상을 자동으로 만들거나, 영상 보안 시스템에서 의심되는 인물을 집중적으로 감시하여 기록한 영상을 생성하여 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치의 구성도이다.
도 2는 본 발명의 실시 예에 따른 관심 객체의 활동량을 실루엣 기반으로 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 관심 객체와 다른 객체와의 겹침 정도 계산을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법에 대한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치의 구성은 도 1과 같다.
도 1은 본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치(100)는, 객체 영역 검출부(110), 관심 객체 식별부(120), 판단 척도 계산부(130) 및 영상 선택부(140)를 포함한다.
이하, 도 1의 본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
객체 영역 검출부(110)는 다중 카메라로 관심 객체를 추적하면서 촬영된 다중 카메라 영상 내에서 객체 영역을 검출한다. 여기서, 관심 객체가 인물 객체이면, 객체 영역 검출부(110)는 다중 카메라 영상 내 인물 객체 영역을 검출할 수 있다.
그리고 관심 객체 식별부(120)는 관심 객체에 대응되는 관심 객체 ID를 입력받는다. 이어서, 관심 객체 식별부(120)는 객체 영역 검출부(110)에서 검출된 객체 영역 내의 객체 중에서 그 입력된 관심 객체 ID에 대응되는 관심 객체를 식별하여 관심 객체 영역을 추출한다. 즉, 관심 객체 식별부(120)는 관심 객체 ID를 입력받아 검출된 객체 영역 내 객체 중에서 관심 객체를 식별할 수 있다.
이후, 판단 척도 계산부(130)는 관심 객체 식별부(120)에서 추출된 관심 객체 영역을 대상으로 각 카메라 영상별로 프레임마다 베스트 뷰(Best-view)의 판단 척도와 인접 프레임 간의 관심 객체 영역에 대한 변화량 계산을 통해 프레임 간 연속성 기반 베스트 뷰의 판단 척도를 계산한다.
한편, 판단 척도 계산부(130)는 제1 및 제2 판단 척도 계산부(132)로 이루어질 수 있다.
판단 척도 계산부(130)는 프레임/카메라 별 베스트 뷰의 판단 척도를 계산하는 제1 판단 척도 계산부(131) 및 프레임 간 연속성 기반으로 베스트 뷰의 판단 척도를 계산하는 제2 판단 척도 계산부(132)를 포함할 수 있다. 즉, 제1 판단 척도 계산부(131)는 프레임/카메라 별 베스트 뷰의 판단 척도를 계산한다. 제2 판단 척도 계산부(132)는 프레임 간 연속성 기반으로 베스트 뷰 판단 척도를 계산한다.
한편, 베스트 뷰 영상 생성 장치(100)는 이러한 베스트 뷰의 영상 선택에 있어서, 프레임별 베스트 뷰의 판단 척도는 다음과 같은 영상 내 관심 객체의 특성을 반영하여 계산한다. 베스트 뷰 영상 생성 장치(100)는 최종적으로 이 척도들의 가중 합(weighted-sum)을 통하여 전체 베스트 뷰 영상의 선택 기준
Figure pat00001
을 정의한다.
베스트 뷰의 판단 척도에는 관심 객체의 실루엣 기반 활동량(amount of activity,
Figure pat00002
), 관심 객체의 얼굴 가시성 정도(degree of face visibility,
Figure pat00003
), 영상 블러링 정도(degree of image blurring,
Figure pat00004
) 및 관심 객체와 다른 객체 간의 겹침 정도(degree of occlusion,
Figure pat00005
)가 포함된다.
이하, 베스트 뷰의 판단 척도들에 대해서 각각 살펴보기로 한다.
도 2는 본 발명의 실시 예에 따른 관심 객체의 활동량을 실루엣 기반으로 나타낸 도면이다.
판단 척도에 대한 첫 번째로 관심 객체의 실루엣 기반 활동량
Figure pat00006
을 살펴보기로 한다.
본 발명의 실시 예에 따른 판단 척도 계산부(130)는, 관심 객체 식별부(120)에서 추출된 관심 객체 영역 안에서 관심 객체의 실루엣을 추출하고, 기설정된 시간 동안 그 추출된 실루엣을 겹쳐서 관심 객체의 실루엣에 기초를 둔 활동량을 계산한다. 여기서, 관심 활동량
Figure pat00007
는 관심 객체 영역 안에서 실루엣을 추출하고, 기설정된 시간 동안, 이 실루엣을 겹쳐 관심 선수의 활동량이 계산된다.
관심 객체가 관심 선수인 경우, 도 2에는 추출된 관심 객체 영역(210) 안에서 관심 선수(211)의 활동량을 실루엣으로 표현한 예가 나타나 있다. 이러한 관심 객체의 실루엣 넓이를 이용하여 수식으로 표현하면 하기의 [수학식 1]과 같이 나타내진다.
Figure pat00008
여기서,
Figure pat00009
는 관심 선수의 실루엣 기반 활동량을 나타내고,
Figure pat00010
는 백색 화소 개수,
Figure pat00011
는 회색 화소 개수를 나타내고, t는 시간, i는 카메라 번호를 나타내다.
이와 같이, 판단 척도 계산부(130)는, 추출된 실루엣을 겹친 영역(220)에서의 백색 화소(221)의 개수 및 회색 화소(222)의 개수를 이용하여 관심 객체의 실루엣에 기초를 둔 활동량을 계산할 수 있다.
판단 척도에 대한 두 번째로, 관심 객체의 얼굴 가시성 정도
Figure pat00012
를 살펴보기로 한다.
판단 척도 계산부(130)는, 관심 객체 식별부(120)에서 추출된 관심 객체 영역 안에서 하르(Harr) 특징을 이용하여 관심 객체의 정면 얼굴의 존재 여부를 검출하여 관심 객체의 얼굴 가시성 정도를 계산한다. 즉, 관심 객체의 얼굴 가시성 정도
Figure pat00013
는 하르 특징(haar feature)을 이용하여 관심 선수 영역 내 사람의 정면 얼굴의 존재 여부로부터 계산된다. 종래 기술에서는 사람의 시선을 이용하였다. 그런데 본 발명의 실시 예에 따른 판단 척도 계산부(130)에서는 얼굴의 가시성 정도를 판단한다. 예를 들면, 판단 척도 계산부(130)는 관심 객체 영역 내에서 얼굴이 검출되면 얼굴 존재값(예컨대, 1)을 할당하고, 그렇지 않은 경우에 얼굴 미존재값(예컨대, 0)을 할당할 수 있다.
판단 척도에 대한 세 번째로, 영상 블러링 정도
Figure pat00014
를 살펴보기로 한다.
영상 블러링 정도
Figure pat00015
는 종래 기술에서는 카메라가 고정인 부분이 대부분이기 때문에 고려되지 않은 판단 척도이다. 본 발명에서는 PTZ 카메라와 같이 다중 카메라의 자세나 줌이 변화되는 환경에서 촬영을 할 때, 다중 카메라가 빨리 움직이면서 모션 블러(motion blur) 현상이 일어날 수 있다. 이때, 판단 척도 계산부(130)가 이러한 모션 블러 현상이 적은 영상을 선택하기 위해, 영상 블러링 정도
Figure pat00016
는 추가로 정의된 판단 척도이다.
판단 척도 계산부(130)는, 관심 객체 식별부(120)에서 추출된 관심 객체 영역이 포함된 영상의 제1 색 공간을 제2 색 공간으로 변환하고, 그 변환된 색 공간에서 색상(Hue)의 화소 값을 추출한다. 색 공간을 구체적으로 살펴보면, 판단 척도 계산부(130)는 영상의 블러링 정도를 계산하기 위해, 영상의 컬러 공간을 RGB(Red, Green, Blue)에서 HSV(Hue, Saturation, Value) 색 공간으로 변환한 후, 색상(Hue)의 화소 값만 추출한다.
그리고 판단 척도 계산부(130)는 인접한 프레임 간 색상의 화소 값에 대한 화소 차이를 계산하여 영상 블러링 정도를 계산한다. 즉, 판단 척도 계산부(130)는 인접한 두 프레임 간의 색상(Hue) 화소값 차이를 계산하여 이 차이가 클수록 블러링 정도가 크다고 판단한다.
도 3은 본 발명의 실시 예에 따른 관심 객체와 다른 객체와의 겹침 정도 계산을 나타낸 도면이다.
판단 척도에 대한 네 번째로, 관심 객체와 다른 객체와의 겹침 정도
Figure pat00017
를 살펴보기로 한다.
관심 객체와 다른 객체와의 겹침 정도
Figure pat00018
는 관심 객체(salient object)들의 정형화된 사각형 영역 기준으로 정량화된 겹침 정도를 판단하고 있는 기법을 변형하여 계산된 것이다. 본 발명의 실시 예에 따른 판단 척도 계산부(130)는 기준 영역을 사각형 대신 객체 실루엣 기준으로 변경하여, 관심 객체와 다른 객체의 실루엣 간 겹침 정도를 판단한다. 즉, 판단 척도 계산부(130)는, 객체 실루엣 기준으로 겹침 기준 영역을 설정하고, 그 설정된 겹침 기준 영역을 이용하여 상기 추출된 관심 객체 영역에서 관심 객체 및 다른 객체 간의 실루엣 간의 겹침 정도를 계산한다.
이때, 판단 척도 계산부(130)는 관심 객체와 다른 객체 간 앞뒤 판단을 통해 관심 객체가 다른 객체 뒤쪽으로 겹침이 발생했을 때에만 적용한다. 즉, 판단 척도 계산부(130)는, 관심 객체와 다른 객체 간 앞뒤 판단을 통해 관심 객체가 다른 객체 뒤쪽으로 겹침이 발생했을 때, 관심 객체 및 다른 객체 간의 실루엣 간의 겹침으로 판단할 수 있다.
이러한 관심 객체와 다른 객체와의 겹침 정도
Figure pat00019
는 만약 관심 객체와 다른 객체와의 거리가 가까워져서 카메라 촬영 각도에 따라 서로 겹치게 보이는 경우를 고려한 척도이다. 이러한 겹침 정도에 대한 척도는 판단 척도 계산부(130)가 다중 카메라 영상의 여러 프레임 내에서 관심 객체와 다른 객체의 실루엣을 추출하고, 두 실루엣이 하나로 겹쳐졌을 때 그 겹친 정도를 정량화한 것이다.
먼저, 도 3에 나타난
Figure pat00020
는 관심 객체와 다른 객체 간의 겹침으로 만들어진 실루엣을 나타내고, t는 시간, i는 카메라 번호를 나타낸다.
겹침이 발생하면(310), 도 3의 589번째 프레임과 같이 관심 객체와 다른 객체의 실루엣이 하나로 합쳐질 때가 두 객체의 겹침 발생이 일어나는 경우이다. 합쳐진 실루엣 영역에 이전 프레임에서 추출한 관심 객체를 제외한 다른 객체들의 영역의 중점이 포함되면 그 객체와 관심 객체가 겹쳤다고 판단한다. 이와 같이, 판단 척도 계산부(130)는, 카메라 영상의 매 프레임에서 관심 객체 및 다른 객체의 실루엣을 추출하고, 그 추출된 관심 객체 및 다른 객체의 실루엣이 합쳐진 실루엣 영역에 이전 프레임에서 추출한 관심 객체를 제외한 다른 객체들의 영역의 중점이 포함되면 시점을 관심 객체 및 다른 객체가 겹쳐지기 시작하는 겹침 시작 시점(311)으로 판단할 수 있다.
판단 척도 계산부(130)는 이렇게 겹침 시작 시점(311)이 정해지면 겹침 끝 시점(313)을 찾는다. 현재 프레임에서 추출된 객체들 실루엣 영역들 중 이전 프레임의 IS 영역에 관심 객체를 제외한 다른 객체의 영역 중점이 포함되면 겹침 끝 시점(313)으로 판단한다. 이와 같이, 판단 척도 계산부(130)는, 현재 프레임에서 추출된 객체들 실루엣 영역들 중 이전 프레임의 관심 객체 영역에서 관심 객체를 제외한 다른 객체의 영역 중점이 포함되면 겹침 끝 시점(313)으로 판단할 수 있다.
한편, 겹침 중간 시점(312)은 겹침 시작 시점(311)과 겹침 끝 시점(313)의 중간 시점으로 정한다. 판단 척도 계산부(130)는 겹침 시작 시점(311)에서 추출된 IS를 기준으로 겹침 중간 시점(312)까지 추출되는 IS와 차이를 구해 겹침 정도를 정량화한다. 판단 척도 계산부(130)는 겹침 중간 시점(312)을 지나서는 겹침 끝 시점(313)의 이전 프레임에서 추출한 IS를 기준으로 차이를 구해 겹침 정도를 정량화한다. 이를 수식으로 표현하면 [수학식 2]와 같이 나타내진다.
Figure pat00021
Figure pat00022
Figure pat00023
여기서,
Figure pat00024
는 관심 객체와 다른 객체 간의 겹침 정도를 이용해 프레임을 정량화한 값을 나타내고,
Figure pat00025
는 IS의 픽셀 개수, t는 시간,
Figure pat00026
는 겹침 시작 시점,
Figure pat00027
는 겹침 중간 시점,
Figure pat00028
는 겹침 끝 시점, i는 카메라 번호를 나타낸다.
상기와 같이, 판단 척도 계산부(130)는, 관심 객체의 실루엣 기반 활동량, 관심 객체의 얼굴 가시성 정도, 영상 블러링 정도 및 관심 객체와 다른 객체 간의 겹침 정도 중에서 적어도 하나 이상을 베스트 뷰의 판단 척도로 계산할 수 있다.
그리고 영상 선택부(140)는 판단 척도 계산부(130)에서 계산된 베스트 뷰의 판단 척도에 기초하여 영상 프레임별 베스트 뷰 영상을 선택한다. 여기서, 영상 선택부(140)는, 계산된 베스트 뷰의 판단 척도에 대한 가중 합(weighted-sum)을 통해 영상 프레임별 베스트 뷰 영상을 선택할 수 있다.
첫 번째부터 네 번째까지 정의된 4가지 정량적 척도를 기반으로 최종적으로 베스트 뷰를 선택하기 위한 식은 하기의 [수학식 3]과 같이 표현된다.
Figure pat00029
여기서,
Figure pat00030
는 프레임 별 베스트 뷰의 판단을 위한 정량적 척도를 나타내고, i와 t는 각각 카메라 번호와 프레임 번호를 나타내고 있다.
Figure pat00031
는 관심 객체의 실루엣 기반 활동량,
Figure pat00032
는 관심 객체의 얼굴 가시성 정도,
Figure pat00033
는 영상 블러링 정도 및
Figure pat00034
는 관심 객체와 다른 객체 간의 겹침 정도를 나타낸다.
영상 선택부(140)는 이렇게 계산된 프레임 별 베스트 뷰의 판단을 위한 정량적 척도
Figure pat00035
에 기반하여 다중 카메라 영상 중에서 그 점수가 최대인 카메라 영상을 베스트 뷰 영상으로 선택한다,.
지금까지 도 2 및 도 3을 참조하여, 본 발명의 실시 예 중 베스트 뷰의 판단 척도를 계산하는 과정을 설명하였다. 그러나 이는 본 발명의 이해와 설명의 편의를 도모하기 위한 일 실시 예에 불과하며, 본 발명은 이에 한정되지 아니한다.
도 4는 본 발명의 실시 예에 따른 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법에 대한 흐름도이다.
도 4에는 본 발명에 의한 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 기법의 동작 흐름도가 나타나 있다.
먼저, 다중 카메라는 여러 각도에서 영상을 획득할 수 있도록 촬영 장소에 설치된다. 다중 카메라는 수동 또는 객체 추적 결과에 기반하여 PTZ 카메라를 제어하여 관심 객체 중심의 다중 카메라 영상을 획득할 수 있다. 이렇게 획득된 다중 카메라 영상은 베스트 뷰 영상 생성 장치(100)로 입력된다.
그리고 베스트 뷰 영상 생성 장치(100)는 다중 카메라로 관심 객체를 추적하면서 촬영된 다중 카메라 영상 내에서 객체 영역을 검출한다(S101). 즉, 베스트 뷰 영상 생성 장치(100)는 입력된 다중 카메라 영상에서 각 카메라 영상별로 인물 객체 영역을 검출한다.
다음으로, 베스트 뷰 영상 생성 장치(100)는 객체 영역 검출부(110)에서 검출된 객체 영역 내의 객체 중에서 관심 객체 ID에 대응되는 관심 객체를 식별한다(S102).
이어서, 베스트 뷰 영상 생성 장치(100)는 식별된 관심 객체가 포함된 관심 객체 영역을 추출한다(S103). 즉, 베스트 뷰 영상 생성 장치(100)는 검출된 인물 객체 영역들에 대해 관심 객체 ID를 입력받아 인물 객체 영역에 대해 식별기를 적용하여 관심 객체를 식별하여 관심 객체 영역을 추출한다.
이후, 베스트 뷰 영상 생성 장치(100)는 관심 객체 식별부(120)에서 추출된 관심 객체 영역을 대상으로 각 카메라 영상별로 프레임마다 베스트 뷰(Best view)의 판단 척도를 계산한다(S104).
그리고 베스트 뷰 영상 생성 장치(100)는 인접 프레임 간의 관심 객체 영역에 대한 변화량 계산을 통해 프레임 간 연속성 기반 베스트 뷰의 판단 척도를 계산한다(S105). 여기서, 베스트 뷰 영상 생성 장치(100)는 관심 객체의 실루엣 기반 활동량, 관심 객체의 얼굴 가시성 정도, 영상 블러링 정도 및 관심 객체와 다른 객체 간의 겹침 정도 중에서 적어도 하나 이상을 베스트 뷰의 판단 척도로 계산할 수 있다.
이어서, 베스트 뷰 영상 생성 장치(100)는 계산된 베스트 뷰의 판단 척도에 기초하여 영상 프레임별 베스트 뷰 영상을 선택한다(S106). 여기서, 베스트 뷰 영상 생성 장치(100)는 상기 계산된 베스트 뷰의 판단 척도에 대한 가중 합(weighted-sum)을 통해 영상 프레임별 베스트 뷰 영상을 선택할 수 있다.
이와 같이, 베스트 뷰 영상 생성 장치(100)는 추출된 관심 객체 영역에 대해 카메라 영상 프레임별 베스트 뷰 판단 척도와 이전 프레임과의 관심객체 영역의 변화량 계산을 통해 프레임별 베스트 뷰 영상을 선택한다.
이러한 S101 내지 S106 과정은 다중 카메라 영상의 모든 프레임별로 반복된다(S107).
상기와 같은 반복 과정을 통해, 베스트 뷰 영상 생성 장치(100)는 다수의 카메라에 의해 여러 각도에서 촬영된 다중 카메라 영상 중에서 시청자 또는 사용자가 관심을 가지는 객체나 인물의 모습이나 움직임이 잘 보이는 영상을 베스트뷰 영상으로 선택하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법에 있어서, 인물 객체 영역을 검출하고, 검출된 영역들 중에서 관심객체가 포함된 영역을 객체 식별기에 의해 추출할 수 있다. 또한, 베스트 뷰 영상 생성 장치(100)는 관심 객체 영역 중심으로 베스트 뷰 영상 판단 척도를 계산할 수 있다. 또한, 베스트 뷰 영상 생성 장치(100)는 판단 척도로서 동적으로 움직이는 카메라 환경하에서 HSV 컬러 좌표계로의 변환 및 색상(Hue)의 성분 차이를 영상 블러링 척도로 이용할 수 있다. 또한, 베스트 뷰 영상 생성 장치(100)는 관심 객체의 실루엣과 다른 객체의 실루엣 간 겹침 정도를 판단할 수 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 베스트 뷰 영상 생성 장치 110: 객체 영역 검출부
120: 관심 객체 식별부 130: 판단 척도 계산부
131: 제1 판단 척도 계산부 132: 제2 판단 척도 계산부
140: 영상 선택부

Claims (20)

  1. 다중 카메라로 관심 객체를 추적하면서 촬영된 다중 카메라 영상 내에서 객체 영역을 검출하는 객체 영역 검출부;
    상기 검출된 객체 영역 내의 객체 중에서 관심 객체 ID에 대응되는 관심 객체를 식별하여 관심 객체 영역을 추출하는 관심 객체 식별부;
    상기 추출된 관심 객체 영역을 대상으로 각 카메라 영상별로 프레임마다 베스트 뷰(Best view)의 판단 척도와 인접 프레임 간의 관심 객체 영역에 대한 변화량 계산을 통해 프레임 간 연속성 기반 베스트 뷰의 판단 척도를 계산하는 판단 척도 계산부; 및
    상기 계산된 베스트 뷰의 판단 척도에 기초하여 영상 프레임별 베스트 뷰 영상을 선택하는 영상 선택부;
    를 포함하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  2. 제1항에 있어서,
    상기 판단 척도 계산부는, 관심 객체의 실루엣 기반 활동량, 관심 객체의 얼굴 가시성 정도, 영상 블러링 정도 및 관심 객체와 다른 객체 간의 겹침 정도 중에서 적어도 하나 이상을 베스트 뷰의 판단 척도로 계산하고,
    상기 영상 선택부는, 상기 계산된 베스트 뷰의 판단 척도에 대한 가중 합(weighted-sum)을 통해 영상 프레임별 베스트 뷰 영상을 선택하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  3. 제2항에 있어서,
    상기 판단 척도 계산부는,
    상기 추출된 관심 객체 영역 안에서 관심 객체의 실루엣을 추출하고, 기설정된 시간 동안 상기 추출된 실루엣을 겹쳐서 관심 객체의 실루엣에 기초를 둔 활동량을 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  4. 제2항에 있어서,
    상기 판단 척도 계산부는,
    상기 추출된 실루엣을 겹친 영역에서의 백색 화소 개수 및 회색 화소 개수를 이용하여 관심 객체의 실루엣에 기초를 둔 활동량을 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  5. 제2항에 있어서,
    상기 판단 척도 계산부는,
    상기 추출된 관심 객체 영역 안에서 하르(Harr) 특징을 이용하여 관심 객체의 정면 얼굴의 존재 여부를 검출하여 관심 객체의 얼굴 가시성 정도를 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  6. 제2항에 있어서,
    상기 판단 척도 계산부는,
    상기 추출된 관심 객체 영역이 포함된 영상의 제1 색 공간을 제2 색 공간으로 변환하고, 상기 변환된 색 공간에서 색상(Hue)의 화소 값을 추출하고, 인접한 프레임 간 색상의 화소 값에 대한 화소 차이를 계산하여 영상 블러링 정도를 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  7. 제2항에 있어서,
    상기 판단 척도 계산부는,
    객체 실루엣 기준으로 겹침 기준 영역을 설정하고, 상기 설정된 겹침 기준 영역을 이용하여 상기 추출된 관심 객체 영역에서 관심 객체 및 다른 객체 간의 실루엣 간의 겹침 정도를 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  8. 제2항에 있어서,
    상기 판단 척도 계산부는,
    관심 객체와 다른 객체 간 앞뒤 판단을 통해 관심 객체가 다른 객체 뒤쪽으로 겹침이 발생했을 때, 관심 객체 및 다른 객체 간의 실루엣 간의 겹침으로 판단하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  9. 제2항에 있어서,
    상기 판단 척도 계산부는,
    카메라 영상의 매 프레임에서 관심 객체 및 다른 객체의 실루엣을 추출하고, 상기 추출된 관심 객체 및 다른 객체의 실루엣이 합쳐진 실루엣 영역에 이전 프레임에서 추출한 관심 객체를 제외한 다른 객체들의 영역의 중점이 포함되면 시점을 관심 객체 및 다른 객체가 겹쳐지기 시작하는 겹침 시작 시점으로 판단하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  10. 제2항에 있어서,
    상기 판단 척도 계산부는,
    현재 프레임에서 추출된 객체들 실루엣 영역들 중 이전 프레임의 관심 객체 영역에서 관심 객체를 제외한 다른 객체의 영역 중점이 포함되면 겹침 끝 시점으로 판단하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치.
  11. 다중 카메라로 관심 객체를 추적하면서 촬영된 다중 카메라 영상 내에서 객체 영역을 검출하는 단계;
    상기 검출된 객체 영역 내의 객체 중에서 관심 객체 ID에 대응되는 관심 객체를 식별하여 관심 객체 영역을 추출하는 단계;
    상기 추출된 관심 객체 영역을 대상으로 각 카메라 영상별로 프레임마다 베스트 뷰(Best view)의 판단 척도와 인접 프레임 간의 관심 객체 영역에 대한 변화량 계산을 통해 프레임 간 연속성 기반 베스트 뷰의 판단 척도를 계산하는 단계; 및
    상기 계산된 베스트 뷰의 판단 척도에 기초하여 영상 프레임별 베스트 뷰 영상을 선택하는 단계;
    를 포함하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  12. 제11항에 있어서,
    상기 판단 척도를 계산하는 단계는, 관심 객체의 실루엣 기반 활동량, 관심 객체의 얼굴 가시성 정도, 영상 블러링 정도 및 관심 객체와 다른 객체 간의 겹침 정도 중에서 적어도 하나 이상을 베스트 뷰의 판단 척도로 계산하고,
    상기 베스트 뷰 영상을 선택하는 단계는, 상기 계산된 베스트 뷰의 판단 척도에 대한 가중 합(weighted-sum)을 통해 영상 프레임별 베스트 뷰 영상을 선택하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  13. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    상기 추출된 관심 객체 영역 안에서 관심 객체의 실루엣을 추출하고, 기설정된 시간 동안 상기 추출된 실루엣을 겹쳐서 관심 객체의 실루엣에 기초를 둔 활동량을 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  14. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    상기 추출된 실루엣을 겹친 영역에서의 백색 화소 개수 및 회색 화소 개수를 이용하여 관심 객체의 실루엣에 기초를 둔 활동량을 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  15. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    상기 추출된 관심 객체 영역 안에서 하르(Harr) 특징을 이용하여 관심 객체의 정면 얼굴의 존재 여부를 검출하여 관심 객체의 얼굴 가시성 정도를 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  16. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    상기 추출된 관심 객체 영역이 포함된 영상의 제1 색 공간을 제2 색 공간으로 변환하고, 상기 변환된 색 공간에서 색상(Hue)의 화소 값을 추출하고, 인접한 프레임 간 색상의 화소 값에 대한 화소 차이를 계산하여 영상 블러링 정도를 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  17. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    객체 실루엣 기준으로 겹침 기준 영역을 설정하고, 상기 설정된 겹침 기준 영역을 이용하여 상기 추출된 관심 객체 영역에서 관심 객체 및 다른 객체 간의 실루엣 간의 겹침 정도를 계산하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  18. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    관심 객체와 다른 객체 간 앞뒤 판단을 통해 관심 객체가 다른 객체 뒤쪽으로 겹침이 발생했을 때, 관심 객체 및 다른 객체 간의 실루엣 간의 겹침으로 판단하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  19. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    카메라 영상의 매 프레임에서 관심 객체 및 다른 객체의 실루엣을 추출하고, 상기 추출된 관심 객체 및 다른 객체의 실루엣이 합쳐진 실루엣 영역에 이전 프레임에서 추출한 관심 객체를 제외한 다른 객체들의 영역의 중점이 포함되면 시점을 관심 객체 및 다른 객체가 겹쳐지기 시작하는 겹침 시작 시점으로 판단하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
  20. 제12항에 있어서,
    상기 판단 척도를 계산하는 단계는,
    현재 프레임에서 추출된 객체들 실루엣 영역들 중 이전 프레임의 관심 객체 영역에서 관심 객체를 제외한 다른 객체의 영역 중점이 포함되면 겹침 끝 시점으로 판단하는 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 방법.
KR1020170018231A 2017-02-09 2017-02-09 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법 KR20180092495A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170018231A KR20180092495A (ko) 2017-02-09 2017-02-09 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
US15/648,533 US10515471B2 (en) 2017-02-09 2017-07-13 Apparatus and method for generating best-view image centered on object of interest in multiple camera images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170018231A KR20180092495A (ko) 2017-02-09 2017-02-09 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180092495A true KR20180092495A (ko) 2018-08-20

Family

ID=63038327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170018231A KR20180092495A (ko) 2017-02-09 2017-02-09 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US10515471B2 (ko)
KR (1) KR20180092495A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377407B (zh) * 2016-11-04 2021-03-12 株式会社理光 全景视频的处理方法、装置及电子设备
KR102366779B1 (ko) * 2017-02-13 2022-02-24 한국전자통신연구원 다수 객체 추적 시스템 및 이의 객체 추적 방법
AU2018384159B2 (en) * 2017-12-14 2021-02-11 Canon Kabushiki Kaisha Generation device, generation method and program for three-dimensional model
US10818028B2 (en) * 2018-12-17 2020-10-27 Microsoft Technology Licensing, Llc Detecting objects in crowds using geometric context
JP2022028091A (ja) * 2018-12-19 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
CN110830723B (zh) * 2019-11-29 2021-09-28 Tcl移动通信科技（宁波）有限公司 拍摄方法、装置、存储介质及移动终端
US11935322B1 (en) * 2020-09-14 2024-03-19 Apple Inc. Obstruction-sensitive white point determination using face information
CN112822397B (zh) * 2020-12-31 2022-07-05 上海米哈游天命科技有限公司 游戏画面的拍摄方法、装置、设备及存储介质
US11736660B2 (en) 2021-04-28 2023-08-22 Zoom Video Communications, Inc. Conference gallery view intelligence system
US11843898B2 (en) 2021-09-10 2023-12-12 Zoom Video Communications, Inc. User interface tile arrangement based on relative locations of conference participants
ES2947091A1 (es) * 2022-01-26 2023-08-01 Salto Capilla Daniel Del Equipo y procedimiento de captura de vídeo deportivo
US11882383B2 (en) * 2022-01-26 2024-01-23 Zoom Video Communications, Inc. Multi-camera video stream selection for in-person conference participants

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247649A1 (en) * 2005-07-07 2008-10-09 Chun Hing Cheng Methods For Silhouette Extraction
JP4971813B2 (ja) * 2007-01-31 2012-07-11 日本放送協会 映像生成装置及び映像生成プログラム
US8971628B2 (en) * 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
KR20130085316A (ko) 2012-01-19 2013-07-29 한국전자통신연구원 원거리 사람 식별을 위한 다중 카메라 기반의 얼굴영상 획득 장치
TWI556194B (zh) * 2012-06-29 2016-11-01 希科母股份有限公司 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
KR102105189B1 (ko) 2013-10-31 2020-05-29 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US10742864B2 (en) * 2013-12-09 2020-08-11 Playsight Interactive Ltd. Controlling cameras in sports events
KR101573794B1 (ko) 2014-08-18 2015-12-02 금오공과대학교 산학협력단 관심 선수 부가 화면 생성 시스템
US20160314596A1 (en) * 2015-04-26 2016-10-27 Hai Yu Camera view presentation method and system
US20180139374A1 (en) * 2016-11-14 2018-05-17 Hai Yu Smart and connected object view presentation system and apparatus
US10586433B2 (en) * 2017-02-13 2020-03-10 Google Llc Automatic detection of zones of interest in a video
US10021313B1 (en) * 2017-02-28 2018-07-10 Motorola Mobility Llc Image adjustment techniques for multiple-frame images
JP7229174B2 (ja) * 2017-04-14 2023-02-27 コーニンクレッカ フィリップス エヌ ヴェ 人識別システム及び方法
US11093752B2 (en) * 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video

Also Published As

Publication number Publication date
US10515471B2 (en) 2019-12-24
US20180225852A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
KR20180092495A (ko) 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
JP6735592B2 (ja) 画像処理装置及びその制御方法、画像処理システム
US20120229628A1 (en) Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP4214291B1 (ja) 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ
JP2019106617A (ja) 情報処理装置、情報処理方法及びプログラム
US11798233B2 (en) Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model
JP2017117244A (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
CN114120168A (zh) 一种目标跑动距离测算方法、系统、设备及存储介质
CN110910449B (zh) 识别物体三维位置的方法和系统
JP2023053039A (ja) 情報処理装置、情報処理方法及びプログラム
JP7232046B2 (ja) 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体
CN108010058A (zh) 一种对视频流中目标对象进行视觉跟踪的方法及系统
JP3631266B2 (ja) 移動物体の計測装置
JP2009147607A (ja) 人物追尾装置
WO2021160476A1 (en) A camera system with multiple cameras
JP2022016929A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019047336A5 (ko)
KR101733125B1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
JP7080614B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2020135290A (ja) 画像生成装置、画像生成方法、画像生成システム、及びプログラム
JP6516646B2 (ja) 複数のカメラで撮影した画像から個々の被写体を識別する識別装置、識別方法及びプログラム
JP2021105850A (ja) 画像処理装置及び方法、及び撮像装置
JP6420750B2 (ja) 合成情報テーブル作成装置、合成情報テーブル作成方法及びコンピュータプログラム
JP2019036902A (ja) 映像処理装置、映像処理方法および映像処理プログラム