KR102314478B1 - 전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치 - Google Patents

전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR102314478B1
KR102314478B1 KR1020180073980A KR20180073980A KR102314478B1 KR 102314478 B1 KR102314478 B1 KR 102314478B1 KR 1020180073980 A KR1020180073980 A KR 1020180073980A KR 20180073980 A KR20180073980 A KR 20180073980A KR 102314478 B1 KR102314478 B1 KR 102314478B1
Authority
KR
South Korea
Prior art keywords
camera
real
time
input image
image
Prior art date
Application number
KR1020180073980A
Other languages
English (en)
Other versions
KR20190043452A (ko
Inventor
석주명
임성용
김현철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20190043452A publication Critical patent/KR20190043452A/ko
Application granted granted Critical
Publication of KR102314478B1 publication Critical patent/KR102314478B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/65—Holding-devices for protective discs or for picture masks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 멀티카메라를 이용한 동영상 실시간 모니터링 방법을 제공할 수 있다. 이때, 멀티카메라를 이용한 동영상 실시간 모니터링 방법은 멀티카메라로부터 입력 영상을 수신하는 단계, 수신한 멀티카메라 입력 영상을 동기화 기반으로 실시간으로 캡처 및 재생하는 단계, 재생되는 멀티카메라 입력 영상에 대한 실시간 카메라 자세 및 컬러보정처리기반의 실시간 스티칭 영상 처리를 수행하는 단계 및 영상 처리가 수행된 멀티카메라 입력 영상을 출력하는 단계를 포함할 수 있다.

Description

전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치{METHOD AND APPARATUS FOR MONITORING MOVING PICTURE USING OMNI-DIRECTIONAL MULTI-CAMERA}
본 발명은 동영상 실시간 모니터링을 수행하는 방법에 관한 것이다. 보다 상세하게는, 전방위 멀티카메라를 이용하여 동영상 실시간 모니터링을 수행하는 방법에 대한 것이다.
고화질 전방위 카메라 영상을 획득하고자 하는 경우, 단일 카메라 촬영 방식으로는 렌즈왜곡 때문에 고품질 영상 획득이 불가능하므로, 두 개 이상의 카메라를 장착한 리그를 활용하는 촬영방식이 주류를 이루고 있다.
다만, 상술한 특수 촬영 방식에는 단일 카메라에 장착된 뷰파인더를 활용하여야 하였다. 이때, 기존의 촬영 영상 모니터링 방식으로는 장착된 멀티카메라의 자세, 색상 등을 일치시킬 수 없기 때문에 후 보정 작업이 필요할 수 있었다. 이때, 후 보정 작업을 수행하여야 하는바, 촬영의 실패 및 영상화질 열화 등의 문제로 전방위 동영상 중계 및 촬영에 어려움을 겪고 있는 상황이다.
본 발명은 동영상 실시간 모니터링을 수행하는 방법 및 장치를 제공하는데 목적이 있다.
본 발명은 고화질 전방위 카메라 영상을 획득하는 경우에 촬영의 불편함을 해소하고, 전방위 동영상 품질을 개선하는 방법을 제공하는데 목적이 있다.
본 발명은 전방위 멀티카메라 촬영에 적합한 실시간 모니터링 기술을 제공하는데 목적이 있다.
본 발명은 전방위 동영상 품질을 개선하기 위한 전방위 멀티카메라 촬영에 적합한 실시간 모니터링 방법 및 장치를 제공하는데 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따라, 멀티카메라를 이용한 동영상 실시간 모니터링 방법을 제공할 수 있다. 이때, 멀티카메라를 이용한 동영상 실시간 모니터링 방법은 멀티카메라로부터 입력 영상을 수신하는 단계, 수신한 멀티카메라 입력 영상을 동기화 기반으로 실시간으로 캡처 및 재생하는 단계로써, 수신한 멀티카메라 입력 영상에서 ROI(Region Of Interest) 영역이 지정되고, 지정된 ROI 영역에 대한 마스크가 생성되어 캡처 및 재생이 수행되며, 재생되는 멀티카메라 입력 영상에 대한 실시간 카메라 자세 및 컬러보정처리기반의 실시간 스티칭 영상 처리를 수행하는 단계 및 영상 처리가 수행된 멀티카메라 입력 영상을 출력하는 단계를 포함할 수 있다.
본 발명에 따르면, 동영상 실시간 모니터링을 수행하는 방법 및 장치를 제공할 수 있다.
본 발명에 따르면, 고화질 전방위 카메라 영상을 획득하는 경우에 촬영의 불편함을 해소하고, 전방위 동영상 품질을 개선하는 방법을 제공할 수 있다.
본 발명에 따르면, 전방위 멀티카메라 촬영에 적합한 실시간 모니터링 기술을 제공할 수 있다.
본 발명에 따르면, 전방위 동영상 품질을 개선하기 위한 전방위 멀티카메라 촬영에 적합한 실시간 모니터링 방법 및 장치를 제공할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 타임코드 포맷을 화면에 표시하는 방법을 나타낸 도면이다.
도 2는 촬영자의 의도에 따라 입력 영상에 대하여 FOV(Field Of View)기반으로 크롭한 화면을 나타낸 도면이다.
도 3은 사용자가 수동으로 ROI 영역을 지정하는 화면을 나타낸 도면이다.
도 4는 사용자가 수동으로 ROI 영역을 지정하여 생성된 마스크를 나타내는 화면에 대한 도면이다.
도 5는 멀티카메라를 이용한 동영상 실시간 모니터링 방법을 나타낸 순서도이다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
하기에서는 본 발명의 실시예들에 따라 전방위 멀티카메라 촬영에 적합한 실시간 모니터링 방법 및 장치의 구현 내용을 서술한다.
멀티카메라 입력영상 동기화 기반 실시간 캡처/재생 구현
일 예로, 멀티카메라로부터 입력 받은 영상을 동기화 기반으로 실시간 캡처하고 재생할 수 있다. 보다 상세하게는, 복수 개의 카메라로부터 수신한 입력 영상에 대한 동기화를 수행하여 결합된 영상을 실시간으로 캡처하고 재생할 수 있다. 이때, 영상캡처카드에서 지원하는 영상포맷품질을 갖는 복수 개의 영상 소스를 실시간으로 동시에 캡처 및 재생할 필요성이 있다. 일 예로, 복수 개의 영상은 10 내지 12개 이상의 영상 소스일 수 있다.
기본 영상소스 캡처포맷은 “1920x1080@59.94fps, yuv422@8bits”일 수 있다. 이때, 상술한 캡처포맷 이외의 영상캡처포맷은 캡처카드가 제공하는 모든 캡처포맷을 지원해야 하며, 영상포맷 선택은 사용자가 선택하거나 자동으로 입력영상 포맷을 인식하여 캡처, 재생, 상태정보를 표식하고, 구별할 수 있어야 한다. 다만, 일 예로, 기본 영상소스의 캡처포맷은 다르게 설정될 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 일 예로, 캡처되는 영상소스 내의 타임코드를 영상별로 표시하여 재생 영상간의 동기화 여부를 확인할 수 있다. 보다 상세하게는, 멀티카메라로부터 획득되는 복수 개의 영상에 대해서 각각의 타임코드를 영상별로 표시하여 영상에 대한 동기화 여부를 확인할 수 있다. 이때, 일 예로, 캡처되는 영상소스 내에 인베딩된 “RT188 VITC” 타임코드를 영상별로 표시하여 재생 영상간의 동기화 여부를 확인할 수 있다. 이때, 타임코드에 대한 차이가 발생하는 경우, 차이점을 인지 및 확인할 수 있도록 구현될 수 있다. 이를 통해, 멀티카메라에서 복수 개의 영상에 대한 동기화가 수행될 수 있다.
또한, 일 예로, 캡처보드를 활용한 카메라 영상 모니터링 방식 이외에 저장된 동영상파일 및 이미지를 로딩하여 모니터링을 할 수 있다. 이때, 동영상 재생포맷, 압축 포맷 및 이미지 포맷 등 다양하게 지원될 수 있다. 일 예로, 재생 포맷은 AVI(UYUV 등 YUV 포맷)을 지원할 수 있으나, 상술한 실시예로 한정되지 않는다. 또한, 압축포맷은 mp4, HEVC, H264 등이 지원될 수 있으나, 상술한 실시예로 한정되지 않는다. 또한, 이미지 포맷은 BMP, PNG, JPG, TIFF 등이 지원될 수 있으나, 상술한 실시예로 한정되지 않는다. 이때, 일 예로, 동영상의 경우 개별 또는 전체 타임라인을 표식하여 사용자가 랜덤 액세스 등 파일재생 제어가 가능하도록 구현될 필요성이 있다.
또한, 입력영상은 개별/일괄로 좌우상하플립, 좌우회전, 확대축소 등 사용자 선택에 따른 변환제어가 가능할 수 있다. 이때, 일 예로, 상술한 변환제어는 속도저하 문제가 없도록 GPU 기반으로 구현될 필요성이 있다. 즉, 입력 영상에 대한 변환 제어도 가능할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 캡처된 입력 영상을 재생하는 경우, 다양한 재생 뷰가 지원되어야 한다. 이때, 재생은 프로젝션 뷰에 기초하여 재생될 수 있다. 또한, 일 예로, 모델방식은 2D 뷰, Equirectangular 뷰, Sphere 뷰, Cylinderical 뷰 및 Cubic 뷰 중 적어도 어느 하나 이상을 지원할 수 있다. 또한, 재생하는 영상에 대해서 입력 정보에 기초하여 확대 축소 등과 같은 변환 동작들이 처리속도 저하없이 구현될 수 있다. 이때, 일 예로, 마우스 등의 이벤트 수신 시 확대 축소되는 등의 기본적인 디지털 줌재생 트릭모드가 전체 처리속도저하 없이 구현될 수 있다.
또한, 재생 시 그 위치에 따른 영상간 중첩부분에서는 알파블렌딩을 지원하고 그 농도를 제어할 수 있다. 이때, 본 발명의 실시예들에 의한 알고리즘에 따른 영상 중복도 자동 계산 표식이 전체 처리속도저하 없이 구현될 수 있다. 즉, 멀티카메라의 복수 영상 간의 중첩 부분에 대한 처리를 수행하여 상술한 바와 같이 캡처 및 재생될 수 있도록 할 수 있다.
또한, 본 발명의 실시예들에 따른 알고리즘 및 설계에 따라 색상 비교 방법을 구현하여 계산 표식이 필요할 수 있다. 이때, 그리드 및 수평/수직계 등 픽 방식 등 촬영 편의 툴 기능이 전체 처리속도저하 없이 구현될 필요성이 있다.
도 1은 타임코드 포맷을 화면에 표시하는 방법을 나타낸 도면이다.
도 1을 참조하면, 캡처보드를 활용한 카메라 영상 모니터링 방식 이외에 저장된 동영상파일 및 이미지를 로딩하여 모니터링을 할 수 있다. 이때, 동영상 재생포맷, 압축 포맷 및 이미지 포맷 등 멀티 포맷이 지원될 수 있으며, 이에 대해서는 상술한 바와 같다. 또한, 일 예로, 동영상의 경우, 개별 또는 전체 타임 라인(110)을 표식할 수 있다. 이를 통해, 사용자가 랜덤 액세스 등 파일 재생 제어가 가능하도록 할 수 있다. 보다 상세하게는, 도 1처럼 타임 라인(110)이 동영상에 포함될 수 있고, 이에 대한 정보는 파일 재생을 제어하는데 활용될 수 있다. 즉, 복수 개의 영상에서 상호 간의 타임 라인(110)을 확인하고, 이에 기초하여 동기화가 수행될 수 있다. 또한, 동영상에 포함된 타임 라인에 대한 정보를 이용하면 동영상을 제어하는데 도움이 될 수 있으며, 상술한 실시예로 한정되지 않는다. 또한, 타임 라인(110)을 통해 프로젝트 생성시 카메라 입력과 동영상 입력 이미지 입력을 선택할 수 있다.
또한, 일 예로, 입력 영상 각각에 대해서 변환 제어가 가능할 수 있다. 또한, 일 예로, 입력 영상에 대해 일괄적으로 변환 제어가 가능할 수 있다. 즉, 멀티카메라 영상에서 변환 제어에 대해서는 개별 또는 일괄적으로 수행될 수 있다. 이때, 변환 제어는 좌우상하플립, 좌우회전 및 확대축소 등과 같은 사용자 입력에 의해 수행되는 제어일 수 있으며, 일 예로 표 1과 같을 수 있다.
[표 1]
Figure 112018063139612-pat00001
또한, 상술한 바와 같이, 캡처된 입력 영상을 재생하는 경우, 다양한 재생 뷰가 지원될 수 있다. 이때, 재생은 프로젝션 뷰에 기초하여 재생될 수 있다. 또한, 일 예로, 모델방식은 2D 뷰, Equirectangular 뷰, Sphere 뷰, Cylinderical 뷰 및 Cubic 뷰 중 적어도 어느 하나 이상을 지원할 수 있다. 또한, 재생하는 영상에 대해서 입력 정보에 기초하여 확대 축소 등과 같은 변환 동작들이 처리속도 저하없이 구현될 수 있다. 이때, 일 예로, 마우스 등의 이벤트 수신 시 확대 축소되는 등의 기본적인 디지털 줌재생 트릭모드가 전체 처리속도저하 없이 구현될 수 있다. 이때, 일 예로, GPU기반으로 Media Framework이 구현될 수 있다.
또한, 일 예로, 영상을 재생하는 경우, 영생의 재생 위치에 따른 영상간 중첩부분에서는 알파블렌딩을 지원할 수 있다. 일 예로, 알파 블렌딩은 픽셀값을 주는 기능일 수 있으며, 알파블렌딩에 기초한 알고리즘에 따른 영상중복도 자동 계산 표식이 전체 처리속도 저하없이 구현될 수 있다. 이때, 화면에 알파 블랜딩을 수행하는 기능으로 체크박스를 활성화하고, 알파값 적용 수치를 넣으면 중복영역에 대한 블랜딩을 수행할 수 있다. 일 예로, 블랜딩 값은 0~1.0 값일 수 있으나, 이에 한정되지 않는다.
또한, 일 예로, 소정의 알고리즘 및 설계에 따라 칼라비교 방법을 구현하여 계산표식해야 하며 그리드 수평 / 수직계 등 픽 방식 등 촬영편의 툴 기능이 전체 처리속도저하 없이 구현할 수 있다. 이때, 일 예로, 영상을 보는 사용자는 영상에 있는 물체가 수평/수직선상에 있는지 육안으로 확인이 어려울 수 있다. 따라서, 영상에서 수평 수직선을 표시하여 사용자가 이를 구분함에 어렵지 않도록 제공해줄 필요성이 있다.
하기에서는 상술한 바에 기초하여 멀티카메라 입력영상 실시간 렌즈보정 영상 처리 구현 방법에 대해 서술한다.
멀티카메라 입력영상 실시간 렌즈보정 영상처리 구현
상술한 바에 기초하여, 멀티카메라에서 입력 영상을 실시간으로 캡처 및 재생할 수 있다. 이때, 일 예로, 소정의 운용절차에 따라 촬영렌즈 타입(Rectlinear, Circular Fish eye, Full frame Fisheye)과 렌즈 화각을 실시간으로 반영하여 재생하는 방법이 필요할 수 있다. 이때, 일 예로, 렌즈왜곡(Barrel, Pincusion)을 보정값을 수동 조정할 수 있는 툴이 구현되어야 할 필요성이 있다 이때, 일 예로, 입력 영상에 대해서 FOV(Field of View) 기반으로 크롭하거나 ViewPoint(image Center)을 수동 조정하여 영상 변환 재생을 수행할 수 있다. 즉, 촬영자의 의도에 따라 입력 영상을 변환하여 재생을 수행할 수 있다.
일 예로, 도 2는 촬영자의 의도에 따라 입력 영상에 대하여 FOV기반으로 크롭한 화면을 나타낸 도면이다. 도 2를 참조하면, 실시간 스티칭 재생을 위해서 캡처 영상이 GPU에서 처리되도록 메모리 관리를 바탕으로 하는 고속영상 데이터 처리 구현방식이 지원되어야 하며 사용자의 요구에 따라 해당 영상의 구역을 설정하여 필요 해상도만큼의 업샘플링하여 전방위 동영상 실시간 생성이 되도록 구현할 수 있다. 보다 상세하게는, 이를 통해, 도 2(a)처럼 멀티카메라 각각은 입력 영상을 획득할 수 있다. 이때, 멀티카메라로부터 획득한 복수 개의 영상을 이용하여 실시간으로 스티칭 재생을 수행할 수 있다. 이때, 일 예로, 복수 개의 영상은 상술한 바와 같이 GPU에서 처리되도록 메모리 관리를 바탕으로 하는 고속영상 데이터 처리 구현방식이 지원될 수 있다. 또한, 일 예로, 해당 영상의 구역을 설정하여 필요 해상도만큼의 업샘플링하여 전방위 동영상 실시간 생성이 되도록 구현하여 도 2(b)와 같이 출력할 수 있다.
또한, 도 3은 사용자가 수동으로 ROI(Region of Interest) 영역을 지정하는 화면을 나타낸 도면이다. 또한, 도 4는 사용자가 수동으로 ROI 영역을 지정하여 생성된 마스크를 나타내는 화면이다. 이때, 도 3 및 도 4를 참조하면, 두 영상의 중첩 영역의 의미는 동일한 공간 혹은 피사체를 두 영상이 포함하고 있음을 의미할 수 있다. 기본적으로는 이러한 중첩영역에서 두 영상을 이어 붙일 수 있는 SEAM을 도출할 수 있다. 이때, 두 영상의 중복 영역의 중앙에 위치한 픽셀을 선으로 연결하여 두 영상을 이어 붙이는 SEAM을 도출하는 경우를 화각 거리 중심 기반의 SEAM이라 할 수 있다. 하지만, 카메라 자세 좌표값으로만 할 경우 피사체의 거리 등 촬영 환경에 따라 화각 거리 중심 SEMA만으로 부족하기 때문에 사용자가 수동으로 ROI 영역을 지정하여 마스크를 생성하도록 할 수 있다. 즉, 영상에서 특정 영역을 사용자가 관심 있는 영역으로 지정하여 화각 중심 거리의 가중치를 부여할 수 있게 한다. 이때 마스크의 의미는 가중치를 가감할 수 있도록 중첩영역을 비선형적으로 정의하기 위해 ROI 마스크를 생성하도록 할 수 있다. 이때, ROI 영역은 사용자 입력에 기초하여 지정될 수 있다. 즉, 특정 영역이 ROI로 설정되고, 이 영역에 대한 마스크가 설정될 수 있다. 즉, 사용자가 관심 있는 영역에 대해서 영상 처리를 수행하여 관심 영역에 대한 출력 정보를 제공할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 하기에서는 상술한 바에 기초하여 실시간 카메라자세 및 컬러보정처리기반의 실시간 스티칭 영상처리 구현 방법에 대해 서술한다.
실시간 카메라자세 및 컬러보정처리기반의 실시간 스티칭 영상처리 구현
일 예로, 상술한 실시간 모니터링 재생(프로젝션)방식 환경에서 각 모델마다 입력되는 개별 영상별로 3~6축 자세 수동 조정이 가능할 수 있다. 또한, 조정된 기하학 정보를 바탕으로 GPU 영상처리되어 실시간 재생하도록 구현될 수 있다. 이때, 일 예로, 상술한 실시간 모니터링 재생(프로젝션)방식 환경 자세 조정 시 연관된 프로젝션 방식간(2D-3D간)에서는 기하학 변환식을 통하여 자세정보의 공유 및 일치화 기능이 지원되도록 구현될 수 있다.
이때, 상술한 실시간 모니터링 재생(프로젝션 방식)에서 처리되는 영상 중첩구간의 알파블렌딩 상황에서, 블랜딩 처리 알고리즘에 따라 영상중첩 구간의 Seam 처리, 블랜딩 처리를 조절하여 처리가 되도록 고속 GPU 영상처리가 구현될 수 있다.
또한, 실시간 스티칭 재생을 위해서 캡처 영상이 GPU에서 처리되도록 메모리 관리를 바탕으로 하는 고속영상 데이터 처리 구현방식이 지원되어야 하며 사용자의 요구에 따라 해당 영상의 구역을 설정하여 필요 해상도만큼의 업샘플링하여 전방위 동영상 실시간 생성이 되도록 구현할 수 있다. 이때, 입력영상소스를 개별/일괄로 R/G/B 별 색조정, White Balance 조정에 대하여 실시간으로 변환하여 재생할 수 있도록 구현될 수 있다. 또한, 조정된 기하학 및 컬러정보 등은 재생방식을 포함하여 상태정보가 저장되는 템플릿기반 저장 기능이 구현되어야 하며 저장된 템플릿 로딩시 목적한 바 대로 재생되도록 구현할 수 있다. 즉, 복수 개의 영상에 대해서 상술한 보정 작업을 통해 원하는 영상을 출력할 수 있으며, 상술한 실시예로 한정되지 않는다. 또한, 임의의 워크 플로우에 기초하여 GUI를 구현할 수 있다.
도 5는 본 발명에 기초하여 전방위 멀티카메라를 이용하여 동영상 실시간 모니터링을 수행하는 방법을 나타낸 도면이다.
도 5를 참조하면, 멀티카메라로부터 입력 영상을 수신할 수 있다.(S510) 이때, 멀티카메라는 전방위 멀티카메라로 각각의 영상을 촬영하고, 이에 기초한 영상을 획득할 수 있다. 다음으로, 멀티카메라 입력 영상을 동기화 기반으로 실시간으로 캡처 및 재생을 수행할 수 있다.(S520) 이때, 도 1 내지 도 4에서 상술한 바와 같이, 입력 영상에 대한 동기화를 수행하기 위해서 타임 코드가 각각의 영상에 포함될 수 있으며, 상술한 바와 같은 포맷을 사용할 수 있다. 또한, 일 예로, 실시간 캡처 및 재생을 수행하는 경우에 있어서 캡처카드에서 지원하는 영상포맷품질을 갖는 복수 개의 영상 소스를 실시간으로 동시에 캡처하고 재생할 수 있다. 즉, 복수 개의 영상에 대해서 동일한 영상포맷품질에 기초하여 실시간으로 캡처 및 재생을 수행할 수 있다.
또한, 일 예로, 멀티카메라의 입력 영상 동기화 기반 실시간 캡처 및 재생을 수행하는 경우에 있어서 재생 위치에 따른 영상간 중첩 부분에서는 알파블렌딩 처리를 수행하고, 그에 기초하여 농도를 제어할 수 있다. 이때, 일 예로, 재생 위치에 따른 영상간 중첩 부분은 상술한 타임 코드에 기초하여 동기화 여부를 통해 수행될 수 있으며, 이는 상술한 바와 같다.
다음으로, 실시간 카메라 자세 및 컬러보정처리기반의 실시간 스티칭 영상 처리를 수행할 수 있다.(S530) 그 후, 영상에 대한 출력을 수행할 수 있다.(S540) 이때, 도 1 내지 도 4에서 상술한 바와 같이, 실시간 카메라 자세 및 컬러보정처리기반의 실시간 스티칭 영상처리는 실시간 모니터링 재생에서 환경 자세 조정시 연관된 프로젝션 방식간(2D-3D간)에서는 기하학 변환식을 통하여 자세정보의 공유 및 일치화를 통해 수행될 수 있다. 또한, 실시간 카메라자세 및 컬러보정처리기반의 실시간 스티칭 영상처리 수행은 실시간 모니터링 재생에서 처리되는 영상 중첩구간의 알파블렌딩 상황에서, 소정의 블랜딩처리 알고리즘에 따라 영상중첩 구간의 Seam 처리, 블랜딩 처리를 조절하여 처리가 되도록 고속 GPU에 기초하여 수행될 수 있다. 또한, 일 예로, 실시간 카메라자세 및 컬러보정처리기반의 실시간 스티칭 영상처리는 사용자의 요구에 따라 해당 영상의 구역을 설정하여 필요 해상도만큼의 업샘플링하여 전방위 동영상을 실시간 생성하여 수행할 수 있으며, 상술한 실시예로 한정되지 않는다.
즉, 상술한 멀티카메라에 기초하여 넓은 화각을 동시에 촬영하기 위해 다수 개의 카메라로 구조화하여 화각을 나누어 촬영하는 방식에서 입력영상을 실시간으로 캡처 재생할 수 있도록 함으로서, 영상을 출력할 수 있으며, 상술한 실시예로 한정되지 않는다.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
-

Claims (10)

  1. 멀티카메라를 이용한 동영상 실시간 모니터링 방법에 있어서,
    상기 멀티카메라로부터 입력 영상을 수신하는 단계;
    상기 수신한 멀티카메라 입력 영상을 동기화 기반으로 실시간으로 캡처 및 재생하는 단계로써, 상기 수신한 멀티카메라 입력 영상에서 ROI(Region Of Interest) 영역이 지정되고, 상기 지정된 ROI 영역에 대한 마스크가 생성되어 상기 캡처 및 상기 재생이 수행되며;
    상기 재생되는 멀티카메라 입력 영상에 대한 실시간 카메라 자세 및 컬러보정처리기반의 실시간 스티칭 영상 처리를 수행하는 단계; 및
    상기 영상 처리가 수행된 멀티카메라 입력 영상을 출력하는 단계;를 포함하고,
    상기 실시간으로 캡처 및 재생하는 단계는,
    상기 마스크를 기준으로, 상기 입력 영상의 화각 중심 거리의 가중치를 제어하는 단계를 포함하는, 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  2. 제1항에 있어서,
    상기 캡처 및 재생하는 단계는,
    상기 입력 영상의 타임코드를 표시하는 단계와'
    상기 타임 코드를 사용하여 상기 입력 영상 간의 동기화를 수행하는 단계를 포함하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  3. 제1항에 있어서,
    상기 캡처 및 재생하는 단계는,
    상기 입력 영상에 대해 일괄적으로 변환 제어하는 단계를 포함하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  4. 제3항에 있어서,
    상기 변환 제어는,
    상기 입력 영상에 대한 좌우상하플립 변환, 좌우회전 변환, 확대 및 축소 중, 하나를 포함하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  5. 제1항에 있어서,
    상기 실시간 스티칭 영상 처리를 수행하는 단계는,
    촬영렌즈 타입(Rectlinear, Circular Fish eye, Full frame Fisheye)과 렌즈 화각을 실시간으로 반영하여 실시간 스티칭 영상 처리를 수행하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  6. 제1항에 있어서,
    상기 멀티카메라 입력 영상에서 동일한 공간 혹은 동일한 피사체를 포함하는 영역을 ROI로 지정하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  7. 제6항에 있어서,
    상기 멀티카메라 입력 영상의 중첩영역에서 영상을 이어 붙일 수 있는 영역을 확인하는 단계를 포함하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  8. 제7항에 있어서,
    상기 영상을 이어 붙일 수 있는 영역은, 상기 멀티카메라 입력 영상의 중앙에 위치한 픽셀을 선으로 연결하여 상기 영상을 이어 붙일 수 있는 영역을 설정하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  9. 제1항에 있어서,
    상기 캡처 및 재생하는 단계는,
    상기 멀티카메라 입력 영상의 중첩영역에 대한 알파블렌딩을 처리하는 단계를 포함하는 멀티카메라를 이용한 동영상 실시간 모니터링 방법.
  10. 적어도 하나의 프로세서, 적어도 하나의 저장매체, 멀티카메라, 및 디스플레이를 포함하여 동영상 실시간 모니터링을 수행하는 전자장치에 있어서,
    상기 프로세서는,
    상기 멀티카메라로부터 입력 영상을 수신하고,
    상기 수신한 멀티카메라 입력 영상을 동기화 기반으로 실시간으로 캡처 및 재생하되, 상기 수신한 멀티카메라 입력 영상에서 ROI(Region Of Interest) 영역이 지정되고, 상기 지정된 ROI 영역에 대한 마스크가 생성되며, 상기 마스크를 기준으로, 상기 입력 영상의 화각 중심 거리의 가중치를 제어하여 상기 입력영상에 대한 상기 캡처 및 상기 재생이 수행되며;
    상기 재생되는 멀티카메라 입력 영상에 대한 실시간 카메라 자세 및 컬러보정처리기반의 실시간 스티칭 영상 처리를 수행하고,
    상기 영상 처리가 수행된 멀티카메라 입력 영상을 상기 디스플레이에 출력하는 장치.
KR1020180073980A 2017-10-18 2018-06-27 전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치 KR102314478B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170135465 2017-10-18
KR1020170135465 2017-10-18

Publications (2)

Publication Number Publication Date
KR20190043452A KR20190043452A (ko) 2019-04-26
KR102314478B1 true KR102314478B1 (ko) 2021-10-19

Family

ID=66281422

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180073980A KR102314478B1 (ko) 2017-10-18 2018-06-27 전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102314478B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321382A1 (en) * 2009-06-18 2010-12-23 Scalable Display Technologies, Inc. System and method for injection of mapping functions
KR20150068298A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1(한국통신학회, 한국통신학회 학술대회논문집, 2014.06.30)
비특허문헌 2(한국통신학회. 한국통신학회 학술대회논문집. 2017.06.30)

Also Published As

Publication number Publication date
KR20190043452A (ko) 2019-04-26

Similar Documents

Publication Publication Date Title
US10665261B2 (en) Camera array including camera modules
US20220109818A1 (en) Digital camera system for recording, editing and visualizing images
US10368011B2 (en) Camera array removing lens distortion
JP5172863B2 (ja) バナナ・コーデック
US20200275079A1 (en) Generating three-dimensional video content from a set of images captured by a camera array
US10154194B2 (en) Video capturing and formatting system
US9264695B2 (en) System and method for multi-viewpoint video capture
US10116880B2 (en) Image stitching method and image processing apparatus
US20080253685A1 (en) Image and video stitching and viewing method and system
KR20130112574A (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
US10186301B1 (en) Camera array including camera modules
US20070247518A1 (en) System and method for video processing and display
US11108971B2 (en) Camera array removing lens distortion
US20130044258A1 (en) Method for presenting video content on a hand-held electronic device
KR101704362B1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
KR102314478B1 (ko) 전방위 멀티카메라를 이용한 동영상 실시간 모니터링 방법 및 장치
JP5927515B2 (ja) 画像編集方法、画像編集システム、及び画像編集プログラム
CN112912935A (zh) 虚拟现实实时拍摄监看系统及控制方法
JP7038935B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7375402B2 (ja) 情報処理方法、情報処理装置およびプログラム
WO2024075525A1 (ja) 情報処理装置およびプログラム
US20200412928A1 (en) Imaging device, imaging system, and imaging method
CN107046624B (zh) 影像缝合方法及影像处理装置
Carr et al. Portable multi-megapixel camera with real-time recording and playback

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant