KR20210132590A - 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램 - Google Patents
영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램 Download PDFInfo
- Publication number
- KR20210132590A KR20210132590A KR1020210024428A KR20210024428A KR20210132590A KR 20210132590 A KR20210132590 A KR 20210132590A KR 1020210024428 A KR1020210024428 A KR 1020210024428A KR 20210024428 A KR20210024428 A KR 20210024428A KR 20210132590 A KR20210132590 A KR 20210132590A
- Authority
- KR
- South Korea
- Prior art keywords
- image frame
- processed
- candidate
- distortion parameter
- correction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 161
- 230000005855 radiation Effects 0.000 claims description 105
- 238000003672 processing method Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
본 출원은 영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 개시하는바, 컴퓨터 비전 기술 분야에 관한 것이다. 구체적인 실시 방식은, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하는 단계; 당해 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 단계; 왜곡 보정 후 중심 영역 외의 국소에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하는 단계; 및 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 당해 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하는 단계를 포함한다. 본 출원은 각 후보 1차 방사왜곡 파라미터를 이용하여 왜곡 보정을 진행하고 직선 선분의 수량에 의해 왜곡 보정 효과가 가장 좋은 후보 1차 방사왜곡 파라미터를 정확하게 결정하여 처리할 영상 프레임의 1차 방사왜곡 파라미터로 사용할 수 있다.
Description
본 출원의 실시예는 컴퓨터 기술 분야에 관한 것으로, 구체적으로는 컴퓨터 비전 기술 분야에 관한 것이며, 특히 영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램에 관한 것이다.
이미지 왜곡은 렌즈 왜곡이라고도 하며, 광학 렌즈 고유의 원근 왜곡에 대한 총칭인바, 다시 말해 원근 원인으로 인한 왜곡이다. 많은 장면에서 촬영된 이미지, 예를 들어 광각 렌즈를 사용했거나 원거리 촬영된 이미지에는 모두 비교적 뚜렷한 왜곡이 발생하게 된다. 왜곡된 상황에서 이미지 중의 객체는 실제 객체에 비해 비교적 큰 변형이 발생한다. 이는 이미지의 미관과 식별에 영향줄 뿐만 아니라 이미지의 검사 등의 이미지에 대한 후속의 처리에 일부 방해를 끼치게 된다.
관련 기술에서는 왜곡 보정을 사용하여 왜곡된 이미지를 처리할 수 있는바, 즉, 이미지에 대한 왜곡을 제거하는 전문 처리를 통해 이미지의 품질을 개선하고 이미지 중의 장면이 실제 장면에 더 근접하도록 할 수 있다.
영상 프레임 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 제공한다.
첫 번째 측면에 따르면, 영상 프레임 처리 방법이 제공되는바, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하는 단계 - 여기서 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같고 지정된 방사왜곡 파라미터는 비(非) 1차 방사왜곡 파라미터임 - ; 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 단계; 각 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하는 단계 - 각 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치함 - ; 및 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하는 단계를 포함한다.
두 번째 측면에 따르면, 영상 프레임 처리 장치가 제공되는바, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하도록 구성되는 제1 획득 유닛 - 여기서 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같고 지정된 방사왜곡 파라미터는 비(非) 1차 방사왜곡 파라미터임 - ; 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하도록 구성되는 제1 보정 유닛; 각 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하도록 구성되는 선택 유닛 - 각 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치함 - ; 및 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하도록 구성되는 결정 유닛을 포함한다.
세 번째 측면에 따르면, 전자 기기가 제공되는바, 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하고, 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행되는 경우, 하나 또는 복수의 프로세서가 영상 프레임 처리 방법 중 어느 한 실시예에 따른 방법을 구현하도록 한다.
네 번째 측면에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체가 제공되는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 영상 프레임 처리 방법 중 어느 한 실시예에 따른 방법이 구현된다.
다섯 번째 측면에 따르면, 매체에 저장된 컴퓨터 프로그램이 제공되는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 영상 프레임 처리 방법 중 어느 한 실시예에 따른 방법이 구현된다.
본 출원의 방안에 따르면, 각 후보 1차 방사왜곡 파라미터를 이용하여 왜곡 보정을 진행하고 직선 선분의 수량에 의해 왜곡 보정 효과가 가장 좋은 후보 1차 방사왜곡 파라미터를 정확하게 결정하여 처리할 영상 프레임의 1차 방사왜곡 파라미터로 사용할 수 있다. 당해 방식은 영상 프레임에 대한 교정 등의 사전처리가 필요 없이 영상에 대해 실시간의, 비교적 정확한 왜곡 보정 처리를 구현할 수 있다. 수치가 비교적 큰 후보 1차 방사왜곡 파라미터를 한정함으로써 후보 1차 방사왜곡 파라미터가 통상적으로 수치가 비교적 큰 그 특성에 더 부합되게 하여 최종 획득한 목표 1차 방사왜곡 파라미터가 진실한 수치에 더 부합되도록 확보한다.
아래의 첨부도면을 참조한 비한정적 실시예에 대한 상세 설명을 읽어보면, 본 출원의 다른 특징, 목적 및 이점이 더 분명해질 것이다.
도 1은 본 출원의 일부 실시예가 적용될 수 있는 예시적인 시스템 아키텍처 도면이다.
도 2는 본 출원에 따른 영상 프레임 처리 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 영상 프레임 처리 방법의 한 응용 시나리오의 개략도이다.
도 4는 본 출원에 따른 영상 프레임 처리 방법의 다른 실시예의 흐름도이다.
도 5는 본 출원에 따른 영상 프레임 처리 장치의 일 실시예의 구조 개략도이다.
도 6은 본 출원의 실시예의 영상 프레임 처리 방법을 구현하는 전자 기기의 블록도이다.
도 1은 본 출원의 일부 실시예가 적용될 수 있는 예시적인 시스템 아키텍처 도면이다.
도 2는 본 출원에 따른 영상 프레임 처리 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 영상 프레임 처리 방법의 한 응용 시나리오의 개략도이다.
도 4는 본 출원에 따른 영상 프레임 처리 방법의 다른 실시예의 흐름도이다.
도 5는 본 출원에 따른 영상 프레임 처리 장치의 일 실시예의 구조 개략도이다.
도 6은 본 출원의 실시예의 영상 프레임 처리 방법을 구현하는 전자 기기의 블록도이다.
아래 첨부 도면을 결부하여 본 출원의 시범적 실시예를 설명하고자 하는바, 이해를 돕고자 본 출원의 실시예의 다양한 세부사항이 포함되나 이는 단지 시범적인 것으로 간주되어야 한다. 따라서, 당업자라면, 여기서 서술한 실시예는 본 출원의 범위 및 사상에 위배되지 않으면서 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 명확함과 간결함을 위해, 아래 서술에서는 공지된 기능 및 구조에 대한 서술을 생략하기로 한다.
부연하면, 상충되지 않은 한, 본 출원의 실시예 및 실시예의 특징은 상호 조합될 수 있다. 아래 첨부도면을 참조하면서 실시예를 결부하여 본 출원을 상세히 설명하고자 한다.
도 1은 본 출원의 영상 프레임 처리 방법 또는 영상 프레임 처리 장치의 실시예를 적용할 수 있는 예시적인 시스템 아키텍처(100)를 도시한다.
도1에 도시한 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크를 제공하는 매체로 사용된다. 네트워크(104)는 다양한 연결 유형, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.
사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션함으로써 메세지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)에는 다양한 통신 클라이언트 애플리케이션, 예를 들면 동영상 애플리케이션, 라이브 스트리밍 애플리케이션, 인스턴트 메시징 툴, 메일 클라이언트, 소셜 플랫폼 소프트웨어 등이 설치되어 있을 수 있다.
여기서의 단말 기기(101, 102, 103)는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어인 경우에는 표시 스크린을 가지는 다양한 전자 기기일 수 있는바, 스마트폰, 태블릿 컴퓨터, 전자책 뷰어 기기, 휴대용 랩톱 컴퓨터 및 데스크톱 컴퓨터 등을 포함하나 이에 한정되지 않는다. 단말 기기(101, 102, 103)가 소프트웨어인 경우에는 이상 나열한 전자 기기에 설치될 수 있다. 이는 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스를 제공하는 복수의 소프트웨어 또는 소프트웨어 모듈)로 구현될 수도 있고 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 구체적으로 한정하지 않는다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있는바, 예를 들면 단말 기기(101, 102, 103)에 지원을 제공하는 백그라운드 서버일 수 있다. 백그라운드 서버는 수신된 처리할 영상 프레임 등의 데이터에 대해 분석 등의 처리를 수행하고 처리 결과(예를 들면 목표 1차 방사왜곡 파라미터)를 단말 기기에 피드백할 수 있다.
부연하면, 본 출원의 실시예에 의해 제공되는 영상 프레임 처리 방법은 서버(105) 또는 단말 기기(101, 102, 103)에 의해 수행될 수 있고, 상응하게, 영상 프레임 처리 장치는 서버(105) 또는 단말 기기(101, 102, 103)에 설치될 수 있다.
도1에서의 단말 기기, 네트워크 및 서버의 수는 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라, 임의 수의 단말 기기, 네트워크 및 서버를 가질 수 있다.
계속하여 도2를 참조하면, 본 출원에 따른 영상 프레임 처리 방법의 일 실시예의 흐름(200)을 도시한다. 당해 영상 프레임 처리 방법은 하기 단계를 포함한다.
단계(201)에 있어서, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하되, 여기서 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같고 지정된 방사왜곡 파라미터는 비(非) 1차 방사왜곡 파라미터이다.
본 실시예에서, 영상 프레임 처리 방법이 수행되는 수행 주체(예를 들어 도 1에 도시한 서버 또는 단말 기기)는 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터(즉 k1)를 획득할 수 있으며, 이 외에도, 상기 수행 주체는 1차 방사왜곡 파라미터 외의 지정된 방사왜곡 파라미터에 대하여 당해 지정된 방사왜곡 파라미터의 지정된 수치를 획득할 수도 있다. 실천에 있어서, 상기 수행 주체는 상기 사전설정된 복수의 후보 1차 방사왜곡 파라미터 및 지정된 수치를 로컬 또는 다른 전자 기기로부터 직접 획득할 수 있다. 여기서의 처리할 영상 프레임은 카메라에 의해 촬영된 영상 프레임 원본일 수도 있고 영상 프레임 원본에 대한 일정한 처리(예를 들면 캡쳐, 스타일 변경 등)를 거쳐 획득한 영상 프레임일 수도 있다.
방사왜곡 파라미터는 복수 개를 포함할 수 있는바, 예를 들어 1차 방사왜곡 파라미터, 2차 방사왜곡 파라미터(k2)를 포함할 수 있고, 이 외에도, 3차 방사왜곡 파라미터(k3)를 포함할 수도 있다. 이에 따라, 여기서의 지정된 방사왜곡 파라미터는 2차 방사왜곡 파라미터를 포함할 수도 있고 3차 방사왜곡 파라미터를 포함할 수도 있다. 각 지정된 방사왜곡 파라미터는 모두 그에 대응되는 지정된 수치를 가진다. 서로 다른 지정된 방사왜곡 파라미터의 수치는 같을 수도 있는바, 예를 들면 모두 0일 수 있다.
예를 들어, 지정된 수치가 0이면 그 절대치가 0이고, 후보 1차 방사왜곡 파라미터가 -0.2이면 그 절대치가 0.2로, 지정된 수치의 절대치보다 크다.
단계(202)에 있어서, 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득한다.
본 실시예에서, 상기 수행 주체는 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 각 지정된 방사왜곡 파라미터의 지정된 수치에 기반하여 처리할 영상 프레임에 대한 방사왜곡 보정을 진행할 수 있으며, 방사왜곡 보정의 결과가 제1 초기보정 영상 프레임이다. 실천에 있어서, 상기 수행 주체는 지정된 초점거리를 방사왜곡 보정의 파라미터로 사용하여 상기 방사왜곡 보정을 진행할 수 있다.
단계(203)에 있어서, 각 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하되, 각 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하다.
본 실시예에서, 상기 수행 주체는 선택 단계를 수행할 수 있는바, 즉 획득한 각 제1 초기보정 영상 프레임 중에서, 영상 프레임의 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택할 수 있다. 제1 초기보정 영상 프레임 중의 적어도 국소 영역은 제1 초기보정 영상 프레임의 국소 영역 또는 전체 영역을 가리킨다. 서로 다른 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하다. 여기서 직선 선분은 만곡되지 않은 선분을 가리킨다.
단계(204)에 있어서, 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정한다.
본 실시예에서, 상기 수행 주체는 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정할 수 있다.
본 출원의 상기 실시예에서 제공한 방법에 따르면, 각 후보 1차 방사왜곡 파라미터를 이용하여 왜곡 보정을 진행하고 직선 선분의 수량에 의해 왜곡 보정 효과가 가장 좋은 후보 1차 방사왜곡 파라미터를 정확하게 결정하여 처리할 영상 프레임의 1차 방사왜곡 파라미터로 사용할 수 있다. 당해 방식은 영상 프레임에 대한 교정 등의 사전처리가 필요 없이 영상에 대해 실시간의, 비교적 정확한 왜곡 보정 처리를 구현할 수 있다. 수치가 비교적 큰 후보 1차 방사왜곡 파라미터를 한정함으로써 후보 1차 방사왜곡 파라미터가 통상적으로 수치가 비교적 큰 그 특성에 더 부합되게 하여 최종 획득한 목표 1차 방사왜곡 파라미터가 진실한 수치에 더 부합되도록 확보한다.
본 실시예의 일부 대안적인 구현방식에서, 적어도 국소 영역은 제1 초기보정 영상 프레임 중 지정된 중심 영역 외의 영역이다.
이러한 대안적인 구현방식에서, 상기 적어도 국소 영역은 제1 초기보정 영상 프레임 중 지정된 중심 영역 외의 영역일 수 있다. 예를 들어, 지정된 중심 영역은 이미지의 중심점을 중심으로 하는 직사각형 영역일 수 있다. 당해 직사각형 영역의 폭과 높이의 비율은 제1 초기보정 영상 프레임의 폭과 높이의 비율과 같을 수 있다. 예를 들어, 당해 직사각형 영역의 폭과 높이는 각각 제1 초기보정 영상 프레임의 폭과 높이의 3분의 1일 수 있다.
이러한 구현방식은 제1 초기보정 영상 프레임 중 왜곡이 비교적 심각한 가장자리 영역만을 작업 대상으로 삼을 수 있는바, 제1 초기보정 영상 프레임 전체를 검사함으로 인한 시간이 오래 걸리는 문제를 회피하고 왜곡 보정의 속도를 향상할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 복수의 후보 1차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 1차 방사왜곡 파라미터 사이는 제1 사전설정 이격 수치만큼 이격되고; 복수의 후보 2차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 2차 방사왜곡 파라미터 사이는 제2 사전설정 이격 수치만큼 이격된다.
이러한 대안적인 구현방식에서, 임의의 2개의 인접한 후보 1차 방사왜곡 파라미터 사이 이격은 다른 2개의 인접한 후보 1차 방사왜곡 파라미터(상기 임의의 2개의 인접한 후보 1차 방사왜곡 파라미터와는 하나의 같은 1차 방사왜곡 파라미터가 존재할 수도 있고 존재하지 않을 수도 있음) 사이 이격과 같을 수 있다. 임의의 2개의 인접한 후보 2차 방사왜곡 파라미터 사이 이격은 다른 2개의 인접한 후보 2차 방사왜곡 파라미터 사이 이격과 같을 수 있다. 여기서 제1 사전설정 이격 수치는 제2 사전설정 이격 수치와 같을 수도 있고 다를 수도 있는바, 예를 들어, 제1 사전설정 이격 수치는 제2 사전설정 이격 수치보다 클 수 있다.
예를 들어, 제1 사전설정 이격 수치는 0.05일 수 있고, 후보 1차 방사왜곡 파라미터는 -0.2, -0.15, -0.1, -0.05, 0 등을 포함할 수 있다.
이러한 구현방식은 후보 값에 대한 균일한 획득을 구현함으로써, 후보 값의 불균일 분포로 인해 진실 값이 후보 값의 비교적 큰 이격에 놓일 때 발생되는 목표 1차 방사왜곡 파라미터의 부정확을 회피할 수 있고, 이로써 왜곡 보정의 정확도를 향상할 수 있다.
계속하여 도 3을 참조하면, 도 3은 본 출원에 따른 영상 프레임 처리 방법의 한 응용 시나리오의 개략도이다. 도 3의 응용 시나리오에서, 수행 주체(301)는 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터(302)를 획득하고, 1차 방사왜곡 파라미터 외의 지정된 방사왜곡 파라미터의 지정된 수치(303)를 획득하되, 여기서 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같다. 수행 주체(301)는 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터(302)와 지정된 수치(303)에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여, 제1 초기보정 영상 프레임(304)을 획득한다. 수행 주체(301)는 하기 선택 단계를 수행한다. 각 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임(305)을 선택하되, 각 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하다. 수행 주체(301)는 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터(306)로 결정한다.
나아가 도 4를 참조하면, 도 4는 영상 프레임 처리 방법의 또 다른 실시예의 흐름(400)을 도시한다. 당해 흐름(400)은 하기 단계를 포함한다.
단계(401)에 있어서, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하되, 여기서 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같고 지정된 방사왜곡 파라미터는 비(非) 1차 방사왜곡 파라미터이다.
본 실시예에서, 영상 프레임 처리 방법이 수행되는 수행 주체(예로 도 1에 도시한 서버 또는 단말 기기)는 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터(즉 k1)를 획득할 수 있으며, 이 외에도, 상기 수행 주체는 1차 방사왜곡 파라미터 외의 지정된 방사왜곡 파라미터에 있어서 당해 지정된 방사왜곡 파라미터의 지정된 수치를 획득할 수도 있다. 실천에 있어서, 상기 수행 주체는 상기 사전설정된 복수의 후보 1차 방사왜곡 파라미터 및 지정된 수치를 로컬 또는 다른 전자 기기로부터 직접 획득할 수 있다. 여기서의 처리할 영상 프레임은 카메라에 의해 촬영된 영상 프레임 원본일 수도 있고 영상 프레임 원본에 대한 일정한 처리(예를 들면 캡쳐, 스타일 변경 등)를 거쳐 획득한 영상 프레임일 수도 있다.
단계(402)에 있어서, 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득한다.
본 실시예에서, 상기 수행 주체는 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 각 지정된 방사왜곡 파라미터의 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행할 수 있으며, 방사왜곡 보정의 결과가 제1 초기보정 영상 프레임이다. 실천에 있어서, 상기 수행 주체는 지정된 초점거리를 방사왜곡 보정의 파라미터로 사용하여, 상기 방사왜곡 보정을 진행할 수 있다.
단계(403)에 있어서, 각 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하되, 각 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하다.
본 실시예에서, 상기 수행 주체는 선택 단계를 수행할 수 있다. 즉 획득한 각 제1 초기보정 영상 프레임 중에서, 영상 프레임의 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택할 수 있다. 제1 초기보정 영상 프레임 중의 적어도 국소 영역은 제1 초기보정 영상 프레임의 국소 영역 또는 전체 영역을 가리킨다. 서로 다른 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하다. 여기서 직선 선분은 만곡되지 않은 선분을 가리킨다.
단계(404)에 있어서, 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정한다.
본 실시예에서, 상기 수행 주체는 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정할 수 있다.
단계(405)에 있어서, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 2차 방사왜곡 파라미터를 획득하되, 여기서 가장 큰 후보 2차 방사왜곡 파라미터는 가장 큰 후보 1차 방사왜곡 파라미터보다 작다.
본 실시예에서, 지정된 방사왜곡 파라미터는 2차 방사왜곡 파라미터를 포함하고, 상기 수행 주체는 1차 방사왜곡 파라미터를 결정하는 것과 유사한 방식으로 2차 방사왜곡 파라미터를 결정할 수 있다. 구체적으로, 상기 수행 주체는 사전설정된 복수의 2차 방사왜곡 파라미터를 획득할 수 있다. 실천에 있어서, 2차 방사왜곡 파라미터는 흔히 비교적 작기 때문에, 2차 방사왜곡 파라미터에 대한 값 설정을 전반적으로 비교적 작게 할 수 있다. 예를 들어, 1차 방사왜곡 파라미터에 대한 가장 큰 값 설정은 0.2이고 2차 방사왜곡 파라미터에 대한 가장 큰 값 설정은 0.1 또는 0.05일 수 있다.
단계(406)에 있어서, 각 후보 2차 방사왜곡 파라미터에 있어서 당해 후보 2차 방사왜곡 파라미터 및 목표 1차 방사왜곡 파라미터에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제2 초기보정 영상 프레임을 획득한다.
본 실시예에서, 상기 수행 주체는 각 후보 2차 방사왜곡 파라미터에 있어서 당해 파라미터와 목표 1차 방사왜곡 파라미터에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하고, 여기서의 방사왜곡 보정 결과를 제2 초기보정 영상 프레임으로 할 수 있다.
단계(407)에 있어서, 각 제2 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제2 초기보정 영상 프레임을 선택하되, 여기서 각 제2 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하다.
본 실시예에서, 상기 수행 주체는 단계(406)에서 획득된 제2 초기보정 영상 프레임에 대해 선택 단계를 수행할 수 있는바, 즉 각 제2 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분의 수량에 의해, 최적의 왜곡 보정 효과에 대응되는 제2 초기보정 영상 프레임을 선택할 수 있다.
단계(408)에 있어서, 선택된 제2 초기보정 영상 프레임에 대응되는 후보 2차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 2차 방사왜곡 파라미터로 결정하고 당해 선택된 제2 초기보정 영상 프레임을 처리할 영상 프레임의 목표 보정 결과로 한다.
본 실시예에서, 상기 수행 주체는 금번 선택 단계를 수행하여 선택된 제2 초기보정 영상 프레임에 대응되는 후보 2차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 2차 방사왜곡 파라미터로 결정할 수 있다. 상기 수행 주체는 여기서 선택된 제2 초기보정 영상 프레임을 처리할 영상 프레임의 목표 보정 결과로 할 수 있다.
본 실시예에서는 목표 1차 방사왜곡 파라미터를 이용하여 각 후보 2차 방사왜곡 파라미터에 각각 대응되는 왜곡 보정 결과를 결정하여 그 중에서 최적의 왜곡 보정 결과를 선택하고, 나아가 진실 값에 가장 부합되는 2차 방사왜곡 파라미터를 판단할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 처리할 영상 프레임은 적어도 2개의 처리할 영상 프레임을 포함하고 적어도 2개의 처리할 영상 프레임 중, 촬영시간이 인접한 임의의 2개 영상의 촬영시간 차는 사전설정된 시간 차보다 작거나 같고, 방법은, 적어도 2개의 처리할 영상 프레임 및 각 처리할 영상 프레임의 지정된 초기 초점거리를 움직임 기반 구조 모듈에 입력하여 적어도 2개의 처리할 영상 프레임 중 각 처리할 영상 프레임의 목표 초점거리를 획득하는 단계를 더 포함하되, 여기서 적어도 2개의 처리할 영상 프레임 중 처리할 영상 프레임의 폭이 클수록 당해 처리할 영상 프레임의 지정된 초기 초점거리가 크고, 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 초기보정 영상 프레임을 획득하는 단계는, 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터, 지정된 수치 및 목표 초점거리에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 초기보정 영상 프레임을 획득하는 단계를 포함한다.
이러한 대안적인 구현방식에서, 상기 수행 주체는 적어도 2개의 처리할 영상 프레임 및 처리할 영상 프레임에 대해 지정한 지정된 초기 초점거리를 움직임 기반 구조(Structure from Motion, SFM) 모듈에 입력함으로써 움직임 기반 구조를 이용하여 지정된 초기 초점거리를 조절하여 목표 초점거리를 획득할 수 있다. 이로써, 상기 수행 주체는 이하 삼자, 즉 당해 후보 1차 방사왜곡 파라미터, 지정된 수치 및 목표 초점거리를 이용하여 처리할 영상 프레임에 대해 왜곡 보정을 진행하여 초기보정 영상 프레임을 획득할 수 있다.
적어도 2개의 처리할 영상 프레임 중 서로 다른 처리할 영상 프레임의 지정된 초기 초점거리는 같거나 다를 수 있다. 실천에 있어서, 상기 적어도 2개의 처리할 영상 프레임은 같은 카메라로 촬영한 영상 프레임일 수 있으며, 따라서 치수가 같을 수 있다. 지정된 초기 초점거리는 처리할 영상 프레임의 치수와 연관될 수 있는바, 예를 들면, 지정된 초기 초점거리와 처리할 영상 프레임의 폭 또는 높이의 비율이 지정된 수치이거나 또는 지정된 수치 범위 내[0.7, 0.9]에 있을 수 있다. 즉 상기 수행 주체는 사전설정된 규칙에 따르거나 또는 당해 범위 내에서 무작위로 선택할 수 있다.
임의의 처리할 영상 프레임에 있어서, 적어도 2개의 처리할 영상 프레임 중, 촬영시간이 단지 당해 처리할 영상 프레임 전 또는 단지 당해 처리할 영상 프레임 후에 놓인 처리할 영상 프레임은, 이와 촬영시간이 인접한 영상 프레임이다. 적어도 2개의 처리할 영상 프레임은 카메라에 의해 촬영된 연속적인 영상 프레임일 수도 있고 카메라에 의해 촬영된 영상 프레임 중 일정 수의 프레임 이격될 때마다 획득한 영상 프레임일 수도 있다. 예를 들어, 1초 내 30개 프레임을 촬영할 경우, 30개 프레임 이격될 때마다 1개 프레임을 획득하여 처리할 영상 프레임으로 할 수 있다. 따라서, 상기 인접한 영상 프레임은, 상기 적어도 2개의 처리할 영상 프레임 중에서 촬영시간이 인접한 것을 가리킨다.
예를 들어, 적어도 2개의 처리할 영상 프레임은 총 3개 영상 프레임을 가지고, 촬영시간은 각각 첫 번째 프레임이 3시 08분 00초, 두 번째 프레임이 3시 08분 01초, 세 번째 프레임이 3시 08분 02초라면, 첫 번째 프레임과 두 번째 프레임이 인접한 영상 프레임이고 두 번째 프레임과 세 번째 프레임이 촬영시간이 인접한 프레임이다.
이러한 구현방식은 초점거리의 초기 값과 움직임 기반 구조를 이용하여 처리할 이미지의 초점거리를 정확히 결정할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 처리할 영상 프레임은 고정 초점거리를 사용하는 목표 카메라에 의해 촬영된 영상 프레임이고, 방법은, 목표 카메라에 의해 촬영된, 처리할 영상 프레임 외의 목표 영상 프레임을 획득하는 단계; 및 목표 초점거리, 목표 1차 방사왜곡 파라미터 및 목표 2차 방사왜곡 파라미터에 기반하여 목표 영상 프레임에 대해 방사왜곡 보정을 진행하는 단계를 더 포함한다.
이러한 대안적인 구현방식에서, 상기 처리할 영상 프레임은 목표 카메라에 의해 촬영된 것이며, 당해 카메라가 영상 프레임 촬영시 사용하는 초점거리는 고정불변인 것이다. 상기 수행 주체는 처리할 영상 프레임을 이용하여 획득한 1차 방사왜곡 파라미터, 2차 방사왜곡 파라미터 및 목표 초점거리를 사용하여 당해 목표 카메라에 의해 촬영된 다른 영상 프레임에 대해 방사왜곡 보정을 진행할 수 있다. 이러한 구현방식은 카메라에 의해 촬영된 일부 영상 프레임을 이용하여 왜곡 보정을 위한 파라미터를 획득하여 당해 카메라에 의해 촬영된 다른 영상 프레임의 왜곡 보정에 광범위하게 적용하는 것을 구현할 수 있다.
나아가 도5를 참조하면, 상술한 각 도면에 도시한 방법에 대한 구현으로, 본 출원은 영상 프레임 처리 장치의 일 실시예를 제공하는바, 당해 장치 실시예는 도2에 도시한 방법 실시예에 대응되고, 아래 기재한 특징 외에, 당해 장치 실시예는 도2에 도시한 방법 실시예와 같은 또는 상응한 특징 또는 효과를 더 포함할 수 있다. 당해 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.
도 5에 도시한 바와 같이, 본 실시예의 영상 프레임 처리 장치(500)는 제1 획득 유닛(501), 제1 보정 유닛(502), 선택 유닛(503) 및 결정 유닛(504)을 포함한다. 여기서, 제1 획득 유닛(501)은, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하도록 구성되고 - 여기서 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같음 - ; 제1 보정 유닛(502)은, 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하도록 구성되고; 선택 유닛(503)은, 각 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하도록 구성되고 - 각 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치함 - ; 결정 유닛(504)은, 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하도록 구성된다.
본 실시예에서, 영상 프레임 처리 장치(500)의 제1 획득 유닛(501), 제1 보정 유닛(502), 선택 유닛(503) 및 결정 유닛(504)의 구체적인 처리 및 이에 따른 기술 효과는 각각 도2에 대응되는 실시예에서의 단계201, 단계202, 단계203 및 단계204의 관련 설명을 참조할 수 있는바, 이에 대한 상세한 설명은 생략하기로 한다.
본 실시예의 일부 대안적인 구현방식에서, 적어도 국소 영역은 초기보정 영상 프레임 중 지정된 중심 영역 외의 영역이다.
본 실시예의 일부 대안적인 구현방식에서, 지정된 방사왜곡 파라미터는 2차 방사왜곡 파라미터를 포함하고, 장치는, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 2차 방사왜곡 파라미터를 획득하도록 구성되는 제2 획득 유닛 - 여기서 가장 큰 후보 2차 방사왜곡 파라미터는 가장 큰 후보 1차 방사왜곡 파라미터보다 작음 - ; 각 후보 2차 방사왜곡 파라미터에 있어서 당해 2차 방사왜곡 파라미터 및 목표 1차 방사왜곡 파라미터에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제2 초기보정 영상 프레임을 획득하도록 구성되는 제2 보정 유닛; 각 제2 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제2 초기보정 영상 프레임을 선택하도록 구성되는 초기생성 유닛 - 각 제2 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치함 - ; 및 선택된 제2 초기보정 영상 프레임에 대응되는 후보 2차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 2차 방사왜곡 파라미터로 결정하고 선택된 제2 초기보정 영상 프레임을 처리할 영상 프레임의 목표 보정 결과로 하도록 구성되는 수행 유닛을 더 포함한다.
본 실시예의 일부 대안적인 구현방식에서, 처리할 영상 프레임은 적어도 2개의 처리할 영상 프레임을 포함하고, 적어도 2개의 처리할 영상 프레임 중, 촬영시간이 인접한 임의의 2개 영상의 촬영시간 차는 사전설정된 시간 차보다 작거나 같고; 장치는, 적어도 2개의 처리할 영상 프레임 및 각 처리할 영상 프레임의 지정된 초기 초점거리를 움직임 기반 구조 모듈에 입력하여 적어도 2개의 처리할 영상 프레임 중 각 처리할 영상 프레임의 목표 초점거리를 획득하는 초점거리 결정 유닛 - 여기서 적어도 2개의 처리할 영상 프레임 중 처리할 영상 프레임의 폭이 클수록 당해 처리할 영상 프레임의 지정된 초기 초점거리가 큼 - ; 및 제1 보정 유닛을 더 포함하고, 제1 보정 유닛은 나아가, 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 것을 하기와 같은 방식인, 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터, 지정된 수치 및 목표 초점거리에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 방식으로 수행하도록 구성된다.
본 실시예의 일부 대안적인 구현방식에서, 처리할 영상 프레임은 고정 초점거리를 사용하는 목표 카메라에 의해 촬영된 영상 프레임이고, 장치는, 목표 카메라에 의해 촬영된, 처리할 영상 프레임 외의 목표 영상 프레임을 획득하도록 구성되는 영상 프레임 획득 유닛; 및 목표 초점거리, 목표 1차 방사왜곡 파라미터 및 목표 2차 방사왜곡 파라미터에 기반하여 목표 영상 프레임에 대해 방사왜곡 보정을 진행하도록 구성되는 제3 보정 유닛을 더 포함한다.
본 실시예의 일부 대안적인 구현방식에서, 복수의 후보 1차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 1차 방사왜곡 파라미터 사이는 제1 사전설정 이격 수치만큼 이격되고, 복수의 후보 2차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 2차 방사왜곡 파라미터 사이는 제2 사전설정 이격 수치만큼 이격된다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독가능 저장 매체를 더 제공한다.
도6에 도시한 바는, 본 출원의 실시예에 따른 영상 프레임 처리 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 다른 적합한 컴퓨터와 같은 다양한 형식의 디지털 컴퓨터를 가리키고자 하는 것이다. 전자 기기는 이 외에도, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 다른 이와 유사한 컴퓨팅 기기와 같은 다양한 형식의 이동 장치를 가리킬 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및/또는 청구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.
도 6에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(601), 메모리(602)를 포함하고, 각 부품을 연결하는 인터페이스는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공통 메인보드에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있는바, 메모리에 저장되어 외부 입력/출력 장치(인터페이스에 커플링된 표시 기기와 같은)에 GUI의 그래픽 정보를 표시하기 위한 명령이 포함된다. 다른 실시 방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 기기는 (예를 들어 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서) 일부 필요한 조작을 제공할 수 있다. 도6은 하나의 프로세서(601)를 예로 든다.
메모리(602)가 바로 본 출원에 의해 제공되는 비일시적 컴퓨터 판독가능 저장 매체이다. 여기서, 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있는바, 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 영상 프레임 처리 방법이 수행되도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에 의해 제공되는 영상 프레임 처리 방법이 수행되도록 한다.
메모리(602)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예의 영상 프레임 처리 방법에 대응되는 프로그램 명령/모듈(예를 들면, 첨부 도면5에 도시한 제1 획득 유닛(501), 제1 보정 유닛(502), 선택 유닛(503) 및 결정 유닛(504)과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(601)는 메모리(602)에 저장되는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 실행하는바, 즉 상술한 방법 실시예에서의 영상 프레임 처리 방법을 구현한다.
메모리(602)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 영상 프레임을 처리하는 전자 기기의 사용에 따라 생성되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수도 있고, 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시에서, 메모리(602)는 대안적으로 프로세서(601) 대비 원격 설치되는 메모리를 포함하는바, 이러한 원격 메모리는 네트워크를 통해 영상 프레임을 처리하는 전자 기기에 연결된다. 상술한 네트워크의 실제 예는 인터넷, 기업 내부 네트워크, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
영상 프레임 처리 방법의 전자 기기는 입력 장치(603)와 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스 또는 다른 방식으로 연결될 수 있고, 도6은 버스에 의한 연결을 예로 든다.
입력 장치(603)는 입력되는 숫자 또는 문자(character) 정보를 수신하고, 영상 프레임을 처리하는 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는바, 예를 들면 터치 스크린, 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치가 있다. 출력 장치(604)는 표시 기기, 보조 조명장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어 진동 모터) 등을 포함할 수 있다. 당해 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에서 표시 기기는 터치 스크린일 수 있다.
여기서 서술하는 시스템과 기술의 다양한 실시 방식은 디지털 전자회로 시스템, 집적회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 당해 프로그램가능 프로세서는 전용의 또는 범용의 프로그램가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램가능 프로세서의 기계 명령을 포함하며, 고급 절차 프로그래밍 언어 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 '기계 판독가능 매체'와 '컴퓨터 판독가능 매체'는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 장치(PLD))를 가리키는바, 이는 기계 판독가능 신호로서의 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 '기계 판독가능 신호'는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 당해 컴퓨터는 사용자한테 정보를 표시하기 위한 표시 장치(예를 들면 음극선관(CRT) 또는 액정 디스플레이(LCD) 모니터) 및 키보드와 포인팅 장치(예를 들면 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 다른 종류의 장치 또한 사용자와의 인터랙션을 제공하는 데 사용될 수 있는바, 예를 들면 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.
여기서 서술하는 시스템과 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 프론트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터가 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계가 발생한다.
첨부도면 중의 흐름도 및 블록도는 본 출원의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실시될 수 있는 체계 아키텍처, 기능 및 조작을 도시한다. 이러한 점에서, 흐름도 또는 블록도 중의 각 블록은 하나의 모듈, 프로그램 세그먼트, 또는 코드의 일부분을 나타낼 수 있고, 당해 모듈, 프로그램 세그먼트, 또는 코드의 일부분은 규정된 논리 기능을 구현하는 하나 또는 복수의 실행가능한 명령을 포함한다. 치환으로 하는 일부 구현에서, 블록 내에 표기된 기능은 첨부도면에서 표기한 것과는 다른 순서로 발생할 수도 있다는 점을 유의하여야 한다. 예를 들면, 2개의 연속되게 표시된 블록은 사실상 기본적으로 병렬로 수행될 수도 있고, 이들은 때로는 상반되는 순서로 수행될 수도 있는바, 이는 관련되는 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록, 및 블록도 및/또는 흐름도 중의 블록의 조합은, 규정된 기능 또는 조작을 수행하는 전용의, 하드웨어 기반의 시스템을 사용하여 구현하거나, 또는 전용의 하드웨어와 컴퓨터 명령의 조합을 사용하여 구현할 수 있다는 점도 유의하여야 한다.
본 출원에서 서술한 실시예에 관련되는 유닛은 소프트웨어의 방식으로 구현될 수도 있고 하드웨어의 방식으로 구현될 수도 있다. 서술한 유닛은 프로세서에 설치될 수도 있는바, 예를 들면, 제1 취득 유닛, 제1 보정 유닛, 선택 유닛 및 결정 유닛을 포함하는 프로세서로 서술될 수 있다. 여기서, 이러한 유닛의 명칭은 어떠한 경우에도 당해 유닛 자체에 대한 한정이 되지 않는바, 예를 들면, 결정 유닛은 "선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하는 유닛"으로 서술될 수도 있다.
다른 측면으로, 본 출원은 컴퓨터 판독가능 매체를 더 제공하는바, 당해 컴퓨터 판독가능 매체는 상술한 실시예에서 설명한 장치에 포함될 수도 있고 당해 장치에 설치되지 않은 채 단독으로 존재할 수도 있다. 상술한 컴퓨터 판독가능 매체에는 하나 또는 복수의 프로그램이 탑재되어 있고, 상술한 하나 또는 복수의 프로그램이 당해 장치에 의해 실행되는 경우, 당해 장치가, 처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하고 - 여기서 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같고 지정된 방사왜곡 파라미터는 비(非) 1차 방사왜곡 파라미터임 - ; 각 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 지정된 수치에 기반하여 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하고; 각 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하고 - 각 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치함 - ; 및 선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하도록 한다.
상술한 설명은 단지 본 출원의 바람직한 실시예 및 운용된 기술 원리에 대한 설명일 뿐이다. 당업자라면, 본 출원에 관련되는 발명의 범위는, 상술한 기술 특징의 특정 조합으로 이루어지는 기술 방안에 한정되지 않으며, 동시에, 상술한 발명 사상을 벗어나지 않으면서 상술한 기술 특징 또는 그 등가 특징을 임의로 조합하여 구성하는 다른 기술 방안도 포함하여야 한다는 것을 이해하여야 한다. 예를 들면 상술한 특징을 본 출원에서 개시한(그러나 이에 한정되지 않음) 유사 기능을 가지는 기술 특징과 상호 치환하여 형성하는 기술 방안이 있다.
Claims (15)
- 영상 프레임 처리 방법으로서,
처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하는 단계로서, 상기 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같고 상기 지정된 방사왜곡 파라미터는 비(非) 1차 방사왜곡 파라미터인, 상기 지정된 방사왜곡 파라미터의 지정된 수치를 획득하는 단계;
각 상기 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 상기 지정된 수치에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 단계;
각 상기 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하는 단계로서, 각 상기 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하는, 상기 제1 초기보정 영상 프레임을 선택하는 단계; 및
선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 상기 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하는 단계를 포함하는, 영상 프레임 처리 방법. - 제1항에 있어서,
상기 적어도 국소 영역은 제1 초기보정 영상 프레임 중 지정된 중심 영역 외의 영역인, 영상 프레임 처리 방법. - 제1항에 있어서,
상기 지정된 방사왜곡 파라미터는 2차 방사왜곡 파라미터를 포함하고,
상기 방법은,
상기 처리할 영상 프레임에 대해 사전설정된 복수의 후보 2차 방사왜곡 파라미터를 획득하는 단계로서, 가장 큰 상기 후보 2차 방사왜곡 파라미터는 가장 큰 상기 후보 1차 방사왜곡 파라미터보다 작은, 상기 사전설정된 복수의 후보 2차 방사왜곡 파라미터를 획득하는 단계;
각 상기 후보 2차 방사왜곡 파라미터에 있어서 당해 후보 2차 방사왜곡 파라미터 및 상기 목표 1차 방사왜곡 파라미터에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제2 초기보정 영상 프레임을 획득하는 단계;
각 상기 제2 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제2 초기보정 영상 프레임을 선택하는 단계로서, 각 상기 제2 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하는, 상기 제2 초기보정 영상 프레임을 선택하는 단계; 및
선택된 제2 초기보정 영상 프레임에 대응되는 후보 2차 방사왜곡 파라미터를 상기 처리할 영상 프레임의 목표 2차 방사왜곡 파라미터로 결정하고 당해 선택된 제2 초기보정 영상 프레임을 상기 처리할 영상 프레임의 목표 보정 결과로 하는 단계를 더 포함하는, 영상 프레임 처리 방법. - 제3항에 있어서,
상기 처리할 영상 프레임은 적어도 2개의 처리할 영상 프레임을 포함하고, 상기 적어도 2개의 처리할 영상 프레임 중, 촬영시간이 인접한 임의의 2개 영상의 촬영시간 차는 사전설정된 시간 차보다 작거나 같고,
상기 방법은,
상기 적어도 2개의 처리할 영상 프레임 및 각 처리할 영상 프레임의 지정된 초기 초점거리를 움직임 기반 구조 모듈에 입력하여 상기 적어도 2개의 처리할 영상 프레임 중 각 처리할 영상 프레임의 목표 초점거리를 획득하는 단계로서, 상기 적어도 2개의 처리할 영상 프레임 중 처리할 영상 프레임의 폭이 클수록 당해 처리할 영상 프레임의 지정된 초기 초점거리가 큰, 상기 목표 초점거리를 획득하는 단계를 더 포함하고;
각 상기 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 상기 지정된 수치에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 단계는,
각 상기 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터, 상기 지정된 수치 및 상기 목표 초점거리에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 단계를 포함하는, 영상 프레임 처리 방법. - 제4항에 있어서,
상기 처리할 영상 프레임은 고정 초점거리를 사용하는 목표 카메라에 의해 촬영된 영상 프레임이고,
상기 방법은,
상기 목표 카메라에 의해 촬영된, 상기 처리할 영상 프레임 외의 목표 영상 프레임을 획득하는 단계; 및
상기 목표 초점거리, 상기 목표 1차 방사왜곡 파라미터 및 상기 목표 2차 방사왜곡 파라미터에 기반하여 상기 목표 영상 프레임에 대해 방사왜곡 보정을 진행하는 단계를 더 포함하는, 영상 프레임 처리 방법. - 제1항에 있어서,
상기 복수의 후보 1차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 1차 방사왜곡 파라미터 사이는 제1 사전설정 이격 수치만큼 이격되고,
상기 복수의 후보 2차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 2차 방사왜곡 파라미터 사이는 제2 사전설정 이격 수치만큼 이격되는, 영상 프레임 처리 방법. - 영상 프레임 처리 장치로서,
처리할 영상 프레임에 대해 사전설정된 복수의 후보 1차 방사왜곡 파라미터를 획득하고 지정된 방사왜곡 파라미터의 지정된 수치를 획득하도록 구성되는 제1 획득 유닛으로서, 상기 지정된 수치의 절대치는 각 후보 1차 방사왜곡 파라미터의 절대치보다 작거나 같고 상기 지정된 방사왜곡 파라미터는 비(非) 1차 방사왜곡 파라미터인, 상기 제1 획득 유닛;
각 상기 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 상기 지정된 수치에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하도록 구성되는 제1 보정 유닛;
각 상기 제1 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제1 초기보정 영상 프레임을 선택하도록 구성되는 선택 유닛으로서, 각 상기 제1 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하는, 상기 선택 유닛; 및
선택된 제1 초기보정 영상 프레임에 대응되는 후보 1차 방사왜곡 파라미터를 상기 처리할 영상 프레임의 목표 1차 방사왜곡 파라미터로 결정하도록 구성되는 결정 유닛을 포함하는, 영상 프레임 처리 장치. - 제7항에 있어서,
상기 적어도 국소 영역은 초기보정 영상 프레임 중 지정된 중심 영역 외의 영역인, 영상 프레임 처리 장치. - 제7항에 있어서,
상기 지정된 방사왜곡 파라미터는 2차 방사왜곡 파라미터를 포함하고,
상기 장치는,
상기 처리할 영상 프레임에 대해 사전설정된 복수의 후보 2차 방사왜곡 파라미터를 획득하도록 구성되는 제2 획득 유닛으로서, 가장 큰 상기 후보 2차 방사왜곡 파라미터는 가장 큰 상기 후보 1차 방사왜곡 파라미터보다 작은, 상기 제2 획득 유닛;
각 상기 후보 2차 방사왜곡 파라미터에 있어서 당해 후보 2차 방사왜곡 파라미터 및 상기 목표 1차 방사왜곡 파라미터에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제2 초기보정 영상 프레임을 획득하도록 구성되는 제2 보정 유닛;
각 상기 제2 초기보정 영상 프레임 중에서, 적어도 국소 영역에 포함된 직선 선분 수량이 가장 많은 제2 초기보정 영상 프레임을 선택하도록 구성되는 초기생성 유닛으로서, 각 상기 제2 초기보정 영상 프레임에 대응되는 적어도 국소 영역은 일치하는, 상기 초기생성 유닛; 및
선택된 제2 초기보정 영상 프레임에 대응되는 후보 2차 방사왜곡 파라미터를 상기 처리할 영상 프레임의 목표 2차 방사왜곡 파라미터로 결정하고 당해 선택된 제2 초기보정 영상 프레임을 상기 처리할 영상 프레임의 목표 보정 결과로 하도록 구성되는 수행 유닛을 더 포함하는, 영상 프레임 처리 장치. - 제9항에 있어서,
상기 처리할 영상 프레임은 적어도 2개의 처리할 영상 프레임을 포함하고, 상기 적어도 2개의 처리할 영상 프레임 중, 촬영시간이 인접한 임의의 2개 영상의 촬영시간 차는 사전설정된 시간 차보다 작거나 같고;
상기 장치는,
상기 적어도 2개의 처리할 영상 프레임 및 각 처리할 영상 프레임의 지정된 초기 초점거리를 움직임 기반 구조 모듈에 입력하여 상기 적어도 2개의 처리할 영상 프레임 중 각 처리할 영상 프레임의 목표 초점거리를 획득하도록 구성되는 초점거리 결정 유닛으로서, 상기 적어도 2개의 처리할 영상 프레임 중 처리할 영상 프레임의 폭이 클수록 당해 처리할 영상 프레임의 지정된 초기 초점거리가 큰, 상기 초점거리 결정 유닛을 더 포함하고;
상기 제1 보정 유닛은 나아가,
각 상기 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터 및 상기 지정된 수치에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 것을,
하기와 같은 방식인,
각 상기 후보 1차 방사왜곡 파라미터에 있어서 당해 후보 1차 방사왜곡 파라미터, 상기 지정된 수치 및 상기 목표 초점거리에 기반하여 상기 처리할 영상 프레임에 대해 방사왜곡 보정을 진행하여 제1 초기보정 영상 프레임을 획득하는 방식으로 수행하도록 구성되는, 영상 프레임 처리 장치. - 제10항에 있어서,
상기 처리할 영상 프레임은 고정 초점거리를 사용하는 목표 카메라에 의해 촬영된 영상 프레임이고,
상기 장치는,
상기 목표 카메라에 의해 촬영된, 상기 처리할 영상 프레임 외의 목표 영상 프레임을 획득하도록 구성되는 영상 프레임 획득 유닛; 및
상기 목표 초점거리, 상기 목표 1차 방사왜곡 파라미터 및 상기 목표 2차 방사왜곡 파라미터에 기반하여 상기 목표 영상 프레임에 대해 방사왜곡 보정을 진행하도록 구성되는 제3 보정 유닛을 더 포함하는, 영상 프레임 처리 장치. - 제7항에 있어서,
상기 복수의 후보 1차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 1차 방사왜곡 파라미터 사이는 제1 사전설정 이격 수치만큼 이격되고,
상기 복수의 후보 2차 방사왜곡 파라미터 중, 수치가 인접한 임의의 후보 2차 방사왜곡 파라미터 사이는 제2 사전설정 이격 수치만큼 이격되는, 영상 프레임 처리 장치. - 전자 기기로서,
하나 또는 복수의 프로세서; 및
하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하되,
상기 하나 또는 복수의 프로그램이 상기 하나 또는 복수의 프로세서에 의해 실행되는 경우, 상기 하나 또는 복수의 프로세서가 제1항 내지 제6항 중 어느 한 항의 방법을 구현하도록 하는, 전자 기기. - 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 저장 매체로서,
상기 프로그램이 프로세서에 의해 실행되는 경우, 제1항 내지 제6항 중 어느 한 항의 방법이 구현되도록 하는, 컴퓨터 판독가능 저장 매체. - 매체에 저장된 컴퓨터 프로그램으로서,
상기 프로그램이 프로세서에 의해 실행되는 경우, 제1항 내지 제6항 중 어느 한 항의 방법이 구현되는, 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010341669.2 | 2020-04-27 | ||
| CN202010341669.2A CN111507924B (zh) | 2020-04-27 | 2020-04-27 | 视频帧的处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210132590A true KR20210132590A (ko) | 2021-11-04 |
| KR102451197B1 KR102451197B1 (ko) | 2022-10-06 |
Family
ID=71871377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210024428A KR102451197B1 (ko) | 2020-04-27 | 2021-02-23 | 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11557062B2 (ko) |
| EP (1) | EP3933752A1 (ko) |
| JP (1) | JP7291168B2 (ko) |
| KR (1) | KR102451197B1 (ko) |
| CN (1) | CN111507924B (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077396B (zh) * | 2021-03-29 | 2024-05-17 | Oppo广东移动通信有限公司 | 直线段检测方法及装置、计算机可读介质和电子设备 |
| CN114697469B (zh) * | 2022-03-15 | 2024-02-06 | 华能大理风力发电有限公司洱源分公司 | 适用于光伏电站的视频处理方法、装置及电子设备 |
| CN115497031B (zh) * | 2022-11-14 | 2023-06-13 | 广东祥利科技有限公司 | 基于图像处理的pvc护套料的性能检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100668073B1 (ko) * | 2005-07-11 | 2007-01-11 | (주)블루비스 | 다시점 영상의 왜곡 보정처리 방법 |
| JP2009140066A (ja) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | 歪曲補正画像生成ユニットおよび歪曲補正画像生成方法 |
| WO2011161746A1 (ja) * | 2010-06-21 | 2011-12-29 | コニカミノルタオプト株式会社 | 画像処理方法、プログラム、画像処理装置及び撮像装置 |
| JP2015088029A (ja) * | 2013-10-31 | 2015-05-07 | 日本電気株式会社 | 放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7171056B2 (en) * | 2003-02-22 | 2007-01-30 | Microsoft Corp. | System and method for converting whiteboard content into an electronic document |
| US7912317B2 (en) * | 2005-10-29 | 2011-03-22 | Apple Inc. | Estimating and removing lens distortion from scenes |
| US8405720B2 (en) * | 2008-08-08 | 2013-03-26 | Objectvideo, Inc. | Automatic calibration of PTZ camera system |
| JP4630936B1 (ja) * | 2009-10-28 | 2011-02-09 | シャープ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 |
| JP5208147B2 (ja) * | 2010-03-09 | 2013-06-12 | 三菱電機株式会社 | 車載カメラのカメラキャリブレーション装置 |
| US8786680B2 (en) * | 2011-06-21 | 2014-07-22 | Disney Enterprises, Inc. | Motion capture from body mounted cameras |
| JP5898475B2 (ja) * | 2011-11-28 | 2016-04-06 | クラリオン株式会社 | 車載カメラシステム及びその較正方法、及びその較正プログラム |
| IN2014CH00165A (ko) * | 2014-01-15 | 2015-07-17 | Infosys Ltd | |
| KR102279026B1 (ko) * | 2014-11-07 | 2021-07-19 | 삼성전자주식회사 | 적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법 |
| CN104574419B (zh) * | 2015-01-28 | 2017-06-09 | 深圳市安健科技股份有限公司 | 镜头畸变参数标定方法及系统 |
| EP3076657B1 (en) | 2015-04-02 | 2017-05-24 | Axis AB | Method for determination of focal length for a zoom lens |
| US10565733B1 (en) * | 2016-02-28 | 2020-02-18 | Alarm.Com Incorporated | Virtual inductance loop |
| US9930463B2 (en) * | 2016-03-31 | 2018-03-27 | Sonos, Inc. | Defect detection via audio playback |
| JP2018059767A (ja) * | 2016-10-04 | 2018-04-12 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US10382680B2 (en) * | 2016-10-31 | 2019-08-13 | Verizon Patent And Licensing Inc. | Methods and systems for generating stitched video content from multiple overlapping and concurrently-generated video instances |
| JP6473769B2 (ja) * | 2017-02-24 | 2019-02-20 | 国立大学法人東京工業大学 | 補正量演算装置、補正装置及び補正量演算方法 |
| WO2018179039A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電気株式会社 | カメラパラメータ推定装置、方法およびプログラム |
| US11122195B2 (en) * | 2017-03-27 | 2021-09-14 | Nec Corporation | Camera parameter estimation device, method, and program |
| WO2019045721A1 (en) * | 2017-08-31 | 2019-03-07 | Sony Mobile Communications Inc. | IMAGE PROCESSING DEVICES USING INTEGRATED DYNAMIC CAMERA MODELS TO SUPPORT RAPID DETERMINATION OF CAMERA INTRINSIC ELEMENTS AND METHODS OF OPERATION THEREOF |
| JP2019067358A (ja) * | 2017-10-03 | 2019-04-25 | 富士通株式会社 | 推定プログラム、推定方法および推定システム |
| EP3467775A1 (en) * | 2017-10-03 | 2019-04-10 | Fujitsu Limited | Estimating program, estimating method, and estimating system for camera parameter |
| AU2017254859A1 (en) * | 2017-10-31 | 2019-05-16 | Canon Kabushiki Kaisha | Method, system and apparatus for stabilising frames of a captured video sequence |
| US10645364B2 (en) * | 2017-11-14 | 2020-05-05 | Intel Corporation | Dynamic calibration of multi-camera systems using multiple multi-view image frames |
| KR102118173B1 (ko) * | 2018-10-31 | 2020-06-02 | 중앙대학교 산학협력단 | 왜곡계수 추정을 통한 영상 보정 시스템 및 방법 |
| WO2020144757A1 (ja) * | 2019-01-09 | 2020-07-16 | 日本電気株式会社 | カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体 |
| US20200234467A1 (en) * | 2019-01-18 | 2020-07-23 | Nec Laboratories America, Inc. | Camera self-calibration network |
| GB2581792B (en) * | 2019-02-25 | 2023-01-04 | Mo Sys Engineering Ltd | Lens calibration system |
| US11928840B2 (en) * | 2019-03-15 | 2024-03-12 | Meta Platforms, Inc. | Methods for analysis of an image and a method for generating a dataset of images for training a machine-learned model |
| EP3967969B1 (en) * | 2019-05-08 | 2024-05-08 | Sichuan Visensing Technology Co., Ltd. | Fisheye camera calibration system, method and apparatus, electronic device, and storage medium |
| CN110166829A (zh) * | 2019-05-15 | 2019-08-23 | 上海商汤智能科技有限公司 | 视频处理方法及装置、电子设备和存储介质 |
| WO2020232971A1 (zh) * | 2019-05-22 | 2020-11-26 | 四川深瑞视科技有限公司 | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 |
| US11146783B2 (en) * | 2019-08-16 | 2021-10-12 | GM Cruise Holdings, LLC | Partial calibration target detection for improved vehicle sensor calibration |
| WO2021031210A1 (zh) * | 2019-08-22 | 2021-02-25 | 深圳市铂岩科技有限公司 | 视频处理方法和装置、存储介质和电子设备 |
| US10863112B1 (en) * | 2019-09-26 | 2020-12-08 | Plantronics, Inc. | Smoothing image transitions when changing views |
| US11699216B2 (en) * | 2020-03-09 | 2023-07-11 | Nec Corporation | Automatic fisheye camera calibration for video analytics |
| US20200294269A1 (en) * | 2020-05-28 | 2020-09-17 | Intel Corporation | Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift |
| CN112529890A (zh) * | 2020-12-21 | 2021-03-19 | 北京百度网讯科技有限公司 | 用于处理轨迹的方法、装置、路侧设备以及云控平台 |
| CN112818792A (zh) * | 2021-01-25 | 2021-05-18 | 北京百度网讯科技有限公司 | 车道线检测方法、装置、电子设备及计算机存储介质 |
-
2020
- 2020-04-27 CN CN202010341669.2A patent/CN111507924B/zh active Active
-
2021
- 2021-02-10 US US17/172,883 patent/US11557062B2/en active Active
- 2021-02-23 EP EP21158600.3A patent/EP3933752A1/en not_active Withdrawn
- 2021-02-23 KR KR1020210024428A patent/KR102451197B1/ko active IP Right Grant
- 2021-03-09 JP JP2021037690A patent/JP7291168B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100668073B1 (ko) * | 2005-07-11 | 2007-01-11 | (주)블루비스 | 다시점 영상의 왜곡 보정처리 방법 |
| JP2009140066A (ja) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | 歪曲補正画像生成ユニットおよび歪曲補正画像生成方法 |
| WO2011161746A1 (ja) * | 2010-06-21 | 2011-12-29 | コニカミノルタオプト株式会社 | 画像処理方法、プログラム、画像処理装置及び撮像装置 |
| JP2015088029A (ja) * | 2013-10-31 | 2015-05-07 | 日本電気株式会社 | 放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507924B (zh) | 2023-09-29 |
| JP7291168B2 (ja) | 2023-06-14 |
| EP3933752A1 (en) | 2022-01-05 |
| KR102451197B1 (ko) | 2022-10-06 |
| US20210335008A1 (en) | 2021-10-28 |
| JP2021175185A (ja) | 2021-11-01 |
| US11557062B2 (en) | 2023-01-17 |
| CN111507924A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102410328B1 (ko) | 얼굴 융합 모델 트레이닝 방법, 장치 및 전자 기기 | |
| KR102451197B1 (ko) | 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램 | |
| JP7125541B2 (ja) | ビデオ修復方法および装置、電子機器、ならびに記憶媒体 | |
| US10297034B2 (en) | Systems and methods for fusing images | |
| EP3989116A1 (en) | Method and apparatus for detecting target object, electronic device and storage medium | |
| US20210209792A1 (en) | Positioning Method, Electronic Device and Computer Readable Storage Medium | |
| US8600186B2 (en) | Well focused catadioptric image acquisition | |
| US11748895B2 (en) | Method and apparatus for processing video frame | |
| US11417056B2 (en) | Method, apparatus, device and storage medium for three-dimensional reconstruction | |
| WO2011010438A1 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
| US11828606B2 (en) | Method and apparatus for updating point cloud | |
| CN111693147A (zh) | 温度补偿的方法、装置、电子设备及计算机可读存储介质 | |
| US11683583B2 (en) | Picture focusing method, apparatus, terminal, and corresponding storage medium | |
| KR20210131221A (ko) | 이미지를 처리하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| JP2016024052A (ja) | ３次元計測システム、３次元計測方法及びプログラム | |
| KR20210040312A (ko) | 장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN113992850A (zh) | 基于isp的图像处理方法及装置、存储介质和摄像设备 | |
| CN112102417B (zh) | 确定世界坐标的方法和装置 | |
| EP3901908A1 (en) | Method and apparatus for tracking target, device, medium and computer program product | |
| CN117495975A (zh) | 一种变焦镜头的标定方法、装置及电子设备 | |
| JP2023525179A (ja) | ３ｄライトフィールドディスプレイのクロストーク補償 | |
| KR20230059493A (ko) | 특징 매칭 기반의 영상 합성을 통한 영상 처리 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |