KR102348636B1 - 이미지 처리 방법, 단말기 및 저장 매체 - Google Patents

이미지 처리 방법, 단말기 및 저장 매체 Download PDF

Info

Publication number
KR102348636B1
KR102348636B1 KR1020207008320A KR20207008320A KR102348636B1 KR 102348636 B1 KR102348636 B1 KR 102348636B1 KR 1020207008320 A KR1020207008320 A KR 1020207008320A KR 20207008320 A KR20207008320 A KR 20207008320A KR 102348636 B1 KR102348636 B1 KR 102348636B1
Authority
KR
South Korea
Prior art keywords
image
frame image
target frame
feature point
feature points
Prior art date
Application number
KR1020207008320A
Other languages
English (en)
Other versions
KR20200044074A (ko
Inventor
샤오밍 샹
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20200044074A publication Critical patent/KR20200044074A/ko
Application granted granted Critical
Publication of KR102348636B1 publication Critical patent/KR102348636B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/047—Detection, control or error compensation of scanning velocity or position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

이미지 처리 방법이 제공되며, 상기 이미지 처리 방법은, 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출하는 단계; 상기 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 상기 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 상기 하나 이상의 이미지 특징점 중에서, 상기 하나 이상의 이미지 특징점의 특징 정보에 따라 상기 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 단계; 상기 이전 프레임 이미지에서의 상기 광 흐름 이미지 특징점과 상기 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산하는 단계; 및 상기 변위 거리에 따라 상기 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 상기 타깃 프레임 이미지를 출력하는 단계를 포함한다.

Description

이미지 처리 방법, 단말기 및 저장 매체
관련 출원에 대한 상호 참조
본 출원은 "이미지 처리 방법 및 장치(IMAGE PROCESSING METHOD AND APPARATUS)"라는 명칭으로 2017년 9월 4일에 중국 특허청에 출원된 중국 특허출원 제2017107874927호에 대해 우선권을 주장하며, 그 내용 전부가 인용에 의해 본 출원에 포함된다.
본 출원은 이미지 처리 분야에 관한 것으로, 특히 이미지 처리 방법, 단말기 및 저장 매체에 관한 것이다.
이동 기기 관련 기술의 발달에 따라, 사람들은 사진과 같은 이미지를 캡처하기 위해 이동 기기를 더 자주 사용한다. 이동 기기는 일반적으로 고정되어 있지 않기 때문에, 카메라에 의해 캡처된 이미지의 이미징 효과는 촬영 중에 이동 기기의 움직임에 의해 크게 영향을 받을 수 있다. 이미징 효과가 나쁜 이미지는 일반적으로 사용자에게 만족스럽지 않다. 그러나 관련 기술에서는, 이미징 효과가 나쁜 이러한 이미지를 효과적으로 식별할 수 없다.
본 출원의 다양한 실시예에 따르면, 이미지 처리 방법, 단말기 및 저장 매체가 제공된다.
이미지 처리 방법은,
카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점(image feature point)을 추출하는 단계;
타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점(optical flow image feature point)의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 단계;
이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산하는 단계; 및
변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 타깃 프레임 이미지를 출력하는 단계를 포함한다.
이미지 처리를 위한 단말기는, 저장 매체 및 프로세서를 포함하고,
상기 저장 매체는 카메라에 의해 캡처된 프레임 이미지를 저장하고, 프로그램 명령어를 저장하도록 구성되고;
상기 프로세서는 프로그램 명령어를 실행하도록 구성되고, 상기 프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금,
카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출하는 작업(operation);
타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 작업;
이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산하는 작업; 및
변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 타깃 프레임 이미지를 출력하는 작업을 수행하게 한다.
상기 저장 매체는 복수의 프로그램 명령어를 저장하며, 프로그램 명령어는 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금, 상기 이미지 처리 방법에서의 작업을 수행하게 한다.
본 출원의 하나 이상의 실시예의 세부 사항은 첨부 도면 및 이하의 설명에서 제공된다. 본 출원의 다른 특징, 목적 및 이점은 명세서, 첨부 도면 및 청구 범위로부터 명백해질 것이다.
본 출원의 실시예에서의 기술적 방안을 보다 명확하게 설명하기 위해, 이하에서는 실시예 또는 관련 기술을 설명하는 데 필요한 첨부 도면을 간단히 설명한다. 명백히하게, 이하의 설명에서 첨부 도면은 본 출원의 일부 실시예를 보여줄 뿐이며, 당업자라면 창의적인 노력 없이 이들 첨부 도면으로부터 다른 도면을 도출할 수 있을 것이다.
도 1a는 본 출원의 일 실시예에 따른 이미지 처리 방법의 개략 흐름도이다.
도 1b는 본 출원의 일 실시예에 따른 변위 거리의 시나리오의 개략도이다.
도 2a는 본 출원의 일 실시예에 따른 이미지 처리를 위한 네트워크 아키텍처의 개략도이다.
도 2b 및 도 2c는 본 출원의 일 실시예에 따른 이미지 처리 시나리오의 개략도이다.
도 3a는 본 출원의 일 실시예에 따라 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위한 방법의 개략 흐름도이다.
도 3b는 본 출원의 일 실시예에 따라 이미지 특징점들을 구별하는 시나리오의 개략도이다.
도 3c는 본 출원의 일 실시예에 따른 이미지 특징점의 인터페이스의 개략도이다.
도 3d는 본 출원의 일 실시예에 따른 한 유형의 안내 정보의 인터페이스의 개략도이다.
도 4는 본 출원의 일 실시예에 따른 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위한 다른 방법의 개략 흐름도이다.
도 5a는 본 출원의 일 실시예에 따른 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위한 또 다른 방법의 개략 흐름도이다.
도 5b는 본 출원의 일 실시예에 따른 타깃 프레임 이미지의 중심 위치를 결정하는 시나리오의 개략도이다.
도 5c는 본 출원의 일 실시예에 따른 다른 유형의 안내 정보의 인터페이스의 개략도이다.
도 6a는 본 출원의 일 실시예에 따른 타깃 프레임 이미지가 움직임이 없는 상태로 캡처된 것으로 결정하기 위한 방법의 개략 흐름도이다.
도 6b는 본 출원의 일 실시예에 따른 타깃 프레임 이미지가 움직임이 없는 상태로 캡처된 것으로 결정하기 위한 다른 방법의 개략 흐름도이다.
도 7은 본 출원의 일 실시예에 따른 다른 이미지 처리 방법의 개략 흐름도이다.
도 8은 본 출원의 일 실시예에 따른 또 다른 이미지 처리 방법의 개략 흐름도이다.
도 9는 본 출원의 일 실시예에 따른 이미지 처리의 구체적인 시나리오의 개략도이다.
도 10은 본 출원의 일 실시예에 따른 이미지 처리 장치의 개략 구성도이다.
도 11a는 본 출원의 일 실시예에 따른 결정 유닛의 개략 구성도이다.
도 11b는 본 출원의 일 실시예에 따른 다른 결정 유닛의 개략 구성도이다.
도 12는 본 출원의 일 실시예에 따른 단말기의 개략 구성도이다.
본 출원의 목적, 기술적 방안 및 이점을 보다 명확하게 하기 위해, 이하에서는 첨부 도면 및 실시예를 참조하여 본 출원을 더욱 상세하게 설명한다. 본 명세서에 기술된 구체적인 실시예는 본 출원을 설명하기 위해 사용될 뿐이고 본 출원을 한정하려는 것이 아님을 이해할 수 있다.
본 출원의 실시예는 이미징 효과가 나쁜 이미지의 출력을 회피하여 단말기의 이미지 처리 효율을 향상시킬 수 있는 이미지 처리 방법, 단말기 및 저장 매체를 개시한다.
도 1a는 본 출원의 일 실시예에 따른 이미지 처리 방법의 개략 흐름도이다. 도 1a에 도시된 바와 같이, 이 이미지 처리 방법은,
101. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
본 출원의 본 실시예가 이미지 처리를 위한 단말기에 적용될 수 있음을 이해할 수 있다. 단말기는 이동 전화, 태블릿 컴퓨터, 노트북 컴퓨터, 팜탑 컴퓨터, 모바일 인터넷 기기(mobile Internet device, MID), 웨어러블 기기(예: 스마트 워치(예컨대 iWatch)) 등일 수 있으며, 본 출원의 실시예에서 제한되지 않는다.
본 출원의 본 실시예에서, 카메라는 단말기 내의 카메라일 수 있거나, 단말기에 외부적으로 연결된 카메라일 수 있다. 다시 말해, 카메라가 단말기와 외부적으로 연결된 카메라인 경우, 카메라를 사용하여 타깃 프레임 이미지를 캡처한 후, 타깃 프레임 이미지를 단말기에 업로드하여, 단말기로 처리할 수 있다.
본 출원의 본 실시예에서, 이미지 특징점은 SIFT(Scale-Invariant Feature Transform) 알고리즘, SURF(Speeded-Up Robust Feature) 알고리즘, FAST(Features from Accelerated Segment Test) 알고리즘, 개선된 SIFT 알고리즘 또는 개선된 SURF 알고리즘과 같은 알고리즘을 통해 추출될 수 있다. 이미지 특징점을 추출하기 위한 특정 알고리즘은 본 출원의 실시예에서 제한되지 않는다.
102. 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정한다.
구체적으로, 특징 정보는 이미지 특징점의 화소 색상 정보 또는 휘도 정보를 포함한다.
구체적으로, 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 것은,
이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적(optical flow tracking)을 수행하고, 타깃 프레임 이미지에서의 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 획득하는 것을 포함한다.
광 흐름의 개념은 1950년에 깁슨(Gibson)에 의해 제일 먼저 제시되었다. 광 흐름은 관찰 이미징 표면(observed imaging surface) 상의 공간 이동 객체의 순간 화소 움직임 속도이며, 시간 영역에서 이미지 시퀀스에서의 화소의 변화 및 인접한 프레임 간의 상관관계를 이용하여 이전 프레임과 현재 프레임 사이의 상관관계를 찾는다. 따라서, 본 실시예에서, 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보를 사용하여 광 흐름 이미지 특징점에 대해 광 흐름 추적이 수행되어, 타깃 프레임 이미지에서, 광 흐름 이미지 특징점에 대응하는 타깃 프레임 이미지에서의 이미지 특징점을 획득한다. 광 흐름 이미지 특징점에 대응하는 이미지 특징점의 특징 정보는 광 흐름 이미지 특징점의 특징 정보와 동일하거나, 또는 두 개의 특징 정보 사이의 유사성이 설정된 임계 값(예: 98 %)에 도달한다. 특징 정보는 이미지 특징점의 화소 색상 정보 또는 휘도 정보를 포함한다.
이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행하는 것은, 카메라에 의해 캡처된 이전 프레임 이미지가 유효 프레임 이미지인 경우에, 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행하는 것을 포함한다.
본 실시예에서, 이전 프레임 이미지에서의 광 흐름 이미지 특징점에 따라 광 흐름 추적을 수행하는 과정에서, 타깃 광 흐름 이미지 특징점에 대응하는 이미지 특징점이 이전 프레임 이미지에서의 타깃 광 흐름 이미지 특징점의 특징 정보에 따라 타깃 프레임 이미지에서의 추적을 통해 획득될 수 없으면, 이는 광 흐름 추적의 실패를 나타내고, 타깃 광 흐름 이미지 특징점의 저장된 특징 정보는 폐기될 수 있다.
103. 이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산한다.
타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정되는 경우, 이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리가 계산될 수 있다. 선택적인 실시예에서, 이전 프레임 이미지에서의 광 흐름 이미지 특징점에 대응하는, 타깃 프레임 이미지에서의 이미지 특징점은 피라미드 광 흐름 알고리즘을 통해 계산될 수 있어, 이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리가 수행될 수 있다. 피라미드 광 흐름 알고리즘은 대략 세 단계: 피라미드 설정, 피라미드 추적 및 반복 프로세스를 포함한다. 피라미드 특징 추적 알고리즘은 다음과 같다: 먼저, 이미지 피라미드의 최상위 계층에서 광 흐름 및 아핀 변환 행렬(affine transformation matrix)을 계산하고; 둘째, 최상위 계층의 계산 결과를 초기 값으로서 다음 계층의 이미지에 송신하고, 즉, 초기 값에 기초하여, 다음 계층의 이미지에 의해, 다음 계층의 광 흐름 및 아핀 변환 행렬을 계산하고; 그 후, 값이 최종 계층, 즉 원본 이미지 계층으로 송신될 때까지, 다음 층의 광 흐름 및 아핀 변환 행렬을 초기 값으로서 그 다음 층에 송신하고; 마지막으로, 최종 계층에서 계산된 광 흐름 및 아핀 변환 행렬을 최종 광 흐름 및 아핀 변환 행렬 결과로서 사용한다. 최종 광 흐름은 반복을 통해 획득되므로, 이전 프레임 이미지에서의 광 흐름 이미지 특징점에 대응하는, 타깃 프레임 이미지에서의 이미지 특징점은 반복된 광 흐름에 따라 계산된다. 다른 선택적인 실시예에서, 다른 이미지 추적 알고리즘이 사용될 수도 있음을 이해할 수 있다. 예를 들어, 개선된 피라미드 광 흐름 알고리즘이 이미지 특징점의 위치를 추적하는 데 사용되며, 이는 본 실시예에서 제한되지 않는다.
도 1b는 본 출원의 일 실시예에 따른 변위 거리의 시나리오의 개략도이다. 도 1b에 도시된 바와 같이, 검은색 점 A는 이전 프레임 이미지에서의 광 흐름 이미지 특징점이고, 검은색 점 A'는 A에 대응하는 이미지 특징점으로서 광 흐름에 의해 타깃 프레임 이미지에 대해 추적되는 이미지 특징점이다. 이미지에서 검은색 점 A와 검은색 점 A' 사이의 거리가 변위 거리이다. 구체적으로, 변위 거리가 계산되는 경우, 광 흐름 이미지 특징점과 광 흐름 이미지 특징점에 대응하는 이미지 특징점 사이의 변위 거리는 각각의 프레임 이미지에서의 이미지 특징점과 광 흐름 이미지 특징점의 위치 좌표에 따라 계산될 수 있다. 대안적으로, 광 흐름 이미지 특징점 A는 타깃 프레임 이미지에서의 대응하는 위치에 투영될 수 있고, 광 흐름 이미지 특징점 A와 대응 이미지 특징점 A' 사이의 변위 거리는 타깃 프레임 이미지에서 계산된다. 대안적으로, 광 흐름 이미지 특징점 A에 대응하는 이미지 특징점 A'는 이전 프레임 이미지에서의 대응하는 위치에 투영될 수 있고, 광 흐름 이미지 특징점 A와 대응하는 이미지 특징점 A' 사이의 변위 거리는 이전 프레임 이미지에서 계산된다.
104. 변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 타깃 프레임 이미지를 출력한다.
본 출원의 본 실시예에서, 타깃 프레임 이미지를 출력하는 것은 타깃 프레임 이미지를 저장하거나, 타깃 프레임 이미지를 공유하거나, 타깃 프레임 이미지를 보여주는 것일 수 있다. 구체적인 출력 형태는 본 출원의 실시예에서 제한되지 않는다.
예를 들어, 단말기는 복수의 이미지를 연속적으로 캡처하고, 전술한 작업을 통해 더 좋은 이미징 효과를 갖는 이미지를 사용자에게 보여줄 수 있거나, 더 좋은 이미징 효과를 갖는 이미지를 저장하고, 나아가 이미징 효과가 나쁜 이미지를 삭제한다. 이는 사용자 만족도를 높일 뿐만 아니라, 단말기의 저장 공간을 효과적으로 절약할 수 있다.
본 출원의 본 실시예를 구현함으로써, 단말기는 이미징 효과가 나쁜 이미지를 출력하는 것을 방지할 수 있어, 사용자에게 이미징 효과가 좋은 이미지를 제공하고, 단말기의 이미지 처리 효율을 향상시키고, 사용자 만족도를 높일 수 있다.
실생활에서, QQ 브라우저의 QR 코드 스캐닝 기능 또는 증강 현실(augmented reality, AR) 클라우드 인식은 일반적으로 관련 이미지 처리 서비스를 요청하기 위해 이미지를 클라우드에 업로드할 것을 요구한다. 그러나 이동 기기가 이미지를 캡처하는 데 사용되는 경우, 이동 기기의 움직임은 이미징 효과에 영향을 미치며, 예를 들어 흐릿한 이미징으로 이어진다. 이 경우, 이미지가 흐려지기 때문에, 클라우드가 이미지를 효과적으로 인식할 수 없다. 따라서, 선택적인 구현예에서, 타깃 프레임 이미지를 출력하는 것은,
타깃 프레임 이미지를 서버에 제출하는 것을 포함한다. 구체적으로, 서버는 클라우드 서버(cloud server), 로컬 백엔드 처리 서버(local backend processing server) 등을 포함하며, 이는 본 실시예에서 제한되지 않는다.
도 2a는 본 출원의 일 실시예에 따른 이미지 처리를 위한 네트워크 아키텍처의 개략도이다. 도 2a에 도시된 바와 같이, 네트워크 아키텍처는 이미지 처리를 위한 단말기(203) 및 클라우드 서버(204)를 포함한다. 단말기(203)는 이동 전화와 같은 이동 기기일 수 있고, 카메라를 포함할 수 있다. 단말(203)은 클라우드 서버(204)와 통신하여, 데이터 송신을 구현할 수 있다.
도 2a에 도시된 네트워크 아키텍처의 개략도에 기초한 도 2b 및 도 2c를 참조하면, 도 2b 및 도 2c는 본 출원의 일 실시예에 따른 이미지 처리의 구체적인 시나리오를 도시한다. 이 시나리오에서, 사용자는 단말기(21)를 사용하여 단어 "Fu"를 스캔해야 하고, 단말기(21)는 스캔된 단어 "Fu"를 서버(23)에 송신하고, 서버(23)는 수신된 단어에 대해 인식 처리를 수행한다. 도 2b에 도시된 바와 같이, 사용자는 단말기(21)를 사용하여 단어 "Fu"를 스캔한다. 단말기(21)의 스캐닝 상자(22)가 충분한 수량의 특징점을 획득하지 않음을 도면으로부터 알 수 있다. 즉, 스캐닝 상자(22)에 의해 획득된 타깃 프레임 이미지는 유효하지 않은 프레임 이미지이다. 이 경우, 단말기(21)는 타깃 프레임 이미지를 서버(23)에 업로드하지 않을 수 있다. 도 2c에 도시된 바와 같이, 단말기(21)에 의해 획득된 타깃 프레임 이미지가 유효 프레임 이미지이고, 단말기(21)가 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 경우에 단말기(21)는 타깃 프레임 이미지를 서버(23)에 업로드한다. 서버(23)가 타깃 프레임 이미지를 인식한 후, 레드 패킷(red packet) 또는 행운 카드가 단말기(21)에 전달될 수 있다. 이 시나리오에서, 단말기(21)는 유효하지 않은 프레임 이미지를 서버(23)에 지속적으로 업로드하는 것을 회피하고, 업로딩 작업량을 감소시키며, 서버(23)가 타깃 프레임 이미지를 지속적으로 인식하기 때문에 서버(23)의 부하가 증가되는 문제를 회피할 수 있다.
본 실시예를 구현함으로써, 한편으로, 서버는 타깃 프레임 이미지를 효과적으로 인식할 수 있어, 서버의 이미지 인식 효율을 향상시키고; 다른 한편으로, 단말기는 전술한 조건을 충족시키는 프레임 이미지를 서버에 업로드함으로써, 로딩될 프레임의 수량을 효과적으로 감소시키고, 셀룰러 네트워크 데이터를 절약할 수 있다.
도 3a는 본 출원의 실시예에 따른 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위한 방법의 개략 흐름도이다. 이 방법은 이미지 처리를 위해 단말기에 적용될 수 있다. 도 3a에 도시된 바와 같이, 타깃 프레임 이미지가 유효 프레임 이미지인지를 결정하는 방법은 다음을 포함할 수 있다:
301. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
302. 타깃 프레임 이미지로부터 추출된 이미지 특징점의 수량을 획득한다.
303. 추출된 이미지 특징점의 수량이 수량 임계 값에 도달한 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정한다.
수량 임계 값은 이미지 특징점의 수량이 수량 임계 값에 도달하는지를 결정하기 위해 사용된다. 이미지 특징점의 수량이 수량 임계 값에 도달하면, 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정된다. 일반적으로, 이미지 특징점의 수량이 많을수록 더 풍부한 정도의 프레임 이미지를 나타내고, 이미지 특징점의 수량이 적을수록 프레임 이미지 중에서 구별 정도가 더 낮다는 나타낸다. 따라서, 수량 임계 값은 단말기에 의해 설정될 수 있으며, 이는 본 실시예에서 제한되지 않는다. 구체적으로, 수량 임계 값은 단말기가 타깃 프레임 이미지를 캡처하기 전에, 또는 단말기가 이전 프레임 이미지를 캡처하기 전에 설정될 수 있다. 수량 임계 값은 실제 상황에 따라 단말기에 의해 설정될 수 있으며, 이는 본 출원의 실시예에 제한되지 않는다.
예를 들어, 수량 임계 값은 50일 수 있다. 즉, 타깃 프레임 이미지로부터 추출된 이미지 특징점의 수량이 50에 도달한 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정될 수 있다.
구체적으로, 본 출원의 실시예는 이미지 특징점을 결정하기 위한 방법을 추가로 제공하며, 이는 다음과 같다:
이미지 특징점 주위의 인접한 화소점에서, 모든 인접한 화소점에 대한, 화소 특징이 이미지 특징점의 특징 정보와 상이한 차분 화소점(differential pixel point)의 비율은 비율 임계 값에 도달한다.
본 실시예에서, 예를 들어, 비율 임계 값은 3/4이다. 도 3b에 도시된 바와 같이, 도 3b는 본 출원의 일 실시예에 따른 이미지 특징점을 구별하는 시나리오의 개략도이다. 도면에서 ①∼⑨는 모두 화소점이고 ②∼⑨는 모두 ①의 인접한 화소점이다. ②∼⑦은 ①과 다른 화소점이라는 것을 도면으로부터 알 수 있다. 다시 말해, ②∼⑦은 이미지 특징점과 다른 차분 화소점이다. 따라서, 이미지 특징점 주위의 인접한 화소점에서, 모든 인접한 화소점에 대한, 화소 특징이 이미지 특징점의 특징 정보와 상이한 차분 화소점의 비율은 3/4이다. 다시 말해, 이 비율은 비율 임계 값 3/4에 도달한다. 따라서, 화소점 ①은 이미지 특징점이다. 도 3b는 단지 예이고, 예시적인 화소점 및 수량은 예일 뿐임을 이해할 수 있다. 따라서, 도 3b의 예는 한정된 의미를 갖는 것으로 이해될 수 없다.
다른 예를 들어, 도 3c에 도시된 바와 같이, 도면의 점 부분은 이미지 특징점이다. 이미지 특징점은 주변 화소점과 분명히 다르다는 것을 알 수 있다.
본 출원의 본 실시예에서, 타깃 프레임 이미지가 유효 프레임 이미지인지의 여부가 이미지 특징점의 수량을 획득함으로써 판정되므로, 단말기는 타깃 프레임 이미지를 처리할 수 있다. 본 실시예를 구현함으로써, 단말기는 흐릿한 이미지 또는 구체적인 콘텐츠를 포함하지 않는 이미지를 획득하는 것을 방지할 수 있으며, 이에 의해 단말기의 처리 효율을 향상시킨다.
본 실시예에서, 본 출원의 실시예는 다음과 같은 안내 정보를 송신하는 방법을 더 제공하는데, 다음과 같다:
추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에 안내 정보를 전송하며, 안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
도 3d는 본 출원의 일 실시예에 따른 한 유형의 안내 정보의 시나리오의 개략도이다. 도 3d에 도시된 바와 같이, 도면부호 31은 단말기에 이해 송신되는 안내 정보이고, 도면부호 32는 단말기가 캡처한 타깃 프레임 이미지이다. 단말기에 의해 추출되는, 타깃 프레임 이미지에서의 이미지 특징점의 수량이 단말기에 의해 설정된 수량 임계 값에 도달하지 않은 경우, 단말기는 안내 정보(31)를 송신한다. 도 3d는 단지 예일 뿐이며 제한된 의미를 갖는 것으로 이해될 수 없다.
본 실시예를 구현함으로써, 단말기는 안내 정보를 전송하여 사용자가 조작하도록 안내하는데, 이는 단말기에 의해 타깃 프레임 이미지를 획득하는 효율을 향상시킬 수 있다.
도 4는 본 출원의 일 실시예에 따른 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위한 다른 방법의 개략 흐름도이다. 도 4에 도시된 바와 같이, 이 방법은 다음을 포함할 수 있다:
401. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
402. 타깃 프레임 이미지로부터 추출된 이미지 특징점의 수량을 획득한다.
403. 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에 타깃 프레임 이미지의 이미지 해상도를 계산한다.
이미지 처리에서, 모호도(ambiguity) 및 해상도는 이미지의 해상도 정도(모호성 정도)를 설명하고, 서로 반대이며 또한 서로 관련되는 두 가지 개념이다. 이미지가 선명할수록 더 높은 품질, 더 높은 해상도 및 더 낮은 모호도를 나타낸다. 이미지가 불분명할수록(더 흐릿할수록)산) 더 낮은 품질, 더 낮은 해상도 및 더 높은 모호도를 나타낸다. 따라서, 해상도의 값이 모호도의 값에 반비례한다는 것을 제외하고, 해상도와 모호도 모두는 이미지의 해상도의 정도를 설명하기 위해 사용될 수 있다. 따라서, 타깃 프레임 이미지가 유효 프레임 이미지인지를 결정하는 방법은 제한된 의미를 갖는 것으로 이해될 수 없다. 다시 말해, 타깃 프레임 이미지가 유효 프레임 이미지인지 여부는 타깃 프레임 이미지의 모호도를 계산함으로써 결정될 수 있다.
본 출원의 본 실시예에서의 수량 임계 값은 도 3a의 수량 임계 값과 동일할 수 있음을 이해할 수 있으며, 이는 본 출원의 실시예에서 제한되지 않는다.
구체적으로, 타깃 프레임 이미지의 이미지 해상도를 계산하는 것은,
타깃 프레임 이미지의 이미지 기울기 값을 계산하고, 이미지 기울기 값에 따라 타깃 프레임 이미지의 이미지 해상도를 결정하는 것을 포함한다.
일반적으로, 이미지 해상도의 평가 함수는 그레이스케일 변경 함수(gray-scale change function), 기울기 함수(gradient function), 이미지 그레이스케일 엔트로피 함수(image gray-scale entropy function) 등을 포함한다. 구체적으로, 이미지 처리 시에, 이미지 기울기 함수, 예를 들어 이미지 그레이스케일 에너지 함수, 로버트 기울기(Robert gradient) 및 라플라스 연산자(Laplace operator)가 에지 추출을 수행하기 위해 사용될 수 있다. 더 우수한 초점과 더 선명한 이미지 가장자리는 더 큰 이미지 기울기 값을 나타낸다. 따라서, 기울기 함수가 타깃 프레임 이미지의 해상도를 계산하는 데 사용될 수 있다.
구체적으로, 본 출원의 본 실시예에서, 타깃 프레임 이미지의 이미지 해상도를 계산하는 것은, 타깃 프레임 이미지에 대해 라플라스 변환(Laplace transform)을 수행하고, 타깃 프레임 이미지의 기울기 맵(즉, 초기 프레임에서의 화소의 변화 범위)을 획득하는 것을 포함할 수 있다. 기울기 맵의 분산이 모호도이다. 분산이 클수록 더 높은 해상도와 더 높은 구별 정도를 나타낸다. 분산이 낮을수록 프레임의 더 낮은 구별 정도를 나타낸다.
404. 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달한 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정한다.
본 출원의 본 실시예에서, 해상도 임계 값은 단말기가 본 출원의 본 실시예에서 제공되는 방법을 수행하기 전에 설정될 수 있거나, 타깃 프레임 이미지의 해상도가 계산된 후, 타깃 프레임 이미지의 해상도가 해상도 임계 값과 비교되기 전에 설정될 수 있으며, 이는 본 출원의 실시예에서 제한되지 않는다.
타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달하지 않은 경우, 단말기는 해상도 프롬프트 정보(definition prompt information)를 추가로 송신할 수 있다는 것을 이해될 수 있다. 해상도 프롬프트 정보는 사용자에게 초점에 주의를 기울이도록 유도하는 데 사용되며, 이는 본 출원의 실시예에서 특별히 제한되지 않는다.
본 출원의 본 실시예에서, 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달하는지의 여부는 획득된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에 추가로 판정될 수 있으며, 이는 모호도가 높은 이미지를 샘플링을 회피한다. 본 출원의 본 실시예를 구현함으로써, 단말기가 흐릿한 이미지를 획득하는 것을 방지할 수 있, 이에 의해 단말기의 처리 효율을 향상시킨다.
도 5a는 본 출원의 일 실시예에 따른 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위한 또 다른 방법의 개략 흐름도이다. 도 5a에 도시된 바와 같이, 이 방법은 다음을 포함할 수 있다:
501. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
502. 타깃 프레임 이미지에서 추출된 이미지 특징점의 위치에 따라 타깃 프레임 이미지의 중심 위치를 계산한다.
503. 중심 위치가 타깃 프레임 이미지의 중앙 영역에 있는 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정한다.
본 실시예에서, 도 5b는 본 출원의 일 실시예에 따른 타깃 프레임 이미지의 중심 위치를 결정하는 시나리오의 개략도를 추가로 설명하기 위한 예로서 사용된다. 도 5b에서 검은색 점(51)이 중심 위치이고, 중심 영역은 그리드의 중간에서 1/2 면적 영역, 예를 들어 영역(52)에 있다.
타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 타깃 프레임 이미지의 중심 위치를 계산하는 것은,
타깃 프레임 이미지에서의 복수의 그리드 서브영역을 결정하고;
타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 각각의 이미지 특징점이 위치하는 그리드 서브영역을 결정하고;
복수의 그리드 서브영역 각각의 이미지 특징점의 수량에 따라 타깃 프레임 이미지의 중심 위치를 계산하는 것을 포함한다.
구체적으로, 선택적인 실시예에서, 중심 위치를 결정하는 단계는 다음과 같다:
11) 타깃 프레임 이미지에서 복수의 그리드 서브영역을 결정, 즉, 타깃 프레임 이미지를 N*M 그리드로 분할(N 및 M은 타깃 프레임 이미지의 상이한 높이 및 폭에 따라 설정될 수 있음)하고, 각 그리드에 포함된 특징점의 수량을 세어 N*M 밀도 행렬을 형성한다.
12) 타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 각각의 이미지 특징점이 위치하는 그리드 서브영역을 결정한다. 선택적인 실시예에서, 그리드 서브영역의 일부는 그리드 내의 이미지 특징점의 평균 수량에 따라 필터링될 수 있다. 예를 들어, FAST 알고리즘을 사용하여 추출한 특징점의 수량은 P이고 그리드 서브영역의 이미지 특징점의 평균 수량은 Avg=P/N*M이다. 이미지 특징점의 수량이 Avg보다 적은 그리드 서브영역의 경우, 그리드 서브영역에 포함된 이미지 특징점의 수량이 0으로 기록되어, 전체 타깃 프레임 이미지의 중심에 미치는 소량의 로컬 이미지 특징점의 영향을 감소시킨다.
13) 복수의 그리드 서브영역 각각에서의 이미지 특징점의 수량에 따라 타깃 프레임 이미지의 중심 위치를 계산하며, 여기서 중심 위치는 타깃 프레임 이미지의 특징점이 분산되어 있는 위치를 나타낸다. 단계 12)에서의 선택적인 실시예에서 설명 된 방법에 따라 필터링된 밀도 행렬에서의 특징점의 카운트를 가중치로 사용하여 밀도 행렬의 중심을 계산할 수 있고, 중심 위치는 타깃 프레임 이미지의 특징점이 있는 위치를 나타낼 수 있다.
14) 중앙 영역이 그리드의 중간에서 1/2 면적 영역에 있으면, 계산된 중심 위치가 1/2 면적 영역에 있는 경우, 타깃 프레임 이미지가 분포 조건을 충족시킨다고 결정한다. 즉, 타깃 프레임 이미지는 유효 프레임 이미지이다.
도 3c의 중심 위치는 중심 위치를 결정하기 위한 방법을 사용하여 결정될 수 있다. 예를 들어, 도 3c에 도시된 검은색으로 채워진 점이 도 3c의 중심 위치이다.
중앙 영역은 타깃 프레임 이미지의 중간에 1/2 면적 영역일 수도 있고, 타깃 프레임 이미지의 중간에 1/4 면적 영역일 수도 있음을 이해할 수 있으며, 이는 본 실시예에서 제한되지 않는다.
본 실시예에서, 안내 정보는 중심 위치가 타깃 프레임 이미지의 중앙 영역에 없는 경우에 전송되며, 안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
도 5c는 본 출원의 일 실시예에 따른 다른 유형의 안내 정보의 시나리오의 개략도이다. 도 5c에 도시된 바와 같이, 단말기에 의해 송신되는 안내 정보는 화살표 방향 정보 및 단어 프롬프트 정보를 포함한다. 단말기는 타깃 프레임 이미지의 중심 위치가 타깃 프레임 이미지의 중앙 영역에 없는 경우에 안내 정보를 송신한다. 도 5c는 단지 예일 뿐이며, 제한된 의미를 갖는 것으로 이해될 수 없다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지의 중심 위치가 중앙 영역에 있도록 보장할 수 있고, 타깃 프레임 이미지가 획득될 주요 내용을 포함하도록 보장할 수 있어, 단말기의 처리 효율을 향상시킬 수 있다.
도 3a, 도 4 및 도 5a에 기재되어 있는 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 방법은, 이전 프레임 이미지가 유효 프레임 이미지인지를 판정하기 위해 추가로 적용될 수 있다. 선택적인 실시예에서, 타깃 프레임 이미지가 도 3a, 도 4 및 도 5a의 모든 조건 또는 일부 조건을 충족한다고 결정되는 경우, 타깃 프레임 이미지가 유효 프레임 이미지임을 확인할 수 있다. 대안적으로, 타깃 프레임 이미지가 도 3a, 도 4 및 도 5a의 모든 조건 또는 일부 조건을 충족시키지 않는다고 결정되는 경우, 타깃 프레임 이미지가 유효 프레임 이미지가 아닌 것으로 결정된다.
구체적인 구현 시에, 도 3a, 도 4 및 도 5a의 방법은 타깃 프레임 이미지가 유효 프레임 이미지인지를 판정하기 위해 각각 수행될 수 있다. 대안적으로, 도 3a, 도 4 및 도 5a의 방법은 타깃 프레임 이미지가 유효 프레임 이미지인지를 판정하기 위해 조합될 수 있다. 예를 들어, 도 8에 기재된 시퀀스는 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위해 사용될 수 있다. 대안적으로, 도 9에 기재된 시퀀스가 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하기 위해 사용될 수 있다. 도 3a, 도 4 및 도 5a의 시퀀스 또는 조합 시퀀스는 본 출원의 실시예에서 제한되지 않는다.
도 6a는 본 출원의 본 실시예에 따른 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하기 위한 방법의 개략 흐름도이다. 도 6a에 도시된 바와 같이, 이 방법은 다음을 포함할 수 있다:
601. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
602. 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정한다.
603. 이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 계산한다.
604. 평균 변위 거리가 거리 임계 값보다 작은 경우에 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정한다.
본 실시예에서, 평균 변위 거리가 거리 임계 값보다 작은 경우에 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정된다. 거리 임계 값의 구체적인 값은 본 실시예에서 제한되지 않는다.
평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것은,
카메라에 의해 캡처되고 타깃 프레임 이미지를 포함하는 연속적인 다중 프레임 이미지(multi-frame image) 중의, 각각의 프레임 이미지에서의 광 흐름 이미지 특징점과 다음 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 각각 계산하고, 연속적인 다중 프레임 이미지 중의 매 두 개의 인접한 프레임 이미지 사이의 모든 평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것을 포함한다.
즉, 연속적인 다중 프레임 이미지에서, 각각 프레임 이미지에서의 이미지 특징점과 이전 프레임 이미지에서의 이미지 특징점 사이의 모든 평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 포착된 것으로 결정된다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정되기 때문에, 단말기는 흐릿한 이미지를 캡처하는 것을 방지할 수 있고, 이에 의해 단말기의 이미지 처리 효율을 향상시킬 수 있다. 단말기가 이미지를 서버에 업로드하는 횟수가 줄어들고, 단말기가 이미지를 처리하는데 필요한 셀룰러 데이터가 감소하며, 사용자 만족도가 향상된다.
도 6b는 본 출원의 일 실시예에 따른 타깃 프레임 이미지가 움직임이 없는 상태로 캡처된 것으로 결정하기 위한 다른 방법의 개략 흐름도이다. 도 6b에 도시된 바와 같이, 이 방법은 다음을 포함할 수 있다:
610. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
620. 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정한다.
630. 이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 계산한다.
640. 평균 변위 거리, 및 타깃 프레임 이미지와 이전 프레임 이미지 사이의 촬영 시간 간격에 따라, 타깃 프레임 이미지와 이전 프레임 이미지 사이의 카메라의 촬영 변위 속도를 계산한다.
650. 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정한다.
본 출원의 본 실시예에서, 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정된다. 속도 임계 값의 구체적인 값은 본 실시예에서 제한되지 않는다.
본 실시예에서, 촬영 변위 속도에 대한 방향은 지정되지 않을 수 있음을 이해할 수 있다. 다시 말해, 촬영 변위 속도는 촬영 변위 속도 레이트일 수 있으며, 이는 본 실시예에서 제한되지 않는다.
카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것은,
카메라에 의해 캡처되고 타깃 프레임 이미지를 포함하는 연속적인 다중 프레임 이미지 중의, 각각의 프레임 이미지에서의 광 흐름 이미지 특징점과 다음 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 각각 계산하고;
연속적인 다중 프레임 이미지 중의 매 두 개의 인접한 프레임 이미지 사이의 평균 변위 거리 및 촬영 시간 간격에 따라, 매 두 개의 인접한 프레임 이미지 사이의 카메라의 촬영 변위 속도를 계산하고;
매 두 개의 인접한 프레임 이미지 사이의 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것을 포함한다.
즉, 연속적인 다중 프레임 이미지에서, 각각의 프레임 이미지와 이전 프레임 이미지 사이의, 카메라의 모든 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정된다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정되기 때문에, 단말기가 흐릿한 이미지를 캡처하는 것을 방지할 수 있고, 이에 의해 단말기의 이미지 처리 효율을 향상시킨다. 단말기가 이미지를 서버에 업로드하는 횟수가 줄어들고, 단말기가 이미지를 처리하는 데 필요한 셀룰러 데이터가 감소하며, 사용자 만족도가 향상된다.
도 6a 및 도 6b에 기재되어 있는 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하기 위한 두 가지 방법은 단지 예일 뿐이다. 다른 선택적인 실시예에서, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된다는 것은 더 많은 구현을 사용하여 변위 거리에 따라 결정될 수 있다. 예를 들어, 타깃 프레임 이미지에서의 이미지 특징점과 이전 프레임 이미지에서의 대응하는 이미지 특징점 사이의 변위 거리가 다른 거리 임계 값보다 더 크지 않은 경우, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정될 수 있다.
도 7은 본 출원의 일 실시예에 따른 다른 이미지 처리 방법의 개략 흐름도이다. 도 7에 도시된 바와 같이, 이미지 처리 방법은 다음을 포함할 수 있다:
701. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
702. 카메라에 의해 캡처된 이전 프레임 이미지가 유효 프레임 이미지인지를 판정하고, 이전 프레임 이미지가 유효 프레임 이미지이면 703을 수행하고, 그렇지 않으면 704를 수행한다.
703. 타깃 프레임 이미지가 유효 프레임 이미지인지를 판정하고, 타깃 프레임 이미지가 유효 프레임 이미지이면 705를 수행하고, 그렇지 않으면 706을 수행한다.
이전 프레임 이미지 및 타깃 프레임 이미지가 유효 프레임 이미지인지를 판정하는 방법에 대해서는 도 3a, 도 4 및 도 5a에 기재된 방법을 참조할 수 있다. 세부사항은 여기서 설명하지 않는다.
704. 타깃 프레임 이미지 및 하나 이상의 이미지 특징점의 특징 정보를 저장한다.
구체적으로, 이미지 특징점은 광 흐름 추적을 수행하기 위해 사용되는 광 흐름 특징점으로서 저장된다.
다시 말해, 이전 프레임 이미지가 유효하지 않은 프레임 이미지인 경우, 단말기는 타깃 프레임 이미지를 저장할 수 있다. 즉, 타깃 프레임 이미지는 초기화된 프레임 이미지로서 사용되며, 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점이 추출된다.
705. 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행하고, 타깃 프레임 이미지에서의 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 획득한다.
706. 현재 저장되는 유효 프레임 이미지 및 대응하는 이미지 특징점의 특징 정보를 삭제한다.
다시 말해, 타깃 프레임 이미지가 유효하지 않은 프레임 이미지인 경우, 단말기는 저장된 유효 프레임 이미지를 직접 삭제하여, 프레임 이미지를 다시 초기화할 수 있다.
707. 이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산한다.
708. 변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 타깃 프레임 이미지를 출력한다.
타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 변위 거리에 따라 결정하는 방법에 대해서는 도 6a 및 도 6a에 기재된 방법을 참조할 수 있다. 세부 사항은 여기서 설명하지 않는다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지에서의 이미지 특징점과 이전 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 이미지에서의 변위 거리는 이전 프레임 이미지 및 타깃 프레임 이미지가 유효 프레임 이미지인 경우에 계산된다. 다시 말해, 초기화된 프레임 이미지가 유효 프레임 이미지인 경우, 후속 작업이 수행되어, 광 흐름 추적의 효율을 효과적으로 향상시키고, 변위 거리의 계산 정확도를 향상시킬 수 있다. 따라서, 단말기에 의한 타깃 프레임 이미지를 출력하는 효율이 향상되고, 사용자 만족도가 향상된다.
도 8은 본 출원의 일 실시예에 따른 또 다른 이미지 처리 방법의 개략 흐름도이다. 이 이미지 처리 방법은 이동 기기 또는 태블릿 컴퓨터와 같은 이미지 처리를 위한 단말기에 적용될 수 있으며, 이는 본 출원의 실시예에서 제한되지 않는다. 도 8에 도시된 바와 같이, 이 이미지 처리 방법은 다음을 포함할 수 있다:
801. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
801. 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출한다.
802. 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하였는지를 판정하고, 이미지 특징점의 수량이 수량 임계 값에 도달하면, 803을 수행하고; 그렇지 않으면 806을 수행한다..
803. 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달하였는지를 판정하고, 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달하면, 804를 수행하고; 그렇지 않으면 806을 수행한다.
804. 타깃 프레임 이미지의 중심 위치가 타깃 프레임 이미지의 중앙 영역에 있는지를 판정하고, 타깃 프레임 이미지의 중심 위치가 타깃 프레임 이미지의 중앙 영역에 있으면, 805를 수행하고; 그렇지 않으면 806을 수행한다.
805. 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정한다.
단계 802, 단계 803 및 단계 804의 시퀀스는 본 출원의 실시예에서 제한되지 않음을 이해할 수 있다.
806. 안내 정보를 송신한다.
안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
807. 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정한다.
808. 이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산한다.
809. 변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 타깃 프레임 이미지를 출력한다.
본 출원의 본 실시예에서의 구체적인 구현에 대해서는, 전술한 실시예의 구현을 참조할 수 있다. 세부 사항은 여기서 설명하지 않는다.
본 출원의 본 실시예를 구현함으로써, 단말기와 사용자 사이의 상호작용이 구현될 수 있다. 따라서, 단말기에 의해 획득된 타깃 프레임 이미지가 요건을 충족하지 않는 경우, 사용자는 관련 작업을 수행하도록 안내되고, 이에 의해 사용자에게 보다 직관적인 안내 작업을 제공하고, 사용자 만족도를 향상시킨다. 또한, 단말에 의한 이미지 출력 효율이 향상되고, 흐릿한 이미지를 갖는 이미지의 출력이 회피된다.
전술한 실시예에서 설명된 방법을 더 명확하게 설명하기 위해, 도 9는 본 출원의 일 실시예에 따른 이미지 처리 방법의 구체적인 시나리오의 개략도이다. 이 이미지 처리 방법은 이동 기기에 적용될 수 있다. 도 9에 기재된 방법은 도 2a에 제공된 네트워크 아키텍처의 개략도에 기초할 수 있다. 도 9에 도시된 바와 같이, 이 이미지 처리 방법은 다음을 포함할 수 있다:
901. 카메라를 사용하여 캡처된 이전 프레임 이미지 및 타깃 프레임 이미지를 획득하며, 여기서 이전 프레임 이미지는 타깃 프레임 이미지에 대한 이전 프레임 이미지이다.
902. FAST 알고리즘을 사용하여, 카메라에 의해 캡처된 타깃 프레임 이미지로부터 이미지 특징점을 추출한다.
903. 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하였는지를 검출하고, 이미지 특징점의 수량이 수량 임계 값에 도달하면, 904를 수행하고; 그렇지 않으면 905를 수행한다.
904. 추출된 이미지 특징점에 따라 타깃 프레임 이미지의 중심 위치가 타깃 프레임 이미지의 중앙 영역에 있는지를 검출하고, 타깃 프레임 이미지의 중심 위치가 타깃 프레임 이미지의 중앙 영역에 있으면, 907을 수행하고; 그렇지 않으면 906을 수행한다.
905. 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달하였는지를 검출하고, 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달하면, 904를 수행하고; 그렇지 않으면 906을 수행한다.
이미지가 흐릴 수 있거나, 카메라가 구체적인 콘텐츠를 캡처하지 않아서, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않는다. 따라서, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우, 타깃 프레임 이미지의 이미징 효과를 효과적으로 보장하고, 이미지 처리 효율을 향상시킬 수 있는 타깃 프레임 이미지의 해상도가 추가로 결정되고, 이에 의해, 서버의 이미지 인식 효율을 더욱 향상시킬 수 있다.
906. 안내 정보를 송신한다.
안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
907. 카메라에 의해 캡처된 이전 프레임 이미지가 유효한 프레임 이미지인 경우에, 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라, 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행한다.
908. 타깃 프레임 이미지에서의 하나 이상의 특징점의 특징 정보에 따라 타깃 프레임 이미지에서 추적하여, 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 획득한다.
909. 이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 계산한다.
910. 평균 변위 거리, 및 타깃 프레임 이미지와 이전 프레임 이미지 사이의 촬영 시간 간격에 따라, 타깃 프레임 이미지와 이전 프레임 이미지 사이의 카메라의 촬영 변위 속도를 계산한다.
911. 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정한다.
912. 타깃 프레임 이미지를 클라우드 서버에 제출한다.
도 9에 기재된 방법에 기초하여, 생활 속의 예를 사용한다. 사용자가 이동 전화의 QR 코드 스캐닝 기능을 사용하면, 공유 자전거를 대여하는 과정에서, 이동 전화로 스캔된 이미지가 흐리면, 서버는 이미지 인식에 실패할 수 있다. 이 경우, 이동 전화는 지속적으로 샘플링 및 업로드 작업을 수행해야 한다.
따라서, 본 출원의 본 실시예를 구현함으로써, 이동 기기와 같은 단말기에 의해 스캔된 이미지가 흐릿한 경우, 사용자는 다시 스캔하도록 안내될 수 있어, 이동 기기에 의해 스캔된 이미지가 우수한 이미징 효과를 갖는 경우에, 이미지는 서버에 업로드된다. 한편으로, 이동 기기가 이미지 업로드를 요청하는 횟수가 감소될 수 있고, 트래픽 소비가 감소되며, 이동 전화에 의해 업로드된 이미지의 품질이 보장된다. 다른 한편으로, 서버의 자원에 대한 요청이 감소되고, 서버의 인식 효율이 향상된다.
전술한 실시예에서, 각 실시예의 설명은 상이한 부분에 초점을 맞추고, 일 실시예에서 상세하게 설명되지 않은 부분에 대해서는 다른 실시예의 관련 설명을 참조할 수 있다.
도 1a, 도 3a, 도 4, 도 5a, 도 6a, 도 6b 및 도 7 ∼도 9에서의 흐름도의 단계는 화살표에 따라 순차적으로 표시되지만, 단계들은 반드시 화살표로 지시된 순서에 따라 수행될 필요는 없다. 본 출원에서 명시적으로 지정되지 않는 한, 단계의 수행은 엄격하게 제한되지 않으며, 단계들은 다른 순서로 수행될 수 있다. 또한, 도 1a, 도 3a, 도 4, 도 5a, 도 6a, 도 6b 및 도 7 ∼도 9에서 적어도 일부 단계는 복수의 하위 단계 또는 복수의 스테이지를 포함할 수 있다. 하위 단계 또는 스테이지의 수행 시퀀스는 반드시 시퀀스대로 수행될 필요는 없고, 대신에 차례로 또는 다른 단계 또는 다른 단계의 적어도 일부 서브단계 또는 스테이지와 교대로 수행될 수 있다.
도 10은 본 출원의 실시예에 따른 이미지 처리 장치의 개략 구성도이다. 이미지 처리 장치는 본 출원의 실시예에서 제공되는 이미지 처리 방법을 수행하도록 구성될 수 있으며, 이는 본 출원의 실시예에 제한되지 않는다. 도 10에 도시된 바와 같이, 이 이미지 처리 장치는,
카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출하도록 구성된 추출 유닛(1001);
타깃 프레임 이미지가 유효 프레임 이미지인 경우에 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하도록 구성된 획득 유닛(1002);
이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산하도록 구성된 계산 유닛(1003);
변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하도록 구성된 결정 유닛(1004); 및
결정 유닛(1004)이 변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 경우에 타깃 프레임 이미지를 출력하도록 구성된 출력 유닛(1005)을 포함한다.
본 출원의 본 실시예를 구현함으로써, 이미지 처리 장치는 이미징 효과가 나쁜 이미지를 출력하는 것을 방지할 수 있어, 사용자에게 우수한 이미징 효과를 갖는 이미지를 제공하고, 이미지 처리 장치의 이미지 처리 효율을 향상시키고, 사용자 만족도를 향상시킬 수 있다.
선택적인 구현예에서, 획득 유닛(1002)은 구체적으로, 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행하고, 타깃 프레임 이미지에서의 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 획득하도록 구성된다.
본 실시예에서, 획득 유닛(1002)은 구체적으로, 카메라에 의해 캡처된 이전 프레임 이미지가 유효 프레임 이미지인 경우에, 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행하도록 구성된다.
상기 이미지 처리 장치는,
이전 프레임 이미지가 유효 프레임 이미지가 아닌 경우에, 타깃 프레임 이미지 및 하나 이상의 이미지 특징점의 특징 정보를 저장하도록 구성된 저장 유닛(1006)을 더 포함할 수 있으며, 여기서 이미지 특징점은 광 흐름 추적을 수행하기 위해 사용되는 광 흐름 이미지 특징점으로서 저장된다.
선택적인 구현예에서, 상기 이미지 처리 장치는,
타깃 프레임 이미지가 유효 프레임 이미지가 아닌 경우에, 현재 저장되는 유효 프레임 이미지 및 유효 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보를 삭제하도록 구성된 삭제 유닛(1007)을 더 포함할 수 있다.
특징 정보는 이미지 특징점의 화소 색상 정보 또는 휘도 정보를 포함한다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지에서의 이미지 특징점과 이전 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 이미지에서의 변위 거리는 이전 프레임 이미지 및 타깃 프레임 이미지가 유효 프레임 이미지인 경우에 계산된다. 다시 말해, 초기화된 프레임 이미지가 유효 프레임 이미지인 경우, 후속 작업이 수행되어, 광 흐름 추적의 효율을 효과적으로 향상시키고, 변위 거리의 계산 정확도를 향상시킬 수 있다. 따라서, 단말기에 의한 타깃 프레임 이미지를 출력하는 효율이 향상되고, 사용자 만족도가 향상된다.
구체적으로, 도 10에 도시된 이미지 처리 장치에 기초하여, 도 11a에 도시된 바와 같이, 결정 유닛(1004)은 구체적으로,
이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 계산하도록 구성된 제1 계산 서브유닛(1041); 및
평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하도록 구성된 제1 결정 서브유닛(1042)을 포함한다.
제1 결정 서브유닛(1042)은 구체적으로, 카메라에 의해 캡처되고 타깃 프레임 이미지를 포함하는 연속적인 다중 프레임 이미지 중의, 각각의 프레임 이미지에서의 광 흐름 이미지 특징점과 다음 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 각각 계산하고, 연속적인 다중 프레임 이미지 중의 매 두 개의 인접한 프레임 이미지 사이의 모든 평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하도록 구성된다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처되었는지를 효과적으로 결정될 수 있어, 이미지 처리 장치의 이미징 효율이 향상되고, 흐릿한 이미징의 발생이 회피된다.
선택적인 구현예에서, 도 11b에 도시된 바와 같이, 결정 유닛(1004)은 구체적으로,
이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 계산하도록 구성된 제2 계산 서브유닛(1043) - 여기서 제2 계산 서브유닛(1043)은 추가로, 평균 변위 거리, 및 타깃 프레임 이미지와 이전 프레임 이미지 사이의 촬영 시간 간격에 따라, 타깃 프레임 이미지와 이전 프레임 이미지 사이의 카메라의 촬영 변위 속도를 계산하도록 구성됨 -;
카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하도록 구성된 제2 결정 서브유닛(1044)을 더 포함한다.
제2 결정 서브유닛(1044)은 구체적으로, 카메라에 의해 캡처되고 타깃 프레임 이미지를 포함하는 연속적인 다중 프레임 이미지 중의, 각각의 프레임 이미지에서의 광 흐름 이미지 특징점과 다음 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 각각 계산하고; 연속적인 다중 프레임 이미지 중의 매 두 개의 인접한 프레임 이미지 사이의 평균 변위 거리 및 촬영 시간 간격에 따라, 매 두 개의 인접한 프레임 이미지 사이의 카메라의 촬영 변위 속도를 계산하고; 매 두 개의 인접한 프레임 이미지 사이의 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하도록 구성된다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처되었는지를 효과적으로 결정될 수 있어서, 이미지 처리 장치의 이미징 효율이 향상되고, 흐릿한 이미징의 발생이 회피된다.
선택적인 구현예에서, 획득 유닛(1002)은 추가로 타깃 프레임 이미지로부터 추출된 이미지 특징점의 수량을 획득하도록 구성된다.
결정 유닛(1004)은 추가로, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달한 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하도록 구성된다.
이미지 특징점 주위의 인접한 화소점에서, 모든 인접한 화소점에 대한, 화소 특징이 이미지 특징점의 특징 정보와 상이한 차분 화소점의 비율은 비율 임계 값에 도달한다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지가 유효 프레임 이미지인지의 여부는 이미지 특징점의 수량을 사용하여 결정되므로, 타깃 프레임 이미지가 유효 프레임 이미지인 경우, 후속 동작 수행된다. 따라서, 이미지 처리 장치의 이미지 처리 효율이 향상되고, 이미지의 이미징 효율이 향상된다.
선택적인 구현예에서, 상기 이미지 처리 장치는,
추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에, 안내 정보를 송신하도록 구서된 제1 송신 유닛(1008)을 더 포함하며, 여기서 안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
본 출원의 본 실시예를 구현함으로써, 단말기와 사용자 사이의 상호작용이 구현될 수 있다. 따라서, 단말기에 의해 획득된 타깃 프레임 이미지가 요건을 충족하지 않는 경우, 사용자는 관련 작업을 수행하도록 안내되고, 이에 의해 사용자에게 보다 직관적인 안내 작업을 제공하고, 사용자 만족도를 향상시킨다.
선택적인 구현예에서, 계산 유닛(1003)은 추가로, 타깃 프레임 이미지의 이미지 해상도를 계산하도록 구성된다.
결정 유닛(1004)은 추가로, 타깃 프레임 이미지의 해상도가 해상도 임게 값에 도달한 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하도록 구성된다.
획득 유닛(1002)은 추가로, 타깃 프레임 이미지로부터 추출된 이미지 특징점의 수량을 획득하도록 구성된다.
결정 유닛(1004)은 구체적으로, 계산 유닛을 사용하여, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에 타깃 프레임 이미지의 이미지 해상도를 계산하고, 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달한 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하도록 구성된다.
구체적으로, 계산 유닛(1003)은 타깃 프레임 이미지의 이미지 기울기 값을 계산하고, 이미지 기울기 값에 따라 타깃 프레임 이미지의 이미지 해상도를 결정하도록 구성된다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지가 유효 프레임 이미지인지의 여부가 타깃 프레임 이미지의 해상도를 사용하여 결정되므로, 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 후속 작업이 수행된다. 따라서, 이미지 처리 장치의 이미지 처리 효율이 향상되고, 이미지의 이미징 효율이 향상된다.
선택적인 구현예에서, 결정 유닛(1004)은 추가로, 계산 유닛을 사용하여, 타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 타깃 프레임 이미지의 중심 위치를 계산하고, 중심 위치가 타깃 프레임 이미지의 중앙 영역에 있는 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하도록 구성된다. 결정 유닛(1004)이 중심 위치를 계산하는 것은 구체적으로, 타깃 프레임 이미지에서의 복수의 그리드 서브영역을 결정하고; 타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 각각의 이미지 특징점이 위치하는 그리드 서브영역을 결정하고; 복수의 그리드 서브영역 각각의 이미지 특징점의 수량에 따라 타깃 프레임 이미지의 중심 위치를 계산하는 것을 포함한다.
본 출원의 본 실시예를 구현함으로써, 타깃 프레임 이미지가 유효 프레임 이미지인지의 여부는 중심 위치의 분포를 통해 결정되므로, 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 후속 동작이 수행된다. 따라서, 이미지 처리 장치의 이미지 처리 효율이 향상되고, 이미지의 촬상 효율이 향상된다.
선택적인 구현예에서, 상기 이미지 처리 장치는,
중심 위치가 타깃 프레임 이미지의 중앙 영역에 없는 경우에 안내 정보를 송신하도록 구성된 제2 송신 유닛(1009)을 더 포함하며, 여기서 안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
본 출원의 본 실시예를 구현함으로써, 단말기와 사용자 사이의 상호 작용이 구현될 수 있다. 따라서, 단말기에 의해 획득되는 타깃 프레임 이미지가 요건을 충족하지 않는 경우, 사용자는 관련 동작을 수행하도록 안내되고, 이에 의해 사용자에게 보다 직관적인 안내 작업을 제공하고, 사용자 만족도를 향상시킨다.
선택적인 구현예에서, 출력 유닛(1005)은 구체적으로 타깃 프레임 이미지를 서버에 제출하도록 구성된다.
본 출원의 본 실시예를 구현함으로써, 한편으로, 서버는 타깃 프레임 이미지를 효과적으로 인식할 수 있어, 서버의 이미지 인식 효율을 향상시키고; 다른 한편으로, 단말기는 전술한 조건을 충족시키는 프레임 이미지를 서버에 업로드할 수 있어, 로딩될 프레임의 수량을 효과적으로 감소시키고, 셀룰러 네트워크 데이터를 절약할 수 있다.
구체적 구현 시에, 본 출원의 본 실시예에서 설명한 이미지 처리 장치에서의 유닛의 구체적인 구현에 대해서는, 전술한 실시예의 구체적인 구현을 참조할 수 있다. 세부 사항은 여기서 설명하지 않는다.
이미지 처리 장치는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 컴퓨터 프로그램은 도 12에 도시된 단말기에서 실행될 수 있다. 단말기의 저장 매체는, 도 10에 도시된 추출 유닛(1001), 획득 유닛(1002), 계산 유닛(1003), 결정 유닛(1004) 및 출력 유닛(1005)과 같은 이미지 처리 장치를 형성하는 프로그램 유닛을 저장할 수 있다. 프로그램 유닛으로 형성된 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 프로세서로 하여금, 본 출원의 실시예에서의 이미지 처리 방법에서의 작업을 수행하게 한다.
도 12는 본 출원의 일 실시예에 따른 단말기의 개략 구성도이다. 도 12에 도시된 바와 같이, 단말기는,
카메라에 의해 캡처된 프레임 이미지를 저장하고, 프로그램 명령어를 저장하도록 구성된 저장 매체(1201);
프로그램 명령어를 실행하도록 구성된 프로세서(1202)를 포함하며, 프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금,
카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출하는 작업;
타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 작업;
이전 프레임 이미지에서의 광 흐름 이미지 특징점과 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산하는 작업; 및
변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 타깃 프레임 이미지를 출력하는 작업을 수행하게 한다.
구체적으로, 프로세서가 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 하나 이상의 이미지 특징점 중에서, 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 작업을 수행하는 경우, 프로그램 명령어는 프로세서로 하여금,
이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행하고, 타깃 프레임 이미지에서의 하나 이상의 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 획득하는 작업을 수행하게 한다.
본 실시예에서, 프로그램 명령어는, 프로세서에 의해 실행될 때, 프로세서로 하여금,
카메라에 의해 캡처된 이전 프레임 이미지가 유효 프레임 이미지인 경우에, 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 광 흐름 이미지 특징점에 대해 광 흐름 추적을 수행하는 작업; 및 이전 프레임 이미지가 유효 프레임 이미지가 아닌 경우에, 타깃 프레임 이미지 및 하나 이상의 이미지 특징점의 특징 정보를 저장하는 작업 - 여기서 이미지 특징점은 광 흐름 추적을 수행하기 위해 사용되는 광 흐름 이미지 특징점으로서 저장됨 -을 추가로 수행하게 한다.
선택적인 구현예에서, 프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금,
타깃 프레임 이미지가 유효 프레임 이미지가 아닌 경우에, 현재 저장되는 유효 프레임 이미지 및 유효 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보를 삭제하는 작업을 추가로 수행하게 한다.
구체적으로, 특징 정보는 이미지 특징점의 화소 색상 정보 또는 휘도 정보를 포함한다.
선택적인 구현예에서, 프로세서가 변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하는 경우, 프로그램 명령어는 프로세서로 하여금 구체적으로, ,
이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 계산하는 작업; 및
평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로세서가 평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하는 경우에, 프로그램 명령어는 프로세서로 하여금 구체적으로,
카메라에 의해 캡처되고 타깃 프레임 이미지를 포함하는 연속적인 다중 프레임 이미지 중의, 각각의 프레임 이미지에서의 광 흐름 이미지 특징점과 다음 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 각각 계산하고, 연속적인 다중 프레임 이미지 중의 매 두 개의 인접한 프레임 이미지 사이의 모든 평균 변위 거리가 거리 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로세서가 변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하는 경우, 프로그램 명령어는 프로세서로 하여금 구체적으로,
이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 계산하는 작업;
평균 변위 거리, 및 타깃 프레임 이미지와 이전 프레임 이미지 사이의 촬영 시간 간격에 따라, 타깃 프레임 이미지와 이전 프레임 이미지 사이의 카메라의 촬영 변위 속도를 계산하는 작업; 및
카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로세서가 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하는 경우, 프로그램 명령어는 프로세서로 하여금 구체적으로,
카메라에 의해 캡처되고 타깃 프레임 이미지를 포함하는 연속적인 다중 프레임 이미지 중의, 각각의 프레임 이미지에서의 광 흐름 이미지 특징점과 다음 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 평균 변위 거리를 각각 계산하는 작업;
연속적인 다중 프레임 이미지 중의 매 두 개의 인접한 프레임 이미지 사이의 평균 변위 거리 및 촬영 시간 간격에 따라, 매 두 개의 인접한 프레임 이미지 사이의 카메라의 촬영 변위 속도를 계산하는 작업; 및
매 두 개의 인접한 프레임 이미지 사이의 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로그램 명령어는 프로세서에 의해 실행될 때 프로세서로 하여금 추가로,
타깃 프레임 이미지로부터 추출되는 이미지 특징점의 수량을 획득하고, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하는 경우에, 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 작업을 수행하게 한다.
이미지 특징점 주위의 인접한 화소점에서, 모든 인접한 화소점에 대한, 화소 특징이 이미지 특징점의 특징 정보와 상이한 차분 화소점의 비율은 비율 임계 값에 도달한다.
선택적인 구현예에서, 단말기는,
프레임 이미지를 캡처하도록 구성된 카메라(1203); 및
사용자와 상호작용하도록 구성된 사용자 인터페이스(1204)를 더 포함한다.
프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금 추가로,
추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에, 안내 정보를 송신하는 작업을 수행하게 하며, 여기서 안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
선택적인 구현예에서, 프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금 추가로,
타깃 프레임 이미지의 이미지 해상도를 계산하고, 타깃 프레임 이미지의 이미지 해상도가 해상도 임계 값에 도달한 경우에, 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금 추가로,
타깃 프레임 이미지로부터 추출되는 이미지 특징점의 수량을 획득하고, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에 타깃 프레임 이미지의 이미지 해상도를 계산하고, 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달한 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로세서가 타깃 프레임 이미지의 이미지 해상도를 결정하는 작업을 수행하는 경우, 프로그램 명령어는 프로세서로 하여금 구체적으로,
타깃 프레임 이미지의 이미지 기울기 값을 계산하고, 이미지 기울기 값에 따라 타깃 프레임 이미지의 이미지 해상도를 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금 추가로,
타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 타깃 프레임 이미지의 중심 위치를 계산하고, 중심 위치가 타깃 프레임 이미지의 중앙 영역에 있는 경우에 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로세서가 타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 타깃 프레임 이미지의 중심 위치를 계산하는 작업을 수행하는 경우, 프로그램 명령어는 프로세서로 하여금 구체적으로,
타깃 프레임 이미지에서의 복수의 그리드 서브영역을 결정하는 작업;
타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 각각의 이미지 특징점이 위치하는 그리드 서브영역을 결정하는 작업; 및
복수의 그리드 서브영역 각각의 이미지 특징점의 수량에 따라 타깃 프레임 이미지의 중심 위치를 계산하는 작업을 수행하게 한다.
선택적인 구현예에서, 프로그램 명령어는 프로세서에 의해 실행될 때, 프로세서로 하여금 추가로,
중심 위치가 타깃 프레임 이미지의 중앙 영역에 위치하지 않는 경우에 안내 정보를 송신하는 작업을 수행하게 하며, 여기서 안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용된다.
선택적인 구현예에서, 단말기는,
외부 기기와 통신하도록 구성된 통신 인터페이스(1206)를 더 포함한다.
프로세서가 타깃 프레임 이미지를 출력하는 작업을 수행하는 경우, 프로그램 명령어는 프로세서로 하여금 구체적으로,
통신 인터페이스를 통해 서버에 타깃 프레임 이미지를 제출하는 작업을 수행하게 한다.
저장 매체(1201), 프로세서(1202), 카메라(1203), 사용자 인터페이스(1204) 및 통신 인터페이스(1205)는 버스(1206)를 사용하여 연결된다.
본 출원의 본 실시예를 구현함으로써, 단말기는 이미징 효과가 나쁜 이미지를 출력하는 것을 방지할 수 있어, 사용자에게 우수한 이미징 효과를 갖는 이미지를 제공하고, 단말기의 이미지 처리 효율을 향상시키고, 사용자 만족도를 향상시킨다.
구체적인 구현 시에, 본 출원의 본 실시예에서 설명한 프로세서(1202), 카메라(1203), 사용자 인터페이스(1204) 및 통신 인터페이스(1205)는 본 출원의 실시예에 따른 전술한 실시예에서 설명한 구현예를 수행할 수 있거나, 본 출원의 본 실시예에서 설명한 단말기의 관련 기능을 수행할 수 있다. 세부 사항은 여기서 설명하지 않는다.
본 출원의 다른 실시예는 저장 매체를 제공한다. 저장 매체는 복수의 프로그램 명령어를 저장한다. 프로그램 명령어는 프로세서에 의해 실행될 때 프로세서로 하여금, 카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점을 추출하는 작업; 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 카메라에 의해 캡처된 이전 프레임 이미지에서의 이미지 특징점을 결정하는 작업; 타깃 프레임 이미지에서의 이미지 특징점과 이전 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산하는 작업; 및 변위 거리에 따라 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 타깃 프레임 이미지를 출력하는 작업을 수행하게 한다.
저장 매체는 전술한 실시예 중 어느 하나에서 설명된 단말기의 임의의 내부 저장 유닛, 예를 들어 하드 디스크 또는 내부 메모리일 수 있다. 저장 매체는 대안적으로 단말기의 외부 저장 기기, 예를 들어 착탈식 하드 디스크, 스마트 메모리 카드(smart memory card, SMC), 보안 디지털(secure digital, SD) 카드 또는 단말기에 장착된 플래시 카드일 수 있다. 또한, 대안적으로, 저장 매체는 단말기의 내부 저장 유닛 및 외부 저장 기기 모두를 포함할 수 있다. 저장 매체는 단말기에 필요한 프로그램 명령어와 기타 프로그램 및 데이터를 저장하도록 구성된다. 저장 매체는 또한, 출력된 데이터 또는 출력될 데이터를 일시적으로 저장하도록 구성될 수 있다.
당업자는 실시예에서의 방법의 프로세스의 전부 또는 일부가 관련 하드웨어를 명령하는 컴퓨터 프로그램으로 구현될 수 있음을 이해할 수 있다. 프로그램은 컴퓨터로 판독 가능한 비휘발성 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 실시예에서의 방법의 프로세스가 포함될 수 있다. 본 출원에서 제공되는 실시예에서 사용되는 메모리, 저장장치, 데이터베이스 또는 다른 매체에 대한 모든 언급은 비휘발성 및/또는 휘발성 메모리를 포함할 수 있다. 비휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrical Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 또는 플래시 메모리를 포함할 수 있다. 휘발성 메모리는 RAM(Random Access Memory ) 또는 외부 고속 캐시 메모리를 포함할 수 있다. 제한이 아닌 설명으로서, RAM은 정적 RAM(static RAM, SRAM), 동적 RAM(dynamic RAM, DRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 이중 데이터 레이트 SDRAM(double data rate SDRAM, DDR SDRAM), 개선된 SDRAM(enhanced SDRAM, ESDRAM), SLDRAM(Synchlink DRAM), 램버스 다이렉트 RAM(rambus direct RAM, RDRAM), 다이렉트 램버스 동적 RAM(direct rambus dynamic, DRDRAM) 및 램버스 동적 RAM(rambus dynamic RAM, RDRAM)과 같은 여러 형태를 가질 수 있다.
전술한 실시예의 기술적 특징은 무작위로 조합될 수 있다. 간결한 설명을 위해, 실시예에서는 기술적 특징의 모든 가능한 조합을 설명하지 않았다. 그러나, 기술적 특징들의 조합은 서로 충돌하지 않는 한, 본 명세서에 기술된 범위 내에 속하는 것으로 간주되어야 한다.
구체적으로 상세하게 설명되어 있는 전술한 실시예는 단지 본 출원의 몇몇 구현예를 기술하고 있을 뿐이므로, 본 개시의 특허 범위를 한정하는 것으로 해석될 수 없다. 당업자는 본 출원의 사상을 벗어나지 않고 추가로 변형 및 개선을 수행할 수 있으며, 이러한 변형 및 개선은 본 출원의 보호 범위 내에 속해야 한다. 따라서, 본 출원의 보호 범위는 첨부된 청구 범위의 보호 범위에 따라야 한다.

Claims (21)

  1. 단말기에서 수행되는 이미지 처리 방법으로서,
    카메라에 의해 캡처된 타깃 프레임 이미지로부터 하나 이상의 이미지 특징점(image feature point)을 추출하는 단계;
    상기 타깃 프레임 이미지가 유효 프레임 이미지인 경우에, 상기 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점(optical flow image feature point)의 특징 정보를 획득하고, 상기 하나 이상의 이미지 특징점 중에서, 상기 하나 이상의 이미지 특징점의 특징 정보에 따라 상기 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 단계;
    상기 이전 프레임 이미지에서의 광 흐름 이미지 특징점과 상기 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 프레임 이미지에서의 변위 거리를 계산하는 단계; 및
    상기 변위 거리에 따라 상기 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것이라는 결정에 응답하여 상기 타깃 프레임 이미지를 출력하는 단계
    를 포함하고,
    상기 변위 거리에 따라 상기 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것은,
    상기 이전 프레임 이미지에서의 광 흐름 이미지 특징점 중 적어도 일부와 상기 타깃 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 상기 프레임 이미지에서의 평균 변위 거리를 계산하고;
    상기 평균 변위 거리, 및 상기 타깃 프레임 이미지와 상기 이전 프레임 이미지 사이의 촬영 시간 간격에 따라, 상기 타깃 프레임 이미지와 상기 이전 프레임 이미지 사이의 상기 카메라의 촬영 변위 속도를 계산하고;
    상기 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 상기 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것을 포함하는, 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하고, 상기 하나 이상의 이미지 특징점 중에서, 상기 하나 이상의 이미지 특징점의 특징 정보에 따라 상기 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 결정하는 단계는,
    상기 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 상기 광 흐름 이미지 특징점에 대해 광 흐름 추적(optical flow tracking)을 수행하고, 상기 타깃 프레임 이미지에서의 하나 이상의 이미지 특징점의 특징 정보에 따라 상기 광 흐름 이미지 특징점에 대응하는 이미지 특징점을 획득하는 단계를 포함하는, 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 이미지 처리 방법은,
    상기 카메라에 의해 캡처된 이전 프레임 이미지가 유효 프레임 이미지인 경우에, 상기 이전 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보에 따라 상기 광 흐름 이미지 특징점에 대해 상기 광 흐름 추적을 수행하는 단계; 및 상기 이전 프레임 이미지가 유효 프레임 이미지가 아닌 경우에, 상기 타깃 프레임 이미지 및 상기 하나 이상의 이미지 특징점의 특징 정보를 저장하는 단계 - 상기 이미지 특징점은 상기 광 흐름 추적을 수행하기 위해 사용되는 광 흐름 이미지 특징점으로서 저장됨 -를 더 포함하는 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 이미지 처리 방법은,
    상기 타깃 프레임 이미지가 유효 프레임 이미지가 아닌 경우에, 현재 저장되는 유효 프레임 이미지 및 상기 유효 프레임 이미지에서의 광 흐름 이미지 특징점의 특징 정보를 삭제하는 단계를 더 포함하는 이미지 처리 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 특징 정보는 상기 이미지 특징점의 화소 색상 정보 또는 휘도 정보를 포함하는, 이미지 처리 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 카메라의 촬영 변위 속도가 속도 임계 값보다 작은 경우에, 상기 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것은,
    상기 카메라에 의해 캡처되고 상기 타깃 프레임 이미지를 포함하는 연속적인 다중 프레임 이미지 중의, 각각의 프레임 이미지에서의 광 흐름 이미지 특징점과 다음 프레임 이미지에서의 대응하는 이미지 특징점 사이의, 상기 프레임 이미지에서의 평균 변위 거리를 각각 계산하고;
    상기 연속적인 다중 프레임 이미지 중의 매 두 개의 인접한 프레임 이미지 사이의 평균 변위 거리 및 촬영 시간 간격에 따라, 매 두 개의 인접한 프레임 이미지 사이의 상기 카메라의 촬영 변위 속도를 계산하고;
    매 두 개의 인접한 프레임 이미지 사이의 상기 카메라의 촬영 변위 속도가 상기 속도 임계 값보다 작은 경우에, 상기 타깃 프레임 이미지가 움직임이 없는 상태에서 캡처된 것으로 결정하는 것을 포함하는, 이미지 처리 방법.
  10. 제1항에 있어서,
    상기 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하기 전에, 상기 이미지 처리 방법은,
    상기 타깃 프레임 이미지로부터 추출되는 이미지 특징점의 수량을 획득하고, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하는 경우에, 상기 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 단계를 더 포함하는 이미지 처리 방법.
  11. 제10항에 있어서,
    상기 이미지 특징점 주위의 인접한 화소점에서, 모든 상기 인접한 화소점에 대한, 화소 특징이 상기 이미지 특징점의 특징 정보와 상이한 차분 화소점의 비율은 비율 임계 값에 도달하는, 이미지 처리 방법.
  12. 제1항에 있어서,
    상기 이미지 처리 방법은,
    상기 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하기 전에, 상기 타깃 프레임 이미지의 이미지 해상도를 계산하고, 상기 타깃 프레임 이미지의 이미지 해상도가 해상도 임계 값에 도달한 경우에, 상기 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 단계를 더 포함하는 이미지 처리 방법.
  13. 제12항에 있어서,
    상기 이미지 처리 방법은,
    상기 타깃 프레임 이미지의 이미지 해상도를 계산하기 전에, 상기 타깃 프레임 이미지로부터 추출되는 이미지 특징점의 수량을 획득하고, 추출된 이미지 특징점의 수량이 수량 임계 값에 도달하지 않은 경우에 상기 타깃 프레임 이미지의 이미지 해상도를 계산하고, 상기 타깃 프레임 이미지의 해상도가 해상도 임계 값에 도달한 경우에 상기 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 단계를 더 포함하는 이미지 처리 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 타깃 프레임 이미지의 이미지 해상도를 계산하는 것은,
    상기 타깃 프레임 이미지의 이미지 기울기 값을 계산하고, 상기 이미지 기울기 값에 따라 상기 타깃 프레임 이미지의 이미지 해상도를 결정하는 것을 포함하는, 이미지 처리 방법.
  15. 제1항에 있어서,
    상기 이미지 처리 방법은,
    상기 카메라에 의해 캡처된 이전 프레임 이미지에서의 하나 이상의 광 흐름 이미지 특징점의 특징 정보를 획득하기 전에, 상기 타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 상기 타깃 프레임 이미지의 중심 위치를 계산하고, 상기 중심 위치가 상기 타깃 프레임 이미지의 중앙 영역에 있는 경우에 상기 타깃 프레임 이미지가 유효 프레임 이미지인 것으로 결정하는 단계; 및
    상기 중심 위치가 상기 타깃 프레임 이미지의 중앙 영역에 없는 경우에 안내 정보를 송신하는 단계 - 상기 안내 정보는 사용자에게 카메라 촬영 위치를 조정하도록 유도하기 위해 사용됨 -를 더 포함하는 이미지 처리 방법.
  16. 제15항에 있어서,
    상기 타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 상기 타깃 프레임 이미지의 중심 위치를 계산하는 것은,
    상기 타깃 프레임 이미지에서의 복수의 그리드 서브영역을 결정하고;
    상기 타깃 프레임 이미지에서의 추출된 이미지 특징점의 위치에 따라 각각의 이미지 특징점이 위치하는 그리드 서브영역을 결정하고;
    상기 복수의 그리드 서브영역 각각의 이미지 특징점의 수량에 따라 상기 타깃 프레임 이미지의 중심 위치를 계산하는 것을 포함하는, 이미지 처리 방법.
  17. 제1항에 있어서,
    상기 타깃 프레임 이미지를 출력하는 단계는,
    상기 타깃 프레임 이미지를 서버에 제출하는 단계를 포함하는, 이미지 처리 방법.
  18. 이미지 처리를 위한 단말기로서,
    카메라에 의해 캡처된 프레임 이미지를 저장하고, 프로그램 명령어를 저장하도록 구성된 저장 매체; 및
    상기 프로그램 명령어를 실행하도록 구성된 프로세서를 포함하고,
    상기 프로그램 명령어는 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 제1항 내지 제4항, 제9항 내지 제13항, 제15항 내지 제17항 중 어느 한 항에 따른 이미지 처리 방법을 수행하게 하는,
    단말기.
  19. 복수의 프로그램 명령어를 저장하는 저장 매체로서,
    상기 프로그램 명령어는 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 제1항 내지 제4항, 제9항 내지 제13항, 제15항 내지 제17항 중 어느 한 항에 따른 이미지 처리 방법을 수행하게 하는,
    저장 매체.
  20. 삭제
  21. 삭제
KR1020207008320A 2017-09-04 2018-08-31 이미지 처리 방법, 단말기 및 저장 매체 KR102348636B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710787492.7A CN107610108B (zh) 2017-09-04 2017-09-04 图像处理方法和装置
CN201710787492.7 2017-09-04
PCT/CN2018/103487 WO2019042404A1 (zh) 2017-09-04 2018-08-31 一种图像处理方法、终端和存储介质

Publications (2)

Publication Number Publication Date
KR20200044074A KR20200044074A (ko) 2020-04-28
KR102348636B1 true KR102348636B1 (ko) 2022-01-06

Family

ID=61056704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008320A KR102348636B1 (ko) 2017-09-04 2018-08-31 이미지 처리 방법, 단말기 및 저장 매체

Country Status (6)

Country Link
US (1) US11145070B2 (ko)
EP (1) EP3657436A4 (ko)
JP (1) JP7098100B2 (ko)
KR (1) KR102348636B1 (ko)
CN (1) CN107610108B (ko)
WO (1) WO2019042404A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063253A1 (ko) * 2022-09-23 2024-03-28 삼성전자주식회사 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610108B (zh) 2017-09-04 2019-04-26 腾讯科技（深圳）有限公司 图像处理方法和装置
CN111711744B (zh) * 2019-03-18 2021-10-15 北京沃东天骏信息技术有限公司 一种摄像头和图像处理方法
CN113408352A (zh) * 2019-05-28 2021-09-17 浙江大华技术股份有限公司 行人异常行为检测方法、图像处理装置及存储装置
CN112150548B (zh) * 2019-06-28 2024-03-29 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110855891A (zh) * 2019-11-26 2020-02-28 爱菲力斯(深圳)科技有限公司 基于人体姿态调整摄像角度的方法、装置和机器人
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
CN111314626B (zh) * 2020-02-24 2021-12-07 北京字节跳动网络技术有限公司 用于处理视频的方法和装置
CN111541842A (zh) * 2020-03-09 2020-08-14 厦门世菱科技有限公司 一种大型多功能物证翻拍机及其控制方法
CN113449581A (zh) * 2020-03-24 2021-09-28 杭州海康威视数字技术股份有限公司 目标区域检测方法、装置和电子设备
CN112270737A (zh) * 2020-11-25 2021-01-26 浙江商汤科技开发有限公司 一种纹理映射方法及装置、电子设备和存储介质
KR20220147412A (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법
CN113657164A (zh) * 2021-07-15 2021-11-16 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质
CN114040107B (zh) * 2021-11-19 2024-04-16 智己汽车科技有限公司 智能汽车图像拍摄系统、方法、车辆及介质
CN116363338A (zh) * 2021-12-28 2023-06-30 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN116965751A (zh) * 2022-11-28 2023-10-31 开立生物医疗科技(武汉)有限公司 内窥镜移动速度检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
US20110234818A1 (en) 2010-03-23 2011-09-29 Nikon Corporation Image processing device and computer-readable computer program product containing image processing program
CN102509285A (zh) * 2011-09-28 2012-06-20 宇龙计算机通信科技(深圳)有限公司 一种拍摄出模糊图片的处理方法、系统及拍摄设备
CN106713702A (zh) * 2017-01-19 2017-05-24 博康智能信息技术有限公司 一种视频图像抖动和摄像装置抖动判断方法及装置
CN106851094A (zh) * 2016-12-30 2017-06-13 纳恩博（北京）科技有限公司 一种信息处理方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4668220B2 (ja) * 2007-02-20 2011-04-13 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN102043945B (zh) * 2010-11-23 2013-01-30 聊城大学 基于车辆实时跟踪和二进指数分类车牌字符识别的方法
JP5935308B2 (ja) 2011-12-13 2016-06-15 富士通株式会社 利用者検知装置、方法及びプログラム
CN102682442B (zh) * 2012-04-28 2015-02-11 东南大学 基于光流场的运动目标超分辨率图像重建方法
CN103093198B (zh) * 2013-01-15 2016-06-29 信帧电子技术（北京）有限公司 一种人群密度监测方法及装置
JP2016081252A (ja) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN104917963A (zh) * 2015-05-25 2015-09-16 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN105007421B (zh) * 2015-07-14 2019-02-12 Oppo广东移动通信有限公司 一种图片拍摄方法及移动终端
CN105184822B (zh) * 2015-09-29 2017-12-29 中国兵器工业计算机应用技术研究所 一种目标跟踪模板更新方法
CN107662872B (zh) * 2016-07-29 2021-03-12 奥的斯电梯公司 乘客运输机的监测系统及其监测方法
CN107610108B (zh) * 2017-09-04 2019-04-26 腾讯科技（深圳）有限公司 图像处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527040A (zh) * 2008-03-05 2009-09-09 深圳华为通信技术有限公司 图像处理方法及系统
US20110234818A1 (en) 2010-03-23 2011-09-29 Nikon Corporation Image processing device and computer-readable computer program product containing image processing program
CN102509285A (zh) * 2011-09-28 2012-06-20 宇龙计算机通信科技(深圳)有限公司 一种拍摄出模糊图片的处理方法、系统及拍摄设备
CN106851094A (zh) * 2016-12-30 2017-06-13 纳恩博（北京）科技有限公司 一种信息处理方法和装置
CN106713702A (zh) * 2017-01-19 2017-05-24 博康智能信息技术有限公司 一种视频图像抖动和摄像装置抖动判断方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063253A1 (ko) * 2022-09-23 2024-03-28 삼성전자주식회사 카메라로부터 획득한 이미지 내에 포함된 복수의 영역들 각각의 해상도들을 제어하기 위한 전자 장치 및 그 방법

Also Published As

Publication number Publication date
CN107610108A (zh) 2018-01-19
CN107610108B (zh) 2019-04-26
EP3657436A1 (en) 2020-05-27
KR20200044074A (ko) 2020-04-28
WO2019042404A1 (zh) 2019-03-07
JP2020532916A (ja) 2020-11-12
EP3657436A4 (en) 2021-01-27
JP7098100B2 (ja) 2022-07-11
US11145070B2 (en) 2021-10-12
US20200184655A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
KR102348636B1 (ko) 이미지 처리 방법, 단말기 및 저장 매체
US9275281B2 (en) Mobile image capture, processing, and electronic form generation
US9584729B2 (en) Systems and methods for improving video captured using mobile devices
US20170111532A1 (en) Real-time processing of video streams captured using mobile devices
CN108492352B (zh) 增强现实的实现方法、装置、系统、计算机设备及存储介质
US9275448B2 (en) Flash/no-flash imaging for binarization
US11727707B2 (en) Automatic image capture system based on a determination and verification of a physical object size in a captured image
US10122912B2 (en) Device and method for detecting regions in an image
JP5832656B2 (ja) 画像中のテキストの検出を容易にする方法及び装置
CN111860346A (zh) 动态手势识别方法、装置、电子设备及存储介质
US20150112853A1 (en) Online loan application using image capture at a client device
US10373329B2 (en) Information processing apparatus, information processing method and storage medium for determining an image to be subjected to a character recognition processing
US9076207B1 (en) Image processing method, system and electronic device
JP6171660B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP2012203823A (ja) 画像認識装置
US11647294B2 (en) Panoramic video data process
KR20140026078A (ko) 객체 추출 장치 및 방법
WO2022068551A1 (zh) 裁剪视频的方法、装置、设备以及存储介质
JP2019135618A (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
KR102071975B1 (ko) 광학적 문자 인식을 사용하는 카드 결제 장치 및 방법
CN112036342A (zh) 单证抓拍方法、设备及计算机存储介质
CN114143442B (zh) 图像虚化方法、计算机设备、计算机可读存储介质
KR20220154556A (ko) 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법
WO2017015401A1 (en) Mobile image capture, processing, and electronic form generation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant