KR20150065717A - 비디오 안정화를 지능적으로 불능시킴으로써 모션 아티팩트들을 방지하는 방법 - Google Patents

비디오 안정화를 지능적으로 불능시킴으로써 모션 아티팩트들을 방지하는 방법 Download PDF

Info

Publication number
KR20150065717A
KR20150065717A KR1020157009042A KR20157009042A KR20150065717A KR 20150065717 A KR20150065717 A KR 20150065717A KR 1020157009042 A KR1020157009042 A KR 1020157009042A KR 20157009042 A KR20157009042 A KR 20157009042A KR 20150065717 A KR20150065717 A KR 20150065717A
Authority
KR
South Korea
Prior art keywords
motion
stabilization
video
camera
motion detector
Prior art date
Application number
KR1020157009042A
Other languages
English (en)
Other versions
KR102147300B1 (ko
Inventor
도이나 페트레스쿠
빌 라이언
Original Assignee
모토로라 모빌리티 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/625,347 external-priority patent/US8941743B2/en
Application filed by 모토로라 모빌리티 엘엘씨 filed Critical 모토로라 모빌리티 엘엘씨
Publication of KR20150065717A publication Critical patent/KR20150065717A/ko
Application granted granted Critical
Publication of KR102147300B1 publication Critical patent/KR102147300B1/ko

Links

Images

Classifications

    • H04N5/23248—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H04N5/23254—
    • H04N5/23258—
    • H04N5/23267—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

디지털 비디오 안정화는 그것이 사실상 캡처된 비디오의 품질을 감소시키는 상황들에서 선택적으로 턴 오프된다. 비디오 카메라(100)는 카메라(100)의 물리적 모션을 직접 검출하기 위한 디바이스(110)를 포함한다. 모션 검출기(110)로부터의 모션 데이터는 비디오 안정화가 적절한지를 알기 위해 분석된다(206). 예를 들면, 모션 데이터가 비디오 카메라(100)가 안정된다고 표시한다면, 비디오 안정화는 비디오에 적용되지 않으며, 따라서 캡처된 비디오로 “모션 아티팩트들”을 도입하는 가능성을 방지한다. 또 다른 예에서, 모션 검출기(110)에 의해 검출(404)된 바와 같은 모션은 비디오-안정화 엔진(108)에 의해 검출(406)된 바와 같이 모션과 비교될 수 있다. 두 개의 모션들이 상당히 일치하지 않는다면(408), 비디오-안정화 엔진(108)은 대개는 카메라(100) 자체의 모션보다는 캡처된 비디오에서의 모션에 더 응답하며, 비디오 안정화는 대개 비디오에 적용되지 않아야 할 것이다.

Description

비디오 안정화를 지능적으로 불능시킴으로써 모션 아티팩트들을 방지하는 방법{PREVENTING MOTION ARTIFACTS BY INTELLIGENTLY DISABLING VIDEO STABILIZATION}
본 발명은 일반적으로 디지털-이미지 캡처에 관한 것이며, 보다 구체적으로, 디지털 비디오 안정화에 관한 것이다.
스틸 카메라(still camera) 및 비디오 카메라와 같은, 디지털 비디오-캡처 디바이스들은 더 흔한 일이 되어가고 있다. 일단 하이-엔드 전문 카메라들 상에서만 이용 가능하다면, 오늘날의 이러한 디지털 디바이스들은 스마트폰들, 태블릿 컴퓨터들, 및 다른 개인용 전자 디바이스들에서 발견된다. 디지털 카메라들은 작으며 제조하기에 비교적 저렴하고 따라서 오늘날의 개인용 전자 디바이스들에서 인기 있는 액세서리들이다.
이들 개인용 전자 디바이스들은 종종 매우 작으며 가볍기 때문에, 그것들은 사용자가 사진 또는 영상을 찍으려고 할 때 쉽게 흔들릴 수 있으며, 이러한 흔들림은 흐릿한 이미지들을 생성할 수 있다. 흔들림을 보상하기 위해, 디지털 비디오 안정화 방법들은 프레임 단위로 캡처된 이미지들을 비교하며 프레임-대-프레임 모션을 제거하기 위해 및 그에 따라 캡처된 이미지들을 덜 흐릿하게 만들기 위해 전역적 모션 보상을 적용한다.
첨부된 청구항들은 특히 본 기술들의 특징들을 설명하지만, 그것들의 목적들 및 이점들과 함께, 이들 기술들은 첨부한 도면들과 함께 취해지는 다음의 상세한 설명으로부터 가장 잘 이해될 수 있다.
도 1은 본 기술들이 실시될 수 있는 비디오 카메라를 가진 대표적인 개인용 전자 디바이스의 개략도이고;
도 2는 카메라가 고정될 때 비디오 안정화를 불능시키기 위한 대표적인 방법의 흐름도이고;
도 3a 내지 도 3c는 상이한 상황들에서의 카메라를 위해 이루어진 모션-데이터 측정들의 그래프들이며;
도 4 및 도 5는 카메라가 이동하고 있을 때 비디오 안정화를 선택적으로 적용하기 위한 방법들의 흐름도들이다.
도면들로 가면, 유사한 참조 번호들은 유사한 요소들을 나타내며, 본 발명의 기술들은 적절한 환경에서 구현되는 것으로서 예시된다. 다음의 설명은 청구항들의 실시예들에 기초하며 본 명세서에 명시적으로 설명되지 않은 대안적인 실시예들에 관하여 청구항들을 제한하는 것으로서 취해져서는 안된다.
디지털 비디오 안정화는 그것이 사실상 캡처된 비디오의 품질을 감소시키는 상황들에서 선택적으로 턴 오프된다. 비디오 카메라는 카메라(예로서, 자이로스코프, 가속도계, GPS 수신기, 또는 또 다른 카메라)의 물리적 움직임을 직접 검출하기 위한 모션 검출기 디바이스를 포함한다. 모션 검출기로부터의 모션 데이터는 비디오 안정화가 적절한지를 알기 위해 분석된다. 예를 들면, 모션 데이터가 비디오 카메라가 안정됨을 표시한다면, 비디오 안정화는 비디오에 적용되지 않으며, 따라서 캡처된 비디오로 “모션 아티팩트들(motion artifacts)”을 도입하는 가능성을 방지한다. 또 다른 예에서, 모션 검출기에 의해 검출되는 바와 같은 모션은 비디오-안정화 엔진에 의해 검출되는 바와 같은 모션과 비교될 수 있다. 두 개의 모션들이 상당히 불일치한다면, 비디오-안정화 엔진은 대개는 카메라 자체의 모션보다 캡처된 이미지들에서의 모션에 더 강하게 응답하며, 비디오 안정화는 비디오에 적용되지 않아야 할 것이다.
다양한 실시예들이 하드웨어에서 또는 비디오-캡처 시스템의 마이크로프로세서 또는 제어기 상에서 구동하는 실행 가능한 코드로서 구현될 수 있다. 그렇게 구성되는 경우에, 실행 가능한 코드는 비디오 안정화 및 물리적 모션을 결정하는 다양한 모듈들을 포함할 수 있다.
도 1은 본 발명의 측면들을 구체화할 수 있는 대표적인 개인용 전자 디바이스(100)를 도시한다. 디바이스(100)는 단지 예를 들면, 전용 카메라, 이동 전화, 개인용 디지털 보조기, 또는 태블릿 컴퓨터를 포함하는 비디오 카메라(102)를 가진 임의의 디바이스에 관한 것일 수 있다.
도 1의 비디오 카메라(102)는 이 기술분야에 공지된 바와 같이, 전체 비디오-캡처 디바이스를 나타낸다. 통상적인 비디오-캡처 디바이스(102)는 이미지 센서 및 제어 회로(도 1에서 프로세서(106)에 의해 표현되지만, 이하에서의 논의를 참조하자)를 포함한다. CMOS 또는 CCD 센서와 같은, 이 기술분야에 공지된 임의의 유형의 이미지 센서일 수 있는, 이미지 센서가 렌즈를 통해 광을 수신한다. 광은 대상에 반사되며 그 후 이미지를 형성하기 위해 이미지 센서에 의해 캡처된다. 캡처된 이미지는 하나의 디지털 프레임(104)으로서 저장된다. 일반적으로 말해서, 비디오 카메라(102)는 일정한 속도로 캡처된 이미지들의 프레임들을 생성한다. 동일한 속도로 사용자에게 디스플레이될 때, 일련의 프레임들은 비디오 클립이다. 이 기술분야에 공지된 바와 같이, 비디오-캡처 디바이스(102)는 다른 광학, 기계적, 및 전자 시스템들(가변 개구, 렌즈들, 자동-초점 엔진 등을 포함하는)을 포함할 수 있다. 개인용 전자 디바이스(100)는 또 다른 비디오 카메라(도 1에 도시되지 않음)를 포함할 수 있으며, 그것의 가능한 사용은 이하에 논의된다.
논의의 용이함을 위해, 개인용 전자 디바이스(100)는 소프트웨어-구동 프로세서(106)에 의해 완전히 제어된다고 가정된다. 그러나, 몇몇 실시예들에서, 마이크로제어기, 내장된 제어기, 또는 애플리케이션-특정 제어기(106)는 도 2, 도 4, 및 도 5를 참조하여 이하에 설명되는 바와 같이 비디오 안정화기(108)(또한 비디오-안정화 엔진으로 불리우는) 및 모션 검출기(110)를 포함하는 디바이스(100)의 특정한 측면들을 제어한다. 몇몇 실시예들에서, 제어 기능들은 소프트웨어-제어 프로세서들 및 고정-배선 제어기들 양자 모두를 포함하는 디바이스(100) 내 다수의 모듈들 중에 분배된다.
이 기술분야에 잘 공지된 바와 같이, 비디오-안정화 엔진(108)은 캡처된 프레임들(104)을 검토하며 개인용 전자 디바이스(100)의 모션을 검출하려고 시도한다. 예를 들면, 두 개의 연속적인 프레임들(104)의 픽셀-단위 비교는 제 2 프레임이 제 1 프레임과 본질적으로 동일하지만 작지만 일정한 양만큼 우측으로 변위됨을 드러낸다면, 캡처된 이미지는 우측으로 이동하지 않지만, 대신에 디바이스(100)가 좌측으로 그러한 작은 거리를 이동하는 것이 가능하다. 이것은 종종 디바이스(100)를 잡고 있는 손들이 흔들릴 때 일어난다. 상기 예를 계속하면, 종래의 동작에서, 비디오-안정화 엔진(108)은 제 2 프레임의 이미지를 다시 좌측으로 시프트함으로써 디바이스(100)의 이러한 작은 움직임을 보상하려고 시도한다. 디바이스(100)의 모션은 일련의 캡처된 프레임들(104)에서의 이미지를 이동시킴으로써 보상되었으며, 모션-보상 출력 프레임들(112)을 포함하는 결과적인 비디오에서, 이상적으로 어떤 디바이스(100)의 흔들림의 링거링(lingering) 효과들이 없다.
(덧붙여 말하자면, 개인용 전자 디바이스(100)의 작은 모션을 보상하기 위해 캡처된 이미지를 시프트하기 위해, 캡처된 프레임들(104)은 사실상 결국 디스플레이되는 비디오보다 다소 더 크다. 캡처된 프레임들(104)은 예를 들면, 이미지가 좌측으로 시프트하고 최좌측 픽셀들이 그에 따라 정상 이미지의 에지에서 사라졌다면, 이들 최좌측 픽셀들은 좌측 경계에서 여전히 캡처되며 이미지가 모션을 보상하기 위해 다시 우측으로 이동될 때 사용될 수 있도록, 픽셀들의 작은 여분의 경계를 포함한다. 이것은 모두 이 기술분야에 잘 공지되어 있다.)
모션 검출기 모듈(110)은 개인용 전자 디바이스(100)의 물리적 모션을 직접 검출한다. 다양한 공지된 하드웨어 구현들이 여기에서 가능하다. 3-축 가속도계는, 자이로스코프, 또는 GPS 수신기일 수 있는 바와 같이, 움직임을 보고할 수 있다. 몇몇 실시예들에서, 모션 검출기 모듈(110)은 이미지 센서(즉, 비디오 카메라(102), 예로서 제 2 카메라가 아닌 이미지 센서)에 기초하며, 그것은 지각된 모션에 기초하여 모션을 간접적으로 산출한다.
일반적으로 말하면, 개인용 전자 디바이스(100)는 캡처된 이미지들 및 비디오를 보기 위한 스크린, 사용자 명령어들을 수신하기 위한 및 상태 정보를 디스플레이하기 위한 인터페이스, 제어기 소프트웨어 및 캡처된 프레임들을 저장하기 위한 메모리, 및 정보를 송신 및 수신하기 위한 통신 모듈과 같은 다른 구성요소들을 포함한다. 이들 구성요소들은 이 기술분야에 잘 공지되어 있으며 본 논의에 대한 특별한 관심이 아니기 때문에, 그것들은 추가로 논의될 필요는 없다.
도 2는 도 1의 개인용 전자 디바이스(100)에 의해 사용 가능한 제 1 대표적인 방법을 도시한다. 단계(200)에서, 비디오-캡처 엔진(또는 카메라)(102)은 일련의 이미지 프레임들(104)을 캡처 및 저장한다.
(논의의 용이함을 위해, 도 2, 도 4, 및 도 5의 대표적인 방법들은 순차적으로 예시되며 논의된다는 것을 주의하자. 많은 실시예들에서, 다양한 단계들이 동시에, 가능하게는 상이한 프로세서들 및 제어기들 작업에 의해, 적어도 어느 정도까지, 독립적으로 수행된다.)
단계(202)에서, 비디오-안정화 분석의 잘 공지된 기술들은 일련의 캡처된 프레임들(104)에 적용된다. 일 실시예에서, 연속 프레임들은 비디오-안정화 엔진(108)에 의해 픽셀 단위로 비교된다. 분석이 프레임들 간 차이들이 개인용 전자 디바이스(100)의 모션에 의해, 적어도 부분적으로, 가장 잘 설명된다고 결정한다면, 하나 이상의 안정화-보상 값들이 산출된다. 비디오 안정화의 몇몇 잘 공지된 실시예들에서, 산출된 안정화-보상 값은 그것이 두 개의 연속적인 캡처된 프레임들(104) 중 두 번째에 적용된다면 “픽셀-에러” 차이들의 합을 최소화한다. 예를 들면, 좌우 모션에 대해, 안정화-보상 값은 그 스칼라 값이 검출된 모션이 나타내는 픽셀들의 수 및 그에 따라 디바이스(100)의 모션을 보상하기 위해 제 1 이미지와 매칭(적어도 대략)시키도록 제 2 이미지를 시프트하기 위한 픽셀들의 수인 벡터일 수 있다. 일반적인 경우에서, 분석은 회전들뿐만 아니라 모든 3개의 공간 차원들에서 모션을 검출할 수 있다. (단계(202)에서, 안정화-보상 값들이 산출되지만 캡처된 프레임들(104)에 적용되지 않는다는 것을 주의하자.)
많은 실시예들에서, 모션 검출기(110)는 개인용 전자 디바이스(100)의 검출된 모션들을 표현하는 모션 데이터를 끊임없이 생성한다. 다른 실시예들에서, 모션 데이터는 단지 모션이 검출되는 경우에 생성된다(즉, 업데이트된 모션 데이터가 없음은 검출된 데이터가 없음을 의미한다).
임의의 경우에, 단계(204)로부터의 현재 모션 데이터는 단계(206)에서 분석된다. 구체적으로, 현재 검출된 모션 데이터는 잡음 임계값과 비교된다. 이 기술분야에 공지된 대부분의 모션 검출기들(110)은 개인용 전자 디바이스(100)가 완전히 움직이지 않을 때조차 몇몇 정적으로 랜덤인 모션 데이터를 생성한다. 연구소 테스트들은 그것을 제자리에 잠그고 그 후 그것의 모션-데이터 출력을 판독함으로써 특정한 모션 검출기(110)에 대해 구동될 수 있다. 출력을 보는 것은 일반적으로 모션 검출기(110)의 잡음 임계치를 명확히 드러낸다. (물론, 그래프를 눈대중으로 보는 것보다 더 정교한 통계 기술들이 잡음 임계치를 특성화하기 위해 사용될 수 있다.)
도 3a는 완전히 정적으로 유지된 모션 검출기(110)의 실제 테스트의 결과들을 도시한다. 도 3a의 그래프는 이러한 정적 테스트 경우에서 생성되는 모션 데이터(3차원들로)를 도시한다. 그래프는 모두가 작은 진폭인, 매우 빈번한 모션 이벤트들을 보여준다. 이것은 검출기 잡음의 특성이다. 이러한 특정한 모션 검출기(110)에 대해, 그래프의 검토는 플러스 또는 마이너스 0.08의 잡음 임계치를 드러낸다. (특정한 모션 검출기(110)에 대한 잡음 임계치의 실제 값은 잘 정의된 임계치의 존재보다 덜 중요하다. 물론, 하위 임계값들은 일반적으로 더 양호하지만, 매우 낮은 임계치를 달성하는 것은 임의의 부가적 이득들보다 훨씬 많은 생산 비용을 수반할 수 있다.)
단계(204)에서 생성되는 모션 데이터가 모션 검출기(110)의 실험적으로 도출된 잡음 임계치 아래에 있다면, 개인용 전자 디바이스(100)는 아마도 움직이지 않을 것이다. 이것은 비디오-안정화 엔진(108)이 단계(202)에서 비-제로 안정화-보상 값을 생성할지라도 그러한 경우이다. 상기 비-제로 값은 아마도 간단히 부정확할 가능성이 가장 높다. 그러므로, 도 2의 방법은 단계(208)에서, 단계(204)에서 생성된 모션 데이터가 모션 검출기(110)의 잡음 임계치 초과이면 단지 캡처된 프레임들(104)에 단계(202)의 안정화-보상 값을 적용함으로써 끝난다. 그렇지 않다면, 디바이스(100)는 정적이며, 안정화-보상 값은 간단히 무시된다.
(질문이 요청될 수 있다: 적절히 기능하는 비디오-안정화 엔진(108)은 개인용 전자 디바이스(100)가 완전히 정적일 때 왜 비-제로 안정화-보상 값을 생성하는가? 대답은 비디오-안정화 엔진(108)이 모션을 직접 측정하지 않지만 단지 연속적인 캡처된 프레임들(104)을 비교함으로써 모션을 추론한다는 인식에 기초한다. 상기 분석은 단지 하나의 예를 들기 위해, 캡처된 이미지의 절반 이상이 사실상 프레임에 걸쳐 부드럽게 및 계속적으로 이동할 때(예컨대, 장면의 앞 가까이에 있는 큰 오브젝트가 우측에서 좌측으로 이동할 때) “속아 넘어간다”. 이러한 경우에, 비디오-안정화 엔진(108)의 대부분의 실시예들은 그것이 캡처된 대다수의 이미지보다는 이동하는 디바이스(100)라고 믿는다. 따라서, 그것이, 이상적인 세계에서 제로 값을 생성해야 할 때 비-제로 안정화 보상 값을 생성한다. 상기 비-제로 값이 정적 디바이스(100)의 존재하지 않는 모션을 보상하기 위해 캡처된 프레임들(104)에 적용되었다면(즉, 도 2의 방법이 적용되지 않았다면), 결과적인 출력 비디오(112)는 성가신 “모션 아티팩트들”을 포함할 것이다. 도 2의 방법은 이들 아티팩트들을 방지한다.)
주의: 단계(202)를 수행하는 것은 안정화-보상 값들이 디바이스(100)가 정적이기 때문에 결국 단계(208)에서 폐기될 때조차 개인용 전자 디바이스(100) 내에서 전력 및 자원들을 소비한다. 따라서, 몇몇 실시예들에서, 단계(202)는 단지 단계(206)의 분석이 디바이스(100)가 사실상 이동할 수 있음을 드러내는 경우에만 수행된다. 다른 실시예들에서, 단계(202)는 항상 수행되지만, 상기 단계의 결과들은 단지 그것들이 적절할 때만 사용된다.
도 3a를 도 3b와 비교하자. (도 3b의 약 플러스 및 마이너스 0.1에서 굵은 수평 바들은 도 3a에서 측정되는 잡음 임계치에 대응한다.) 도 3b의 모션 데이터는 개인용 전자 디바이스(100)가 한 손에 잡혀 있는 동안 수집되었다. 도 3b는 매우 빈번한 모션 이벤트들을 도시하며, 그것의 많은 것이 잡음 임계치를 훨씬 초과하는 진폭들을 갖는다. 이 경우에, 비디오 안정화는 매우 유용할 것이며, 따라서 도 2의 단계(208)는 안정화-보상 값들이 출력 프레임들(112)을 생성하기 위해 캡처된 프레임들(104)에 적용되도록 허용한다. (비디오에 안정화-보상 값들을 적용하기 위한 기술들이 이 기술분야에 잘 공지되어 있다.)
도 3c에 대한 데이터는 개인용 전자 디바이스(100)가 두 손에 잡혀 있을 때 취해졌다. 도 3b의 것들을 가진 이러한 도면에서 모션 이벤트들의 진폭들 및 주파수를 비교할 때, 두-손 그립은 훨씬 더 안정된 디바이스(100)를 위해 한다는 것이 명확하다. 그러나, 도 3c에서의 모션 진폭들은 비록 보통 임계값의 두 배 미만만큼이지만, 여전히 때때로 잡음 임계치를 초과한다. 이러한 상황에 대한 도 2의 방법의 엄격한 적용은 안정화-보상 값들이 캡처된 프레임들(104)에 적용되도록 허용할 것이다. 그러나, 이것은 경계 사례이며, 보다 많은 데이터가 비디오 안정화를 사용하는 것에 대한 최상의 결정을 하기 위해 유용할 것이다. 이하에 논의된, 도 4는 이를 수행하기 위한 하나의 방식을 보여준다.
도 4는 도 1의 개인용 전자 디바이스(100)에 의해 사용 가능한 제 2 대표적인 방법을 도시한다. 도 4의 방법은 도 2의 방법과 유사한 방식으로 시작된다. 이미지 프레임들(104)은 카메라(102)에 의해 캡처된다(단계 400). 캡처된 프레임들(104)로부터, 비디오 안정화 엔진(108)은 하나 이상의 안정화-보상 값들을 산출한다(단계 402). 그동안에, 모션 검출기(110)는 모션 데이터를 생성한다(단계 404).
단계(406)에서, 도 4의 방법은 도 2의 방법으로부터 나뉜다. 여기에서, 모션 검출기(110)에 의해 생성되는 모션 데이터는 비디오 안정화 엔진(108)에 의해 산출된 안정화-보상 값들과 비교된다. 고-레벨 용어들에서, 이것은 개인용 전자 디바이스(100)의 현재 모션에 대한 두 개의 독립적으로 도출된 값들이 비교됨을 의미한다. 모션 검출기(110)가 어떻게, 얼마나 많이, 디바이스(100)가 현재 이동하는지에 대해 비디오-안정화 엔진(108)과 일치한다면(모션-차 임계치 내에서), 그것들의 일치된 값은 아마도 정확할 것이다. (상기 언급된 바와 같이, 모션 검출기(110)는 랩탑 컴퓨터상의 전면 카메라와 같은, 제 2 비디오 카메라로서 구현될 수 있다는 것을 주의하자. 이 경우에, 단계(406)는 두 대의 카메라들로부터 안정화-보상 값들을 비교한다. 값이 모션-차 임계치 내에서 일치한다면, 그것들의 일치된 모션 값은 정확할 가능성이 가장 높다.) 이 경우에, 단계(408)는 출력 프레임들(112)을 생성하기 위해 캡처된 프레임들(104)에 안정화-보상 값을 적용한다. 두 개의 모션 값들이 일치하지 않는다면, 비디오-안정화 엔진(108)은 아마도 속임을 당하며, 따라서 그것의 안정화-보상 값들은 의존될 수 없으며 폐기된다.
개인용 전자 디바이스(100)의 연구소 테스트들은 모션-차 임계치의 값을 설정하기 위해 사용될 수 있다. 몇몇 경우들에서, 디바이스(100)가 정적으로 유지될 때 모션 검출기(110)에 대해 도출되는 잡음 임계치는(도 3a 및 첨부한 논의를 참조) 모션-차 임계치를 위해 사용될 수 있다. 연구소 테스트는 몇몇 하드웨어 실시예들에 대해, 잡음 임계치와 상이한 최적의 모션-차 임계치를 발견할 수 있다는 것이 또한 가능하다. 상이한 하드웨어 실시예들은 상이한 결과들을 이끌 수 있다.
마지막으로, 도 5는 도 1의 개인용 전자 디바이스(100)에 의해 사용 가능한 제 3 대표적인 방법을 도시한다. 이 방법은 도 2 및 도 4의 방법들의 측면들을 조합한다. 이들 방법들에서처럼, 이미지 프레임들(104)은 카메라(102)에 의해 캡처된다(단계 500). 캡처된 프레임들(104)로부터, 비디오 안정화 엔진(108)은 하나 이상의 안정화-보상 값들을 산출한다(단계 502). 그동안에, 모션 검출기(110)는 모션 데이터를 생성한다(단계 504). 도 4의 단계(406)에서처럼, 단계(506)에서 모션 검출기(110)에 의해 생성되는 모션 데이터는 비디오 안정화 엔진(108)에 의해 산출된 안정화-보상 값들과 비교된다.
단계(508)는 도 2의 단계(208)의 테스트 및 도 4의 단계(408)의 테스트 양자 모두를 이용한다. 따라서, 개인용 전자 디바이스(100)가 정적이지 않은 경우에만(즉, 단계(504)에서 생성된 모션 데이터가 모션 검출기(110)의 잡음 임계치 초과인 경우), 및 모션 검출기(110)가 어떻게 및 얼마나 많이, 디바이스(100)가 현재 이동하는지에 대해 비디오-안정화 엔진(108)과 일치하는 경우(모션-차 임계치 내에서), 안정화-보상 값들이 출력 프레임들(112)을 생성하기 위해 캡처된 프레임들(104)에 적용된다. 그렇지 않다면, 비디오-안정화 엔진(108)은 대개 속임 당하며, 따라서 그것의 안정화-보상 값들은 의존될 수 없으며 폐기된다.
본 논의의 원리들이 적용될 수 있는 많은 가능한 실시예들을 고려할 때, 도시된 도면들에 대하여 여기에 설명된 실시예들은 단지 예시적인 것으로 의도되며 청구항들의 범위를 제한하는 것으로서 취해져서는 안 된다는 것이 인식되어야 한다. 그러므로, 여기에 설명된 바와 같은 기술들은 다음의 청구항들 및 그것의 등가물들의 범위 내에 있을 수 있는 것으로서 모든 이러한 실시예들을 고려한다.

Claims (10)

  1. 카메라(102), 디지털 비디오 안정화기(108), 및 모션 검출기(110)를 포함하는 개인용 전자 디바이스(100) 상의, 방법에 있어서,
    상기 카메라(102)에 의해, 연속된 이미지들(104)을 생성하는 단계(200);
    상기 디지털 비디오 안정화기(108)에 의해, 상기 연속된 이미지들(104)과 연관된 안정화-보상 값을 산출하는 단계(202);
    상기 모션 검출기(110)에 의해, 모션 데이터를 생성하는 단계(204);
    상기 모션 데이터를 분석(206)하는 단계; 및
    상기 분석이 상기 모션 검출기(110)에 의해 검출되는 모션이 잡음 임계치 초과임을 드러내는 경우(208)에만, 상기 안정화-보상 값을 상기 연속된 이미지들(104)에 적용(208)하는 단계를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 개인용 전자 디바이스는 카메라, 이동 전화, 개인용 정보 단말기(personal digital assistant), 및 태블릿 컴퓨터로 이루어진 그룹으로부터 선택되는, 방법.
  3. 청구항 1에 있어서,
    상기 모션 검출기는 자이로스코프(gyroscope), 가속도계, GPS 수신기, 및 이미지 센서로 이루어진 그룹으로부터 선택되는 요소를 포함하는, 방법.
  4. 청구항 1에 있어서,
    안정화-보상 값을 산출하는 단계는 상기 연속된 이미지들에서의 이미지들을 비교하는 단계 및 비교된 상기 이미지들 간 픽셀-에러 차이들의 합을 최소화하는 단계를 포함하는, 방법.
  5. 청구항 1에 있어서,
    상기 안정화-보상 값은 선형 오프셋 및 회전으로 이루어진 그룹으로부터 선택되는, 방법.
  6. 청구항 1에 있어서,
    상기 잡음 임계치를 산출하는 단계는 상기 개인용 전자 디바이스가 정적으로 유지되는 동안 상기 모션 검출기에 의해 생성되는 모션 데이터를 측정하는 단계를 포함하는, 방법.
  7. 청구항 1에 있어서,
    상기 안정화-보상 값을 적용하는 단계는 상기 연속된 이미지들에서의 이미지를 수정하는 단계로서, 적어도 부분적으로, 상기 안정화-보상 값에 기초하는, 상기 수정하는 단계, 및 수정된 상기 이미지를 비디오 인코더에 송신하는 단계를 포함하는, 방법.
  8. 개인용 전자 디바이스(100)에 있어서,
    연속된 이미지들(104)을 생성하기 위해 구성된 카메라(102);
    상기 연속된 이미지들(104)과 연관된 안정화-보상 값을 산출(202)하기 위해 구성된 디지털 비디오 안정화기(108);
    모션 데이터를 생성(204)하기 위해 구성된 모션 검출기(110); 및
    상기 카메라(102)에, 상기 디지털 비디오 안정화기(108)에, 및 상기 모션 검출기(110)에 동작적으로 연결되는 프로세서(106)로서:
    상기 모션 데이터를 분석(206)하며;
    상기 분석이 상기 모션 검출기(110)에 의해 검출되는 모션이 잡음 임계치 초과임을 드러내는 경우(208)에만, 상기 연속된 이미지들(104)에 상기 안정화-보상 값을 적용(208)하기 위해 구성된, 상기 프로세서(106)를 포함하는, 개인용 전자 디바이스.
  9. 청구항 8에 있어서,
    상기 개인용 전자 디바이스는 카메라, 이동 전화, 개인용 정보 단말기, 및 태블릿 컴퓨터로 이루어진 그룹으로부터 선택되는, 개인용 전자 디바이스.
  10. 청구항 8에 있어서,
    상기 모션 검출기는 자이로스코프, 가속도계, GPS 수신기, 및 이미지 센서로 이루어진 그룹으로부터 선택되는 요소를 포함하는, 개인용 전자 디바이스.
KR1020157009042A 2012-09-24 2013-09-04 비디오 안정화를 지능적으로 불능시킴으로써 모션 아티팩트들을 방지하는 방법 KR102147300B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/625,347 US8941743B2 (en) 2012-09-24 2012-09-24 Preventing motion artifacts by intelligently disabling video stabilization
US13/625,347 2012-09-24
PCT/US2013/057907 WO2014046868A1 (en) 2012-09-24 2013-09-04 Preventing motion artifacts by intelligently disabling video stabilization

Publications (2)

Publication Number Publication Date
KR20150065717A true KR20150065717A (ko) 2015-06-15
KR102147300B1 KR102147300B1 (ko) 2020-08-24

Family

ID=49165873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157009042A KR102147300B1 (ko) 2012-09-24 2013-09-04 비디오 안정화를 지능적으로 불능시킴으로써 모션 아티팩트들을 방지하는 방법

Country Status (5)

Country Link
EP (1) EP2898665B1 (ko)
JP (1) JP6338587B2 (ko)
KR (1) KR102147300B1 (ko)
CN (1) CN104737530B (ko)
WO (1) WO2014046868A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016100075A1 (de) * 2016-01-04 2017-07-06 Volkswagen Aktiengesellschaft Verfahren zur Auswertung von Gesten
US9756249B1 (en) * 2016-04-27 2017-09-05 Gopro, Inc. Electronic image stabilization frequency estimator
CN110381808B (zh) * 2017-01-06 2022-03-15 飞通尼护理股份有限公司 自定向成像设备及使用方法
EP3883234B1 (en) * 2020-03-17 2022-02-02 Axis AB Wearable camera and a method for power consumption optimization in the wearable camera
CN111447488B (zh) * 2020-04-01 2022-08-26 青岛海信传媒网络技术有限公司 一种memc控制方法及显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060115656A (ko) * 2005-05-05 2006-11-09 아바고 테크놀로지스 제너럴 아이피 (싱가포르) 피티이 리미티드 이동 센서, 이미징 장치, 이미징 장치의 움직임에 대한보상 방법
JP2008098997A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 画像撮像装置
US20090066800A1 (en) * 2007-09-06 2009-03-12 Texas Instruments Incorporated Method and apparatus for image or video stabilization
US20110234825A1 (en) * 2010-03-25 2011-09-29 Apple Inc. Accelerometer / gyro-facilitated video stabilization
US20120069203A1 (en) * 2010-09-21 2012-03-22 Voss Shane D Generating a stabilized video sequence based on motion sensor data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734901B1 (en) * 1997-05-20 2004-05-11 Canon Kabushiki Kaisha Vibration correction apparatus
JP3466895B2 (ja) * 1997-12-12 2003-11-17 キヤノン株式会社 振れ補正装置、撮像装置、撮像システム、カメラユニット、及びレンズユニット
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
JP4579797B2 (ja) * 2005-08-31 2010-11-10 キヤノン株式会社 振れ補正装置、その制御方法、撮像装置、及び制御プログラム、並びに記録媒体
JP4976378B2 (ja) * 2006-03-23 2012-07-18 パナソニック株式会社 コンテンツ撮影装置
US7746934B2 (en) * 2006-04-19 2010-06-29 Nethra Imaging Inc. Image stabilization method
JP2012114809A (ja) * 2010-11-26 2012-06-14 Sanyo Electric Co Ltd 撮像装置及び電子機器
US8786549B2 (en) * 2011-03-11 2014-07-22 Seiko Epson Corporation Gyro mouse de-drift and hand jitter reduction
JP2011170383A (ja) * 2011-05-23 2011-09-01 Canon Inc レンズ装置、及びそれを有する撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060115656A (ko) * 2005-05-05 2006-11-09 아바고 테크놀로지스 제너럴 아이피 (싱가포르) 피티이 리미티드 이동 센서, 이미징 장치, 이미징 장치의 움직임에 대한보상 방법
JP2008098997A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 画像撮像装置
US20090066800A1 (en) * 2007-09-06 2009-03-12 Texas Instruments Incorporated Method and apparatus for image or video stabilization
US20110234825A1 (en) * 2010-03-25 2011-09-29 Apple Inc. Accelerometer / gyro-facilitated video stabilization
US20120069203A1 (en) * 2010-09-21 2012-03-22 Voss Shane D Generating a stabilized video sequence based on motion sensor data

Also Published As

Publication number Publication date
WO2014046868A1 (en) 2014-03-27
EP2898665B1 (en) 2018-12-26
JP2015534370A (ja) 2015-11-26
CN104737530B (zh) 2017-03-01
EP2898665A1 (en) 2015-07-29
JP6338587B2 (ja) 2018-06-06
KR102147300B1 (ko) 2020-08-24
CN104737530A (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
US8941743B2 (en) Preventing motion artifacts by intelligently disabling video stabilization
US8559751B2 (en) Method and device for removing motion blur effects
US9596398B2 (en) Automatic image capture
Hanning et al. Stabilizing cell phone video using inertial measurement sensors
TWI425826B (zh) 影像選擇裝置、影像選擇方法
US20140293074A1 (en) Generating a composite image from video frames
US20040100560A1 (en) Tracking digital zoom in a digital video camera
US9571741B1 (en) Smart shutter in low light
JP6175587B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
US20160173749A1 (en) Still image capture with exposure control
US8433185B2 (en) Multiple anti-shake system and method thereof
KR102147300B1 (ko) 비디오 안정화를 지능적으로 불능시킴으로써 모션 아티팩트들을 방지하는 방법
EP3891974B1 (en) High dynamic range anti-ghosting and fusion
US9554042B2 (en) Preventing motion artifacts by intelligently disabling video stabilization
EP2088768B1 (en) Imaging apparatus, storage medium storing program and imaging method
US10547785B2 (en) Photographing method including image registration based on reference image, shake information, and a motion vector table
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
US9143684B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
WO2016009199A2 (en) Minimisation of blur in still image capture
JP2007221710A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
KR20070089314A (ko) 피사체 움직임 정보 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant