KR20150114972A - 자동 사진 정렬 보정 - Google Patents

자동 사진 정렬 보정 Download PDF

Info

Publication number
KR20150114972A
KR20150114972A KR1020157023107A KR20157023107A KR20150114972A KR 20150114972 A KR20150114972 A KR 20150114972A KR 1020157023107 A KR1020157023107 A KR 1020157023107A KR 20157023107 A KR20157023107 A KR 20157023107A KR 20150114972 A KR20150114972 A KR 20150114972A
Authority
KR
South Korea
Prior art keywords
image
camera device
processor
camera
gravity
Prior art date
Application number
KR1020157023107A
Other languages
English (en)
Inventor
에이미 아이메이 한
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150114972A publication Critical patent/KR20150114972A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/225—
    • H04N5/23222—
    • H04N5/23229—
    • H04N5/23293—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Image Analysis (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Input (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Abstract

카메라 장치가 개시된다. 카메라 장치는 이미지를 캡처하기 위한 센서, 중력의 방향을 검출하기 위한 센서 및 수평으로 정렬된 이미지를 생성하기 위해 검출된 중력의 방향을 이용하여 이미지의 일부를 추출하도록 구성된 프로세서를 포함한다.

Description

자동 사진 정렬 보정{AUTO PICTURE ALIGNMENT CORRECTION}
카메라는 단일 이미지 또는 비디오 신호의 프레임들로서 이용될 일련의 이미지들을 캡처하는데 이용될 수 있다. 예를 들어, 카메라가 삼각대와 같은 스탠드 상에 장착되어, 이에 의해 비디오 프레임을 캡처하는 동안 카메라가 움직이지 않게 유지시키는 것처럼, 카메라는 안정적인 물체에 고정될 수 있다. 그러나, 대개 카메라는 이동 장치에 포함될 수 있고, 반드시 고정된 물체에 장착되는 것은 아니다. 예를 들어, 카메라를 손에 들고 있을 수 있거나, 차량과 같은 이동 물체 상에 장착될 수 있다. 카메라가 수평으로 유지되지 않으면, 카메라에 의해 생성된 사진들은 수평으로 정렬되지 않을 것이고, 이는 일부 경우에는 바람직하지 않을 수 있다.
이 요약은 아래의 상세한 설명에서 더욱 기술되는 선택의 개념을 간략화된 형태로 소개하기 위해서 제공된다. 이 요약은 주장되는 대상의 중요 특징 또는 필수 특징을 식별하기 위한 것도 아니고, 주장되는 대상의 범위를 제한하기 위해 이용되는 것도 아니다.
본 명세서에 기술된 실시예들은 카메라가 소정의 각도로 유지된 경우라도 수평으로 정렬된 사진 또는 비디오를 출력할 수 있는 카메라를 포함한다. 즉, 이 카메라에 의해 생성된 사진은, 카메라가 그 방향에 대한 어떠한 관심도 없이 고정 또는 이동 물체에 부착된 경우라도, 수평으로 정렬될 것이다. 이 문맥에서, "사진" 또는 "이미지"에 대한 모든 참조는 또한 비디오 프레임을 구성하는 일련의 이미지들에 적용할 수 있다.
일 실시예에서, 장치가 개시된다. 장치는 이미지를 캡처하기 위한 이미지 센서, 중력의 방향을 검출하기 위한 센서 및 수평으로 정렬된 이미지를 생성하기 위해 검출된 중력의 방향을 이용하여 이미지의 일부를 추출하도록 구성된 프로세서를 포함한다.
다른 실시예에서, 이미지 프로세싱을 위한 방법이 개시된다. 방법은 카메라 장치를 이용하여 이미지를 캡처하는 단계를 포함한다. 비디오에서 이용하는 경우, 다수의 이미지들이, 이미지를 캡처하는 단계 동안에, 카메라 장치의 진동의 영향을 제거 또는 감소시키기 위해, 필요하다면, 서로에 대해 수평으로 정렬될 수 있다. 카메라 장치의 회전각은 가속도계를 이용하여 결정된다. 수평으로 정렬된 이미지가 회전각에 기초하여 이미지로부터 추출된다.
대안적으로, 중력 방향이 검출되어 이미지 데이터의 데이터 스트림과 함께 외부 장치에 전송된다.
또 다른 실시예에서, 컴퓨터 프로그램 제품이 개시된다. 컴퓨터 프로그램 제품은 이미지 프로세싱을 위한 다음의 방법을 수행하기 위해 프로그래밍 명령어를 포함한다. 방법은 카메라 장치를 이용하여 이미지를 캡처하는 단계를 포함한다. 비디오에서 이용하는 경우, 다수의 이미지들이, 이미지를 캡처하는 단계 동안에, 카메라 장치의 진동의 영향을 제거 또는 감소시키기 위해, 필요하다면, 서로에 대해 디지털적으로 안정화될 수 있다. 카메라 장치의 회전각은 센서(예컨대, 가속도계)를 이용하여 결정된다. 수평으로 정렬된 이미지가 회전각에 기초하여 이미지로부터 추출된다.
대안적으로, 이 각도는 메타데이터로서 이미지 또는 비디오 데이터에 부착된다. 이미지/비디오는 외부 장치 상의 컴퓨터 프로그램에 메타데이터와 함께 전달되고, 수평으로 정렬된 이미지가 회전각에 기초하여 이미지로부터 추출된다. 회전각 대신에, 중력의 방향이 메타데이터로서 전송될 수 있다.
다른 실시예들은, 비제한적으로, 프로세싱 유닛이 개시된 방법의 하나 이상의 양태들을 구현할 수 있는 명령어를 포함하는 컴퓨터 판독 가능 저장 매체뿐만 아니라, 개시된 방법의 하나 이상의 양태들을 구현하도록 구성된 시스템을 포함한다.
전술한 특징들이 상세히 이해될 수 있는 방식, 위에서 간략하게 요약된 보다 구체적인 설명이 실시예들을 참조하여 얻어질 수 있도록, 이 실시예들 중 몇몇은 첨부된 도면에 도시되어 있다. 그러나, 첨부된 도면은 단지 다양한 실시예들을 나타내므로, 주장되는 대상의 범위를 제한하는 것으로 간주되는 것이 아님을 주목해야 한다.
도 1은 일 실시예에 따라, 적절하게 정렬된 사진들 또는 비디오들을 촬영하기 위한 시스템의 개략도를 나타낸다.
도 2는 일 실시예에 따라, 카메라에 부착된 고정 장치의 예를 나타낸다.
도 3은 일 실시예에 따라, 적절하게 정렬된 사진에 대한 각도로 유지된 카메라에 의해 촬영된 사진의 변형 예를 나타낸다.
도 4는 일 실시예에 따라, 회전각을 결정하는 것을 나타낸다.
도 5는 일 실시예에 따라, 적절하게 정렬된 사진을 생성하기 위해 사진의 크로핑(cropping) 예를 나타낸다.
도 6은 일 실시예에 따라, 적절하게 정렬된 사진을 생성하는 방법을 나타낸다.
이하의 설명에서, 기술된 실시예들의 보다 완전한 이해를 제공하기 위해 다수의 구체적인 상세한 사항들이 기재된다. 그러나, 기술된 실시예들은 이러한 구체적인 상세한 사항들 중 하나 이상 없이도 실시될 수 있다는 것이 당업자에게 명백할 것이다. 다른 경우에, 기술된 실시예들을 모호하게 하는 것을 피하기 위해서, 공지된 특징들을 설명하지 않았다.
본 발명개시 전반에 걸처 "일 실시예" 또는 "실시예"에 대한 참조는 실시예와 함께 기술된 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 다양한 장소에서 "일 실시예에서" 또는 "실시예에서" 구절의 출현은 반드시 모두 동일한 실시예를 나타내는 것은 아니다. 더욱이, 특정한 특징, 구조, 또는 특성은 하나 이상의 실시예들에서 임의의 적합한 방식으로 조합될 수 있다.
일부 경우에, 카메라 장치를 이용하는 각도로 사진을 찍거나 비디오를 촬영하는 것이 바람직할 수 있다. 그러나, 카메라가 이동 물체 및/또는 적어도 부분적으로 회전하는 물체에 부착된 경우와 같은 일부 다른 경우에, 적절히 정렬된 사진 및 비디오를 생성하는 것이 바람직할 수 있다. 양호한 품질의 사진을 생성하기 위해서 카메라의 흔들림 또는 진동의 영향을 해결하는 종래의 기술들은, 카메라가 한 각도로 유지되어 있다면 장면이 그 각도로 기울어진 사진들을 여전히 생성한다. 본 명세서에 기술된 실시예들은 카메라가 사진을 캡처하는 시간에서의 각도로 유지되는 경우라도, 수평으로 정렬된 사진 또는 비디오를 생성하기 위한 시스템 및 방법을 제공한다.
도 1은 카메라 장치(100)의 개략도를 나타낸다. 카메라 장치(100)는 묘사될 장면을 커버하는데 적합한 초점거리를 갖는 렌즈(102)를 포함한다. 일 실시예에서, 기계 장치가 렌즈의 자동 또는 수동 포커싱을 가능하게 하기 위해 렌즈(102)와 함께 포함될 수 있다. 다른 실시예에서, 카메라 장치(100)는 렌즈(102)를 이동시키기 위해 어떠한 기계적 어셈블리도 포함되지 않는 고정 초점 장치일 수 있다. 감지면(도시되지 않음)을 갖는 센서(104)가 또한 포함되어, 센서(104)의 감지면 상의 입사광에 의해 형성된 이미지를 디지털 포맷으로 변환한다. 센서(104)는 입사광을 스캔하여 디지털 사진을 생성하기 위한 전하 결합 소자(charge-coupled device; CCD) 또는 상보성 금속 산화막 반도체(complementary metal oxide semiconductor; CMOS) 이미지 센서를 포함할 수 있다. 이용되는 장치가 감지면 상의 입사광에 의해 형성된 이미지를 디지털 형태로 변환할 수 있는 한, 다른 기술들 또는 장치들이 이용될 수 있다. 통상적으로, 이러한 이미지 검출 장치는 작은 감광성 장치 상의 빛의 영향을 판별하여 디지털 포맷으로 그 변화를 기록한다.
카메라 장치(100)는 배터리 또는 전력원과 같은 다른 컴포넌트들, 및 프로세서가 동작하는데 요구되는 다른 프로세서 컴포넌트들을 포함할 수 있다는 것을 이해해야 한다. 그러나, 이러한 교시를 모호하게 하는 것을 피하기 위해서, 이러한 잘 공지된 컴포넌트들은 생략된다. 일 실시예에서, 카메라 장치(100)는 뷰파인더 또는 프리뷰 디스플레이를 포함하지 않는다. 그러나, 다른 실시예들에서, 프리뷰 디스플레이가 제공될 수 있다. 본 명세서에 기술된 기술들은 임의의 유형의 카메라에 이용될 수 있고, 이동 전화 및 다른 휴대용 사용자 장비에 구현되는 것과 같이, 매우 작은 휴대용 카메라에 특히 효과적이다. 따라서, 일 실시예에서, 카메라 장치(100)는 전화를 걸고 받기 위한 하드웨어 또는 소프트웨어를 포함한다.
카메라 장치(100)는 가속도계(108)를 더 포함한다. 가속도계(108)는 중력 방향 및 임의의 방향의 가속도를 결정하기 위해 이용된다. 가속도계(108)에 더하여 또는 가속도계(108) 대신 중 어느 하나로, 자이로스코프가 또한 이용될 수 있다. 자이로스코프는 카메라 장치(100)의 회전각이 시간에 걸쳐 변하는 방법에 관한 정보를 제공할 수 있다. 센서가 중력의 방향을 측정할 수 있는 한, 임의의 다른 유형의 센서가 이용될 수 있다. 회전각을 이용하여, 카메라 장치(100)가 회전되면, 카메라 장치(100)의 회전각이 계산될 수 있다. 범용 컴퓨터를 포함하는 외부 장치에 카메라 장치(100)를 연결시키기 위한 입출력(I/O) 포트(114)가 더 포함된다. I/O 포트(114)는 외부 장치가 카메라 장치(100)를 구성하거나 또는 데이터를 업로드/다운로드하는 것을 가능하게 하기 위해 이용될 수 있다. 일 실시예에서, I/O 포트(114)는 또한 카메라 장치(100)로부터의 비디오 또는 사진을 외부 장치에 스트리밍하기 위해 이용될 수 있다. 일 실시예에서, I/O 포트는 또한 카메라 장치(100)에 전력을 공급하거나 카메라 장치(100) 내의 재충전 가능한 배터리(도시되지 않음)를 충전시키기 위해 이용될 수 있다.
카메라 장치(100)는 또한 송신기/수신기(Tx/Rx) 모듈(116)에 결합된 안테나(118)를 포함할 수 있다. Tx/Rx 모듈(116)은 프로세서(106)에 결합된다. 안테나(118)는 카메라 장치(100)의 본체 밖에 완전히 또는 부분적으로 노출될 수 있다. 그러나, 다른 실시예에서, 안테나(118)는 카메라 장치(100)의 본체 내에 완전히 캡슐화될 수 있다. Tx/Rx 모듈(116)은 Wi-Fi 송신/수신, 블루투스 송신/수신, 또는 양자 모두를 위해 구성될 수 있다. 다른 실시예에서, Tx/Rx 모듈(116)은 무선 신호의 송신/수신을 위해 독점 프로토콜을 이용하도록 구성될 수 있다. 또 다른 실시예에서, 이용되는 표준이 디지털 데이터 및 제어 신호를 송신/수신할 수 있는 한, 임의의 무선 전송 또는 데이터 전송 표준이 이용될 수 있다. 일 실시예에서, Tx/Rx 모듈(116)은 10 피트보다 작은 전송 범위를 갖는 저전력 모듈이다. 다른 실시예에서, Tx/Rx 모듈(116)은 5 피트보다 작은 전송 범위를 갖는 저전력 모듈이다. 다른 실시예들에서, 전송 범위는 I/O 포트(114) 또는 안테나(118) 중 어느 하나를 통해, 카메라 장치(100)에 의해 수신된 제어 신호를 이용하여 구성 가능하다.
카메라 장치(100)는 프로세서(106)를 더 포함한다. 프로세서(106)는 센서(104) 및 가속도계(108)에 결합된다. 프로세서(106)는 또한 저장 장치(110)(예컨대, 컴퓨터 판독 가능 저장 매체)에 결합될 수 있고, 일 실시예에서, 저장 장치(110)는 프로세서(106) 외부에 있다. 저장 장치(110)는 카메라 장치(100)의 다른 컴포넌트들을 제어 및 동작시키기 위한 프로그래밍 명령어를 저장하기 위해 이용될 수 있다. 저장 장치(110)는 또한 캡처된 매체(예컨대, 사진 및/또는 비디오)를 저장하기 위해 이용될 수 있다. 다른 실시예에서, 저장 장치(110)는 프로세서(106) 그 자체의 일부일 수 있다.
일 실시예에서, 프로세서(106)는 이미지 프로세서(112)를 선택적으로 포함할 수 있다. 이미지 프로세서(112)는 하드웨어 컴포넌트일 수 있거나, 또는 프로세서(106)에 의해 실행되는 소프트웨어 모듈일 수도 있다. 프로세서(106) 및/또는 이미지 프로세서(112)는 상이한 칩에 있을 수 있다는 것을 주목할 수 있다. 예를 들어, 다수의 칩들이 프로세서(106)를 구현하는데 이용될 수 있다. 일례에서, 이미지 프로세서(112)는 디지털 신호 프로세서(Digital Signal Processor; DSP)일 수 있다. 이미지 프로세서는 프로세서에 의해 실행 가능한 컴퓨터 프로그램인, 프로세싱 모듈로서 구성될 수 있다. 이미지 프로세서(112)는 가속도계(108)로부터 수시된 입력에 기초하여, 센서(104)로부터 수신된 미가공 이미지(raw image)를 처리하는데 이용된다. 이미지 신호 프로세서(Image Signal Processor; ISP)와 같은 다른 컴포넌트들이 이미지 프로세싱을 위해 이용될 수 있다. 일 실시예에서, 저장 장치(110)는 미가공(비변형 이미지) 및 대응하는 변형 이미지 양자 모두를 저장하도록 구성된다. 프로세서 버퍼(도시되지 않음)가 또한 이미지 데이터를 저장하는데 이용될 수 있다. 사진은 I/O 포트(114)를 통해 또는 안테나(118)를 이용하는 무선 채널을 통해 외부 장치에 다운로드될 수 있다. 일 실시예에서, 외부 장치가 카메라 장치(110)로부터 이미지를 다운로드하도록 커맨드(command)를 보낼 경우, 비변형 이미지 및 변형 이미지 양자 모두가 외부 장치에 다운로드된다. 일 실시예에서, 카메라 장치(100)는 선택된 간격으로 일련의 이미지들을 캡처하기 시작하도록 구성될 수 있다.
일 실시예에서, 센서(104)로부터의 미가공 이미지는 이미지 또는 색상 보정을 위해 이미지 프로세서(예컨대, ISP)에 입력된다. 일 예시적인 실시예에서, 본 명세서에 기술된 이미지 회선 메커니즘이 이미지 프로세서에 의해 출력된 이미지에 적용된다. 다른 실시예들에서, 이미지 회전 메커니즘은 센서(104)로부터 수신된 미가공 이미지에 적용될 수 있다. 본 명세서에 기술된 이미지 회전 메커니즘이 이미지 프로세서에 의해 출력된 이미지에 적용된 이후에, 변형 이미지는 인코딩된다. 이미지 인코딩은 통상적으로 이미지 데이터를 압축하기 위해 수행된다.
예시적인 실시예에서, 카메라 장치(100)는 센서(104)에 의해 캡처된 이미지를 처리하기 위한 컴포넌트들을 포함하지 않을 수 있다. 대신에, 카메라 장치(100)는 센서(104)로부터 이미지를 추출한 이후에 미가공 이미지를, 인터넷 또는 근거리 통신망을 통해 이동 장치(100)에 연결된 클라우드 기반 프로세싱 시스템에 전송하기 위해 프로그래밍 명령어를 포함할 수 있다. 클라우드 기반 프로세싱 시스템은 카메라 장치(100)의 회전각(또는 간단히 중력 방향) 및 미가공 이미지를 수신하고, 이미지 프로세서를 통해 미가공 이미지를 처리하도록 구성된다. 예를 들어, 중력 방향은 미가공 이미지를 정의하는 데이터를 포함하는 데이터 스트림에 메타데이터로서 임베딩될 수 있다. 다른 실시예에서, 추출 이후에, 미가공 이미지를 전송하는 대신에, 카메라 장치(100)는 이미지 프로세서(예컨대, ISP)를 통해 미가공 이미지를 처리하고, 그런 다음, 처리된 이미지를 클라우드 기반 이미지 프로세싱 시스템에 전송한다. 그런 다음, 클라우드 기반 이미지 프로세싱 시스템은 본 발명개시에 기술된 이미지 회전 방법을 이용하여, 중력 방향에 따라 이미지를 회전 및 크로핑하고, 이미지 인코더를 통해 회전된 이미지를 처리한다. 그런 다음, 인코딩된 이미지는 선택된 클라우드 기반 저장 장치에 저장되거나, 또는 인코딩된 이미지는 사용자 구성에 따라 카메라 장치(100) 또는 임의의 다른 장치에 다시 보내진다. 클라우드 기반 이미지 프로세싱 시스템의 이용은 유익한데, 왜냐하면, 이것이 각각의 카메라 장치에 여러 이미지 프로세싱 컴포넌트들을 통합해야 하는 필요성을 감소시키므로, 카메라 장치는 더욱 가볍고, 더욱 에너지 효율적이며, 저렴하게 되기 때문이다.
다른 예시적인 실시예에서, 클라우드 기반 이미지 프로세싱 대신에, 카메라 장치(100)는 다른 장치, 예컨대, 이동 전화 또는 컴퓨터에, 이미지 프로세서를 통해 처리된 이미지 또는 미가공 이미지 중 어느 하나를 보낼 수 있다. 이미지는 Wi-Fi, 블루투스, 또는 하나의 장치에서부터 다른 장치로 디지털 데이터를 전송하는데 적합한 임의의 다른 유형의 네트워킹 프로토콜을 통해, 추가의 프로세싱을 위해 이동 전화(또는 컴퓨터)에 전송될 수 있다. 본 명세서에 기술된 하나 이상의 실시예들에 따라, 이동 장치가 수평으로 정렬된 이미지를 생성한 이후에, 생성된 이미지는, 정렬 후에, 사용자 또는 시스템 구성에 따라, 장치 상의 로컬 저장 장치에 저장되거나, 클라우드 기반 저장 시스템의 저장 장치에 전달되거나, 또는 다른 장치에 전송될 수 있다.
일 실시예에서, 카메라 장치(100)의 네이티브 이미지 프로세싱 시스템은 비표준 포맷의 이미지 및/또는 비디오를 생성할 수 있다. 예를 들어, 1200x1500 픽셀 이미지가 생성될 수 있다. 이것은 비표준 해상도를 갖는 이미지 센서를 이용, 크로핑, 또는 스케일링함으로써 행해질 수 있다. 선택된 표준 해상도로 이미지를 변환하기 위한 방법은 공지되어 있기 때문에, 이 주제에 대한 추가의 논의는 없을 것이다.
전술 및 후술된 다양한 실시예들은, 프로세싱 유닛이 개시된 방법들의 하나 이상의 양태들을 구현하는 것을 가능하게 하는 명령어들을 포함하는 컴퓨터 판독 가능 저장 매체 또는 매체들은 물론, 개시된 방법들의 하나 이상의 양태들을 구현하도록 구성된 시스템을 이용하여 구현될 수 있다.
하나 이상의 메모리 컴포넌트들과 같은 컴퓨터 판독 가능 저장 매체는, 비제한적인 예로서, 랜덤 액세스 메모리(random access memory; RAM), 비휘발성 메모리[예컨대, 읽기 전용 메모리(read-only memory; ROM), 플래시 메모리, EPROM, EEPROM 등], 및 디스크 저장 장치를 포함할 수 있다. 디스크 저장 장치는 하드 디스크 드라이브, 기록 가능 및/또는 재기입 가능 콤팩트 디스크(compact disc; CD), 임의의 유형의 디지털 다기능 디스크(digital versatile disc; DVD) 등과 같은 임의의 유형의 자성 또는 광학 저장 장치로서 구현될 수 있다. 컴퓨터 판독 가능 저장 매체는 또한 대용량 저장 매체 장치를 포함할 수 있다. 그러므로, 컴퓨터 판독 가능 저장 매체는 법적 형태의 매체를 나타내도록 의도된다. 따라서, 컴퓨터 판독 가능 저장 매체는 반송파 또는 신호 그 자체를 설명하지 않는다.
일반적으로, 본 명세서에 기술된 기능들 중 임의의 기능들은, 소프트웨어, 펌웨어, 하드웨어(예컨대, 고정 로직 회로), 수동 프로세싱, 또는 이러한 구현예들의 조합을 이용하여 구현될 수 있다. 본 명세서에서 이용되는 바와 같은 용어 "모듈", "기능부" 및 "로직"은 일반적으로 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 나타낸다. 소프트웨어 구현예의 경우에, 모듈, 기능부, 또는 로직은 프로세서(예컨대, CPU 또는 CPU들)에 의해 또는 프로세서 상에서 실행될 때, 명시된 작업을 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독 가능 메모리 매체에 저장될 수 있다.
도 2로 이동하면, 도 2는 카메라 장치(100)에 부착된 선택적 고정 장치(120)를 나타낸다. 카메라 장치(100)가 정사각형 또는 직사각형 형태를 갖는 것으로 도시되었지만, 형태 및 크기가 카메라 장치(100)의 앞서 기술된 컴포넌트들을 수용하기에 적합하고 충분하기만 하면, 카메라 장치(100)는 임의의 형태로 제조될 수 있다는 것을 주목할 수 있다. 카메라 장치(100)의 외부 인클로저는 금속 성형, 합성 물질 성형 또는 이들의 조합으로 구성될 수 있다. 다른 실시예들에서, 물질이 통상적인 휴대용 장치 이용에 내구성 있고 강한 외부 쉘을 제공할 수 있는 한, 임의의 다른 유형의 물질이 이용될 수 있다. 일 실시예에서, 카메라 장치(100)는 카메라 장치(100) 본체의 한 측에 부착된 선택적 고정 장치(120)를 포함할 수 있다. 고정 장치(120)는 간단한 슬립온 클립, 악어 모양 클립, 후크, 벨크로 또는 자석 또는 자성을 수용하기 위한 금속 조각일 수 있다. 카메라 장치(100)는 고정 장치(120)를 이용하여 다른 물체에 영구적으로 또는 반영구적으로 부착될 수 있다. 다른 실시예에서, 카메라 장치(100)는 어떠한 고정 장치도 포함하지 않는다. 또 다른 실시예에서, 하우징이 카메라 장치(100)의 앞서 기술된 컴포넌트들을 수용하기 위해 수용 물체 상에 제조될 수 있다. 다른 실시예들에서, 카메라 장치(100)는 그 자신의 하우징을 포함하지 않고, 대신에 내부 컴포넌트들[예컨대, 렌즈(102), 센서(104) 등]은 다른 물체(예컨대, 휴대폰 또는 테블릿 컴퓨터)에 캡슐화된다.
도 3은 수평으로 정렬된 사진을 생성하는 프로세스를 나타낸다. 그래서, 카메라 장치(100)는 지면에 평행한 수평선으로부터의 각도로 유지되고, 장면(130)으로 나타난다. 따라서, 캡처된 이미지(132)는, 수평으로 정렬된 평지를 참조하여 볼 때, 그 각도에 비례하여 기울어진다. 카메라 장치(100)에 포함된 프로세서(106) 또는 이미지 프로세서(112)는 회전각을 결정하기 위해 가속도계(108)로부터 중력의 방향[즉, 카메라 장치(100)의 경사각]을 획득한다. 그런 다음, 이미지 프로세서(112)는 이미지(132)에서 수평으로 정렬된 직사각형 영역을 계산하고, 수평으로 정렬된 이미지(134)를 생성하기 위해 그 직사각형 영역 밖의 픽셀들을 크롭아웃(crop out)한다. 이미지는 필요하다면 축소될 수 있다.
도 4는 카메라 장치(100)에 포함되고 프로세서(106)에 결합된 가속도계(108)의 동작을 나타낸다. 카메라 장치(100)가 지면에 평행하게 유지되는 경우[예컨대, 예시적인 도면에서, 카메라 장치(100)의 측면(136)은 지면 또는 수평면에 평행함], 지면에 수직인 가상면이 중력의 방향과 일치하는 방식으로, 카메라 장치(100)는 캘리브레이트(calibrate)된다. 카메라 장치(100)가 기울어지는 경우, 프로세서(106)는, 가속도계(108)의 도움으로, 중력의 방향에 대하여 경사각을 결정한다. 가속도계(108)는 아날로그 가속도계, 디지털 가속도계, 마이크로 전자 기계 시스템(microelectromechanical systems; MEMS) 가속도계 또는 압전 센서 또는 물체의 가속도 또는 회전을 측정할 수 있는 임의의 다른 장치일 수 있다. 통상적으로, 가속도계는 자유 낙하로부터의 편차를 감지하고, 이 정보는 대략 중력의 방향으로 변환될 수 있다. 통상적으로, 가속도계는 병진 가속 또는 가속력에 의해 야기된 전기적 특성의 변화를 검출하는 회로를 포함한다.
도 5는 도 3에 도시된 프로세스를 더욱 기술한다. 프로세서(106)[또는 이미지 프로세서(112)]가 센서(104)로부터 이미지(132)를 수신하는 경우, 프로세서(106)는 가속도계(108)의 도움으로 회전각을 결정한다. 그런 다음, 프로세서(106)는 수신된 이미지(132)에서 직사각형 영역(134)을 결정한다. 일 실시예에서, 직사각형 영역(134)은 선택된 직사각형 영역(134)의 중심이 이미지(132)의 중심과 일치하거나 이미지(132)의 중심에 최대한 가까운 방식으로 선택된다. 다른 실시예에서, 직사각형 영역의 크기는 추가의 이미지들이 상이한 각도로 회전되지만 동일한 이미지 크기를 출력할 수 있도록 허용하기 위해서 선택된다. 직사각형 영역(134)은 반대 방향으로 회전각만큼 회전된다. 대안적으로, 프로세서(106)는 최적 크기의 직사각형 영역[예컨대, 직사각형 모양(134)의 가장 큰 가능한 영역으로서, 직사각형 모양(134)은 완전히 또는 실질적으로 수신된 이미지(132)의 경계 내에 있음]을 식별하고, 이 영역에서 옆선은 실질적으로 회전각과 동일한 각도만큼 기울어진다.
일 실시예에서, 크롭아웃 프로세스가 직사각형 영역(134) 밖의 모든 픽셀들을 폐기하고, 그런 다음, 카메라 장치(100)의 회전의 반대 방향으로 회전각만큼 직사각형 이미지(134)를 다시 회전시키는데 이용될 수 있다. 최종 이미지(134)는 저장 장치(110)에 저장된다. 대안적으로, 저장 단계는 생략될 수 있고, 최종 이미지(134)는 송신기(116)를 통해 프로세서(106)에 의해 외부 장치로 전송될 수 있다. 일부 실시예들에서, 최종 이미지(134)는 선택된 데이터 포맷, 예컨대, JPEG, PNG 등으로 인코딩되거나, 다수의 이미지들과 조합되어, 표준 비디오 포맷, 예컨대, H.264, MP4 등으로 인코딩된다. 인코딩은 프로세서(106)에 의해 실행 가능한 인코더 모듈(도시되지 않음)에 의해 수행될 수 있다. 인코딩은 최종 이미지의 크기를 줄이고, 또한 일반적으로 이용 가능한 이미지/비디오 플레이어에 의해 판독 가능한 최종 이미지를 만드는데 도움이 될 수 있다.
도 6은 수평으로 정렬된 이미지 및 비디오를 생성하는 예시적인 프로세스(200)를 나타낸다. 그래서, 단계(202)에서, 카메라 장치(100)는 이미지 또는 비디오를 캡처하기 위해 이용된다. 캡처는 외부 장치로부터 제어 신호를 보냄으로써 개시될 수 있다. 대안적으로, 카메라 장치(100)는, 예를 들어, 모션 센서로부터의 입력에 기초하여, 이미지를 자동적으로 캡처하도록 구성될 수 있다. 다른 실시예에서, 카메라 장치(100)는 카메라 장치(100)가 켜지자마자, 일련의 이미지들을 연속적으로 캡처하도록 구성될 수 있다. 카메라 장치(100)는 이미지 또는 비디오의 캡처 동안에 중력의 방향에 대해 각도로 유지될 수 있다. 캡처는 센서(104)에 의해 수행되고, 캡처된 이미지는 프로세서(106)에 전달된다. 단계(204)에서, 캡처된 이미지 또는 비디오는 카메라 장치(100)의 진동을 제거 또는 감소시키기 위해 안정화될 수 있다. 단계(206)에서, 프로세서(106)는 카메라 장치(100)의 회전각을 결정한다. 회전각은 중력의 방향으로부터 카메라 장치(100)의 경사각에 대응한다. 단계(208)에서, 이미지 프로세서(112)는 캡처된 이미지에서 직사각형 영역을 결정한다. 직사각형 영역은, 카메라 장치(100)의 기울기의 반대 방향으로, 이전에 결정된 회전각에 실질적으로 동일하게 기울어진다. 그런 다음, 이미지 프로세서(112)는 정사각형 영역 내의 픽셀들을 선택한다. 단계(210)에서, 이미지 프로세서(112)는 직사각형 영역 밖의 픽셀들을 폐기하고, 직사각형 영역을 수평으로 정렬시키기 위해 회전각만큼 나머지 이미지를 회전시킨다. 그런 다음, 선택된 픽셀들(직사각형 영역 내에 있음)은 저장 장치(110)에 저장되거나, 송신기(116)를 통해 또는 I/O 포트(114)를 통해 외부 장치에 전송된다. 선택적으로, 선택된 픽셀들은 선택된 데이터 포맷으로 이미지 파일을 형성하기 위해 인코딩될 수 있다.
다양한 실시예들이 구조적 특징 및/또는 방법론적 행위에 특유한 언어로 기술되어 있지만, 첨부된 특허청구범위에 정의된 실시예들은 반드시 기술된 특정 특징 또는 행위로 제한되는 것이 아님이 이해될 것이다. 오히려, 특정 특징 및 행위는 다양한 주장된 실시예들을 구현하는 예시적인 형태로 개시된다.

Claims (10)

  1. 장치에 있어서,
    이미지를 캡처하기 위한 이미지 센서;
    중력의 방향을 검출하기 위한 방향 센서; 및
    수평으로 정렬된 이미지를 생성하기 위해 상기 중력의 방향을 이용하여 상기 이미지를 회전시키도록 구성된 프로세서
    를 포함하는 장치.
  2. 제 1 항에 있어서,
    선택된 데이터 포맷으로 상기 생성된 이미지를 인코딩하기 위한 인코더 모듈을 더 포함하는 장치.
  3. 제 1 항에 있어서, 상기 프로세서는 상기 회전된 이미지의 코너들을 크로핑(cropping)하도록 구성되는 것인, 장치.
  4. 제 1 항에 있어서,
    상기 프로세서에 결합된 송신기/수신기를 더 포함하고
    상기 송신기/수신기는 외부 장치에 상기 수평으로 정렬된 이미지를 전송하도록 구성되는 것인, 장치.
  5. 제 1 항에 있어서, 상기 장치는 휴대폰을 포함하는 것인, 장치.
  6. 방법에 있어서,
    카메라 장치를 이용하여 이미지를 캡처하는 단계;
    상기 이미지를 캡처하는 단계 동안에, 상기 카메라 장치의 진동의 영향을 제거 또는 감소시키기 위해 상기 이미지를 안정화시키는 단계;
    센서를 이용하여 중력의 방향을 검출하는 단계; 및
    상기 중력의 방향 및 상기 이미지를 정의하는 이미지 데이터의 데이터 스트림을 외부 장치에 전송하는 단계
    를 포함하는 방법.
  7. 제 6 항에 있어서, 상기 캡처하는 단계는 상기 외부 장치로부터 제어 신호의 수신 시에 활성화되는 것인, 방법.
  8. 제 6 항에 있어서, 상기 카메라 장치는 선택된 간격으로 일련의 이미지들을 캡처하는 것을 시작하도록 구성되는 것인, 방법.
  9. 제 6 항에 있어서, 상기 카메라 장치는 상기 이미지의 중심 주변의 직사각형 영역을 식별함으로써, 상기 이미지의 일부분을 수평으로 정렬시키도록 구성되고,
    상기 직사각형 영역은 상기 카메라 장치의 회전각과 같은 회전각에 의해 실질적으로 기울어지는 것인, 방법.
  10. 제 6 항에 있어서, 상기 카메라 장치는 휴대폰에 포함되는 것인, 방법.
KR1020157023107A 2013-01-30 2014-01-29 자동 사진 정렬 보정 KR20150114972A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/754,719 2013-01-30
US13/754,719 US20140211031A1 (en) 2013-01-30 2013-01-30 Auto picture alignment correction
PCT/US2014/013648 WO2014120805A1 (en) 2013-01-30 2014-01-29 Auto picture alignment correction

Publications (1)

Publication Number Publication Date
KR20150114972A true KR20150114972A (ko) 2015-10-13

Family

ID=50231497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157023107A KR20150114972A (ko) 2013-01-30 2014-01-29 자동 사진 정렬 보정

Country Status (11)

Country Link
US (1) US20140211031A1 (ko)
EP (1) EP2936797A1 (ko)
JP (1) JP2016515312A (ko)
KR (1) KR20150114972A (ko)
CN (1) CN105027556A (ko)
AU (1) AU2014212506A1 (ko)
BR (1) BR112015017459A2 (ko)
CA (1) CA2896650A1 (ko)
MX (1) MX2015009823A (ko)
RU (1) RU2015131620A (ko)
WO (1) WO2014120805A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
US9648283B2 (en) * 2013-05-16 2017-05-09 Verint Americas Inc. Distributed sensing and video capture system and apparatus
CN105247574B (zh) * 2013-05-29 2018-09-21 五大洋有限公司 电子装置、电子装置的控制方法以及电脑可读取记录媒体
US20150244938A1 (en) * 2014-02-25 2015-08-27 Stelios Petrakis Techniques for electronically adjusting video recording orientation
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures
JP6380787B2 (ja) * 2014-04-16 2018-08-29 カシオ計算機株式会社 撮像装置、カメラ、表示装置、撮像方法、表示方法、及びプログラム
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
CN108432222A (zh) * 2015-12-22 2018-08-21 深圳市大疆创新科技有限公司 支持包围式成像的系统、方法和移动平台
WO2018071747A1 (en) * 2016-10-13 2018-04-19 Life Technologies Holdings Pte Limited Systems, methods, and apparatuses for optimizing field of view
JP6276456B1 (ja) * 2017-07-10 2018-02-07 株式会社ＦｉＮＣ ユーザの姿勢を評価するための方法およびシステム
CN107809594B (zh) * 2017-11-10 2019-09-27 维沃移动通信有限公司 一种拍摄方法及移动终端
EP3598428A1 (en) * 2018-07-17 2020-01-22 Thomson Licensing Device and method for image display
CN110611787B (zh) * 2019-06-10 2021-05-28 海信视像科技股份有限公司 一种显示器及图像处理方法
CN110460769B (zh) * 2019-07-05 2021-08-17 浙江大华技术股份有限公司 图像矫正方法、装置、计算机设备和存储介质
US11356600B2 (en) * 2020-03-16 2022-06-07 Microsoft Technology Licensing, Llc Machine learning operations on different location targets using camera orientation
CN113873148A (zh) * 2021-09-14 2021-12-31 维沃移动通信（杭州）有限公司 录像方法、装置、电子设备和可读存储介质
CN114143462A (zh) * 2021-11-30 2022-03-04 维沃移动通信有限公司 拍摄方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930561B2 (en) * 2003-09-15 2015-01-06 Sony Computer Entertainment America Llc Addition of supplemental multimedia content and interactive capability at the client
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
JP2006129391A (ja) * 2004-11-01 2006-05-18 Sony Corp 撮像装置
DE602005004496T2 (de) * 2004-12-28 2009-02-19 Seiko Epson Corp. Abbildungsgerät und tragbare Vorrichtung sowie tragbares Telefon damit
JP2006245726A (ja) * 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
US20070291177A1 (en) * 2006-06-20 2007-12-20 Nokia Corporation System, method and computer program product for providing reference lines on a viewfinder
ATE501594T1 (de) * 2007-06-27 2011-03-15 Panasonic Corp Bildgebungsgerät, verfahren, systemintegrierte schaltung und programm
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
JP5868618B2 (ja) * 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
US9065967B2 (en) * 2011-09-13 2015-06-23 Verizon Patent And Licensing Inc. Method and apparatus for providing device angle image correction
US8907927B2 (en) * 2012-09-13 2014-12-09 Sap Portals Israel Ltd Camera based hover detection for touch-based mobile devices

Also Published As

Publication number Publication date
CN105027556A (zh) 2015-11-04
MX2015009823A (es) 2015-10-05
CA2896650A1 (en) 2014-08-07
WO2014120805A1 (en) 2014-08-07
EP2936797A1 (en) 2015-10-28
AU2014212506A1 (en) 2015-07-16
JP2016515312A (ja) 2016-05-26
RU2015131620A (ru) 2017-02-03
US20140211031A1 (en) 2014-07-31
BR112015017459A2 (pt) 2017-07-11

Similar Documents

Publication Publication Date Title
KR20150114972A (ko) 자동 사진 정렬 보정
US9538083B2 (en) Motion blur avoidance
KR101578600B1 (ko) 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
US9001185B2 (en) Image processing apparatus, image processing method, and program
EP2518993A1 (en) Image capturing device, azimuth information processing method, and program
JP6594524B2 (ja) 撮像装置、作動方法、画像処理装置及び画像処理方法
US20140354880A1 (en) Camera with Hall Effect Switch
JP2013168942A (ja) カメラのデータ処理装置及び方法
US20140270688A1 (en) Personal Video Replay
JP5888348B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP2007300581A (ja) 動画撮影装置および動画撮影プログラム
JP7031280B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP7247609B2 (ja) 撮像装置、撮像方法およびプログラム
KR20170129537A (ko) 사진 자동 정렬 보정장치 및 보정방법
JP7373325B2 (ja) 撮像装置およびその制御方法、プログラム、記憶媒体
US20150222819A1 (en) Imaging apparatus
KR101273013B1 (ko) 듀얼 렌즈를 이용한 네트워크 카메라
US10911676B2 (en) Memory card and moving image reproduction device
JP4613829B2 (ja) 撮影装置、その制御方法及び制御プログラム
JP6354377B2 (ja) 撮像装置およびその制御方法とプログラム
JP2012134675A (ja) 撮像装置、撮像方法
JP2006165986A (ja) 撮像装置及びそのプログラム
KR20070021654A (ko) 촬상부와 ｌｃｄ부의 결합 및 분리를 이용한 원격 촬영방법 및 뷰파인더 확장 장치
JP2012039307A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid