KR20160021813A - 사용자―선택 관심 영역을 초고도로 분해하기 위한 시스템들 및 방법들 - Google Patents

사용자―선택 관심 영역을 초고도로 분해하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20160021813A
KR20160021813A KR1020167000513A KR20167000513A KR20160021813A KR 20160021813 A KR20160021813 A KR 20160021813A KR 1020167000513 A KR1020167000513 A KR 1020167000513A KR 20167000513 A KR20167000513 A KR 20167000513A KR 20160021813 A KR20160021813 A KR 20160021813A
Authority
KR
South Korea
Prior art keywords
image
interest
region
scene
higher resolution
Prior art date
Application number
KR1020167000513A
Other languages
English (en)
Inventor
니테쉬 시로프
라민 레자이파
치아치 성
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160021813A publication Critical patent/KR20160021813A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H04N5/23216—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이미지의 부분을 효율적으로 초고도로 분해하기 위한 시스템들, 디바이스들 및 방법들이 설명된다. 일 실시예는 장면의 적어도 하나의 이미지를, 디바이스의 카메라 모듈을 사용하여, 캡처하는 것, 및 사용자-선택 관심 영역의 더 높은 분해능 이미지를 생성하는 것을 수반한다. 관심 영역의 초고도 분해능은 디바이스 카메라의 분해능에 있는 그리드와 고분해능 그리드를 매칭하고, 카메라로부터의 이미지로부터의 정보로 고분해능 그리드를 파퓰레이팅하고, 이어서 아직 파퓰레이팅되지 않은 그리드의 남아있는 포인트들을 파퓰레이팅함으로써 수행될 수 있다.

Description

사용자―선택 관심 영역을 초고도로 분해하기 위한 시스템들 및 방법들{SYSTEMS AND METHODS TO SUPER RESOLVE A USER―SELECTED REGION OF INTEREST}
[0001] 본 개시의 양상들은 이미지 프로세싱에 관한 것이며, 특히, 장면의 부분들을 초고도로 분해하기 위한 시스템들 및 방법들에 관한 것이다. 지난 수십년 동안에, 전자 디바이스들의 사용이 일반화되고 있다. 특히, 전자 기술의 발전들은 점점 더 복잡하고 유용한 전자 디바이스들의 비용을 감소시켰다. 비용 감소 및 소비자 요구는 전자 디바이스들의 사용을 확산시켜서, 전자 디바이스들이 현대 사회에서 사실상 유비쿼터스화되었다. 전자 디바이스들의 사용이 확장됨에 따라, 전자 디바이스들의 새롭고 개선된 특징들이 요구되었다. 더 상세하게는, 더 빠르고, 더 효율적이고 또는 더 높은 품질로 기능들을 수행하는 전자 디바이스들이 종종 요구되고 있다.
[0002] 디지털 카메라들, 내장 카메라를 갖는 전화들, 또는 다른 카메라 또는 센서 디바이스들과 같은 디바이스들은 장면의 이미지들을 생성 및 저장하는데 사용될 수 있다. 많은 상황들에서, 대기 블러링(atmospheric blurring), 모션 효과들, 카메라 블러링 효과들 및 샘플링 효과들과 같이, 캡처된 이미지의 품질을 제한 및 저하시키는 많은 요인들이 존재한다. 초고도 분해능(super resolution)은 정해진 카메라 센서가 포착할 수 있는 분해능보다 더 높은 분해능인 이미지를 생성하는 것을 지칭한다. 초고도 분해능은 자원 집약적인 프로세스이고, 전체 장면을 초고도로 분해하는 것은 디바이스 사용자에게 선호되는 것보다 더 많은 양의 시간 또는 디바이스 자원들을 취할 수 있다. 따라서, 초고도 분해능 프로세스에서 효율을 개선하는 시스템들 및 방법들이 요구될 수 있다.
[0003] 사용자-선택 관심 영역에 대한 이미지 품질을 개선하기 위한 방법들, 디바이스들, 시스템들 및 컴퓨터 판독 가능 매체가 설명된다. 일 실시예는 디바이스의 카메라 모듈을 사용하여, 장면(scene)의 적어도 하나의 이미지를 캡처하는 단계, 관심 영역을 식별하는 사용자 입력을, 디바이스에서, 수신하는 단계 ― 관심 영역은 적어도 하나의 이미지의 완전한 영역보다 더 적은, 장면의 적어도 하나의 이미지의 부분을 식별함 ― , 및 관심 영역의 더 높은 분해능(resolution) 이미지와 연관된 고분해능 그리드(grid)를 생성하고, 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들을 식별하고 ― 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 카메라 모듈에 의해 캡처된 정보를 포함함 ― , 고분해능 그리드와 하나 이상의 저분해능 그리드들 각각 간의 정렬을 결정하고, 그리고, 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 고분해능 그리드의 각각의 포인트를 파퓰레이팅(populating)함으로써, 장면의 적어도 하나의 이미지를 사용하여 관심 영역의 더 높은 분해능 이미지를 생성하는 단계를 포함하는 방법일 수 있다.
[0004] 그러한 방법의 부가적인 실시예들은, 장면의 적어도 하나의 이미지가 관심 영역을 식별하는 사용자 입력의 수신 전에 캡처되고, 관심 영역을 식별하는 사용자 입력이, 장면이 디스플레이 출력 상에 디스플레이될 때, 적어도 하나의 이미지의 부분을 식별하는 디스플레이 출력 상의 터치 스크린 입력인 경우에, 기능할 수 있다.
[0005] 그러한 방법의 부가적인 실시예들은, 장면의 적어도 하나의 이미지가 관심 영역을 식별하는 사용자 입력의 수신 후에 캡처되는 경우에, 기능할 수 있다.
[0006] 그러한 방법의 부가적인 실시예들은, 장면의 적어도 하나의 이미지가 장면의 단일 이미지로 구성되고, 관심 영역의 더 높은 분해능 이미지를 생성하는 단계가, 장면의 단일 이미지로부터 관심 영역의 더 높은 분해능 이미지를 생성하기 위해 장면의 단일 이미지에서 식별된 패치 리던던시들(patch redundancies)을 사용하는 단계를 포함하는 경우에, 기능할 수 있다.
[0007] 그러한 방법의 부가적인 실시예들은, 장면의 적어도 하나의 이미지의 캡처 전에, 관심 영역의 더 높은 분해능 이미지를 생성하는데 사용하기 위해 캡처할 다수의 이미지들을 선택하는 사용자 입력을, 디바이스에서, 수신하는 단계를 더 포함할 수 있고, 적어도 하나의 이미지를 캡처하는 단계는 장면의 다수의 이미지들을 자동적으로 캡처하는 단계를 포함하고, 관심 영역의 더 높은 분해능 이미지를 생성하는 단계는 관심 영역의 외부의 장면의 더 높은 분해능 이미지 부분들 생성하지 않고서 관심 영역의 더 높은 분해능 이미지를 생성하기 위해 다중-프레임 초고도 분해능 프로세스에서 다수의 이미지들의 각각의 이미지를 사용하는 단계를 포함한다.
[0008] 그러한 방법의 부가적인 실시예들은, 디바이스의 디스플레이 출력 상에 관심 영역의 더 높은 분해능 이미지를 디스플레이하는 단계를 더 포함할 수 있다.
[0009] 그러한 방법의 부가적인 실시예들은, 관심 영역의 더 높은 분해능 이미지가 디바이스의 디스플레이 출력 상에서 디스플레이되는 동안에, 디바이스 상에서 이용 가능한 자유로운 컴퓨터 프로세싱 유닛 사이클들을 식별하는 단계, 및 관심 영역의 더 높은 분해능 이미지가 디스플레이 출력 상에서 디스플레이되는 동안에, 장면의 적어도 하나의 이미지를 사용하여 관심 영역 외부의 적어도 하나의 이미지의 적어도 일부분의 제 2 더 높은 분해능 이미지를 생성하는 단계를 더 포함할 수 있다.
[0010] 그러한 방법의 부가적인 실시예들은 디바이스 상의 적어도 하나의 센서에 대한 센서 데이터를 캡처하는 단계, 및 센서 데이터와 적어도 하나의 이미지를 연관시키는 단계를 더 포함할 수 있고, 센서 데이터는 관심 영역의 더 높은 분해능 이미지를 생성하는데 사용된다.
[0011] 그러한 방법의 부가적인 실시예들은, 센서 데이터가 디바이스의 가속도계로부터의 모션 데이터를 포함하는 경우에, 기능할 수 있다.
[0012] 그러한 방법의 부가적인 실시예들은, 프리뷰(preview) 이미지로서 관심 영역의 더 높은 분해능 이미지를 디스플레이하는 단계, 프리뷰 이미지의 디스플레이에 응답하여, 관심 영역의 더 높은 분해능 이미지의 분해능에서 부가적인 증가를 요청하는 사용자 입력을 수신하는 단계, 및 관심 영역의 부가적인 더 높은 분해능 이미지와 연관된 부가적인 더 높은 분해능 그리드를 생성하고, 고분해능 그리드를 포함하는 하나 이상의 고분해능 그리드들을 식별하고, 부가적인 더 높은 분해능 그리드와 하나 이상의 고분해능 그리드들 각각 간의 정렬을 결정하고, 그리고, 하나 이상의 고분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 부가적인 더 높은 분해능 그리드의 각각의 포인트를 파퓰레이팅함으로써, 장면의 적어도 하나의 이미지를 사용하여 관심 영역의 부가적인 더 높은 분해능 이미지를 생성하는 단계를 더 포함할 수 있다.
[0013] 부가적인 실시예는 메모리, 사용자 입력 모듈, 센서를 포함하는 카메라 모듈, 및 메모리 및 카메라 모듈에 커플링된 프로세서를 포함하는 디바이스일 수 있고, 프로세서는 디바이스의 카메라 모듈을 사용하여, 장면의 적어도 하나의 이미지를 캡처하고, 관심 영역을 식별하는 사용자 입력을, 사용자 입력 모듈에서, 수신하고 ― 관심 영역은 적어도 하나의 이미지의 완전한 영역보다 더 적은, 장면의 적어도 하나의 이미지의 부분을 식별함 ― , 그리고 관심 영역의 더 높은 분해능 이미지와 연관된 고분해능 그리드를 생성하고, 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들을 식별하고 ― 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 카메라 모듈에 의해 캡처된 정보를 포함함 ― , 고분해능 그리드와 하나 이상의 저분해능 그리드들 각각 간의 정렬을 결정하고, 그리고, 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 고분해능 그리드의 각각의 포인트를 파퓰레이팅함으로써, 장면의 적어도 하나의 이미지를 사용하여 관심 영역의 더 높은 분해능 이미지를 생성하도록 구성된다.
[0014] 그러한 디바이스의 부가적인 실시예들은 디스플레이 출력을 더 포함할 수 있고, 장면의 적어도 하나의 이미지는 관심 영역을 식별하는 사용자 입력의 수신 전에 캡처되고, 사용자 입력 모듈은 디스플레이 출력의 터치 스크린 입력이다.
[0015] 그러한 디바이스의 부가적인 실시예들은, 프로세서가 디바이스의 디스플레이 출력 상에 관심 영역의 더 높은 분해능 이미지를 디스플레이하도록 추가로 구성되는 경우에, 기능할 수 있다.
[0016] 그러한 디바이스의 부가적인 실시예들은, 프로세서가 관심 영역의 더 높은 분해능 이미지가 디바이스의 디스플레이 출력 상에서 디스플레이되는 동안에, 프로세서 상에서 이용 가능한 자유로운 컴퓨터 프로세싱 유닛 사이클들을 식별하고, 그리고 관심 영역의 더 높은 분해능 이미지가 디스플레이 출력 상에서 디스플레이되는 동안에, 장면의 적어도 하나의 이미지를 사용하여 관심 영역 외부의 적어도 하나의 이미지의 적어도 일부분의 제 2 더 높은 분해능 이미지를 생성하도록 추가로 구성되는 경우에, 기능할 수 있다.
[0017] 그러한 디바이스의 부가적인 실시예들은, 장면의 적어도 하나의 이미지가 장면의 단일 이미지로 구성되고, 관심 영역의 더 높은 분해능 이미지를 생성하는 것은, 장면의 단일 이미지로부터 관심 영역의 더 높은 분해능 이미지를 생성하기 위해 장면의 단일 이미지에서 식별된 패치 리던던시들을 사용하는 것을 포함하는 경우에, 기능할 수 있다.
[0018] 그러한 디바이스의 부가적인 실시예들은, 프로세서가, 장면의 적어도 하나의 이미지의 캡처 전에, 관심 영역의 더 높은 분해능 이미지를 생성하는데 사용하기 위해 캡처할 다수의 이미지들을 선택하는 사용자 입력을, 디바이스에서, 수신하도록 추가로 구성되는 경우에, 기능할 수 있다.
[0019] 그러한 디바이스의 부가적인 실시예들은 프로세서에 커플링된 가속도계를 더 포함할 수 있고, 프로세서는 가속도계로부터 모션 데이터를 캡처하고, 모션 데이터와 적어도 하나의 이미지를 연관시키고, 그리고 모션 데이터를 사용하여 관심 영역의 더 높은 분해능 이미지를 생성하도록 추가로 구성된다.
[0020] 부가적인 실시예는 명령들의 세트를 포함하는 비일시적인 컴퓨터 판독 가능 저장 매체일 수 있고, 명령들은, 저장 매체에 커플링된 프로세서에 의해 실행될 때, 디바이스로 하여금 사용자-선택 관심 영역에 대한 이미지 품질을 개선하게 하고, 명령들은, 장면의 적어도 하나의 이미지를, 디바이스에서, 수신하는 것, 관심 영역을 식별하는 사용자 입력을, 디바이스에서, 수신하는 것 ― 관심 영역은 적어도 하나의 이미지의 완전한 영역보다 더 적은, 장면의 적어도 하나의 이미지의 부분을 식별함 ― , 및 관심 영역의 더 높은 분해능 이미지와 연관된 고분해능 그리드를 생성하고, 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들을 식별하고 ― 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 카메라 모듈에 의해 캡처된 정보를 포함함 ― , 고분해능 그리드와 하나 이상의 저분해능 그리드들 각각 간의 정렬을 결정하고, 그리고, 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 고분해능 그리드의 각각의 포인트를 파퓰레이팅함으로써, 장면의 적어도 하나의 이미지를 사용하여 관심 영역의 더 높은 분해능 이미지를 생성하는 것을 포함한다.
[0021] 부가적인 실시예들은, 명령들이 관심 영역의 더 높은 분해능 이미지가 디바이스의 디스플레이 출력 상에서 디스플레이되는 동안에, 디바이스 상에서 이용 가능한 자유로운 컴퓨터 프로세싱 유닛 사이클들을 식별하는 것, 및 관심 영역의 더 높은 분해능 이미지가 디스플레이 출력 상에서 디스플레이되는 동안에, 관심 영역 외부에 있는 적어도 하나의 이미지의 적어도 일부분의 제 2 더 높은 분해능 이미지를 생성하는 것을 더 포함하는 경우에, 기능할 수 있다.
[0022] 부가적인 실시예들은, 명령들이 프리뷰 이미지로서 관심 영역의 더 높은 분해능 이미지를 디스플레이하는 것, 프리뷰 이미지의 디스플레이에 응답하여, 관심 영역의 더 높은 분해능 이미지의 분해능에서 부가적인 증가를 요청하는 사용자 입력을 수신하는 것, 및 관심 영역의 부가적인 더 높은 분해능 이미지와 연관된 부가적인 더 높은 분해능 그리드를 생성하고, 고분해능 그리드를 포함하는 하나 이상의 고분해능 그리드들을 식별하고, 부가적인 더 높은 분해능 그리드와 하나 이상의 고분해능 그리드들 각각 간의 정렬을 결정하고, 그리고, 하나 이상의 고분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 부가적인 더 높은 분해능 그리드의 각각의 포인트를 파퓰레이팅함으로써, 장면의 적어도 하나의 이미지를 사용하여 관심 영역의 부가적인 더 높은 분해능 이미지를 생성하는 것을 더 포함하는 경우에, 기능할 수 있다.
[0023] 추가의 실시예들은 아래에 제공되는 상세한 설명으로부터 명백해질 것이다.
[0024] 하기의 도면들을 참조함으로써, 다양한 실시예들의 성질 및 장점들의 추가적인 이해가 실현될 수 있다. 첨부된 도면들에서는, 유사한 컴포넌트들 또는 특징들이 동일한 참조 라벨을 가질 수 있다. 추가로, 동일한 타입의 다양한 컴포넌트들은, 참조 라벨 및 그 뒤에 대시 기호 그리고 유사한 컴포넌트들 사이를 구별하는 제 2 라벨에 의해 구별될 수 있다. 명세서에서 제 1 참조 라벨만이 사용되는 경우, 제 2 참조 라벨과 관계없이, 본 설명은 동일한 제 1 참조 라벨을 갖는 유사한 컴포넌트들 중 어떤 컴포넌트에도 적용 가능하다.
[0025] 도 1a는 본원에 기재된 실시예들에 따른 초고도 분해능을 수행할 수 있는 카메라를 포함하는 디바이스의 양상들을 예시한다.
[0026] 도 1b는 본원에 기재된 실시예들에 따른 초고도 분해능을 수행할 수 있는 카메라를 포함하는 디바이스의 양상들을 예시한다.
[0027] 도 2는 본원에 기재된 실시예들에 따라 초고도 분해능을 수행하기 위한 방법을 설명한다.
[0028] 도 3은 본원에 설명된 실시예들에 따른, 높고 낮은 분해능 그리드들을 사용하여 초고도 분해능을 수행하기 위한 시스템들 및 방법들의 양상들을 예시한다.
[0029] 도 4는 다양한 실시예들에서 사용하기 위한 디바이스의 일례를 예시한다.
[0030] 도 5는 본원에 기재된 특정 실시예들에 따라 초고도 분해능을 수행하기 위한 방법을 설명한다.
[0031] 도 6은 특정 실시예들에 따라 사용될 수 있는 컴퓨팅 디바이스의 일 구현이다.
[0032] 도 7은 특정 실시예들에 따른 네트워크 컴퓨터 시스템의 일 구현이다.
[0033] 전술한 바와 같이, 본원에 기재된 실시예들은 초고도로 분해된 이미지가 생성되는 하나 이상의 소스 이미지들의 분해능보다 더 높은 분해능인 이미지를 생성하는 프로세스인 초고도 분해능에 관련된다. 본원에 기재된 실시예는, 디바이스의 사용자가 이미지 내의 관심 영역을 식별하고, 관심 영역만의 초고도 분해능 이미지를 생성하기 위해 프로세싱 자원들을 사용하는 것을 가능하게 함으로써, 초고도 분해능이 요구될 때, 디바이스 자원들의 효율적인 사용을 제공할 수 있고, 따라서 프로세싱 자원들을 보존하고 초고도 분해능 이미지의 더 빠른 프리젠테이션을 가능하게 한다.
[0034] 예를 들면, 여러 시트들의 페이퍼를 갖는 데스크톱의 이미지의 경우에, 스마트폰 사용자는 단일 시트의 페이퍼를 포함한 이미지의 일부의 선택을 가능하게 하는 인터페이스를 통해 폰 디스플레이에 이미지의 프리뷰를 제공하는 초고도 분해능 모듈을 활성화시킬 수 있다. 이것은, 오리지널 이미지 분해능에서 읽을 수 없었을 것인 초고도로 분해된 이미지 내의 한 시트의 페이퍼 상의 기록을 사용자가 식별하는 것을 가능하게 할 수 있다.
[0035] 다수의 타입들의 초고도 분해능이 가능하고, 본원에서 참조된 바와 같이, 초고도 분해능은 단일 소스 이미지 또는 다수의 소스 이미지들로부터 초고도로 분해된 이미지를 유도하는 프로세스들을 수반할 수 있다. 본원에 논의된 실시예들에 따라 사용될 수 있는 초고도 분해능 방법들의 예들은 다중-이미지 잡음 감소, 다수의 이미지들로부터의 서브-픽셀 필터링, 또는 단일 이미지를 사용하는 베이지안 유도(Bayesian Induction)를 포함한다.
[0036] 본원에 참조된 바와 같이 "장면"은 하나 이상의 관련 이미지들에서 디바이스의 카메라 모듈에 의해 캡처된 영역의 뷰 또는 장소이다. 따라서, 디바이스에 의해 캡처된 영화의 관련 이미지들은, 이미지들 각각이 정확한 동일 공간을 커버하지 않더라도, 동일한 장면의 이미지들일 수 있다. 따라서, 특정 실시예들에서, 장면 또는 장면의 부분은 또한 디바이스에 의해 캡처된 영역 또는 시야의 일부만을 포함하는 뷰 또는 장소를 지칭할 수 있다. 카메라 모듈 또는 디바이스 내의 센서들의 예들은 반도체 CCD(charge-coupled device) 및 CMOS(complementary metal-oxide-semiconductor) 또는 NMOS(N-type metal oxide-semiconductor) 내의 활성 픽셀 센서들을 포함할 수 있다.
[0037] 도 1a는 디스플레이(103)를 포함하는 하나의 디바이스(101)를 예시한다. 도 1a에 도시된 바와 같이, 디스플레이(103)는 디바이스(101)의 카메라 모듈에 의해 캡처될 수 있는 장면의 이미지(118)로 채워진다. 디바이스(101)는 간단히 전용 카메라 디바이스일 수 있거나, 센서를 포함하는 통합 카메라 모듈을 갖는 스마트폰과 같은 다기능 디바이스일 수 있다. 다른 실시예들에서, 디바이스(101)는 랩톱, 폰, 태블릿, 패블릿, 플러그-인 카메라 디바이스를 갖는 데스크톱, 또는 임의의 다른 그러한 컴퓨팅 디바이스와 같은 임의의 그러한 디바이스일 수 있다. 디스플레이(103) 상에서, 디스플레이(103) 상에 디스플레이되는 전체 장면의 이미지(118)의 일부인 이미지 부분(122a)을 포함하는 관심 영역(120)을 표시하는 점선이 도시된다. 관심 영역(120)은, 사용자가 디스플레이(103)의 에지들과 정렬된 직사각형을 생성하기 위해 디바이스(101)의 용량성 터치 스크린에 걸쳐 손가락을 드래그할 때, 생성될 수 있고, 여기서 관심 영역(120)의 코너들은 사용자 입력으로서 용량성 터치 스크린에 대한 초기 및 마지막 터치 입력들에 의해 정의된다. 대안적인 실시예들에서, 초고도 분해능 모듈은 자동 초고도 분해능을 위해 사용자가 선택한 기록과 같이 세부사항들로 이미지 또는 장면의 부분들을 자동적으로 식별하도록 구성될 수 있다.
[0038] 이어서, 도 1b는 식별된 관심 영역(120)이 관심 영역(120)에 대한 초고도로 분해된 이미지(122b)를 생성하기 위해 이미지(118)를 포함하는 하나 이상의 이미지들과 관련하여 사용되는 디바이스(101)의 다른 잠재적인 실시예를 도시한다. 초고도로 분해된 이미지(122b)는 디바이스(101)의 디스플레이(103) 상에 최대의 세부사항을 제공하도록 확장된다. 특정 실시예들에서, 이것은 사용자가 품질이 수용 가능한지를 결정하고, 부가적인 이미지들을 캡처하거나 관심 영역(120)의 다른 초고도 분해능 이미지의 생성을 위해 대안적인 초고도 분해능 설정들을 선택하는 것을 가능하게 할 수 있다. 대안적인 실시예들에서, 이것은, 관심 영역(120) 외부에 있는 이미지들에서 캡처된 장면의 부가적인 부분들이 디바이스(101) 상에서 이용 가능한 여분의 프로세싱 자원들을 사용하여 초고도로 분해되는 동안에, 사용자가 장면의 핵심적인 부분들을 조사하는 것을 가능하게 할 수 있다. 또 다른 실시예들에서, 관심 영역이 확장되는 대신에, 장면의 초고도로 분해된 부분은 전체 이미지의 더 높은 분해능 부분으로서 제자리에 디스플레이될 수 있고, 더 낮은 분해능 부분들은 제자리에 남겨진다.
[0039] 도 2는 이미지의 사용자-선택 부분을 초고도로 분해하기 위한 일 방법을 설명한다. 이러한 실시예에서, 방법은 디바이스의 카메라 모듈을 사용하여 장면의 적어도 하나의 이미지를 캡처함으로써 S202에서 시작된다. 앞서 설명된 바와 같이, 장면은 하나 이상의 정지 또는 비디오 이미지들에서 캡처된 영역 또는 이미지를 지칭한다. 이러한 캡처 프로세스는 디바이스의 카메라 설정 또는 비디오 설정의 부분일 수 있다. 이어서, S204는 관심 영역을 식별하는 사용자 입력을 디바이스에서 수신하는 것을 설명하고, 관심 영역은 완전한 이미지보다 더 적은 장면의 적어도 하나의 이미지의 일부를 식별한다. 앞서 설명된 바와 같이, 이것은 터치 스크린 선택 다음에 초고도로 분해될 이미지의 부분 주변에 형상을 그리는 것이 뒤따를 수 있다. 특정 실시예들에서, 사용자 입력은 적어도 하나의 이미지가 캡처되기 전에 수용될 수 있다. 다른 실시예들에서, 사용자 입력은 적어도 하나의 이미지가 캡처된 후에 수용된다. 또 다른 실시예들에서, 하나 이상의 이미지들은 사용자 입력이 수신되기 전에 캡처될 수 있고, 반면에 부가적인 이미지들은 사용자 입력이 수신된 후에 캡처될 수 있고, 이어서 모든 이미지들은 관심 영역을 초고도로 분해하는데 사용될 수 있다.
[0040] 이어서 S206은 장면의 적어도 하나의 이미지를 사용하여 관심 영역의 더 높은 분해능 이미지를 디바이스에 의해 생성하는 것을 설명한다. 도 2의 실시예에 의해 상세되는 이러한 프로세스는 S208 내지 S212에 의해 추가로 상세된다. S208은 관심 영역의 더 높은 분해능 이미지와 연관된 고분해능 그리드를 생성하는 것을 수반한다. 여기서 "그리드"는 이미지의 특정 분해능으로 정보를 표현하는데 사용될 수 있는 임의의 매트릭스, 데이터 구조 또는 정보를 지칭할 수 있다. 예를 들면, 1028 픽셀들 × 1028 픽셀들인 이미지에서, 이러한 이미지에 대한 "그리드"는 이러한 분해능으로 이러한 이미지에 대한 1028 × 1028 픽셀들에 의해 생성된 그리드에 대응할 수 있다. S208의 고분해능 그리드는 근본적으로 S204에서 사용자에 의해 식별된 관심 영역의 초고도로 분해된 이미지에 대응한다. S210에서, 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들은 프로세스에서 사용되는 각각의 이미지 부분의 픽셀 그리드에 대응하는 그리드를 식별하기 위한 위의 프로세스를 따름으로서 식별된다. 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 카메라 모듈에 의해 캡처된 정보를 포함한다. 각각의 저분해능 그리드는 표준 분해능 이미지로 고려될 수 있다. S211에서, 고분해능 그리드와 하나 이상의 저분해능 그리드들 각각 간의 정렬이 식별된다. 이것은 다수의 카메라 이미지들 간의 임의의 위상 차이들이 식별되고 관심 영역의 초고도로 분해된 이미지를 생성하는데 사용되는 것을 가능하게 한다. S212에서, 고분해능 그리드의 각각의 포인트는, 대응하는 픽셀이 저분해능 그리드들에서 존재하면, 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 파퓰레이팅(populated)된다. 특정 실시예들에서, 이것은 관심 영역의 프로세싱 집약적인 이미지 프로세싱 없이 관심 영역의 고분해능 이미지의 생성을 허용할 수 있다. 추가의 실시예들에서, 이것은, 관심 영역의 고품질 초고도로 분해된 이미지를 생성하기 위한 부가적인 이미지 프로세싱이 이어서 뒤따르는 간단히 제 1 단계일 수 있다.
[0041] 일단 관심 영역의 초고도로 분해된 이미지가 생성되면, S214에서, 디바이스의 디스플레이는 관심 영역의 초고도 분해능 이미지를 디스플레이할 수 있다. 앞서 언급된 바와 같이, 이것은 디스플레이의 완전한 스크린 줌으로 제공될 수 있거나, 오리지널 더 낮은 분해능 관심 영역 부분 대신에 오리지널 더 낮은 분해능으로 제공되는 장면의 주변 부분들에 디스플레이될 수 있다. 또 다른 실시예들에서, 관심 영역의 초고도 분해능 이미지는 초고도 분해능 모듈의 부분인 프리뷰 패널에 디스플레이될 수 있다. 그러한 모듈에서, 프리뷰 디스플레이는 관심 영역의 이미지의 분해능을 추가로 증가시키기 위한 사용자 인터페이스 옵션들을 부가적으로 포함할 수 있다. 따라서, 고분해능 그리드는 간단히 중간 분해능 이미지를 제공할 수 있고, 부가적인 이미지 개선이 수행될 수 있다. 이러한 선택적인 부가적인 개선의 부분으로서, S206의 프로세스는 근본적으로 S216에서 반복될 수 있다. 설명된 바와 같이, S216은 관심 영역의 원래 생성된 고분해능 이미지보다 더 높은 분해능으로 부가적인 이미지를 생성하는 것을 선택적으로 수반할 수 있다. 이것은, 관심 영역의 부가적인 더 높은 분해능 이미지와 연관된 부가적인 더 높은 분해능 그리드를 생성함으로써 이루어질 수 있다. 시스템은 S206으로부터의 고분해능 그리드를 포함하는 고분해능 그리드들 중 하나 이상을 식별할 수 있다. 이어서, S216은 부가적인 더 높은 분해능 그리드와 하나 이상의 고분해능 그리드들 각각 간의 정렬을 결정하는 것을 추가로 수반한다. 마지막으로, 부가적인 더 높은 분해능 그리드는, 고분해능 그리드가 S212에서 파퓰레이팅된 것과 동일한 방식으로, 하나 이상의 고분해능 그리드의 대응하는 픽셀들로부터의 정보로 파퓰레이팅된다. 이러한 프로세스는 관심 영역의 점점 더 초고도로 분해된 이미지들을 제공하기 위해 임의의 횟수로 반복될 수 있다. 이러한 프로세스는, 초고도 분해능 프로세스에 의해 보상되지 않는 이미지 잡음 및 출력 디스플레이의 품질에 의해서만 제약될 수 있다.
[0042] 추가의 예시로서, 도 3은 고분해능 그리드(322)와 정렬된 저분해능 그리드(312)의 예를 예시한다. 저분해능 그리드의 각각의 포인트(310)는 삼각형으로 예시되고, 고분해능 그리드(322)의 각각의 포인트(320)는 도 3에서 원형으로 예시된다. 도 2의 방법에서 설명된 바와 같이, 고분해능 그리드(322)의 각각의 포인트(320)는 초기에 비어 있고 포인트들(310)로부터 분리될 수 있다. 포인트들(310)은 하나의 픽쳐 이미지 또는 비디오의 하나의 프레임으로부터의 픽셀 데이터 또는 정보로서 고려될 수 있다. 각각의 저분해능 이미지로부터의 이들 포인트들 또는 픽셀들은 각각의 이미지와 연관된 저분해능 그리드에 대해 사용될 수 있다. 초고도 분해능 프로세스의 부분으로서, 저분해능 그리드(312)의 포인트들(310)은 고분해능 그리드(322)의 포인트들(320)과 연관된다. 도 3에 도시된 바와 같이, 저분해능 그리드(312)는 고분해능 그리드(322)와 동일한 영역을 커버할 것이지만, 동일한 영역에서 포인트들의 더 낮은 밀도를 가질 것이다. 초고도 분해능 프로세서의 부분으로서, 포인트들(320)과 매칭하는 포인트들(310)은 고분해능 그리드(322)의 대응하는 포인트들(320)에 대한 정보를 제공하는데 사용될 것이다. 이것은 원형 및 삼각형 둘 모두를 갖는 포인트들로서 도 3에 도시된다. 정렬된 대응하는 포인트들로부터의 정보를 직접적으로 사용하는 것은 관심 영역에 대한 고분해능 이미지를 생성하기 위해 고분해능 그리드(322)를 파퓰레이팅하기 위한 다른 더 프로세싱-집약적인 프로세스들보다 더 적은 프로세싱 로드(load)를 요구한다. 다수의 이미지들이 사용되면, 부가적인 저분해능 그리드들로부터의 부가적인 포인트들은 도 3에서 연관된 포인트들(310)을 갖지 않는 것으로 도시된 고분해능 그리드(322)의 포인트들(320)에 대한 정보를 제공하는데 사용될 수 있다. 특정 실시예들에서, 고분해능 그리드(322)에 대한 데이터 모두는 이러한 방식으로 생성될 수 있다. 다른 실시예들에서, 저분해능 그리드(312) 또는 다른 저분해능 그리드로부터의 직접적인 대응하는 포인트들을 갖지 않는 포인트들(320)은 정보를 갖는 주변 포인트들로부터 생성된 데이터를 사용하여, 보간 또는 다른 초고도 분해능 프로세스들을 사용하여 파퓰레이팅될 수 있다. 이것은 저분해능 그리드(312)와 같은 하나 이상의 저분해능 그리드들 내의 포인트들로서 카메라 이미지들로부터 직접적으로 취해진 정보를 보충하기 위해 다중-이미지 잡음 감소, 다수의 이미지들로부터의 서브-픽셀 필터링, 또는 베이지안 유도의 사용을 포함할 수 있다.
[0043] 따라서, 설명된 초고도 분해능은, 주어진 카메라 센서가 캡처할 수 있는 분해능보다 더 높은 분해능인 이미지를 생성하는 것을 지칭한다. 대체로, 초고도 분해능은 하나 또는 다수의 더 낮은 분해능 이미지들을 캡처하고 이어서 더 높은 분해능 이미지를 생성하기 위해 이러한 이미지들을 합병함으로써 이것을 달성한다. 그러나, 이러한 문제의 계산적으로 집약적인 성질은 그것이 불충분한 프로세싱 자원들을 통해 디바이스들 상의 상호작용적 특징인 것을 금지한다. 이것은 종종, 사용자가 모바일 디바이스로 이미지들을 캡처하고 이어서 다른 자원들에 대해 오프라인으로 그들을 프로세싱한다는 것을 의미한다.
[0044] 종종, 사용자는 이미지의 일부만의 고분해능 세부사항들에 관심을 갖는다. 따라서, 특정 실시예들은, 프리뷰 동안에 또는 이미지를 캡처한 후에, 사용자가 관심 영역(ROI)을 선택하는 것을 허용하고, 이어서 선택된 ROI를 초고도로 분해함으로써 앞서 언급된 문제를 해결할 수 있다. 이것은 사용자가 그/그녀가 초고도-분해능에서 관심을 갖는 영역을 선택하게 함으로써 달성된다. 이것은 프리뷰 모드에서 또는 제 1 이미지를 취한 후에 이루어질 수 있다. 다수의 이미지들(N)이 카메라 파이프라인으로부터 판독된다. 대응하는 ROI들이 모든 더 낮은 분해능 이미지들로부터 선택된다. 이들 더 낮은 분해능 ROI들이 초고도 분해능 알고리즘에 제공된다. 초고도 분해능 알고리즘은 사용자에 의해 선택된 ROI의 더 높은 분해능을 생성한다. 사용자에게 ROI의 더 높은 분해능 이미지가 제공된다. 이러한 더 높은 분해능 이미지는 디지털로 보간된 이미지를 도시하는 대안적인 해결책보다 품질 면에서 훨씬 더 양호할 수 있다. 이미지들의 수(N)는 사용자가 관심을 갖는 초고도 분해능 계수에 비례한다.
[0045] 속도 및 메모리에 대한 초고도 분해능 애플리케이션을 최적화하기 위해, 시스템은 관측된 픽셀 값들을 수정하지 않고서 소수의 M(<N) 개의 이미지들로 캡처된 N(>1) 개의 저분해능 이미지들을 합병할 수 있다. 예를 들면, 여기서 N은 16일 수 있고, M은 4일 수 있다. 이것은 다음의 방식으로 달성될 수 있는데, Z1, Z2,.., Zn 이 관측된 저분해능 이미지들이면, 목표는 각각의 축 상의 s의 계수만큼 Z1을 초고도로 분해함으로써 더 높은 분해능 이미지(Y)를 획득하는 것이다. 구체적으로, Z1이 W x H 치수들이면, Y는 sW x sH 치수들을 갖는다. 여기서 Z2,.., Zn은 치수들 W x H를 갖는 동일한 장면의 서브-픽셀 시프팅된 관측들이다. 초고도로 분해된 이미지(Y)에 대응하는 이미지 그리드는 초고도로 분해된 픽셀들의 수와 동일한 s2WH 개의 샘플들을 갖는다. 반면에, 이미지(Z1)에 대응하는 이미지 그리드는 WH 개의 픽셀들을 갖는다. Z1의 이미지 그리드가 관측들을 보간하지 않고서 Y의 더 큰 이미지 그리드와 매칭하도록 스케일링될 때, 이미지 그리드는 채워진 WH 개의 그리드 포인트들을 갖는다. 다시 말해서, (s2-1) WH 그리드 포인트들은 Z1의 이러한 업스케일링된 고분해능 그리드에서 비어 있다. 마찬가지로, 다른 저분해능 이미지들이 Y의 이미지 그리드의 크기와 매칭하도록 개별적으로 업스케일링될 때, 그들은 또한 차지된 WH 그리드 위치들 및 비어 있는 (s2-1) WH 그리드 위치들을 갖는다. 업스케일링된 Zi들에 대응하는 이들 개별적인 이미지 그리드들은 동일한 장면의 약간 시프팅된 버전이다. Y를 획득하기 위해, 이들 이미지 그리드들은 정렬될 필요가 있다. 그들을 정렬하는 하나의 방식은 호모그라피들(homographies)을 사용하는 것일 것이다. 대안적으로, 이들 그리드들을 정렬하기 위해 개별적인 픽셀들의 모션(예를 들면, 광학 흐름)이 계산될 수 있다.
[0046] 정렬 동안에, n x W x H와 동일한 관측된 픽셀 값들의 총수는 크기(sW x sH) 각각의 M 개의 이미지 그리드들로 축적될 수 있다. 하나의 실시예에서, 이것은 다음의 프로세스에 의해 달성될 수 있다. 이미지(Zi)의 k 번째 픽셀이 복제되어야 하는 그리드 위치가 계산된다. 결합된 이미지 그리드들 중 하나 내의 이러한 픽셀은, 이러한 위치가 비어 있는 경우에, 복제된다. 이것은 관측 중 임의의 것을 수정하지 않고서 N 개의 저분해능 이미지들을 m 개의 더 큰 이미지 그리드들로 합병한다.
[0047] 사용자가 특정 ROI를 초고도로 분해하는 것에 관심을 갖는 실시예들에서, 사용자-경험은 2 개의 방식들로 개선될 수 있다. 사용자가 ROI를 선택하는 동안에, 자유로운 CPU 사이클들이 존재할 수 있다. 이들 CPU 사이클들은 저분해능 이미지들을 정렬하는데 요구되는 변환을 추정하는데 사용될 수 있다. 그러한 변환의 2 개의 예들은 저분해능 이미지들 간의 호모그라피, 및 앞서 언급된 광학 흐름일 거이다. 일단 ROI가 선택되면, 시스템은 사용자에 의해 선택된 ROI를 초고도로 분해할 수 있다. 사용자가 초고도로 분해된 이미지의 세부사항들을 분석하는 동안에, 자유로운 CPU 사이클들이 다시 존재할 수 있다. 이들 자유로운 사이클들은 이미지와의 사용자 상호작용에 영향을 주지 않고서, 인근의 영역을 초고도로 분해하는데 사용될 수 있다. 이것은, 사용자가 전체 점진적인 초고도 분해능을 대기하지 않고서, 다양한 실시예들이 완전한 이미지를 점진적으로 초고도로 분해하는 것을 가능하게 하는데, 왜냐하면 사용자가 ROI의 초기 초고도로 분해된 이미지를 관측하고 초기 초고도로 분해된 이미지를 수용 또는 거절할지를 결정하는 동안에, 점진적인 부분 중 적어도 일부가 완료되기 때문이다. 사용자가 초기 초고도로 분해된 이미지를 관측한 후에 부가적인 초고도 분해능을 요청하면, 점진적으로 분해된 부분은 프로세싱 지연 없이 요청 시에 사용자에게 즉시 제공될 수 있다. 이어서, 사용자는 ROI의 이웃 부분들을 분석할 수 있다. 사용자가 점진적으로 초고도로 분해된 영역보다 더 큰 영역을 요청하여 프로세싱 지연이 여전히 발생할 수 있을지라도, 이것은 이웃 분석의 적어도 일부에 대해 사용자에게 끊김없는 경험을 제공한다.
[0048] 본원에 설명된 실시예들은 사용자가 장면 및 이미지와 상호작용하고 따라서 사용자들이 관심을 갖는 영역의 더 높은 분해능 세부사항들을 사용자들에게 제공하는 것을 가능하게 할 수 있다. 특정 실시예들은 제한된 프로세싱 자원들로 모바일 디바이스들에 대한 초고도 분해능 시간을 상당히 감소시켜서, 초고도 분해능이 모바일 폰과 같은 모바일 디바이스 상의 상호작용 특징이 되도록 허용할 수 있다. 실시예들은 ROI의 달성 가능한 분해능의 사용자들에 대한 즉각적인 피드백을 가능하게 할 수 있다. 이것은, 사용자가 이전 버전에 만족하지 않는 경우에, 부가적인 프로세싱 자원들이 이용 가능하지만 부가적인 또는 대안적인 저분해능 이미지들을 촬영하는 것이 불가능할 수 있는 나중 시간까지 대기하기보다는, 사용자들이 이미지들을 재캡처하는 것을 가능하게 할 수 있다. 본원의 실시예들은 오리지널 이미지들이 촬영된 직후 모바일 디바이스가 이미지를 초고도로 분해하는 것을 가능하게 하고, 따라서 초고도로 분해된 이미지들이 수용 불가한 경우에 부가적인 또는 대안적인 이미지들이 촬영되는 것을 가능하게 한다.
[0049] 도 4는 특정 실시예들에 따른 모바일 디바이스(400)의 일 구현을 이제 설명한다. 앞서 설명된 바와 같이, 모바일 디바이스(400)와 같은 디바이스들은 랩톱, 모바일 폰, 태블릿, 패블릿, 헤드 장착 디스플레이, 전용 카메라 디바이스, 디지털 비디오 기록기, 플러그-인 카메라 디바이스를 갖는 데스크톱, 또는 임의의 다른 그러한 컴퓨팅 디바이스를 포함할 수 있다. 도 4의 모바일 디바이스(400)는 초고도 분해능 모듈(421), 카메라 모듈(430), 프로세서(410) 및 모바일 디바이스(400)의 부분일 수 있는 임의의 다른 하드웨어, 소프트웨어 및/또는 펌웨어 기능을 사용하여 이미지의 부분을 초고도로 분해하는데 사용될 수 있다. 모바일 디바이스(400)는 또한 사용자 인터페이스와 함께 초고도로 분해된 이미지를 디스플레이할 수 있다. 특정 실시예들에서, 본원에 설명된 초고도 분해능은 메모리(420)에 저장될 수 있는 컴퓨터-판독 가능 명령들과 함께 프로세서(410)를 사용하여 구현될 수 있다. 초고도 분해능 모듈(421)은 출력 초고도로 분해된 이미지의 수용 가능한 특성들에 대한 한 세트의 사용자 선택들, 설정들 또는 임계치들을 포함할 뿐만 아니라, 출력 초고도로 분해된 이미지에 대한 수용 가능한 특성들을 달성하기 위해 이미지 입력들 및 분해능들을 선택하고 이미지 및 장면 특성들을 측정하기 위해 프로세싱할 수 있다.
[0050] 특정 실시예들에서, 모바일 디바이스(400)와 같은 디바이스가 본원에 설명된 실시예들에 따라 초고도 분해능을 구현하는 경우에, 하나 이상의 관련 정보의 조각들은 카메라 모듈(430) 또는 초고도 분해능 모듈(421)로부터의 정보 이외에 링크들(416 또는 446)로부터 수신될 수 있고, 이어서 임의의 관련 정보는 애플리케이션(424)의 부분 또는 메모리(420)의 비일시적인 스토리지 내의 부분으로서 메모리(420)에 저장될 수 있다.
[0051] 도 4에 도시된 실시예에서, 모바일 디바이스(400)는 다수의 컴포넌트들에서 동작들을 수행하기 위한 명령들을 실행하도록 구성된 프로세서(410)를 포함하고, 이 프로세서(410)는, 예컨대, 범용 프로세서 또는 휴대용 전자 디바이스 내의 구현에 적합한 마이크로프로세서일 수 있다. 프로세서(410)는 모바일 디바이스(400) 내의 복수의 컴포넌트들과 통신 가능하게 커플링된다. 이러한 통신 가능 커플링을 실현시키기 위해, 프로세서(410)는 버스(440)를 통해 다른 예시된 컴포넌트들과 통신할 수 있다. 버스(440)는 모바일 디바이스(400) 내에서 데이터를 전송하도록 적응된 임의의 서브시스템일 수 있다. 버스(440)는 복수의 컴퓨터 버스들일 수 있고, 그리고 데이터를 전송하기 위한 부가적인 회로를 포함할 수 있다.
[0052] 메모리(420)는 프로세서(410)에 커플링될 수 있다. 몇몇 실시예들에서, 메모리(420)는 단기 스토리지 및 장기 스토리지 둘 다를 제공하고, 그리고 실제 여러 유닛들로 분할될 수 있다. 메모리(420)는 휘발성일 수 있는데, 예컨대 정적 랜덤 액세스 메모리(SRAM:static random access memory) 및/또는 동적 랜덤 액세스 메모리(DRAM:dynamic random access memory)일 수 있고, 그리고/또는 비-휘발성일 수 있는데, 예컨대 판독-전용 메모리(ROM:read-only memory), 플래시 메모리 등일 수 있다. 또한, 메모리(420)는 탈착 가능한 스토리지 디바이스들, 예컨대 보안 디지털(SD:secure digital) 카드들을 포함할 수 있다. 따라서, 메모리(420)는 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 및 모바일 디바이스(400)에 대한 다른 데이터의 스토리지를 제공한다. 몇몇 실시예들에서, 메모리(420)는 상이한 하드웨어 모듈들(401)로 분산될 수 있다.
[0053] 몇몇 실시예들에서, 메모리(420)는 임의의 개수의 애플리케이션들(424)일 수 있는 복수의 애플리케이션 모듈들을 저장한다. 애플리케이션 모듈들은 프로세서(410)에 의해 실행될 특정 명령들을 포함한다. 부가하여, 대안적 실시예들에서, 다른 하드웨어 모듈들(401)이 애플리케이션들(424)의 일부들 또는 특정 애플리케이션들(424)을 실행할 수 있다. 부가하여, 특정 실시예들에서, 메모리(420)는 보안 메모리를 포함할 수 있고, 이 보안 메모리는, 복사하기 또는 개인 또는 보안 사진들과 같은 보안 정보에 대한 다른 허가되지 않은 액세스를 방지하기 위한 부가적인 보안 제어들을 포함할 수 있다.
[0054] 몇몇 실시예들에서, 메모리(420)는 운영 시스템(423)을 포함한다. 운영 시스템(423)은, 애플리케이션 모듈들에 의해 제공되는 명령들의 실행을 개시하기 위해, 그리고/또는 다른 하드웨어 모듈들(401)을 관리할 뿐만 아니라 안테나(414)를 통해 링크(416) 및/또는 안테나(444)를 통해 링크(446)로부터 정보를 각각 수신하기 위해 WAN 무선 트랜시버(412) 및 LAN 무선 트랜시버(442)를 사용할 수 있는 통신 모듈들과의 인터페이스들을 관리하기 위해 동작 가능할 수 있다. 운영 시스템(423)은, 스레딩, 자원 관리, 데이터 스토리지 제어 및 다른 유사한 기능을 비롯해 모바일 디바이스(400)의 컴포넌트들을 통해 다른 동작들을 수행하도록 적응될 수 있다.
[0055] 몇몇 실시예들에서, 모바일 디바이스(400)는 복수의 다른 하드웨어 모듈들(401)을 포함한다. 다른 하드웨어 모듈들(401) 각각은 모바일 디바이스(400) 내의 물리적 모듈이다. 그러나, 하드웨어 모듈들(401) 각각이 구조로서 영구적으로 구성되지만, 하드웨어 모듈들(401)의 개개의 하드웨어 모듈은 특정 기능들을 수행하도록 일시적으로 구성될 수 있거나 또는 일시적으로 활성화될 수 있다. 공통 예는, 셔터 릴리스 및 이미지 캡처를 위한 카메라 모듈(430)을 프로그래밍할 수 있는 애플리케이션 모듈이다. 하드웨어 모듈들(401)의 개개의 하드웨어 모듈은, 예컨대, 가속도계, Wi-Fi 트랜시버, 위성 내비게이션 시스템 수신기(예컨대, GPS 모듈), 압력 모듈, 온도 모듈, 오디오 출력 및/또는 입력 모듈(예컨대, 마이크로폰), 카메라 모듈, 근접 센서, ALS(alternate line service) 모듈, 용량성 터치 센서, 근거리장 통신(NFC) 모듈, 블루투스®1 트랜시버, 셀룰러 트랜시버, 자력계, 자이로스코프, 관성 센서(예컨대, 가속도계와 자이로스코프를 결합시키는 모듈), 주변광 센서, 상대 습도 센서, 또는 감지 출력을 제공하고 그리고/또는 감지 입력을 수신하기 위해 동작 가능한 임의의 다른 유사한 모듈일 수 있다. 몇몇 실시예들에서, 하드웨어 모듈들(401) 중 하나 이상의 기능들이 소프트웨어로 구현될 수 있다. 다양한 실시예들에서, 임의의 그러한 하드웨어 모듈들(401)로부터의 정보는, 초고도로 분해된 이미지를 디스플레이 유닛(403)으로 출력하기 위해 초고도 분해능 모듈(421)에 의해 카메라 모듈(430)로부터의 정보와 통합될 수 있다.
[0056] 모바일 디바이스(400)는, 링크(416) 및 링크(446)를 통한 통신들을 가능하게 하기 위해 무선 통신들을 위해 필요한 임의의 다른 하드웨어, 펌웨어, 또는 소프트웨어와 안테나(414) 및 안테나(444) 및 무선 트랜시버들(412 및 442)을 통합시킬 수 있는 무선 통신 모듈과 같은 컴포넌트를 포함할 수 있다. 이러한 무선 통신 모듈은, 액세스 포인트들 및 네트워크들을 통해, 데이터 소스들과 같은 다양한 디바이스들로부터 신호들을 수신하도록 구성될 수 있다. 다른 하드웨어 모듈들(401) 및 메모리(420) 내의 애플리케이션들(424)에 부가하여, 모바일 디바이스(400)는 디스플레이 출력(403) 및 사용자 입력 모듈(404)을 가질 수 있다. 디스플레이 출력(403)은 모바일 디바이스(400)로부터의 정보를 사용자에게 그래픽으로 나타낸다. 이 정보는 하나 이상의 애플리케이션 모듈들(424), 하나 이상의 하드웨어 모듈들(401), 이들의 결합, 또는 사용자에 대해 그래픽 콘텐츠를 (예컨대, 운영 시스템(423)에 의해) 분해하기 위한 임의의 다른 적절한 수단으로부터 도출될 수 있다. 예를 들면, 초고도 분해능 모듈(421)은 이미지 및 사용자 인터페이스를 디스플레이 출력(403) 상에 제공하기 위해 카메라 모듈(430) 및 운영 시스템(423)과 상호 작용할 수 있다. 사용자 인터페이스는 사용자 입력 모듈(404)에서 어떠한 입력들이 이미지의 일부를 초고도로 분해하는데 사용자에 의해 선택될 수 있는지를 설명할 수 있다. 특정 실시예에서, 사용자 인터페이스의 부분들은 ROI의 윤곽을 보여주는 터치스크린 상의 터치 입력에 응답하여 나타날 수 있다. 사용자 인터페이스는 또한, 이미지에 대한 업데이트들이 디스플레이 출력(403) 상에서 디스플레이되는 동안에, 초고도 분해능을 점증적으로 증가시키기 위한 가능한 사용자 입력들을 설명할 수 있다. 디스플레이 출력(403)은 액정 디스플레이(LCD:liquid crystal display) 기술, 발광 폴리머 디스플레이(LPD:light emitting polymer display) 기술, 또는 몇몇의 다른 디스플레이 기술일 수 있다. 몇몇 실시예들에서, 디스플레이 출력(403)은 용량성 또는 저항성 터치 스크린이고, 그리고 사용자와의 햅틱(haptic) 및/또는 촉각(tactile) 접촉을 감지할 수 있다. 이러한 실시예들에서, 디스플레이 출력(403)은 멀티-터치-감지 디스플레이를 포함할 수 있다. 그러한 실시예들에서, 사용자 입력 모듈(404) 및 디스플레이 출력(403)은 동일한 모듈일 수 있다. 사용자 입력 모듈(404)은 초고도로 분해된 이미지를 생성하는데 사용될 다수의 저분해능 이미지들로서 그러한 입력들에 대한 사용자 입력 선택들, 또는 디스플레이된 초고도로 분해된 이미지가 충분한 품질을 갖는지 또는 부가적인 초고도 분해능이 수행되어야 하는지에 대한 피드백을 수신할 수 있다. 이어서, 디스플레이 출력(403)은 디스플레이 출력(403) 상의 디스플레이를 위해 초고도 분해능 모듈(421)에 의해 출력된 초고도로 분해된 이미지를 포함하는 마지막 이미지를 디스플레이하는데 사용될 수 있다.
[0057] 모바일 디바이스의 부가적인 실시예들은 도 6에 대하여 하기에서 상세화되는 바와 같은 컴퓨팅 디바이스들 및 도 7에서 상세화되는 바와 같은 네트워크들의 다양한 부분들을 더 포함할 수 있다.
[0058] 도 5는, 모바일 디바이스와 같은 디바이스가 이미지의 부분적인 초고도 분해능을 구현할 수 있는 상세된 방법을 설명한다. S502에서, 모바일 디바이스 상의 초고도 분해능 모듈이 실행된다. 이것은 사용자 선택에 직접적으로 응답할 수 있거나, 사용자-선택 옵션에 응답하여 또는 카메라 모듈에 의해 캡처된 이미지가 초고도 분해능을 개시하기 위한 특정 기준을 만족시킨다는 결정에 응답하는 자동 실행일 수 있다. S504에서, 디바이스는 장면의 부분의 초고도 분해능 이미지의 생성에서 사용될 하나 이상의 이미지들에 대한 사용자 선택을 수신한다. 이것은 초고도 분해능 프로세스의 부분으로서 사용될 저분해능 입력 이미지들 및 대응하는 저분해능 그리드들의 수에 대응한다. 이것은 다시 사용자에 의해 직접적인 선택, 또는 이전에 선택된 기준에 응답하는 자동 선택일 수 있다.
[0059] S506에서, 이미지 프리뷰가 디바이스의 디스플레이 출력 상에 디스플레이될 수 있다. 특정 실시예들에서, 이것은 카메라 모듈에 의해 캡처되고 메모리에 저장되는 하나 이상의 이미지들을 포함할 수 있거나, 임의의 이미지들이 디바이스의 메모리에 저장되기 전에 카메라 모듈의 뷰 내의 현재 직접적인 이미지를 포함할 수 있다.
[0060] S508에서, 이미지 프리뷰의 부분인 관심 영역을 식별하는 사용자 입력이 수신된다. 이것은: 사용자 입력이 터치 스크린일 때 프리뷰에 대한 드로잉(drawing), 이미지 좌표들을 식별하는 텍스트 입력; 또는 관심 영역을 식별하도록 액세스되는 이전에 선택된 기준 세트일 수 있다. 관심 영역은, 이미지 프리뷰에 도시된 전체 장면 또는 전체 이미지의 초고도 분해능 이미지를 생성하는데 요구되는 자원들과 비교하여, 관심 영역의 초고도 분해능 이미지를 생성하는데 필요한 프로세서 자원들을 감소시키도록 선택된다.
[0061] S510에서, S504로부터의 선택된 수의 이미지들이 초고도 분해능 모듈에 의한 액세스를 위해 캡처 및 저장된다. S512에서, 관심 영역의 초고도로 분해된 이미지는 선택된 수의 이미지들 각각의 적어도 일부를 사용하여 생성된다. 이러한 프로세스는 도 3에 설명된 프로세스와 유사하거나 동일할 수 있다. S514에서, 관심 영역의 초고도 분해능 이미지는 이미지를 수용 또는 거절하기 위한 사용자 인터페이스를 통해 디바이스의 디스플레이 출력 상에 디스플레이된다. S516에서, 이미지가 수용되면, 프로세스는 S518로 진행된다. 이미지가 거절되면, 프로세스는 S504로 복귀하고, 관심 영역에 대한 이미지의 잠재적인 품질을 개선하기 위해 부가적인 이미지들 또는 프로세싱 옵션들이 선택될 수 있다. 프로세스가 진행되면, S518에서, 관심 영역의 초고도 분해능 이미지는 디바이스의 메모리에 저장된다. 이어서, 이것은 디바이스에 의해 출력 또는 디스플레이될 수 있다.
[0062] 추가의 실시예들에서, 디바이스는 이미지의 부분의 초고도 분해능을 우선순위화하기 위해 선택된 영역을 사용할 수 있고, 선택된 부분이 초고도로 분해된 포맷으로 사용자에게 디스플레이된 후에 이미지의 남아있는 부분을 자동적으로 초고도로 분해하기 시작할 수 있다. 또 다른 실시예들에서, 네트워크는 초고도 분해능 프로세스 중 일부 또는 전부에 대한 원격 컴퓨팅 자원들을 액세스하는데 사용될 수 있다. 또 다른 실시예들에서, 여분의 프로세싱 자원들이 이미지 프리뷰 단계 동안에 이용 가능하면, 디바이스는, 관심 영역이 사용자에 의해 선택되기 전에, 이미지 및/또는 이미지의 부분들의 초고도 분해능에 필요한 시간 또는 자원들을 추정할 수 있다. 이러한 정보는 사용자에게 제공될 수 있거나, 관심 영역 또는 전체 이미지에 대한 초고도 분해능의 프로세싱을 개선하는데 사용될 수 있다.
[0063] 도 6은 전자 디바이스(602)에서 이용될 수 있는 다양한 컴포넌트들을 예시한다. 디바이스(602) 또는 디바이스(602)의 임의의 컴포넌트는 본원에 설명된 실시예들에 따라 초고도 분해능을 구현하는 디바이스의 부분으로서 사용될 수 있거나, 그러한 실시예들에 따라 초고도 분해능을 구현하는 디바이스와 네트워킹되는 디바이스를 설명할 수 있다. 예시된 컴포넌트들은 동일한 물리적인 구조 내에 또는 별도의 하우징들 또는 구조들에 위치될 수 있다. 도 6과 관련하여 설명된 전자 디바이스(602)는 본 명세서에서 설명된 전자 디바이스들 및 무선 통신 디바이스 중 적어도 하나에 따라 구현될 수 있다. 전자 디바이스(602)는 프로세서(611)를 포함한다. 프로세서(611)는 범용 단일-칩 또는 멀티-칩 마이크로프로세서(예컨대, ARM), 특수 목적 마이크로프로세서(예컨대, 디지털 신호 프로세서(digital signal processor; DSP)), 마이크로제어기, 프로그래밍가능한 게이트 어레이 등일 수 있다. 프로세서(611)는 중앙 처리 유닛(CPU)으로 지칭될 수 있다. 단지 단일 프로세서(611)가 도 6의 전자 디바이스(602)에서 도시되어 있지만, 대안적인 구성에서는, 프로세서들(예컨대, ARM 및 DSP)의 조합이 이용될 수 있다. 초고도 분해능 이미지의 픽셀들로부터 그리드들을 결정하고 이미지의 초고도로 분해된 부분을 생성하거나, 도 2, 도 5 또는 본원에 설명된 구현들에 따라 작동하는 임의의 다른 그러한 초고도 분해능 프로세스의 엘리먼트들을 수행할 수 있는 임의의 프로세서가 상이한 실시예들에서 사용될 수 있다.
[0064] 전자 디바이스(602)는 또한 프로세서(611)와 전자 통신하는 메모리(605)를 포함한다. 즉, 프로세서(611)는 메모리(605)로부터 정보를 판독하고 및/또는 정보를 메모리(605)에 기록할 수 있다. 메모리(605)는 전자적 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수 있다. 메모리(605)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 자기 디스크 저장 매체들, 광학 저장 매체들, RAM 내의 플래시 메모리 디바이스들, 프로세서와 함께 포함된 온-보드 메모리, 프로그래밍가능한 판독 전용 메모리(programmable read-only memory; PROM), 소거가능 프로그래밍가능한 판독 전용 메모리(erasable programmable read-only memory; EPROM), 전기적으로 소거가능한 PROM(electrically erasable PROM; EEPROM), 레지스터들 및 기타 등등일 수 있으며, 그 조합들을 포함할 수 있다.
[0065] 데이터(609a) 및 명령들(607a)은 메모리(605) 내에 저장될 수 있다. 명령들(607a)은 적어도 하나의 프로그램들, 루틴들, 서브-루틴들, 함수들, 절차들 등을 포함할 수 있다. 다양한 실시예들에서, 이들은 메모리(605)에 명령들을 저장하는 컴퓨터 프로그램 물건을 포함할 수 있고, 여기서 명령들은 디바이스로 하여금 도 2, 도 5에 설명된 초고도 분해능, 또는 본원에 설명된 구현들에 따라 작동하는 임의의 다른 초고도 분해능 프로세스를 수행하게 하도록 프로세서(611)에 의해 실행될 수 있다. 명령들(607a)은 단일 컴퓨터 판독가능 스테이트먼트(statement) 또는 많은 컴퓨터 판독가능 스테이트먼트들을 포함할 수 있다. 명령들(607a)은 위에서 설명된 방법들 중 적어도 하나를 구현하기 위하여 프로세서(611)에 의해 실행 가능할 수 있다. 명령들(607a)을 실행하는 것은 메모리(605) 내에 저장된 데이터(609a)의 이용을 수반할 수 있다. 도 6은 (명령들(607a) 및 데이터(609a)로부터 유래될 수 있는) 프로세서(611)로 로딩되는 몇몇 명령들(607b) 및 데이터(609b)를 도시한다.
[0066] 전자 디바이스(602)는 또한 다른 전자 디바이스들과 통신하기 위한 적어도 하나의 통신 인터페이스들(613)을 포함할 수 있다. 통신 인터페이스(613)는 유선 통신 기술, 무선 통신 기술, 또는 양자에 기초할 수 있다. 상이한 타입들의 통신 인터페이스들(613)의 예들은 직렬 포트, 병렬 포트, 범용 직렬 버스(USB), 이더넷 어댑터, IEEE 1394 버스 인터페이스, 소형 컴퓨터 시스템 인터페이스(small computer system interface; SCSI) 버스 인터페이스, 적외선(infrared; IR) 통신 포트, 블루투스 무선 통신 어댑터, 및 기타 등등을 포함한다. 특정 실시예들에서, 통신 인터페이스(613)는 전자 디바이스(602) 상에서 동작하는 초고도 분해능 모듈에 대한 업데이트들을 수신하거나, 초고도 분해능에 관련된 서비스들을 제공하는 서버로 관심 영역들에 관한 정보 또는 사용자 선택들을 통신하는데 사용될 수 있다. 또 다른 실시예들에서, 이미지들, 이미지들의 부분들, 또는 이미지들의 초고도로 분핸된 부분들은 통신 인터페이스(613)를 통해 통신될 수 있다.
[0067] 전자 디바이스(602)는 또한 적어도 하나의 입력 디바이스들(686) 및 적어도 하나의 출력 디바이스들(684)을 포함할 수 있다. 상이한 종류들의 입력 디바이스들(686)의 예들은 키보드, 마우스, 마이크로폰, 원격 제어 디바이스, 버튼, 조이스틱, 트랙볼, 터치패드, 라이트펜 등을 포함한다. 예를 들어, 전자 디바이스(602)는 음향 신호들을 캡처하기 위한 적어도 하나의 마이크로폰들(606)을 포함할 수 있다. 하나의 구성에서, 마이크로폰(606)은 음향 신호들(예컨대, 보이스, 스피치)을 전기적 또는 전자적 신호들로 변환하는 트랜스듀서일 수 있다. 상이한 종류들의 출력 디바이스들(684)의 예들은 스피커, 프린터 등을 포함한다. 예를 들어, 전자 디바이스(602)는 적어도 하나의 스피커들(668)을 포함할 수 있다. 하나의 구성에서, 스피커(668)는 전기 또는 전자 신호들을 음향 신호들로 변환하는 트랜스듀서일 수 있다. 전자 디바이스(602) 내에 통상적으로 포함될 수 있는 하나의 구체적인 타입의 출력 디바이스는 디스플레이 디바이스(692)이다. 본 명세서에서 개시된 구성들과 함께 이용된 디스플레이 디바이스들(692)은 음극선관(CRT), 액정 디스플레이(LCD), 발광 다이오드(LED), 가스 플라즈마, 전계발광 등과 같은, 임의의 적합한 이미지 투영 기술을 이용할 수 있다. 디스플레이 제어기(690)는 또한, 메모리(605) 내에 저장된 데이터를, 디스플레이 디바이스(692) 상에 도시된 텍스트, 그래픽들, 및/또는 동영상들로 (적절할 때) 변환하기 위하여 제공될 수 있다. 다양한 실시예들에서, 디스플레이 디바이스(692)는, 디스플레이 출력(403)에 관련하여 설명된 바와 같이, 사용자 인터페이스와 함께, 저분해능 이미지들 및 초고도로 분해된 이미지들 둘 모두 또는 둘 모두의 조합을 디스플레이할 수 있다. 입력 디바이스(686)는 사용자 입력 모듈(404)에 관련하여 설명된 바와 같이 관심 영역들의 선택 및 초고로 분해능 설정들에 관련된 사용자 커맨드들을 수용하기 위해 사용될 수 있다.
[0068] 전자 디바이스(602)의 다양한 컴포넌트들은 적어도 하나의 버스들에 의해 함께 커플링될 수 있으며, 버스들은 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수 있다. 간결성을 위하여, 다양한 버스들은 도 6에서 버스 시스템(615)으로서 예시되어 있다. 도 6은 전자 디바이스(602)의 단지 하나의 가능한 구성을 예시한다는 것에 유의해야 한다. 다양한 다른 아키텍쳐들 및 컴포넌트들이 이용될 수 있다.
[0069] 본원에 설명된 다양한 실시예들에서, 컴퓨팅 디바이스들은 정보를 통신하기 위해 네트워킹될 수 있다. 예를 들면, 모바일 디바이스들(100 및 300)은 상술된 바와 같이 정보를 수신하도록 네트워킹될 수 있다. 추가로, 네트워크(930)는 더 복잡하고, 많은 상이한 디바이스들을 수반할 수 있다. 부가적으로, 이들 엘리먼트들 각각은 웹 서버들, 데이터베이스들 또는 본원에 설명된 바와 같이 오디오 성능을 개선하기 위한 정보에 대한 액세스를 제공하는 컴퓨터들과 같은 다른 디바이스들과의 네트워킹된 통신들에 개입할 수 있다.
[0070] 도 7은, 본원에 설명된 실시예들에 따라 초고도 분해능을 구현할 수 있는 디바이스에 대한 특정 기능을 인에이블하기 위해 다양한 실시예들에 따라 사용될 수 있는, 네트워킹된 컴퓨팅 디바이스들의 시스템(700)의 개략도를 예시한다. 다양한 실시예들에서, 시스템(700)의 엘리먼트들은 이미지 또는 사용자 선택 정보를 수집하거나, 이미지의 부분들을 프로세싱하거나 디바이스 상에서 구현되는 초고도 분해능 프로세스에 임의의 잠재적인 지원을 제공하도록 기능할 수 있다. 예를 들면, 특정 실시예들에서, 관심 영역은 모바일 디바이스 상에서 초고도로 분해될 수 있고, 장면의 남아있는 부분들은 네트워킹된 자원들을 사용하여 초고도로 분해될 수 있다.
[0071] 시스템(700)은 하나 이상의 사용자 컴퓨팅 디바이스들(705)을 포함할 수 있다. 사용자 컴퓨팅 디바이스들(705)은 도 6의 디바이스와 유사한 범용 퍼스널 컴퓨터들(단지 예로서, Microsoft® Windows®2 및/또는 Mac OS®3 운영 시스템들의 임의의 적절한 플레이버를 실행하는 랩톱 컴퓨터들 및/또는 퍼스널 컴퓨터들을 포함함) 및/또는 다양한 상업적으로 이용 가능한 UNIX® 4또는 UNIX-유사 운영 시스템들 중 임의의 운영 시스템을 실행하는 워크스테이션 컴퓨터들일 수 있다. 이들 사용자 컴퓨팅 디바이스들(705)은 또한, 본 발명의 방법들을 수행하도록 구성된 하나 이상의 애플리케이션들뿐만 아니라 하나 이상의 오피스 애플리케이션들, 데이터베이스 클라이언트 및/또는 서버 애플리케이션들, 및 웹 브라우저 애플리케이션들을 비롯한 다양한 애플리케이션들 중 임의의 애플리케이션을 가질 수 있다. 대안적으로, 사용자 컴퓨팅 디바이스들(705)은 임의의 다른 전자 디바이스, 예컨대, 씬(thin)-클라이언트 컴퓨터, 인터넷-가능 모바일 텔레폰, 및/또는 네트워크(예컨대, 하기에서 설명되는 네트워크(710))를 통해 통신할 수 있고 그리고/또는 웹 페이지들 또는 다른 타입들의 전자 문서들을 디스플레이 및 내비게이팅할 수 있는 퍼스널 디지털 어시스턴트(PDA)일 수 있다. 세 개의 사용자 컴퓨팅 디바이스들(705a-c)을 갖는 예시적 시스템(700)이 도시되지만, 임의의 개수의 사용자 컴퓨팅 디바이스들이 지원될 수 있다.
[0072] 본 발명의 특정 실시예들은 네트워크(710)를 포함할 수 있는 네트워킹된 환경에서 동작한다. 네트워크(710)는, 제한 없이 TCP/IP, SNA, IPX, AppleTalk®3 등을 비롯한 다양한 상업적으로 이용 가능한 프로토콜들 중 임의의 프로토콜을 사용하여 데이터 통신들을 지원할 수 있는, 당업자들에게 친숙한 임의의 타입의 네트워크일 수 있다. 단지 예로서, 네트워크(710)는, 제한 없이 이더넷 네트워크, 토큰-링 네트워크 등을 포함하는 로컬 영역 네트워크("LAN"); 광역 네트워크(WAN); 제한 없이 가상 전용 네트워크("VPN")를 포함하는 가상 네트워크; 인터넷; 인트라넷; 엑스트라넷; 공중 교환 전화 네트워크("PSTN"); 적외선 네트워크; 제한 없이 IEEE 802.11 프로토콜들 슈트, 기술분야에서 알려진 블루투스 프로토콜, 및/또는 임의의 다른 무선 프로토콜 중 임의의 프로토콜 하에서 동작하는 네트워크를 포함하는 무선 네트워크; 및/또는 이들 네트워크들 및/또는 다른 네트워크들의 임의의 결합일 수 있다. 네트워크(710)는 다양한 컴퓨팅 디바이스들에 의해 네트워크(710)에 대한 액세스를 가능하게 하기 위한 액세스 포인트들을 포함할 수 있다.
[0073] 특정 실시예들에서, 구현들은 네트워크(710)와 같은 네트워크를 통해 함께 네트워킹될 수 있는 모듈들을 포함할 수 있다. 예를 들면, 특정 실시예들에서, 카메라 모듈(430)과 같은 카메라는 프로세서(410)와 상이한 디바이스의 부분일 수 있다. 저분해능 이미지에 대한 이미지 데이터는 그러한 실시예들에서 카메라 모듈과 같은 카메라 모듈로부터 프로세서(410)와 같은 별개의 디바이스 내의 프로세서로 통신될 수 있다. 도 2의 방법을 구현하는 그러한 실시예에서, S202는 가능하게는 제 2 디바이스로부터의 네트워킹된 통신에 응답하여 제 1 디바이스에 의해 수행될 것이다. 이어서, 제 2 디바이스는 S204 내지 S212를 수행할 것이다. 다른 실시예들에서, 임의의 수의 상이한 디바이스들이 그러한 프로세스에 수반될 수 있다.
[0074] 본 발명의 실시예들은 하나 이상의 서버 컴퓨터들(760)을 포함할 수 있다. 서버 컴퓨터들(760) 각각은, 제한 없이, 위에서 논의된 것들 중 임의의 것, 뿐만 아니라 임의의 상업적으로(또는 자유롭게) 이용 가능한 서버 운영 시스템들을 포함하는 운영 시스템을 이용하여 구성될 수 있다. 서버들(760) 각각은 또한 하나 이상의 애플리케이션들을 실행할 수 있고, 이 애플리케이션들은 하나 이상의 사용자 컴퓨팅 디바이스들(705) 및/또는 다른 서버 컴퓨터들(760)에 서비스들을 제공하도록 구성될 수 있다. 특정 실시예들에서, 서버(760)는 네트워크(710)를 통해 초고도 분해능 모듈(421)과 같은 초고도 분해능 모듈을 모바일 디바이스(400)와 같은 디바이스에 제공할 수 있다.
[0075] 단지 예로서, 서버들(760) 중 하나는 웹 서버일 수 있고, 이 웹 서버는, 단지 예로서, 사용자 컴퓨팅 디바이스들(705)로부터 웹 페이지들 또는 다른 전자 문서들에 대한 요청들을 프로세싱하는데 사용될 수 있다. 또한, 웹 서버는 HTTP 서버들, FTP 서버들, CGI 서버들, 데이터베이스 서버들, Java®5 서버들 등을 포함하는 다양한 서버 애플리케이션들을 실행할 수 있다. 본 발명의 몇몇 실시예들에서, 웹 서버는 웹 페이지들을 서빙하도록 구성될 수 있고, 이 웹 페이지들은 본 발명의 방법들을 수행하기 위한 사용자 컴퓨팅 디바이스들(705) 중 하나 이상의 사용자 컴퓨팅 디바이스들 상의 웹 브라우저 내에서 동작될 수 있다. 이러한 서버들은 특정 IP 어드레스들과 연관될 수 있거나, 또는 특정 URL을 갖는 모듈들과 연관될 수 있고, 따라서 모바일 디바이스(400)에 제공되는 위치 서비스들의 부분으로서 지리적 포인트들의 보안 표시들을 제공하기 위해 모바일 디바이스(400)와 같은 모바일 디바이스와 상호작용할 수 있는 보안 내비게이션 모듈들을 저장할 수 있다. 특정 실시예들에서, 그러한 웹 서버는 초고도 분해능 모듈 또는 초고도 분해능 모듈에 대한 업데이트들을 모바일 디바이스에 제공하여, 모바일 디바이스가 본원에 설명된 실시예들에 따라 초고도 분해능을 구현하는 것을 가능하게 할 수 있다.
[0076] 추가적인 실시예들에 따라, 하나 이상의 서버들(760)은 파일 서버로서 기능할 수 있고, 그리고/또는 사용자 컴퓨팅 디바이스(705) 및/또는 다른 서버(760) 상에서 실행되는 애플리케이션에 의해 통합되는 다양한 실시예들의 방법들을 구현하는데 필요한 파일들(예컨대, 애플리케이션 코드, 데이터 파일들 등) 중 하나 이상을 포함할 수 있다. 대안적으로, 당업자들이 인식할 바와 같이, 파일 서버는 모든 필요한 파일들을 포함할 수 있고, 이는 이러한 애플리케이션이 사용자 컴퓨팅 디바이스(705) 및/또는 서버(760)에 의해 원격으로 호출되도록 허용한다. 구현-특정 필요들 및 파라미터들에 따라, 본원의 다양한 서버들(예컨대, 애플리케이션 서버, 데이터베이스 서버, 웹 서버, 파일 서버 등)에 대하여 설명된 기능들이 단일 서버 및/또는 복수의 전문화된 서버들에 의해 수행될 수 있음이 주목되어야 한다.
[0077] 특정 실시예들에서, 시스템은 하나 이상의 데이터베이스들(720)을 포함할 수 있다. 일 실시예에서, 데이터베이스(720)는 초고도 분해능을 위한 사용자 선택들 또는 사용자 기준을 저장할 수 있다. 초고도 분해능 모듈이 모바일 디바이스로 다운로딩될 때, 모바일 디바이스 또는 사용자에게 특정된 이전에 선택된 사용자 기준이 포함될 수 있다. 데이터베이스(들)(720)의 위치는 임의적인데: 단지 예로서, 데이터베이스(720a)는 서버(760a)(및/또는 사용자 컴퓨팅 디바이스(705))에 로컬로 있는(그리고/또는 이 서버에 있는) 스토리지 매체 상에 있을 수 있다. 대안적으로, 데이터베이스(720b)는 사용자 컴퓨팅 디바이스들(705) 또는 서버들(760) 중 임의의 것 또는 전부로부터, 데이터베이스(720b)가 (예컨대, 네트워크(710)를 통해) 이들 중 하나 이상과 통신할 수 있는 한, 원격일 수 있다. 실시예들의 특정 세트에서, 데이터베이스(720)는 당업자들에게 친숙한 스토리지-영역 네트워크("SAN")에 있을 수 있다. (마찬가지로, 사용자 컴퓨팅 디바이스들(705) 또는 서버들(760)에 기여하는 기능들을 수행하기 위한 임의의 필요한 파일들이 적절할 때, 개개의 컴퓨터 상에 로컬로 그리고/또는 원격으로 저장될 수 있다.) 실시예들의 하나의 세트에서, 데이터베이스(720)는 SQL-포맷팅된 커맨드들에 응답하여 데이터를 저장, 업데이트, 및 리트리빙하도록 적응되는 관계형 데이터베이스, 예컨대 Oracle®5 데이터베이스일 수 있다. 데이터베이스는 예컨대, 위에서 설명된 것과 같은 데이터베이스 서버에 의해 제어 및/또는 유지될 수 있다.
[0078] 위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시예들이 적절할 때 다양한 절차들 또는 컴포넌트들을 생략, 치환, 또는 부가할 수 있다. 예컨대, 대안적 구성들에서는, 설명된 방법들이 설명된 것과 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 단계들이 부가, 생략, 및/또는 결합될 수 있다. 또한, 특정 실시예들에 대하여 설명된 특징들은 다양한 다른 실시예들에서 결합될 수 있다. 실시예들의 상이한 양상들 및 엘리먼트들이 유사한 방식으로 결합될 수 있다.
[0079] 상기 설명에서, 참조 번호들은 때때로 다양한 용어들과 관련하여 이용되었다. 용어가 참조 부호와 관련하여 이용될 경우, 이것은 도면들 중 적어도 하나에서 도시되는 특정 엘리먼트를 지칭하도록 의도될 수 있다. 용어가 참조 부호 없이 이용될 경우, 이것은 임의의 특정 도면에 대한 제한없이 일반적으로 그 용어를 지칭하도록 의도될 수 있다.
[0080] 용어들 "커플" 또는 "링크" 및 이들의 임의의 변형들은 엘리먼트들 간의 직접 또는 간접적인 접속을 표시할 수 있다. 예를 들면, 제 2 엘리먼트에 커플링된 제 1 엘리먼트는 제 2 엘리먼트에 직접적으로 접속되거나, 다른 엘리먼트를 통해 제 2 엘리먼트에 간접적으로 접속될 수 있다.
[0081] 용어 "프로세서"는 범용 프로세서, 중앙 프로세싱 유닛(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 널리 해석되어야 한다. 몇몇 상황들하에서, "프로세서"는 주문형 집적 회로(ASIC), 프로그램 가능 논리 디바이스(PLD), 필드 프로그램 가능 게이트 어레이(FPGA) 등을 지칭할 수 있다. 용어 "프로세서"는 프로세싱 디바이스들의 결합, 예를 들어 디지털 신호 프로세서(DSP) 및 마이크로프로세서의 결합, 복수의 마이크로프로세서들, 디지털 신호 프로세서(DSP) 코어와 함께 적어도 하나의 마이크로프로세서들, 또는 임의의 다른 그런 구성을 지칭할 수 있다.
[0082] 용어 "메모리"는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트를 넓게 포함하도록 해석되어야 한다. 용어 메모리는 다양한 타입들의 프로세서-판독가능 매체들, 이를테면 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 프로그램 가능 판독 전용 메모리(PROM), 소거 가능 프로그램 가능 판독 전용 메모리(EPROM), 전기 소거 가능 PROM(EEPROM), 플래시 메모리, 자기 또는 광학 데이터 스토리지, 레지스터들 등을 지칭할 수 있다. 메모리는, 프로세서가 메모리로부터 정보를 판독하고 및/또는 메모리에 정보를 기록할 수 있으면 프로세서와 전자 통신하는 것으로 말해진다. 프로세서에 일체형인 메모리는 프로세서와 전자 통신한다.
[0083] 용어들 "명령들" 및 "코드"는 임의의 타입의 컴퓨터 판독가능 명령문(들)을 포함하도록 널리 해석되어야 한다. 예를 들어, 용어들 "명령들" 및 "코드"는 프로그램들, 루틴들, 서브-루틴들, 기능들, 절차들 등 중 적어도 하나를 지칭할 수 있다. "명령들" 및 "코드"는 단일 컴퓨터 판독가능 스테이트먼트 또는 많은 컴퓨터 판독가능 스테이트먼트들을 포함할 수 있다.
[0084] 본원에 설명된 구성들 중 어느 하나와 관련하여 설명된 특징들, 기능들, 절차들, 컴포넌트들, 엘리먼트들, 구조들 등 중 적어도 하나가, 호환 가능한 경우에, 본원에 설명된 다른 구성들 중 임의의 것과 관련하여 설명된 기능들, 절차들, 컴포넌트들, 엘리먼트들, 구조들 등 중 적어도 하나와 결합될 수 있다는 것이 유의되어야 한다. 다시 말해서, 본원에 설명된 기능들, 절차들, 컴포넌트들, 엘리먼트들 등의 임의의 호환 가능한 조합은 본원에 개시된 시스템들 및 방법들에 따라 구현될 수 있다.
[0085] 설명되는 구성들의 전술한 제시는 임의의 당업자로 하여금, 본원에서 개시된 방법들 및 다른 구조들을 실시하거나 또는 이용 가능하도록 하기 위해서 제공된다. 본원에서 도시되고 설명되는 흐름도들, 블록도들, 및 다른 구조들은 단지 예들이며, 이들 구조들의 다른 변형들도 또한 본 개시물의 범위 이내이다. 이들 구성들에 대한 여러 변경들이 가능하며, 본원에서 제시된 일반적인 원리들은 다른 구성들에도 물론 적용될 수 있다. 따라서, 본 개시물은 위에서 나타낸 구성들에 한정하려는 것이 아니라, 원래 개시물의 일부를 이루는, 출원된 첨부 청구범위를 포함한, 본원에서 개시된 임의의 방식에서 개시된 원리들 및 신규한 특성들과 부합하는 최광의의 범위가 부여되도록 의도된다.
[0086] 당업자들은, 정보 및 신호들이 다양한 상이한 기술들 및 기법들 중 어느 것을 이용하여서도 표현될 수 있다는 점을 이해할 수 있을 것이다. 예를 들어, 상기 설명들 전반에 걸쳐서 참조될 수 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 및 심볼들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학장들 또는 광학 입자들, 또는 이들의 임의의 조합으로 표현될 수 있다.
[0087] 본원에서 개시된 바와 같은 구성의 구현예에 대한 중요한 설계 요구사항들은, 특히, 압축된 오디오 또는 오디오 시각 정보(예컨대, 본원에서 식별되는 예들 중 하나와 같은 압축 포맷에 따라서 인코딩된 파일 또는 스트림)의 플레이백과 같은, 계산-집약적인 애플리케이션들, 또는 광대역 통신들(예컨대, 8 킬로헤르츠보다 더 높은 샘플링 레이트들, 예컨대 6, 16, 32, 44.1, 48, 또는 192 kHz에서의 보이스 통신들)을 위한 애플리케이션들에 대해, (일반적으로 초 당 수백만의 명령들 또는 MIPS로 측정되는) 프로세싱 지연 및/또는 계산 복잡성을 최소화하는 것을 포함할 수 있다.
[0088] 본원에서 개시된 바와 같은 장치(예컨대, 본원에 설명된 기술을 수행하도록 구성된 임의의 디바이스)는 의도되는 애플리케이션에 적합한 것으로 여겨지는, 소프트웨어와, 및/또는 펌웨어와, 하드웨어의 임의의 조합으로 구현될 수 있다. 예를 들어, 이러한 장치의 엘리먼트들은 예를 들어, 동일한 칩 상에 또는 칩셋 내의 2 개 이상 칩들 사이에 상주하는 전자 및/또는 광학 디바이스들로서 제조될 수 있다. 이러한 디바이스의 일 예는 로직 엘리먼트들의 고정된 또는 프로그래밍가능 어레이, 예컨대 트랜지스터들 또는 로직 게이트들, 및 이들 엘리먼트들 중 임의의 엘리먼트는 하나 이상의 이러한 어레이들로서 구현될 수 있다. 이들 엘리먼트들 중 임의의 2 개 이상, 또는 심지어 모두는 동일한 어레이 또는 어레이들 내에 구현될 수 있다. 이러한 어레이 또는 어레이들은 하나 이상의 칩들 내에 (예를 들어, 2 개 이상 칩들을 포함하는 칩셋 내에) 구현될 수 있다.
[0089] 본원에서 개시된 장치의 여러 구현들의 하나 이상의 엘리먼트들은, 또한 마이크로프로세서들, 내장 프로세서들, IP(intellectual property) 코어들, 디지털 신호 프로세서들, FPGA들(field-programmable gate arrays), ASSP들(application-specific standard products), 및 ASIC들(application-specific integrated circuits)과 같은, 하나 이상의 고정된 또는 프로그래밍가능한 로직 엘리먼트들의 어레이들 상에 실행하도록 배열된 하나 이상의 명령들의 세트들로서 전체적으로 또는 부분적으로 구현될 수 있다. 본원에서 개시된 바와 같은 장치의 구현예의 여러 엘리먼트들 중 임의의 엘리먼트는 또한 하나 이상의 컴퓨터들(예컨대, 또한 "프로세서들"로 지칭되는, 명령들의 하나 이상의 세트들 또는 시퀀스들을 실행하도록 프로그래밍된 하나 이상의 어레이들을 포함하는 머신들)로서 구현될 수 있으며, 이들 엘리먼트들 중 임의의 2 개 이상, 또는 심지어 모두는 동일한 이러한 컴퓨터 또는 컴퓨터들 내에 구현될 수 있다.
[0090] 본원에서 개시된 바와 같은 프로세싱을 위한 프로세서 또는 다른 수단은 예를 들어, 동일한 칩 상에 또는 칩내 2 개 이상 칩들 사이에 상주하는 하나 이상의 전자 및/또는 광학 디바이스들로서 제조될 수 있다. 이러한 디바이스의 일 예는 로직 엘리먼트들의 고정된 또는 프로그래밍가능 어레이, 예컨대 트랜지스터들 또는 로직 게이트들, 및 이들 엘리먼트들 중 임의의 엘리먼트는 하나 이상의 이러한 어레이들로서 구현될 수 있다. 이러한 어레이 또는 어레이들은 하나 이상의 칩들 내에 (예를 들어, 2 개 이상 칩들을 포함하는 칩셋 내에) 구현될 수 있다. 이러한 어레이들의 예들은 로직 엘리먼트들의 고정된 또는 프로그래밍가능 어레이들, 예컨대 마이크로프로세서들, 내장되는 프로세서들, IP 코어들, DSP들, FPGA들, ASSP들, 및 ASIC들을 포함한다. 본원에서 개시된 바와 같은 프로세싱을 위한 프로세서 또는 다른 수단은 또한 하나 이상의 컴퓨터들(예컨대, 명령들의 하나 이상의 세트들 또는 시퀀스들을 실행하도록 프로그래밍된 하나 이상이 어레이들을 포함하는 머신들) 또는 다른 프로세서들로서 구현될 수 있다. 본원에서 설명되는 바와 같은 프로세서는 작업들을 수행하거나 또는 본원에서 설명되는 방법의 구현의 절차에 직접 관련되지 않는 명령들의 다른 세트들, 예컨대 프로세서가 내장되는 디바이스 또는 시스템(예컨대, 오디오 감지 디바이스)의 또 다른 동작과 관련된 작업을 실행하는데 이용되는 것이 가능하다. 또한, 본원에서 개시된 바와 같은 방법의 부분이 오디오 감지 디바이스의 프로세서에 의해 수행되고, 그리고 방법의 또 다른 부분이 하나 이상의 다른 프로세서들의 제어 하에서 수행되는 것이 가능하다.
[0091] 당업자들은, 본원에서 개시된 구성과 관련하여 설명되는 여러가지 예시적인 모듈들, 로직 블록들, 회로들, 및 테스트들 및 다른 동작들이 전자적 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수 있음을 알 수 있을 것이다. 이러한 모듈들, 로직 블록들, 회로들, 및 동작들은 범용 프로세서, 디지털 신호 프로세서(DSP), ASIC 또는 ASSP, FPGA 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들, 또는 본원에서 개시된 바와 같은 구성을 발생하도록 설계된 이들의 임의의 조합을 구현되거나 또는 수행될 수 있다. 예를 들어, 이러한 구성은 하드- 와이어(hard-wired) 회로로서, 주문형 집적 회로 내에 제조되는 회로 구성으로서, 또는 비-휘발성 스토리지에 로드되는 펌웨어 프로그램 또는 머신-판독가능 코드로서 데이터 저장 매체로부터 로드되거나 또는 그에 로드되는 소프트웨어 프로그램으로서 적어도 부분적으로 구현될 수 있으며, 이러한 코드는 범용 프로세서 또는 다른 디지털 신호 프로세싱 유닛과 같은 로직 엘리먼트들의 어레이에 의해 실행가능한 명령들이다. 범용 프로세서는 마이크로프로세서일 수 있으며, 그러나 대안적으로는, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예컨대, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다. 소프트웨어 모듈은 RAM(random-access memory), ROM(read-only memory), 비휘발성 RAM(NVRAM), 예컨대 플래시 RAM, 소거가능한 프로그래밍가능 ROM(EPROM), 전기적 소거가능 프로그래밍가능 ROM(EEPROM), 레지스터들, 하드 디스크, 착탈식 디스크, 또는 CD-ROM과 같은 비일시적 저장 매체들에; 또는 당업계에 알려져 있는 임의의 다른 유형의 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고 그에 정보를 기록할 수 있도록 프로세서에 커플링된다. 대안적으로는, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있고, ASIC는 사용자 단말에 상주할 수 있다. 대안적으로는, 프로세서 및 저장 매체는 사용자 단말에 별개의 구성요소들로서 상주할 수 있다. 용어 "컴퓨터-프로그램 물건"은 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수 있는 코드 또는 명령들(예를 들면, "프로그램")과 관련된 컴퓨팅 디바이스 또는 프로세서를 지칭한다.
[0092] 본원에서 개시된 여러 방법들이 프로세서와 같은 로직 엘리먼트들의 어레이에 의해 수행될 수 있고, 본원에서 설명되는 바와 같은 장치의 여러 엘리먼트들이 이러한 어레이 상에서 실행하도록 설계된 모듈들로서 구현될 수 있다는 점에 유의한다. 본원에서 사용될 때, 용어 "모듈" 또는 "서브-모듈"은 컴퓨터 명령들(예컨대, 논리식들) 을 소프트웨어, 하드웨어 또는 펌웨어 형태로 포함하는 임의의 방법, 장치, 디바이스, 유닛 또는 컴퓨터-판독가능 데이터 저장 매체를 지칭할 수 있다. 다수의 모듈들 또는 시스템들은 하나의 모듈 또는 시스템에 결합될 수 있으며 하나의 모듈 또는 시스템이 동일한 기능들을 수행하기 위해 다수의 모듈들 또는 시스템들로 분리될 수 있는 것으로 이해되어야 한다. 소프트웨어 또는 다른 컴퓨터-실행가능한 명령들로 구현될 때, 프로세스의 엘리먼트들은 본질적으로 예컨대, 루틴들, 프로그램들, 오브젝트들, 구성요소들, 데이터 구조들, 및 기타 등등을 가진 관련된 작업들을 수행하는 코드 세그먼트들이다. 용어 "소프트웨어"는 소스 코드, 어셈블리어 코드, 머신 코드, 2 진 코드, 펌웨어, 매크로코드, 마이크로코드, 로직 엘리먼트들의 어레이에 의해 실행가능한 명령들의 임의의 하나 이상의 세트들 또는 시퀀스들, 및 이러한 예들의 임의의 조합을 포함하는 것으로 이해되어야 한다. 프로그램 또는 코드 세그먼트들은 프로세서-판독가능 저장 매체에 저장되거나 또는 전송 매체 또는 통신 링크를 통해서 반송파로 구현되는 컴퓨터 데이터 신호에 의해 송신될 수 있다.
[0093] 본원에서 개시된 방법들, 방식들, 및 기법들의 구현예들은 또한 (예를 들어, 본원에서 리스트된 바와 같은 하나 이상의 컴퓨터-판독가능 저장 매체들의 유형의, 컴퓨터-판독 가능 특징들에서) 로직 엘리먼트들(예컨대, 프로세서, 마이크로프로세서, 마이크로제어기, 또는 다른 유한 상태 머신)의 어레이를 포함하는 머신에 의해 판독가능하거나 및/또는 실행가능한 명령들의 하나 이상의 세트들로서 유형으로 구현될 수 있다. 용어 "컴퓨터-판독가능 매체"는 휘발성, 비휘발성, 착탈식 및 비-착탈식 저장 매체들을 포함하는, 정보를 저장 또는 전송할 수 있는 임의의 매체를 포함할 수 있다. 컴퓨터-판독가능 매체의 예들은 전자 회로, 반도체 메모리 디바이스, ROM, 플래시 메모리, 소거가능한 ROM(EROM), 플로피 디스켓 또는 다른 자기 스토리지, CD-ROM/DVD 또는 다른 광학 스토리지, 하드 디스크 또는 원하는 정보를 저장하는데 사용될 수 있는 임의의 다른 매체, 광섬유 매체, 라디오 주파수(RF) 링크, 또는 원하는 정보를 전달하는데 사용될 수 있고 액세스될 수 있는 임의의 다른 매체를 포함한다. 컴퓨터 데이터 신호는 전자 네트워크 채널들, 광 섬유들, 공기, 전자기, RF 링크들, 등과 같은 전송 매체를 통해서 전파할 수 있는 임의의 신호를 포함할 수 있다. 코드 세그먼트들은 인터넷 또는 인트라넷과 같은 컴퓨터 네트워크들을 경유하여 다운로딩될 수 있다. 어떠한 경우에도, 본 개시물의 범위는 이러한 실시형태들에 의해 한정되는 것으로 해석되어서는 안된다. 본원에서 설명하는 방법들의 작업들의 각각은 하드웨어로 직접, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 조합으로 구현될 수 있다. 본원에서 개시된 바와 같은 방법의 구현예의 전형적인 애플리케이션에서, 로직 엘리먼트들(예컨대, 로직 게이트들)의 어레이는 방법의 여러 작업들 중 하나, 하나보다 많거나, 또는 심지어 모두를 수행하도록 구성된다. 작업들 중 하나 이상의 (가능한 한 모두)는 또한 컴퓨터 프로그램 물건(예컨대, 디스크들, 플래시 또는 다른 비휘발성 메모리 카드들, 반도체 메모리 칩들, 등과 같은 하나 이상의 데이터 저장 매체들)에서 구현된, 로직 엘리먼트들(예컨대, 프로세서, 마이크로프로세서, 마이크로제어기, 또는 다른 유한 상태 머신)의 어레이를 포함하는 머신(예컨대, 컴퓨터) 에 의해 판독가능하거나 및/또는 실행가능한 코드(예컨대, 하나 이상의 명령들의 세트)로서 구현될 수 있다. 본원에서 개시된 바와 같은 방법의 구현예의 작업들은 또한 하나보다 많은 이러한 어레이 또는 머신에 의해 수행될 수 있다. 이들 또는 다른 구현예들에서, 작업들은 셀룰러 전화기와 같은 무선 통신용 디바이스 또는 이러한 통신 능력을 가지는 다른 디바이스 내에서 수행될 수 있다. 이러한 디바이스는 회선-교환 및/또는 패킷-스위칭 네트워크들과 (예컨대, VoIP 와 같은 하나 이상의 프로토콜들을 이용하여) 통신하도록 구성될 수 있다. 예를 들어, 이러한 디바이스는 인코딩된 프레임들을 수신하거나 및/또는 송신하도록 구성된 RF 회로를 포함할 수 있다.
[0094] 본원에서 개시된 여러 방법들은 핸드셋, 헤드셋, 또는 휴대형 정보단말기(PDA)와 같은 휴대형 통신 디바이스에 의해 수행될 수 있으며 본원에서 설명되는 여러 장치가 이러한 디바이스 내에 포함될 수 있는 것으로 명시적으로 개시된다. 전형적인 실시간(예컨대, 온라인) 애플리케이션이 이러한 모바일 디바이스를 이용하여 실시되는 전화기 대화이다.
[0095] 하나 이상의 예시적인 실시예들에서, 본원에서 설명되는 동작들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 이러한 동작들은 컴퓨터-판독가능 매체 상에 저장되거나, 또는 컴퓨터-판독가능 매체를 통해서 하나 이상의 명령들 또는 코드로서 송신될 수 있다. 용어 "컴퓨터-판독가능 매체들"은 컴퓨터-판독가능 저장 매체들 및 통신(예컨대, 송신) 매체들 양쪽을 포함한다. 비제한적인 예로서, 컴퓨터-판독가능 저장 매체들은 (동적 또는 정적 RAM, ROM, EEPROM, 및/또는 플래시 RAM을 제한 없이 포함할 수 있는) 반도체 메모리, 또는 강유전체, 자기저항, 오보닉, 고분자, 또는 상-변화 메모리와 같은 스토리지 엘리먼트들의 어레이; CD-ROM 또는 다른 광디스크 스토리지; 및/또는 자기디스크 스토리지 또는 다른 자기 저장 디바이스들을 포함할 수 있다. 이러한 저장 매체들은 정보를 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 저장할 수 있다. 통신 매체들은 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 반송하는데 이용될 수 있고 그리고 컴퓨터에 의해 액세스될 수 있는, 한 장소로부터 또 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한, 임의의 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선(DSL), 또는 무선 기술, 예컨대 적외선, 라디오, 및/또는 마이크로파를 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 무선 기술, 예컨대, 적외선, 라디오, 및/또는 마이크로파가 매체의 정의에 포함된다. 디스 크(disk) 및 디스크(disc)는, 본원에서 사용될 때, 컴팩트 디스크(CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크(DVD), 플로피 디스크 및 Blu-ray DiscTM 6를 포함하며, 디스크들(disks)은 데이터를 자기적으로 보통 재생하지만, 디스크들(discs)은 레이저를 통해 데이터를 광학적으로 재생한다. 앞에서 언급한 것들의 조합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
[0096] 본원에서 설명되는 바와 같은 장치의 구현의 하나 이상의 엘리먼트들은, 작업들을 수행하거나, 또는 장치가 내장되는 디바이스 또는 시스템의 또 다른 동작에 관련된 작업과 같은, 장치의 동작에 직접 관련되지 않는 명령들의 다른 세트들을 실행하는데 이용되는 것이 가능하다. 또한, 이러한 장치의 구현예의 하나 이상의 엘리먼트들은, 구조를 공통으로 갖는 것이 가능하다(예컨대, 상이한 시간들에서 상이한 엘리먼트들에 대응하는 코드의 부분들을 실행하는데 사용되는 프로세서, 상이한 시간들에서 상이한 엘리먼트들에 대응하는 작업들을 수행하도록 실행되는 명령들의 세트, 또는 상이한 시간들에서 상이한 엘리먼트들에 대한 동작들을 수행하는 전자 및/또는 광학 디바이스들의 배열).
[0097] 청구항들이 상기 예시된 정확한 구성 및 컴포넌트들로 제한되지 않는 것이 이해될 것이다. 다양한 수정들, 변화들 및 변형들은 청구항들의 범위에서 벗어남이 없이 본원에 설명된 시스템들, 방법들 및 장치의 어레인지먼트, 동작 및 상세들에서 이루어질 수 있다.
명세서에 대한 부록
1. "블루투스" 단어 마크 또는 로고들은 Bluetooth SIG, Inc.에 의해 소유된 등록 상표들이다. 다른 상표들 및 상호들은 그들 각각의 소유자들의 것들이다.
2. "마이크로소프트" 및 "윈도우즈"는 미국 및/또는 다른 국가들에서 Microsoft Corporation의 상표들 또는 등록 상표들 중 어느 하나이다.
3. "Mac OS" 및 "AppleTalk"는 미국 및 다른 국가들에서 등록된 Apple, Inc.의 등록 상표들이다.
4. "UNIX"는 오픈 그룹의 등록 상표이다.
5. "Java" 및 "Oracle"은 오라클 및/또는 그의 계열사들의 등록 상표들이다. 다른 명칭들은 그들 각각의 소유자들의 상표들일 수 있다.
6. "Blu-ray Disc"는 BDA(Blu-ray Disc Association)에 의해 소유된 상표이다.

Claims (26)

  1. 사용자-선택 관심 영역(user-selected region of interest)에 대한 이미지 품질을 개선하는 방법으로서,
    디바이스의 카메라 모듈을 사용하여, 장면(scene)의 적어도 하나의 이미지를 캡처하는 단계,
    관심 영역을 식별하는 사용자 입력을, 상기 디바이스에서, 수신하는 단계 ― 상기 관심 영역은 상기 적어도 하나의 이미지의 완전한 영역보다 더 적은, 상기 장면의 적어도 하나의 이미지의 부분을 식별함 ― , 및
    상기 관심 영역의 더 높은 분해능(resolution) 이미지와 연관된 고분해능 그리드(grid)를 생성하고,
    상기 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들을 식별하고 ― 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 상기 카메라 모듈에 의해 캡처된 정보를 포함함 ― ,
    상기 고분해능 그리드와 상기 하나 이상의 저분해능 그리드들 각각 간의 정렬을 결정하고, 그리고,
    상기 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 상기 고분해능 그리드의 포인트들을 파퓰레이팅(populating)함으로써,
    상기 장면의 적어도 하나의 이미지를 사용하여 상기 관심 영역의 더 높은 분해능 이미지를 생성하는 단계를 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  2. 제 1 항에 있어서,
    상기 장면의 적어도 하나의 이미지는 상기 관심 영역을 식별하는 사용자 입력의 수신 전에 캡처되고,
    상기 관심 영역을 식별하는 사용자 입력은, 상기 장면이 디스플레이 출력 상에 디스플레이될 때, 상기 적어도 하나의 이미지의 부분을 식별하는 상기 디스플레이 출력 상의 터치 스크린 입력인,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  3. 제 1 항에 있어서,
    상기 장면의 적어도 하나의 이미지는 상기 관심 영역을 식별하는 사용자 입력의 수신 후에 캡처되는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  4. 제 1 항에 있어서,
    상기 장면의 적어도 하나의 이미지는 상기 장면의 단일 이미지로 구성되고, 상기 관심 영역의 더 높은 분해능 이미지를 생성하는 단계는, 상기 장면의 단일 이미지로부터 상기 관심 영역의 더 높은 분해능 이미지를 생성하기 위해 상기 장면의 단일 이미지에서 식별된 패치 리던던시들(patch redundancies)을 사용하는 단계를 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  5. 제 1 항에 있어서,
    상기 방법은, 상기 장면의 적어도 하나의 이미지의 캡처 전에, 상기 관심 영역의 더 높은 분해능 이미지를 생성하는데 사용하기 위해 캡처할 다수의 이미지들을 선택하는 사용자 입력을, 상기 디바이스에서, 수신하는 단계를 더 포함하고,
    상기 적어도 하나의 이미지를 캡처하는 단계는 상기 장면의 다수의 이미지들을 자동적으로 캡처하는 단계를 포함하고,
    상기 관심 영역의 더 높은 분해능 이미지를 생성하는 단계는 상기 다수의 이미지들의 각각의 이미지에서 관심 영역을 식별하고, 상기 다수의 이미지들의 각각의 이미지에서 상기 식별된 관심 영역을 사용하여 상기 관심 영역의 더 높은 분해능 이미지를 생성하는 단계를 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  6. 제 1 항에 있어서,
    상기 디바이스의 디스플레이 출력 상에 상기 관심 영역의 더 높은 분해능 이미지를 디스플레이하는 단계를 더 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  7. 제 6 항에 있어서,
    상기 관심 영역 외부의 상기 적어도 하나의 이미지의 적어도 일부분의 제 2 더 높은 분해능 이미지를 생성하는 단계를 더 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  8. 제 1 항에 있어서,
    상기 방법은,
    상기 디바이스 상의 적어도 하나의 센서에 대한 센서 데이터를 캡처하는 단계, 및
    상기 센서 데이터와 상기 적어도 하나의 이미지를 연관시키는 단계를 더 포함하고,
    상기 센서 데이터는 상기 관심 영역의 더 높은 분해능 이미지를 생성하는데 사용되는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  9. 제 8 항에 있어서,
    상기 센서 데이터는 상기 디바이스의 가속도계로부터의 모션 데이터를 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  10. 제 1 항에 있어서,
    프리뷰(preview) 이미지로서 상기 관심 영역의 더 높은 분해능 이미지를 디스플레이하는 단계,
    상기 프리뷰 이미지의 디스플레이에 응답하여, 상기 관심 영역의 더 높은 분해능 이미지의 분해능에서 부가적인 증가를 요청하는 사용자 입력을 수신하는 단계, 및
    상기 관심 영역의 부가적인 더 높은 분해능 이미지와 연관된 제 2 더 높은 분해능 그리드를 생성하고,
    하나 이상의 고분해능 그리드들을 식별하고,
    상기 제 2 더 높은 분해능 그리드와 상기 하나 이상의 고분해능 그리드들 각각 간의 정렬을 결정하고, 그리고,
    상기 하나 이상의 고분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 상기 제 2 더 높은 분해능 그리드의 각각의 포인트를 파퓰레이팅함으로써,
    상기 장면의 적어도 하나의 이미지를 사용하여 상기 관심 영역의 제 2 더 높은 분해능 이미지를 생성하는 단계를 더 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하는 방법.
  11. 디바이스로서,
    메모리,
    사용자 입력 모듈,
    센서를 포함하는 카메라 모듈, 및
    상기 메모리 및 상기 카메라 모듈에 커플링된 프로세서를 포함하고,
    상기 프로세서는,
    상기 디바이스의 카메라 모듈을 사용하여, 장면의 적어도 하나의 이미지를 캡처하고,
    관심 영역을 식별하는 사용자 입력을, 상기 사용자 입력 모듈에서, 수신하고 ― 상기 관심 영역은 상기 적어도 하나의 이미지의 완전한 영역보다 더 적은, 상기 장면의 적어도 하나의 이미지의 부분을 식별함 ― , 그리고
    상기 관심 영역의 더 높은 분해능 이미지와 연관된 고분해능 그리드를 생성하고,
    상기 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들을 식별하고 ― 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 상기 카메라 모듈에 의해 캡처된 정보를 포함함 ― ,
    상기 고분해능 그리드와 상기 하나 이상의 저분해능 그리드들 각각 간의 정렬을 결정하고, 그리고,
    상기 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 상기 고분해능 그리드의 포인트들을 파퓰레이팅함으로써,
    상기 장면의 적어도 하나의 이미지를 사용하여 상기 관심 영역의 더 높은 분해능 이미지를 생성하도록 구성되는,
    디바이스.
  12. 제 11 항에 있어서,
    상기 디바이스는 디스플레이 출력을 더 포함하고,
    상기 장면의 적어도 하나의 이미지는 상기 관심 영역을 식별하는 사용자 입력의 수신 전에 캡처되고,
    상기 사용자 입력 모듈은 상기 디스플레이 출력의 터치 스크린 입력인,
    디바이스.
  13. 제 12 항에 있어서,
    상기 프로세서는 상기 디바이스의 디스플레이 출력 상에 상기 관심 영역의 더 높은 분해능 이미지를 디스플레이하도록 추가로 구성되는,
    디바이스.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 관심 영역의 더 높은 분해능 이미지가 상기 디바이스의 디스플레이 출력 상에서 디스플레이되는 동안에, 상기 프로세서 상에서 이용 가능한 자유로운 컴퓨터 프로세싱 유닛 사이클들을 식별하고, 그리고
    상기 관심 영역의 더 높은 분해능 이미지가 상기 디스플레이 출력 상에서 디스플레이되는 동안에, 상기 장면의 적어도 하나의 이미지를 사용하여 상기 관심 영역 외부의 상기 적어도 하나의 이미지의 적어도 일부분의 제 2 더 높은 분해능 이미지를 생성하도록 추가로 구성되는,
    디바이스.
  15. 제 11 항에 있어서,
    상기 장면의 적어도 하나의 이미지는 상기 장면의 단일 이미지로 구성되고, 상기 관심 영역의 더 높은 분해능 이미지를 생성하는 것은, 상기 장면의 단일 이미지로부터 상기 관심 영역의 더 높은 분해능 이미지를 생성하기 위해 상기 장면의 단일 이미지에서 식별된 패치 리던던시들을 사용하는 것을 포함하는,
    디바이스.
  16. 제 11 항에 있어서,
    상기 프로세서는,
    상기 장면의 적어도 하나의 이미지의 캡처 전에, 상기 관심 영역의 더 높은 분해능 이미지를 생성하는데 사용하기 위해 캡처할 다수의 이미지들을 선택하는 사용자 입력을, 상기 디바이스에서, 수신하도록 추가로 구성되는,
    디바이스.
  17. 제 11 항에 있어서,
    상기 디바이스는 상기 프로세서에 커플링된 가속도계를 더 포함하고,
    상기 프로세서는,
    상기 가속도계로부터 모션 데이터를 캡처하고,
    상기 모션 데이터와 상기 적어도 하나의 이미지를 연관시키고, 그리고
    상기 모션 데이터를 사용하여 상기 관심 영역의 더 높은 분해능 이미지를 생성하도록 추가로 구성되는,
    디바이스.
  18. 명령들의 세트를 포함하는 비일시적인 컴퓨터 판독 가능 저장 매체로서, 상기 명령들은, 상기 저장 매체에 커플링된 프로세서에 의해 실행될 때, 디바이스로 하여금 사용자-선택 관심 영역에 대한 이미지 품질을 개선하게 하고, 상기 명령들은,
    장면의 적어도 하나의 이미지를, 상기 디바이스에서, 수신하는 것,
    관심 영역을 식별하는 사용자 입력을, 상기 디바이스에서, 수신하는 것 ― 상기 관심 영역은 상기 적어도 하나의 이미지의 완전한 영역보다 더 적은, 상기 장면의 적어도 하나의 이미지의 부분을 식별함 ― , 및
    상기 관심 영역의 더 높은 분해능 이미지와 연관된 고분해능 그리드를 생성하고,
    상기 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들을 식별하고 ― 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 카메라 모듈에 의해 캡처된 정보를 포함함 ― ,
    상기 고분해능 그리드와 상기 하나 이상의 저분해능 그리드들 각각 간의 정렬을 결정하고, 그리고,
    상기 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 상기 고분해능 그리드의 포인트들을 파퓰레이팅함으로써,
    상기 장면의 적어도 하나의 이미지를 사용하여 상기 관심 영역의 더 높은 분해능 이미지를 생성하는 것을 포함하는,
    비일시적인 컴퓨터 판독 가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 명령들은,
    상기 관심 영역의 더 높은 분해능 이미지가 상기 디바이스의 디스플레이 출력 상에서 디스플레이되는 동안에, 상기 디바이스 상에서 이용 가능한 자유로운 컴퓨터 프로세싱 유닛 사이클들을 식별하는 것, 및
    상기 관심 영역의 더 높은 분해능 이미지가 상기 디스플레이 출력 상에서 디스플레이되는 동안에, 상기 관심 영역 외부에 있는 상기 적어도 하나의 이미지의 적어도 일부분의 제 2 더 높은 분해능 이미지를 생성하는 것을 더 포함하는,
    비일시적인 컴퓨터 판독 가능 저장 매체.
  20. 제 18 항에 있어서,
    상기 명령들은,
    프리뷰 이미지로서 상기 관심 영역의 더 높은 분해능 이미지를 디스플레이하는 것,
    상기 프리뷰 이미지의 디스플레이에 응답하여, 상기 관심 영역의 더 높은 분해능 이미지의 분해능에서 부가적인 증가를 요청하는 사용자 입력을 수신하는 것, 및
    상기 관심 영역의 부가적인 더 높은 분해능 이미지와 연관된 부가적인 더 높은 분해능 그리드를 생성하고,
    상기 고분해능 그리드를 포함하는 하나 이상의 고분해능 그리드들을 식별하고,
    상기 부가적인 더 높은 분해능 그리드와 상기 하나 이상의 고분해능 그리드들 각각 간의 정렬을 결정하고, 그리고,
    상기 하나 이상의 고분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 상기 부가적인 더 높은 분해능 그리드의 각각의 포인트를 파퓰레이팅함으로써,
    상기 장면의 적어도 하나의 이미지를 사용하여 상기 관심 영역의 부가적인 더 높은 분해능 이미지를 생성하는 것을 더 포함하는,
    비일시적인 컴퓨터 판독 가능 저장 매체.
  21. 제 18 항에 있어서,
    상기 명령들은,
    상기 관심 영역의 더 높은 분해능 이미지를 수용 또는 거절하기 위해 사용자 인터페이스를 통해 프리뷰 이미지로서 상기 관심 영역의 더 높은 분해능 이미지를 디스플레이하는 것을 더 포함하는,
    비일시적인 컴퓨터 판독 가능 저장 매체.
  22. 사용자-선택 관심 영역에 대한 이미지 품질을 개선하기 위한 디바이스로서,
    장면의 적어도 하나의 이미지를 수신하기 위한 수단,
    관심 영역을 식별하는 사용자 입력을 수신하기 위한 수단 ― 상기 관심 영역은 상기 적어도 하나의 이미지의 완전한 영역보다 더 적은, 상기 장면의 적어도 하나의 이미지의 부분을 식별함 ― , 및
    상기 관심 영역의 더 높은 분해능 이미지와 연관된 고분해능 그리드를 생성하기 위한 수단,
    상기 장면의 적어도 하나의 이미지의 부분과 연관된 하나 이상의 저분해능 그리드들을 식별하기 위한 수단 ― 각각의 저분해능 그리드는 하나의 이미지와 연관되고, 각각의 저분해능 그리드의 각각의 포인트는 카메라 모듈에 의해 캡처된 정보를 포함함 ― ,
    상기 고분해능 그리드와 상기 하나 이상의 저분해능 그리드들 각각 간의 정렬을 결정하기 위한 수단, 및
    상기 관심 영역의 초고도로 분해된 이미지를 생성하기 위해 상기 하나 이상의 저분해능 그리드들로부터의 대응하는 정렬된 픽셀로부터의 정보로 상기 고분해능 그리드의 포인트들을 파퓰레이팅하기 위한 수단을 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하기 위한 디바이스.
  23. 제 22 항에 있어서,
    상기 장면의 적어도 하나의 이미지를 디스플레이하고, 상기 관심 영역의 초고도로 분해된 이미지를 디스플레이하기 위한 수단을 더 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하기 위한 디바이스.
  24. 제 22 항에 있어서,
    상기 장면의 적어도 하나의 이미지를 수신하기 위한 수단은 무선 트랜시버를 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하기 위한 디바이스.
  25. 제 22 항에 있어서,
    사용자 입력에 응답하여 상기 관심 영역의 초고도로 분해된 이미지를 업데이트하기 위한 수단을 더 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하기 위한 디바이스.
  26. 제 22 항에 있어서,
    상기 관심 영역의 초고도로 분해된 이미지를 수용 또는 거절하기 위해 사용자 인터페이스를 디스플레이하기 위한 수단, 및
    상기 관심 영역의 초고도로 분해된 이미지를 수용하는 사용자 입력에 응답하여, 상기 관심 영역의 초고도로 분해된 이미지를 저장하기 위한 수단을 더 포함하는,
    사용자-선택 관심 영역에 대한 이미지 품질을 개선하기 위한 디바이스.
KR1020167000513A 2013-06-21 2014-06-20 사용자―선택 관심 영역을 초고도로 분해하기 위한 시스템들 및 방법들 KR20160021813A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361838144P 2013-06-21 2013-06-21
US61/838,144 2013-06-21
US14/309,551 2014-06-19
US14/309,551 US9635246B2 (en) 2013-06-21 2014-06-19 Systems and methods to super resolve a user-selected region of interest
PCT/US2014/043472 WO2014205384A1 (en) 2013-06-21 2014-06-20 Systems and methods to super resolve a user-selected region of interest

Publications (1)

Publication Number Publication Date
KR20160021813A true KR20160021813A (ko) 2016-02-26

Family

ID=51300809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167000513A KR20160021813A (ko) 2013-06-21 2014-06-20 사용자―선택 관심 영역을 초고도로 분해하기 위한 시스템들 및 방법들

Country Status (7)

Country Link
US (1) US9635246B2 (ko)
EP (2) EP4064175A1 (ko)
JP (1) JP6297682B2 (ko)
KR (1) KR20160021813A (ko)
CN (1) CN105308648B (ko)
ES (1) ES2914037T3 (ko)
WO (1) WO2014205384A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172550A1 (en) * 2013-12-16 2015-06-18 Motorola Mobility Llc Display tiling for enhanced view modes
US9667880B2 (en) 2014-08-22 2017-05-30 Qualcomm Incorporated Activating flash for capturing images with text
JP6459814B2 (ja) * 2015-07-17 2019-01-30 スター精密株式会社 プリンタの設定状態更新システム
CN105827866A (zh) * 2016-05-18 2016-08-03 努比亚技术有限公司 一种移动终端及控制方法
JP2017224970A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、および撮像装置
CN106101545B (zh) * 2016-06-30 2019-10-15 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2018047035A1 (en) 2016-09-12 2018-03-15 Semiconductor Energy Laboratory Co., Ltd. Memory device, driving method thereof, semiconductor device, electronic component, and electronic device
US11210764B2 (en) * 2017-06-21 2021-12-28 Fuji Corporation Apparatus for performing work on substrate
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
KR102340942B1 (ko) * 2017-11-17 2021-12-17 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시장치
US10740881B2 (en) * 2018-03-26 2020-08-11 Adobe Inc. Deep patch feature prediction for image inpainting
CN112369009B (zh) * 2018-08-08 2022-06-07 谷歌有限责任公司 用于创建场景的超分辨率图像的光学图像稳定移动
JP2021192471A (ja) * 2018-09-14 2021-12-16 ソニーグループ株式会社 表示制御装置および表示制御方法、並びにプログラム
US11082620B2 (en) 2018-09-26 2021-08-03 Qualcomm Incorporated Zoomed in region of interest
CN111062269B (zh) * 2019-11-25 2021-09-07 珠海格力电器股份有限公司 一种用户状态识别方法、装置、存储介质及空调
CN111489293A (zh) * 2020-03-04 2020-08-04 北京思朗科技有限责任公司 图像的超分辨率重建方法及装置
CN112348861B (zh) * 2020-11-02 2023-04-28 上海联影医疗科技股份有限公司 图像处理方法、装置、设备及存储介质
CN112770050B (zh) * 2020-12-31 2023-02-03 Oppo广东移动通信有限公司 视频展示方法及装置、计算机可读介质和电子设备
US20220368829A1 (en) * 2021-05-11 2022-11-17 Samsung Electronics Co., Ltd. Image super-resolution with reference images from one or more cameras
CN113709375B (zh) * 2021-09-06 2023-07-11 维沃移动通信有限公司 一种图像显示方法及其装置、电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970199B2 (en) * 2001-10-05 2005-11-29 Eastman Kodak Company Digital camera using exposure information acquired from a scene
US7058239B2 (en) 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
US7373109B2 (en) * 2003-11-04 2008-05-13 Nokia Corporation System and method for registering attendance of entities associated with content creation
JP2005286472A (ja) 2004-03-29 2005-10-13 Sanyo Electric Co Ltd 画像処理装置および画像処理方法
US7523078B2 (en) 2005-09-30 2009-04-21 Rockwell Scientific Licensing, Llc Bayesian approach for sensor super-resolution
US7956929B2 (en) * 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
DE102006006451A1 (de) 2006-02-10 2007-08-16 Siemens Ag Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Erzeugung hochaufgelöster Subtraktionsangiographie-Bilder
JP2008077501A (ja) * 2006-09-22 2008-04-03 Olympus Corp 画像処理装置及び画像処理制御プログラム
JP2008092297A (ja) * 2006-10-02 2008-04-17 Olympus Corp 画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体
JP2008306651A (ja) * 2007-06-11 2008-12-18 Olympus Corp 撮像システムおよびプログラム
CN100570022C (zh) 2007-07-23 2009-12-16 百奥迈科生物技术有限公司 PCR高通量构建siRNA全位点分子库制备方法
US8200046B2 (en) * 2008-04-11 2012-06-12 Drs Rsta, Inc. Method and system for enhancing short wave infrared images using super resolution (SR) and local area processing (LAP) techniques
US8259208B2 (en) 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2010015241A (ja) * 2008-07-01 2010-01-21 Hitachi Ltd 超解像撮像装置及び画像処理方法
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8667054B2 (en) * 2010-07-12 2014-03-04 Opus Medicus, Inc. Systems and methods for networked, in-context, composed, high resolution image viewing
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012185808A (ja) * 2011-02-17 2012-09-27 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置
US9990003B2 (en) * 2011-06-03 2018-06-05 Microsoft Technology Licensing, Llc Motion effect reduction for displays and touch input
US20130272609A1 (en) * 2011-12-12 2013-10-17 Intel Corporation Scene segmentation using pre-capture image motion

Also Published As

Publication number Publication date
ES2914037T3 (es) 2022-06-07
WO2014205384A1 (en) 2014-12-24
CN105308648A (zh) 2016-02-03
EP4064175A1 (en) 2022-09-28
US20140375865A1 (en) 2014-12-25
US9635246B2 (en) 2017-04-25
CN105308648B (zh) 2019-05-31
JP2016524423A (ja) 2016-08-12
JP6297682B2 (ja) 2018-03-20
EP3011537A1 (en) 2016-04-27
EP3011537B1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
EP3011537B1 (en) Systems and methods to super resolve a user-selected region of interest
KR102436593B1 (ko) 이미지 처리 방법 및 장치, 전자 기기와 기억 매체
TWI771645B (zh) 文本識別方法及裝置、電子設備、儲存介質
US9478006B2 (en) Content aware cropping
US9742995B2 (en) Receiver-controlled panoramic view video share
KR20210019537A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
JP5757592B2 (ja) 超解像画像を生成する方法，装置，コンピュータプログラム製品
US20130222629A1 (en) Methods, apparatuses, and computer program products for facilitating concurrent video recording and still image capture
US10181203B2 (en) Method for processing image data and apparatus for the same
US9313368B2 (en) Method for compressing image data collected by camera and electronic device for supporting the method
US10198831B2 (en) Method, apparatus and system for rendering virtual content
US11190653B2 (en) Techniques for capturing an image within the context of a document
US10616502B2 (en) Camera preview
CN111310482A (zh) 实时翻译方法、装置、终端及存储介质
KR102082365B1 (ko) 이미지 처리 방법 및 그 전자 장치
US9363526B2 (en) Video and image compression based on position of the image generating device
US20160140417A1 (en) Method and apparatus for image processing
WO2020078102A1 (zh) 图像增强方法、装置和计算机可读存储介质
JP2024502117A (ja) 画像処理方法、画像生成方法、装置、機器及び媒体
WO2011104698A2 (en) Method and apparatus providing for control of a content capturing device with a requesting device to thereby capture a desired content segment
US9826155B2 (en) Detecting a document
KR20130094493A (ko) 휴대 단말기에서 이미지를 출력하는 장치 및 방법
KR102599525B1 (ko) 관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템
WO2022061723A1 (zh) 一种图像处理方法、设备、终端及存储介质
US20240129619A1 (en) Method and Apparatus for Performing Control Operation, Storage Medium, and Control

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application