KR102620350B1

KR102620350B1 - 전자 디바이스에서의 비디오 이미지 데이터 처리

Info

Publication number: KR102620350B1
Application number: KR1020207003372A
Authority: KR
Inventors: 제임스 에이치. 재너드; 피터 제러드 랜드; 만주나스 서브레이 바트
Original assignee: 레드.컴, 엘엘씨
Priority date: 2017-07-05
Filing date: 2018-07-03
Publication date: 2024-01-02
Also published as: US11503294B2; US20190014319A1; US20210400272A1; JP2020526966A; US11818351B2; TW201911228A; WO2019010233A1; US20230224461A1; TWI772453B; CN110999298A; KR20200022496A; US11019336B2; EP3649783A1; JP7313330B2

Abstract

일부 실시형태에서, 비디오 이미지 데이터를 압축하기 위한 전자 디바이스는 하우징, 이미지 센서, 메모리 디바이스 및 하나 이상의 프로세서를 포함한다. 이미지 센서는 이미지 센서에 입사된 광으로부터 이미지 데이터를 발생시킬 수 있다. 하나 이상의 프로세서는 변환 계수를 획득하도록 이미지 데이터를 변환하고, 변환 계수를 양자화하고, 양자화된 변환 계수를 인코딩하고, 양자화된 변환 계수를 메모리 디바이스에 저장할 수 있다. 하나 이상의 프로세서는 적어도, 하나의 변환 계수가 포함되는 다수의 범위 중 하나의 범위를 결정하고, 하나의 변환 계수가 대응하는 범위 내의 값을 결정하고, 제1 알고리즘을 사용하여 상기 범위를 범위 코드로서 인코딩하고, 제2 알고리즘을 사용하여 상기 값을 값 코드로서 인코딩하는 것에 의해 양자화된 변환 계수를 인코딩할 수 있다.

Description

전자 디바이스에서의 비디오 이미지 데이터 처리

관련 출원에 대한 상호 참조

국내 우선권 주장이 본 출원의 출원 데이터 시트에서 식별되는 임의의 그리고 모든 출원은 37 CFR 1.57에 따라서 참고로 본 명세서에 원용된다.

고급 비디오 캡처 기능은 계속 발전하고 있다. 전문 영화 촬영가뿐만 아니라 점점 더 많은 수의 소비자도 전통적인 디지털 비디오 카메라에서뿐만 아니라 휴대폰/스마트폰, 태블릿 등을 포함하는 다른 비디오 카메라 장착 전자 디바이스에서 고품질 비디오 녹화 기능을 요구하고 있다.

본 명세서에 기술된 다양한 실시형태는 압축된 미가공(예를 들어, 베이어 패턴(Bayer pattern) 컬러 필터 어레이 또는 다른 유형의 컬러 필터 어레이에 따라서 모자이크된(mosaiced)), 고해상도(적어도 2k, 4k, 6k, 8k, 10k, 또는 이들 해상도 레벨의 임의의 것들 사이의 값의 범위) 비디오 이미지 데이터의 캡처 및 온 보드 저장(on-board storage)이 가능한 이미지 캡처 디바이스에 관한 것이다. 압축된 미가공 이미지 데이터는 비디오 데이터가 "현상"되지 않는다는 의미에서 "미가공"될 수 있어서, 특정 이미지 처리 이미지 현상 단계는 압축 및 저장 전에 이미지 데이터에서 수행되지 않는다. 이러한 단계는 보간(예를 들어, 디바이어링(de-Bayering) 또는 다른 디모자이킹(de-mosaicing)), 색상 처리, 색조 처리, 화이트 밸런스 및 감마 보정 중 하나 이상을 포함할 수 있다. 예를 들어, 압축된 미가공 이미지 데이터는 모자이킹(예를 들어, 색상 처리되지 않고 디모자이킹되지 않은), 색상 미처리, 색조 미처리, 미화이트 밸런스 및 미감마 보정 중 하나 이상을 포함할 수 있다. 오히려, 이러한 단계는 오프 보드 후처리(off-board post-processing)와 같이 저장 후로 연기될 수 있으며, 이에 의해 카메라에서의 특정 처리 결정을 "베이킹(baking in)"하는 대신에 창의적 유연성을 보존한다.

본 명세서에 기술된 이미지 처리 및 압축 기술은 다양한 폼 팩터로 구현될 수 있다. 예를 들어, 압축된 미가공 이미지 데이터의 압축 및 온 보드 저장을 위해 본 명세서에 기술된 기술은 통합 카메라(또는 전면 카메라(들) 및 후면 카메라(들)를 포함하는 다수의 카메라, 또는 소형 폼 팩터 카메라)를 갖는 스마트폰과 같은 비교적 소형의 폼 팩터 디바이스에서 구현될 수 있다. 예를 들어, 특정 실시형태에 따른 처리 기술은 비교적 제한된 전력 부담, 처리 능력, 및 전자 구성 요소의 통합 등을 위한 물리적 공간을 갖는 소형 폼 팩터 디바이스에서의 구현을 위해 맞춤화된다. 다른 예에서, 본 명세서에 기술된 압축 기술은 영화용 디지털 카메라를 포함하는 비교적 대형의 폼 팩터 카메라로 구현될 수 있다.

특정 양태에 따르면, 이미지 캡처 디바이스는 미가공 모자이크된 이미지 데이터를 캡처하고, 미가공 이미지 데이터를 압축하고, 이미지 데이터를 이미지 캡처 디바이스의 온 보드 메모리에 저장하도록 구성될 수 있다.

이미지 캡처 디바이스가 상주하는 전자 기기는 변환 계수를 획득하고 변환 계수를 압축하도록, 압축의 일부로서 이산 코사인 변환(DCT) 또는 다른 변환(상이한 주파수에서 진동하는 함수의 합에 관하여 데이터 포인트의 유한 수열을 정의하는 변환과 같은)을 사용하여 미가공 모자이크된 이미지 데이터를 변환하도록 구성될 수 있다. 일부 실시형태에 따르면, 전자 기기는 처리 목적을 위해 풀 이미지 프레임(full image frame)을 저장하는 이미지 프레임 메모리(예를 들어, 동적 랜덤 액세스 메모리(DRAM))를 사용하지 않고 압축을 수행하도록 구성될 수 있다. 예를 들어, 전자 기기는 임의의 제2 DRAM 또는 기타 메모리를 사용하는 일 없이 이미지 처리 칩(예를 들어, 주문형 집적 회로(ASIC) 또는 필드 프로그램 가능 게이트 어레이[FPGA])과 통합된 온 칩 제1 메모리(예를 들어, 정적 랜덤 액세스 메모리([RAM])를 사용하고 칩 외부에 위치된 임의의 제2 DRAM 또는 다른 메모리를 사용하는 일 없이 변환 계수를 압축할 수 있다.

특정 실시형태에서, 전자 기기는 그럼에도 불구하고 DRAM 또는 다른 제2 메모리 오프 칩을 포함할 수 있다. 그러나, 이러한 실시형태에서의 오프 칩 메모리는 픽셀 결함 보정, 어드레싱 픽셀 패턴 노이즈(addressing pixel pattern noise) 등과 같은 미가공 비디오 이미지 데이터의 압축 이외의 목적을 위해 사용될 수 있다. 이러한 것은 이미지 압축을 수행하도록 오프 칩 DRAM을 사용하는 스마트폰과 같은 기존의 이미지 캡처 디바이스와 다르다. 예를 들어, 일부 기존의 이미지 캡처 디바이스는 H.264 압축을 위한 모션 벡터를 계산하도록 오프 칩 DRAM을 사용한다. 본 명세서에 기술된 특정 실시형태는 DCT 기술을 사용하고, 이에 의해 모션 벡터를 계산하거나 오프 칩 메모리를 사용할 필요없이 메모리 효율적인 압축을 용이하게 한다.

풀 이미지 프레임 메모리(예를 들어, 오프 칩 DRAM)를 사용하지 않고 압축을 수행하는 것은 전력 효율이 향상되며(일부 구현에서 약 0.5 와트(W)만큼과 같이), 이러한 것은 스마트폰과 같은 소형 폼 팩터 디바이스에서 특히 유용하다. 특정 양태에 따르면, 이미지 캡처 디바이스의 전자 기기는 동작 동안 15 W 미만 또는 약 20W 미만을 소비한다.

특정 실시형태에서, 본 명세서에 개시된 특징은 가능한 많은 프레임을 실시간으로 디코딩하기 위한 접근법을 제공할 수 있고, 초당 24 프레임(fps)보다 빠른 속도로 압축 해제를 가능하게 할 수 있다. 더욱이, 일부 구현에서, 상기 접근법은 전자 디바이스의 그래픽 처리 유닛(GPU)의 광범위한 사용을 만들고, 동작의 상당한 병렬화를 허용하는 동시에 높은 이미지 품질을 유지하는 것을 가능하게 한다.

일부 양태에 따르면, 이미지 캡처 디바이스는 미가공 모자이크된 이미지 데이터가 전자 회로에 의해 처리(예를 들어, 압축)되는 타이밍을 제어하도록 구성된 클럭을 포함하고, 전자 회로는 일정 시간 동안 클럭이 멈추더라도 미가공 모자이크된 이미지 데이터를 정확하게 처리하도록 구성된다. 이러한 것은 적어도 미가공 모자이크된 이미지 데이터가 리프레쉬를 요구하지 않을 수 있는 메모리를 사용하여 전자 회로에 의해 처리될 수 있기 때문일 수 있다.

특정 양태에 따르면, 이미지 캡처 디바이스는 변환 계수를 획득하기 위해 미가공 모자이크된 이미지 데이터를 변환하도록 구성된다. 디바이스는 양자화된 계수를 획득하도록 변환 계수를 양자화하고, 다음 중 하나 이상을 수행하는 것에 의해 양자화된 계수 중 적어도 일부를 인코딩한다: 각각의 양자화된 계수를 복수의 범위 및 복수의 범위 내의 값으로 분할; 각각의 양자화된 계수가 포함되는 개별 범위에 따라서 각각의 양자화된 계수에 대한 허프만 코드(Huffman code)를 결정; 및 각각의 양자화된 계수가 포함된 개별 범위 내의 개별 값에 따라서 각각의 양자화된 계수에 대한 골롬 코드(Golomb code)를 결정.

일부 실시형태에서, 전자 디바이스가 개시된다. 전자 디바이스는 하우징, 이미지 센서, 메모리 디바이스 및 하나 이상의 프로세서를 포함한다. 이미지 센서는 이미지 센서에 입사된 광으로부터 이미지 데이터를 발생시킬 수 있다. 하나 이상의 프로세서는 이미지 데이터를 변환하여 변환 계수를 획득하고, 변환 계수를 양자화하여, 제1 양자화된 변환 계수, 및 제1 양자화된 변환 계수와는 상이한 제2 양자화된 변환 계수를 포함하는 양자화된 변환 계수를 획득하고, 양자화된 변환 계수를 인코딩하여 인코딩된 계수를 획득하고, 인코딩된 계수를 메모리 디바이스에 저장할 수 있다. 양자화된 변환 계수는 적어도 제1 양자화된 변환 계수가 포함되는 복수의 범위 중 제1 범위를 결정하고, 제2 양자화된 변환 계수가 포함되는 복수의 범위 중 제2 범위를 결정하고, 제1 양자화된 변환 계수가 대응하는 제1 범위 내의 제1 값을 결정하고, 제2 양자화된 변환 계수가 대응하는 제2 범위 내의 제2 값을 결정하고, 제1 알고리즘을 사용하여, 제1 범위를 제1 범위 코드로서 그리고 제2 범위를 제2 범위 코드로서 인코딩하고, 제1 알고리즘과는 상이한 제2 알고리즘을 사용하여, 제1 값을 제1 값 코드로서 그리고 제2 값을 제2 값 코드로서 인코딩하는 것에 의해 인코딩될 수 있다. 인코딩된 계수는 제1 범위 코드, 제2 범위 코드, 제1 값 코드 및 제2 값 코드를 포함할 수 있다.

이전 단락의 전자 디바이스는 다음 특징 중 하나 이상을 포함할 수 있다: 제1 알고리즘은 허프만 코드이거나, 또는 제2 알고리즘은 골롬 코드이다. 하나 이상의 프로세서는 이미지 데이터를 처리하는 동안 제1 알고리즘을 변경할 수 있다. 하나 이상의 프로세서는 이미지 데이터의 제1 프레임을 처리하는 것으로부터 이미지 데이터의 제2 프레임을 처리하는 것으로 제1 알고리즘을 변경할 수 있다. 제2 알고리즘은 하나 이상의 프로세서에 의해 이미지 데이터를 처리하는 동안 일정하게 유지될 수 있다. 양자화된 변환 계수는 제1 양자화된 변환 계수 및 제2 양자화된 변환 계수와는 상이한 제3 양자화된 변환 계수를 포함할 수 있고, 하나 이상의 프로세서는 적어도 제3 양자화된 변환 계수가 포함되는 복수의 범위 중 제3 범위를 결정하고, 제3 양자화된 변환 계수가 대응하는 제3 범위 내의 제3 값을 결정하지 않고, 제1 알고리즘을 사용하여 제3 범위를 제3 범위 코드로서 인코딩하는 것에 의해 양자화된 변환 계수를 인코딩할 수 있으며, 인코딩된 계수는 제3 범위 코드를 포함한다. 하나 이상의 프로세서는 이산 코사인 변환을 사용하여 이미지 데이터를 변환할 수 있다. 이산 코사인 변환은 16×16 이산 코사인 변환일 수 있다. 하나 이상의 프로세서는 적어도 양자화된 변환 계수의 AC 계수와 다르게 양자화된 변환 계수의 DC 계수를 인코딩하는 것에 의해 양자화된 변환 계수를 인코딩할 수 있다. 하나 이상의 프로세서는 제1 알고리즘에 대한 파라미터를 인코딩된 계수에 대한 프레임 헤더에 저장할 수 있다. 하나 이상의 프로세서는 적어도 이미지 데이터의 녹색 픽셀을 위한 제1 양자화 테이블, 및 이미지 데이터의 적색 픽셀 및 청색 픽셀을 위한 제2 양자화 테이블을 사용하는 것에 의해 변환 계수를 양자화할 수 있으며, 제1 양자화 테이블은 제2 양자화 테이블과 다르다. 이미지 데이터는 모자이크된 이미지 데이터일 수 있다. 이미지 데이터는 미가공 모자이크된 이미지 데이터일 수 있다. 하우징은 휴대폰 하우징일 수 있고, 휴대폰 하우징은 이미지 센서, 메모리 디바이스 및 하나 이상의 프로세서를 지지할 수 있다. 하우징은 이미지 센서, 메모리 디바이스 및 하나 이상의 프로세서를 포위할 수 있으며, 하우징은 휴대폰에 제거 가능하게 부착될 수 있다. 전자 디바이스는 이미지 데이터로부터 하나 이상의 프로세서에 의해 발생된 홀로그래픽 이미지를 나타내도록 구성된 디스플레이를 더 포함할 수 있다.

일부 실시형태에서, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법이 개시된다. 상기 방법은 이미지 센서에 의해, 이미지 센서에 입사된 광으로부터 이미지 데이터를 발생시키는 단계; 하나 이상의 프로세서에 의해, 변환 계수를 획득하도록 이미지 데이터를 변환하는 단계; 하나 이상의 프로세서에 의해, 제1 양자화된 변환 계수, 및 제1 양자화된 변환 계수와는 상이한 제2 양자화된 변환 계수를 포함하는 양자화된 변환 계수를 획득하도록 변환 계수를 양자화하는 단계; 하나 이상의 프로세서에 의해, 제1 양자화된 변환 계수를 포함하는 복수의 범위 중 제1 범위 및 제2 양자화된 변환 계수를 포함하는 복수의 범위 중 제2 범위를 결정하는 단계; 하나 이상의 프로세서에 의해, 제1 양자화된 변환 계수에 대응하는 제1 범위 내의 제1 값 및 제2 양자화된 변환 계수에 대응하는 제2 범위 내의 제2 값을 결정하는 단계; 하나 이상의 프로세서에 의해, 제1 범위를 제1 범위 코드로서 그리고 제2 범위를 제2 범위 코드로서 인코딩하는 단계; 하나 이상의 프로세서에 의해, 제1 값을 제1 값 코드로서 그리고 제2 값을 제2 값 코드로서 인코딩하는 단계; 및 상기 제1 범위 코드, 상기 제2 범위 코드, 상기 제1 값 코드 및 상기 제2 값 코드를 상기 메모리 디바이스에 저장하는 단계를 포함할 수 있다.

이전 단락의 방법은 다음 특징 중 하나 이상을 포함할 수 있다: 제1 및 제2 범위를 인코딩하는 단계 및 제1 및 제2 값을 인코딩하는 단계는 무손실 압축을 사용하여 수행될 수 있다. 제1 및 제2 범위를 인코딩하는 단계 및 제1 및 제2 값을 인코딩하는 단계는 가변 길이 코딩을 사용하여 수행될 수 있다. 상기 방법은, 메모리 디바이스로부터 제1 범위 코드, 제2 범위 코드, 제1 값 코드 및 제2 값 코드를 검색하는 단계; 및 하나 이상의 프로세서에 의해, 제1 범위, 제2 범위, 제1 값, 및 제2 값을 획득하도록 제1 범위 코드, 제2 범위 코드, 제1 값 코드 및 제2 값 코드를 디코딩하는 단계를 더 포함할 수 있다. 제1 범위 및 제2 범위는 허프만 코드를 사용하여 제1 범위 코드 및 제2 범위 코드로서 인코딩될 수 있거나, 또는 제1 값 및 제2 값은 골롬 코드를 사용하여 제1 값 코드 및 제2 값 코드로서 인코딩될 수 있다. 이미지 데이터를 변환하는 단계는 16×16 이산 코사인 변환을 사용하여 수행될 수 있다.

특정 실시형태가 특정 해상도(예를 들어, 적어도 2k 또는 적어도 4k) 또는 프레임 레이트(예를 들어, 적어도 초당 23 프레임)와 관련하여 설명되었지만, 이러한 실시형태는 이들 프레임 레이트 또는 해상도 레벨로 제한되지 않는다. 예를 들어, 실시형태에 의존하여(예를 들어, 센서 크기에 의존하여), 본 명세서에 기술된 압축된 미가공 이미지 데이터의 온 보드 저장을 위한 기술은 적어도 2k, 3k, 4k, 4.5k, 5k, 6k, 8k, 10k, 12k, 15k, 20k의 해상도 레벨 또는 그 이상의 해상도 레벨, 또는 전술한 해상도 레벨 중 임의의 해상도 레벨 사이의(예를 들어, 4k 내지 12k 사이의) 해상도 레벨을 달성할 수 있다. 유사하게, 실시형태에 의존하여, 본 명세서에 기술된 압축된 미가공 이미지 데이터의 온 보드 저장을 위한 기술은 적어도 23, 24, 25, 120, 150, 또는 240 또는 그 이상의 fps 또는 전술한 해상도 레벨 중 임의의 해상도 레벨 사이의(예를 들어, 23 fps와 120 fps 사이의) 프레임 레이트의 이미지 데이터를 캡처하거나 또는 저장할 수 있다.

도 1A는 예시적인 전화기의 평면, 정면 및 좌측면 사시도.
도 1B는 도 1A의 전화기의 저면, 배면, 및 우측면 사시도.
도 1C는 예시적인 카메라 모듈에 부착되도록 위치된 도 1A의 전화기의 측면도.
도 1D는 부착될 때 도 1A의 전화기 및 도 1C의 카메라 모듈의 사시도.
도 2는 예시적인 비디오 카메라의 사시도.
도 3a 및 도 3b는 도 1A의 전화기, 도 1C의 카메라 모듈, 또는 도 2의 비디오 카메라와 같은 예시적인 이미지 캡처 디바이스의 구성 요소를 도시한 도면.
도 4는 도 3a의 이미지 캡처 디바이스와 같은 이미지 캡처 디바이스에 의해 수행 가능한 이미지 데이터를 처리하기 위한 예시적인 프로세스를 도시한 도면.
도 5는 예시적인 프리앰퍼시스 함수(pre-emphasis function)를 도시한 선도(plot).
도 6은 도 3a의 이미지 캡처 디바이스와 같은 이미지 캡처 디바이스에 의해 수행 가능한 비디오 이미지 데이터를 압축하기 위한 예시적인 프로세스를 도시한 도면.
도 7은 도 1A의 전화기와 같은 예시적인 전화기와 통신하는 도 3a의 이미지 캡처 디바이스를 도시한 도면.
도 8은 도 1A의 전화기 또는 도 1C의 카메라 모듈의 예시적인 구성 요소를 도시한 도면.
도 9a는 확장기 모듈 및 도 1C의 카메라 모듈에 부착되기 위해 위치된 도 1A의 전화기의 사시도.
도 9b는 부착되었을 때 도 1A의 전화기, 도 9a의 확장기 모듈, 및 도 1C의 카메라 모듈의 사시도.

I. 도입

본 개시 내용은 다른 특징 중에서도 미가공 베이어 데이터(Bayer data)와 같은 비디오 이미지 데이터를 압축하기 위한 접근법을 기술한다. 상기 접근법은 바람직하게 특정 실시형태에서, 온 칩 메모리의 몇몇 라인을 사용하고 DRAM과 같은 프레임 메모리를 사용함이 없이 비디오 이미지 데이터의 압축을 가능하게 한다. 비디오 이미지 데이터의 압축된 크기는 개별 프레임에 대해 설정 및 목표화될 수 있고 프레임마다 조정될 수 있다. 또한, 이러한 접근법은 비디오 이미지 데이터를 압축하는 디바이스의 크기 및 전력 소비에서의 감소를 가능하게 하는 하드웨어 친화적인 구현을 제공할 수 있다. 그 결과, 본 개시 내용의 특정 특징은 고품질 비디오를 저장하는 동시에 전력 소비 및 시스템 크기를 제한하는 것이 필요할 수 있는 스마트폰과 같은 비교적 작거나 저전력 핸드 헬드 디바이스에 특히 필요할 수 있다. 일부 실시형태에서, 이러한 기술은 미가공보다는 완전히 처리된 YUV 데이터를 압축하도록 사용될 수 있다.

본 명세서에 기술된 전자 디바이스가 주로 스마트폰과 관련하여 설명될 수 있을지라도, 본 개시 내용은 디지털 스틸 및 모션 카메라, 개인용 내비게이션 디바이스, 모바일 인터넷 디바이스, 핸드 헬드 게임 콘솔, 또는 기능들 중 임의의 또는 이러한 것들의 조합 또는 다른 기능을 갖는 디바이스를 포함하는 휴대폰 기능을 가지거나 가지지 않는 임의의 다양한 전자 디바이스에 적용 가능하다.

Ⅱ. 전자 디바이스 시스템 개요

도 1A는 본 명세서에 기술된 압축 기술 또는 다른 특징 중 하나 이상을 구현할 수 있는 전화기(10)의 평면, 정면 및 좌측면 사시도를 도시한다. 전화기(10)는 스마트폰일 수 있다. 전화기(10)의 전면은 디스플레이(11), 카메라(12)(예를 들어, 도시된 바와 같이 4개의 카메라), 제1 스피커 그릴(13A), 및 제2 스피커 그릴(13B)뿐만 아니라 하나 이상의 마이크로폰(도시되지 않음)을 포함한다. 전화기(10)의 좌측은 제1 입력부(14)를 포함한다.

도 1B는 전화기(10)의 저면, 배면 및 우측면 사시도를 도시한다. 전화기의 저부는 전력 입력 포트(15)를 포함한다. 전화기(10)의 좌측은 제2 입력부(16)를 포함한다. 전화기(10)의 배면은 제2 카메라(17)(예를 들어, 도시된 바와 같은 2개의 카메라), 플래시(18), 레이저 포커스(19), 및 모듈 커넥터(20)를 포함한다.

디스플레이(11)는 다양한 애플리케이션, 기능 및 정보를 디스플레이할 수 있고, 또한 터치 스크린 제어 특징을 포함할 수 있다.

제1 카메라(12) 및 제2 카메라(17)의 각각은 본 명세서에 기술된 바와 같이 다양한 또는 조정 가능한 해상도 및 종횡비로 비디오 이미지 데이터 프레임을 캡처하는 능력을 포함한다. 제1 카메라(12)는 대체로 서로 동일한 방향을 각각 향할 수 있고, 제2 카메라(17)는 대체로 서로 동일한 방향을 각각 향할 수 있다.

제1 입력부(14) 및 제2 입력부(16)는 버튼일 수 있고, 전화기(10)의 사용자로부터 사용자 입력을 수신할 수 있다. 제1 입력부(14)는 예를 들어 전화기(10)의 전원 버튼으로서 기능할 수 있고, 사용자가 전화기(10)의 온/오프 여부를 제어하는 것을 가능하게 한다. 더욱이, 제1 입력부(14)는 사용자가 전화기(10), 또는 전화기(10) 또는 전화기(10)에 결합된 디바이스에 저장된 파일의 하나 이상의 특징 또는 파일에 액세스할 권한이 있는지를 전화기(10)가 결정하는 것을 가능하게 하는 지문 인식 센서와 같은 사용자 식별 센서로서 작용할 수 있다. 제1 입력부(14)는 디바이스 잠금/잠금 해제 버튼, 사진 촬영을 개시하는 버튼, 비디오 촬영을 개시하는 버튼, 또는 전화기(10)에 대한 선택 버튼으로서 기능할 수 있다. 제2 입력부(16)는 전화기(10)를 위한 볼륨 증가 버튼 및 볼륨 감소 버튼으로서 기능할 수 있다. 제1 입력부(14) 및 제2 입력부(16)의 기능은 사용자에 의해 구성되고 변경될 수 있다. 또한, 전화기(10)의 측면은, 도 1A에 도시되고 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제9,917,935호에 기술된 바와 같은 꽃잎형(scalloped) 또는 톱니형 가장자리(serrated edge)를 포함할 수 있다. 특히, 제1 입력부(14)가 위치된 꽃잎형은 톱니형을 포함하지 않을 수 있는 반면에, 다른 꽃잎형은 톱니형을 포함할 수 있으며, 이러한 것은 사용자가 전화기(10)의 두 가장자리를 구별하는 것뿐만 아니라 제2 입력부(16)로부터 제1 입력부(14)를 구별하는 것을 도울 수 있다.

일부 실시형태에서, 전화기(10)는 디스플레이(11)를 제외하고 전화기(10)의 전면으로의 사용자 입력을 수신하지 않을 수 있다. 그러므로, 전화기(10)의 전면은 버튼을 포함하지 않을 수 있고, 임의의 버튼은 전화기(10)의 하나 이상의 측면에 위치될 수 있다. 유익하게, 이러한 구성은 특정 실시형태에서, 전화기(10)의 인체 공학을 개선할 수 있으며(예를 들어, 사용자가 전면 버튼에 도달할 필요가 없게 하는 것을 가능하게 하는 것에 의해), 전화기(10)의 디스플레이(11)에 이용 가능한 공간의 양을 증가시킨다.

모듈 커넥터(20)는 모듈과 상호 교환 가능하게 결합되고, 모듈 또는 모듈에 결합된 하나 이상의 다른 디바이스로부터 전력 또는 데이터를 수신하거나 이에 전력 또는 데이터를 전송할 수 있다. 모듈은 카메라, 디스플레이, 비디오 게임 컨트롤러, 스피커, 배터리, 입력/출력 확장기, 라이트, 렌즈, 프로젝터, 및 이러한 것들의 조합 등을 포함할 수 있다. 또한, 모듈은 하나 이상의 다른 모듈에 적층되어, 예를 들어 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 공개 제2017/0171371호에 기술된 바와 같이 전화기(10)에 결합된 일련의 연결된 모듈을 형성할 수 있다.

모듈 커넥터(20)는 데이터를 전자적으로 통신하기 위해 모듈의 대응하는 커넥터 상의 접점과 맞물리는 다수의 접점(예를 들어, 다른 가능성 중에서, 3개의 열에 있는 44개의 접점 또는 하나의 열에 있는 13개의 접점)을 포함할 수 있다. 다수의 접점은 스프링 장착형 커넥터 또는 모듈의 접점과 맞물릴 수 있다. 일부 구현에서, 전화기(10)는 모듈에 자기적으로 부착되거나 또는 이를 지지할 수 있고, 전화기(10) 및 모듈은 전화기(10)가 끌어당겨져 견고하게 결합되게 하는 자석을 각각 포함할 수 있다. 전화기(10) 및 모듈은 또한 전화기(10)의 하나 이상의 부분과 모듈의 하나 이상의 부분 사이의 마찰 끼워맞춤, 인터록킹 구조, 체결구, 기계적 스냅 표면 구조, 기계적 래치 표면 구조, 기계적 간섭 끼워맞춤 표면 구조 등을 통해 부분적으로 결합될 수 있다.

디바이스와 하나 이상의 모듈 사이의 결합 및 데이터의 통신에 관한 추가 정보는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 공개 제2017/0171371호와 제2016/0044148호 및 미국 특허 제9,568,808호에서 찾을 수 있다.

전화기(10)의 치수는 특정 실시형태에 의존하여 변할 수 있다. 예를 들어, 전화기(10)는 대략 100 ㎜ 높이×50 ㎜ 폭×15㎜ 두께일 수 있다. 다른 예에서, 전화기(10)는 약 150 ㎜ 높이, 70 ㎜ 폭 및 10 ㎜ 두께일 수 있다. 또 다른 예에서, 전화기(10)는 약 130 ㎜ 높이×70 ㎜ 폭×10 ㎜ 두께일 수 있다. 또 다른 예에서, 전화기(10)는 대략 120 ㎜ 높이×60 ㎜ 폭×10 ㎜ 두께일 수 있다. 디스플레이(11)는 예를 들어 4", 4.5", 5", 5.5", 5.7", 6", 6.5", 7", 또는 7.5" 디스플레이일 수 있다.

도 1C는 카메라 모듈(30)에 부착되도록 위치된 전화기(10)의 측면도를 도시하고, 도 1D는 부착될 때 전화기(10) 및 카메라 모듈(30)의 사시도를 도시한다. 카메라 모듈(30)은 단독으로 또는 전화기(10)와 조합하여 본 명세서에 기술된 압축 기술 또는 다른 특징 중 하나 이상을 구현할 수 있다. 카메라 모듈(30)은 자석(34A 및 34B) 및 입력부(36)를 지지하는 하우징을 포함할 수 있다. 자석(34A 및 34C)은 하우징을 전화기(10)에 결합하는 것을 용이하게 할 수 있다. 입력부(36)는 모드의 변경 또는 비디오의 캡처 개시와 같은 카메라 모듈(30)의 활동을 제어하도록 카메라 모듈(30)에 대한 사용자 입력을 수신하도록 사용될 수 있다. 도 1C 및 도 1D에 도시되지 않았을지라도, 카메라 모듈(30)은 도 1C에 도시된 측면으로부터 카메라 모듈(30)의 하우징의 반대쪽 측면 상의 자석을 포함하여, 반대쪽 측면을 전화기(10)의 하우징에 결합할 수 있다.

카메라 모듈(30)은 하나 이상의 다른 광학 모듈과 교환 가능할 수 있는 광학 모듈(38)에 추가로 결합될 수 있다. 광학 모듈(38)은 목표 위치에 있는 물체의 이미지를 형성하도록 예를 들어 렌즈, 셔터, 프리즘, 미러, 조리개 등과 같은 하나 이상의 광학 요소를 포함할 수 있다. 카메라 모듈 및 광학 모듈의 실시형태 및 카메라 모듈 및 광학 모듈을 결합하기 위한 접근법은 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 공개 제2017/0171371호에 또한 기술되어 있다.

광학 모듈(38)은 제거 가능한 렌즈(39) 및 렌즈 마운트(41)를 포함할 수 있으며, 렌즈(39)는 렌즈 마운트(41)의 개구(도시되지 않음)에 삽입되고, 그런 다음 렌즈를 적소에 고정하도록 회전될 수 있다. 하나의 실시형태에서, 렌즈 마운트(41)는 버튼 또는 다른 유형의 제어를 포함하여, 렌즈(39)의 제거를 가능하게 할 수 있다. 예를 들어, 사용자는 사용자가 렌즈(39)를 반대 방향으로 회전시켜 렌즈 마운트(41)의 개구로부터 렌즈(39)를 제거하는 것을 가능하게 하는 인터페이스 요소를 누르거나 그렇지 않으면 이와 상호 작용할 수 있다. 일부 실시형태에서, 렌즈 마운트(41) 자체는 예를 들어 각각의 구멍(45A, 45B, 45C, 45D)을 통해 장착 스크루를 삽입하는 것에 의해 구멍을 통해 제거 가능하고 재부착 가능하다. 렌즈 마운트(41) 또는 렌즈(39)는 예를 들어 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제9,568,808호에 기술된 것 중 하나일 수 있다.

카메라 모듈(30)은, 추가 모듈과 상호 교환 가능하게 결합될 수 있고(예를 들어, 추가 모듈의 대응하는 커넥터 상의 접점과 맞물리고) 모듈 또는 모듈에 결합된 하나 이상의 다른 디바이스로부터 전력 또는 데이터를 수신하거나 또는 이에 전력 또는 데이터를 전송하는, 모듈 커넥터(20)와 유사하거나 동일한 모듈 커넥터(31)를 포함할 수 있다. 추가 모듈은 카메라, 디스플레이, 비디오 게임 컨트롤러, 스피커, 배터리, 입력/출력 확장기, 라이트, 렌즈, 프로젝터 또는 이러한 것들의 조합 등을 포함할 수 있다. 하나의 예에서, 모듈 커넥터(31)에 연결된 추가 모듈은 입력/출력 확장기일 수 있고, 사용자가 카메라 모듈(30)의 동작을 제어하는 것을 가능하게 하는 하나 이상의 추가 입력부를 포함할 수 있다. 추가 모듈은 또한 추가 모듈이 렌즈 마운트(41)의 배치 또는 사용을 방해하거나 카메라 모듈(30)에 있는 이미지 센서로부터 렌즈(39)를 통한 시야를 막지 않고 모듈 커넥터(31)에 대한 추가 모듈의 대응하는 커넥터의 결합을 허용하는 폼 팩터를 가질 수 있다(예를 들어, 추가 모듈은 모듈 커넥터(31)를 포함하는 카메라 모듈(30)의 전체 표면을 덮지 않을 수 있다). 일부 구현에서, 추가 모듈은 카메라 모듈에 자기적으로 부착되거나 이에 의해 지지될 수 있고, 추가 모듈 및 카메라 모듈(30)은 둘 다가 끌어당겨지고 견고하게 결합되게 하는 자석을 각각 포함할 수 있다. 추가적으로 또는 대안적으로, 결합은 적어도 마찰 끼워맞춤, 인터록킹 구조, 체결구, 기계적 스냅 표면 구조, 기계적 래치 표면 구조, 기계적 간섭 끼워맞춤 표면 구조 등을 통해 달성될 수 있다.

도 2는 비디오 카메라(40)의 사시도를 도시한다. 비디오 카메라(40)는 뇌 모듈(brain module)(42), 렌즈 마운트 모듈 인터페이스(44), 및 렌즈(46)를 포함할 수 있다. 비디오 카메라(40)는 본 명세서에 기술된 압축 기술 또는 다른 특징 중 하나 이상을 구현할 수 있다. 비디오 카메라(40) 및 그 구성 요소의 실시형태는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 공개 제2016/0295096호 및 제2017/0171371호에 기술되어 있다.

도 3a는 본 명세서에 설명된 압축 기술 또는 다른 특징 중 하나 이상을 구현할 수 있는 이미지 캡처 디바이스(50)를 도시한다. 이미지 캡처 디바이스(50)는 일부 실시형태에서 전화기(10), 카메라 모듈(30), 또는 비디오 카메라(40)의 일부이거나 또는 일부로서 통합될 수 있다. 이미지 캡처 디바이스(50)는 광학 기기(51), 이미지 센서(52)(또는 다수의 이미지 센서), 이미지 처리 시스템(53), 압축 시스템(54), 및 메모리 디바이스(55)를 지지하도록 구성된 하우징을 포함할 수 있다. 일부 구현에서, 이미지 캡처 디바이스(50)는 멀티미디어 시스템(56)을 더 포함할 수 있다. 이미지 센서(52), 이미지 처리 시스템(53), 압축 시스템(54), 및 멀티미디어 시스템(56)은 이미지 캡처 디바이스(50)의 동작 동안 하우징 내에 수용될 수 있다. 메모리 디바이스(55)는 또한 하우징 내에 수용 또는 장착되거나, 하우징 외부에 장착되거나, 또는 이미지 캡처 디바이스(50) 외부로의 유선 또는 무선 통신에 의해 연결될 수 있다.

광학 기기(51)는 유입 이미지(incoming image)를 이미지 센서(52)에 포커싱하도록 구성된 적어도 하나의 렌즈를 갖는 렌즈 시스템의 형태일 수 있다. 일부 실시형태에서, 광학 기기(51)는 가변 줌, 조리개 및 초점을 제공하는 멀티-렌즈 시스템의 형태일 수 있다. 광학 기기(51)는 하우징에 의해 지지되고 다수의 상이한 유형의 렌즈 시스템을 수용하는 렌즈 소켓의 형태일 수 있지만, 제한 없이 광학 기기(51)는 50-100 ㎜(F2.8) 줌 렌즈, 18-50 ㎜(F2.8) 줌 렌즈, 300 ㎜(F2.8) 렌즈, 15 ㎜(F2.8) 렌즈, 25 ㎜(F1.9) 렌즈, 35 ㎜(F1.9) 렌즈, 50 ㎜(F1.9) 렌즈, 85 ㎜(F1.9) 렌즈, 또는 임의의 다른 렌즈를 포함하는 다양한 크기의 렌즈 시스템을 수용하도록 구성된 소켓을 포함할 수 있다. 전술한 바와 같이, 광학 기기(51)는 어떤 렌즈가 부착되더라도 이미지가 이미지 센서(52)의 감광성 표면에 포커싱될 수 있도록 구성될 수 있다. 이러한 렌즈 시스템에 관한 추가 정보는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제9,568,808호에서 찾을 수 있다.

이미지 센서(52)는 예를 들어 제한 없이 CCD, CMOS, Foveon® 센서와 같은 수직 적층형 CMOS 디바이스, 또는 센서들 사이에서 광을 분할하도록 프리즘을 사용하는 다중 센서 어레이를 포함하는 임의의 유형의 비디오 감지 디바이스일 수 있다. 이미지 센서(52)는 이미지 센서(52)의 개별 광전 셀(photocell)에 의해 검출된 적색, 녹색 또는 청색 광의 크기를 나타내는 데이터를 출력하는 베이어 패턴 필터와 같은 컬러 필터 어레이를 더 포함할 수 있다. 일부 실시형태에서, 이미지 센서(52)는 약 1200만 광전 셀을 갖는 CMOS 디바이스를 포함할 수 있다. 그러나, 다른 크기의 센서가 또한 사용될 수 있다. 일부 구성에서, 비디오 카메라(10)는 "2k"(예를 들어, 2048×1152 픽셀), "4k"(예를 들어, 4,096×2,540 픽셀), "4.5k," "5k", "6k, "8k" 또는 "16k" 이상의 해상도로 비디오를 출력하도록 구성될 수 있다. 본 명세서에 사용된 바와 같이, "xk"(예를 들어, 위에서 언급된 "2k" 및 "4k" 등)의 포맷으로 표현된 용어에서, "x" 양은 대략 수평 해상도를 지칭한다. 이와 같이, "4k" 해상도는 약 4000 이상의 수평 픽셀에 대응하고, "2k"는 약 2000 이상의 픽셀에 대응한다. 현재 상업적으로 이용 가능한 하드웨어를 사용하여, 이미지 센서(52)는 약 0.5 인치(8㎜)만큼 작을 수 있지만, 약 1.0 인치 이상일 수 있다. 추가적으로, 이미지 센서(52)는 이미지 센서(52)의 사전 결정된 부분만을 선택적으로 출력하는 것에 의해 가변 해상도를 제공할 수 있다. 예를 들어, 이미지 센서(52) 또는 이미지 처리 시스템(53)은 사용자가 비디오 데이터 출력의 해상도를 식별, 구성, 선택, 또는 한정하는 것을 가능하게 하도록 구성될 수 있다. 센서 및 센서로부터의 출력에 관한 추가 정보는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제8,174,560호에서 찾을 수 있다.

이미지 처리 시스템(53)은 이미지 센서(52)로부터 데이터 스트림을 포맷할 수 있다. 예를 들어, 이미지 처리 시스템(53)은 녹색, 적색, 및 청색 이미지 데이터를 3개 또는 4개의 개별 데이터 컴필레이션(data compilation)으로 분리할 수 있다. 예를 들어, 이미지 처리 시스템(53)은 적색 데이터를 하나의 적색 채널 또는 데이터 구조로, 청색 데이터를 하나의 청색 채널 또는 데이터 구조로, 녹색 데이터를 하나의 녹색 채널 또는 데이터 구조로 분리하도록 구성될 수 있다. 이미지 처리 시스템(53)은 또한 2×2 베이어 패턴에서 대각으로 인접한 녹색 픽셀 사이의 차이(disparity)를 보존하기 위해 녹색을 2개의 별개의 녹색 데이터 구조로 분리할 수 있다. 이미지 처리 시스템(53)은 이미지 데이터의 디지털 표현을 발생시키기 위해 화소를 결합, 감산, 승산, 제산 또는 그렇지 않으면 변경하기 위해 화소값을 처리할 수 있다.

이미지 처리 시스템(53)은 감소되거나 감소되지 않은 해상도 이미지 데이터를 멀티미디어 시스템(56)에 출력하도록 구성된 서브 샘플링 시스템을 더 포함할 수 있다. 예를 들어, 이러한 서브 샘플링 시스템은 6K, 4K, 2K, 1080p, 720p 또는 임의의 다른 해상도를 지원하기 위해 이미지 데이터를 출력하도록 구성될 수 있다. 추가적으로, 이미지 처리 시스템(53)은 다른 모듈을 포함하거나, 또는 감마 보정 프로세스, 노이즈 필터링 프로세스 등과 같은 다른 프로세스를 수행할 수 있다. 이미지 처리 시스템(53)에 의해 제공되는 기능의 예는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 공개 제2014/0226036호에 기술되어 있다.

압축 시스템(54)은 도 7과 관련하여 설명된 압축 접근법과 같은 압축 기술, 또는 다른 기술을 사용하여 이미지 처리 시스템(53)으로부터의 이미지 데이터를 압축할 수 있다. 압축 시스템(54)은 별도의 칩 또는 칩(예를 들어, FPGA, ASIC 등)의 형태일 수 있다. 압축 시스템(54)은 소프트웨어 및 다른 프로세서로 구현될 수 있거나, 또는 프로세서, 소프트웨어 또는 전용 칩의 조합으로 구현될 수 있다. 예를 들어, 압축 시스템(54)은 DCT 기반 코덱에 따라서 압축 기술을 수행하는 하나 이상의 압축 칩을 포함할 수 있다.

압축 시스템(54)은 레이트 제어(rate control)를 이용하는 DCT 기반 코덱을 사용하여 이미지 처리 시스템(53)으로부터의 이미지 데이터를 압축할 수 있다. 일부 실시형태에서, 압축 시스템(54)은 비디오 데이터의 압축 동안 압축 파라미터를 변경하거나 또는 업데이트하는 압축 기술을 수행한다. 변경되거나 업데이트된 압축 파라미터는 목표화되거나 또는 원하는 파일 크기, 비디오 품질, 비디오 비트 전송률 또는 그 임의의 조합을 달성하도록 구성될 수 있다. 일부 실시형태에서, 압축 시스템(54)은 압축 시스템(54)에 의해 출력된 압축된 비디오의 품질 또는 크기를 변경하기 위해 사용자 또는 다른 시스템이 압축 파라미터를 조정하는 것을 가능하게 하도록 구성될 수 있다. 예를 들어, 이미지 캡처 디바이스(50)는 압축 시스템(54)이 압축 파라미터를 변경하게 하는 명령을 사용자가 입력하는 것을 가능하게 하는 사용자 인터페이스(도시되지 않음)를 포함할 수 있다.

압축 시스템(54)은 이미지 처리 시스템(53)으로부터의 이미지 데이터를 실시간으로 압축할 수 있다. 압축 시스템(54)은 비디오 프레임을 압축하기 위해 단일 패스(single-pass)를 사용하여 압축을 수행할 수 있다. 이러한 것은 중간 프레임 메모리에 저장된 하나 이상의 이전의 비디오 프레임으로부터의 콘텐츠에 기초하여 다중 압축 패스를 수행하거나 또는 현재 비디오 프레임을 압축하기 위해 일부 압축 시스템에서 사용되는 중간 프레임 메모리의 사용을 제거하도록 사용될 수 있다. 이러한 것은 온 보드 비디오 압축으로 비디오 카메라의 비용 또는 복잡성을 감소시킬 수 있다. 압축 시스템(54)은 이미지 데이터의 프레임 레이트가 적어도 초당 23 프레임(fps), 적어도 약 24 fps(예를 들어, 23.976 fps), 적어도 약 25 fps, 적어도 약 30 fps(예를 들어, 29.97 fps), 적어도 약 48 fps, 적어도 약 50 fps, 적어도 약 60 fps(예를 들어, 59.94 fps), 적어도 약 120 fps, 적어도 약 240 fps, 또는 약 240fps 이하일 때 이미지 처리 시스템(53)으로부터의 이미지 데이터를 실시간으로 압축할 수 있다. 압축된 비디오는 그런 다음 메모리 디바이스(55)로 전송될 수 있다.

메모리 디바이스(55)는 예를 들어 제한 없이 하드 디스크, 플래시 메모리, 또는 임의의 다른 유형의 메모리와 같은 임의의 유형의 디지털 저장 장치의 형태일 수 있다. 일부 실시형태에서, 메모리 디바이스(55)의 크기는 12 메가 픽셀 해상도, 12-비트 컬러 해상도, 및 60 fps에서 적어도 약 30분의 비디오에 대응하는 압축 시스템(54)으로부터의 이미지 데이터를 저장하도록 충분히 클 수 있다. 그러나, 메모리 디바이스(55)는 임의의 크기를 가질 수 있다.

멀티미디어 시스템(56)을 포함하는 실시형태에서, 멀티미디어 시스템(56)은 작동 동안 이미지 센서(52)에 의해 캡처된 비디오 이미지 또는 압축 시스템(54) 또는 메모리 디바이스(55)로부터 수신된 비디오 이미지를 사용자가 보는 것을 가능하게 한다. 일부 구현에서, 이미지 처리 시스템(53)은 모니터 시스템(56)에 저해상도 이미지 데이터를 출력하도록 구성된 서브 샘플링 시스템을 포함할 수 있다. 예를 들어, 이러한 서브 샘플링 시스템은 "2k", 1080p, 720p, 또는 다른 해상도를 지원하기 위해 비디오 이미지 데이터를 출력하도록 구성될 수 있다. 디모자이킹을 위해 사용되는 필터는 다운 샘플링 및 필터링이 동시에 수행될 수 있도록 다운 샘플링 필터링을 수행하기 위해 또한 조정될 수 있다. 멀티미디어 시스템(56)은 이미지 처리 시스템(53)으로부터의 데이터에 대해 임의의 유형의 압축 해제 또는 디모자이킹 프로세스를 수행할 수 있다. 예를 들어, 멀티미디어 시스템(56)은 본 명세서에 기술된 바와 같이 압축된 데이터를 압축 해제할 수 있다. 그 후, 멀티미디어 시스템(56)은 디모자이킹되거나 또는 압축 해제된 이미지 데이터를 멀티미디어 시스템(56)의 디스플레이 또는 다른 디스플레이에 출력할 수 있다.

도 3b는 일부 실시형태에 따른 이미지 캡처 디바이스(50)의 추가 구성 요소를 도시한다. 특히, 도 3b는 도 3a보다 이미지 캡처 디바이스(50)의 실시형태의 더욱 많은 구현 세부 사항을 도시한다. 도시된 바와 같이, 이미지 캡처 디바이스(50)는 프레임 메모리(63)와 더 통신한다. 프레임 메모리(63)는 도 4의 RAM(113)과 같은 DRAM일 수 있다.

이미지 캡처 디바이스(50)는 이미지 처리 유닛(60)을 더 포함한다. 도시된 바와 같이, 이미지 처리 유닛(60)은 이미지 처리 시스템(53), 압축 시스템(54), 및 온 칩 메모리(62)를 포함할 수 있다. 온 칩 메모리는 예를 들어 SRAM일 수 있다. 이미지 처리 유닛(60)의 구성 요소의 일부 또는 전부는 이미지 캡처 디바이스(50)에 의해 캡처된 이미지 데이터(예를 들어, 압축된 미가공 비디오 이미지 데이터)의 처리 및 저장을 위해 사용되도록 전용될 수 있고, 이미지 캡처 디바이스(50)와 관련된 전화 기능을 구현하기 위한 것과 같은 다른 목적을 위해 사용되지 않을 수 있다.

이미지 처리 유닛(60)은 구현에 의존하여 주문형 집적 회로(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA), 이러한 것들의 조합 등을 포함할 수 있는 하나 이상의 집적 회로, 칩 또는 칩셋을 포함할 수 있다. 특정 실시형태에 따르면, 온 칩 메모리(62)는 이미지 처리 시스템(23) 및 압축 시스템(54)과 같은 이미지 처리 유닛(60)의 다른 구성 요소와 동일한 디바이스(예를 들어, ASIC, FPGA 또는 다른 칩(들)) 내에 위치될 수 있다. 예를 들어, 이미지 처리 유닛(60)은 이미지 처리 시스템(53), 압축 시스템(54), 및 온 칩 메모리(62)를 구현하는 ASIC 또는 FPGA를 포함할 수 있다. 그러므로, 온 칩 메모리(62)는 특정 실시형태에 따라 "온 칩" 메모리로서 지칭되는데 반하여, 프레임 메모리(63)는 "오프 칩" 메모리로서 지칭될 수 있다.

도시된 바와 같이, 프레임 메모리(63)는 이미지 처리 유닛(60)과 별도로 구현될 수 있고, DRAM일 수 있다. 예를 들어, 일 실시형태에서, 프레임 메모리(63) 및 이미지 처리 유닛(60)은 각각, 별도의 패키지에서 구현되고 공통 인쇄 회로 기판 상에 장착된 ASIC 및 FPGA이다. 프레임 메모리(63)는 처리 목적을 위해 전체 이미지 프레임(예를 들어, 하나의 이미지 프레임의 모든 또는 실질적으로 모든 픽셀 데이터)을 동시에 저장하도록 사용될 수 있다. 예를 들어, 프레임 메모리(63)는 몇몇 예로서 픽셀 결함 보정 또는 픽셀 패턴 노이즈 보정과 같은 특정 이미지 처리 단계 동안 전체 이미지 프레임을 저장하기 위해 이미지 처리 시스템(53)에 의해 사용될 수 있다. 프레임 메모리(63)가 일부 이러한 단계에 사용될 수 있지만, 특정 실시형태에 따르면, 이미지 캡처 디바이스(50)는 압축의 목적을 위해 프레임 메모리(63)를 이용함이 없이 압축된 미가공 비디오 이미지 데이터가 처리되는 이미지 처리 파이프 라인을 구현한다. 예를 들어, 일부 실시형태에서, 압축 시스템(54)은 도 6에 대한 것과 같이 본 명세서에 설명된 것 중 임의의 것일 수 있는 DCT 기반 압축 체계를 구현한다. 이러한 DCT 기반 압축 체계는 압축 시스템(61)이 압축 동안 프레임 메모리(63) 또는 임의의 다른 프레임 메모리가 아닌 온 칩 메모리(62)를 이용하여 압축을 수행할 수 있도록 메모리 요건에서 비교적 중요하지 않을 수 있다.

압축 동안 프레임 메모리의 사용을 피하는 것은 전력 소비를 상당히 감소시킬 수 있고, 모션 벡터 계산을 위한 프레임 메모리의 사용을 포함하는 특정의 다른 압축 기술과 대비된다. 예를 들어, 본 명세서에 기술된 특정 DCT 기반 압축 기술에 따르면, 압축 시스템(54)은 임의의 주어진 시간에 비디오 이미지 프레임의 이산 섹션(예를 들어, 풀 이미지 프레임보다 작은 섹션)에서 동작하고, 처리 직후에 비디오 이미지 프레임의 이산 섹션을 폐기한다. 예를 들어, 일 실시형태에서, 압축 시스템(54)은 한 번에 32개의 수평선의 픽셀에 대한 데이터에 대해 동작하고, (현재 압축되고 있는 32 라인의 픽셀 데이터에 대한 이미지 데이터를 홀딩하고, 압축될 다음의 32 라인에 대한 이미지 데이터를 홀딩하기 위하여) 압축 목적을 위해 64 라인의 픽셀 데이터에 대응하는 온 칩 메모리(62)에서의 저장량만을 이용한다. 실시형태에 의존하여, 다양한 실시형태에 따르면, 이미지 캡처 디바이스(50)가 동작 동안 약 15 또는 20 W 미만을 소비하도록, 일부 실시형태에서, 약 10W 내지 20W, 약 10 W 내지 25 W, 또는 약 5 W 내지 25 W을 소비하도록, 전력 소비가 감소될 수 있다. 예를 들어, 일부 실시형태에 따르면, 이미지 처리 디바이스(50)의 이미징 구성 부분(예를 들어, 이미지 처리 디바이스(50)의 카메라 관련 구성 부분)은 약 10 W 미만 또는 15 W(예를 들어, 약 4 W 내지 10 W 또는 약 6 W 내지 10 W)를 소비하는데 반하여, 나머지 비이미징 구성 부분(예를 들어, 전화기 구성 부분, 디스플레이 구성 부분 등)은 약 10 W 미만(예를 들어, 약 3 W 내지 10 W 또는 약 5 W 내지 10 W)을 소비한다.

본 명세서에 기술된 압축 기술은 향상된 디코딩/압축 해제 속도를 허용할 수 있다. 예를 들어, DCT 기반 미가공 압축 기술은 DCT 알고리즘이 압축 해제 동안 고도로 병렬화된 수학적 연산의 사용을 허용하여, 그래픽 처리 유닛의 효율적인 사용을 만들기 때문에 향상된 압축 해제를 허용할 수 있다. 실시형태에 의존하여, 본 명세서에 기술된 미가공 압축 기술은 약 1/23, 1/24, 1/25 또는 1/120초 이하에서 비디오 이미지 프레임의 압축 해제를 허용할 수 있으며, 이는 프레임 레이트에 의존하여 실시간 압축 해제를 허용할 수 있다.

Ⅲ. 이미지 데이터 처리

도 4는 전화기(10), 카메라 모듈(30), 비디오 카메라(40), 또는 이미지 캡처 디바이스(50)와 같은 이미지 캡처 디바이스에 의해 수행 가능한 비디오 이미지 데이터를 처리하기 위한 예시적인 프로세스를 도시하는 흐름도(400)이다. 흐름도(400)는 메모리 디바이스(55), ROM(112), RAM(113), 또는 메모리(175)와 같은 메모리 디바이스에 저장된 제어 루틴을 나타낼 수 있다. 추가적으로, 제어기(110)와 같은 프로세서는 제어 루틴을 실행하도록 구성될 수 있다. 편의상, 흐름도(400)는 이미지 캡처 디바이스(50)와 관련하여 설명되지만, 대신 여기에 설명된 다른 시스템 또는 도시되지 않은 다른 적절한 컴퓨팅 시스템에 의해 구현될 수 있다. 흐름도(400)는 유익하게, 특정 실시형태에서, 휴대폰과 같은 비교적 작거나 저전력 핸드 헬드 디바이스가 비디오 이미지 데이터를 처리하게 할 수 있는 예시적인 접근법을 도시한다.

블록(402)에서, 이미지 센서(52)는 이미지 센서(52)에 입사된 광에 응답하여 비디오 이미지 데이터를 발생시킬 수 있다. 예를 들어, 이미지 센서(52)는 적어도 초당 약 23 프레임에서 미가공 모자이크된 이미지 데이터로서, 적어도 2K의 해상도를 갖는 비디오 이미지 데이터를 발생시킬 수 있다. 더욱이, 하나 이상의 이미지 센서(202)로부터의 출력은 일부 구현에서 각각 블랙 선 효과(black sun effect)를 위해 15-비트 출력 및 1 비트 세트를 갖는 적어도 16-비트 폭일 수 있다. 일부 예에서, 이미지 센서(52)는 3D 비디오 이미지로서 처리 및 궁극적인 표시를 위한 3D 비디오 이미지 데이터를 발생시키도록 사용될 수 있다.

블록(404)에서, 이미지 처리 시스템(53)은 이미지 센서(52)에 의해 발생된 비디오 이미지 데이터를 프리앰퍼시스화(pre-emphasize)할 수 있다. 발생된 비디오 이미지 데이터는 발생된 비디오 이미지 데이터의 미가공 픽셀로의 손실 변환을 수행하는 것에 의해 프리앰퍼시스화될 수 있다. 프리앰퍼시스는 바람직하게 특정 실시형태에서, 블록(406)에서 처리될 비디오 이미지 데이터의 양을 필요하게 감소시킬 수 있지만, 그럼에도 비디오 이미지 데이터 품질을 보존한다.

이미지 처리 시스템(53)은, 예를 들어, 미가공 픽셀을 15-비트 또는 16-비트 데이터에서 12-비트 데이터로 변환하는 구분적 선형 함수(piecewise linear function)를 수행할 수 있다. 구분적 선형 함수의 기울기는 고조파 진행(1, 1/2, 1/3,...., 1/15, 1/16)을 따르고, 256 카운트마다 변할 수 있다. 구분적 선형 함수의 형상은 센서 특징화 데이터로부터 이미지 센서(52)에 맞추어 질 수 있으며, 그러므로 센서마다 또는 센서 제조업체마다 다를 수 있다. 구분적 선형 함수의 입력 범위는 일부 예에서 적용될 수 있는 블랙 오프셋(black offset)을 설명하도록 허용된 최대값을 초과할 수 있다.

도 5는 미가공 픽셀을 15-비트 데이터에서 12-비트 데이터로 변환하기 위한 하나의 예시적인 구분적 선형 함수를 그래픽으로 나타내는 선도(500)이다. 아래의 표 1은 선도(500)를 따르는 예시적인 포인트를 제공한다.

15-비트 입력	12-비트 입력
0	0
256	256
768	512
1536	768
2560	1024
3840	1280
5376	1536
7168	1792
9216	2048
11520	2304
14080	2560
16896	2816
19968	3072
23296	3328
26880	3584
30720	3840
34800	4095

프리앰퍼시스는 비트 범위(0-32767을 포함하는 15-비트 범위와 같은)의 모든 비디오 이미지 데이터 값이 동일한 정보를 전달하는 것은 아니라는 것을 이해하면 이미지 처리 시스템(53)에 의해 수행될 수 있다. 각각 픽셀에서의 유입 광은 프아송 과정(Poisson process)에 의해 지배되어, 각각의 광 레벨에서 상이한 광자 샷 노이즈(photon shot noise, PSN)를 초래한다. 프아송 랜덤 분포는 분포의 변화가 분포의 평균과 동일한 고유 특징을 가질 수 있다. 이에 의해, 표준 편차는 평균의 제곱근과 같다. 이러한 이해로부터, 특정 픽셀에 대한 유입 광에 대응하는 각각의 측정된 디지털 숫자 출력(digital number output, DN)과 관련된 불확실성(표준 편차로 표시되는 것과 같은)은 에 비례할 수 있다. 프리앰퍼시스화하기 위해, 입력 도메인에서의 하나 이상의 디지털 값은 출력 도메인에서의 단일 디지털 값으로 묶일 수 있다. Q 인접 DN 값이 하나로 서로 묶이면(예를 들어, 양자화되면), 결과적인 노이즈는 에 비례할 수 있다. 양자화 노이즈는 α (예를 들어, )이도록 Q를 선택하는 것에 의해 최소화될 수 있다. 이러한 함수의 복잡성은 함수로 구분적 선형 함수를 구성하는 것에 의해 감소될 수 있다. 이러한 기술을 사용하여, 프리앰퍼시스에 의해 추가되는 추가 노이즈는 (예를 들어, 예시적인 최악의 시나리오에서 광자 샷 노이즈의 1%처럼) 작은 비율로 감소될 수 있다.

변환 함수는 디코딩 후에 프리앰퍼시스화된 값을 변환하기 위해 사용될 수 있다. 예를 들어, 유사 부호로 표현된 다음의 함수는 디코딩 후에 12-비트 데이터를 다시 15-비트 데이터로 변환하도록 사용될 수 있다.

일부 예에서, 비교적 간단한 역을 갖는 변환 함수(때때로 프리앰퍼시스 함수로서 지칭됨)를 사용하는 것은 병렬 처리를 사용하여 하드웨어에서 압축된 이미지를 디코딩하는데 유용할 수 있다. 예를 들어, 예시적인 변환 함수가 비교적 간단한 역을 가지면, 그래픽 처리 유닛(GPU)은 압축 해제 후에 12-비트 데이터를 그 본래의 15-비트 데이터 형태로 다시 비교적 신속하게 변환하기 위해 사용될 수 있다.

프리앰퍼시스 기술에 관한 추가 정보는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제8,174,560호에서 찾을 수 있다.

블록(406)에서, 압축 시스템(54)은 이미지 처리 시스템(53)에 의해 프리앰퍼시스화된 비디오 이미지 데이터를 압축할 수 있다. 예를 들어, 압축 시스템(54)은 도 6과 관련하여 설명된 바와 같이 또는 다른 압축 알고리즘을 사용하여 프리앰퍼시스화된 비디오 이미지 데이터를 압축할 수 있다. 압축 시스템(54)은 일부 구현에서 다음 중 하나 이상을 수행할 수 있다: (i) 풀 이미지 프레임을 저장하는 프레임 메모리를 사용함이 없이 비디오 이미지 데이터를 압축하고, (ⅱ) 하나의 메모리 디바이스를 사용하고 하나의 메모리 디바이스에 대해 칩 외부에 위치된 어떠한 메모리도 사용함이 없이 비디오 이미지 데이터를 압축하고, (ⅲ) 주기적으로 리플레시되어야만 하는 동적 메모리보다는 주기적으로 리플레시되지 않을 수 있는 정적 메모리를 사용하여 비디오 이미지 데이터를 압축하고, (ⅳ) 클럭의 타이밍에 따라 동작하고 5, 10, 20 또는 30초 또는 1, 2, 3, 5 또는 10분과 같은 기간 동안 클럭이 정지함에도 불구하고 비디오 이미지 데이터를 정확하게 압축한다. 압축 시스템(54)은 또한 3D 비디오 이미지로서 표현 가능한 비디오 이미지 데이터를 압축하도록 사용될 수 있다.

도 6은 전화기(10), 카메라 모듈(30), 비디오 카메라(40), 또는 이미지 캡처 디바이스(50)와 같은 이미지 캡처 디바이스에 의해 수행 가능한, 비디오 이미지 데이터를 압축하기 위한 예시적인 프로세스를 도시하는 흐름도(600)이다. 흐름도(600)는 메모리 디바이스(55), ROM(112), RAM(113) 또는 메모리(175)와 같은 메모리 디바이스에 저장된 제어 루틴을 나타낼 수 있다. 추가적으로, 제어기(110)와 같은 프로세서는 제어 루틴을 실행하도록 구성될 수 있다. 편의상, 흐름도(600)는 이미지 캡처 디바이스(50)와 관련하여 설명되지만, 대신 본 명세서에서 설명된 다른 시스템 또는 도시되지 않은 다른 적절한 컴퓨팅 시스템에 의해 구현될 수 있다. 흐름도(600)는 유익하게, 특정 실시형태에서, 휴대폰과 같은 비교적 작거나 저전력 핸드 헬드 디바이스가 비디오 이미지 데이터를 압축할 수 있게 하는 예시적인 접근법을 도시한다.

블록(602)에서, 압축 시스템(54)은 비디오 이미지 데이터를 시프팅하고 분할할 수 있다. 비디오 이미지 데이터의 값은 데이터의 비트의 수에 의존하는, 비디오 이미지 데이터에 대한 중심 값과 동일한 양만큼 시프팅될 수 있다(예를 들어, 중심 값은 n-비트 데이터에 대해 0.5ㆍ2ⁿ일 수 있으며, 이는 12-비트 데이터의 경우에 2048을 의미한다). 시프팅은 추가 처리를 위해 상기 값을 약 0의 값으로 시프팅할 수 있다. 값은 슬라이스(slice)와 매크로블록(macroblock)으로 분할될 수 있다. 하나의 구현에서, 슬라이스의 최대 크기는 256×32 픽셀이고, 최대 크기 슬라이스는 좌측으로부터 우측으로 패킹된다. 일부 픽셀이 여전히 각각의 라인의 단부에 남아 있으면, 크기 256×32의 픽셀, 128×32 픽셀, 64×32 픽셀, 32×32 픽셀, 또는 다른 크기의 슬라이스는 단부에서 값 0의 픽셀을 패킹하는 것에 의해 만들어질 수 있다. 픽셀이 베이어 패턴을 따르는 예에서, 각각의 슬라이스는 128×16 녹색 1, 녹색 2, 적색, 및 청색 픽셀을 가질 수 있으며, 픽셀은 녹색 1, 녹색 2, 적색, 및 청색 픽셀의 8 매크로블록(16×16 픽셀)으로 또한 분할될 수 있다.

블록(604)에서, 압축 시스템(54)은 이산 코사인 변환(DCT) 또는 다른 변환을 사용하는 것과 같이 시프팅되고 분할된 비디오 이미지 데이터를 변환할 수 있다. 하나의 예에서, 압축 시스템(54)은 시프팅되고 분할된 비디오 이미지 데이터의 각각의 매크로블록을 16×16 DCT를 사용하여 변환할 수 있다. 16×16 DCT는 특히 일부 예에서 8×8 DCT보다 높은 압축 효율을 제공할 수 있다. 더욱이, 2차원 16×16 DCT는 32개의 1차원 1×16 DCT 계산으로 분리 가능할 수 있다. 이러한 분리성은 유익하게는 특정 실시형태에서 압축을 수행할 때 프레임 메모리(예를 들어, 온 칩 메모리(62)의 다수의 라인)보다 적은 용량을 갖는 메모리의 사용을 촉진시킬 수 있다. 변환으로부터의 출력은 비디오 이미지 데이터를 위한 변환 계수일 수 있다.

블록(606)에서, 압축 시스템(54)은 변환 계수를 양자화할 수 있다. 양자화는 2개의 성분을 포함할 수 있다. 제1 성분은 하나 이상의 양자화 테이블로부터의 양자화 테이블 값일 수 있다. 예를 들어, 하나의 양자화 테이블은 녹색 1 및 녹색 2 채널에 대해 사용될 수 있고, 다른 양자화 테이블은 청색 및 적색 채널에 대해 사용될 수 있다. 하나 이상의 양자화 테이블은 프레임 헤더에서 정의될 수 있다. 제2 성분은 양자화 스케일 팩터(quantization scale factor)일 수 있다. 양자화 스케일 팩터는 슬라이스 내의 각각의 값에 대해 동일하고, 최소 값(예를 들어, 1)으로부터 최대값(예를 들어, 255)으로 변하고, 슬라이스 헤더에서 정의되고 목표 슬라이스 크기를 달성하도록 사용될 수 있다. 양자화 스케일 팩터는 적어도 목표 프레임 크기, 또는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제9,800,875호에 기술된 것과 같은 기술에 기초하여 결정될 수 있다. 양자화 스케일 팩터는 압축된 이미지 크기에 관계없이 특정 품질의 압축된 비디오를 발생시키도록 일부 예에서 일정하게 설정될 수 있다. 하나의 구현에서, 변환 계수에 대한 양자화된 값들은 아래의 수학식 1을 사용하여 결정될 수 있다.

수학식 1: 양자화된 값 = 변환된 계수값/(양자화 테이블 * 양자화 스케일 팩터)

블록(608)에서, 압축 시스템(54)은 인코딩을 위해 슬라이스마다 양자화된 변환 계수를 배열하여서, 녹색, 적색 및 청색 성분이 슬라이스 내에서 개별적으로 인코딩될 수 있도록 할 수 있다. 하나의 슬라이스의 매크로블록의 DC 계수는 좌측에서 우측으로 배열될 수 있다. 하나의 슬라이스의 매크로블록의 AC 계수는, (i) 슬라이스에 있는 상이한 매크로블록으로부터의 16×16 DCT 테이블의 모든 특정 위치 AC 계수가 차례로 배열되고, (ⅱ) 상이한 AC 계수가 아래의 표 2에 의해 지시된 지그재그 스캔 순서에 의해 배열되도록 배열될 수 있으며, 표 2에서의 인덱스는 양자화된 변환 계수에 대한 시퀀스에서의 위치를 나타낸다.

블록(610)에서, 압축 시스템(54)은 배열된 변환 계수를 범위 및 범위 내의 값으로 분할할 수 있다. DC 계수에 대한 범위는 DC 계수의 가능한 값의 범위일 수 있으며, AC 계수에 대한 범위는 AC 계수 및 0 값을 그룹화하는 카운트의 가능한 값의 범위일 수 있다.

블록(612)에서, 압축 시스템(54)은 배열된 계수의 범위를 허프만 코드로서, 그리고 배열된 계수의 범위 내의 값 중 일부를 골롬 코드로서 인코딩할 수 있다. 범위가 하나 이상의 고유 값을 가지지 않으면, 하나의 고유 값은 골롬 코드가 아닌 허프만 코드를 이용하여 인코딩될 수 있다. 범위가 하나 이상의 고유 값을 가지면, 값은 범위에 대한 허프만 코드와 범위 내의 고유 값에 대한 골롬 코드의 조합에 의해 인코딩될 수 있다. 범위 및 범위에 대한 골롬 코드는 제조 시에 설정된 바와 같이 고정되거나 사전 정의될 수 있다. 그러나, 범위에 대한 허프만 코드는 프레임 헤더에서 정의된 하나 이상의 허프만 테이블에 따라 프레임마다 변할 수 있다. 인코더는 허프만 코딩의 적응성을 사용할 수 있고, 특정 비디오 이미지 데이터에 대한 압축 효율을 최적화하기 위해 다음 프레임을 위해 사용되도록, 각각의 프레임의 단부에서 하나 이상의 허프만 테이블을 계산할 수 있다. 하나의 구현에서, 허프만 코드에서 비트의 최대 수는 12일 수 있다.

슬라이스에 있는 특정 성분의 DC 계수의 값은 DC 계수의 이전 값과의 차이로서 인코딩될 수 있다. 이러한 차이는 차이 계수(difference coefficient)로 지칭될 수 있다. 슬라이스에 있는 특정 성분을 위한 DC 계수에 대한 초기 값은 0으로 설정될 수 있다. 개별 DC 계수의 값을 인코딩하기 위해, 압축 시스템(54)은 예를 들어 (i) 개별 DC 계수에 대한 차이 계수의 절대값을 계산할 수 있고, (ⅱ) 개별 DC 계수의 범위에 대응하는 허프만 코드를 비트 스트림에 덧붙이고, (ⅲ) 개별 DC 계수 범위 내의 값에 대응하는 골롬 코드를 비트 스트림에 덧붙이고, (ⅳ) 차이 계수가 0이 아니면 부호 비트(예를 들어, 양수에 대해 0 및 음수에 대해 1)를 비트 스트림에 덧붙일 수 있다.

아래의 표 3은 예시적인 DC 인코딩 테이블을 제공한다. 압축 통계가 알 수 없을 때, 테이블의 허프만 코드 부분은 압축의 시작 시에 기본 테이블로서 사용될 수 있다.

예시적인 DC 허프만 테이블			골롬 코드
｜DC 값｜	허프만 코드	허프만 비트	골롬 코드
0-15	0	1	골롬-라이스 (｜DC 값｜, 2)
16-31	11	2	골롬-라이스 (｜DC 값｜, -16, 2)
32-63	010	3	골롬-라이스 (｜DC 값｜, -32, 3)
64-127	011	3	골롬-라이스 (｜DC 값｜, -64, 4)
128-255	100	3	골롬-라이스 (｜DC 값｜, -128, 5)
256-511	1010	4	골롬-라이스 (｜DC 값｜, -256, 6)
512-무한	1011	4	ExpGolomb (｜DC 값｜, -512, 7)

예를 들어, 표 3으로부터 알 수 있는 바와 같이, 차이 계수가 20일 수 있으면, 허프만 코드는 11일 수 있고, 허프만 비트는 2일 수 있고, 골롬 코드는 골롬-라이스(Golomb-Rice)(4, 2)일 수 있고, 부호 비트는 0일 수 있다. 다른 예로서, 차이 계수가 -75일 수 있으면, 허프만 코드는 011일 수 있고, 허프만 비트는 3일 수 있으며, 골롬 코드는 골롬-라이스(11, 4)일 수 있고, 부호 비트는 1일 수 있다. 또 다른 예로서, 차이 계수가 300일 수 있으면, 허프만 코드는 1010일 수 있고, 허프만 비트는 4일 수 있고, 골롬 코드는 골롬-라이스(44, 6)일 수 있고, 부호 비트는 0일 수 있다.

AC 계수의 값은 0이 아닌 값이 이어지는 0의 런(run)으로 표현될 수 있다. 다른 허프만 코드는 0의 런이 선행되는 AC 계수의 값 및 0의 런이 선행되지 않는 값을 나타낼 수 있다. 0이 아닌 개별 AC 계수의 값을 인코딩하기 위해, 압축 시스템(54)은 예를 들어 (i) 개별 AC 계수에 대한 EACV = ｜AC 값｜-1을 계산하고, (ⅱ) 개별 AC 계수가 하나 이상의 0이 선행되는지의 여부를 결정하고, (ⅲ) 개별 DC 계수에 대한 EACV에 대응하는 허프만 코드를 비트 스트림에 덧붙이고, (ⅳ) EACV가 3을 초과하면, EACV에 대응하는 골롬 코드를 비트 스트림에 덧붙이고, (v) 부호 비트(예를 들어, 양수에 대해 0, 음수에 대해 1)를 비트 스트림에 덧붙일 수 있다. 더욱이, 0의 값을 갖는 개별 AC 계수의 값을 인코딩하기 위해, 압축 시스템(54)은 예를 들어, (i) EACR = 0의 AC 런-1을 계산하고, (ⅱ) EACR에 대응하는 허프만 코드를 비트 스트림에 덧붙이고, (ⅲ) EACR이 3을 초과하면, EACR에 대응하는 골롬 코드를 비트 스트림에 덧붙일 수 있다.

아래의 표 4는 예시적인 AC 인코딩 테이블을 제공한다. 테이블의 허프만 코드 부분은 압축 통계를 알 수 없을 때 압축의 시작 시에 기본 테이블로서 사용될 수 있다.

표 4가 인코딩을 위해 어떻게 사용될 수 있는지를 예시하도록, 0, 2, 0, 0, -10, 50, 0, 0, 0, 0, 및 0의 11개의 계수 시퀀스를 인코딩하는 예가 설명될 것이다. 표 4에서 알 수 있는 바와 같이, 하나의 0의 런에 대해, "AC 런-1"은 0, 허프만 코드는 1, 허프만 비트는 1일 수 있으며, 골롬 코드는 없을 수 있다. 다음으로, 적어도 하나의 0의 런이 선행되는 2의 값에 대해, "｜AC 값｜-1"은 1, 허프만 코드는 1111, 허프만 비트는 4일 수 있으며, 골롬 코드는 없을 수 있고, 부호 비트는 0일 수 있다. 후속하여, 2개의 0의 런에 대해, "AC 런-1"은 1, 허프만 코드는 001, 허프만 비트는 3일 수 있고, 골롬 코드는 없을 수 있다. 그런 다음, 적어도 하나의 0의 런이 선행되는 -10의 값에 대해, "｜AC 값｜-1"은 9, 허프만 코드는 0011001, 허프만 비트는 7, 골롬 코드는 골롬-라이스(2, 1), 부호 비트는 1일 수 있다. 그런 다음, 적어도 하나의 0이 선행되지 않는 50의 값에 대해, "｜AC 값｜-1"은 49, 허프만 코드는 0000100, 허프만 비트는 7, 골롬 코드는 골롬-라이스(18, 3), 부호 비트는 0일 수 있다. 마지막으로, 5개의 0의 나머지 런에 대해, "AC 런-1"은 4, 허프만 코드는 011, 허프만 비트는 3, 골롬 코드는 골롬-라이스(1, 0)일 수 있다.

흐름도(600)의 프로세스의 추가 부분으로서, 적응 압축(adaptive compression)이 특정 구현에서 수행될 수 있다. 예를 들어, 압축된 프레임의 크기는 예를 들어 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제9,800,875호에 기술된 기술을 사용하는 것과 같이 바이트의 목표 수에 가깝게 설정될 수 있다. 또한, 각각의 슬라이스에 대한 엔트로피 지수는 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 제9,800,875호에 기술된 기술을 사용하는 것과 같이 계산될 수 있다. 엔트로피 승수(entropy multiplier)와 함께 엔트로피 지수는 양자화 스케일 팩터를 계산하도록 사용될 수 있다. DCT 16×16의 범위는 동일한 12-비트 입력에 대해 DCT 8×8의 범위보다 현저하게 높을 수 있다.

일부 예에서, 미가공 이미지 데이터의 32 라인이 한번에 처리될 수 있기 때문에, 이미지는 8개 이상의 섹션으로 수직으로(또는 달리) 분할될 수 있다. 그러므로, 개별 섹션을 처리한 후에, 지금까지 압축된 이미지의 크기가 이용 가능할 수 있다. 압축된 이미지의 크기는 엔트로피 승수를 업데이트하도록 사용될 수 있다. 프레임 압축의 종료시에, 압축된 이미지의 크기는 엔트로피 승수를 추가로 업데이트하기 위해 목표 크기와 비교될 수 있다.

본 명세서의 일부 예가 허프만 코드(또는 알고리즘) 및 골롬 코드(또는 알고리즘)를 사용하여 범위 내의 코딩 범위 또는 값을 기술할지라도, 다른 코드(또는 알고리즘)가 사용될 수 있다. 예를 들어, 무손실 코드, 손실 코드, 가변 길이 코드, 또는 프리픽스 코드(prefix code)가 사용될 수 있다.

일부 실시형태에서, 제1 알고리즘은 범위를 코딩하기 위해 사용될 수 있고, 제2 알고리즘은 범위 내의 값을 코딩하기 위해 사용될 수 있다. 일부 예에서, 제1 알고리즘이 제2 알고리즘과 다를 수 있어서, 범위 및 범위 내의 값이 다르게 코딩될 수 있다. 다른 예에서, 제1 알고리즘은 제2 알고리즘과 동일할 수 있다.

IV. 비디오 스트림 사양

본 명세서에 기술된 하나 이상의 접근법을 사용하여 압축될 수 있는 비디오 이미지 데이터는 비디오 스트림 사양에 따라서 편성될 수 있다. 비디오 스트림 사양은 일부 구현에서 다음 특징 중 하나 이상을 포함할 수 있다.

압축된 파일에서의 프레임 구조는 헤더 및 데이터 부분으로 분할될 수 있다. 헤더는 하드웨어 친화적으로 설계될 수 있다. 일부 예에서, 압축된 프레임의 크기 이외의 헤더에서의 모든 값은 압축이 시작되기 전에 알려질 수 있다. 파일 형식에 대해 수정이 만들어졌으면, 헤더 버전은 재생 온-카메라 또는 오프-카메라에 대한 것과 같은 압축된 파일을 디코딩할 수 있다. 헤더는 예를 들어 600 바이트를 수용할 수 있다. 헤더는 좌측에서 우측으로, 위에서 아래로 정돈된 슬라이스가 이어질 수 있다. 각각의 슬라이스는 정수의 바이트를 포함할 수 있다. 헤더 구조의 예가 아래의 표 5에 보여진다.

프레임 헤더
시작 위치	바이트	설명
0	8	압축된 프레임에서의 바이트의 수
8	1	헤더: 주요 버전
9	1	헤더: 주요 버전
10	2	수평 크기
12	2	수직 크기
14	1	슬라이스당 매크로블록
15	1	채도 형식 0 --> 422 1 --> 444
16	2	프레임당 슬라이스의 수
18	2	보류 - 0으로 설정
20	256	루마 양자화(Luma Quantization) 테이블
276	256	채도 양자화 테이블
532	14	DC 허프만 테이블
546	18	AC 값 0 런 허프만 테이블
564	18	AC 값 0이 아닌 런 허프만 테이블
582	18	AC 런 길이 허프만 테이블

허프만 테이블에서의 개별 엔트리는 2 바이트(16-비트) 폭일 수 있다. 아래의 표 6에 의해 예시된 바와 같이, 허프만 테이블 구조의 최상위 비트(예를 들어, 첫 4 비트)는 허프만 코드의 크기를 나타낼 수 있으며, 허프만 테이블 구조의 최하위 비트(예를 들어, 마지막 12 비트)는 0으로 패딩된(padded) 우측 및 좌측에 정렬될 수 있는 허프만 코드 자체를 나타낼 수 있다.

코드 크기
(4 비트)

허프만 코드(12 비트)

각각의 슬라이스는 녹색 1, 녹색 2, 적색 및 청색 성분이 이어지는 헤더(예를 들어, 9 바이트)를 가질 수 있다. 각각의 성분은 바이트 경계에서 시작할 수 있다. 성분이 단편 바이트(fractional byte)를 가질 수 있으면, 성분은 완전한 바이트를 형성하도록 0으로 패딩될 수 있다. 아래의 표 7은 예시적인 슬라이스 구조를 예시한다.

슬라이스 헤더
(9 바이트)

녹색 1 데이터
(가변적)

녹색 2 데이터
(가변적)

적색 데이터
(가변적)

청색 데이터
(가변적)

아래의 표 8은 예시적인 슬라이스 헤더 구조를 도시한다. 슬라이스 헤더 구조의 비트의 수는 패딩된 비트를 허프만 코드의 값 0과 혼동하지 않도록 지정될 수 있다. 성분에서의 비트의 수가 8의 배수가 아니면, 다음의 성분은 바이트 경계에서 시작할 수 있다.

슬라이스 헤더
시작 위치	바이트	설명
0	1	양자화 스케일 팩터
1	2	G1 스트림에서 비트의 수
3	2	G2 스트림에서 비트의 수
5	2	B 스트림에서 비트의 수
7	2	R 스트림에서 비트의 수

V. 3D 이미지 디스플레이

본 명세서에 기술된 이미지 캡처 디바이스의 또는 이에 연결된 디스플레이(예를 들어, 도 1A의 디바이스(10)의 디스플레이(11))는 일부 구현에서 3D 디스플레이이거나 또는 이를 포함할 수 있다. 3D 디스플레이는 3D 이미지(때때로 "다차원 컨텐츠"로 지칭 됨)가 사용자에 의해 관찰되도록 광을 생성하기 위해 구성될 수 있다. 예를 들어, 입체 디스플레이는 적절한 각도에서 보거나 특별히 설계된 안경을 사용할 때 사용자에게 3D인 것처럼 보이는 이미지를 형성하도록 사용될 수 있다. 적어도 일부 실시형태는 디스플레이를 움직이지 않고 여러 방향으로부터 3D 이미지를 사용자가 볼 수 있도록 3D 공간에 있는 것처럼 보여지는 이미지를 생성하기 위해 구성된 디스플레이에 관한 것이다. 디스플레이는 사용자의 시야 내에 위치될 필요가 없다. 일부 실시형태에서, 3D 이미지는 디스플레이 위에 현수되거나 부유하는 것처럼 보일 수 있다. 그러므로, 사용자는 마치 이미지에서의 컨텐츠가 물리적 객체이었던 것처럼 이미지의 상이한 뷰를 관찰하기 위해 3D 이미지를 "다각적으로 검토"할 수 있다.

3D 디스플레이의 일부 실시형태는 회절식 라이트필드 백라이팅 시스템(diffractive lightfield backlighting system)을 포함할 수 있다. 회절식 라이트필드 백라이팅 시스템은 멀티 뷰 또는 3D 디스플레이, 및 3D 디스플레이의 후방 조명을 위해 구성된 광원을 포함할 수 있다. 멀티 뷰 디스플레이는 그 위에 조명된 광을 다수의 방향으로 지향시키도록 구성된 복수의 회절 격자를 각각 포함하는 복수의 회절 요소를 포함할 수 있다. 광이 지향되는 방향은 회절 요소의 회절 특성에 기초할 수 있다. 일부 실시형태에서, 다수의 방향은 3D 이미지의 상이한 뷰에 대응할 수 있다. 동일하거나 실질적으로 유사한 방향으로 지향되는 다수의 광선은 3D 컨텐츠의 특정 뷰에 대응하여 이미지를 형성할 수 있다. 따라서, 3D 컨텐츠의 멀티 뷰는 복수의 회절 요소에 기초하여 다수의 방향으로 디스플레이될 수 있다. 본 명세서의 실시형태의 일부 구현은 예를 들어, 그 전체 내용이 참조에 의해 본 명세서에 통합되는 "멀티 빔 회절 격자 기반 백라이팅"이라는 명칭의 미국 특허 제9,128,226호 및 "방향성 백라이팅(Directional Backlighting)"이라는 명칭의 미국 특허 제9,459,461호에 보다 상세하게 기술되어 있다. 3D 디스플레이는 2차원(2D) 디스플레이와 별도로 동작할 수 있다. 3D 디스플레이는 예를 들어 2D 디스플레이의 뒤 또는 앞에 배치될 수 있다. 이와 같이, 3D 디스플레이 또는 2D 디스플레이는 서로의 사용에 영향을 주지 않고 각각 켜지고 꺼질 수 있다.

3D 이미지를 발생시키기 위한 3D 디스플레이의 다른 실시형태가 가능하다. 예를 들어, 3D 디스플레이는 홀로그램과 관련된 홀로그래픽 간섭 패턴의 재구성에 기초하여 3D 이미지를 디스플레이하도록 구성될 수 있다. 간섭 패턴은 프린지 패턴(fringe pattern)에 저장된 특징에 기초하여 재구성될 수 있고, 디스플레이는 스크린 상의 간섭 프린지 패턴을 복제하도록 구동되는 픽셀을 포함할 수 있다. 픽셀은 3D 홀로그래픽 이미지를 발생시키기 위해 픽셀의 간섭 패턴에 의해 변환될 수 있는(예를 들어, 위상 또는 투과율에서의 변화) 광원에 의해 조명될 수 있다. 일부 구현은, 예를 들어 그 전체 내용이 참조에 의해 본 명세서에 통합되는 "동적 이미지 제어를 갖는 투명 홀로그랙픽 디스플레이"라는 명칭의 미국 특허 제9,304,491호; "홀로그래픽 디스플레이"라는 명칭의 미국 특허 제6,760,135호에서 찾을 수 있다. 다른 실시형태에서, 디스플레이는, 예를 들어 그 전체 내용이 참조에 의해 본 명세서에 통합되는 "홀로그래픽 스테로그램(Holographic Sterogram)을 이용한 강화된 환경 시각화"라는 명칭의 미국 특허 제7,190,496호에 설명된 바와 같이 공간 광 변조기를 사용하여 조명되어 변조된 복수의 홀로그램 픽셀을 포함할 수 있다.

유익하게, 3D 디스플레이는 특정 실시형태에서 렌즈큘러 렌즈(lenticular lens) 또는 시선 추적 기술을 이용할 필요가 없을 수 있다. 특정 과학 이론을 구독함이 없이, 본 명세서의 실시형태는 렌즈큘러 렌즈를 사용하는 디스플레이와 비교하여 더욱 높은 해상도를 제공할 수 있고, 3D 디스플레이는 표준 2D 디스플레이와 별도로 작동 가능할 수 있으며, 3D 디스플레이는 다수의 뷰를 갖는 다방향성 콘텐츠를 제공한다.

더욱이, 본 명세서에 설명된 이미지 캡처 디바이스는 일부 구현에서 3D 디스플레이에 의한 재생을 위해 3D 이미지를 캡처할 수 있다. 예를 들어, 제1 카메라(12), 제2 카메라(17), 카메라 모듈(30)의 이미지 센서, 또는 비디오 카메라의 이미지 센서는 3D 이미지를 캡처하도록 사용될 수 있다. 하나의 예에서, 제1 카메라(12), 제2 카메라(17) 또는 카메라 모듈(30)의 이미지 센서는 3D 이미지를 캡처하도록 사용될 수 있고, 전화기(10)는 차례로 3D 이미지를 저장하고, 디스플레이(11)를 사용하여 3D 이미지를 재생할 수 있다. 이러한 설계는 3D 이미지의 실시간 또는 동시 캡처 및 디스플레이를 용이하게 할 수 있다.

3D 디스플레이 상에 디스플레이된 3D 컨텐츠, 홀로그래픽 컨텐츠, 또는 다른 컨텐츠는 예를 들어 도 3a 내지 도 6에 대해 기술된 미가공 이미지 데이터를 압축하기 위한 기술에 따르는 것과 같이 본 명세서에 기술된 기술 중 임의의 것에 따라서 압축될 수 있다. 예를 들어, 전화기(10)는 제1 카메라(12) 중 2개 이상, 제2 카메라(17), 또는 카메라 모듈(30)의 이미지 센서 중 하나 이상을 사용하여(또는 전화기(10)에 부착된 다른 카메라 모듈을 사용하여) 압축된 미가공 이미지 데이터를 캡처할 수 있다. 전화기(10)는 그런 다음 압축된 이미지 데이터를 하나 이상의 파일로 전화기(10)의 메모리 디바이스, 또는 전화기(10)에 부착된 모듈에 있는 메모리 디바이스에 기록할 수 있다. 전화기(10)는 그런 다음 이미지 데이터에 액세스하여, 이를 압축 해제하고, 3D, 홀로그래픽 컨텐츠 등으로서 디스플레이(11)에서 적절히 재생하기 위해 준비한다. 전화기(10)는 추가적으로 일부 실시형태에 따르면 전화기(10)가 기록하고 있는 동안 먼저 컨텐츠를 압축하고 저장함이 없이 3D, 홀로그래픽 또는 다른 컨텐츠를 실시간으로 재생할 수 있다.

VI. 추가 실시형태 및 용어

도 7은 전화기(100)와 통신하는 이미지 캡처 디바이스(50)를 도시한다. 이미지 캡처 디바이스(50)는 예를 들어 카메라 모듈(30)의 실시형태일 수 있고, 전화기(100)는 예를 들어 전화기(10)의 실시형태일 수 있다. 전화기(100)는 모듈식일 수 있고, 본 명세서에 기술된 바와 같은 하나 이상의 모듈에 결합될 수 있다. 예를 들어, 전화기는 전원(60), 메모리 디바이스(62), 또는 입력/출력(I/O) 디바이스(64)뿐만 아니라 이미지 캡처 디바이스(50) 또는 하나 이상의 다른 모듈(66)에 기계적으로 또는 전기적으로 연결될 수 있다. 아울러, 전화기(100)는 전원(60), 메모리 디바이스(62), 입력/출력(I/O) 디바이스(64) 및 이미지 캡처 디바이스(50)를 통해 하나 이상의 다른 모듈(61, 63, 65, 67)과 각각 전기적으로 통신할 수 있으며, 하나 이상의 다른 모듈(61, 63, 65, 67)은 각각 전원(60), 메모리 디바이스(62), 입력/출력(I/O) 디바이스(64), 및 이미지 캡처 디바이스(50)에 결합될 수 있다. 모듈식 전화기 및 카메라 모듈의 실시형태 및 특징은 그 전체 내용이 참조에 의해 본 명세서에 통합되는 미국 특허 공개 제2017/0171371호에 또한 기술되어 있다.

도 8은 전화기(100)의 구성 요소를 도시한다. 전화기(100)는 서브 통신 모듈(130), 커넥터(165), 및 이어폰 연결 잭(167)과 같은 외부 연결 디바이스를 사용하여 외부 디바이스에 연결될 수 있다. "외부 디바이스"는, 전자 디바이스로부터 제거 가능하고 케이블을 통해 전자 디바이스에 연결되는 이어폰, 외부 스피커, 범용 직렬 버스(USB) 메모리, 충전기, 크래들/도크, 디지털 멀티미디어 방송(DMB) 안테나, 전자 지불 관련 디바이스, 건강 관리 디바이스(예를 들어, 예를 들어, 혈당 테스터), 게임 콘솔, 차량 내비게이션, 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC, 서버 등과 같은 다양한 디바이스를 포함할 수 있다.

전화기(100)는 터치 스크린 디스플레이(190), 및 터치 스크린 제어기(195)를 포함한다. 전화기(100)는 또한 제어기(110), 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), 위성 항법 시스템(GPS) 모듈(155), 입력/출력 모듈(160), 센서 모듈(170), 메모리(175), 전력 공급장치(180)를 포함한다. 서브 통신 모듈(130)은 무선 근거리 통신망(WLAN)(131) 및 근거리 통신 모듈(132) 중 적어도 하나를 포함하며, 멀티미디어 모듈(140)은 방송 통신 모듈(141), 오디오 재생 모듈(142), 및 비디오 재생 모듈(143) 중 적어도 하나를 포함한다. 입력/출력 모듈(160)은 버튼(161), 마이크로폰(162), 스피커(163), 진동 모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다. 추가적으로, 전자 디바이스(100)는 한쪽 방향을 향하는 제1 라이트(153), 및 다른 방향을 향하는 제2 라이트(154)를 포함하는 하나 이상의 라이트를 포함할 수 있다.

제어기(110)는 중앙 처리 유닛(CPU)(111), 전화기(100)를 제어하는 운영 체제(OS)와 같은 제어 프로그램을 저장하기 위한 판독 전용 메모리(ROM)(112), 및 외부 소스로부터 신호 또는 데이터 입력을 저장하고 전화기(100)에서의 작업 결과를 위한 메모리 공간으로서 사용되기 위한 랜덤 액세스 메모리(RAM)(113)를 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), ROM(112), 및 RAM(113)은 내부 버스를 통해 서로 연결될 수 있다.

제어기(110)는 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입력/출력 모듈(160), 센서 모듈(170), 메모리(175), 전력 공급장치(180), 터치 스크린 디스플레이(190), 및 터치 스크린 제어기(195)를 제어할 수 있다.

이동 통신 모듈(120)은 제어기(110)의 제어에 따라서 적어도 일대일 안테나 또는 일대다 안테나(one-to-many antenna)를 사용하는 이동 통신을 통해 전자 디바이스(100)를 외부 디바이스와 연결한다. 이동 통신 모듈(120)은 휴대 전화기, 스마트폰, 태블릿 PC 또는 다른 디바이스로/로부터 음성 통화, 화상 회의 통화, 단문 메시지 서비스(SMS) 메시지 또는 멀티미디어 메시지 서비스(MMS) 메시지를 위한 무선 신호를 송수신하며, 전화기는 전화기(100)에 입력된 전화 번호를 갖는다.

서브 통신 모듈(130)은 WLAN 모듈(131) 및 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 서브 통신 모듈(130)은 WLAN 모듈(131) 또는 근거리 통신 모듈(132) 중 어느 하나 또는 둘 다를 포함할 수 있다.

WLAN 모듈(131)은 제어기(110)의 제어에 따라서 무선 액세스 포인트(AP)가 있는 곳에서 인터넷에 연결될 수 있다. WLAN 모듈(131)은 WLAN 전기 및 전자 기술자 협회(IEEE) 802.11x 표준을 지원한다. 근거리 통신 모듈(132)은 제어기(110)의 제어에 따라서 전화기(100)와 이미지 렌더링 디바이스 사이에서 근거리 통신을 수행할 수 있다. 근거리 통신은 BLUETOOTH SPECIAL INTEREST GROUP, INC.로부터 상업적으로 이용 가능한 2.4 GHz 대역에서 근거리 무선 통신 기술인 BLUETOOTH™, 무선 적외선 통신(IrDA), WI-FI ALLIANCE로부터 상업적으로 이용 가능한 컴퓨터 네트워크를 통한 데이터 교환을 위한 무선 기술인 WI-FI™ DIRECT, NFC 등과 호환 가능한 통신을 포함할 수 있다.

전화기(100)는 전화기(100)의 성능 요건에 기초하여 이동 통신 모듈(120), WLAN 모듈(131), 및 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전화기(100)는 전화기(100)의 성능 요건에 기초하여 이동 통신 모듈(120), WLAN 모듈(131), 및 근거리 통신 모듈(132)의 조합을 포함할 수 있다.

멀티미디어 모듈(140)은 방송 통신 모듈(141), 오디오 재생 모듈(142), 또는 비디오 재생 모듈(143)을 포함할 수 있다. 방송 통신 모듈(141)은 제어기(110)의 제어에 따라서 방송 통신 안테나를 통해 방송국으로부터 전송된 방송 신호(예를 들어, 텔레비전 방송 신호, 라디오 방송 신호, 또는 데이터 방송 신호) 및 추가 방송 정보(예를 들어, 전기 프로그램 가이드(EPG) 또는 전기 서비스 가이드(ESG))를 수신할 수 있다. 오디오 재생 모듈(142)은 제어기(110)의 제어에 따라서 저장되거나 또는 수신된 디지털 오디오 파일(예를 들어, mp3, wma, ogg 또는 way와 같은 확장자를 갖는 파일)을 재생할 수 있다. 비디오 재생 모듈(143)은 제어기(110)의 제어에 따라서 저장되거나 또는 수신된 디지털 비디오 파일(예를 들어, mpeg, mpg, mp4, avi, move 또는 mkv와 같은 확장자를 갖는 파일)을 재생할 수 있다. 비디오 재생 모듈(143)은 또한 디지털 오디오 파일을 재생할 수 있다.

멀티미디어 모듈(140)은 방송 통신 모듈(141)을 제외한 오디오 재생 모듈(142) 및 비디오 재생 모듈(143)을 포함할 수 있다. 멀티미디어 모듈(140)의 오디오 재생 모듈(142) 또는 비디오 재생 모듈(143)은 제어기(110)에 포함될 수 있다.

카메라 모듈(150)은 제어기(110)의 제어에 따라서 스틸 이미지 또는 비디오 이미지를 캡처하기 위한 하나 이상의 카메라를 포함할 수 있다. 또한, 하나 이상의 카메라는 이미지를 캡처하기 위한 일정량의 광을 제공하기 위한 보조 광원(예를 들어, 플래시)을 포함할 수 있다. 하나의 예에서, 하나 이상의 카메라가 전화기(100)의 전면에 배치될 수 있고, 하나 이상의 다른 카메라가 전화기(100)의 후면에 배치될 수 있다. 2개 이상의 카메라가 일부 구현에서 서로 인접하여 배열되어(예를 들어, 2개 이상의 카메라 사이의 거리는 각각 1 cm 내지 8 cm의 범위에 있을 수 있다), 3차원(3D) 스틸 이미지 또는 3D 비디오 이미지를 캡처한다.

GPS 모듈(155)은 지구 주위의 궤도에 있는 복수의 GPS 위성으로부터 무선 신호를 수신하고, GPS 위성으로부터 전화기(100)로의 도달 시간을 이용하여 전화기(100)의 위치를 계산할 수 있다.

입력/출력 모듈(160))은 복수의 버튼(161) 중 적어도 하나, 마이크로폰(162), 스피커(163), 진동 모터(164), 커넥터(165), 및 키패드(166)를 포함할 수 있다.

버튼(161) 중 적어도 하나는 전화기(100)의 하우징의 전면, 측면 또는 후면에 배열될 수 있으며, 전원/잠금 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 후면 버튼, 및 검색 버튼 중 적어도 하나를 포함할 수 있다.

마이크로폰(162)은 제어기(110)의 제어에 따라서 음성 또는 소리를 수신하는 것에 의해 전기 신호를 발생시킨다.

스피커(163)는 제어기(110)의 제어에 따라서 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), 또는 카메라 모듈(150)로부터 다양한 신호(예를 들어, 무선 신호, 방송 신호, 디지털 오디오 파일, 디지털 비디오 파일 또는 사진 신호)에 대응하는 소리를 외부적으로 출력할 수 있다. 스피커(163)는 전자 디바이스(100)에 의해 수행되는 기능에 대응하는 소리(예를 들어, 버튼 누름 소리 또는 벨소리)를 출력할 수 있다. 전화기(100)의 하우징 상의 또는 안의 적어도 하나의 위치에 배열된 하나 또는 다수의 스피커(163)가 있을 수 있다.

진동 모터(164)는 제어기(110)의 제어에 따라서 전기 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에서의 전화기(100)는 다른 디바이스로부터 음성 통화를 수신할 때 진동 모터(164)를 작동시킨다. 전화기(100)의 하우징 내부에는 적어도 하나의 진동 모터(164)가 있을 수 있다. 진동 모터(164)는 터치 스크린 디스플레이(190) 위에서의 사용자의 터치 활동 또는 연속적인 터치에 응답하여 동작할 수 있다.

커넥터(165)는 전화기(100)를 외부 디바이스 또는 전원에 연결하기 위한 인터페이스로서 사용될 수 있다. 제어기(110)의 제어에 따라서, 전화기(100)는 커넥터(165)에 연결된 케이블을 통해 전자 디바이스(100)의 메모리(175)에 저장된 데이터를 외부 디바이스로 전송하거나, 또는 외부 디바이스로부터 데이터를 수신할 수 있다. 또한, 전화기(100)는 커넥터(165)에 연결된 케이블을 통해 전원에 의해 전력이 공급되거나 또는 전원을 사용하여 배터리를 충전할 수 있다.

키패드(166)는 전화기(100)를 제어하기 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 전화기(100)에 형성된 기계식 키패드, 또는 터치 스크린 디스플레이(190) 상에 디스플레이된 가상 키패드를 포함한다. 전화기(100)에 형성된 기계식 키 패드는 전화기(100)의 성능 요건 또는 구조에 의존하여 전화기(100)의 구현으로부터 선택적으로 생략될 수 있다.

이어폰이 이어폰 연결잭(167) 내로 삽입될 수 있으며, 그러므로 전화기(100)에 연결될 수 있다.

스타일러스 펜(168)은 전화기(100)에 삽입 및 제거 가능하게 보유될 수 있고, 전화기(100)로부터 인출되어 분리될 수 있다.

스타일러스 펜(168)의 부착 및 분리에 응답하여 동작하는 펜 착탈 인식 스위치(169)는 스타일러스 펜(168)이 제거 가능하게 보유되는 전화기(100) 내부 영역에 장착되고, 스타일러스 펜(168)의 부착 또는 분리에 대응하는 신호를 제어기(110)로 전송한다. 펜 착탈 인식 스위치(169)는 스타일러스 펜(168)이 상기 영역 내로 삽입될 때 스타일러스 펜(168)과 직접 또는 간접적으로 접촉할 수 있다. 펜 착탈 인식 스위치(169)는 직접 또는 간접 접촉에 기초하여 스타일러스 펜(168)의 부착 또는 분리에 대응하는 신호를 발생시키고, 신호를 제어기(110)에 제공한다.

센서 모듈(170)은 전화기(100)의 상태를 검출하기 위한 적어도 하나의 센서를 포함한다. 예를 들어, 센서 모듈(170)은 전화기(100)에 대한 사용자의 근접성을 검출하기 위한 근접 센서, 전자 디바이스(100)의 주변 광량을 검출하기 위한 조명 센서, 전화기(100)의 움직임(예를 들어, 전화기(100)의 회전, 전화기(100)에 가해지는 가속 또는 진동)을 검출하기 위한 모션 센서, 지자기장을 이용하여 나침반의 지점을 검출하기 위한 지자기 센서, 중력의 방향을 검출하기 위한 중력 센서, 및 대기압을 측정하여 고도를 검출하기 위한 고도계를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고 대응하는 신호를 발생시켜 제어기(110)로 전송할 수 있다. 센서 모듈(170)의 센서는 전화기(100)의 성능 요건에 의존하여 추가되거나 제거될 수 있다.

메모리(175)는 제어기(110)의 제어에 따라서 이동 통신 모듈(120), 서브 통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈, 입력/출력 모듈(160), 센서 모듈(170), 터치 스크린 디스플레이(190)의 동작에 따른 신호 또는 데이터 입력/출력을 저장할 수 있다. 메모리(175)는 전화기(100) 또는 제어기(110)를 제어하기 위한 제어 프로그램 및 애플리케이션을 저장할 수 있다.

"저장 장치(storage)"라는 용어는 메모리(175), 및 또한 제어기(110)에 있는 ROM(112), RAM(113), 또는 전화기(100)에 설치된 메모리 카드(예를 들어, 보안 디지털(SD) 카드, 메모리 스틱 등)을 지칭할 수 있다. 저장 장치는 또한 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD) 등을 포함할 수 있다.

전력 공급장치(180)는 제어기(110)의 제어에 따라서 전화기(100)의 하우징 내부에 배치된 적어도 하나의 배터리로부터 전력이 공급될 수 있다. 그러므로, 적어도 하나의 배터리는 휴대 전화기(100)에 전력을 공급할 수 있다. 전력 공급장치(180)는 커넥터(165)에 연결된 케이블을 통해 외부 전원으로부터 입력되는 전력을 전화기(100)에 공급할 수 잇다. 전력 공급장치(180)는 또한 무선 충전 기술을 사용하여 외부 전원으로부터 전력을 전화기(100)에 무선으로 공급할 수 있다.

터치 스크린 제어기(195)는 제어기(110)에 의해 처리된 정보(예를 들어, 전화 통화, 데이터 전송, 방송 또는 사진을 만들기 위해 발생될 정보)를 수신하고, 정보를 터치 스크린 디스플레이(190) 상에 디스플레이될 데이터로 변환하고, 터치 스크린 디스플레이(190)에 데이터를 제공한다. 터치 스크린 디스플레이(190)는 터치 스크린 제어기(195)로부터 수신된 데이터를 디스플레이한다. 예를 들어, 통화 모드에서, 터치 스크린 디스플레이(190)는 통화에 대한 사용자 인터페이스(UI) 또는 그래픽 사용자 인터페이스(GUI)를 디스플레이할 수 있다. 터치 스크린 디스플레이(190)는 액정 디스플레이, 박막 트랜지스터 액정 디스플레이, 유기 발광 다이오드, 가요성 디스플레이, 3D 디스플레이(예를 들어, 본 명세서에 기술된 바와 같은 3D 이미지를 나타내기 위한), 멀티 뷰 디스플레이, 전기 영동 디스플레이, 또는 이러한 것들의 조합 등 중 적어도 하나를 포함할 수 있다. 또한, 터치 스크린 디스플레이(190)는 2D 비디오 이미지, 3D 비디오 이미지, 및 2D/3D 가상 현실(VR), 증강 현실(AR), 및 혼합 현실(MR)을 포함하는 것과 같은 본 명세서에 기술된 바와 같은 비디오 이미지를 나타내도록 사용될 수 있다. 일부 구현에서, 전화기(100)는 전화기(100)의 터치 스크린 디스플레이(190) 또는 다른 디스플레이와 같은 표시를 위한 홀로그래픽 비디오 이미지를 처리하고 출력하는 홀로그래픽 모듈을 더 포함한다.

터치 스크린 디스플레이(190)는 출력 디바이스 및 또한 입력 디바이스로서 사용될 수 있고, 입력 디바이스의 경우에, 터치 스크린으로서 동작하기 위한 터치 스크린 패널을 가질 수 있다. 터치 스크린 디스플레이(190)는 UI 또는 GUI에 대한 적어도 하나의 터치에 대응하는 아날로그 신호를 터치 스크린 제어기(195)에 전송할 수 있다. 터치 스크린 디스플레이(190)는 사용자의 물리적 접촉에 의한(예를 들어, 엄지 손가락을 포함하는 손가락에 의한) 또는 터치 가능한 입력 디바이스(예를 들어, 스타일러스 펜)에 의한 적어도 하나의 터치를 검출할 수 있다. 터치 스크린 디스플레이(190)는 또한 적어도 하나의 터치 중 터치의 드래그 움직임을 또한 수신하고, 드래그 움직임에 대응하는 아날로그 신호를 터치 스크린 제어기(195)에 전송할 수 있다. 터치 스크린 디스플레이(190)는 예를 들어, 저항성 방법, 용량성 방법, 적외선 방법, 음파 방법 등으로 적어도 하나의 터치를 검출하도록 구현될 수 있다.

"터치"라는 용어는 사용자의 물리적 접촉 또는 터치 가능한 입력 디바이스와의 접촉에 의한 물리적 터치로 제한되지 않고, 무터치 근접성(예를 들어, 터치 스크린 디스플레이(190)과 사용자의 신체 또는 터치 가능한 입력 디바이스 사이에서 검출 가능한 거리를 1㎜ 미만으로 유지)을 또한 포함할 수 있다. 터치 스크린 디스플레이(190)로부터의 검출 가능한 거리는 전화기(100)의 성능 요건 또는 전화기(100)의 구조에 의존하여 달라질 수 있으며, 보다 구체적으로, 터치 스크린 디스플레이(190)는 사용자의 신체 또는 터치 가능한 디바이스와의 접촉 및 무접촉 입력(예를 들어, 호버링 이벤트(hovering event))에 의해 발생되는 터치 이벤트를 구별 가능하게 검출하도록 터치 검출 및 호버링 검출을 위해 상이한 값(예를 들어, 전류 값)을 출력할 수 있다. 또한, 터치 스크린 디스플레이(190)는 호버링 이벤트가 발생한 곳으로부터의 거리에 대한 호버링 검출에 대한 상이한 값(예를 들어, 전류 값)을 출력할 수 있다.

터치 스크린 제어기(195)는 터치 스크린 디스플레이(190)로부터 수신된 아날로그 신호를 디지털 신호(예를 들어, 터치 패널 또는 디스플레이 스크린 상의 XY 좌표를 갖는)로 변환하고, 디지털 신호를 제어기(110)에 전송한다. 제어기(110)는 터치 스크린 제어기(195)로부터 수신된 디지털 신호를 사용하여 터치 스크린 디스플레이(190)를 제어할 수 있다. 예를 들어, 터치 이벤트 또는 호버링 이벤트에 응답하여, 제어기(110)는 터치 스크린 디스플레이(190)에 디스플레이된 단축 아이콘이 선택되거나 또는 실행되는 것을 가능하게 할 수 있다. 터치 스크린 제어기(195)는 또한 제어기(110)에 통합될 수 있다.

또한, 터치 스크린 제어기(195)는 터치 스크린 디스플레이(190)를 통해 출력되는 값(예를 들어, 전류 값)을 검출하는 것에 의해 호버링 이벤트가 발생한 곳과 터치 스크린 디스플레이(190) 사이의 거리를 결정하고, 결정된 거리를 디지털 신호(예를 들어, Z 좌표를 갖는)로 변환하고, 디지털 신호를 제어기(110)에 제공한다.

전화기(100)의 구성 요소 또는 모듈 중 하나 이상은 전화기(100)의 하우징에 제거 가능하게 결합될 수 있다. 이러한 결합을 예시하는 것을 돕기 위해, 전화기(100)의 하우징은 전화기(10)인 것으로 이해될 수 있지만, 구성 요소 또는 모듈 중 하나 이상은 전화기(10)에 기능을 추가 또는 제거하도록 모듈 커넥터(20)를 통해 전화기(10)에 제거 가능하게 결합될 수 있다. 하나의 예로서, 카메라 모듈(30)의 일부 또는 전부는 카메라 모듈(30)의 일부 또는 모든 기능을 전화기(10)에 제공하도록 전화기(10)에 제거 가능하게 결합될 수 있다.

본 명세서에 도시되고 설명된 특정 전자 디바이스가 휴대폰이지만, 다른 핸드 헬드 전자 디바이스 실시형태는 휴대폰이 아니며, 전화기 기능을 포함하지 않는다. 예를 들어, 일부 실시형태는 본 명세서에 기술된 전자 디바이스와 동일하거나 유사한 외관을 가지지만, 태블릿 컴퓨팅 디바이스 또는 디지털 카메라의 경우에서와 같은 전화기 기능을 포함하지 않는다. 그럼에도 불구하고, 이러한 실시형태는 다음 및 그 부분 중 하나 이상과 같은 본 명세서에 기술된 비전화기 구성 요소 및 기능의 임의의 조합을 포함할 수 있다: 제어기(110), 터치 스크린 디스플레이(190) 및 터치 스크린 제어기(195), 카메라 모듈(150), 멀티미디어 모듈(140), 서브 통신 모듈(130), 제1 라이트(153), 제2 라이트(154), GPS 모듈(155), I/O 모듈(160), 및 메모리(176).

도 9a는 확장기 모듈(900) 및 카메라 모듈(30)에 부착되기 위해 위치된 전화기(10)의 사시도를 도시하고, 도 9b는 부착되었을 때 전화기(10), 확장기 모듈(900) 및 카메라 모듈(30)의 사시도를 도시한다. 확장기 모듈(900)은 메모리 디바이스, 배터리, 또는 전화기(10)의 용량을 향상시키기 위한 다른 구성 요소를 포함할 수 있다. 확장기 모듈(900)은 도 1C 및 도 1D의 카메라 모듈(30)의 구조 및 기능과 유사할 수 있는, 자석을 지지하는 하우징을 포함할 수 있다. 자석은 한쪽 측면에서 전화기(10)에, 다른쪽 측면에서 카메라 모듈(30)에 대한 하우징의 결합을 용이하게 할 수 있다. 추가적으로 또는 대안적으로, 결합은 적어도 마찰 끼워맞춤, 인터록킹 구조, 체결구, 기계적 스냅 표면 구조, 기계적 래치 표면 구조, 기계적 간섭 끼워맞춤 표면 구조 등을 통해 달성될 수 있다.

확장기 모듈(900)은 또한, 모듈과 교환 가능하게 결합할 수 있고 모듈 또는 모듈에 결합된 하나 이상의 다른 디바이스로부터 전력 또는 데이터를 수신하거나 또는 이러한 것에 전력 또는 데이터를 전송할 수 있는, 모듈 커넥터(20)와 유사하거나 또는 동일한 모듈 커넥터(예를 들어, 카메라 모듈(30) 상의 대응하는 커넥터(도시되지 않음)에 결합되기 위한 하나의 확장기 모듈 커넥터(910) 및 모듈 커넥터(20)에 결합되기 위한 다른 확장기 모듈 커넥터(도시되지 않음)의 2개의 모듈 커텍터)를 포함할 수 있다.

비록 녹색 1 및 녹색 2가 본 명세서의 일부 예에서 개별적으로 또는 상이하게 처리되는 것으로서 설명될 수 있을지라도, 녹색 1 및 녹색 2는 개별적으로 또는 상이하게 처리되거나 처리되지 않을 수 있다. 예를 들어, 녹색 1 및 녹색 2 픽셀은 별도의 DCT 매크로블록으로 분리될 수 있거나, 또는 별도의 DCT 매크로블록으로 분리되지 않을 수 있다. 다른 예로서, 녹색 1 및 녹색 2 픽셀은 개별 스캔으로 분리될 수 있거나, 또는 개별 스캔으로 분리되지 않을 수 있다. 여전히 다른 예에서, 슬라이스 구조는 녹색 1 및 녹색 2에 대해 별도의 부분을 가질 수 있거나. 또는 녹색 1 및 녹색 2에 대해 별도의 부분을 가지지 않을 수 있다. 다른 예에서, 녹색 1 및 녹색 2는 슬라이스 헤더 구조에서 별도의 크기를 가질 수 있거나, 또는 슬라이스 헤더 구조에서 별도의 크기를 가지지 않을 수 있다.

다양한 이미지 캡처 디바이스(또는 디바이스의 특정 구성 요소)는 본 명세서에서 하나 이상의 기능을 수행하도록 "구성된" 것으로서 설명될 수 있다. 본 명세서에 사용된 바와 같이, 이러한 것은 디바이스가 지정된 기능을 수행하는 적어도 하나의 모드(예를 들어, 사용자 선택 가능 모드)에 놓일 수 있다는 것을 의미한다. 예를 들어, 디바이스는 모든 작동 모드에서 지정된 기능을 반드시 수행할 필요가 없을 수 있다. 이러한 라인을 따라서, "하도록 구성된"이라는 구문의 사용은 디바이스가 실제로 기능을 수행하도록 "구성된" 작동 모드에 현재 놓여야만 한다는 것을 암시하는 것이 아니라, 단지 디바이스가 해당 모드로 선택적으로 놓일 수(예를 들어, 프로그래밍되도록) 있다는 것을 암시한다.

본 명세서에 사용된 물품의 목록 중 "적어도 하나"를 지칭하는 문구는 단일 부재를 포함하는, 이들 물품의 임의의 조합을 지칭한다. 예로서, "a, b 또는 c 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c를 커버하도록 의도된다.

본 명세서에 개시된 구현과 관련하여 설명된 다양한 예시적인 논리, 논리 블록, 모듈, 회로, 및 알고리즘 단계는 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽의 조합으로서 구현될 수 있다. 하드웨어 및 소프트웨어의 상호 호환성은 일반적으로 기능성의 관점에서 설명되었으며, 위에서 설명된 다양한 예시적인 구성 요소, 블록, 모듈, 회로 및 단계에서 예시되어 있다. 이러한 기능이 하드웨어 또는 소프트웨어로 구현되는지 여부는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약 조건에 의존한다.

본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리, 논리 블록, 모듈 및 회로를 구현하도록 사용된 하드웨어 및 데이터 처리 장치는 본 명세서에 기술된 기능을 수행하도록 설계된 단일 또는 다중 칩 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 다른 프로그램 가능 논리 디바이스, 이산 게이트 또는 트랜지스터 논리, 이산 하드웨어 구성 요소 또는 이러한 것들의 임의의 조합으로 구현되거나 또는 수행될 수 있다. 프로세서는 마이크로 프로세서, 또는 임의의 프로세서, 제어기, 마이크로 제어기 또는 상태 머신일 수 있다. 프로세서는 또한 DSP 및 마이크로 프로세서의 조합, 복수의 마이크로 프로세서, DSP 코어와 함께 하나 이상의 마이크로 프로세서, 또는 임의의 다른 이러한 구성과 같은 전자 디바이스의 조합으로서 구현될 수 있다. 일부 구현에서, 특정 단계 및 방법은 주어진 기능에 특정된 회로에 의해 수행될 수 있다.

하나 이상의 양태에서, 설명된 기능은 본 명세서에서 개시된 구조 및 이들의 구조적 등가물, 또는 그 임의의 조합을 포함하는, 하드웨어, 디지털 전자 회로, 컴퓨터 소프트웨어, 펌웨어로 구현될 수 있다. 본 명세서에서 기술된 요지의 구현은 또한 데이터 처리 장치에 의해 실행되거나 그 동작을 제어하기 위해 컴퓨터 저장 매체 상에 인코딩된 하나 이상의 컴퓨터 프로그램, 예를 들어 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다.

소프트웨어로 구현되면, 기능은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령 또는 코드로서 저장되거나 또는 이를 통해 전송될 수 있다. 본 명세서에서 개시된 방법 또는 알고리즘의 단계는 컴퓨터 판독 가능 매체에 상주할 수 있는 프로세서 실행 가능 소프트웨어 모듈로 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체, 및 컴퓨터 프로그램을 한 곳에서 다른 곳으로 전송할 수 있는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 저장 장치, 자기 디스크 저장 장치 또는 다른 자기 저장 디바이스, 또는 명령 또는 데이터 구조의 형태로 필요한 프로그램 코드를 저장하도록 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있지만 이에 제한되지 않는다. 상기의 조합은 또한 컴퓨터 판독 가능 매체의 범위 내에 포함될 수 있다. 추가적으로, 방법 또는 알고리즘의 동작은 컴퓨터 프로그램 제품에 통합될 수 있는 기계 판독 가능 매체 및 컴퓨터 판독 가능 매체 상에 코드 및 명령 중 하나 또는 임의의 조합 또는 세트로서 상주할 수 있다.

본 개시 내용에서 기술된 구현에 대한 다양한 변형은 당업자에게 명백할 수 있고, 본 명세서에서 정의된 일반적인 원리는 본 개시 내용의 사상 또는 범위로부터 벗어남이 없이 다른 구현에 적용될 수 있다. 그러므로, 청구범위는 본 명세서에서 도시된 구현으로 제한되도록 의도되는 것이 아니라, 본 개시 내용, 본 명세서에 개시된 원리 및 신규한 특징과 일치하는 가장 넓은 범위에 따라야 한다.

별도의 구현과 관련하여 본 명세서에서 설명된 특정 특징은 또한 단일 구현으로 조합하여 구현될 수 있다. 반대로, 단일 구현과 관련하여 설명된 다양한 특징은 또한 다수의 구현에서 개별적으로 또는 임의의 적절한 서브 조합으로 구현될 수 있다. 더욱이, 특징이 특정 조합으로 작용하는 것으로서 설명되고 심지어 초기에 이와 같이 청구될 수 있을지라도, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우에 조합으로부터 제외될 수 있고, 청구된 조합은 서브 조합 또는 서브 조합의 변형에 관한 것일 수 있다.

문맥상 달리 명확하게 요구되지 않으면, 상세한 설명 및 청구범위 전체에 걸쳐서, "포함하다", "포함하는" 등의 단어는 배타적이거나 철저한 의미가 아니라; 즉, "포함하지만 이에 제한되지 않는"의 의미에서 포괄적인 의미로 해석되어야 한다. 본 명세서에서 일반적으로 사용되는 용어 "결합된"은 직접 연결되거나 또는 하나 이상의 중간 요소에 의해 연결될 수 있는 2개 이상의 요소를 지칭한다. 마찬가지로, 본 명세서에서 일반적으로 사용되는 "연결된"이라는 단어는 직접 연결되거나 또는 하나 이상의 중간 요소에 의해 연결될 수 있는 2개 이상의 요소를 지칭한다. 추가적으로, "여기에서", "위에서", "아래에서" 및 유사한 의미의 단어는 본 출원에서 사용될 때 본 출원의 임의의 특정 부분이 아닌 전체로서 본 출원을 지칭해야 한다. 문맥 상 허용되는 경우에, 단수 또는 복수를 사용하는 상기 상세한 설명에서의 단어는 각각 복수 또는 단수를 포함할 수 있다. 2개 이상의 물품의 목록을 나타내는 "또는"이라는 단어는 단어에 대한 다음 해석을 모두 커버한다: 목록에서의 임의의 물품, 목록에서의 모든 물품, 및 목록에서 물품의 임의의 조합.

또한, 본 명세서에서 사용되는 조건부 언어, 예를 들어 "할 수 있다", "할 수 있었다", "하였을 수 있다", "예를 들어", "와 같은" 등은 달리 구체적으로 언급되지 않거나 사용된 문맥 내에서 달리 이해되지 않으면, 다른 실시형태가 특정 특징, 요소 또는 상태를 포함하지 않지만 특정 실시형태가 이러한 것을 포함한다는 것을 전달하도록 일반적으로 의도된다. 그러므로, 이러한 조건부 언어는 특징, 요소 또는 상태가 어떤 방식으로든 하나 이상의 실시형태에 필요하거나, 또는 하나 이상의 실시형태가 필연적으로 저자의 입력 또는 프롬프트와 관계없이 특징, 요소 또는 상태가 임의의 특정 실시형태에 포함되거나 수행되어야 하는지의 여부를 결정하기 위한 논리를 반드시 포함한다는 것을 암시하도록 일반적으로 의도되지 않는다.

실시형태의 상기 상세한 설명은 상기 개시된 정확한 형태에 충실하거나 제한하도록 의도되지 않는다. 특정 실시형태 및 예가 예시적인 목적으로 위에서 설명되었지만, 당업자가 인식할 수 있는 바와 같이, 다양한 등가의 변형이 본 명세서에 기술된 본 발명의 범위 내에서 가능하다. 예를 들어, 프로세스 또는 블록이 주어진 순서로 제시되지만, 대안적인 실시형태는 단계를 갖는 루틴을 수행하거나, 또는 다른 순서로, 블록을 갖는 시스템을 이용할 수 있으며, 일부 프로세스 또는 블록은 삭제되거나, 이동되거나, 추가되거나, 세분화되거나, 조합되거나 또는 변경될 수 있다. 이들 프로세스 또는 블록의 각각은 다양한 다른 방식으로 구현될 수 있다. 또한, 프로세스 또는 블록이 때때로 직렬로 수행되는 것으로 도시되어 있지만, 이들 프로세스 또는 블록은 대신 병렬로 수행될 수 있거나, 또는 여러 경우에 수행될 수 있다.

본 명세서에 제공된 교시는 전술한 시스템뿐만 아니라 다른 시스템에도 적용될 수 있다. 전술한 다양한 실시형태의 요소 및 동작은 추가 실시형태를 제공하기 위해 조합될 수 있다.

본 발명의 특정 실시형태가 설명되었지만, 이들 실시형태는 단지 예로서 제시되었으며, 본 개시 내용의 범위를 제한하도록 의도되지 않는다. 실제로, 본 명세서에 기술된 신규한 방법 및 시스템은 다양한 다른 형태로 구현될 수 있으며; 또한, 본 개시 내용의 사상을 벗어남이 없이 본 명세서에 기술된 방법 및 시스템의 형태에서의 다양한 생략, 대체 및 변경이 만들어질 수 있다. 첨부된 청구범위 및 그 등가물은 본 개시 내용의 범위 및 사상 내에 속하는 이러한 형태 또는 변형을 커버하도록 의도된다.

Claims

전자 디바이스로서,
하우징;
이미지 센서로서, 상기 이미지 센서에 입사된 광으로부터 이미지 데이터를 발생시키도록 구성된, 상기 이미지 센서;
메모리 디바이스; 및
하나 이상의 프로세서를 포함하되, 상기 프로세서는,
상기 이미지 데이터를 변환하여 변환 계수를 획득하도록,
상기 변환 계수를 양자화하여, 제1 양자화된 변환 계수, 및 상기 제1 양자화된 변환 계수와는 상이한 제2 양자화된 변환 계수를 포함하는 양자화된 변환 계수를 획득하도록,
상기 양자화된 변환 계수들를 인코딩하여 인코딩된 계수를 획득하도록, 그리고
상기 인코딩된 계수를 상기 메모리 디바이스에 저장하도록
구성되고,
상기 양자화된 변환 계수는, 적어도,
상기 제1 양자화된 변환 계수가 포함되는 복수의 범위 중 제1 범위를 결정하는 것,
상기 제2 양자화된 변환 계수가 포함되는 복수의 범위 중 제2 범위를 결정하는 것,
상기 제1 양자화된 변환 계수가 대응하는 상기 제1 범위 내의 제1 값을 결정하는 것,
상기 제2 양자화된 변환 계수가 대응하는 상기 제2 범위 내의 제2 값을 결정하는 것,
제1 알고리즘을 사용하여, 상기 제1 범위를 제1 범위 코드로서 그리고 상기 제2 범위를 제2 범위 코드로서 인코딩하는 것, 및
상기 제1 알고리즘과는 상이한 제2 알고리즘을 사용하여, 상기 제1 값을 제1 값 코드로서, 그리고 상기 제2 값을 제2 값 코드로서 인코딩하는 것
에 의해 인코딩되며;
상기 인코딩된 계수는 상기 제1 범위 코드, 상기 제2 범위 코드, 상기 제1 값 코드 및 상기 제2 값 코드를 포함하고,
상기 하나 이상의 프로세서는 적어도 상기 이미지 데이터의 녹색 픽셀을 위한 제1 양자화 테이블, 및 상기 이미지 데이터의 적색 픽셀 및 청색 픽셀을 위한 제2 양자화 테이블을 사용하는 것에 의해 상기 변환 계수를 양자화하도록 구성되며, 상기 제1 양자화 테이블은 상기 제2 양자화 테이블과 다른, 전자 디바이스.
제1항에 있어서, 상기 제1 알고리즘은 허프만 코드이며, 상기 제2 알고리즘은 골롬 코드(Golomb code)인, 전자 디바이스.
제1항에 있어서, 상기 하나 이상의 프로세서는 상기 이미지 데이터를 처리하는 동안 상기 제1 알고리즘을 변경하도록 구성되는, 전자 디바이스.
제3항에 있어서, 상기 하나 이상의 프로세서는 상기 이미지 데이터의 제1 프레임을 처리하는 것으로부터 상기 이미지 데이터의 제2 프레임을 처리하는 것으로 상기 제1 알고리즘을 변경하도록 구성되는, 전자 디바이스.
제3항에 있어서 상기 제2 알고리즘은 상기 하나 이상의 프로세서에 의해 상기 이미지 데이터를 처리하는 동안 일정하게 유지되는, 전자 디바이스.
제1항에 있어서, 상기 양자화된 변환 계수는 상기 제1 양자화된 변환 계수 및 상기 제2 양자화된 변환 계수와는 상이한 제3 양자화된 변환 계수를 포함하고, 상기 하나 이상의 프로세서는, 적어도,
상기 제3 양자화된 변환 계수가 포함되는 복수의 범위 중 제3 범위를 결정하는 것,
상기 제3 양자화된 변환 계수가 대응하는 상기 제3 범위 내의 제3 값을 결정하지 않지 않는 것, 및
상기 제1 알고리즘을 사용하여 상기 제3 범위를 제3 범위 코드로서 인코딩하는 것
에 의해 양자화된 변환 계수를 인코딩하도록 구성되며, 상기 인코딩된 계수는 상기 제3 범위 코드를 포함하는, 전자 디바이스.
제1항에 있어서, 상기 하나 이상의 프로세서는 이산 코사인 변환을 사용하여 상기 이미지 데이터를 변환하도록 구성되는, 전자 디바이스.
제7항에 있어서, 상기 이산 코사인 변환은 16×16 이산 코사인 변환인, 전자 디바이스.
제1항에 있어서, 상기 하나 이상의 프로세서는 적어도 상기 양자화된 변환 계수의 AC 계수와 다르게 상기 양자화된 변환 계수의 DC 계수를 인코딩하는 것에 의해 양자화된 변환 계수를 인코딩하도록 구성되는, 전자 디바이스.
제1항에 있어서, 상기 하나 이상의 프로세서는 상기 제1 알고리즘에 대한 파라미터를 상기 인코딩된 계수에 대한 프레임 헤더에 저장하도록 구성되는, 전자 디바이스.
삭제
제1항에 있어서, 상기 이미지 데이터는 미가공 모자이크된 이미지 데이터인, 전자 디바이스.
제1항에 있어서, 상기 하우징은 상기 이미지 센서, 상기 메모리 디바이스, 및 상기 하나 이상의 프로세서를 포위하도록 구성되고, 상기 하우징은 휴대폰에 제거 가능하게 부착되도록 구성되는, 전자 디바이스.
제1항에 있어서, 상기 이미지 데이터로부터 상기 하나 이상의 프로세서에 의해 발생된 홀로그래픽 이미지를 나타내도록 구성된 디스플레이를 더 포함하는, 전자 디바이스.
전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법으로서,
이미지 센서에 의해, 상기 이미지 센서에 입사된 광으로부터 이미지 데이터를 발생시키는 단계;
하나 이상의 프로세서에 의해, 상기 이미지 데이터를 변환하여 변환 계수를 획득하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 변환 계수를 양자화하여, 제1 양자화된 변환 계수, 및 상기 제1 양자화된 변환 계수와는 상이한 제2 양자화된 변환 계수를 포함하는 양자화된 변환 계수를 획득하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 제1 양자화된 변환 계수를 포함하는 복수의 범위 중 제1 범위 및 상기 제2 양자화된 변환 계수를 포함하는 복수의 범위 중 제2 범위를 결정하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 제1 양자화된 변환 계수에 대응하는 상기 제1 범위 내의 제1 값 및 상기 제2 양자화된 변환 계수에 대응하는 상기 제2 범위 내의 제2 값을 결정하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 제1 범위를 제1 범위 코드로서 그리고 상기 제2 범위를 제2 범위 코드로서 인코딩하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 제1 값을 제1 값 코드로서 그리고 상기 제2 값을 제2 값 코드로서 인코딩하는 단계; 및
상기 제1 범위 코드, 상기 제2 범위 코드, 상기 제1 값 코드 및 상기 제2 값 코드를 메모리 디바이스에 저장하는 단계를 포함하고,
상기 하나 이상의 프로세서는 적어도 상기 이미지 데이터의 녹색 픽셀을 위한 제1 양자화 테이블, 및 상기 이미지 데이터의 적색 픽셀 및 청색 픽셀을 위한 제2 양자화 테이블을 사용하는 것에 의해 상기 변환 계수를 양자화하도록 구성되며, 상기 제1 양자화 테이블은 상기 제2 양자화 테이블과 다른, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법.
제15항에 있어서, 상기 제1 및 제2 범위를 인코딩하는 단계와 상기 제1 및 제2 값을 인코딩하는 단계는 무손실 압축을 사용하여 수행되는, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법.
제15항에 있어서, 상기 제1 및 제2 범위를 인코딩하는 단계와 상기 제1 및 제2 값을 인코딩하는 단계는 가변 길이 코딩을 사용하여 수행되는, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법.
제15항에 있어서,
상기 메모리 디바이스로부터 상기 제1 범위 코드, 상기 제2 범위 코드, 상기 제1 값 코드 및 상기 제2 값 코드를 검색하는 단계; 및
상기 하나 이상의 프로세서에 의해, 상기 제1 범위 코드, 상기 제2 범위 코드, 상기 제1 값 코드 및 상기 제2 값 코드를 디코딩하여, 상기 제1 범위, 상기 제2 범위, 상기 제1 값 및 상기 제2 값을 획득하는 단계를 더 포함하는, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법.
제18항에 있어서, 상기 디코딩된 제1 범위, 제2 범위, 제1 값 및 제2 값을 사용하여 상기 전자 디바이스의 디스플레이 상에 디스플레이하기 위한 홀로그래픽 컨텐츠를 발생시키는 단계를 더 포함하는, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법.
제15항에 있어서, 상기 제1 범위 및 상기 제2 범위는 허프만 코드를 사용하여 상기 제1 범위 코드 및 상기 제2 범위 코드로서 인코딩되고, 상기 제1 값 및 상기 제2 값은 골롬 코드를 사용하여 상기 제1 값 코드 및 상기 제2 값 코드로서 인코딩되는, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법.
제15항에 있어서, 상기 이미지 데이터를 변환하는 단계는 16×16 이산 코사인 변환을 사용하여 수행되는, 전자 디바이스를 사용하여 이미지 데이터를 코딩하는 방법.