KR101905648B1 - 카메라 장치의 동영상 촬영방법 및 장치 - Google Patents
카메라 장치의 동영상 촬영방법 및 장치 Download PDFInfo
- Publication number
- KR101905648B1 KR101905648B1 KR1020120019895A KR20120019895A KR101905648B1 KR 101905648 B1 KR101905648 B1 KR 101905648B1 KR 1020120019895 A KR1020120019895 A KR 1020120019895A KR 20120019895 A KR20120019895 A KR 20120019895A KR 101905648 B1 KR101905648 B1 KR 101905648B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- metadata
- moving
- information
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 251
- 238000004891 communication Methods 0.000 claims description 39
- 230000001172 regenerating effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 77
- 239000000872 buffer Substances 0.000 description 58
- 230000033001 locomotion Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000007781 pre-processing Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000003139 buffering effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000011069 regeneration method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Abstract
본 발명의 실시예에 따른 카메라장치에서, 동영상 촬영시 매 프레임 주기에서 이미지를 획득하는 과정과, 획득된 이미지를 표시이미지로 변환 및 상기 표시이미지의 촬영정보를 생성하는 과정과, 표시이미지를 표시하는 동시에 동영상 부호화하여 저장하는 과정과, 촬영정보를 재생성하여 상기 동영상과 함께 저장하는 과정으로 이루어진다.
Description
본 발명은 카메라 장치의 동영상 촬영장치 및 방법에 관한 것으로, 특히 동영상 촬영시 촬영정보를 생성하여 동영상과 함께 저장하고, 동영상 재생시 촬영정보를 이용하여 동영상을 재생 및 편집할 수 있는 장치 및 방법에 에 관한 것이다.
카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.
이때 상기 카메라 장치는 프리뷰 모드에서 카메라 센서로부터 감지되는 이미지를 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 또한 동영상 촬영시 상기 카메라센서로부터 감지되는 이미지들을 동영상으로 부호화하여 저장할 수 있으며, 저장된 동영상을 재생할 수 있다. 그러나 종래의 카메라 장치는 상기 저장된 동영상을 재생 이외의 다른 기능으로 처리하는 경우에는 한계를 가진다.
따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 동영상 촬영시 촬영정보를 함께 로깅하고, 로깅된 촬영정보를 이용하여 동영상 재생, 편집 등의 다양한 기능을 수행할 수 있는 장치 및 방법을 제안한다.
본 발명은 동영상 촬영시 카메라 및 장치의 센서들로부터 발생되는 정보를 촬영정보로 생성하고, 생성된 촬영정보를 동영상 데이터와 함께 저장한다. 상기 촬영정보는 촬영시간정보 및 섬네일 이미지를 포함할 수 있다. 그리고 동영상 재생시 상기 저장된 촬영정보를 이용하여 동영상을 편집하고 동영상을 이용하여 부가적인 기능을 가지는 영상을 생성 및 표시할 기능을 제공한다.
본 발명의 실시예에 따른 카메라장치의 동영상 촬영 방법이, 동영상 촬영시 매 프레임 주기에서 이미지를 획득하는 과정과, 상기 획득된 이미지를 표시이미지로 변환 및 상기 표시이미지의 촬영정보를 생성하는 과정과, 상기 표시이미지를 표시하는 동시에 동영상 부호화하여 저장하는 과정과, 상기 촬영정보를 재생성하여 상기 동영상과 함께 저장하는 과정으로 이루어짐을 특징으로 한다.
또한 본 발명의 실시예에 따른 카메라장치가, 동영상 촬영시 이미지를 획득하는 카메라와, 상기 획득된 이미지를 매 프레임에서 표시이미지로 변환 및 상기 표시이미지의 촬영정보를 생성하는 이미지처리부와, 상기 표시이미지를 표시하는 동시에 동영상 부호화하고, 상기 촬영정보를 재생성하여 상기 동영상과 함께 저장부에 저장하는 어플리케이션처리부와, 상기 동영상을 표시하는 표시부로 구성된 것을 특징으로 한다.
또한 본 발명의 실시예에 따른 휴대단말장치가, 외부 장치와 무선통신을 수행하는 통신부와, 상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와, 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 동영상 촬영시 이미지를 획득하는 카메라와, 상기 획득된 이미지를 매 프레임에서 표시이미지로 변환 및 상기 표시이미지의 촬영정보를 생성하는 이미지처리부와, 상기 표시이미지를 표시하는 동시에 동영상 부호화하고, 상기 촬영정보를 재생성하여 상기 동영상과 함께 저장부에 저장하는 어플리케이션처리부와, 상기 동영상을 표시하는 표시부로 구성된 것을 특징으로한다.
본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 동영상 촬영시 촬영정보 및/또는 섬네일 이미지를 함께 로깅하며, 로깅된 촬영정보 및 섬네일 이미지를 이용하여 동영상의 재생, 편집 등을 수행할 수 있으며, 시간 별로 섬네일 이미지 및 촬영정보를 갱신 표시 및 부가기능으로 활용할 수 있다. 본 발명의 실시예에 따라 촬영정보를 분석하여 재생시 활용하는 경우, 매 프레임에서 획득되는 촬영정보를 분석하여 녹화 및 재생시 화질을 자동으로 조절할 수 있다. 즉, 녹화 중 프레임 데이터 분석에 의한 화질 조정 이외에 촬영정보(EV, metering, face detection 등)을 이용하여 미세화질 조정이 가능하며, 재생시 함께 로깅된 촬영정보를 활용하여 재생화질을 조정할 수 있다. 또한 로깅된 촬영정보로부터 추출된 정보를 동영상 재생, 편집시 자막처럼 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면
도 2는 본 발명의 실시예에 따른 카메라부의 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따른 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 4a는 본 발명의 실시예에 따라 이미지처리부에서 생성되는 이미지 프레임의 구성을 도시하는 도면이며, 도 4b는 본 발명의 실시예에 따라 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면이고, 도 4c는 본 발명의 실시예에 따라 매 프레임의 데이터 전송 포맷을 도시하는 도면
도 5는 본 발명의 실시예에 따른 카메라장치 또는 카메라 장치를 포함하는 단말장치에서 상기 어플리케이션처리부이 센서부의 출력을 처리하는 구성을 도시하는 도면
도 6은 상기 도 5와 같은 구성에서 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 7은 본 발명의 실시예에서 이미지 및 어플리케이션 처리를 단일 구성을 처리하는 카메라 장치의 구성을 도시하는 도면
도 8은 도 7의 구성에서 처리부 구성을 도시하는 도면
도 9는 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치에서 동영상을 촬영 및 재생하는 절차를 도시하는 흐름도
도 10은 본 발명의 실시예 따른 카메라장치에서 동영상 촬영 조건을 설정하는 절차를 도시하는 흐름도
도 11은 본 발명의 실시예에 카메라장치에서 동영상을 촬영하여 저장하는 절차를 도시하는 흐름도
상기 도 12는 도 11에서 동영상 촬영 및 이를 저장하는 절차를 도시하는 흐름도
도 13은 본 발명의 실시예에 따른 촬영정보 재생성 및 저장 절차를 도시하는 흐름도
도 14는 도 13에서 델타 온시 현재 프레임과 이전 프레임 간의 차이정보를 촬영정보로 재생성하는 절차를 설명하기 위한 도면
도 15는 도 11에서 섬네일 이미지를 촬영정보에 포함시키는 절차를 도시하는 흐름도
도 16은 섬네일 온시 설정된 조건으로 섬네일 이미지를 처리하여 촬영정보에 포함시키는 절차를 설명하기 위한 도면
도 17은 본 발명의 실시예에 따른 동영상 재생모드의 동작 절차를 도시하는 흐름도
도 18은 본 발명의 실시예에 따라 촬영정보를 이용하여 동영상 미리보기 기능을 수행하는 절차를 도시하는 도면
도 19는 도 18과 같은 절차를 수행하면서 화면에 표시되는 동영상 미리보기의 예를 도시하는 도면
도 20은 동영상 재생과 함께 관련된 촬영정보를 표시하는 예를 도시하는 도면
도 21은 촬영정보 중의 위치정보를 동영상과 함께 부가적으로 표시하는 절차를 도시하는 흐름도
도 22a - 도 22e는 도 21과 같은 절차를 수행하는 중에서 동영상과 함께 부가 기능을 표시하는 예를 도시하는 도면
도 23은 촬영정보를 이용하여 동영상을 파노라마 이미지로 변환하는 절차를 도시하는 흐름도
도 24는 도 23과 같은 절차를 수행하면서 생성되는 파노라마 이미지의 예를 도시하는 도면
도 25는 본 발명의 실시예에 따라 촬영된 동영상의 촬영정보를 이용하여 양호한 조건들을 가지는 이미지들을 합성하여 미세화질을 조정하는 예를 도시하는 도면
도 26은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면
도 2는 본 발명의 실시예에 따른 카메라부의 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따른 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 4a는 본 발명의 실시예에 따라 이미지처리부에서 생성되는 이미지 프레임의 구성을 도시하는 도면이며, 도 4b는 본 발명의 실시예에 따라 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면이고, 도 4c는 본 발명의 실시예에 따라 매 프레임의 데이터 전송 포맷을 도시하는 도면
도 5는 본 발명의 실시예에 따른 카메라장치 또는 카메라 장치를 포함하는 단말장치에서 상기 어플리케이션처리부이 센서부의 출력을 처리하는 구성을 도시하는 도면
도 6은 상기 도 5와 같은 구성에서 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 7은 본 발명의 실시예에서 이미지 및 어플리케이션 처리를 단일 구성을 처리하는 카메라 장치의 구성을 도시하는 도면
도 8은 도 7의 구성에서 처리부 구성을 도시하는 도면
도 9는 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치에서 동영상을 촬영 및 재생하는 절차를 도시하는 흐름도
도 10은 본 발명의 실시예 따른 카메라장치에서 동영상 촬영 조건을 설정하는 절차를 도시하는 흐름도
도 11은 본 발명의 실시예에 카메라장치에서 동영상을 촬영하여 저장하는 절차를 도시하는 흐름도
상기 도 12는 도 11에서 동영상 촬영 및 이를 저장하는 절차를 도시하는 흐름도
도 13은 본 발명의 실시예에 따른 촬영정보 재생성 및 저장 절차를 도시하는 흐름도
도 14는 도 13에서 델타 온시 현재 프레임과 이전 프레임 간의 차이정보를 촬영정보로 재생성하는 절차를 설명하기 위한 도면
도 15는 도 11에서 섬네일 이미지를 촬영정보에 포함시키는 절차를 도시하는 흐름도
도 16은 섬네일 온시 설정된 조건으로 섬네일 이미지를 처리하여 촬영정보에 포함시키는 절차를 설명하기 위한 도면
도 17은 본 발명의 실시예에 따른 동영상 재생모드의 동작 절차를 도시하는 흐름도
도 18은 본 발명의 실시예에 따라 촬영정보를 이용하여 동영상 미리보기 기능을 수행하는 절차를 도시하는 도면
도 19는 도 18과 같은 절차를 수행하면서 화면에 표시되는 동영상 미리보기의 예를 도시하는 도면
도 20은 동영상 재생과 함께 관련된 촬영정보를 표시하는 예를 도시하는 도면
도 21은 촬영정보 중의 위치정보를 동영상과 함께 부가적으로 표시하는 절차를 도시하는 흐름도
도 22a - 도 22e는 도 21과 같은 절차를 수행하는 중에서 동영상과 함께 부가 기능을 표시하는 예를 도시하는 도면
도 23은 촬영정보를 이용하여 동영상을 파노라마 이미지로 변환하는 절차를 도시하는 흐름도
도 24는 도 23과 같은 절차를 수행하면서 생성되는 파노라마 이미지의 예를 도시하는 도면
도 25는 본 발명의 실시예에 따라 촬영된 동영상의 촬영정보를 이용하여 양호한 조건들을 가지는 이미지들을 합성하여 미세화질을 조정하는 예를 도시하는 도면
도 26은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
또한, 하기 설명에서는 이미지의 화소 수, 메터 데이터의 항목 및 데이터 크기 등과 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.
본 발명은 카메라장치 또는 카메라를 구비하는 단말장치에 대한 것으로, 카메라로부터 획득되는 동영상을 촬영하고, 동영상을 촬영하는 시점에서 상기 카메라 및/또는 장치의 센서들로 획득되는 정보를 촬영정보로 획득하여 저장한다. 여기서 상기 동영상 촬영 촬영시 카메라로부터 복수의 이미지를 획득할 수 있으며, 이런 경우 상기 복수의 이미지는 프리뷰 및 동영상 촬영을 위한 위한 이미지 및 정지 이미지(still image) 캡쳐를 위한 이미지가 될 수 있다. 또한 상기 촬영정보는 카메라로부터 이미지 획득시 해당 프레임에서 이미지를 촬영할 때의 카메라 및/또는 장치의 각 센서들로부터 획득되는 정보(이하 촬영 정보는 meta data, embedded data 등과 혼용되어 사용될 것이다)들이 될 수 있다.
여기서 상기 프리뷰 및/동영상 촬영용 이미지는 YUV 이미지가 될 수 있으며, 적절한 크기로 조정(crop and/or scaling)될 수 있다. 그리고 상기 캡쳐 이미지는 상기 카메라 센서에서 획득되는 이미지로서, 압축 부호화된 이미지가 될 수 있으며, 본 발명의 실시예에서는 JPEG 이미지로 설명될 것이다. 본 발명의 실시예에서는 카메라 구동시 매 프레임에서 표시이미지 및 압축이미지를 생성 및 버퍼링하고, 동영상 촬영시 부호화된 표시이미지와 함께 촬영정보를 함께 저장할 수 있는 장치 및 방법을 제안한다.
또한 상기 촬영 정보는 상기 카메라 구동시 상기 카메라로부터 획득되는 매 프레임 이미지에 대한 카메라 센서 정보 및 장치의 센서들로부터 생성되는 정보가 된다. 일반적으로 카메라장치는 카메라 센서를 세팅하기 위한 정보만 존재하며, 이런 정보는 exif(Exchangeable Image File Format) data가 될 수 있다. 상기 exif data는 카메라 제조사(Maker), 카메라 모델(Model), 이미지 에디터(Software), 사진을 보정한 날짜(Datetime), Exif 버전(Exif Version), 촬영한 날짜(Shoot Datetime), 사진의 실제 크기(Image Size), 노출 시간(Exposure Time : 셔터 스피드), 촬영 프로그램(Exposure Program), 렌즈 초점 길이(Focal Length), 조리개 개방 수치(F-Number), 플래시 사용 여부 등의 정보를 포함할 수 있다. 그러나 상기와 같은 정보의 양이 제한적이고, 캡쳐된 이미지에서만 참고할 수 있다. 본 발명의 실시예에서는 상기 카메라 및/또는 장치의 센서들로부터 획득되는 매 frame의 촬영정보를 저장하고, 이런 촬영정보를 이용해서 동영상 재생 및 편집을 효율적으로 수행할 수 있는 장치 및 방법을 제공한다.
본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시, 카메라장치는 매 프레임 주기에서 카메라센서로부터 이미지를 획득하고, 상기 획득된 이미지를 표시이미지 및 압축이미지로 변환하며 동시에 상기 이미지 획득시점에서 카메라센서 및/또는 장치의 센서들로부터 촬영정보를 획득하며, 상기 표시이미지를 표시부에 표시하고 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼링한다.
그리고 캡쳐요구가 발생되면, 카메라장치는 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 JPEG 이미지를 선택하여 저장하거나, 또는 표시되는 섬네일 이미지들 중에서 선택되는 섬네일 이미지에 대응되는 JPEG 이미지를 저장하거나, 또는 촬영정보를 표시하고 사용자에 의해 선택되는 JPEG 데이터를 저장할 수 있다.
그리고 동영상 촬영 요구가 발생되면, 카메라장치는 상기 버퍼링된 표시이미지들을 동영상 압축부호화하고, 버퍼링된 촬영정보들을 동영상과 프레임 동기시켜 함께 저장한다. 이때 상기 촬영정보는 섬네일 이미지들을 포함할 수 있으며, 저장 주기는 매 프레임 또는 설정된 프레임 간격으로 저장할 수 있다. 또한 상기 촬영정보는 생성된 그대로 저장할 수 있으며, 이전 프레임의 차이정보만을 저장할 수도 있다.
이하의 설명에서는 상기 카메라장치가 매 프레임에서 표시이미지, 압축이미지 및 촬영정보를 생성하는 경우를 가정할 설명할 것이다. 그러나 상기 카메라장치가 매 프레임에서 표시이미지 및 촬영정보만을 생성하는 경우에는 본 발명의 실시예에 따른 장치 및 방법은 수행될 수 있다.
또한 이하의 설명에서 표시이미지는 압축부호화되지 않은 이미지를 의미하는 용어로 사용될 것이며, 본 발명의 실시예에서는 YUV 이미지로 가정하여 설명될 것이다. 또한 이하의 설명에서 표시이미지는 리사이징 및/또는 스케일링되는 것으로 설명되고 있으나, 카메라로부터 획득되는 이미지를 리사이징 및/또는 스케일링하지 않고 그대로 사용할 수도 있다. 본 -명의 실시예에서 상기 표시이미지는 동영상 촬영시 동영상 압축부호화되는 이미지가 될 수 있으며, 이때의 동영상 부호화 방식은 MPEG으로 가정하여 설명하기로 한다.
그리고 압축이미지는 카메라에서 생성된 이미지를 정지 이미지 방식으로 압축 부호화한 이미지를 의미하며, 본 발명의 실시예에서는 JPEG 이미지로 가정하여 설명하기로 한다.
이하 본 발명을 도면을 참조하여 상세히 설명한다. 이하의 설명에서는 카메라장치를 예로들어 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면이다. 상기 도 1은 센서부120이 이미지처리부130에 연결되며, 상기 이미지처리부130이 상기 촬영정보를 생성하는 구성을 도시하고 있다.
상기 도 1을 참조하면, 카메라부110은 이미지 센서를 구비하며, 카메라 구동시 이미지센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 카메라장치에 장착되는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 조도센서, 충격센서, 방향센서들 중에 하나 이상이 될 수 있다.
이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시이미지 및 압축이미지를 생성한다. 여기서 상기 표시이미지는 상기 표시부160에 표시되는 이미지이며, 또한 동영상 촬영시 동영상으로 압축부호화되는 이미지를 의미한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있다. 상기 이미지처리부130은 상기 카메라부110에서 획득되는 이미지를 YUV 이미지로 색변환(color conversion)하며, 또한 상기 표시부160 및 동영상 부호화를 고려하여 적절한 크기로 조정(scaling and/or crop)한다. 즉, 상기 이미지처리부130은 YUV 이미지를 생성하고, 또한 상기 표시부160 및 동영상 부호화를 고려하여 적절하게 설정할 수 있다. 또한 상기 이미지처리부130은 상기 카메라부110에서 출력되는 이미지를 JPEG 방식으로 압축한다. 여기서 상기 압축이미지는 사용자가 캡쳐 요구시 정지이미지를 저장하기 위한 이미지로써, 상기 카메라부110에서 획득되는 이미지를 그대로 압축부호화한 이미지가 될 수 있다.
또한 상기 이미지처리부130은 상기 카메라부110 및 센서부120으로부터 상기 이미지의 촬영정보를 획득한다. 이때 상기 촬영정보는 상기 카메라부110에서 이미지 촬영시 획득할 수 있는 exif 정보 이외에 다양한 정보들을 추가적으로 획득할 수 있다.
상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 촬영정보를 생성할 수 있으며, 또한 상기 표시이미지, 압축이미지 및 촬영정보를 생성할 수 있다. 그리고 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 그 이상의 프레임 율(예를들면60 frame per sec)을 가지는 표시이미지 및 촬영정보를 생성하거나 또는 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.
어플리케이션 처리부140은 카메라 구동시 상기 이미지처리부130에서 생성되는 표시이미지 및 촬영정보, 또는 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하고, 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어한다.캡쳐 요구가 발생되면, 상기 어플리케이션처리부140은 상기 버퍼링 중인 압축이미지들 중에서 촬영요구가 발생된 시점의 프레임에 대응되는 압축이미지를 저장부150에 저장하여 제로 셔터렉의 압축이미지를 선택할 수 있도록 한다. 동영상 촬영 요구가 발생되면 상기 어플리케이션처리부140은 상기 표시이미지를 압축 부호화하여 저장부150에 저장하고, 또한 상기 촬영정보들을 설정된 방식으로 처리하여 상기 동영상에 프레임 동기시켜 저장하는 기능을 수행한다. 이때 상기 촬영정보들은 동영상 촬영시 사용자의 설정에 따라 저장될 수 있으며, 또한 저장되지 않을 수도 있다. 그리고 상기 촬영정보를 저장하는 경우, 상기 촬영정보는 현재 프레임과 이전 프레임의 차이 정보(이하 델타(delta)라는 용어와 혼용되어 사용될 것이다)로 저장될 수 있으며, 또는 상기 이미지처리부130에서 생성된 그대로 저장될 수도 있다. 그리고 상기 촬영정보는 매 프레임에서 저장될 수 있으며, 또는 설정된 프레임 간격으로 저장될 수도 있다. 또한 상기 촬영정보는 해당 프레임의 섬네일 이미지를 포함할 수도 있다.
상기 입력부170은 상기 어플리케이션처리부140에 카메라 구동명령, 정지이미지 캡쳐 명령, 동영상 촬영명령을 발생할 수 있다. 또한 상기 입력부170은 동영상 재생모드에서 편집 모드 등의 명령을 발생할 수 있으며, 또한 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부160은 프리뷰 모드 및 동영상 촬영모드시 상기 어플리케이션처리부140에서 출력되는 표시이미지를 표시하며, 동영상 재생모드시 저장된 동영상을 표시한다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.
저장부150은 캡쳐 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 압축이미지를 저장한다.
도 2는 본 발명의 실시예에 따른 카메라부110의 구성을 도시하는 도면이다.
상기 도 2를 참조하면, 카메라 구동명령이 발생되면, 상기 카메라부110에 동작전원을 공급한다. 또한 상기 이미지처리부130은 모터240을 구동하며, 상기 모터240의 구동에 의해 액츄에이터250이 상기 광학부210의 구동을 제어한다. 여기서 상기 광학부210은 상기 액츄에이터250에 의해 줌, 포커싱 등의 동작이 수행될 수 있다. 상기 광학부210은 주변의 이미지를 촬상하며, 이미지센서220은 상기 광학부220에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서220은 풀 HD급 이상의 해상도를 가지는 이미지 센서가 될 수 있다. 그리고 상기 이미지센서220에서 감지되는 이미지는 AD변환부230을 통해 디지털 이미지로 변환되어 이미지처리부130에 전달된다. 또한 플래시260은 상기 이미지처리부130에 의해 구동될 수 있다.
도 3은 본 발명의 실시예에 따른 이미지처리부130 및 어플리케이션처리부140의 구성을 도시하는 도면이다.
상기 도 3을 참조하면, 이미지처리부130의 영상 전처리부320은 상기 카메라부110에서 출력되는 이미지를 YUV 이미지로 변환한다. 상기 카메라부110에서 출력되는 이미지는 raw 이미지로써, 이미지센서220에서 감지되는 풀 HD급 이상의 화소수를 가지며, 영상 전처리부320은 이를 3A, 컬러 인터폴레에션(color interpolation), 색변환(color conversion) 등의 영상 전처리 기능을 수행한다. 여기서 상기 전처리 3A는 AWB(auto white balance), AE(auto exposure), AF(Auto focusing) 등이 될 수 있으며, 색변환은 raw 이미지를 YUV 데이터로 변환하는 기능이 될 수 있다. 여기서 상기 영상 전처리부320은 상기와 같은 기능을 모두 수행할 수 있으며, 또한 일부의 기능만을 수행할 수 있다. 캡쳐시 저장할 압축데이타를 생성하는 정지영상압축부는 정지영상 코더로써, 다양한 종류의 코더를 사용할 수 있다. 또한 상기 이미지처리부130은 캡쳐시 정지 이미지(still image)를 저장하기 위한 정지영상압축부(정지영상부호화기기)340을 구비하며, 상기 정지영상 압축기는 JPEG, TIFF 등 다양한 정지영상 부호화 방법을 사용할 수 있다. 본 발명의 실시예에서는 정지영상압축부340은 JPEG코더340이라고 가정한다.
상기 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 영상으로 압축한다. 스케일러340은 상기 영상 전처리부320에서 출력되는 영상을 표시부160에서 표시 및 동영상 촬영을 위한 적절한 크기의 이미지로 스케일링한다. 상기 스케일러330은 상기 영상데이타를 스케일링, 크롭(crop) 및/또는 리사이징(resizing)하는 구성 또는 이들 구성들 중의 일부를 구비할 수 있다. 여기서 상기 영상 전처리부320이 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있으며, 이런 경우 상기 표시이미지생성부는 raw image를 YUV 이미지로 변환하는 영상변환기 및 스케일러로 구성할 수도 있다. 또한 상기 스케일러330은 프리뷰 모드 및 동영상 촬영 모드시 서로 다른 크기(화소수)를 가지는 표시이미지들을 생성할 수 있다. 예를들면 프리뷰모드시 상기 표시부160에 표시만 하기 위한 표시이미지를 생성하며, 동영상 촬영 모드시 동영상으로 압축부호화하기 위한 표시이미지를 생성할 수 있다. 이런 경우 상기 스케일러330은 상기 동영상 촬영모드시의 표시이미지를 상기 프리뷰 모드시의 표시이미지보다 더 큰 화소수를 가지는 이미지로 생성할 수 있다. 이때 상기 표시이미지의 크기는 상기 카메라부110에서 획득되는 이미지 또는 그보다 작은 화소수를 가지며, 상기 프리뷰 이미지의 화소수 또는 그 이상의 크기를 가지는 이미지가 될 수 있다.
이미지처리제어부310은 어플리케이션제어부360의 제어하에 상기 카메라부110의 구동을 제어하며, 카메라 구동모드시 상기 이미지처리부130의 전반적인 동작을 제어한다. 또한 상기 이미지처리제어부310은 상기 카메라부110 구동시 카메라부110에서 촬영되는 이미지의 촬영 정보 및 카메라장치의 센서부120으로부터 발생되는 정보들을 입력하여 촬영정보로 생성할 수 있다. 여기서 상기 압축이미지, 표시이미지 및/또는 촬영정보는 매 프레임들에서 각각 발생되며, 상기 프레임은 1초에 30프레임 또는 그 이상의 프레임율을 가질 수 있다. 또한 상기 이미지처리제어부310은 어플리케이션처리부140으로부터 동영상 촬영모드 제어신호를 수신하면, 상기 스케일러330을 제어하여 상기 표시이미지를 동영상으로 저장하기 위한 이미지 크기로 스케일링하도록 제어한다. 상기 동영상 이미지의 크기는 상기한 바와 같이 상기 카메라부110에서 촬영되는 이미지와 상기 프리뷰모드의 표시이미지 사이의 설정된 크기를 가지는 이미지가 될 수 있다. 또한 상기 이미지처리제어부310은 동영상 촬영모드시 상기 JPEG코더340의 동작을 제어할 수 있다. 즉, 상기 JPEG 이미지는 정지이미지를 캡쳐하기 위한 용도로 사용된다. 따라서 동영상 촬영모드시 상기 JPEG코더340의 구동을 중단시키거나 또는 상기 카메라부110에서 출력되는 이미지를 스케일링한 후, 스케일링된 이미지를 압축할 수 있다. 즉, 상기 이미지처리제어부310은 동영상 촬영모드에서 상기 JPEG코더340의 동작을 중단시킬 수 있으며, 상기 JPEG코더340을 구동하는 경우에는 상기 카메라부110에서 출력되는 이미지를 압축하거나 또는 상기 카메라부110에서 출력되는 이미지의 화소수를 줄여, 즉 스케일링하여 압축할 수 있다. 이때 상기 스케일링된 이미지를 압축하는 경우, 상기 스케일러330에서 출력되는 YUV 이미지를 압축할 수도 있다. 본 발명의 실시예에서는 동영상을 촬영하는 중에서 정지이미지도 캡쳐할 수 있도록 상기 JPEG코더340을 동작시키며, 이때 상기 JPEG코더340으로 입력되는 이미지는 상기 영상전처리부310에서 출력되는 카메라부110의 출력 이미지 또는 스케일링된 이미지들 중의 하나를 사용한다고 가정한다. 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 압축이미지, 표시이미지 및/또는 촬영정보를 다중화하여 상기 어플리케이션처리부140에 전송한다.
여기서 상기 이미지처리부130은 도 3에 도시되지는 않았지만 상기 표시이미지를 섬네일 이미지로 변환하는 섬네일이미지생성부를 더 구비할 수 있다. 이런 경우, 상기 이미지처리부100은 상기 표시이미지로부터 섬네일 이미지를 생성하며, JPEG코더340은 상기 영상전처리부310의 출력 이미지를 압축하며, 헤더, 상기 섬네일 이미지, 및 압축된 JPEG 이미지로 구성된 출력을 생성할 수 있다.
상기 어플리케이션처리부140의 구성을 살펴보면, 어플리케이션처리제어부360은 입력부170의 명령에 따라 상기 이미지처리부130의 동작을 제어하며, 상기 이미지처리부130에서 출력되는 이미지를 버퍼링 및 표시부160을 통해 표시하고, 캡쳐 명령 발생시 상기 버퍼링된 압축이미지를 저장부150에 저장한다. 또한 어플리케이션처리제어부360은 동영상 촬영모드시 동영상을 저장하는 동시에 설정조건에 따라 촬영정보를 저장하도록 제어한다. 이때 상기 촬영정보는 그대로 저장하거나 또는 이전 프레임과의 차이가는 정보만을 저장할 수 있도록 제어한다. 이때 상기 촬영정보는 섬네일 이미지를 포함할 수 있다. 그리고 동영상 재생모드시 상기 어플리케이션처리제어부360은 동영상을 상기 표시부160에 표시되도록 제어하며, 이때 입력부170의 요구에 따라 상기 저장된 촬영정보를 이용하여 동영상 편집 등에서 설정된 정보를 갱신 또는 부가하는 동작을 제어한다.
역다중화부355는 상기 어플리케이션처리제어부360의 제어에 의해 상기 이미지처리부130에서 전송되는 표시이미지, 압축이미지 및 촬영정보를 역다중화하여 출력한다. 파서370은 상기 역다중화부355에서 역다중화되는 이미지 및 정보들을 표시이미지, 압축이미지 및 촬영정보로 파싱한다. 여기서 상기 어플리케이션처리제어부360이 상기 역다중화부355를 제어하여 상기 이미지처리부130에서 출력을 표시이미지, 압축이미지 및/ 촬영정보를 소프트웨어 파싱하는 경우, 상기 파서370은 생략될 수 있다. 버퍼380은 표시이미지버퍼383, 압축이미지버퍼385 및/또는 촬영정보버퍼387을 구비할 수 있다. 상기 버퍼380은 상기 어플리케이션처리제어부360의 제어하에 각각 파싱되는 표시이미지, 압축이미지 및 촬영정보를 버퍼링한다. 여기서 상기 버퍼380은 N 프레임의 표시이미지, 압축이미지 및/또는 촬영정보들을 버퍼링할 수 있는 크기를 가지며, 버퍼380의 구조는 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼380을 링버퍼 구조로 구성하는 이유는 수신되는 프레임의 이미지 및 정보들을 설정 프레임 수로 유지하기 위함이다.
또한 상기 어플리케이션처리부140은 동영상 저장 요구시 동영상 데이터를 압축하기 위한 동영상코덱(동영상부호화/복호화기)390을 구비할 수 있으며, 상기 동영상코덱390은 H.264, MPEG 등 다양한 부호 및 복호화 기능을 가지는 코덱들 중의 하나가 될 수 있다. 본 발명의 실시예에서는 상기 동영상 코덱390이 MPEG코덱390인 경우를 가정한다. 상기 입력부170에서 동영상 촬영 요구가 발생되면, 상기 어플리케이션처리제어부360은 상기 MPEG코덱390을 구동하며, 상기 MPEG코덱390은 상기 버퍼380의 표시이미지버퍼383에 버퍼링되는 표시이미지를 압축하여 상기 저장부150에 저장한다. 또한 상기 어플리케이션처리부140은 상기 표시이미지를 리사이징하여 섬네일 이미지를 생성하는 섬네일 이미지생성부395를 더 구비한다. 상기 섬네일 이미지생성부395는 상기 표시이미지버퍼383에서 출력되는 표시이미지를 리사이징하여 하여 섬네일 이미지를 생성할 수 있으며, 상기 섬네일 이미지는 촬영정보에 포함될 수 있다. 또한 상기 어플리케이션처리부140은 도시되지는 않았지만 JPEG코덱을 더 구비할 수 있다. 여기서 상기 JPEG코덱은 촬영정보가 섬네일 이미지를 포함하고, 섬네일 이미지를 압축 부호화하여 저장하는 경우, 상기 섬네일 이미지를 압축부호화하고, 재생시 이를 복호하는 기능을 수행한다. 또한 상기 JPEG코덱은 상기 저장부150에 저장된 압축이미지를 재생할 때 이를 복호하는 기능을 수행할 수 있다.
상기 어플리케이션처리부140이 이미지를 캡쳐 또는 동영상 촬영하는 경우에도 이미지처리부130은 계속하여 표시이미지, 캡쳐이미지 및 촬영정보를 계속하여 생성하며, 어플리케이션처리부140은 상기 표시이미지를 상기 표시부160에 표시되도록 제어한다.
상기와 같은 구성을 가지는 카메라장치에서, 입력부170을 통해 카메라 구동명령이 발생되면(즉, 프리뷰 모드의 수행이 요구되면) 어플리케이션처리제어부360은 상기 이미지처리부130에 이를 알리며, 이미지처리제어부310은 상기 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 이미지처리부130에 전달된다.
그러면 상기 이미지처리부130은 매 프레임 주기에서 표시이미지, 압축이미지 및 촬영정보를 생성한다. 여기서 상기 이미지처리부130에서 프레임 이미지 생성은 30fps 또는 그 이상(예를들면 60fps)로 할 수 있다. 이때 매 프레임의 주기에서 상기 영상 전처리부320은 상기 카메라부110에서 입력되는 이미지(raw image)를 3A 처리, 컬러 인터폴레이션 및/또는 raw 이미지를 YUV 이미지로 영상변환하는 기능을 수행하며, 이때의 이미지는 풀 HD 이상의 해상도를 가지는 이미지가 될 수 있다. 그리고 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 방식으로 압축 부호화하여 캡쳐요구시 저장하기 위한 압축이미지를 생성한다. 이때 상기 압축데이터는 JPEG와 다른 방식의 압축부호화기를 사용할 수도 있으며, 본 발명의 실시예에서는 상기한 바와 같이 JPEG 방식으로 압축 데이터를 생성하는 것으로 가정한다. 스케일러330은 상기 영상 전처리부320에서 출력되는 이미지를 설정된 데이터 사이즈로 축소하여 표시부160에 표시하기 위한 프리뷰하기 위한 표시이미지를 생성한다. 이때 상기 이미지를 축소하는 방법은 통상의 스케일링 방법, 크롭(crop), 리사이즈 방법들을 사용할 수 있으며, 이들 중 한가지 방법 또는 두 가지 이상의 방법을 조합하여 표시이미지를 생성할 수 있다. 여기서 상기 표시이미지는 상기 표시부160에 표시하기 위한 이미지 및/또는 동영상 촬영모드에서시 저장할 이미지가 될 수 있다. 이때 상기 이미지처리부130의 스케일러330은 상기한 바와 같이 프리뷰 모드를 위한 표시이미지 및 동영상 저장을 위한 표시이미지의 데이터 크기(data size)를 다른 크기로 할 수 있으며, 또한 동일한 크기로 할 수도 있다. 또한 상기한 바와 같이 상기 영상전처리부320에서 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있다. 이런 경우 상기 표시이미지생성부는 상기 색변환(color conversion, raw image를 YUV 이미지로 변환하는 기능) 및 스케일러 기능을 포함하는 구성을 가질 수 있다.
또한 상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축이미지 생성시 카메라장치에서 이미지를 촬영할 때의 각종 센서 정보를 획득하여 촬영정보로 생성한다. 일반적으로 카메라 장치는 카메라부110을 세팅하기 위한 정보만 존재하고, 상기 카메라부110으로부터 받아온 정보를 이용하는 부분은 없었다. 또한 상기 카메라부110의 출력 이미지를 저장할 때 exif data를 생성하였지만, 상기 Exif 데이터에 포함되는 촬영 정보의 양이 제한적이고, 캡쳐된 이미지에서만 참고할 수 있다는 한계가 있다. 따라서 본 발명의 카메라부110이 구동되는 경우 또는 동영상 촬영모드가 수행되는 경우, 상기 카메라부110 및 장치의 외부에 위치되는 센서부120으로부터 매 frame의 이미지 촬영정보를 획득하고, 획득된 촬영정보를 해당 프레임의 이미지와 함께 embeded data로 버퍼링하며, 상기 버퍼링된 촬영정보를 이용하여 카메라장치의 기능을 효율적으로 사용할 수 있도록 저장할 수 있다.
본 발명의 실시예에서는 상기 카메라부110으로부터 발생되는 매 frame의 이미지를 수신하는 이미지처리부130은 표시이미지 및 압축이미지를 생성하고, 해당 프레임 이미지들의 촬영정보를 생성(이미지 data + embedded data로 구성)한다. 여기서 상기 촬영정보(embedded data)는 하기 <표 1>과 같은 데이터들을 포함할 수 있다.
| 촬영정보(meta data) | 크기 | 비고 |
| TimeStamp YYYY/MM/DD, HH/MM/SS |
8byte |
이미지를 촬영한 연,월,일,시간 정보들 |
| Frame count | 4byte | 프레임의 카운트값 저장 |
| Flash | 4byte | Flash 풀광량 체크할 수 있는 flag, flash 동작시 이용 |
| ISO | 4byte | ISO 정보 저장 |
| EV | 4byte | Exposure Value 값 저장 |
| Data type | 4byte | JPEG, YUV, META data의 data type을 저장 |
| Data size | 4byte | 가변적으로 변하는 JPEG의 size를 저장, JPEG 이미지를 버퍼에 저장할 때 사용 |
| Face detection | 4byte | FACE detection 기능 on/off 저장 |
| Face num | 4byte | 얼굴 인식된 개수 저장 |
| FD start x | 4byte | 얼굴 인식된 사각 좌표의 시작 x값 저장. FD[0].sx, FD[1].sx 처럼 얼굴 인식된 개수만큼 저장 |
| FD start y | 4byte | 얼굴 인식된 사각 좌표의 시작 y값 저장. FD[0].sy, FD[1].sy 처럼 얼굴 인식된 개수만큼 저장 |
| FD end x | 4byte | 얼굴 인식된 사각 좌표의 오른쪽 아래 x값 저장. FD[0].ex, FD[1].ex 처럼 얼굴 인식된 개수만큼 저장 |
| FD end y | 4byte | 얼굴 인식된 사각 좌표의 오른쪽 아래 y값 저장. FD[0].ey, FD[1].ey 처럼 얼굴 인식된 개수만큼 저장 |
| Effect | 4byte | 설정된 Effect 값 저장 |
| White balance | 4byte | 설정된 WB 값 저장 |
| Scene mode | 4byte | 설정된 Scene mode 값 저장 |
| Metering | 4byte | 설정된 측광 모드값 저장 |
| I-frame | 4byte | MPEG 사용시 iframe 정보값 저장 |
| P-frame | 4byte | MPEG 사용시 pframe 정보값 저장 |
| Sharpness | 4byte | 설정된 sharpness 값 저장 |
| Saturation | 4byte | 설정된 saturation 값 저장 |
| Contrast | 4byte | 설정된 contrast 값 저장 |
| HDR | 4byte | HDR 동작 상태 저장 |
| Zoom | 4byte | 설정된 zoom 배율 저장 |
| AF | 4byte | AF status 저장 |
| CAF x | 4byte | CAF 동작 시 x좌표값 저장 |
| CAF y | 4byte | CAF 동작 시 y좌표값 저장 |
| Gyro data | 4byte | Gyro data 값 저장, 흔들림 판단시 사용 |
| Anti-shake | 4byte | 손떨림 방지 기능 동작 유무 저장 |
| Quality | 4byte | 설정된 Jpeg quality 값 저장 |
| Storage | 4byte | 미디어 데이터 저장위치 저장 |
| GPS 정보 | 4byte | GPS status 저장 |
| 위치 정보 | 4byte | 현재위치 데이터 값 저장 |
| 고도정보 | 4byte | 현재 고도 정보 저장 |
| 카메라 각도정보 | 4byte | 현재 카메라 각도 정보 저장 |
| 가속도 센서 | 4byte | 가속도 센더 데이더 값 저장, 흔들림 판단시 사용 |
| Thumbnail on/off | 촬영정보에 섬네일 이미지의 포함여부를 나타냄 | |
| Thubmnali format | 섬네일 이미지 형태(YUV or JPEG) | |
| Thumbnail image | 실제 섬네일 이미지 |
상기와 같은 촬영정보(meta data)를 이용하여 사용자는 다양한 기능을 설정하여 사진을 촬영할 수 있다. 사용자가 자주 촬영한 피사체 정보와 카메라 메뉴 정보를 이용하여 상황에 맞는 설정 값을 찾을 수 있다. 이런 경우, Preview시에 사람 얼굴이 탐지되면 인물 DB에서 해당 인물 촬영시 자주 사용되었거나, 사용시 좋은 결과를 가져올 메뉴를 자동으로 설정한다. 예로 일반인들은 자신의 가족, 친지, 애인, 가족, 연예인 등의 인물 사진을 많이 촬영하는데, 인물 DB내에서 해당 인물 촬영 시에 적합한 정보를 찾거나 없으면 촬영 시 도움이 될만한 메뉴를 세팅할 수 있다. (예를 들면, smile shot, beauty shot, portrait scene mode, AF mode, object tracking, ISO, effect, white balance, exposure, metering, zooming, flash, etc) 또한 Preview 정보에서 사람 정보를 찾을 수 없을 경우 풍경 사진 촬영인지에 대한 부분을 확인하여 풍경 사진에 적합하도록 설정할 수 있다.(예를 들면 outdoor visible, flash, ISO, effect, white balance, exposure, metering, landscape scene mode, Fan focus mode, etc.) 상기와 같이 촬영된 이미지는 사용자 카메라 사용에 대한 경험을 바탕으로 저장할 수 있다. (예를 들면 애인 사진의 경우 촬영과 동시에 애인 앨범으로 저장되거나, 지정된 SNS or cloud system에 반영될 수 있다). 그리고 연속 촬영에서 촬영된 이미지의 유사성에 대한 부분을 판단하여 앨범 or postview에서 사용자에게 display될 때 쉽게 확인 가능하도록 할 수 있다. 또한 동영상 촬영모드시 특정 촬영정보를 설정하면, 해당 촬영정보에 따른 동영상 촬영기능(예를 들면 얼굴검출 기능을 선택한 경우 동영상 촬영시 촬영되는 이미지 내의 얼굴에 초점을 맞춰 촬영하는 것이 가능함)을 설정할 수 있다.
그리고 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 표시이미지, 압축이미지 및 촬영정보를 다중화하여 어플리케이션처리부140에 출력한다.
도 4a는 본 발명의 실시예에 따라 이미지처리부에서 생성되는 이미지 프레임의 구성을 도시하는 도면이며, 도 4b는 본 발명의 실시예에 따라 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면이고, 도 4c는 본 발명의 실시예에 따라 매 프레임의 데이터 전송 포맷을 도시하는 도면이다.
상기 도 4a - 도 4c를 참조하면, 상기 이미지처리부130은 매 프레임 주기에서 도 4a에 도시된 바와 같이 이미지 및 촬영정보를 생성하여 어플리케이션처리부140에 전송한다. 여기서 상기 이미지는 표시이미지가 될 수 있으며, 또한 압축이미지를 더 포함할 수도 있다. 이하의 설명에서는 상기한 바와 같이 상기 도 4a의 이미지가 표시이지 및 압축이미지로 이루어지는 경우를 가정하여 설명하기로 한다. 이런 경우 상기 도 4b에 도시된 바와 같이 상기 이미지처리부130에서 매 프레임에서 생성하는 프레임 정보는 YUV 이미지, JPEG 이미지 및 촬영정보(embedded data, meta data)로 구성되며, 다중화부350은 상기 생성된 YUV 이미지, JPEG 이미지 및 촬영정보를 다중화하여 어플리케이션처리부140에 전송한다.
이때 상기 도 4b에 도시된 바와 같이 압축이미지인 JPEG 데이터는 원본 이미지로써 캡쳐 요구시 정지 이미지로 저장하기 위한 데이타이다. 이때 상기 JPEG 데이터의 크기는 상기 카메라부110의 이미지센서220에 의해 결정될 수 있으며, 풀 HD급 이상의 화소들을 가질 수 있다. 본 발명의 실시예에서 상기 카메라부110에서 출력하는 이미지는 UHD(Ultra High Definition; 8M 바이트) 이상의 데이터 크기를 가질 수 있다. 또한 YUV 데이터는 상기 표시부160에 프리뷰 및 동영상 촬영모드시 동영상으로 저장하기 위한 이미지이다. 이때 상기 프리뷰모드에서의 표시이미지는 상기 카메라부110에서 출력되는 이미지보다 작은 크기로 스케일링되며, 동영상 촬영모드의 경우에는 상기 카메라부110에서 출력되는 이미지 에서 상기 프리뷰모드의 표시이미지 크기 사이의 데이터 크기를 가질 수 있다. 또한 상기 YUV 데이터는 프리뷰 이외에 포스트 뷰(post view) 데이터로 사용할 수도 있다. 즉, 캡쳐 요구시 상기 표시이미지버퍼383에 저장하고 있는 표시이미지들을 상기 표시부160에 표시(post view)할 수도 있다. 또한 촬영정보는 카메라 부가 기능으로써, 카메라부110에서 이미지를 획득할 때의 각종 촬영정보들 및 카메라장치의 외부에 위치되는 센서부120으로부터 감지되는 센서정보들로 구성할 수 있다. 이때 상기 촬영정보는 상기 압축이미지에 포함되는 것이 아니라 독립적으로 저장한다. 즉, 상기 이미지처리부130은 매 프레임에서 카메라부110 및 센서부120으로부터 감지되는 정보를 이용하여 상기 <표 1>과 같은 구성을 가지는 촬영정보로 생성하며, 상기 촬영정보는 매 프레임 단위로 상기 표시이미지 및 압축이미지들과 대응되도록 저장한다. 특히 동영상 촬영시 상기 촬영정보는 저장되는 동영상과 프레임 동기되어 저장될 수 있다. 이후 동영상 재생시 상기 촬영정보를 이용하여 이미지를 효율적으로 재생 및 편집할 수 있다.
그리고 상기 도 4b와 같은 구조를 가지는 본 발명의 실시예에 따른 카메라 프레임 데이터는 이미지처리부130에서 생성되어 도 4c와 같은 전송 포맷으로 어플리케이션처리부140에 전송된다. 여기서 상기 카메라부110에서 출력되는 이미지는 UHD(8M바이트) 크기를 가지며, 상기 YUV 데이터는 프리뷰모드에서는 2M((Full HD): 1920*1080*2(YUV422 format은 1 pixel당 2Byte))이고, 동영상 촬영모드에서는 상기 2M바이트에서 8M 바이트 사이의 크기를 가지며, JPEG 데이터는 Max 8MB가 되고, 촬영정보인 Meta data는 4K 크기를 가진다고 가정한다. 이런 경우, 상기 이미지처리부130에서 프리뷰모드에서 상기 도 6과 같은 각 프레임 데이터를 전송할 때의 필요 버스 대역폭은 (1920*1080*2 + 8*1024*1024 + 4*1024) * 30fps * 8bit = 3,009,576,960bps = 2.87Gbps가 될 수 있다. 그리고 동영상 촬영모드에서의 표시이미지의 데이터 크기는 상기 프리뷰모드에서의 표시이미지 데이터 크기보다는 크게 설정하는 것이 바람직할 수 있다. 이는 동영상 촬영모드에서 상기 표시이미지는 동영상으로 저장되는 이미지이기 때문이다. 따라서 상기 동영상 촬영모드에서의 대역폭은 상기 표시이미지 및 압축이미지의 크기에 따라 달라질 수 있다. 이때 상기 표시이미지를 4M로 설정하고, 상기 압축이미지를 Max 4M로 설정하는 경우, 동영상 촬영모드의 대역폭은 상기 프리뷰모드에서의 대역폭과 동일해진다.
상기 이미지처리부130에서 다중화되어 전송되는 표시이미지, 압축이미지 및 촬영정보는 어플리케이션처리부140의 역다중화부355에서 역다중화되며, 파서370에서 표시이미지, 압축이미지 및 촬영정보로 파싱되어 버퍼380의 각각 대응되는 표시이미지버퍼383, 압축이미지버퍼385, 촬영정보버퍼387에 버퍼링된다. 상기 버퍼380은 링 버퍼의 구조를 가지며, 설정된 프레임 수의 데이터가 버퍼링되면 오버라이트된다.
이때 상기 입력부170에서 캡쳐 요구가 발생되면, 상기 어플리케이션처리부140은 상기 압축이미지버퍼385에 버퍼링된 압축이미지들을 이용하여 제로 셔터렉을 구현할 수 있으며, 또한 버퍼링된 프레임 이미지를 확인하여 사용자가 원하는 압축이미지를 선택하여 저장할 수 있도록 할 수 있고, 촬영정보를 이용하여 사용자가 원하는 이미지를 선택하여 저장할 수 있다. 상기 캡쳐 요구 명령 발생시 상기 압축이미지버퍼385에 버퍼링된 이미지들 중에서 이전 프레임에서 생성되어 버퍼링중인 압축이미지를 선택하여 상기 저장부150에 저장한다. 예를들어 셔터 지연(셔터 렉)이 1프레임으로 설정된 경우, 캡쳐 요구 명령이 발생되면 상기 어플리케이션처리제어부360은 버퍼링된 프레임의 압축 데이터들 중에서 현재 프레임의 바로 앞 프레임의 압축데이터를 저장부150에 저장하여 제로 셔터렉을 구현한다. 예를 들어 상기 JPEG 2의 시점에서 캡쳐 명령이 발생되면, 상기 어플리케이션처리제어부360은 상기 압축이미지버퍼385에 버퍼링된 JPEG1 이미지 및 메터 데이터 1을 상기 저장부150에 저장한다. 이때 상기 JPEG1 이미지와 같은 프레임 카운트값을 가지는 YUV1 및 meta data를 함께 저장할 수도 있다. 상기와 같이 캡쳐 요구시, 압축이미지버퍼385에 버퍼링된 이전 프레임들의 압축이미지들 중에서 캡쳐 요구가 발생된 시점(shutter release 시점)의 프레임에 대응되는 압축이미지를 선택하여 저장하므로써, 셔터렉을 해결(zero shutter leg 구현)할 수 있다.
또한 동영상 촬영 요구가 발생되면, 상기 어플리케이션처리제어부360의 제어에 의해 MPEG코덱390은 상기 표시이미지버퍼383에서 버퍼링되는 표시이미지를 동영상 압축부호화하며, 저장부150에 이를 저장한다. 이때 어플리케이션처리제어부360은 미리 설정된 촬영조건에 따라 상기 촬영정보버퍼387에서 버퍼링되는 촬영정보들을 역시 저장부150에 저장하며, 이때 상기 저장되는 동영상과 촬영정보는 프레임 동기(frame count 값으로 동기시킬 수 있음)된다. 이때 상기 동영상 촬영시 촬영정보의 재생성을 위한 조건들을 미리 설정할 수 있으며, 이런 촬영조건에 의해 상기 촬영정보버퍼387에서 출력되는 정보를 그대로 저장하거나, 또는 인접하는 프레임에서 차이가 나는 촬영정보들만 저장할 수 있으며, 또한 상기 촬영정보에 섬네일 이미지의 포함여부를 설정할 수 있고, 그리고 상기 섬네일 이미지 포함시 상기 섬네일 이미지의 압축 여부를 설정할 수 있다. 상기와 같은 동영상 촬영정보의 촬영조건이 설정되면, 상기 어플리케이션처리부140은 표시이미지를 압축부호화하여 저장하는 동시에 상기 동영상 촬영 조건에 따라 동영상 프레임들의 촬영정보들을 재생성하여 저장한다. 그리고 동영상 재생 요구가 발생되면, 상기 어플리케이션처리제어부360은 상기 저장부150에 저장된 압축부호화된 동영상을 MPEG코덱395에 전달하여 복호하며, 상기 복호된 동영상을 상기 표시부160에 출력하여 재생한다. 이때 입력부170을 통해 동영상을 편집하기 위한 명령이 입력되면, 상기 어플리케이션처리제어부360은 타임스탬프별 촬영정보 및 섬네일 이미지들을 이용하여 동영상을 편집할 수 있으며, 또한 자막 표시 방법과 같은 방법으로 동영상 재생과 함께 상기 촬영정보 또는 선택된 일부 촬영정보들을 표시부160을 통해 재생할 수 있다.
상기한 바와 같이 상기 도 1 및 도 3은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면이다. 여기서 이미지처리부130은 카메라부110에서 출력되는 이미지를 처리하며, 또한 상기 카메라부110의 동작을 제어하고, 상기 카메라부110의 촬영정보를 획득하는 기능을 수행한다. 그리고 센서부120이 이미지처리부130에 연결되어 카메라 구동시 카메라부110 및 센서부120으로부터 획득되는 정보들을 촬영정보로 생성한다. 그리고 상기 어플리케이션처리부140은 상기 이미지처리부130의 동작을 제어하며, 또한 이미지처리부130에서 출력되는 데이터(표시 및 압축이미지와 촬영정보)들을 처리한다.
그러나 상기 어플리케이션처리부140은 상기 이미지처리부130의 어플리케이션(즉, 카메라 관련 어플리케이션) 이외에 다른 어플리케이션들을 취할 수 있다. 이런 어플리케이션은 센서부120의 어플리케이션이 될 수 있다. 상기와 같은 어플리케이션들의 예를 살펴보면, 상기 센서부120은 GPS를 포함할 수 있으며, 상기 GPS신호를 수신하여 장치(여기서는 카메라장치 또는 카메라 장치를 포함하는 단말 장치 등이 될 수 있다)의 위치를 표시할 수 있다. 또한 상기 센서부120은 움직임 센서를 구비하여 상기 장치의 상태를 표시할 수 있다. 예를들면 상기 움직임센서는 장치의 상하 좌우 이동을 감지하며, 자이로센서는 축(X,Y,Z축) 이동을 감지할 수 있다. 따라서 상기 움직임센서의 출력을 감지하여 장치가 위치한 상태를 표현하는 어플리케이션을 처리할 수 있다. 이런 경우, 상기 센서부120은 상기 어플리케이션 처리부140에 접속될 수 있다.
도 5는 본 발명의 실시예에 따른 카메라장치 또는 카메라 장치를 포함하는 단말장치에서 상기 어플리케이션처리부140이 센서부120의 출력을 처리하는 구성을 도시하고 있으며, 도 6은 상기 도 5와 같은 구성에서 이미지처리부130 및 어플리케이션처리부140의 구성을 도시하는 도면이다. 이하의 설명에서는 카메라 구동시 촬영정보를 생성 및 처리하는 동작을 중심으로 살펴본다. 즉, 도 5 및 도 6에서 촬영정보를 생성하는 구성 및 동작 이외에 나머지 동작은 상기 상기 도 1 및 도 3의 구성 및 동작과 동일하다.
상기 도 5 및 도 6을 참조하면, 사용자가 입력부170를 통해 카메라 구동명령을 발생하면(즉, 프리뷰 모드를 수행하면), 어플리케이션처리제어부360은 상기 이미지처리부130에 이를 알리며, 이미지처리제어부310은 상기 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 영상 전처리부320에 입력된다.
이때 이미지처리부130은 매 프레임 주기에서 표시이미지, 압축이미지 및 촬영정보를 생성한다. 이때 매 프레임의 주기에서 상기 영상 전처리부320은 상기 카메라부110에서 입력되는 이미지(raw image)를 3A 처리, 컬러 인터폴레이션 및/또는 raw 이미지를 YUV 이미지로 영상변환하는 기능을 수행한다. 그리고 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 방식으로 압축 부호화하여 캡쳐요구시 저장하기 위한 압축이미지를 생성하며, 스케일러330은 상기 영상 전처리부320에서 출력되는 이미지의 설정된 크기로 스케일링하여 표시이미지를 생성한다. 이때 상기한 바와 같이 상기 영상전처리부320에서 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있다. 이런 경우 상기 표시이미지생성부는 상기 색변환(color conversion, raw image를 YUV 이미지로 변환하는 기능) 및 스케일러 기능을 포함하는 구성을 가질 수 있다.
또한 상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축이미지 생성시 카메라부110에서 해당 프레임의 이미지를 촬영할 때의 정보를 출력한다. 이런 경우, 상기 이미지처리부130의 이미지처리제어부310은 카메라 구동시 상기 카메라부110의 동작을 설정한 정보(setting 정보) 및 카메라부110으로부터 획득하는 정보들을 촬영정보로 생성한다. 즉, 상기 도 5 및 도 6의 구성을 가지는 장치에서 이미지처리부130은 카메라 구동시 카메라부110의 제어 및 카메라부110으로부터 획득되는 정보(이하 제1촬영정보라 칭함)만을 이용하여 촬영정보를 생성한다.
그리고 상기 이미지처리부130은 매 프레임 주기에서 YUV 이미지, JPEG 이미지 및 제1촬영정보를 생성하며, 다중화부350은 상기 생성된 YUV 이미지, JPEG 이미지 및 촬영정보를 도 4a와 같이 다중화하여 어플리케이션처리부140에 전송한다.
여기서 상기 카메라장치 또는 카메라장치를 구비하는 단말장치는 휴대장치로써, 사용자에 의해 이동될 수 있다. 이때 상기 장치는 사용자가 위치하는 지역에 따라 지역(단말의 위치)이 다를 수 있으며, 이동수단(차량, 비행기, 기차, 도보 등)에 의해 이동속도가 다를 수 있으며, 사용자의 고도 위치(건물 위, 지하, 산, 바다 등)에 의해 고도가 다를 수 있으며, 사용자의 장치 이용(상하 좌우 이동, 축(X,Y,Z 축 이동)에 따라 단말장치의 움직임 및 각도가 다를 수 있으며, 단말기가 방향(동서남북)이 다를 수 있다. 따라서 상기 카메라장치 또는 카메라장치를 구비하는 단말장치는 위와 같은 특성을 감지하기 위한 센서부120을 구비할 수 있으며, 센서부120은 다양한 센서들을 구비할 수 있다. 따라서 상기 센서부120은 단말의 위치 및 지역과 이동을 감지하기 위한 GPS수신기, 단말기의 움직임을 감지하기 위한 움직임센서(가속센서, 자이로 센서 등), 단말의 고도를 측정하기 위한 고도센서, 단말의 방향을 감지하기 위한 방향센서, 단말의 주변 밝기를 감지하기 위한 조도센서 등 다양한 센서등을 구비할 수 있다. 또한 상기 카메라장치 또는 카메라장치를 구비하는 단말장치는 카메라 구동시 촬영시의 날씨 및 온도 정보와 그 외의 부가정보 등을 인터넷 망 또는 통신망을 통해 수신할 수 있다. 이를 위하여 상기 카메라장치 및 카메라장치를 포함하는 단말장치는 통신망 또는 인터넷 망과 접속하기 위해 도시하지 않은 통신부(wifi 등)를 구비할 수 있다. 상기와 같이 센서부120 및/또는 통신부를 통해 획득되는 카메라 구동시의 정보는 제2촬영정보가 될 수 있다.
상기 이미지처리부130에서 다중화되어 전송되는 표시이미지, 압축이미지 및 제1촬영정보는 어플리케이션처리부140의 역다중화부355에서 역다중화되며, 파서370에서 표시이미지, 압축이미지 및 촬영정보로 파싱되어 링버퍼380의 각각 대응되는 표시이미지버퍼383, 압축이미지버퍼385, 촬영정보버퍼387에 버퍼링된다. 이때 상기 어플리케이션처리부140의 어플리케이션처리제어부360은 상기 센서부120(및/또는 도시되지 않은 통신부로부터 수신되는 부가정보)의 출력을 제2촬영정보로 생성하며, 상기 파싱되는 상기 제1촬영정보를 상기 촬영정보에 버퍼링할 때 상기 제2촬영정보를 병합(merge)하여 상기 <표 1>과 같은 구성을 가지는 촬영정보를 생성한다. 즉, 상기 어플리케이션처리부140은 매 프레임에서 상기 이미지처리부130에서 전송되는 제1촬영정보에 상기 어플리케이션처리부140에서 생성되는 제2촬영정보를 병합하여 촬영정보버퍼387에 버퍼링한다. 이때 상기 버퍼380은 링 버퍼의 구조를 가지며, 설정된 프레임 수의 데이터가 버퍼링되면 오버 라이트된다. 그리고 상기 표시이미지버퍼383, 압축이미지버퍼385 및 촬영정보버퍼387의 프레임은 프레임 카운트 값을 통해 동기된다. 따라서 어플리케이션처리제어부360은 프레임 카운트 값을 확인하여 동일 프레임의 표시이미지, 압축이미지 및 촬영정보들을 처리할 수 있다.
또한 상기 어플리케이션처리제어부360은 상기 표시이미지를 상기 표시이미지버퍼380에 버퍼링하면서 상기 표시부160에 출력하여 프리뷰 이미지 또는 동영상용 이미지로 처리될 수 있도록 한다. 상기와 같은 상태에서 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션제어처리부360은 이를 감지하고 상기 압축이미지버퍼385에 버퍼링된 압축이미지들 중에서 설정된 압축이미지를 저장부150에 저장한다. 여기서 상기 설정된 압축이미지는 제로 셔터렉 기능이 설정된 경우, 상기 어플리케이션처리부140은 캡쳐 명령이 발생된 시점(즉, 사용자가 표시부160 또는 뷰파인더(view finder)로 확인된 시점의 프레임 압축이미지 (압축이미지버퍼385에 버퍼링된 압축이미지)를 선택하여 저장한다.
또한 동영상 촬영 명령이 발생되면, 상기 어플리케이션처리부360은 촬영조건을 확인한 후, 상기 표시이미지버퍼383에 버퍼링되는 표시이미지들을 압축 부호화하여 저장하는 동시에 설정된 촬영조건에 따라 상기 촬영정보버퍼387에 버퍼링된 촬영정보들을 처리하여 저장부150에 저장한다. 이때 상기 표시이미지버퍼383에 버퍼링되는 표시이미지는 상기 프리뷰모드에서 처리되는 표시이미지와 다른 화소수를 가질 수 있다. 이런 경우, 상기 어플리케이션처리제어부360은 동영상 촬영 모드시 상기 이미지처리제어부310에서 동영상 촬영모드임을 전달하고, 상기 이미지처리부310은 스케일러330 및 JPEG 코더340을 제어하여 표시이미지 및/또는 압축이미지의 크기를 변경시킨다. 예를 들어 상기 이미지처리부130이 프리뷰모드에서 상기 카메라부110에서 출력되는 이미지를 압축하여 압축이미지를 생성하고, 상기 카메라부110에서 출력되는 이미지를 1/4 크기의 이미지로 스케일링하여 표시이미지를 발생하는 경우, 상기 동영상 촬영모드에서 상기 카메라부110에서 출력되는 이미지를 1/2로 스케일링한 후 압축하여 압축이미지를 생성하고, 상기 카메라부110에서 출력되는 이미지를 1/2 크기의 이미지로 스케일링하여 표시이미지를 발생할 수 있다. 이런 경우 상기 프리뷰모드에서의 대역폭과 상기 동영상 촬영모드에서의 대역폭을 동일하게 유지하면서, 저장되는 동영상의 이미지 해상도는 2배로 확장할 수 있다. 예를 들어 카메라부110에서 출력되는 이미지가 8M 바이트의 크기를 가진다고 가정하면, 프리뷰모드에서 표시이미지는 2M byte이고 압축이미지는 8M byte 이미지를 압축하며, 동영상 촬영모드에서 표시이미지는 4M byte이고 압축이미지는 4M byte 이미지를 압축하는 구조가 된다. 이런 경우, 상기 스케일러330은 상기 이미지처리부310의 제어에 의해 모드에 따라 서로 다른 크기로 스케일링된 표시이미지를 생성하고, JPEG 코더 340은 서로 다른 크기로 프레임을 구성하여 압축할 수 구조를 가질 수 있다.
또한 상기 동영상 촬영모드시 상기 표시이미지들을 동영상 압축부호화하여 저장하는 동시에 설정된 촬영조건에 따라 촬영정보를 생성하여 함께 저장한다. 이때 촬영조건은 촬영정보는 그대로 저장하거나 또는 인접한 프레임과의 차이정보만을 저장하는 것이 될 수 있으며, 상기 촬영정보에 섬네일 이미지를 포함시킬지 여부를 결정하는 것이 될 수 있다.
또한 상기 동영상 촬영모드 또는 재생모드에서 동영상 화질을 조정할 수 있다. 즉, 어플리케이션처리부140은 매 프레임의 촬영정보를 분석하여 동영상 촬영 또는 재생시에 자동으로 화질을 조정할 수있다. 이때 동영상 촬영 모드에서는 프레임 촬영정보를 분석하여 특정 촬영정보(EV, metering, face detection 등)를 이용하여 미세 화질 조정 기능을 수행할 수 있으며, 재생모드시 동영상과 함께 저장(logging)된 촬영정보를 이용하여 재생 화질을 조정할 수 있다. 그리고 상기와 같이 동영상 촬영 후 재생모드시 사용자의 요구에 따라 상기 촬영정보를 이용하여 동영상을 원하는 형태로 편집할 수 있으며, 또한 동영상 재생시 촬영정보를 자막과 같이 표시할 수 있으며, 특정 촬영정보를 이용하여 동영상 촬영시의 정보를 획득(예를들면 위치정보를 이용하여 동영상을 촬영한 사용자의 이동 궤적을 표시할 수 있음)할 수 있다.
상기 도 1, 도 3 및 도 5, 도 6과 같은 구성을 가지는 카메라 장치는 이미지처리부130과 어플리케이션처리부140을 구비하여 카메라부110에서 감지되는 이미지를 처리하는 구성을 도시하고 있다. 그러나 상기 이미지처리부130 및 어플리케이션처리부140을 일체화시켜 하나의 처리부로 구성할 수도 있다. 도 7은 본 발명의 실시예에서 이미지 및 어플리케이션 처리를 단일 구성을 처리하는 카메라 장치의 구성을 도시하는 도면이며, 도 8은 상기 도 7의 구성에서 처리부 구성을 도시하는 도면이다.
상기 도 7 및 도 8을 참조하면, 카메라부110은 카메라 구동시 외부 이미지를 촬영하며, 센서부120은 카메라장치에 장착되는 센서로 상기한 바와 같이 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서들 중에 하나 이상이 될 수 있다.
처리부700은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시이미지, 압축이미지 및 촬영정보를 생성하며, 생성된 이미지들 및 정보를 버퍼링한다. 여기서 상기 처리부700은 상기 이미지처리부130 및 어플리케이션처리부140의 기능을 통합 처리하는 구성을 가진다. 상기 처리부700은 매 프레임 주기에서 표시이미지, 압축이미지 및 촬영정보를 생성하며, 동일한 프레임의 이미지들 및 정보들을 동기시켜 버퍼링한다
상기 입력부170은 상기 처리부700에 카메라 구동명령, 캡쳐 명령 및 동영상 촬영명령을 발생할 수 있다. 또한 상기 입력부160은 동영상 재생모드시 사용자의 요구에 따른 동영상 편집 또는 부가 기능을 수행하기 위해 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부160은 프리뷰 모드 및 동영상 촬영모드시 상기 처리부700에서 출력되는 표시이미지를 표시한다. 또한 상기 표시부160은 이미지 캡쳐시 상기 처리부700에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.
저장부150은 캡쳐 요구시 상기 처리부700에 버퍼링 중인 압축이미지를 저장하며, 동영상 촬영모드시 압축부호화되는 동영상과 이에 대응되는 촬영정보를 저장한다.
상기 처리부700의 구성을 살펴보면, 도 8에 도시된 바와 같이 이미지처리부130에서 어플리케이션 처리부140으로 프레임 이미지들 및 촬영정보를 다중화하여 전송하는 구성 및 어플리케이션처리부140에서 수신되는 다중화된 프레임 이미지들 및 정보들을 역다중화하는 구성과 이를 파싱하는 구성이 생략되어 있음을 알 수 있다. 그리고 이외의 구성 및 각 구성들에서 수행되는 동작은 상기 도 3 또는 도 6의 구성과 동일하다.
즉, 영상 전처리부720에서 처리된 이미지는 JPEG 코더740에 압축 부호화되어 JPEG 이미지로 생성되며, 또한 스케일러730에서 설정된 크기로 스케일링되어 표시이미지로 생성된다. 또한 제어부710은 상기 카메라부110 및 센서부120으로부터 상기 이미지 촬영시의 정보들을 획득하여 촬영정보를 생성한다. 이때 상기 JPEG 이미지, 표시이미지 및 촬영정보는 매 프레임 주기에서 생성되며, 동일한 프레임에서 생성되는 JPEG 이미지, 표시이미지 및 촬영정보는 동일한 프레임 카운트 값을 가진다. 따라서 동일한 프레임에서 생성되는 JPEG 이미지, 표시이미지 및 촬영정보는 프레임 동기되어 처리된다. 그리고 상기 JPEG 이미지, 표시이미지 및 촬영정보들은 제어부710의 제어에 의해 각각 버퍼750의 대응되는 버퍼들에서 버퍼링되며, 상기 표시이미지는 표시부850에 출력되어 프리뷰 이미지로 표시된다.
그리고 캡쳐 요구가 발생되면, 상기 제어부710은 압축이미지버퍼755에서 설정된 이전 프레임의 압축이미지를 선택하여 저장부840에 저장하므로써, 제로 셔터렉을 구현할 수 있다. 그리고 동영상 촬영모드시 MPEG코덱760이 매프레임의 표시이미지를 압축부호화하여 저장부150에 저장하며, 또한 상기 제어부710은 매프레임의 촬영정보를 설정된 조건에 따라 처리하여 상기 저장부150에 저장한다. 이때 상기 설정된 조건은 상기한 바와 같이 촬영정보의 형태(프레임간 차이정보인지 아닌지의 여부), 섬네일 이미지의 포함여부, 섬네일 이미지 포함시 압축 여부 등의 조건이 될 수 있다. 또한 동영상 재생모드시 상기 MPEG코덱760을 통해 압축부호화된 동영상을 복호하며, 상기 복호된 동영상을 상기 표시부160에 표시한다. 이때 상기 제어부710은 입력부170에서 발생되는 재생 명령에 따라 촬영정보를 이용하여 다양한 부가 기능을 수행할 수 있다. 여기서 상기 부가기능은 동영상 편집, 동영상 재생시 상기 촬영정보를 자막 처리, 특정 촬영정보를 이용하여 동영상 촬영시의 동영상 촬영 환경 표시, 파노라마 영상 생성, CC TV 기능 등을 수행할 수 있다.
상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 카메라 구동시 매 프레임에서 이미지들 및 촬영정보를 생성 및 버퍼링할 수 있으며, 정지이미지 캡쳐시에는 버퍼링된 이미지들을 이용하여 제로 셔터렉 기능을 구현할 수 있다. 또한 동영상 촬영모드시 동영상 및 이에 대응되는 촬영정보들을 프레임 동기시켜 저장하고, 동영상 재생시 상기 촬영정보를 이용하여 동영상 편집 및 동영상 재생의 부가기능 등을 수행할 수 있다. 이를 위하여 본 발명의 실시예에 따른 카메라 장치 및/또는 카메라를 구비하는 단말장치는 동영상 촬영시 동영상에 대응되는 촬영정보를 생성하여 저장하며, 이때 상기 촬영정보는 데이터의 용량이 크지 않으므로 장시간 로깅(logging)이 가능하다. 또한 동영상의 경우 프레임율이 30fps이상이므로, 프레임 간 촬영정보의 차이는 그렇게 크지않다. 따라서 상기 촬영정보를 생성할 때 현재 프레임과 인접한 프레임(즉, 이전 프레임)의 차이정보(delta)를 촬영정보로 재생성할 수도 있다. 또한 상기 촬영정보는 섬네일 이미지를 포함시킬 수 있다. 이때 상기한 바와 같이 매 프레임에서 섬네일 이미지의 변화는 그리 크지 않을 수 있다. 따라서 상기 섬네일 이미지를 일정한 프레임 간격으로 상기 촬영정보에 포함시킬 수도 있다. 그리고 상기 섬네일 이미지는 YUV 형태 또는 압축된 섬네일 이미지(예를들면 JPEG thumbnail image)로 설정할 수도 있다. 이때 상기 섬네일 이미지를 압축 부호화하는 경우, 도시되지는 않았지만 상기 어플리케이션처리부140은 상기 섬네일 이미지를 압축부호화하고, 또한 압축부호화된 섬네일 이미지를 복호하기 위한 코덱(여기서는 JPEG 코덱이 될 수 있음)을 더 구비할 수 있다.
상기와 같이 동영상 촬영시 촬영정보도 함께 저장하며, 동영상 재생시 상기 촬영정보를 이용하여 동영상 재생을 다양한 형태로 실행할 수 있다.
도 9는 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치에서 동영상을 촬영 및 재생하는 절차를 도시하는 흐름도이다. 이하의 설명에서 카메라장치 또는 카메라를 구비하는 단말장치는 도 5 및 도 6과 같은 구성을 가지는 것으로 가정하여 설명하기로 한다. 또한 동영상 촬영시 상기 압축이미지는 생성하지 않을 수도 있다. 그러나 이하의 설명에서는 상기 압축이미지를 생성하는 것으로 하여 설명하기로 한다.
상기 도 9를 참조하면, 동영상 촬영시 촬영정보를 획득하기 위한 동영상 촬영조건을 설정할 수 있다. 따라서 입력부170을 통해 동영상 촬영조건을 설정하기 위한 요구신호가 입력되면, 상기 어플리케이션처리부140은 911단계에서 이를 감지하고 913단계에서 촬영정보를 획득하기 위한 조건들을 설정한다. 여기서 상기 동영상 촬영조건은 촬영정보의 형태(type), 섬네일 이미지의 포함여부, 섬네일 이미지 포함시 압축 여부 등을 설정하는 조건이 될 수 있다. 여기서 상기 촬영정보 형태는 촬영정보를 그대로 사용하거나 또는 현재 프레임과 인접프레임 간의 차이를 촬영정보로 사용하는 것을 의미한다. 상기와 같이 촬영조건이 설정된 상태에서 동영상 촬영 요구가 발생되면, 상기 어플리케이션처리부140은 915단계에서 이를 감지하고 917단계에서 이미지처리부130을 통해 카메라부110을 제어하여 동영상 촬영 동작을 수행한다. 이때 상기 이미지처리부130은 상기 카메라부110으로부터 출력되는 이미지로부터 표시이미지(및 압축이미지)를 생성하고, 또한 상기 카메라부110의 세팅정보 및 카메라부110으로 출력되는 촬영정보들을 처리하여 제1촬영정보를 생성한다. 이후 어플리케이션처리부140은 상기 제1촬영정보에 상기 센서부120으로부터 획득되는 제2촬영정보를 더하여 촬영정보를 생성한다. 그리고 상기 어플리케이션처리부140은 상기 표시이미지를 동영상 압축하여 상기 저장부150에 저장하며, 또한 상기 촬영조건에 따라 촬영정보를 처리하여 상기 저장부150에 저장한다. 이때 상기 저장부150에 저장되는 동영상 및 촬영정보를 서로 프레임 동기된 상태이다.
상기와 같은 동영상 촬영이 종료된 상태에서 사용자가 동영상 재생을 선택하면, 상기 어플케이션처리부140은 919단계에서 이를 감지하고 921단계에서 동영상을 재생한다. 이때 상기 동영상 재생은 압축부호화된 동영상을 복호하여 재생하며, 또한 촬영정보를 이용하여 동영상를 편집하거나 또는 동영상 촬영 환경을 표시할 수 있으며, 또한 상기 촬영정보를 이용하여 동영상을 다른 영상을 변환할 수 있으며, 또한 촬영정보 중의 특정 촬영정보를 이용하여 동영상 중의 특정 영상 부분을 원하는 형태로 변환하여 처리할 수 있다.
여기서 상기 913단계, 917단계 및 921단계의 동작을 구체적으로 살펴본다.
도 10은 본 발명의 실시예 따른 카메라장치에서 동영상 촬영 조건을 설정하는 절차를 도시하는 흐름도이다.
상기 도 10을 참조하면, 먼저 상기 어플리케이션처리부140은 1011단계에서 촬영정보를 델터정보를 사용하는가 검사한다. 여기서 상기 델타정보는 인접한 프레임 간의 차이 정보를 의미하는 것으로, 본 발명의 실시예에서는 상기 촬영정보를 현재 프레임과 이전 프레임 간의 차이정보, 즉, 델타정보로 사용할 수 있다.이때 델터정보를 사용하는 것으로 설정되는 경우(delta on), 상기 어플리케이션처리부140은 1011단계에서 이를 감지하고, 1013단계에서 델타 기능을 온 시키고, 1015단계에서 기준 프레임 주기를 설정한다. 여기서 상기 델타정보를 결정하는 방법은 동영상 촬영시 현재 프레임과 이전 프레임 간의 차이정보를 구하여 촬영정보로 설정하며, 일정 구간의 프레임들에서는 차이정보(델타 값)를 구하지 않고 생성된 촬영정보를 그대로 저장한다. 이는 동영상 재생시 특정 프레임의 델타 값에 이상이 발생되는 경우 이어지는 모든 프레임들에서 이상이 발생될 수 있다. 따라서 본 발명의 실시예에서는 상기 델타정보를 사용하는 경우, 일정 프레임 간격으로 상기 이미지처리부130 및 어플리케이션처리부140에서 생성된 촬영정보를 그대로 저장하는 방법을 사용한다. 즉, 상기 기준프레임에서는 상기 생성된 촬영정보를 그대로 사용한다. 그리고 상기와 같이 생성된 촬영정보를 그대로 저장하는 프레임을 기준 프레임이라 칭하기로 한다. 여기서 상기 기준프레임은 동영상 프레임의 I 프레임(Infra frame)과 일치시킬 수 있으며, 또는 일정 시간(예를들면 50ms, 1초, 2초, 3초 등….) 간격으로 설정할 수도 있다. 그러나 상기 델타 정보를 사용하지 않는 것으로 판단되면, 상기 어플리케이션처리부140은 1011단계에서 이를 감지하게 되며, 이런 경우 상기 어플리케이션처리부140은 상기 이미지처리부130 및 어플리케이션처리부140에서 생성되는 촬영정보를 그대로 저장한다.
또한 본 발명의 실시예에 따른 상기 촬영정보는 해당 프레임의 섬네일 이미지를 포함할 수 있다. 이는 사용자의 선택에 의해 실행될 수 있다. 따라서 사용자가 상기 촬영정보에 섬네일 이미지를 포함되도록 설정을 요구하면, 상기 어플리케이션처리부140은 1021단계에서 이를 감지하고, 1023단계에서 상기 촬영정보에 섬네일 on 기능을 설정하고, 1025단계에서 섬네일 이미지의 포함 주기를 설정한다. 즉, 상기 섬네일 이미지는 매 프레임의 촬영정보에 포함시킬 수 있으며, 또한 일정 프레임 간격으로 촬영정보에 포함시킬 수 있다. 이는 상기한 바와 같이 상기 프레임율이 30fps 이상인 경우 상기 촬영정보나 획득되는 이미지의 프레임간 차이는 그렇게 크지 않다. 따라서 상기 프레임 이미지도 매 프레임에서 생성하여 해당하는 프레임의 촬영정보에 포함시키는 것 보다는 일정 프레임 간격으로 촬영정보에 포함시키는 것이 더 효율적일 수 있다. 여기서 상기 섬네일 이미지를 포함시키는 프레임 간격은 매 I 프레임 마다 또는 일정 시간 간격으로 설정할 수 있다. 또한 상기 섬네일 이미지는 YUV 형태 또는 압축이미지(JPEG 형태의 이미지)로 저장할 수 있다. 따라서 사용자가 섬네일 이미지 포맷을 설정하면, 상기 어플리케이션처리부140은 1027단계에서 설정된 형태(YUV or JPEG format)을 설정한다. 또한 상기 섬네일 이미지를 상기 촬영정보에 포함시키지 않는 경우, 상기 어플리케이션처리부140은 1021단계에서 이를 감지하고 섬네일 이미지 오프로 설정한다.
도 11은 본 발명의 실시예에 카메라장치에서 동영상을 촬영하여 저장하는 절차를 도시하는 흐름도이다. 상기 도 11을 참조하면, 동영상 촬영모드시 상기 어프리케이션처리부140은 1111단계에서 동영상을 촬영하는 절차를 수행하며, 1113단계에서 촬영된 동영상을 처리하여 저장부150에 저장한다. 상기 동영상 촬영 및 저장 과정은 도 12와 같은 절차를 수행될 수 있다.
상기 도 12는 도 11에서 동영상 촬영 및 이를 저장하는 절차를 도시하는 흐름도이다.
상기 도 12를 참조하면, 상기 동영상 촬영모드시 상기 어플리케이션처리부140은 상기 이미지처리부130에 동영상 촬영모드의 실행을 요구한다. 이때 상기 프리뷰모드와 동영상 촬영모드의 표시이미지 크기는 다른 크기를 가질 수 있다. 이런 경우, 상기 이미지처리부130은 상기한 바와 같이 상기 스케일러330 및/또는 JPEG 코더340을 제어하여 표시이미지 및 압축이미지의 크기를 설정할 수 있다. 즉, 동영상 촬영모드시 동일하거나 또는 거의 동일한 대역폭(즉, 상기 이미지처리부130에0서 상기 어플리케이션처리부140으로 전송하는 데이터 전송율을 동일하거나 또는 거의 동일하게 하면서)을 유지하면서 상기 저장부150에서 녹화되는 동영상의 해상도를 높이기 위하여, 동영상 촬영모드시 본 발명의 실시예에서 상기 표시이미지의 해상도를 높이고 상기 압축이미지의 데이터 크기를 작게하는 방법을 사용할 수 있다.
상기와 같은 상태에서 상기 카메라부110은 이미지들을 촬영하며, 이미지처리부130은 1211단계에서 매 프레임에서 이를 프레임 이미지로 획득하며, 1213단계에서 해당 프레임에서의 표시이미지, 압축이미지 및 카메라부110에 관련된 촬영정보(여기서는 제1촬영정보가 될 수 있음)를 생성한다. 이때 프레임 율은 30fps 또는 그 이상의 프레임율(예를들면 60 fps)을 가질 수 있다. 그리고 상기와 같이 생성되는 표시이미지, 압축이미지 및 제1촬영정보는 다중화되어 어플리케이션처리부140에 전달되며, 상기 어플리케이션처리부140은 1215단계에서 상기 표시이미지, 압축이미지 및 제1촬영정보를 각각 버퍼링하며, 상기 표시이미지는 표시부160을 통해 프리뷰 이미지로 표시한다. 또한 상기 어플리케이션처리부140은 상기 이미지처리부130에서 전송되는 제1촬영정보에 센서부120을 통해 획득한 제2촬영정보를 더하여(병합하여) 촬영정보를 생성하며, 상기 촬영정보는 상기 버퍼380에 버퍼링된다.
그리고 상기 어플리케이션처리부140은 1217단계에서 MPEG코덱390을 통해 상기 표시이미지를 동영상 압축 부호화하며, 상기 부호화된 동영상을 상기 저장부150에 저장(녹화)한다. 즉, 상기 어플리케이션처리부140은 1111단계에서 상기 도 12와 같은 절차를 수행하면서 이 동영상 이미지를 획득하여 압축부호화한 후, 1113단계에서 상기 압축부호화된 동영상신호를 저장부150에 저장(녹화)한다.
또한 상기 어플리케이션처리부140은 1115단계에서 상기 설정된 동영상 촬영조건에 따라 촬영정보를 재생성하여 상기 저장부150에 저장한다. 이때 상기 1113단계에서 저장되는 동영상신호와 상기 1115단계에서 재생되는 촬영정보는 서로 프레임 동기가 이루어져야하며, 이때 상기 프레임 동기는 상기 촬영정보의 프레임 카운트값을 이용하여 프레임 동기를 이룰 수 있다. 도 13은 본 발명의 실시예에 따른 촬영정보 재생성 및 저장 절차를 도시하는 흐름도이다. 그리고 도 14는 도 13에서 델타 온시 현재 프레임과 이전 프레임 간의 차이정보를 촬영정보로 재생성하는 절차를 설명하기 위한 도면이다.
상기 도 13 및 도 14를 참조하면, 상기 어플리케이션처리부140은 1311단계에서 델타 기능이 온으로 설정되었는가 검사한다. 여기서 상기 델타 온이라는 의미는 상기 촬영정보를 저장할 때 현재 프레임과 인접 프레임 간의 차이가 있는 정보들을 촬영정보로 저장하는 것을 의미한다. 그러나 상기 델타 오프(delta off)로 설정된 경우, 상기 어플리케이션처리부140은 1311단계에서 이를 감지하고 1315단계에서 상기 촬영정보버퍼387에 버퍼링된 촬영정보를 촬영정보로 결정한다. 그러나 상기 델타 온으로 설정되었으면, 상기 어플리케이션처리부140은 1313단계에서 현재의 프레임이 기준프레임인가 검사하며, 기준프레임이면 상기 1315단계로 진행하여 현재 프레임의 촬영정보로 상기 촬영정보버퍼387에 버퍼링된 촬영정보를 사용하도록 결정한다. 그러나 상기 1313단계에서 기준프레임이 아니면, 상기 어플리케이션처리부140은 1317단계에서 현재 프레임과 이전 프레임의 차이정보를 검출하며, 1319단계에서 상기 차이정보를 촬영정보로 저장한다. 즉, 상기 촬영정보를 두 프레임의 차이정보로 재생성한다.
상기 도 14에 도시된 바와 같이 상기 델타 온이면, 상기 어플리케이션처리부140은 현재 프레임1411이 기준프레임이면 1417과 같이 저장부150에서 현재 프레임의 촬영정보를 그대로 저장한다. 이는 상기한 바와 같이 일정 프레임 간격으로 촬영정보를 그대로 저장하므로써, 동영상 재생 및 편집과정에서 델타값 복원에 이상이 발생되더라도, 일정 프레임 간격 내에서 이를 복원할 수 있도록 하기 위함이다 상기 어플리케이션처리부140은 상기 촬영정보버퍼387에서 1411과 같은 현재 프레임의 촬영정보와 1413과 같은 이전 프레임의 촬영정보를 각각 억세스한 후, 1415와 같이 두 프레임들의 촬영정보들을 비교하여 차이가 있는가 검사한다. 이때 상기 촬영정보는 상기 <표 1>과 같은 구조를 가질 수 있으며, 따라서 촬영정보의 각 항목별로 비교하여 차이가 있는지 여부를 결정할 수 있다. 그리고 상기 차이가 있으면, 상기 어플리케이션처리부140은 상기 차이정보(즉, 델타값)을 촬영정보로 재생성하여 1417과 같이 상기 저장부150에 저장한다. 상기와 같은 촬영정보 재생성 절차는 매 프레임에서 수행될 수 있으며, 촬영정보의 데이터 크기가 크지 않으므로(약 4Kbyte)이므로 각 프레임의 촬영정보들을 모두 로깅할 수 있다. 또한 상기 도 14에서 설명된 바와 같이 두 프레임의 차이정보를 촬영정보로 저장하는 경우에는 촬영정보의 크기가 매우 작으므로 매 프레임에서 생성되는 촬영정보들을 모두 저장할 수 있으며, 또한 장기간에 걸쳐 저장할 수 있다.
상기와 같이 촬영정보를 재생성한 후, 상기 어플리케이션처리부140은 1117단계에서 섬네일 이미지 온 기능이 설정되었는가 검사한다. 여기서 상기 섬네일 이미지 온 기능은 상기 도 13 및 도 14와 같은 방법으로 촬영정보를 재생성한 후, 상기 재생성된 촬영정보에 섬네일 이미지를 포함시키는 기능이 설정되었음을 의미한다. 따라서 상기와 같이 섬네일 기능이 온되었으면, 상기 어플리케이션처리부140은 1117단계에서 이를 감지하고, 1119단계에서 도 15와 같은 절차를 수행하면서 상기 촬영정보에 섬네일 이미지를 삽입한다. 도 15는 도 11에서 섬네일 이미지를 촬영정보에 포함시키는 절차를 도시하는 흐름도이며, 도 16는 상기 섬네일 온시 설정된 조건으로 섬네일 이미지를 처리하여 촬영정보에 포함시키는 절차를 설명하기 위한 도면이다.
상기 도 15 및 도 16을 참조하면, 상기 섬네일 기능이 온된 경우, 상기 어플리케이션처리부140은 1511단계에서 현재 프레임이 섬네일 이미지를 포함하도록 설정된 주기인가 검사한다. 이는 동영상 촬영시 프레임율이 30fps 이상이 되며, 따라서 프레임 간 섬네일 이미지의 차이도 그렇게 크지 않게 된다. 따라서 일정 프레임 간격으로 촬영정보에 섬네일 이미지가 포함되도록 설정할 수 있다. 따라서 섬네일을 포함하는 주기가 아니면, 상기 어플리케이션처리부140은 도 11로 리턴하여 재생성된 촬영정보를 상기 저장부150에 저장하도록 제어한다. 그러나 상기 섬네일 이미지 포함 주기이면, 상기 어플리케이션처리부140은 1513단계에서 상기 섬네일 이미지생성부395를 통해 섬네일 이미지를 생성하며, 1515단계에서 압축 기능이 설정되었는가 검사하여 설정되었으면 1517단계에서 상기 섬네일 이미지를 압축하고 그렇지 않으면 압축하지 않는다. 이는 상기 동영상 촬영조건을 설정할 때 결정할 수 있으며, 상기 섬네일 이미지를 JPEG 또는 YUV foramat으로 상기 촬영정보에 포함시킬 수 있다. 따라서 상기 1515단계 또는 1517단계에서 YUV 또는 JPEG 이미지로 처리된 섬네일 이미지는 1519단계에서 상기 촬영정보에 포함되며, 상기 섬네일 이미지를 포함하는 촬영정보는 상기 저장부150에 해당 프레임의 촬영정보로 저장(logging)된다. 그리고 상기 저장부150에 저장되는 동영상 및 촬영정보들은 상기한 바와 같이 프레임동기된 상태를 유지한다.
상기와 같이 1519단계에서 생성되는 촬영정보는 도 16의 1613과 같은 구조를 가질 수 있으며, 상기 촬영정보는 시스템 클럭1617로부터 시간정보(time stamp)를 확인하여 상기 촬영정보에 1613과 같이 기록할 수 있다. 또한 상기 섬네일 이미지의 사용이 설정된 프레임이면, 상기 섬네일 이미지생성부395는 1611과 같은 인터리브드 데이터(YUV, JPEG 촬영정보가 하나의 프레임에 다중화 전송되는 데이터)에서 YUV 이미지를 리사이징 및/또는 스케일링하여 섬네일 이미지를 생성하며, 또한 상기 생성된 섬네일 이미지를 설정 조건에 따라 1615와 같이 압축하거나 그대로 YUV 이미지로 1613과 같이 촬영정보에 포함시킬 수 있다. 상기한 바와 같이 섬네일 이미지 온 기능(thumbnail on flag) 설정시 상기 어플리케이션처리부140은 저장부150의 촬영정보 로깅 테이블(meta data logging table)에 주기적으로 설정한 프레임에서 YUV 이미지를 섬네일로 리사이징(및 부호화)하여 시간정보와 함께 상기 촬영정보에 삽입할 수 있다.
상기와 같은 동작을 반복 수행하면, 어플리케이션처리부140은 도 11의 1111단계 - 1113단계에서 도 12와 같은 절차를 수행하면서 동영상신호를 부호화하여 저장하며, 1115단계 - 1119단계에서 도 13 - 도 16과 같이 촬영정보를 재생성하여 저장한다. 상기와 같은 동작은 매 프레임에서 수행되며, 촬영되는 동영상 및 촬영정보들이 상기 저장부150에 저장된다. 이때 상기 입력부170을 통해 동영상 촬영 종료가 요구되면, 어플리케이션처리부140은 1121단계에서 이를 감지하고, 1123단계에서 상기 동영상 촬영 동작을 종료한다.
상기한 바와 같이 동영상 촬영기능을 수행하면, 상기 저장부150에는 동영상과 이에 프레임 동기된 촬영정보들이 저장된다. 그리고 동영상 재생모드시 상기 촬영정보를 이용하여 동영상을 편집, 미리보기, 동영상 촬영정보 표시, 동영상 마커(video marker), 파노라마 샷(panorama shot), 촬영정보에 따른 이미지 재구성(이미지 합성) 등의 기능을 수행할 수 있다.
도 17은 본 발명의 실시예에 따른 동영상 재생모드의 동작 절차를 도시하는 흐름도이다.
상기 도 17을 참조하면, 동영상 재생시 상기 어플리케이션처리부140은 1711단계에서 이를 감지하고, 1713단계에서 저장부150에 저장된 압축 동영상을 억세스하며, MPEG 코덱390을 통해 복호한 후, 표시부160에 출력하여 동영상을 재생한다. 그러나 상기와 같이 동영상을 재생하는 중에 촬영정보를 이용하여 다양한 부가 기능들을 수행할 수 있다.
이때 촬영정보를 이용하여 동영상 미리보기 기능을 선택하면, 상기 어플리케이션처리부140은 1715단계에서 이를 감지하고 1717단계에서 시간별 섬네일일 이미지들을 표시하면서 동영상 미리 보기 기능을 수행한다. 동영상 미리보기가 선택되면,
도 18은 본 발명의 실시예에 따라 촬영정보를 이용하여 동영상 미리보기 기능을 수행하는 절차를 도시하는 도면이며, 도 19는 상기 도 18과 같은 절차를 수행하면서 화면에 표시되는 동영상 미리보기의 예를 도시하는 도면이다.
상기 도 18 및 도 19를 참조하면, 동영상 미리보기를 선택하면, 상기 어플리케이션처리부140은 1811단계에서 1911과 같이 저장부150에서 촬영정보를 억세스하여 1913과 같이 현지 동영상의 프레임을 확인하며, 1813단계에서 도 19의 1915와 같이 timestamp 별 섬네일 이미지들을 표시한다. 또한 동영상 재생 중에서 화면을 터치하는 경우에도 1915와 같이 현재의 화면을 정지영상으로 표시하고, 현재 프레임의 timestamp를 확인(parsing)하여 인접한 프레임들의 섬네일 이미지들을 표시한다. 상기와 같은 상태에서 특정 섬네일 이미지를 선택하면, 상기 어플리케이션처리부140은 1815단계에서 이를 감지하고, 1817단계에서 선택된 섬네일 이미지를 표시하면서 해당 프레임의 촬영정보를 표시한다. 상기한 바와 같이 동영상 미리보기 기능을 선택하면, 상기 어플리케이션처리부140은 동영상 미리보기에서 타임 스탬프별 섬네일 이미지들을 촬영정보와 함께 표시할 수 있다. 그리고 상기 도 19의 1915와 같이 섬네일 이미지들을 드래그 탐색(drag search)하면 탐색된 섬네일 이미지들의 프레임에 촬영정보들을 추가로 표시할 수 있다. 이때 상기 섬네일 이미지들은 도 19의 1913과 같이 촬영정보에 내에 포함되어 있을 수 있으며, 이런 경우 촬영정보에서 해당 프레임의 섬네일 이미지를 신속하게 표시할 수 있다.
상기 어플리케이션처리부140은 동영상 재생시 촬영정보를 함께 표시할 수 있다. 도 20은 동영상 재생과 함께 관련된 촬영정보를 표시하는 예를 도시하는 도면이다. 상기 도 20을 참조하면, 상기 어플리케이션처리부140은 입력부170에서 동영상 촬영 정보 표시가 요구되면, 도 17의 1719단계에서 이를 감지하고, 1721단계에서 동영상과 함께 재생되는 동영상에 관련된 촬영정보들을 도 20의 2015와 같이 표시한다. 즉, 사용자가 동영상 재생시 촬영정보 표시를 요구하면, 상기 저장부150에 저장하고 있는 촬영정보를 2011과 같이 억세스하며, 상기 2013과 같이 억세스된 촬영정보에서 섬네일 이미지 및 주요 촬영정보들을 파싱하여 표시부160에 표시한다. 상기한 바와 같이 상기 어플리케이션처리부140은 동영상 재생 또는 편집 중에 로깅된 촬영정보 및 촬영정보에 포함된 섬네일 이미지를 재생중인 동영상과 함께 표시할 수 있으며, 이런 경우 상기 어플리케이션처리부140은 재생 중인 동영상에 관련된 촬영정보를 자막과 같은 형태로 표현할 수 있다.
상기 어플리케이션처리부140은 상기 동영상을 재생하는 중에 특정 촬영정보를 재생중인 동영상에 표시(video marker)할 수 있다. 따라서 입력부170을 통해 특정 촬영정보의 표시가 요구되면, 상기 어플리케이션처리부140은 도 17의 1723단계에서 이를 감지하고, 1725단계에서 선택된 촬영정보를 이용하여 부가 기능을 수행하기 위한 정보를 생성 및 동영상과 함께 선택된 촬영정보에 따른 부가기능을 표시할 수 있다. 도 21은 촬영정보 중의 위치정보를 동영상과 함께 부가적으로 표시하는 절차를 도시하는 흐름도이며, 도 22a - 도 22e는 상기 도 21과 같은 절차를 수행하는 중에서 동영상과 함께 부가 기능을 표시하는 예를 도시하는 도면이다.
상기 도 21 - 22e를 참조하면, 상기 어플리케이션처리부140은 2111단계에서 선택된 촬영정보를 분석한다. 이때 설정된 촬영정보가 위치정보(예를들면 GPS 정보이면), 상기 어플리케이션처리부140은 2113단계에서 이를 감지하고, 2115단계에서 재생중인(또는 선택된) 동영상의 촬영정보에서 위치정보를 확인한다. 이후 상기 어플리케이션처리부140은 상기 위치정보에 대응되는 지도 데이터를 억세스한 후, 상기 억세스된 지도에 상기 동영상의 촬영 위치정보들을 매핑하여 이동궤적을 표시한다. 그리고 설정된 표시기능에 따라 동영상 및/또는 지도 영상을 표시한다. 그리고 위치정보 표시 종료 요구시 상기 어플리케이션처리부140은 2121단계에서 이를 감지하고 2123단계에서 지도 표시를 종료한다.
상기한 바와 같이 동영상 촬영시 표시이미지를 압축 부호화하여 저장하는 동시에 저장되는 이미지의 촬영정보를 함께 저장할 수 있다. 그리고 저장된 촬영정보를 이용하여 시간, 섬네일 이미지 및 선택된 촬영정보를 이용하여 촬영정보에 대응되는 부가 기능을 가지는 화면을 표현할 수 있다. 예를들면 동영상 재생 또는 편집 과정에서 위치 표시 기 기능을 설정한 경우, 상기 어플리케이션처리부140은 촬영정보의 위치정보, 시간정보 및 섬네일 이미지들을 이용하여 동영상을 촬영한 위치들의 이동 궤적을 시간에 따라 표시할 수 있다. 예를들면 도 22a와 같은 동영상을 재생하거나 또는 재생하기 전에 상기 동영상의 이동궤적을 표시할 수 있다. 이런 경우, 사용자는 동영상 및 부가기능으로 표시하고자 하는 촬영정보를 선택하며, 이때 위치정보를 선택하면 상기 어플리케이션처리부140은 2113단계에서 이를 감지하고, 2115 및 2117단계를 수행하면서 도 22b와 같이 도 22a와 같은 동영상을 촬영할 때 이동된 궤적을 표시할 수 있다. 이때 상기 도 22b에 도시된 바와 같이 상기 이동궤적의 임의 위치에서 촬영정보에 포함된 섬네일 이미지를 표시할 수 있으며, 상기 섬네일 이미지의 표시 시간 간격은 사용자의 설정에 의해 결정될 수 있다. 그리고 상기 동영상을 재생하는 경우, 상기 어플리케이션처리부140은 동영상이 재생되는 프레임의 촬영정보 중에서 시간 정보(time stamp) 및/또는 위치정보를 확인하여 현재 재생되는 동영상이 촬영된 위치를 도 22b와 같은 지도의 이동궤적에 표시할 수 있다. 또한 상기 어플리케이션처리부140은 2119단계에서 상기 동영상 또는 지도 데이터를 표시할 때, 사용자의 선택에 따라 도 22a와 같이 동영상만을 재생하거나, 도 22b와 같이 지도 데이터만 표시하거나, 도 22c와 같이 동영상 및 지도 데이터를 함께 표시하거나, 도 22d와 같이 지도데이타를 주화면으로 표시하고 동영상을 섬네일 이미지로 표시하거나, 도 22e와 같이 동영상을 주화면으로 표시하고 지도데이타를 섬네일 이미지로 표시할 수 있다.
또한 상기 동영상의 촬영정보를 이용하여 동영상을 파노라마 영상으로 변환할 수 있다. 동영상 미리보기 또는 동영상을 재생하는 상태에서 파노라마 영상 변환 기능을 선택하면, 상기 어플리케이션처리부140은 도 17의 1727단계에서 이를 감지하고, 1729단계에서 선택된 촬영정보를 분석하여 선택된 위치의 동영상을 파노라마 이미지로 변환한다. 도 23은 촬영정보를 이용하여 동영상을 파노라마 이미지로 변환하는 절차를 도시하는 흐름도이며, 도 24는 도 23과 같은 절차를 수행하면서 생성되는 파노라마 이미지의 예를 도시하는 도면이다.
상기 도 23 및 도 24를 참조하면, 2311단계에서 섬네일 이미지를 표시하는 중에 파노라마 변환 및 섬네일 이미지의 구간이 선택되면, 상기 어플리케이션처리부140은 2313단계에서 선택된 섬네일 이미지들의 시작 및 마지막 프레임들을 확인하고, 2315단계에서 시작프레임에서 마지막 프레임까지의 동영상 이미지들을 복호하고, 2317단계에서 상기 복호된 이미지들을 결합하여 파노라마 이미지로 생성한다. 그리고 상기 파노라마 이미지 변환이 종료되면, 상기 어플리케이션처리부140은 2319단계에서 이를 감지하고 2321단계에서 파노라마 이미지 변환 동작을 종료한다. 상기 도 23은 섬네일 이미지를 이용하여 동영상을 파노라마 이미지로 변환하는 절차를 도시하고 있다. 그러나 상기 파노라마 이미지는 촬영정보 중의 특정 촬영정보를 이용하여 파노라마 샷을 실행시킬 수도 있다. 그 중 하나가 자이로센서를 이용하는 방법이다. 즉, 상기 카메라장치는 동영상을 촬영하는 특정 방향으로 카메라를 이동시키면(예를들면 일정 위치에서 정지된 후 특정 방향으로 카메라를 이동시키면) 자이로센서(및 가속도센서)가 카메라의 이동방향을 감지할 수 있으며, 이와 같이 자이로센서(및 가속도센서)가 특정 방향으로 이동함을 감지하면 상기 어플리케이션처리부140은 이를 파노라마 촬영으로 감지하게 된다. 따라서 상기 어플리케이션처리부140은 2411과 같은 동영상을 재생하면서 상기 촬영정보들 중에서 자이로센서의 정보를 분석하며, 상기 자이로센서의 정보가 상기와 같이 파노라마 패턴의 이동으로 분석되면 상기 어플리케이션처리부140은 이를 감지하고 2411과 같은 동영상을 도 24의 2413과 같은 파노라마 이미지로 변환한다.
또한 상기 어플리케이션처리부140은 동영상 촬영시의 촬영정보를 이용하여 양호한 조건의 촬영정보들에 대한 이미지들을 합성하여 이미지의 미세화질 조정 기능을 수행할 수 있다. 따라서 미세화질 조정을 위한 합성 기능이 선택되면, 상기 어플리케이션처리부140은 도 17의 1731단계에서 이를 감지하고, 1733단계에서 설정된 촬영정보들을 이용하여 대응되는 프레임들의 이미지를 합성하여 미세화질 조정 기능을 수행한다. 도 25는 본 발명의 실시예에 따라 촬영된 동영상의 촬영정보를 이용하여 양호한 조건들을 가지는 이미지들을 합성하여 미세화질을 조정하는 예를 도시하는 도면이다. 상기 도 25에 도시된 바와 같이 CCTV나 차량용 블랙박스는 동영상 이미지들을 획득하기 위하여 고화질의 이미지를 획득하기 위한 카메라 및 처리부들을 사용하지 않는다. 그러나 상기와 같이 동영상을 촬영할 때 동영상에 대응되는 촬영정보를 생성하여 함께 저장하면, 추후 상기 촬영정보를 이용하여 동영상의 화질을 조정할 수 있다. 예를 들면 상기 도 25의 2511과 같이 저장된 영상의 화질이 좋지 않은 경우, 동영상과 함께 촬영 시점에서 저장된 촬영정보(예를 들면 충격감도, 모션 감도 등)를 이용하여 2513과 같이 고화질 사진으로 백업할 수 있다.
상기한 바와 같이 동영상과 함께 촬영정보를 획득하여 함께 저장한 후, 동영상 재생시 함께 저장된 촬영정보를 이용하여 동영상 재생을 다양한 형태로 실행할 수 있다.
도 26은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면이다.
상기 도 26을 참조하면, 카메라부110은 센서를 구비하며, 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 휴대단말장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 충격센서, 방향센서, 조도센서들 중에 하나 이상이 될 수 있다. 여기서 상기 센서부120은 상기 도 1 및 도 3과 같이 상기 이미지처리부130에 연결될 수 있으며, 상기 도 5 및 도 6과 같이 상기 어플리케이션처리부140에 연결될 수 있고, 또한 센서부120에 구성되는 일부의 센서들을 상기 이미지처리부130에 연결하고 나머지 센서들을 상기 어플리케이션처리부140에 연결하는 구성을 가질 수 있다. 이하의 설명에서는 상기 센서부120이 어플리케이션처리부140에 연결되는 구성을 가정하여 설명하기로 한다.
이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 매 프레임에서 표시부160에 표시하기 위한 표시이미지, 압축이미지 및 해당 프레임에서 이미지를 촬영한 촬영정보 등을 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 압축이미지는 JPEG 이미지가 될 수 있다. 상기 촬영정보는 상기 카메라부110에서 이미지 촬영시 획득할 수 있는 exif 정보 이외에 휴대단말장치의 센서부120의 출력을 포함하는 다양한 정보들을 추가적으로 획득할 수 있다. 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 그 이상의 프레임율(예를 들면 60 fps)로 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.
어플리케이션 처리부140은 휴대단말장치의 다양한 어플리케이션 기능을 수행한다. 또한 상기 어플리케이션처리부140은 센서부120의 출력을 입력하며, 사용자의 요구에 따른 다양한 센서 어플리케이션을 처리할 수 있다. 예를들면 GPS수신의 출력을 입력하여 네비게이션 기능, 단말기의 위치에 따른 지역정보를 탐색하는 어플리케이션을 처리할 수 있으며, 단말장치의 움직임에 따라 현재 실행되는 어플리케이션에서의 설정된 기능을 실행하는 어플리케이션 등을 실행할 수 있다. 특히 상기 어플리케이션처리부140은 본 발명의 실시예에 따라 카메라 구동시 상기 이미지처리부130에서 매 프레임에서 생성되는 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하고, 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어한다. 또한 사용자의 캡쳐 요구 명령이 발생되면 상기 버퍼링 중인 압축이미지들 중에서 캡쳐 요구 시점의 압축이미지를 저장부150에 저장하여 제로 셔터렉을 구현한다. 이때 상기 촬영정보를 버퍼링할 때, 상기 어플리케이션처리부140은 상기 이미지처리부130에서 생성되는 제1촬영정보에 상기 센서부120에서 출력되는 촬영시의 설정된 센서 정보들을 제2촬영정보로 생성하며, 상기 제1촬영정보에 제2촬영정보를 병합하여 촬영정보로 버퍼링하는 기능을 수행할 수 있다.
또한 상기 어플리케이션처리부140은 동영상 촬영시 상기 표시이미지를 동영상 압축하여 상기 저장부150에 저장하며, 또한 상기 촬영정보를 촬영 조건에서 재생성하여 상기 저장부150에 저장한다. 이때 상기 촬영조건은 상기한 바와 같이, 촬영정보를 델타 값으로 사용하는지 또는 생성된 촬영정보를 그대로 사용하는 조건을 설정할 수 있으며, 상기 촬영정보에 섬네일 이미지를 포함시킬지의 여부, 그리고 상기 섬네일 이미지의 압축 여부 등을 결정하는 조건이 될 수 있다. 상기 어플리케이션처리부140은 상기와 같은 동영상 촬영조건에 의해 동영상 및 촬영정보를 생성하여 저장하며, 동영상 재생시 상기 촬영정보를 이용하여 다양한 부가 기능을 수행할 수 있다.
통신부2620은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부2620은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter) 등을 구비할 수 있다. 또한 상기 통신부2620은 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다.
단말제어부2610은 휴대단말장치의 전반적인 동작을 제어하며, 음성 통화 및 데이터 통신의 기능을 수행한다. 여기서 상기 단말제어부2610은 상기 통신부2620의 변복조부를 포함할 수 있으며, 이런 경우 상기 통신부2620은 RF통신부만을 구비할 수 있다. 사기 단말제어부2610은 이런 경우 상기 통신신호를 변복조 및 부호/복호화하는 기능을 수행할 수 있다. 오디오처리부2630은 휴대단말장치의 송수화기와 연결되어 상기 단말제어부2610의 제어하에 음성 통신시 통화 음성을 처리한다. 메모리2640은 상기 단말제어부2610 및 어플리케이션처리부140의 프로그램들이 로딩되는 워크 메모리(work memory)가 될 수 있으며, 이런 경우 상기 메모리2640은 램으로 구성될 수 있다.
상기 입력부170은 단말제어부1610 및 어플리케이션처리부140에 휴대단말장치의 각종 동작 명령 및 데이터 입력신호를 발생한다. 특히 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령, 동영상 촬영 및 재생 명령을 발생할 수 있다. 표시부160은 단말제어부1610 및 어플리케이션처리부140의 제어하에 휴대단말장치의 동작 및 어플리케이션 실행 상태를 표시한다. 상기 표시부160은 본 발명의 실시예에 따라 프리뷰 모드 및 동영상 촬영모드시 상기 어플리케이션처리부140에서 출력되는 표시이미지를 표시하며, 동영상 재생모드시 복호된 동영상과 촬영정보를 이용한 다양한 부가영상들을 표시한다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.
저장부150은 휴대단말장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램들을 저장하는 프로그램 메모리와, 프로그램 수행을 위한 데이터들 및 프로그램 수행 중에 발생되는 데이터를 저장하기 위한 데이터 메모리로 구성될 수 있다. 이런 경우 상기 저장부150은 플래시 메모리등과 같은 비휘발성 메모리(non volatile memory)로 구성할 수 있다. 특히 상기 저장부150은 본 발명의 실시예에 따라 동영상 촬영모드시 부호화된 동영상과 이에 관련된 촬영정보들을 저장한다.
상기 도 26과 같은 구성을 가지는 휴대단말장치는 착발신 통화 및 통신 서비스를 수행할 수 있으며, 카메라 촬영모드시 본 발명의 실시예에 따라 카메라부110에서 촬영되는 이미지를 처리한다. 휴대단말기의 전원온 등과 같이 휴대단말기의 기동을 수행하는 경우, 단말제어부2610는 상기 저장부150에서 통화 및 통신 그리고 휴대단말장치의 동작 프로그램들을 상기 메모리2640에 로딩시킨다. 또한 상기 어플리케이션처리부140은 어플리케이션 실행 요구시 상기 저장부150에서 해당 어플리케이션들을 구동하기 위한 프로그램을 상기 메모리2640에 로딩시킨다. 또한 상기 따라서 상기 메모리2640은 시스템 기동시 휴대단말장치의 동작 프로그램들 및 어플리케이션 프로그램들이 로딩되는 워크 메모리 기능을 수행한다. 여기서 상기 메모리2640은 상기 어플리케이션처리부140 및 단말제어부2610이 공유할 수 있으며, 또한 각각 독립적으로 구성하여 사용할 수도 있다.
상기 어플리케이션처리부140은 본 발명의 실시예에 따른 카메라부110의 이미지 처리 어플리케이션과 휴대단말장치의 다양한 어플리케이션들을 처리한다. 그리고 상기와 같은 다양한 어플리케이션 처리를 수행하기 위해 상기 어플리케이션처리부140은 상기 센서부120의 출력을 입력할 수 있으며, 상기 센서부120의 출력을 이용하여 어플리케이션을 실행하거나 또는 상기 센서부120의 출력에 의해 어플리케이션의 처리 동작을 제어할 수 있다. 또한 단말제어부2610은 상기 센서부120의 출력을 입력하며, 통화 또는 통신 서비스를 수행하거나 또는 상기 센서부120의 출력에 의해 통화 또는 통신 서비스를 제어할 수 있다.
발신통화시, 사용자는 입력부170을 통해 발신전화번호 및 통화 요구신호를 발생할 수 있으며, 이를 감지하는 단말제어부2610은 통신부2620을 제어하여 통화로를 형성하며, 기지국을 통해 발신 통화 기능을 수행한다. 또한 착신 통화가 발생되면, 상기 단말제어부2610은 통신부2620을 통해 이를 감지하고 오디오처리부2630을 통해 착신 경보를 하며 표시부160을 통해 착신 정보를 표시한다. 이때 사용자가 입력부170을 통해 응답을 하면, 상기 단말제어부2610은 통신부2620을 통해 착신 통화로를 형성하여 통화 서비스를 수행한다. 데이터 통신의 경우에도 상기 통화와 유사한 동작으로 통신로를 형성한다.
또한 상기 휴대단말장치는 다양한 어플리케이션들을 실행할 수 있다. 이때 사용자가 입력부170을 통해 특정 어플리케이션의 실행을 요구하면, 상기 어플리케이션처리부140은 해당 어플리케이션을 실행하며, 그 결과를 상기 표시부160에 표시한다. 이때 사용자가 카메라 구동 요구 명령을 발생하면, 상기 어플리케이션처리부140은 이를 감지하고, 상기 이미지처리부130을 통해 카메라부110을 구동한다. 그러면 상기 이미지처리부130은 매 프레임에서 상기 카메라부110에서 촬영되는 이미지를 처리하여 표시이미지, 압축이미지를 생성하며, 또한 상기 카메라부110 및 센서부120의 출력을 이용하여 해당 프레임의 촬영정보를 생성한다. 그러면 상기 어플리케이션처리부140은 상기 매 프레임에서 생성되어 수신되는 표시이미지, 압축이미지 및 촬영정보를 버퍼링하며, 상기 표시이미지를 표시부160을 통해 프리뷰 이미지로 표시한다. 이와 같은 상태에서 사용자가 입력부170을 통해 동영상 촬영명령을 발생하면, 상기 어플리케이션처리부140은 버퍼링 중인 표시이미지들을 동영상 압축부호화하여 상기 저장부150에 저장하며, 또한 상기 촬영정보를 설정된 조건에 따라 재생성하여 상기 저장부150에 저장한다. 그리고 동영상 재생모드시 상기 어플리케이션처리부140은 저장중인 동영상을 복호하여 상기 표시부160을 통해 재생하며, 또한 상기 촬영정보를 이용하여 다양한 부가 기능의 화면(미리보기, 촬영정보 표시, 촬영정보에 따란 비디오 마커 기능, 동영상 촬영시의 이동궤적, 파노라마 영상 변환, CCTV 기능 등)을 표시할 수 있다.
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
Claims (30)
- 동영상 촬영 시 매 프레임 주기에서 이미지들을 획득하는 과정과,
상기 이미지들 각각의 메타데이터(metadata)를 생성하는 동작과,
상기 이미지들을 동영상으로 인코딩(encoding)하는 동작과,
상기 이미지들 각각에 대하여 생성된 메타데이터를 저장하는 동작과,
상기 동영상 재생 시 상기 메타데이터들 중에서 선택된 메타데이터를 상기 동영상의 부가 기능으로 표시하는 동작을 포함하고,
상기 메타데이터를 저장하는 동작은,
연속하는 프레임에서 획득한 제1 이미지의 제1 메타데이터와 제2 이미지의 제2 메타데이터가 상이한 경우, 상기 제1 메타데이터와 상기 제2 메타데이터의 차이점을 상기 제2 메타데이터로 재생성하여 저장하는 동작을 포함하는 방법. - 삭제
- 삭제
- 제1항에 있어서, 상기 메타데이터는 대응되는 프레임에서 획득한 이미지의 섬네일 이미지를 포함하는 것을 특징으로 하는 방법.
- 제4항에 있어서, 상기 섬네일 이미지는 설정된 프레임 간격으로 상기 메타데이터에 포함되는 것을 특징으로 하는 방법.
- 제5항에 있어서, 상기 동영상 부가기능은 동영상 미리보기에서 동영상 재생시 시간정보를 파싱하여 표시중인 동영상 프레임의 인접한 프레임들의 섬네일 이미지들을 표시하는 것을 특징으로 하는 방법.
- 제6항에 있어서, 상기 동영상 부가기능은 상기 표시중인 동영상 프레임의 메타데이터를 더 표시하는 것을 특징으로 하는 방법.
- 제5항에 있어서, 상기 동영상 부가기능은 재생되는 동영상의 메타데이터를 자막으로 표시하는 것을 특징으로 하는 방법.
- 제5항에 있어서, 상기 동영상 부가기능은 선택된 메타데이터를 재생중인 동영상과 함께 표시하는 것을 특징으로 하는 방법.
- 제9항에 있어서, 상기 선택된 메타데이터는 위치정보이며, 상기 동영상의 위치정보들을 지도 상에 표시하여 동영상 촬영의 이동궤적을 표시하는 것을 특징으로 하는 방법.
- 제5항에 있어서, 상기 동영상 부가기능은 선택된 동영상의 메타데이터를 분석하여 동영상을 파노라마 이미지로 변환하는 것을 특징으로 하는 방법.
- 제5항에 있어서, 상기 동영상 부가기능은 동영상의 메타데이터를 이용하여 고화질의 사진으로 생성하는 것을 특징으로 하는 방법.
- 카메라장치에 있어서,
동영상 촬영 시 매 프레임 주기에서 이미지들을 획득하는 카메라와,
상기 이미지들을 처리하고 상기 이미지들 각각의 메타데이터(metadata)를 생성하는 이미지처리부와,
상기 이미지들을 동영상으로 인코딩(encoding)하고, 연속하는 프레임에서 획득한 제1 이미지의 제1 메타데이터와 제2 이미지의 제2 메타데이터가 상이한 경우 상기 제1 메타데이터와 상기 제2 메타데이터의 차이점을 상기 제2 메타데이터로 재생성하여 저장부에 저장하고, 상기 동영상 재생 시 상기 메타데이터들 중에서 선택된 메타데이터를 상기 동영상의 부가 기능으로 표시하도록 제어하는 어플리케이션처리부와,
상기 어플리케이션처리부의 제어 하에, 상기 동영상을 표시하는 표시부를 포함하는 장치. - 제13항에 있어서, 센서부를 더 구비하며, 상기 어플리케이션처리부가 상기 이미지처리부의 메타데이터에 상기 센서부의 출력을 더하여 메타데이터를 생성하는 것을 특징으로 하는 장치.
- 삭제
- 제13항에 있어서, 상기 어플리케이션처리부는 대응되는 프레임에서 획득한 이미지의 섬네일 이미지를 상기 메타데이터에 포함시키는 것을 특징으로 하는 장치.
- 제16항에 있어서, 상기 섬네일 이미지는 설정된 프레임 간격으로 상기 메타데이터에 포함되는 것을 특징으로 하는 장치.
- 제17항에 있어서, 상기 상기 어플리케이션처리부는 동영상 미리보기에서 동영상 재생시 시간정보를 파싱하여 표시중인 동영상 프레임의 인접한 프레임들의 섬네일 이미지들을 표시하는 것을 특징으로 하는 장치.
- 제18항에 있어서, 상기 어플리케이션처리부는 표시중인 동영상 프레임의 메타데이터를 더 표시하는 것을 특징으로 하는 장치.
- 제17항에 있어서, 상기 어플리케이션처리부는 재생되는 동영상의 메타데이터를 자막으로 표시하는 것을 특징으로 하는 장치.
- 삭제
- 제13항에 있어서, 상기 선택된 메타데이터는 위치정보이며, 상기 동영상의 위치정보들을 지도 상에 표시하여 동영상 촬영의 이동궤적을 표시하는 것을 특징으로 하는 장치.
- 제17항에 있어서, 상기 어플리케이션처리부는 선택된 동영상의 메타데이터를 분석하여 동영상을 파노라마 이미지로 변환하는 것을 특징으로 하는 장치.
- 제17항에 있어서, 상기 상기 어플리케이션처리부는 동영상의 메타데이터를 이용하여 고화질의 사진으로 생성하는 것을 특징으로 하는 장치.
- 휴대단말장치에 있어서,
외부 장치와 무선통신을 수행하는 통신부와,
상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와,
동영상 촬영 시 매 프레임 주기에서 이미지들을 획득하는 카메라와,
상기 이미지들을 처리하고 상기 이미지들 각각의 메타데이터(metadata)를 생성하는 이미지처리부와,
상기 이미지들을 동영상으로 인코딩(encoding)하고, 연속하는 프레임에서 획득한 제1 이미지의 제1 메타데이터와 제2 이미지의 제2 메타데이터가 상이한 경우 상기 제1 메타데이터와 상기 제2 메타데이터의 차이점을 상기 제2 메타데이터로 재생성하여 저장부에 저장하고, 상기 동영상 재생 시 상기 메타데이터들 중에서 선택된 메타데이터를 상기 동영상의 부가 기능으로 표시하도록 제어하는 어플리케이션처리부와,.
상기 어플리케이션의 제어 하에, 상기 동영상을 표시하는 표시부로 구성된 것을 특징으로 하는 장치. - 제25항에 있어서, 센서부를 더 구비하며, 상기 어플리케이션처리부가 상기 이미지처리부의 메타데이터에 상기 센서부의 출력을 더하여 메타데이터를 생성하는 것을 특징으로 하는 장치.
- 삭제
- 삭제
- 제25항에 있어서, 상기 어플리케이션처리부는 대응되는 프레임에서 획득한 이미지의 섬네일 이미지를 상기 메타데이터에 포함시키는 것을 특징으로 하는 장치.
- 제29항에 있어서, 상기 섬네일 이미지는 설정된 프레임 간격으로 상기 메타데이터에 포함되는 것을 특징으로 하는 장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120019895A KR101905648B1 (ko) | 2012-02-27 | 2012-02-27 | 카메라 장치의 동영상 촬영방법 및 장치 |
| US13/775,459 US9167164B2 (en) | 2012-02-27 | 2013-02-25 | Metadata associated with frames in a moving image |
| CN201310059641.XA CN103297682B (zh) | 2012-02-27 | 2013-02-26 | 运动图像拍摄设备和使用摄像机装置的方法 |
| EP13156902.2A EP2632155B1 (en) | 2012-02-27 | 2013-02-27 | Moving image shooting apparatus and method of using a camera device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120019895A KR101905648B1 (ko) | 2012-02-27 | 2012-02-27 | 카메라 장치의 동영상 촬영방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130098074A KR20130098074A (ko) | 2013-09-04 |
| KR101905648B1 true KR101905648B1 (ko) | 2018-10-11 |
Family
ID=47912914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120019895A KR101905648B1 (ko) | 2012-02-27 | 2012-02-27 | 카메라 장치의 동영상 촬영방법 및 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9167164B2 (ko) |
| EP (1) | EP2632155B1 (ko) |
| KR (1) | KR101905648B1 (ko) |
| CN (1) | CN103297682B (ko) |
Families Citing this family (108)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8520069B2 (en) | 2005-09-16 | 2013-08-27 | Digital Ally, Inc. | Vehicle-mounted video system with distributed processing |
| US9380256B2 (en) * | 2007-06-04 | 2016-06-28 | Trover Group Inc. | Method and apparatus for segmented video compression |
| US8503972B2 (en) | 2008-10-30 | 2013-08-06 | Digital Ally, Inc. | Multi-functional remote monitoring system |
| US10130246B2 (en) | 2009-06-18 | 2018-11-20 | Endochoice, Inc. | Systems and methods for regulating temperature and illumination intensity at the distal tip of an endoscope |
| US9474440B2 (en) | 2009-06-18 | 2016-10-25 | Endochoice, Inc. | Endoscope tip position visual indicator and heat management system |
| US10524645B2 (en) | 2009-06-18 | 2020-01-07 | Endochoice, Inc. | Method and system for eliminating image motion blur in a multiple viewing elements endoscope |
| US10033618B1 (en) | 2009-07-01 | 2018-07-24 | Spirent Communications, Inc. | Systems and methods for evaluating customer premises networks |
| US20150208900A1 (en) * | 2010-09-20 | 2015-07-30 | Endochoice, Inc. | Interface Unit In A Multiple Viewing Elements Endoscope System |
| US9706908B2 (en) | 2010-10-28 | 2017-07-18 | Endochoice, Inc. | Image capture and video processing systems and methods for multiple viewing element endoscopes |
| US10663714B2 (en) | 2010-10-28 | 2020-05-26 | Endochoice, Inc. | Optical system for an endoscope |
| US10517464B2 (en) | 2011-02-07 | 2019-12-31 | Endochoice, Inc. | Multi-element cover for a multi-camera endoscope |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8970718B2 (en) | 2012-07-12 | 2015-03-03 | Gopro, Inc. | Image capture accelerator |
| WO2014052898A1 (en) | 2012-09-28 | 2014-04-03 | Digital Ally, Inc. | Portable video and imaging system |
| US10272848B2 (en) | 2012-09-28 | 2019-04-30 | Digital Ally, Inc. | Mobile video and imaging system |
| US9632658B2 (en) | 2013-01-15 | 2017-04-25 | Leap Motion, Inc. | Dynamic user interactions for display control and scaling responsiveness of display objects |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| KR101537665B1 (ko) * | 2013-02-26 | 2015-07-20 | 주식회사 알티캐스트 | 콘텐츠 재생 방법 및 장치 |
| US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
| US9636003B2 (en) | 2013-06-28 | 2017-05-02 | Endochoice, Inc. | Multi-jet distributor for an endoscope |
| US10595714B2 (en) | 2013-03-28 | 2020-03-24 | Endochoice, Inc. | Multi-jet controller for an endoscope |
| US9958228B2 (en) | 2013-04-01 | 2018-05-01 | Yardarm Technologies, Inc. | Telematics sensors and camera activation in connection with firearm activity |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9565462B1 (en) * | 2013-04-26 | 2017-02-07 | SportXast, LLC | System, apparatus and method for creating, storing and transmitting sensory data triggered by an event |
| JP6669647B2 (ja) | 2013-05-07 | 2020-03-18 | エンドチョイス インコーポレイテッドＥｎｄｏｃｈｏｉｃｅ， Ｉｎｃ． | 内視鏡とともに使用するためのホワイトバランス補正デバイス及びホワイトバランス補正の実行方法 |
| US9949623B2 (en) | 2013-05-17 | 2018-04-24 | Endochoice, Inc. | Endoscope control unit with braking system |
| US9436288B2 (en) | 2013-05-17 | 2016-09-06 | Leap Motion, Inc. | Cursor mode switching |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US10620775B2 (en) | 2013-05-17 | 2020-04-14 | Ultrahaptics IP Two Limited | Dynamic interactive objects |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US10064541B2 (en) | 2013-08-12 | 2018-09-04 | Endochoice, Inc. | Endoscope connector cover detection and warning system |
| US9253452B2 (en) | 2013-08-14 | 2016-02-02 | Digital Ally, Inc. | Computer program, method, and system for managing multiple data recording devices |
| US10075681B2 (en) | 2013-08-14 | 2018-09-11 | Digital Ally, Inc. | Dual lens camera unit |
| US10390732B2 (en) | 2013-08-14 | 2019-08-27 | Digital Ally, Inc. | Breath analyzer, system, and computer program for authenticating, preserving, and presenting breath analysis data |
| US9159371B2 (en) * | 2013-08-14 | 2015-10-13 | Digital Ally, Inc. | Forensic video recording with presence detection |
| US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US9943218B2 (en) | 2013-10-01 | 2018-04-17 | Endochoice, Inc. | Endoscope having a supply cable attached thereto |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9968242B2 (en) | 2013-12-18 | 2018-05-15 | Endochoice, Inc. | Suction control unit for an endoscope having two working channels |
| US20150187390A1 (en) * | 2013-12-30 | 2015-07-02 | Lyve Minds, Inc. | Video metadata |
| WO2015112747A2 (en) | 2014-01-22 | 2015-07-30 | Endochoice, Inc. | Image capture and video processing systems and methods for multiple viewing element endoscopes |
| JP2015186235A (ja) * | 2014-03-26 | 2015-10-22 | ソニー株式会社 | イメージセンサ、および電子装置 |
| US11234581B2 (en) | 2014-05-02 | 2022-02-01 | Endochoice, Inc. | Elevator for directing medical tool |
| US20150350504A1 (en) * | 2014-06-03 | 2015-12-03 | 2P & M Holdings, LLC | RAW Camera Peripheral for Handheld Mobile Unit |
| EP3171752B1 (en) | 2014-07-21 | 2019-12-11 | EndoChoice, Inc. | Multi-focal, multi-camera endoscope systems |
| DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| KR102206244B1 (ko) | 2014-08-27 | 2021-01-22 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| WO2016032054A1 (en) * | 2014-08-27 | 2016-03-03 | Lg Electronics Inc. | Display device and method of controlling therefor |
| CN111990946A (zh) | 2014-08-29 | 2020-11-27 | 恩多巧爱思股份有限公司 | 改变内窥镜插入管的刚度的系统和方法 |
| JP6395522B2 (ja) * | 2014-09-03 | 2018-09-26 | キヤノン株式会社 | 通信装置、通信装置の制御方法、プログラム |
| WO2016039554A1 (ko) * | 2014-09-11 | 2016-03-17 | 김철수 | 비젼 카메라를 이용한 데이터 획득 장치 |
| CN104243822A (zh) * | 2014-09-12 | 2014-12-24 | 广州三星通信技术研究有限公司 | 拍摄图像的方法及装置 |
| AU2015336085B2 (en) | 2014-10-20 | 2018-08-30 | Axon Enterprise, Inc. | Systems and methods for distributed control |
| WO2016100356A1 (en) | 2014-12-15 | 2016-06-23 | Yardarm Technologies, Inc. | Camera activation in response to firearm activity |
| EP3235241B1 (en) | 2014-12-18 | 2023-09-06 | EndoChoice, Inc. | System for processing video images generated by a multiple viewing elements endoscope |
| WO2016112034A2 (en) | 2015-01-05 | 2016-07-14 | Endochoice, Inc. | Tubed manifold of a multiple viewing elements endoscope |
| EP3057309B1 (en) | 2015-02-12 | 2020-10-21 | Samsung Electronics Co., Ltd. | Method for controlling camera system, electronic device, and storage medium |
| US10516893B2 (en) | 2015-02-14 | 2019-12-24 | Remote Geosystems, Inc. | Geospatial media referencing system |
| US9936214B2 (en) | 2015-02-14 | 2018-04-03 | Remote Geosystems, Inc. | Geospatial media recording system |
| US10376181B2 (en) | 2015-02-17 | 2019-08-13 | Endochoice, Inc. | System for detecting the location of an endoscopic device during a medical procedure |
| US10735724B2 (en) | 2015-03-02 | 2020-08-04 | Samsung Electronics Co., Ltd | Method and device for compressing image on basis of photography information |
| US10038836B2 (en) * | 2015-03-17 | 2018-07-31 | Mediatek Inc. | Automatic image capture during preview and image recommendation |
| US10078207B2 (en) | 2015-03-18 | 2018-09-18 | Endochoice, Inc. | Systems and methods for image magnification using relative movement between an image sensor and a lens assembly |
| US10401611B2 (en) | 2015-04-27 | 2019-09-03 | Endochoice, Inc. | Endoscope with integrated measurement of distance to objects of interest |
| US10516865B2 (en) | 2015-05-17 | 2019-12-24 | Endochoice, Inc. | Endoscopic image enhancement using contrast limited adaptive histogram equalization (CLAHE) implemented in a processor |
| US9841259B2 (en) | 2015-05-26 | 2017-12-12 | Digital Ally, Inc. | Wirelessly conducted electronic weapon |
| US10013883B2 (en) | 2015-06-22 | 2018-07-03 | Digital Ally, Inc. | Tracking and analysis of drivers within a fleet of vehicles |
| US9848129B2 (en) * | 2015-07-08 | 2017-12-19 | Chengdu Sioeye Technology Co., Ltd. | Systems and methods for real-time integrating information into videos |
| US10192277B2 (en) | 2015-07-14 | 2019-01-29 | Axon Enterprise, Inc. | Systems and methods for generating an audit trail for auditable devices |
| US10402438B2 (en) | 2015-07-20 | 2019-09-03 | Disney Enterprises, Inc. | Systems and methods of visualizing multimedia content |
| US10129102B2 (en) | 2016-05-11 | 2018-11-13 | Spirent Communications, Inc. | Service based testing |
| US11258679B2 (en) | 2015-07-28 | 2022-02-22 | Spirent Communications, Inc. | Systems and methods for automated testing of MoCA networks |
| US10382314B2 (en) | 2016-03-11 | 2019-08-13 | Spirent Communications, Inc. | Systems and methods for automated testing of MoCA networks |
| EP3326365B1 (en) * | 2015-07-31 | 2021-03-10 | Hsni, Llc | Virtual three dimensional video creation and management system and method |
| KR102376700B1 (ko) * | 2015-08-12 | 2022-03-22 | 삼성전자주식회사 | 비디오 컨텐츠 생성 방법 및 그 장치 |
| CN108430373B (zh) | 2015-10-28 | 2022-05-27 | 安多卓思公司 | 用于在患者体内跟踪内窥镜的位置的装置和方法 |
| US10606468B2 (en) * | 2015-11-20 | 2020-03-31 | International Business Machines Corporation | Dynamic image compensation for pre-touch localization on a reflective surface |
| CN108697302B (zh) | 2015-11-24 | 2021-07-27 | 安多卓思公司 | 用于内窥镜的一次性空气/水阀和抽吸阀 |
| US9659355B1 (en) * | 2015-12-03 | 2017-05-23 | Motorola Mobility Llc | Applying corrections to regions of interest in image data |
| US10002435B2 (en) | 2016-01-29 | 2018-06-19 | Google Llc | Detecting motion in images |
| US10904474B2 (en) | 2016-02-05 | 2021-01-26 | Digital Ally, Inc. | Comprehensive video collection and storage |
| EP3419497B1 (en) | 2016-02-24 | 2022-06-01 | Endochoice, Inc. | Circuit board assembly for a multiple viewing element endoscope using cmos sensors |
| WO2017160792A1 (en) | 2016-03-14 | 2017-09-21 | Endochoice, Inc. | System and method for guiding and tracking a region of interest using an endoscope |
| CN105915789B (zh) * | 2016-04-29 | 2019-10-29 | 努比亚技术有限公司 | 一种记录图片制作以及制作图片的方法和装置 |
| US10993605B2 (en) | 2016-06-21 | 2021-05-04 | Endochoice, Inc. | Endoscope system with multiple connection interfaces to interface with different video data signal sources |
| JP6747158B2 (ja) | 2016-08-09 | 2020-08-26 | ソニー株式会社 | マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法 |
| US10521675B2 (en) | 2016-09-19 | 2019-12-31 | Digital Ally, Inc. | Systems and methods of legibly capturing vehicle markings |
| KR102176723B1 (ko) * | 2016-09-23 | 2020-11-10 | 삼성전자주식회사 | 영상처리 장치, 디스플레이 장치, 및 그 제어방법 |
| CN106803911A (zh) * | 2017-03-03 | 2017-06-06 | 天津天地伟业信息系统集成有限公司 | 一种nvr录像文件的缩略图创建和读取方法 |
| US10911725B2 (en) | 2017-03-09 | 2021-02-02 | Digital Ally, Inc. | System for automatically triggering a recording |
| CN108124099B (zh) * | 2017-12-14 | 2021-01-08 | Tcl移动通信科技（宁波）有限公司 | 一种相机缩略图生成的方法、移动终端及存储介质 |
| GB2575009B (en) * | 2018-05-14 | 2022-12-14 | Advanced Risc Mach Ltd | Media processing systems |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| CN110634174B (zh) * | 2018-06-05 | 2023-10-10 | 深圳市优必选科技有限公司 | 一种表情动画过渡方法、系统及智能终端 |
| US11024137B2 (en) | 2018-08-08 | 2021-06-01 | Digital Ally, Inc. | Remote video triggering and tagging |
| JP7278299B2 (ja) * | 2018-09-28 | 2023-05-19 | 三菱電機株式会社 | データ管理サーバ、データ利用サーバ、データ流通システム、データ管理方法及びプログラム |
| CN112468734B (zh) * | 2021-01-18 | 2021-07-06 | 山东天创信息科技有限公司 | 一种基于人脸识别的监控摄像头可调节安检装置 |
| CN115731632A (zh) * | 2021-08-30 | 2023-03-03 | 成都纵横自动化技术股份有限公司 | 一种数据传输、解析方法及数据传输系统 |
| CN113986530A (zh) * | 2021-09-30 | 2022-01-28 | 青岛歌尔声学科技有限公司 | 一种图像处理方法、装置、存储介质及终端 |
| KR102521516B1 (ko) * | 2022-02-28 | 2023-04-17 | 주식회사 인텔리즈 | 광각 탐지가 가능한 검사기용 이미지 처리 장치 및 방법 그리고 이를 구현하기 위한 프로그램을 기록한 기록매체 |
| US11950017B2 (en) | 2022-05-17 | 2024-04-02 | Digital Ally, Inc. | Redundant mobile video recording |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006345400A (ja) * | 2005-06-10 | 2006-12-21 | Matsushita Electric Ind Co Ltd | ビデオカメラ装置 |
| KR100793284B1 (ko) * | 2007-05-11 | 2008-01-10 | 주식회사 코아로직 | 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6882350B2 (en) * | 2000-08-07 | 2005-04-19 | Sony Corporation | Information processing apparatus, information processing method, program storage medium and program |
| US7683937B1 (en) * | 2003-12-31 | 2010-03-23 | Aol Inc. | Presentation of a multimedia experience |
| KR100693598B1 (ko) * | 2004-09-08 | 2007-03-14 | 주식회사 팬택앤큐리텔 | 정지영상을 이용한 동영상 생성 기능을 가지는무선통신단말기 및 그 방법 |
| IL175835A0 (en) * | 2006-05-22 | 2007-07-04 | Rafael Armament Dev Authority | Methods and systems for communicating and displaying points-of-interest |
| JP4293209B2 (ja) * | 2006-08-02 | 2009-07-08 | ソニー株式会社 | 記録装置および方法、撮像装置、再生装置および方法、並びにプログラム |
| US20080062322A1 (en) * | 2006-08-28 | 2008-03-13 | Ortiva Wireless | Digital video content customization |
| JP4353259B2 (ja) * | 2007-02-22 | 2009-10-28 | ソニー株式会社 | 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム |
| JP4760892B2 (ja) * | 2008-10-10 | 2011-08-31 | ソニー株式会社 | 表示制御装置、表示制御方法及びプログラム |
| JP5299054B2 (ja) * | 2009-04-21 | 2013-09-25 | ソニー株式会社 | 電子機器、表示制御方法およびプログラム |
| US20100309975A1 (en) | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and transcoding system |
| KR101711009B1 (ko) * | 2010-08-26 | 2017-03-02 | 삼성전자주식회사 | 영상 저장장치, 영상 재생장치, 영상 저장방법, 영상 제공방법, 저장매체 및 촬영장치 |
| JP2012165142A (ja) * | 2011-02-04 | 2012-08-30 | Canon Inc | 情報処理装置及びその制御方法、並びに、プログラム |
| JP5082005B2 (ja) | 2011-09-26 | 2012-11-28 | 株式会社日本ビジネスエンジニアリング | 撮像データ加工装置 |
-
2012
- 2012-02-27 KR KR1020120019895A patent/KR101905648B1/ko active IP Right Grant
-
2013
- 2013-02-25 US US13/775,459 patent/US9167164B2/en active Active
- 2013-02-26 CN CN201310059641.XA patent/CN103297682B/zh active Active
- 2013-02-27 EP EP13156902.2A patent/EP2632155B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006345400A (ja) * | 2005-06-10 | 2006-12-21 | Matsushita Electric Ind Co Ltd | ビデオカメラ装置 |
| KR100793284B1 (ko) * | 2007-05-11 | 2008-01-10 | 주식회사 코아로직 | 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2632155A2 (en) | 2013-08-28 |
| US20130222640A1 (en) | 2013-08-29 |
| EP2632155B1 (en) | 2020-05-27 |
| EP2632155A3 (en) | 2014-04-23 |
| US9167164B2 (en) | 2015-10-20 |
| CN103297682B (zh) | 2019-06-07 |
| KR20130098074A (ko) | 2013-09-04 |
| CN103297682A (zh) | 2013-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101905648B1 (ko) | 카메라 장치의 동영상 촬영방법 및 장치 | |
| KR101905621B1 (ko) | 카메라의 프레임 이미지 전송 장치 및 방법 | |
| AU2013200730B2 (en) | Data processing apparatus and method using a camera | |
| JP2010081114A (ja) | 撮像装置及びその制御方法及びプログラム | |
| JP4938615B2 (ja) | 動画像記録再生装置 | |
| KR101894531B1 (ko) | 카메라의 연속 촬영 장치 및 방법. | |
| JP6319491B2 (ja) | 撮像装置及び制御方法 | |
| KR101824506B1 (ko) | 카메라의 멀티프레임 이미지 촬영 촬영 장치 및 방법 | |
| JP2013118518A (ja) | 撮像装置 | |
| JP5045213B2 (ja) | 撮像装置、再生装置及び記録ファイル作成方法 | |
| JP6583458B2 (ja) | 撮像装置及び制御方法 | |
| JP6119447B2 (ja) | 撮像システム、及び制御方法 | |
| JP6583457B2 (ja) | 撮像装置及び制御方法 | |
| US8948573B2 (en) | Image processing apparatus | |
| JP2011119934A (ja) | 画像撮影装置及び画像撮影方法 | |
| KR101480407B1 (ko) | 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체 | |
| JP5206421B2 (ja) | デジタルカメラ、撮影記録方法、及び、撮影制御プログラム | |
| JP2021040217A (ja) | 撮像装置及びその制御方法並びにプログラム | |
| JP2012147129A (ja) | 撮像装置及びその制御方法 | |
| JP2007312406A (ja) | 撮像装置及び撮像プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |