KR20140039920A - 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기 - Google Patents

영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기 Download PDF

Info

Publication number
KR20140039920A
KR20140039920A KR1020120106784A KR20120106784A KR20140039920A KR 20140039920 A KR20140039920 A KR 20140039920A KR 1020120106784 A KR1020120106784 A KR 1020120106784A KR 20120106784 A KR20120106784 A KR 20120106784A KR 20140039920 A KR20140039920 A KR 20140039920A
Authority
KR
South Korea
Prior art keywords
image
frame
identification information
video
frames
Prior art date
Application number
KR1020120106784A
Other languages
English (en)
Inventor
한종흠
김명원
김문수
채용수
김재동
장효식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120106784A priority Critical patent/KR20140039920A/ko
Priority to US14/036,641 priority patent/US20140086446A1/en
Priority to EP20130185983 priority patent/EP2712205A3/en
Priority to CN201310445236.1A priority patent/CN103686042A/zh
Publication of KR20140039920A publication Critical patent/KR20140039920A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8458—Structuring of content, e.g. decomposing content into time segments involving uncompressed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라 제어에 관한 것으로, 특히 본 발명은 이미지 센서가 수집한 신호를 디지털 신호로 변환하는 Raw 데이터 처리부, 상기 Raw 데이터 처리부가 수집하는 동영상 프레임 각각에 식별 정보를 할당하는 식별 정보 처리부, 상기 동영상 프레임의 메타 데이터에 상기 식별 정보를 기입하는 메타 데이터 처리부를 포함하는 것을 특징으로 하는 영상 데이터 처리 장치, 상기 장치를 포함하는 단말기 및 영상 데이터 처리 방법의 구성을 개시한다.

Description

영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기{Image Data Processing Method And Apparatus, and Electronic Device including the same}
본 발명은 카메라가 수집한 영상 데이터 처리에 관한 것으로, 특히 동영상 데이터의 오류 발생을 처리하기 위한 동영상 데이터의 처리를 지원하는 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기에 관한 것이다.
휴대 단말기는 특정 사용자 기능을 지원하면서도 그 크기가 휴대할 수 있을 정도로 작아 많은 산업 및 생활 분야에서 각광받고 있다. 그리고 최근 들어 다양한 사용자 기능을 통합적으로 지원하는 휴대 단말기가 등장하고 있다. 이러한 휴대 단말기는 사용자 기능을 지원하면서 해당 사용자 기능에 대응하는 화면을 표시부를 통하여 제공하고 있다. 이에 따라 사용자는 특정 사용자 기능을 이용할 때 표시부에 출력되는 화면을 열람하면서 해당 기능을 이용하고 있다.
한편 휴대 단말기는 카메라 기능을 제공하기 위하여 카메라 모듈을 포함하는 형태로 마련될 수 있다. 사용자는 카메라 모듈을 포함한 휴대 단말기를 조작하여 피사체에 대한 영상을 수집하고, 수집된 영상을 저장하거나 타 단말기에 전송하는 등의 작업을 통하여 자신이 기억하고 싶은 장면들을 촬영하고 있다. 이러한 카메라 모듈을 포함하는 단말기는 영상을 수집하는 이미지 센서의 신호를 영상 데이터 처리 장치가 처리하여 제어부에 전달하는 형태로 구현되고 있다.
한편 이미지 센서가 수집한 영상을 처리하는 과정에서 에러나 오류가 발생할 수 있는데, 상술한 구조의 종래 카메라 모듈을 포함하는 단말기에서는 해당 에러나 오류가 발생하더라도 별다른 처리 방안이 제안되고 있지 않다. 이에 따라 종래 카메라 모듈을 포함하는 단말기에서는 에러나 오류 발생을 무시하였기 때문에 수집된 영상 품질이 좋지 않은 문제점이 있었다. 그럼에도 이러한 에러나 오류 발생에 대한 처리를 적절히 수행하기 위한 방안이 제시되지 않고 있었다.
따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 동영상 데이터에 대한 색인 정보 기입을 통하여 에러나 오류가 발생할 경우 이를 적응적으로 처리할 수 있도록 지원하는 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기의 구성을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명은 이미지 센서가 수집한 신호를 디지털 신호로 변환하는 Raw 데이터 처리부, 상기 Raw 데이터 처리부가 수집하는 동영상 프레임 각각에 식별 정보를 할당하는 식별 정보 처리부, 상기 동영상 프레임의 메타 데이터에 상기 식별 정보를 기입하는 메타 데이터 처리부를 포함하는 것을 특징으로 하는 영상 데이터 처리 장치의 구성을 개시한다.
본 발명은 또한, 수집되는 동영상 프레임 각각의 영상 프레임에 식별 정보를 할당하고, 상기 동영상 프레임의 메타 데이터에 상기 식별 정보를 기입하여 출력하는 영상 데이터 처리 장치, 상기 영상 데이터 처리 장치로부터 동영상 프레임 및 메타 데이터를 수신하고, 각 영상 프레임에 할당된 식별 정보를 이용하여 동영상 프레임의 인코딩을 수행하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기의 구성을 개시한다.
본 발명은 또한, 동영상 촬영 요청에 따라 영상 프레임을 수집하는 과정, 수집된 상기 영상 프레임에 식별 정보를 할당하는 과정, 식별 정보를 상기 영상 프레임의 메타 데이터에 기입하여 출력하는 과정을 포함하는 것을 특징으로 하는 영상 데이터 처리 방법의 구성을 개시한다.
이상에서 살펴본 바와 같이 본 발명에 따른 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기에 따르면, 본 발명은 동영상 데이터를 처리하는 과정에서 에러나 오류가 발생하더라도 적응적으로 해당 에러 및 오류를 처리함으로써 동영상 데이터 품질을 향상시킬 수 있으며, 그에 따른 고품질의 데이터 저장 및 열람을 가능하도록 지원한다.
도 1은 본 발명의 실시 예에 따른 영상 데이터 처리 장치를 포함하는 단말기의 구성을 나타낸 도면.
도 2는 도 1의 영상 데이터 처리 장치 구성을 보다 상세히 설명하기 위한 도면.
도 3은 도 1의 제어부 구성을 보다 상세히 설명하기 위한 도면.
도 4는 본 발명의 실시 예에 따른 영상 데이터 처리 장치 운용 방법을 설명하기 위한 도면.
도 5는 고정 프레임 방식으로 촬영된 영상 프레임에 타임 스탬프 할당을 설명하기 위한 도면.
도 6은 가변 프레임 방식으로 촬영된 영상 프레임에 타임 스탬프 할당을 설명하기 위한 도면.
도 7은 본 발명의 실시 예에 다른 제어부 운용 방법을 설명하기 위한 도면.
도 8은 본 발명의 식별 정보 기반의 영상 프레임 재정렬을 설명하기 위한 도면.
도 9는 본 발명의 식별 정보 기입 및 전달을 설명하기 위한 도면.
이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
도 1은 본 발명의 실시 예에 따른 카메라 모듈을 포함하는 단말기의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 단말기(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함하며, 카메라 기능 지원을 위하여 카메라 모듈(200)을 포함할 수 있다. 여기서 상기 단말기(100)가 카메라 기능만을 지원하고 별도의 통신 기능을 지원하지 않는 경우 상기 통신부(110)의 구성은 생략될 수 있다. 여기서 제어부(160)는 AP(Application Processor)를 포함하며, 본 발명의 카메라 기능 지원은 AP에서 처리될 수 있다.
이와 같은 구성을 가지는 본 발명의 단말기(100)는 카메라 모듈(200)이 이미지 센서(210)가 수집한 동영상 데이터를 처리하는 과정에서 타임 스탬프(Time Stamp) 및 각각의 영상 프레임 번호에 해당하는 프레임 카운터(Frame Counter) 중 적어도 하나를 적용하고 이를 단말기(100)의 제어부(160)에 전달하도록 지원한다. 이에 따라 본 발명의 단말기(100)는 제어부(160)가 타임 스탬프 및 프레임 카운터 중 적어도 하나가 적용된 동영상 데이터를 처리하는 과정에서 타임 스탬프 및 프레임 카운터 중 적어도 하나를 확인하여 동영상 데이터에 이상이 발생하였는지를 확인하고 그에 따른 조치를 취할 수 있도록 지원할 수 있다.
통신부(110)는 앞서 언급한 바와 같이 상기 단말기(100)가 통신 기능을 지원하는 단말기인 경우 추가될 수 있는 구성으로서, 상기 단말기(100)가 통신 기능을 지원하지 않는 경우 생략될 수도 있다. 이러한 통신부(110)는 단말기의 통신 기능 지원을 위하여 기지국과의 통신 채널 형성을 수행하고, 사용자 제어에 따라 또는 기 설정된 스케줄 정보에 따라 외부로부터 정보를 수신하거나, 단말기(100)에 저장된 또는 단말기(100)가 수집한 정보를 외부로 전송하도록 지원할 수 있다. 또한 통신부(110)는 근거리 통신 기능을 지원하는 통신 모듈로서 구성되어 타 단말기와 근거리 통신 채널을 형성하고 저장된 영상을 전송하도록 지원할 수 있다. 특히 통신부(110)는 카메라 모듈(200)에 의해 수집된 동영상 데이터 중 제어부(160)에 의해 인코딩되어 저장된 동영상 데이터를 타 단말기에 전송하기 위한 통신 채널을 형성하도록 지원할 수 있다. 또한 통신부(110)는 타 단말기로부터 동영상 데이터를 수신할 수 있으며, 수신된 동영상 데이터는 제어부(160) 제어에 따라 저장부(150)에 저장될 수 있다. 이때 통신부(110)가 수신하는 동영상 데이터는 타임 스탬프 및 프레임 카운터 중 적어도 하나가 적용된 데이터가 될 수 있다.
입력부(120)는 상기 단말기(100) 운용에 필요한 다양한 입력 신호를 생성하는 구성이다. 이러한 입력부(120)는 단말기(100)의 호환 가능 여부에 따라 키보드나 키패드, 키버튼 등의 다양한 입력 수단으로 구성될 수 있다. 또한 상기 입력부(120)는 상기 표시부(140)가 터치스크린으로 제공되는 경우 터치스크린에 출력되는 터치 맵의 형태로 구성될 수도 있다. 특히 본 발명의 입력부(120)는 카메라 운용 제어를 위한 셔터키 입력 신호, 카메라 설정을 위한 키 입력 신호 등을 생성할 수 있다. 상술한 키 입력 신호들은 단말기(100)의 전면 일측이나 측면 등에 배치된 하드웨어 키로부터 생성되거나 표시부(140)가 터치스크린의 형태로 제공되는 경우 상기 각 키 입력 신호들을 생성하기 위한 터치맵이 표시부(140)에 출력되고 사용자 선택에 의해 생성될 수 있다.
오디오 처리부(130)는 단말기(100)의 운용과정에서 설정된 다양한 오디오 데이터 및 저장부(150)에 저장된 오디오 파일 재생에 따른 오디오 데이터, 외부로부터 수신된 오디오 데이터 등을 출력하기 위하여 스피커(SPK)를 포함할 수 있다. 또한 오디오 처리부(130)는 오디오 데이터 수집 기능을 지원할 수 있다. 이를 위하여 오디오 처리부(130)는 마이크(MIC)를 포함할 수 있다. 오디오 처리부(130)에 의해 출력되는 오디오 데이터는 카메라 제어와 관련된 다양한 안내음이나 효과음 등이 될 수 있다. 예컨대 프레임 카운터가 적용된 동영상 데이터에 에러나 오류가 발생한 경우 오디오 처리부(130)는 해당 에러 및 오류 발생에 대한 안내음 출력을 설정에 따라 수행할 수 있다. 이러한 안내음 출력은 설계자의 의도에 따라 제공되지 않거나 제공되더라도 사용자 설정에 따라 생략될 수도 있다. 또한 오디오 처리부(130)의 마이크(MIC)에 의해 수집되는 오디오 데이터는 동영상 수집 등의 과정에서 수집되는 오디오 신호가 될 수 있다. 그리고 단말기(100)가 통신 기능을 지원하는 경우 마이크(MIC)는 통신 기능 지원을 위한 음성 신호 수집을 지원할 수 있다.
표시부(140)는 단말기(100) 운용에 필요한 다양한 화면을 제공하는 구성이다. 예를 들어 상기 표시부(140)는 단말기(100) 운용에 필요한 대기 화면, 메뉴 화면 등을 지원한다. 본 발명의 표시부(140)는 카메라 제어 관련 화면, 카메라 운용 화면, 카메라 설정 화면 등 다양한 화면을 제공할 수 있다. 특히 본 발명의 표시부(140)는 카메라 모듈(200)의 동영상 기능 활성화를 위한 입력 신호 발생 시 카메라 모듈(200)에서 전달된 데이터를 프리뷰 화면으로 출력할 수 있다. 그리고 동영상 데이터를 처리하는 과정에서 에러나 오류가 발생한 경우 표시부(140)는 그에 대한 메시지 출력을 지원할 수 있다. 여기서 동영상 데이터를 처리하는 과정은 카메라 모듈(200)에서 전달된 데이터를 저장부(150)에 저장하기 위한 과정으로서 프리뷰 화면 출력과는 독립적으로 수행될 수 있기 때문에 해당 메시지 출력 기능을 생략될 수 있다. 한편 표시부(140)는 동영상 데이터가 저장부(150)에 저장된 이후 사용자 선택에 따라 해당 동영상 데이터 재생을 요청하는 입력 신호가 발생하면 동영상 데이터 재생을 수행하여 녹화된 동영상 출력을 지원할 수 있다.
저장부(150)는 단말기(100) 운용에 필요한 다양한 기본 운영체제 및 다양한 사용자 기능에 해당하는 데이터 또는 응용 프로그램과 알고리즘 등을 저장할 수 있다. 특히 상기 저장부(150)는 본 발명의 카메라 제어 기능 지원을 위한 카메라 운용 프로그램(151) 및 동영상 데이터(153)를 저장할 수 있다.
카메라 운용 프로그램(151)은 단말기(100)의 카메라 운용에 필요한 다양한 루틴들을 저장할 수 있다. 예를 들어, 카메라 운용 프로그램(151)은 카메라 모듈(200) 턴-온 입력 수신에 따라 활성화된 카메라 모듈(200)이 수집하여 전송한 데이터를 프리뷰 영상으로 출력하는 루틴, 사용자 선택에 따라 카메라 모듈(200)이 수집하여 전송한 데이터를 동영상 데이터(153)로 저장하는 저장 루틴, 사용자 선택에 따라 카메라 모듈(200)이 수집하여 전송한 데이터를 정지 영상으로 저장하는 루틴을 포함할 수 있다. 동영상 데이터(153)로 저장하는 저장 루틴은 카메라 모듈(200)이 전달한 데이터의 타임 스탬프 및 프레임 카운터 중 적어도 하나를 확인하여 에러 발생 여부를 확인하는 확인 루틴, 에러 발생 시 에러 정정을 위한 처리 루틴, 에러 처리된 데이터 또는 에러 발생이 없는 데이터를 인코더에 전달하는 루틴 등을 포함할 수 있다.
또한 카메라 운용 프로그램(151)은 카메라 모듈(200) 운용을 위한 메뉴를 제공하는 루틴, 메뉴 선택에 따라 해당 기능을 지원하는 기능 지원 루틴을 포함할 수 있다. 여기서 기능 지원 루틴은 본 발명의 카메라 모듈(200)이 전달한 데이터의 에러 정정 기능을 활성화하거나 또는 비활성화하도록 설정하는 모드 설정 기능, 카메라 관련 셔터 속도나 ISO 조절 등을 수행하는 기능과 관련된 루틴들을 포함할 수 있다.
카메라 모듈(200)은 이미지를 정지 영상으로 또는 동영상으로 수집하도록 지원하는 모듈이다. 이러한 카메라 모듈(200)은 이미지 센서(210) 및 영상 데이터 처리 장치(220)를 포함할 수 있다. 추가로 카메라 모듈(200)은 카메라 기능 지원을 위한 구성 예컨대 렌즈, 조리개 및 조리개 구동부, 렌즈 조절부 등 영상 수집을 위한 구성들을 기본적으로 포함할 수 있다.
이미지 센서(210)는 다수의 포토 센서들이 매트릭스 형태로 배치되어 렌즈를 통하여 전달되는 광을 수집하는 구성이다. 그리고 이미지 센서(210)는 수집된 광을 해당 매트릭스 형태로 배열된 포토 센서들에 대응하도록 마련된 카메라용 메모리 장치에 전달한다. 카메라용 메모리 장치는 포토 센서들에 맺힌 광학 정보를 디지털화하여 저장하며, 각각의 위치에 저장된 정보를 읽기 위하여 어드레스 라인들이 배치될 수 있다.
영상 데이터 처리 장치(220)는 이미지 센서(210)가 수집하여 카메라용 메모리 장치에 맺힌 광학 정보를 라인별로 수집하고 이를 하나의 프레임 단위로 구성하여 제어부(160)에 전달한다. 특히 영상 데이터 처리 장치(220)는 동영상 촬영을 수행하는 이미지 센서(210)가 수집한 영상 정보들에 대하여 적어도 하나의 프레임 단위로 타임 스탬프 및 프레임 카운터 중 적어도 하나를 할당하도록 지원할 수 있다. 이 과정에서 영상 데이터 처리 장치(220)는 이미지 센서(210)가 수집한 동영상 데이터를 먼저 이미지 처리하고, 이후 타임 스탬프 및 프레임 카운터 중 적어도 하나를 설정하여 메타 데이터 또는 임베이디드 데이터에 기입하고, 동영상 데이터를 인코더에 전송 시 함께 전송하도록 지원할 수 있다. 한편 영상 데이터 처리 장치(220)가 제어부(160)에 소속된 경우 카메라 모듈(200)은 이미지 센서(210)가 수집한 동영상 데이터를 제어부(160)에 전달할 수 있으며, 이때 이미지 센서(210)의 클럭을 이용하거나 카메라 모듈(200)이 이용 가능한 주변 클럭 또는 전송 클럭 등을 이용하여 동영상 데이터의 타임 스탬프 및 프레임 카운터 설정 및 할당할 수 있다. 제어부(160)에 소속된 영상 데이터 처리 장치(220)는 수신된 동영상 데이터의 이미지 처리 과정에서 카메라 모듈(200)이 제공하는 타임 스탬프를 기반으로 동영상 데이터의 이미지 처리를 수행하며, 이미지 처리된 동영상 데이터를 인코더(167)에 제공하여 인코딩을 수행하도록 지원할 수 있다. 여기서 카메라 모듈(200)의 Raw 데이터는 이미지 처리 없이 제어부(160)에 전달될 수 있다. 이러한 영상 데이터 처리 장치(220)는 도 2에 도시된 바와 같은 구성을 포함할 수 있다.
도 2는 본 발명의 영상 데이터 처리 장치의 구성을 보다 상세히 나타낸 도면이다.
도 2를 참조하면, 본 발명의 영상 데이터 처리 장치(220)는 JPEG 처리부(221), Raw 데이터 처리부(223), 메타 데이터 처리부(225), 식별 정보 처리부(227)의 구성을 포함할 수 있다.
JPEG 처리부(221)는 영상 데이터 처리 장치(220)의 정지 영상 처리를 지원하는 구성이다. 이에 따라 제어부(160)로부터 정지 영상 촬영을 위한 이벤트가 전달되면, JPEG 처리부(221)가 이미지 센서(210)가 수집한 영상에 대한 정지 영상을 수집하고, 이를 제어부(160)에 전달한다.
Raw 데이터 처리부(223)는 영상 데이터 처리 장치(220)의 동영상 처리를 지원하는 구성이다. 이러한 Raw 데이터 처리부(223)는 이미지 센서(210)가 수집한 아날로그 신호 형태의 광학 정보를 설계 방식에 따라 YUV 방식이나 RGB 방식 등 특정 방식에 따라 디지털화하여 수집할 수 있다. Raw 데이터 처리부(223)는 특정 방식에 따라 수집한 데이터를 프레임 단위로 구분하고 이를 제어부(160)에 전달할 수 있다.
메타 데이터 처리부(225)는 JPEG 처리부(221) 및 Raw 데이터 처리부(223)가 제어부(160)에 전달하는 영상에 대한 메타 데이터를 기입하고 전달하는 구성이다. 특히 본 발명의 메타 데이터 처리부(225)는 Raw 데이터 처리부(223)에서 수집한 영상 프레임들에 대하여 사전 정의된 타임 스탬프 및 프레임 카운터 중 적어도 하나를 식별 정보 처리부(227)로부터 수신 받아 할당한다. 이를 위하여 메타 데이터 처리부(225)는 사전 규약된 메타 데이터 또는 임베이디드 데이터 포맷에 식별 정보에 해당하는 타임 스탬프 및 프레임 카운터 중 적어도 하나를 기입하고, 식별 정보가 기입된 메타 데이터를 제어부(160)에 전달한다. 여기서 식별 정보는 동영상 데이터 저장을 위하여 촬영된 연속된 영상 프레임들의 연속적 배열을 확인하기 위한 정보를 포함하는 정보 즉 상술한 타임 스탬프 정보 및 카운터 정보 중 적어도 하나가 될 수 있다.
식별 정보 처리부(227)는 동영상 수집 과정에서 Raw 데이터 처리부(223)가 수집한 프레임들에 대하여 식별 정보를 할당하는 구성이다. 특히 식별 정보 처리부(227)는 메타 데이터 처리부(225)에 각 프레임들에 대한 타임 스탬프 및 프레임 카운터 중 적어도 하나를 할당하도록 지원할 수 있다. 타임 스탬프 할당을 위하여 식별 정보 처리부(227)는 영상 데이터 처리 장치(220)에 마련된 클럭 발생기를 활용할 수 있다. 즉 식별 정보 처리부(227)는 동영상 촬영을 요청하는 신호를 전달받으면 클럭 발생기에서 생성된 시간 정보를 타임 스탬프 정보로서 메타 데이터 처리부(225)에 전달한다. 그러면 메타 데이터 처리부(225)는 Raw 데이터 처리부(223)에서 수집한 영상 프레임에 해당 타임 스탬프를 할당하도록 지원할 수 있다. 이에 따라 영상 데이터 처리 장치(220)에서 출력되는 동영상 데이터의 각 프레임들은 각각 타임 스탬프 정보를 가지며 출력될 수 있다.
한편 식별 정보 처리부(227)는 카운터를 포함하며, 동영상 촬영을 요청하는 신호를 전달 받고 Raw 데이터 처리부(223)가 영상 프레임을 수집하면, 최초 수집된 영상 프레임별로 카운터를 할당할 수 있다. 이 카운터 정보를 메타 데이터 처리부(225)에 전달되며, 메타 데이터 처리부(225)는 각 영상 프레임의 카운터 값을 해당 영상 프레임에 할당하여 제어부(160)에 전달할 수 있다. 이에 따라 영상 데이터 처리 장치(220)에서 출력되는 동영상 데이터의 각 프레임들은 연속된 카운터 값을 가지며 출력될 수 있다.
상술한 바와 같이 영상 데이터 처리 장치(220)는 동영상 촬영에 따라 수집된 각 프레임들에 대하여 타임 스탬프 및 카운터 중 적어도 하나를 포함하여 출력할 수 있다.
상기 제어부(160)는 상기 영상 데이터 처리 장치(220)에서 출력된 데이터를 수신하고, 수신된 데이터를 프리뷰 영상으로 출력함과 아울러 동영상 촬영에 따라 동영상 데이터를 저장하기 위한 처리를 수행할 수 있다. 이 과정에서 제어부(160)는 동영상 데이터에 대한 에러 발생 여부를 확인하고 이를 정정하기 위하여 도 3에 도시된 바와 같은 구성을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 제어부(160) 구성을 보다 상세히 나타낸 도면이다.
도 3을 참조하면, 본 발명의 제어부(160)는 데이터 버퍼(161), 프리뷰 영상 처리부(163), 식별 정보 확인부(165) 및 인코더(167)를 포함하여 구성될 수 있다. 추가로 영상 프레임들의 정렬을 위하여 제어부(160)는 대기 버퍼(169)를 더 포함할 수 있다.
데이터 버퍼(161)는 카메라 모듈(200)에서 제공된 데이터를 일시적으로 저장하는 구성이다. 특히 데이터 버퍼(161)는 동영상 촬영에 따라 영상 데이터 처리 장치(220)에서 연속적으로 영상 프레임들을 제공하는 경우 이를 영상 프레임 단위별로 저장한다. 특히 데이터 버퍼(161)는 영상 프레임들을 선입선출(FIFO : First In First Out) 방식으로 저장 및 출력할 수 있다. 데이터 버퍼(161)에서 출력되는 영상 프레임들은 프리뷰 영상 처리부(163) 및 식별 정보 확인부(165)에 각각 전달될 수 있다.
프리뷰 영상 처리부(163)는 데이터 버퍼(161)에 저장된 정보를 프리뷰 영상으로 처리한 후 이를 표시부(140)에 출력하도록 지원하는 구성이다. 이러한 프리뷰 영상 처리부(163)는 데이터 버퍼(161)에 저장된 정보를 표시부(140)에 출력하기 위한 사전 정의된 크기로 리사이징을 수행하고, 리사이징된 크기의 영상 프레임을 표시부(140)에 출력하도록 지원할 수 있다. 한편 프리뷰 영상 처리부(163)가 데이터 버퍼(161)에 저장된 데이터를 수신 받아 프리뷰 영상으로 처리한 후 표시부(140)에 출력하는 것으로 설명하였지만 본 발명이 이에 한정되는 것은 아니다. 즉 상기 프리뷰 영상 처리부(163)는 영상 데이터 처리 장치(220)가 전달하는 영상 프레임을 별도 버퍼 저장 없이 직접적으로 수신하고, 수신된 영상 프레임을 사전 정의된 크기에 맞도록 크기 조정을 수행한 후 표시부(140)에 출력하도록 지원할 수 있다. 이대 프리뷰 영상 처리부(163)는 영상 프레임의 크기 조정을 수행할 때 표시부(140)의 크기를 넘는 부분의 영상을 잘라서 버리도록 처리함으로써 별도의 처리 지연 없이 영상 프레임 출력을 지원할 수도 있다.
식별 정보 확인부(165)는 데이터 버퍼(161)로부터 출력된 영상 프레임들의 메타 데이터를 확인하고, 해당 메타 데이터가 사전 정의된 규약에 맞는 영상 프레임인지 확인하여 인코더(167)에 전달되는 영상 프레임들의 순서가 바뀌거나 제거된 부분이 있는지 여부를 확인하는 구성이다. 즉 식별 정보 확인부(165)는 영상 데이터 처리 장치(220)에서 제공된 영상 프레임들이 정상 순서에 따라 인코더(167)에 전달되도록 제어하는 구성이 될 수 있다. 단말기(100)가 스케줄링된 다양한 업무 처리를 수행하는 과정에서 발생하는 인터럽트에 의해 카메라 모듈(200)에서 전달되는 영상 프레임의 저장과 처리에 오류가 발생할 수 있다. 이에 따라 현재 카메라 모듈(200)을 장착한 단말기에서 영상 데이터 처리 장치(220)로부터 단말기(100)에 영상을 전달하는 과정 중 영상 프레임의 순서가 뒤바뀌거나 손실되는 경우가 발생하고 있다. 본 발명의 식별 정보 확인부(165)는 이러한 영상 프레임의 처리 상황에서의 에러 발생을 제거하기 위하여 영상 프레임들의 식별 정보 확인을 통한 에러 처리를 지원한다.
예컨대 식별 정보 확인부(165)는 데이터 버퍼(161)로부터 출력된 현재 영상 프레임의 타임 스탬프 정보를 확인하고, 현재 영상 프레임의 타임 스탬프 정보가 이전 인코더(167)에 전달된 타임 스탬프 정보에 연속적인 정보를 가지는지를 확인할 수 있다. 그리고 식별 정보 확인부(165)는 현재 영상 프레임의 타임 스탬프 정보가 이전 영상 프레임의 타임 스탬프 정보에 연속적이지 않은 경우 에러 발생으로 확인하고 데이터 버퍼(161)에 저장된 영상 프레임들 중에 이전 영상 프레임의 타임 스탬프에 연속인 타임 스탬프 정보를 가지는 영상 프레임이 존재하는지를 확인할 수 있다. 그리고 식별 정보 확인부(165)는 데이터 버퍼(161)에 이전 영상 프레임의 타임 스탬프에 연속인 타임 스탬프 정보를 가지는 영상 프레임이 존재하면 해당 영상 프레임을 데이터 버퍼(161)로부터 수신하고 이를 인코더(167)에 전달할 수 있다.
식별 정보 확인부(165)는 카운터 정보를 이용하여 상술한 기능을 수행할 수도 있다. 즉 식별 정보 확인부(165)는 현재 인코더(167)에 전달될 영상 프레임의 카운터 정보를 확인하고, 해당 카운터 정보가 이전 인코더(167)에 전달한 영상 프레임의 카운터 정보의 다음 카운터 정보인지 확인한다. 그리고 식별 정보 확인부(165)는 현재 영상 프레임의 카운터 정보가 이전 영상 프레임의 카운터 정보에 연속된 다음 카운터 정보가 아닌 경우 이를 데이터 버퍼(161)에 저장된 다른 영상 프레임들로부터 확인할 수 있다. 다른 영상 프레임들 중 해당 카운터 정보를 가진 영상 프레임이 있는 경우 식별 정보 확인부(165)는 해당 영상 프레임을 수집하여 인코더(167)에 전달할 수 있다. 즉 식별 정보 확인부(165)는 영상 프레임의 순서 배열을 조정할 수 있다.
또는 식별 정보 확인부(165)는 상술한 타임 스탬프 정보 및 카운터 정보를 혼용하여 운용할 수도 있다. 타임 스탬프 정보의 경우 카메라 모듈(200)에서 영상을 촬영하는 촬영 설정에 따라 달라질 수 있다. 예컨대, 카메라 모듈(200)은 특정 상황에서 초당 수집되는 영상 프레임의 수를 늘리거나 줄일 수 있다. 예컨대 카메라 모듈(200)은 외부 환경이 어두운 환경에서 초당 수집되는 영상 프레임의 수를 30프레임으로 수집한다면, 외부 환경이 밝은 환경에서 초당 수집되는 영상 프레임의 수를 60프레임으로 수집할 수 있다. 결과적으로 각각의 프레임에 할당되는 타임 스탬프는 외부 환경에 의하여 그 간격이 달라질 수 있다. 이에 따라 영상 데이터 처리 장치(220)가 가변 프레임 적용에 대한 정보를 제어부(160)에 전달하여 식별 정보 확인부(165)가 이를 적용할 수도 있으나, 카운터 정보를 이용하여 타임 스탬프 정보를 보조하도록 지원할 수도 있다. 또는 식별 정보 확인부(165)는 카운터 정보만을 이용하여 영상 프레임의 에러 체크 및 정정을 수행할 수도 있다.
인코더(167)는 식별 정보 확인부(165)가 전달하는 영상 프레임에 대한 인코딩을 수행하고, 인코딩된 데이터를 저장부(150)에 전달한다. 이에 따라 인코더(167)가 전달하는 데이터는 동영상 데이터(153)로부터 저장부(150)에 저장될 수 있다.
도 4는 본 발명의 실시 예에 따른 영상 데이터 처리 장치(220)의 운용 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 영상 데이터 처리 장치(220)의 운용 방법은 먼저 카메라 모듈(200) 활성화 신호를 수신하면 401 단계에서 이미지 수집을 수행한다. 이를 위하여 영상 데이터 처리 장치(220)는 이미지 센서(210)에 전원을 공급하고 사전 정의된 설정 정보에 따라 렌즈를 통해 수집된 광학 정보를 영상 프레임으로 수집하고 이를 제어부(160)에 전달할 수 있다. 이때 제어부(160)에 전달되는 영상 프레임 중 프리뷰 영상으로 제공될 정보는 별도의 처리 과정 없이 표시부(140) 크기에 맞도록 크기 조정만을 수행하여 제공될 수 있다.
한편 동영상 촬영에 대한 입력 이벤트가 수집되면, 영상 데이터 처리 장치(220)는 403 단계에서 이미지 센서(210)에 맺힌 광학 정보를 영상 프레임으로 저장하되, 각각의 영상 프레임에 대응하는 식별 정보를 메타 데이터에 기입할 수 있다. 여기서 식별 정보는 각각의 영상 프레임의 순서를 확인할 수 있는 정보로서, 영상 프레임이 수집되는 시점의 타임 스탬프 정보 및 영상 프레임들의 카운터 정보 중 적어도 하나를 포함할 수 있다. 타임 스탬프 정보는 영상 데이터 처리 장치(220) 운용을 위해 할당된 클럭 생성기를 이용하여 생성될 수 있다.
다음으로 영상 데이터 처리 장치(220)는 405 단계에서 영상 데이터 처리 장치(220)는 식별 정보가 기입된 메타 데이터를 영상 프레임과 함께 제어부(160)에 전달한다.
상술한 영상 데이터 처리 장치(220)의 식별 정보 기입에 따른 영상 프레임에 대하여 도 5 및 도 6을 참조하여 보다 상세히 설명하기로 한다.
도 5는 영상 프레임들에 고정 프레임을 기준으로 타임 스탬프 및 카운터가 할당된 상황을 예시적으로 나타낸 것이다.
도 5를 참조하면, 고정 프레임으로 촬영된 동영상에서 영상 데이터 처리 장치(220)는 카메라 모듈(200)에 배치된 클럭 생성기를 기준으로 내부 타이머를 이용하여 일정 시간 간격으로 타임 스탬프를 찍어서 프레임 카운터와 함께 제어부(160)에 전달할 수 있다. 도면에서 N번째 프레임 카운터를 가지는 330ms 타임 스탬프가 찍힌 영상 프레임을 전송한 후, 33ms 후에 N+1번째 프레임 카운터를 가진 363ms 타임 스탬프를 가진 영상 프레임을 보내는 상황을 나타낸 것이다. 이후 영상 데이터 처리 장치(220)는 같은 간격인 33ms 기준으로 N+2번째 프레임 카운터를 가진 영상 프레임에 396ms 타임 스탬프를 찍어 보내게 된다. 이러한 고정 프레임 방식의 동영상을 전달받으면 제어부(160)는 타임 스탬프 간의 시간차를 이용하여 프레임들의 규칙 부합성을 확인하고, 이를 기준으로 재정렬을 수행하는 등의 처리를 수행하여 규칙에 맞게 정렬하고 이를 인코딩하도록 지원할 수 있다. 또한 제어부(160)는 고정 프레임 방식에서 타임 스탬프가 중간에 사라진 드롭이 있는 경우 이전 프레임 복사를 수행하여 드롭된 프레임 처리를 수행하도록 지원할 수 있다. 즉 제어부(160)는 이전 처리된 영상 프레임에 연속된 순서를 가지는 영상 프레임이 데이터 버퍼에 존재하지 않는 경우 영상 프레임 드롭 처리를 위해 이전 처리된 영상 프레임을 복사하거나 현재 데이터 버퍼로부터 출력된 영상 프레임을 복사하여 드롭된 영상 프레임으로 제공할 수 있다.
도 6은 영상 프레임들에 가변 프레임을 기준으로 타임 스탬프 및 카운터가 할당된 상황을 예시적으로 나타낸 것이다.
도 6을 참조하면, 가변 프레임으로 촬영된 동영상에서는 예컨대 60 프레임으로 영상을 촬영하다가 30 프레임으로 영상을 촬영할 수 있다. 이 경우 각 영상 프레임 간의 간격은 17ms에서 33ms로 늘어나게 된다. 도면에서 N번째 프레임과 N+1번째 프레임의 차이는 17ms로 나타낸 것은 60 프레임 기준으로 촬영된 영상들의 프레임 간격을 나타낸 것이다. 한편 N+1번째 프레임과 N+2번째 프레임 간의 차이를 33ms로 나타낸 것은 가변 프레임 적용에 따라 30 프레임 기준으로 촬영된 영상들의 프레임 간격에 의한 것이다. 여기서 영상 데이터 처리 장치(220)가 할당한 카운터 정보는 프레임 간의 간격 정보 변화에 관계없이 순차적으로 각 프레임에 할당될 수 있다. 상기 제어부(160)는 가변 프레임 방식의 동영상에 대하여 타임 스탬프의 시간 및 프레임 카운터 순서에 따랄 인코딩을 수행하도록 지원할 수 있다. 한편 제어부(160)는 영상 프레임들의 순서 역전이 발생하면 프레임 카운터를 이용하여 에러 검출 및 재정렬을 수행하도록 지원할 수 있다. 여기서 제어부(160)는 타임 스탬프의 시간 비교를 통해서도 에러 검출 및 재정렬을 수행하도록 지원할 수도 있다.
도 7은 본 발명의 실시 예에 따른 제어부 운용을 설명하기 위한 도면이다.
도 7을 참조하면, 본 발명의 영상 데이터 처리를 지원하기 위한 제어부 운용 방법은 먼저, 701 단계에서 제어부(160)는 동영상 데이터 수신 여부를 확인한다. 이 단계에서 동영상 데이터 수신이 없는 경우 703 단계로 분기하여 사전 정의된 스케줄 정보나 사용자 요청에 따른 입력 이벤트에 해당하는 기능을 수행하도록 지원할 수 있다. 예컨대 제어부(160)는 정지 영상 촬영 기능, 프리뷰 영상 제공 기능 등의 카메라 모듈(200) 관련 기능을 지원할 수 있으며, 또한 통신부(110) 기반의 데이터 전송 기능이나 데이터 수신 기능, 통화 기능 등을 지원할 수 있다.
한편 701 단계에서 동영상 데이터 수신이 있는 경우 제어부(160)는 705 단계로 분기하여 식별 정보 확인을 수행할 수 있다. 특히 제어부(160)는 카메라 모듈(200)의 영상 데이터 처리 장치(220)가 제공하는 정보들 중에 메타 데이터가 기입되는 영역을 확인하고, 해당 영역에 식별 정보를 추출하도록 지원할 수 있다. 이후 제어부(160)는 707 단계에서 식별 정보가 사전 정의된 규칙에 부합하는지 확인한다. 즉 제어부(160)는 현재 영상 프레임의 타임 스탬프 정보가 인코더(167)에 전달한 이전 영상 프레임의 타임 스탬프 정보에 연속된 정보인지 확인할 수 있다. 여기서 연속된 정보의 의미는 동영상 촬영의 프레임 개수에 대응하는 것으로 동영상 촬영 시점에서의 초당 프레임 개수에 의하여 영상 프레임들은 연속된 일정 시간 간격을 가진 타임 스탬프를 가질 수 있다. 제어부(160)는 이러한 일정 시간 간격을 가진 타임 스탬프들의 연속성을 확인하게 된다. 한편 제어부(160)는 현재 영상 프레임의 카운터 정보가 인코더(167)에 전달한 이전 영상 프레임의 카운터 정보에 연속된 정보인지 확인할 수 있다. 또는 제어부(160)는 타임 스탬프 정보 및 카운터 정보 모두를 확인할 수도 있다.
다음으로 현재 영상 프레임과 이전 전달된 영상 프레임의 식별 정보가 사전 정의된 규칙에 부합하지 않는 경우 709 단계로 분기하여 영상 데이터 처리 장치(220)가 전달하는 영상 프레임들을 버퍼링하는 데이터 버퍼(161)를 확인한다. 그리고 제어부(160)는 711 단계에서 해당 데이터 버퍼(161)에 저장된 영상 프레임들에 따라 동영상 데이터 규칙에 따른 처리 또는 드롭 처리를 수행할 수 있다. 즉 제어부(160)는 데이터 버퍼(161)에 저장된 영상 프레이들 중에 사전 정의된 규칙에 부합하는 영상 프레임이 저장되어 있는 경우 예컨대 이전 처리한 영상 프레임의 식별 정보에 연속된 식별 정보를 가진 영상 프레임이 저장된 경우 해당 영상 프레임을 추출하여 영상 처리를 수행할 수 있다. 즉 제어부(160)는 추출된 영상 프레임을 타임 스탬프를 기준으로 정렬하여 인코더(167)에 전달하거나 카운터 정보를 기준으로 재정렬하여 인코더(167)에 전달할 수 있다.
한편 제어부(160)는 데이터 버퍼(161)에 저장된 영상 프레임들 중에 사전 정의된 규칙에 부합하는 영상 프레임이 없는 경우 처리되어야 할 영상 프레임에 대한 드롭 처리를 수행할 수 있다. 그리고 제어부(160)는 드롭 처리한 영상 프레임의 식별 정보에 연속되는 다음 영상 프레임을 검출하여 영상 처리하도록 지원할 수 있다. 즉 제어부(160)는 713 단계에서와 같이 검출된 영상 프레임을 인코더(167)에 전달하여 인코딩한 후 저장부(150)에 저장하도록 지원할 수 있다.
이후 제어부(160)는 에러 정정 기능에 관한 종료 이벤트 발생 여부를 확인할 수 있다. 예컨대, 에러 정정 기능을 비활성화하도록 제어하는 입력 이벤트가 발생하거나 카메라 모듈(200) 운용이 종료되는 경우 기능 종료에 따른 종료 작업을 수행할 수 있다. 한편 제어부(160)는 기능 종료를 위한 이벤트 발생이 없는 경우 705 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.
도 8은 본 발명의 실시 예에 따른 카운터 정보를 이용하여 에러 정정한 상황을 설명하기 위한 도면이다.
도 8을 참조하면, 인코더(167)에 330ms 타임 스탬프 및 N번째 영상 프레임이 전달된 후 N+2번째 프레임 카운터를 가지는 그리고 380ms를 타임 스탬프를 가지는 영상 프레임이 전달되면, 식별 정보 확인부(165) 또는 식별 정보 기능을 가진 인코더(167)는 N번째 이후 N+1번째 프레임 카운터를 가지는 영상 프레임을 검색할 수 있다. 이때 식별 정보 확인부(165)는 데이터 버퍼(161)에 저장된 N+1번째 프레임 카운터를 가지는 영상 프레임을 확인하고, N+1 번째 영상 프레임을 N+2번째 영상 프레임보다 앞서도록 재정렬하고 이를 인코더(167)에 전달하여 인코딩을 수행하도록 지원할 수 있다. 여기서 N+2번째 영상 프레임은 대기 버퍼(169)에 임시 저장될 수 있으며, N+1 번째 영상 프레임이 인코더(167)에 전달된 후 대기 버퍼(169)에 저장된 N+2번째 영상 프레임이 호출되어 인코더(167)에 전달될 수 있다.
한편 본 발명의 단말기(100)는 N+1번째 영상 프레임이 손실로 인하여 없는 경우, 이전 N번째 영상 프레임을 복사하여 N+1 번째 영상 프레임을 생성하거나, N+2번째 영상 프레임을 복하여 N+1번째 영상 프레임을 생성하도록 지원할 수 있다.
이상에서 설명한 바와 같이 본 발명의 영상 데이터 처리 방법은 카메라 모듈(200)에서 제어부(160)에 데이터를 전송할 때 외부 인터럽트 등에 의해 제어부(160)와 카메라 모듈(200) 간의 데이터 동기화가 맞지 않는 등의 문제를 해결할 수 있다. 즉 본 발명은 상술한 동기화 오류로 인하여 인코딩하는 제어부(160) 측에서의 시간 지연이 발생함에 의해 프레임 지연이 생기는 상황 특히 가변 프레임으로의 동영상 인코딩 진행 과정에서 프레임 순서 및 시간 간격에 대한 예측 불확정성에 의한 프레임 지연이 생기는 상황을 안정적으로 해결하도록 지원한다.
한편 상술한 설명에서는 영상 데이터 처리 장치(220)가 카메라 모듈(200)에 내장되는 SOC(System On Chip) 타입에 대하여 도시하고 설명하였으나 본 발명이 이에 한정되는 것은 아니다. 즉 본 발명의 영상 데이터 처리 기술은 영상 데이터 처리 장치(220)의 위치에 무관하게 인코딩 에러를 제거할 수 있다. 이에 따라 상기 영상 데이터 처리 장치(220)는 카메라 모듈(200)에 내장되는 타입뿐만 아니라 제어부(160)의 내부에 내장되는 타입(Internal Image Signal Processor Type)으로도 구현될 수 있으며, 카메라 모듈(200) 및 제어부(160)와 독립적인 영역에 별도로 배치되어 본 발명의 영상 데이터 처리 기술을 구현하도록 지원할 수도 있다. 이에 따라 카메라 모듈(200)에서 수집한 동영상에 대한 신호 처리가 카메라 모듈(200) 내 SOC 방식으로 내장된 영상 데이터 처리 장치(220)에 의해 수행되거나, 카메라 모듈(200) 외부에 배치된 영상 데이터 처리 장치(220)에 의해 수행되거나, 제어부(160)에 포함된 영상 데이터 처리 장치(220)에 의하여 수행될 수 있다.
또한 본 발명은 상술한 바와 같이 동영상 촬영에서 고정 프레임 방식 및 가변 프레임 방식 중 적어도 하나의 방식에 적용되어 인코딩 에러를 방지하기 위한 식별 정보 기입과 판별 및 그에 따른 에러 검출과 정정을 지원할 수 있다.
또한 상술한 설명에서 타임 스탬프를 설정하기 위하여 영상 데이터 처리 장치(220)에 마련된 클럭 생성기의 클럭을 이용하는 것으로 설명하였지만 본 발명이 이에 한정되는 것은 아니다. 즉 상기 타임 스탬프는 이미지 센서(210)에 배치되는 클럭 생성기 또는 이미지 센서(210) 구동을 위해 이용되는 클럭을 이용하여 구현될 수도 있다. 즉 본 발명의 타임 스탬프 구현을 위한 클럭은 제어부(160)의 인코더(167) 구동을 위한 클럭을 제외한 단말기(100)의 다양한 클럭 중 특정 클럭을 이용할 수 있을 것이다.
추가로 본 발명의 카메라 모듈(200)은 영상 데이터 처리 장치(220)가 도 9에 도시된 바와 같이 Raw 데이터 처리부(223)에서 생성된 영상 프레임과 메타 데이터 처리부(225)가 생성한 메타 데이터를 합성하여 메타 데이터 또는 임베이디드 데이터를 생성한 후 이를 제어부(160)의 인코더(167)에 전달할 수 있다. 또한 상술한 설명에서는 식별 정보 확인부(165)의 구성을 별도로 마련하여 전달된 영상 프레임의 메타 데이터를 확인하여 식별 정보를 추출하는 것으로 설명하였으나, 상술한 식별 정보 확인부(165)는 식별 정보 확인 모듈의 형태로 구현된 후 인코더(167)에 포함되도록 설계될 수도 있다. 특히 식별 정보 확인 모듈은 프로그램 모듈 등으로 구현될 수 있으며, 이에 따라 본 발명은 데이터 버퍼(161)에서 출력된 정보가 인코더(167)에 전달되면 인코더(167)에서 해당 식별 정보 확인을 수행하여 에러 검출 및 정정을 수행하도록 지원할 수도 있다. 즉 본 발명은 타임 스탬프 및 프레임 카운터 중 적어도 하나를 이용하여 프레임 지연, 프레임 드롭, 프레임 순서 역전 등을 검출하고 이를 처리하도록 지원할 수 있다.
한편 상술한 단말기(100)는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 단말기(100)는 근거리 무선 통신을 위한 근거리통신모듈, 상기 단말기(100)의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
또한 본 발명의 실시 예에 따른 상기 단말기(100)는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기들(mobile communication terminals)을 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.
한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 단말기 110 : 통신부
120 : 입력부 130 : 오디오 처리부
140 : 표시부 150 : 저장부
160 : 제어부 200 : 카메라 모듈
210 : 이미지 센서 220 : 영상 데이터 처리 장치

Claims (20)

  1. 이미지 센서가 수집한 신호를 디지털 신호로 변환하는 Raw 데이터 처리부;
    상기 Raw 데이터 처리부가 수집하는 동영상 프레임 각각에 식별 정보를 할당하는 식별 정보 처리부;
    상기 동영상 프레임의 메타 데이터에 상기 식별 정보를 기입하는 메타 데이터 처리부;를 포함하는 것을 특징으로 하는 영상 데이터 처리 장치.
  2. 제1항에 있어서,
    상기 식별 정보 처리부는
    상기 동영상 프레임에 타임 스탬프를 할당하는 것을 특징으로 하는 영상 데이터 처리 장치.
  3. 제2항에 있어서,
    상기 식별 정보 처리부는
    고정 프레임 방식으로 동영상을 촬영하는 경우 동일한 시간 간격의 타임 스탬프를 영상 프레임들에 할당하며,
    가변 프레임 방식으로 동영상을 촬영하는 경우 프레임 가변에 따라 다른 시간 간격의 타임 스탬프를 영상 프레임들에 할당하는 것을 특징으로 하는 영상 데이터 처리 장치.
  4. 제2항에 있어서,
    상기 식별 정보 처리부는
    상기 이미지 센서 운용을 위한 클럭을 기반으로 상기 타임 스탬프를 할당하는 것을 특징으로 하는 영상 데이터 처리 장치.
  5. 제2항에 있어서,
    상기 식별 정보 처리부는
    상기 영상 데이터 처리 장치 운용을 위한 클럭을 기반으로 상기 타임 스탬프를 할당하는 것을 특징으로 하는 영상 데이터 처리 장치.
  6. 제1항에 있어서,
    상기 식별 정보 처리부는
    상기 동영상 프레임의 각 영상 프레임들의 순서 구분을 위한 프레임 카운터를 할당하는 것을 특징으로 하는 영상 데이터 처리 장치.
  7. 수집되는 동영상 프레임 각각의 영상 프레임에 식별 정보를 할당하고, 상기 동영상 프레임의 메타 데이터에 상기 식별 정보를 기입하여 출력하는 영상 데이터 처리 장치;
    상기 영상 데이터 처리 장치로부터 동영상 프레임 및 메타 데이터를 수신하고, 각 영상 프레임에 할당된 식별 정보를 이용하여 동영상 프레임의 인코딩을 수행하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  8. 제7항에 있어서,
    상기 인코딩된 동영상 데이터를 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  9. 제7항에 있어서,
    상기 제어부는
    상기 영상 데이터 처리 장치가 제공하는 영상 프레임들을 저장하는 데이터 버퍼;
    상기 데이터 버퍼로부터 출력되는 영상 프레임의 식별 정보를 확인하여 영상 프레임들의 순서 바뀜이나 드롭을 확인하는 식별 정보 확인부;
    상기 영상 프레임을 인코딩하는 상기 인코더;를 포함하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  10. 제9항에 있어서,
    상기 식별 정보는
    상기 영상 프레임들의 촬영 시간을 나타내는 타임 스탬프;
    상기 영상 프레임들의 순서를 나타내는 프레임 카운터; 중 적어도 하나인 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  11. 제10항에 있어서,
    상기 식별 정보 확인부는
    상기 프레임 카운터를 확인하여 이전 처리된 영상 프레임과 현재 데이터 버퍼로부터 출력된 영상 프레임의 프레임 카운터를 확인하여 상기 영상 프레임들의 순서 바뀜을 검출하고, 상기 영상 프레임들의 순서 바뀜 발생 시 해당 영상 프레임들의 순서 정렬을 수행하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  12. 제11항에 있어서,
    상기 제어부는
    상기 현재 데이터 버퍼로부터 출력된 영상 프레임을 임시 저장하는 대기 버퍼;를 더 포함하고
    상기 식별 정보 확인부는
    상기 데이터 버퍼에 이전 처리된 영상 프레임에 연속된 프레임 카운터를 가지는 영상 프레임이 존재하는지 확인하여 해당 영상 프레임을 기반으로 순서 정렬을 수행하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  13. 제12항에 있어서,
    상기 식별 정보 확인부는
    상기 영상 프레임이 상기 데이터 버퍼에 존재하지 않는 경우 영상 프레임 드롭 처리를 위해 이전 처리된 영상 프레임을 복사하거나 현재 데이터 버퍼로부터 출력된 영상 프레임을 복사하여 드롭된 영상 프레임으로 제공하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  14. 제7항에 있어서,
    상기 영상 데이터 처리 장치는
    상기 제어부 내부에 내장되거나, 상기 제어부와 독립적으로 구성되거나, 영상 프레임 수집을 위한 카메라 모듈에 내장되어 배치되는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  15. 제7항에 있어서,
    상기 영상 데이터 처리 장치는
    상기 영상 프레임들에 할당된 식별 정보를 상기 영상 프레임들의 메타 데이터에 기입하여 출력하는 것을 특징으로 하는 영상 데이터 처리를 지원하는 단말기.
  16. 동영상 촬영 요청에 따라 영상 프레임을 수집하는 과정;
    수집된 상기 영상 프레임에 식별 정보를 할당하는 과정;
    식별 정보를 상기 영상 프레임의 메타 데이터에 기입하여 출력하는 과정;을 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
  17. 제16항에 있어서,
    상기 식별 정보가 기입된 메타 데이터 및 영상 프레임들을 수신하는 과정;
    상기 메타 데이터에 포함된 식별 정보를 기반으로 상기 영상 프레임들의 순서 에러 발생을 확인하는 과정;
    상기 영상 프레임들의 순서 에러 발생 시 상기 영상 프레임들의 순서를 정렬하는 과정;을 더 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
  18. 제17항에 있어서,
    상기 순서를 정렬하는 과정은
    상기 식별 정보에 포함된 프레임 카운터를 이용하여 영상 프레임들의 순서 바뀜을 원래 순서가 되도록 정렬하는 과정인 것을 특징으로 하는 영상 데이터 처리 방법.
  19. 제17항에 있어서,
    상기 순서를 정렬하는 과정은
    현재 전달된 영상 프레임을 대기 버퍼에 임시 저장하는 과정;
    이전 처리된 영상 프레임에 연속된 순서를 가지는 영상 프레임을 검출하는 과정;
    상기 연속된 순서를 가지는 영상 프레임과 상기 대기 버퍼에 저장된 영상 프레임의 순서를 정렬하는 과정;을 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
  20. 제17항에 있어서,
    상기 순서를 정렬하는 과정은
    상기 식별 정보를 기반으로 연속된 영상 프레임들 중 특정 영상 프레임이 드롭된 경우 드롭된 위치의 이전 영상 프레임 또는 이후 영상 프레임을 복사하여 드롭된 영상 프레임으로 배치하는 과정을 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
KR1020120106784A 2012-09-25 2012-09-25 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기 KR20140039920A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120106784A KR20140039920A (ko) 2012-09-25 2012-09-25 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기
US14/036,641 US20140086446A1 (en) 2012-09-25 2013-09-25 Method and apparatus for image data processing, and electronic device including the apparatus
EP20130185983 EP2712205A3 (en) 2012-09-25 2013-09-25 Method and apparatus for image data processing, and electronic device including the apparatus
CN201310445236.1A CN103686042A (zh) 2012-09-25 2013-09-25 图像数据处理的方法和装置以及包括该装置的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120106784A KR20140039920A (ko) 2012-09-25 2012-09-25 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기

Publications (1)

Publication Number Publication Date
KR20140039920A true KR20140039920A (ko) 2014-04-02

Family

ID=49293464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120106784A KR20140039920A (ko) 2012-09-25 2012-09-25 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기

Country Status (4)

Country Link
US (1) US20140086446A1 (ko)
EP (1) EP2712205A3 (ko)
KR (1) KR20140039920A (ko)
CN (1) CN103686042A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101670176B1 (ko) * 2015-06-23 2016-10-27 삼성전기주식회사 영상 융합 시스템
KR102192027B1 (ko) * 2019-12-27 2020-12-16 쿨클라우드(주) 추론 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
CN105023262A (zh) * 2014-04-23 2015-11-04 苏州瑞森特信息科技有限公司 视觉检测控制器
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US10368011B2 (en) * 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10186301B1 (en) * 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
CN105550689B (zh) * 2015-12-04 2019-01-15 联想(北京)有限公司 信息处理方法、第一电子设备及第二电子设备
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
WO2018098931A1 (zh) * 2016-11-30 2018-06-07 华为技术有限公司 一种数据处理方法及装置
CN109983775A (zh) 2016-12-30 2019-07-05 深圳市大疆创新科技有限公司 用于基于反馈的数据发送的系统和方法
CN110225338B (zh) * 2016-12-30 2021-12-10 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
CN109936746B (zh) 2016-12-30 2021-07-16 深圳市大疆创新科技有限公司 图像处理方法与设备
US11107177B1 (en) * 2017-06-16 2021-08-31 Amazon Technologies, Inc. Data/metadata synchronization using metadata queue statistics
CN109698923B (zh) * 2017-10-20 2021-09-17 杭州海康威视数字技术股份有限公司 数据传输方法及摄像机、电子设备
CN109711421A (zh) * 2017-10-25 2019-05-03 腾讯科技（深圳）有限公司 一种数据处理方法和装置
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
CN109686286A (zh) * 2018-12-24 2019-04-26 武汉华星光电半导体显示技术有限公司 图像信号处理方法和装置、oled显示器
CN109788224B (zh) * 2019-03-26 2020-12-04 歌尔科技有限公司 视频录制方法、装置、网络摄像器及存储介质
US11234049B2 (en) * 2019-06-24 2022-01-25 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
CN112995759A (zh) * 2019-12-13 2021-06-18 腾讯科技（北京）有限公司 互动业务处理方法、系统、装置、设备及存储介质
EP3840368B1 (en) 2019-12-18 2022-01-26 Axis AB Method of injecting additional data
CN112261314B (zh) * 2020-09-24 2023-09-15 北京美摄网络科技有限公司 一种视频描述数据生成系统、方法、存储介质及设备
US11836518B2 (en) * 2020-12-17 2023-12-05 Wave Computing, Inc. Processor graph execution using interrupt conservation
CN113986530A (zh) * 2021-09-30 2022-01-28 青岛歌尔声学科技有限公司 一种图像处理方法、装置、存储介质及终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
US6061399A (en) * 1997-05-28 2000-05-09 Sarnoff Corporation Method and apparatus for information stream frame synchronization
EP1217839A3 (en) * 2000-12-08 2009-09-09 Panasonic Corporation Data conversion apparatus, data coding apparatus, and data recording apparatus
KR100526189B1 (ko) * 2004-02-14 2005-11-03 삼성전자주식회사 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법
JP4358081B2 (ja) * 2004-03-31 2009-11-04 パナソニック株式会社 映像記録装置
CN100499781C (zh) * 2004-03-31 2009-06-10 松下电器产业株式会社 可变帧速率记录的视频记录设备、复用及画面编码方法
JP4904914B2 (ja) * 2006-05-17 2012-03-28 ソニー株式会社 ストリーム生成装置、撮像装置、およびストリーム生成方法
US8509315B1 (en) * 2008-09-23 2013-08-13 Viasat, Inc. Maintaining synchronization of compressed data and associated metadata
US8508612B2 (en) * 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101670176B1 (ko) * 2015-06-23 2016-10-27 삼성전기주식회사 영상 융합 시스템
KR102192027B1 (ko) * 2019-12-27 2020-12-16 쿨클라우드(주) 추론 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
KR102192010B1 (ko) * 2019-12-27 2020-12-16 쿨클라우드(주) 추론 엔진 및 배포 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치

Also Published As

Publication number Publication date
EP2712205A3 (en) 2014-06-18
US20140086446A1 (en) 2014-03-27
CN103686042A (zh) 2014-03-26
EP2712205A2 (en) 2014-03-26

Similar Documents

Publication Publication Date Title
KR20140039920A (ko) 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기
US20170301370A1 (en) Recorder with retrospective capture
EP2326136A2 (en) Method and apparatus for remote controlling bluetooth device
CN108769738B (zh) 视频处理方法、装置、计算机设备和存储介质
CN102629974B (zh) 摄像装置及其控制方法
CN114125258B (zh) 视频处理方法及电子设备
CN113473229A (zh) 一种动态调节丢帧阈值的方法及相关设备
CN102695068A (zh) 成像设备、同步控制方法、再现设备和立体视频成像系统
CN116055857B (zh) 拍照方法及电子设备
CN114070993B (zh) 摄像方法、装置、摄像设备及可读存储介质
WO2024109207A1 (zh) 显示缩略图像的方法和电子设备
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
US11159725B2 (en) Image processing apparatus, image processing method, and recording medium
WO2022170866A1 (zh) 数据传输方法、装置及存储介质
KR20200016085A (ko) 정보 노출 방지 영상 제공 장치 및 방법
CN112788198B (zh) 摄影装置、传送系统及方法、记录介质和计算机装置
CN113573119A (zh) 多媒体数据的时间戳生成方法及装置
JP2009055080A (ja) 撮像装置、撮像方法
CN115515001B (zh) 屏幕镜像方法、装置、设备及存储介质
KR100665037B1 (ko) 디지털 카메라를 구비하는 이동 단말기에서 미리보기모드를 설정하는 방법 및 장치
CN109951676B (zh) 画面传输方法及摄像装置
US20230342335A1 (en) File sharing method and electronic device
CN117294690A (zh) 一种评估QoE的方法及电子设备
CN117135299A (zh) 视频录制方法和电子设备
CN114630153A (zh) 用于应用处理器的参数传输方法、装置及存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid