KR20100021574A - 화상처리장치, 화상처리방법 및 프로그램 - Google Patents

화상처리장치, 화상처리방법 및 프로그램 Download PDF

Info

Publication number
KR20100021574A
KR20100021574A KR20097024642A KR20097024642A KR20100021574A KR 20100021574 A KR20100021574 A KR 20100021574A KR 20097024642 A KR20097024642 A KR 20097024642A KR 20097024642 A KR20097024642 A KR 20097024642A KR 20100021574 A KR20100021574 A KR 20100021574A
Authority
KR
South Korea
Prior art keywords
image data
image
motion
frame
motion vector
Prior art date
Application number
KR20097024642A
Other languages
English (en)
Inventor
오지 나카가미
준이치 다나카
요이치 야가사키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20100021574A publication Critical patent/KR20100021574A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/217—Interfaces allowing access to a single user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3267—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of motion picture signals, e.g. video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)

Abstract

복수의 연속한 프레임이 포함되는 동화상 데이터와, 프레임에 대응하고, 또한, 해당 프레임보다 높은 공간해상도를 가지는 하나 또는 복수의 화상데이터를 취득하는 취득부와, 동화상 데이터를 이용하여 프레임 사이의 움직임 벡터를 검출하는 움직임 예측부와, 화상데이터와 움직임 벡터에 근거하여, 소정의 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상생성부를 구비하는 화상처리장치가 제공된다. 또한, 화상생성부는, 소정의 프레임과 화상데이터에 대응하는 프레임과의 사이에 위치하고, 또한, 프레임에 대응하는 움직임 보상된 화상데이터를 생성하며, 그 움직임 보상된 화상데이터와 움직임 벡터에 근거하여, 소정의 프레임에 대응하는 움직임 보상된 화상데이터를 생성한다.

Description

화상처리장치, 화상처리방법 및 프로그램{Image processing device, image processing method, and program}
본 발명은, 화상처리장치, 화상처리방법 및 프로그램에 관한 것이다.
근래, 디지털 영상데이터(이하, 영상데이터)의 전송에 관한 기술이 크게 발전해 오고 있다. 특히, 고화질의 영상데이터의 배포(distribution)나 기록에 관한 기술의 발전에는 눈에 띄는 것이 있다. 그 중에서도, 영상데이터의 부호화 및 복호에 관한 기술에 주목이 모아지고 있다. 높은 공간해상도 및 시간해상도를 가지는 영상데이터는, 그 데이터 사이즈가 매우 크기 때문에, 그 영상데이터를 부호화한 다음 효율 좋게 압축하여 전송 또는 기록된다. 또, 고화질의 영상데이터를 보다 높은 압축율로 압축할 수 있도록 하는 부호화 기술이나, 보다 높은 공간해상도로 재생할 수 있도록 복호기술이 요구되고 있다.
예를 들면, 이하의 특허문헌 1 및 2에는, 공간해상도는 낮으나 시간해상도는 높은 제 1의 영상데이터(예를 들면, 동화상 데이터 등)와, 공간해상도는 높으나 시간해상도는 낮은 제 2의 영상데이터(예를 들면, 정지화상데이터의 계열 등)를 조합하여, 높은 공간해상도 및 시간해상도를 가지는 영상데이터를 생성하기 위한 기초가 되는 기술이 개시되어 있다. 이 기술은, 제 1의 영상데이터로부터 프레임 사 이의 움직임 벡터를 예측하고, 그 움직임 벡터와 제 2의 영상데이터를 이용하여, 제 1의 영상데이터의 고주파성분을 보상한다고 하는 것이다. 해당 기술은, 제 2의 영상데이터에 프레임이 포함되지 않은 임의 시점의 프레임을, 제 1의 영상데이터로부터 검출된 움직임 벡터와 그 임의 시점에 가까운 시점에 대한 제 2의 영상데이터의 프레임을 이용하여 생성한다고 하는 것이다. 또, 이하의 특허문헌 1 및 2에는, 상기의 기술을 이용하여 높은 공간해상도 및 시간해상도를 가지는 영상데이터를 생성하기 위한 화상데이터 기록재생장치에 관한 기재가 있다.
특허문헌 1 : 특개 2004-312276호 공보
특허문헌 2 : 특개 2004-312277호 공보
그러나, 복수의 정지화상데이터가 각각 기록되는 시간의 간격이 큰 경우, 움직임 벡터를 정밀도 좋게 예측하는 것이 어려우므로, 고품질의 영상데이터가 생성되기 어렵다. 즉, 생성하고 싶은 영상데이터의 기록시각이 기록된 정지화상데이터의 기록시각으로부터 멀어지면 멀어질수록, 화상데이터 중의 움직이는 물체의 변화량이 커지므로, 기록된 고해상도의 정지화상 중에 포함되는 고주파성분을 이용한 움직임 보상(motion compensation)이 이루어지기 어려워지는 것이다. 예를 들면, 정지화상데이터의 기록시각과 소망한 생성화상의 기록시각의 사이의 시간차 h가 0.1초보다 커지면, 움직임 보상에 의한 고주파성분의 보상이 어려워진다고 말할 수 있다. 한편, 고정밀 정지화상데이터의 기록 수가 증가하면, 당연한 일이나, 보존해야 할 데이터량이 방대하게 되어 버린다.
그래서 본 발명은, 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적으로 하는 바는, 저해상도의 화상데이터 계열을 이용하여 움직임 예측을 실행하고, 또한, 고해상도의 화상데이터를 이용하여 움직임 보상을 행하여 고해상도의 화상데이터를 생성하고자 하는 경우에, 생성하고자 하는 화상데이터의 시각과 고해상도의 화상데이터의 시각이 떨어져 있어도, 높은 정밀도로 움직임 보상을 실현하는 것이 가능한, 신규이며 또한 개량된 화상처리장치, 화상처리방법 및 프로그램을 제공하는 것에 있다.
상기 과제를 해결하기 위해, 본 발명의 관점에 따르면, 복수의 연속한 프레임이 포함되는 동화상 데이터와, 상기 프레임에 대응하고, 또한, 해당 프레임보다 높은 공간해상도를 가지는 하나 또는 복수의 화상데이터를 취득하는 취득부와, 상기 동화상 데이터를 이용하여 상기 프레임 사이의 움직임 벡터를 검출하는 움직임 예측부와, 상기 화상데이터와 상기 움직임 벡터에 근거하여, 소정의 상기 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상생성부를 구비하는 화상처리장치가 제공된다.
그리고 상기 화상생성부는, 상기 소정의 프레임과 상기 화상데이터에 대응하는 프레임의 사이에 위치하고, 또한, 상기 프레임에 대응하는 상기 움직임 보상된 화상데이터를 생성하며, 그 움직임 보상된 화상데이터와 상기 움직임 벡터에 근거하여, 상기 소정의 프레임에 대응하는 움직임 보상된 화상데이터를 생성한다.
또, 상기 화상생성부는, 상기 화상데이터에 가까운 시각에 대응하는 프레임으로부터 순서대로 움직임 보상을 실행하고, 그 움직임 보상된 화상데이터와 상기 움직임 벡터에 근거하여, 순차적으로 상기 소정의 프레임에 대응하는 움직임 보상된 화상데이터를 생성하도록 구성되어 있어도 좋다.
또, 상기 화상처리장치는, 상기 동화상 데이터와 상기 하나 또는 복수의 화상데이터를 기록하는 기억부를 더 구비하고 있어도 좋다. 이 경우, 상기 취득부는, 상기 기억부에 기록된 상기 화상데이터와 상기 하나 또는 복수의 화상데이터를 취득하도록 구성된다.
또한, 상기 기억부에는, 상기 동화상 데이터로서, 낮은 공간해상도 및 높은 시간해상도를 가지는 제 1 화상데이터 계열이 기록되고, 상기 하나 또는 복수의 화상데이터로서, 상기 제 1 화상데이터 계열에 포함되는 상기 프레임에 대응하도록, 상기 제 1 화상데이터 계열보다 높은 공간해상도 및 낮은 시간해상도를 가지는 제 2 화상데이터 계열이 기록되어 있어도 좋다.
또, 상기 동화상 생성부는, 상기 제 1 화상데이터 계열에 포함되고, 또한, 상기 제 2 화상데이터 계열에 포함되지 않은 프레임을 상기 소정의 프레임으로 하고, 해당 소정의 프레임에 대응하는 상기 화상데이터를 생성하여 상기 제 2 화상데이터 계열의 시간해상도를 향상시키도록 구성되어 있어도 좋다.
또한, 상기 기억부에는, 상기 동화상 데이터로서, 촬상된 화상신호를 다운 샘플링 처리하여 얻어진 화상데이터 계열이 기록되어 있어도 좋다.
또, 상기 화상생성부는, 상기 차분량이 소정치보다 큰 경우, 상기 움직임 보상시에, 상기 움직임 벡터의 참조원인 상기 소정의 프레임과 상기 움직임 벡터의 참조처인 상기 화상데이터를 합성하는 비율을 상기 차분량에 따라 변경하도록 구성되어 있어도 좋다.
또, 상기 화상 생성부는, 상기 화상데이터에 대응하는 프레임과 상기 소정의 프레임의 사이의 차분량이 소정의 값보다 작은 경우에, 해당 화상데이터를 움직임 보상하지 않고 상기 소정의 프레임에 대응하는 화상데이터로서 출력하도록 구성되어 있어도 좋다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 따르면, 복수의 연속한 프레임이 포함되는 동화상 데이터와, 상기 프레임에 대응하고, 또한, 해당 프레임보다 높은 공간해상도를 가지는 하나 또는 복수의 화상데이터를 취득하는 취득단계와, 상기 동화상 데이터를 이용하여 상기 프레임 사이의 움직임 벡터를 검출하는 움직임 예측단계와, 상기 화상데이터와 상기 움직임 벡터에 근거하여, 소정의 상기 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상생성단계를 포함하는 화상처리방법이 제공된다.
그리고, 상기 화상생성단계에서는, 상기 소정의 프레임과 상기 화상데이터에 대응하는 프레임의 사이에 위치하고, 또한, 상기 프레임에 대응하는 상기 움직임 보상된 화상데이터를 생성하며, 그 움직임 보상된 화상데이터와 상기 움직임 벡터에 근거하여, 상기 소정의 프레임에 대응하는 움직임 보상된 화상데이터가 생성된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 따르면, 상기의 화상처리장치가 가지는 기능을 컴퓨터에 실현시키기 위한 프로그램이 제공된다. 더욱이, 그 프로그램이 기록된 기록매체가 제공될 수 있다.
상기의 화상처리장치는, 기록이 끝난 정지화상 데이터의 기록시각에 가까운 시각으로부터 고해상도 화상을 생성해 나가고, 과거에 생성한 고해상도 화상을 프레임메모리에 보존하며, 그 보존된 화상을 다시 참조하여 새로운 고해상도 화상을 생성한다. 이와 같이 순차적으로 실행되는 처리에 의해, 기록시각으로부터 멀어진 시간에 있어서도 고정밀의 정지화상을 생성하는 것이 가능하게 된다.
이상 설명한 바와 같이, 본 발명에 따르면, 저해상도의 화상데이터 계열을 이용하여 움직임 예측을 실행하고, 또한, 고해상도의 화상데이터를 이용하여 움직임 보상을 실행하여 고해상도의 화상데이터를 생성하고자 하는 경우에, 생성하고자 하는 화상데이터의 시각과 고해상도의 화상데이터의 시각이 떨어져 있어도, 높은 정밀도로 움직임 보상하는 것이 가능하게 된다.
도 1은 고해상도 생성화상의 생성방법을 설명하기 위한 설명도이다.
도 2는 본 발명의 한 실시형태에 관한 화상처리장치의 장치구성을 나타내는 설명도이다.
도 3은 본 실시형태에 관한 화상생성회로의 동작을 설명하기 위한 설명도이다.
도 4는 본 실시형태에 관한 화상생성회로의 동작을 설명하기 위한 설명도이다.
도 5는 본 실시형태에 관한 화상생성회로의 동작을 설명하기 위한 설명도이다.
도 6은 본 실시형태에 관한 고해상도 화상의 생성방법을 나타내는 설명도이다.
도 7은 본 실시형태에 관한 화상처리장치의 기능을 실현하는 것이 가능한 정보처리장치의 하드웨어 구성예를 나타내는 설명도이다.
[부호의 설명]
100. 화상처리장치 102. 촬상렌즈
104. 촬상소자 106. 화상생성 타이밍 컨트롤러
108. 표시회로 110. 카메라신호 처리블록
112. A/D 변환기 114. 디지털신호 처리회로
120. 동화상 기록재생블록 122, 132. 기억부
124. 동화상 압축/신장회로 126. 화상밀도 변환회로
130. 정지화상 기록재생블록 134. 정지화상 압축/신장회로
202. 화상생성회로 204. 프레임메모리
212. 움직임 예측부 214. 움직임 보상부
HRP. 고해상도 기록화상 LRP. 저해상도 기록화상
MP. 확대 스케일링 화상 CP, CP' 생성화상
이하에 첨부도면을 참조하면서, 본 발명의 적합한 실시의 형태에 대하여 상세히 설명한다. 단, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능을 가지는 구성요소에 대하여는, 동일한 부호를 부여하는 것에 의해 중복된 설명을 생략 한다.
(고해상도 화상의 생성방법)
먼저, 본 발명의 실시형태에 관한 화상처리장치 및 화상처리방법에 대해 설명하기에 앞서, 도 1을 참조하면서, 낮은 공간해상도의 화상이 연속적으로 기록된 화상데이터 계열(이하, 동화상 데이터)과, 그 동화상 데이터에 포함되는 적당한 프레임(이하, 저해상도 기록화상(LRP；Low Resolution Picture))에 대응하여 이산적으로 기록된 고공간해상도의 화상데이터(이하, 정지화상 데이터, 또는 고해상도 기록화상(HRP；High Resolution Picture))를 이용하여, 상기 동화상 데이터에 포함되는 임의의 프레임에 대응하는 고공간해상도의 화상데이터(이하, 생성화상(CP;Created Picture) 또는 고해상도 생성화상)을 생성하는 아이디어에 대하여 간단하게 설명한다. 도 1은, 고해상도 화상의 생성방법의 일례를 나타내는 설명도이다.
도 1에는, 고해상도 기록화상(HRP(t))과, 저해상도 기록화상(LRP(t), LRP(t+h))과, 확대 스케일링 화상(MP;Magnified Picture)(MP(t), MP(t+h)), 생성화상(CP(t+h))이 묘사되어 있다. 이하, 괄호 안의 문자는, 촬영시각을 나타내는 것으로 한다. 예를 들면, 생성화상(CP(t+h))은, 시각(t+h)에 촬영된 저해상도 기록화상(LRP(t+h))에 대응하는 생성화상을 나타낸다.
생성화상(CP)은, 저해상도 기록화상(LRP)을 이용하여 검출된 움직임 벡터와 고해상도 기록화상(HRP)을 이용하여, 움직임 보상을 실행하는 것에 의해 생성된 화상데이터이다. 예를 들면, 도 1에 나타낸 바와 같이, 저해상도 기록화 상(LRP(t))을 확대 스케일링하여 생성된 확대 스케일링 화상(MP(t))과, 저해상도 기록화상(LRP(t+h))을 확대 스케일링하여 생성된 확대 스케일링 화상(MP(t+h))을 이용하여, 시각(t)과 시각(t+h)의 사이의 움직임 벡터(MV;Motion Vector)가 검출된다(S1). 다음으로, 움직임 벡터(MV)에 근거하여, 저해상도 기록화상(LRP(t))의 참조블록(BLK)에 대응하는 고해상도 기록화상(HRP(t))의 참조블록이 추출된다. 다음으로, 그 참조블록의 화소와 확대 스케일링 화상(MP(t+h))의 화소가 소정의 비율로 합성되어, 생성화상(CP(t+h))이 생성된다(S2).
상기의 예에서는, 움직임 예측과 움직임 보상이 실질적으로 다른 화상을 이용하여 실행된다. 저해상도 기록화상(LRP)을 확대 스케일링하여 생성된 확대 스케일링 화상(MP)은, 고해상도 기록화상(HRP)과 같은 공간해상도로 확대하고는 있으나, 고해상도 기록화상(HRP)에 비해 고주파성분이 결여되어 있다. 그 때문에, 확대 스케일링 화상(MP)을 이용하여 검출된 움직임 벡터와 고해상도 기록화상(HRP)이 본래 가져야 하는 움직임 벡터에 어긋남이 발생해 버리는 일이 있다. 특히, 움직임 예측의 정밀도가 낮은 경우, 고해상도 기록화상(HRP) 내의 참조블록의 위치가 어긋나 버리므로, 움직임 보상하여 생성된 생성화상(CP)의 고주파성분에 눈에 거슬리는 노이즈가 부가되어 버린다.
그래서 서로 다른 공간해상도를 가지는 복수의 화상데이터에 근거하여 움직임 보상을 실행하는 경우에, 움직임 보상에 기인하여 노이즈가 부가되는 것을 억제하는 대책이 요구된다. 움직임 벡터의 오차는, 고해상도 기록화상(HRP(t))이 촬영된 시각(t)과 생성화상(CP(t+h))을 생성하고 싶은 시각(t+h)이 떨어져 있는 경우 에 커진다. 그 때문에, 시간 간격(h)이 큰 경우에 고정밀의 생성화상(CP(t+h))을 얻어지도록 하는 대책이 요구된다.
이하에 설명하는 바와 같이, 본 발명의 한 실시형태에 관한 화상처리장치는, 먼저, 고해상도 기록화상(HRP)이 촬영된 시각(t)에 가까운 시각에 촬영된 저해상도 기록화상(LRP(t+h"))에 대하여, 움직임 예측 및 움직임 보상을 실행하여 잠정적인 생성화상(CP'(t+h"))을 생성하고, 그 잠정적인 생성화상(CP'(t+h))에 근거하여, 다시 움직임 예측 및 움직임 보상을 실행한다. 이 처리를 순차적으로 반복함으로써, 소망한 시각(t+h)에 대한 생성화상(CP(t+h))을 높은 정밀도로 생성할 수 있다. 왜냐하면, 한 번의 움직임 예측을 실행할 때 참조되는 프레임 사이의 시간 간격이 짧으므로, 움직임 예측의 정밀도가 향상하기 때문이다. 이하, 이 화상처리장치의 구체적인 기능구성에 대하여 설명한다.
<실시형태>
이하, 본 발명의 한 실시형태에 관한 화상처리장치(100)에 대하여 상세하게 설명한다.
[화상처리장치(100)의 장치구성]
우선, 도 2를 참조하면서, 본 실시형태에 관한 화상처리장치(100)의 장치구성에 대하여 설명한다. 도 2는, 본 실시형태에 관한 화상처리장치(100)의 장치구성의 일례를 나타내는 설명도이다.
도 2에 나타낸 바와 같이, 화상처리장치(100)는, 주로, 촬상렌즈(102)와, 촬상소자(104)와, 카메라 신호처리블록(110)과, 동화상 기록재생블록(120)과, 정지화 상 기록재생블록(130)과, 화상생성회로(202)와, 프레임메모리(204)와, 화상생성 타이밍 컨트롤러(106)와, 표시회로(108)를 가진다.
촬상렌즈(102)는, 빛을 집광시켜 피사체의 상(이하, 집광 화상)을 형성하기 위한 광학렌즈이다. 촬상소자(104)는, 촬상렌즈(102)가 집광한 빛을 전기신호로 변환하는 광전소자이다. 촬상소자(104)에는, 예를 들면, CCD 이미지센서(Charge Coupled Deｖice Image Sensor)나, CMOS 이미지센서(Complementary Metal Oxide Semiconductor Image Sensor) 등의 반도체소자가 이용된다.
또, 촬상소자(104)는, 동화상 데이터가 가지는 공간해상도의 유효 화소수보다 많은 화소를 가지고 있다. 표시회로(108)는, 화상데이터를 기록 또는 재생할 때, 또는, 그 화상데이터를 확인할 때에, 도시하지 않은 표시장치에 대하여 상기의 화상데이터를 표시시킨다. 화상생성 타이밍 컨트롤러(106)는, 동화상 데이터를 재생하고 있는 도중에 오퍼레이터가 정지화상 데이터를 취득하도록 지시하는 장치이다.
(카메라신호 처리블록(110))
카메라신호 처리블록(110)은, 도 2에 나타낸 바와 같이, A/D변환기(112)와, 디지털신호 처리회로(114)를 포함한다.
A/D 변환기(112)는, 입력된 아날로그신호를 디지털신호로 변환하여 출력하는 아날로그-디지털 변환기(Analog-to-Digital Converter)이다. A/D변환기(112)는, 촬상소자(104)로부터 입력된 집광 화상의 아날로그신호를 디지털신호로 변환하여 디지털신호 처리회로(114)에 출력한다. 디지털신호 처리회로(114)는, A/D변환 기(112)로부터 입력된 집광 화상의 디지털신호(이하, 화상데이터)에 대하여, 화이트 밸런스의 조정이나 감마 보정 등의 처리를 행한다.
(동화상 기록재생블록(120))
동화상 기록재생블록(120)은, 도 2에 나타낸 바와 같이, 화상밀도 변환회로(126)와, 동화상 압축/신장회로(124)와, 기억부(122)를 포함한다.
화상밀도 변환회로(126)는, 동화상 데이터의 기록시에, 디지털신호 처리회로(114)로부터 입력된 화상데이터의 계열(동화상 데이터)에 대하여 솎아냄 처리(decimation process)(예를 들면, 프레임간 차분 부호화(inter-frame differential coding) 등)를 실시한다. 화상밀도 변환회로(126)는, 솎아냄 처리 후의 동화상 데이터를 동화상 압축/신장회로(124)에 출력한다. 동화상 압축/신장회로(124)는, 화상밀도 변환회로(126)로부터 입력된 상기 솎아냄 후의 동화상 데이터를 압축 처리하고, 그 압축된 동화상 데이터를 기억부(122)에 기록한다.
한편, 동화상 데이터의 재생시에, 동화상 압축/신장회로(124)는, 기억부(122)에 기록된 상기의 동화상 데이터를 읽어내어 신장처리를 실시한다. 그리고 동화상 압축/신장회로(124)는, 그 신장된 동화상 데이터를 화상밀도 변환회로(126)에 대하여 출력한다. 화상밀도 변환회로(126)는, 동화상 압축/신장회로(124)로부터 입력된 동화상 데이터에 대하여 보간처리(예를 들면, 차분화된 데이터의 복원 등)를 실시한다.
(정지화상 기록재생블록(130))
정지화상 기록재생블록(130)은, 도 2에 나타낸 바와 같이, 정지화상 압축/신 장회로(134)와, 기억부(132)를 포함한다. 단, 기억부(132)는, 상기의 기억부(122)와 공통의 기억장치를 이용하여, 그 기능을 실현할 수도 있다.
정지화상 압축/신장회로(134)는, 정지화상 데이터의 기록시에, 디지털신호 처리회로(114)로부터 입력된 화상데이터에 압축처리를 실시하여 기억부(132)에 기록한다. 한편, 정지화상 데이터의 재생시에, 정지화상 압축/신장회로(134)는, 기억부(122)에 기록된 화상데이터를 읽어내어 신장처리를 실시한다.
(화상생성회로(202))
도면 중에는 명시하지 않으나, 화상생성회로(202)는, 움직임 예측부(212)와, 움직임 보상부(214)를 포함한다. 또, 움직임 보상부(214)는, 화상생성부의 일례이다.
움직임 예측부(212)는, 동화상 기록재생블록(120)으로부터 전송된 동화상 데이터에 대하여, 프레임 사이의 움직임 예측을 실행하여 움직임 벡터를 검출한다. 예를 들면, 움직임 예측부(212)는, 소정 시각에 기록된 프레임에 가장 가까운 시점에서 기록된 정지화상 데이터를 선택한다. 그리고 움직임 예측부(212)는, 그 정지화상 데이터에 대응하는 프레임과 소정 시각에 기록된 프레임의 사이에서 움직임 예측을 실행하여 프레임 사이의 움직임 벡터를 검출한다. 이때, 움직임 예측부(212)는, 참조하는 각 프레임(LRP)을 확대 스케일링하여 확대 스케일링 화상(MP)으로 변환하고, 해당하는 확대 스케일링 화상 사이에서 움직임 벡터를 검출한다.
다른 예로서, 움직임 예측부(212)는, 소정 시각에 기록된 프레임에 가까운 시점에서 기록된 복수의 정지화상 데이터를 추출한 다음, 상기의 소정 시각에 기록 된 프레임에 가장 근사한 정지화상 데이터에 대응하는 프레임을 선택하는 것도 가능하다. 그리고 움직임 예측부(212)는, 그 선택된 정지화상 데이터에 대응하는 프레임과 소정 시각에 기록된 프레임의 사이에서 움직임 예측을 실행하여 프레임 사이의 움직임 벡터를 검출해도 좋다. 또, 움직임 예측부(212)는, 각 프레임(LRP)을 확대 스케일링하지 않고, 해당하는 프레임 사이에서 움직임 벡터를 검출하고, 생성화상(CP)의 공간해상도에 적합하도록 상기 움직임 벡터를 확대하는 것도 가능하다.
움직임 보상부(214)는, 움직임 예측부(212)로부터 입력된 움직임 벡터의 정보와, 정지화상 기록재생블록(130)으로부터 입력된 정지화상 데이터에 근거하여 움직임 보상을 실행한다. 예를 들면, 움직임 보상부(214)는, 소정 시각에 기록된 프레임의 참조블록에 대응하는 정지화상 데이터의 참조블록을 상기의 움직임 벡터에 근거하여 특정한다. 움직임 보상부(214)는, 그 특정된 정지화상 데이터의 참조블록과, 소정 시각에 기록된 프레임의 참조블록을 소정의 비율로 합성하여 화상데이터(생성화상(CP'))를 생성한다.
더욱이, 화상생성회로(202)는, 생성화상(CP(t+h))을 생성할 때, 과거에 생성한 생성화상(CP'(t+h"))(t<h"<h)을 프레임메모리(204)에 전개한다. 즉, 화상생성회로(202)는, 도 3에 나타낸 바와 같이, 고해상도 기록화상(HRP(t))을 직접 이용하여 생성화상(CP(t+h))을 생성하는 것이 아니라, 일단, 고해상도 기록화상(HRP(t))에 시간적으로 가까운 확대 스케일링 화상(MP(t+h"))을 이용하여 중간적인 생성화상(CP'(t+h"))을 생성하고, 이 생성화상(CP'(t+h"))을 프레임메모리(204) 에 보존하여 이용하는 것이다. 그리고, 화상생성회로(202)는, 확대 스케일링 화상(MP(t+h) 및 MP(t+h"))의 사이에서 움직임 예측을 실행하고, 검출된 움직임 벡터와 중간적인 생성화상(CP'(t+h"))에 근거하여 소망한 생성화상(CP(t+h))을 생성하는 것이다. 그리고 이 생성화상(CP(t+h))이 표시회로(108)에 출력된다.
또한, 화상생성회로(202)는, 프레임메모리에 생성화상(CP'(t+h"))을 저장할 때, 이용하는 처리단위에 따라 저장하는 방법을 변경해도 좋다. 예를 들면, 화상 전체를 저장해도 좋고, 또는, 메모리량을 절약하기 위해 움직임이 있는 화소영역만을 저장해도 좋다.
더욱이, 화상생성회로(202)는, 생성화상(CP' 또는 CP)을 생성할 때, 생성화상(CP'또는 CP)에 대응하는 확대 스케일링 화상(MP)과 참조처의 화상과의 차분량을 감시한다. 고해상도 기록화상(HRP)과 확대 스케일링 화상(MP)의 차분량이 작은 경우, 화상생성회로(202)는, 생성화상(CP'또는 CP)으로서 고해상도 기록화상(HRP)을 그대로 출력할 수 있다. 마찬가지로, 생성화상(CP')과 확대 스케일링 화상(MP)의 차분량이 작은 경우, 화상생성회로(202)는, 생성화상(CP)으로서 생성화상(CP')을 그대로 출력할 수 있다. 이러한 케이스는, 완전하게 정지하고 있는 피사체를 촬영했을 경우 등에 일어날 수 있는 상황이다.
상기와 같이, 본 실시형태에 관한 화상생성회로(202)는, 생성화상(CP)과 고해상도 기록화상(RP)의 기록시각이 떨어져 있는 경우에, 고해상도 기록화상(HRP)의 기록시각에 가까운 시각에 대응하는 확대 스케일링 화상(MP)으로부터 차례로, 중간적인 생성화상(CP')을 생성한다. 더욱이, 화상생성회로(202)는, 중간적인 생성 화상(CP')을 이용하여 움직임 보상을 실행하고, 순차적으로 중간적인 생성화상(CP')을 생성하는 것으로, 최종적으로 고정밀의 생성화상(CP)을 얻는다고 하는 것이다.
[화상데이터의 기록동작]
다음으로, 본 실시형태에 관한 화상처리장치(100)에 의한 화상데이터의 기록동작에 대하여 간단하게 설명한다.
먼저, 오퍼레이터가 화상처리장치(100)에 기록동작의 개시를 지시한다(S10). 그 지시를 받아, 화상처리장치(100)는, 동화상 데이터를 구성하는 프레임의 연속 기록을 개시한다(S12). 화상처리장치(100)는, 촬상렌즈(102)를 통하여 집광 화상을 취득한다(S14). 다음으로, 화상처리장치(100)는, 그 집광 화상을 촬상소자(104)에 의해 광전변환하여 아날로그신호를 생성한다(S16). 다음으로, 화상처리장치(100)는, 그 아날로그신호를 A/D변환기(112)에 입력하여 디지털신호로 변환한다(S18). 다음으로, 화상처리장치(100)는, 그 디지털신호를 디지털신호 처리회로(114)에 입력하고, 그 디지털신호에 대응하는 화상데이터의 화이트 밸런스의 조정이나 감마 보정 등의 처리를 실행한다(S20). 이러한 처리에 의해, 화상처리장치(100)는, 상기의 화상데이터를 축적하여 동화상 데이터를 형성할 수 있다.
다음으로, 화상처리장치(100)는, 화상밀도 변환회로(126)에 의해, 상기의 동화상 데이터에 솎아냄 처리를 실시한다(S22). 단계(S22)를 실행할 때, NTSC(National Television Standard Committee) 방식, PAL(Phase Alternation by Line) 방식, 또는 ISDB(Integrated Services Digital Broadcasting) 방식 등의 각 비디오신호 포맷에 대한 유효 화소수가 얻어진다. 다음으로, 화상처리장치(100)는, 동화상 압축/신장회로(124)에 의해, 상기의 솎아냄 처리가 실시된 동화상 데이터를 압축처리하고(S24), 기억부(122)에 기록한다(S25). 또, 화상처리장치(100)는, 정지화상 압축/신장회로(134)에 의해, 소정의 시간 간격으로 간헐적으로 상기의 화상데이터(정지화상 데이터)를 취득하여 압축처리하고(S32), 기억부(132)에 기록한다(S34).
[화상데이터의 재생동작]
다음으로, 본 실시형태에 관한 화상처리장치(100)에 의한 화상데이터의 재생동작에 대하여 간단하게 설명한다.
화상처리장치(100)에 대하여, 오퍼레이터가 화상생성 타이밍 컨트롤러(106)를 이용하여 재생동작의 개시를 지시한다(S50). 그 지시를 받아, 화상처리장치(100)는, 상기의 동화상 데이터보다 공간해상도가 높고, 또한, 상기의 정지화상데이터가 기록되어 있지 않은 기록시점에 대하여 고화질 화상데이터의 생성을 개시한다(S52). 화상처리장치(100)는, 기억부(122)에 기록된 압축처리 후의 동화상 데이터를 읽어내고(S54), 동화상 압축/신장회로(124)에 의해 신장처리를 실행한다(S56). 다음으로, 화상처리장치(100)는, 화상밀도 변환회로(126)에 의해, 신장처리된 동화상 데이터의 보간처리를 실행한다(S58). 단계(S58)에 의해, 상기의 동화상 데이터의 각 프레임은, 정지화상 데이터와 동일 화소수를 가지는 화상데이터로 변환된다. 그리고, 그 동화상 데이터는, 화상생성회로(202)에 전송된다(S60).
또한, 화상처리장치(100)는, 정지화상 압축/신장회로(134)에 의해, 기억부(132)에 기록된 정지화상 데이터를 읽어내어 신장하고(S72), 화상생성회로(202)에 전송한다(S74).
(화상생성회로(202)의 동작)
여기서, 도 3을 참조하면서, 화상생성회로(202)의 처리동작에 대하여 설명한다. 도 3은, 화상생성회로(202)의 처리동작을 설명하기 위한 설명도이다.
도 3에는, 촬영시각에 대응하도록, 고해상도 기록화상(HRP(t))과, 복수의 저해상도 기록화상(LRP(t), LRP(t+h"), LRP(t+h))과, 중간적인 생성화상(CP'(t+h"))과, 소망한 생성화상(CP(t+h))이 묘사되어 있다. 도 3은, 시각(t+h)의 저해상도 기록화상(LRP(t+h))에 대응하는 생성화상(CP(t+h))을 생성하는 처리동작을 구체적으로 설명하는 것이다.
단, 고해상도 기록화상(HRP)은, 수평화소수가 N, 수직화소수가 M, 프레임 레이트(frame rate)가 1/ΔT[fps]인 것으로 가정한다. 또, 저해상도 기록화상(LRP)은, 수평화소수가 n, 수직화소수가 m, 프레임 레이트가 1/Δt[fps]인 것으로 가정한다. 그리고 각 변수는, N≥n, M≥m,ΔT≥t의 관계를 만족하는 것으로 가정한다. 더욱이, 변수 h는, 0≤h≤ΔT의 관계를 만족하는 것으로 가정한다.
이하, 도 3의 예를 참조하면서, 시각(t+h)의 생성화상(CP(t+h))을 생성하는 방법에 대하여 설명한다. 단, 본 실시형태에 관한 화상처리장치(100)의 처리방법은, 이것으로 한정되는 것은 아니다. 예를 들면, 도시하지 않은 다른 시각(t+ΔT)의 고해상도 기록화상(HRP(t+ΔT))을 병행하여 참조하면서, 생성화상(CP(t+h)) 을 생성할 수도 있다. 그때, 화상처리장치(100)는, 피사체의 움직임의 크기나 속도 등에 따라 참조해야 할 고해상도 기록화상(HRP)을 선택한다고 하는 처리를 행할 수도 있다.
(S1)
먼저, 화상처리장치(100)는, 움직임 예측부(212)에 의해, 저해상도 기록화상(LRP(t) 및 LRP(t+h"))을 이용하여 움직임 예측을 실행한다. 이때, 움직임 예측부(212)는, 저해상도 기록화상(LRP(t) 및 LRP(t+h"))을 확대 스케일링하여 확대 스케일링 화상(MP(t) 및 MP(t+h"))을 생성한다. 다음으로, 움직임 예측부(212)는, 확대 스케일링 화상(MP(t)와 MP(t+h"))을 비교하여 MP(t)와 MP(t+h")의 사이의 움직임 벡터(MV)를 검출한다. 또한, 움직임 예측의 방법으로서는, 예를 들면, 블록 매칭법, 위상 상관법, 옵티컬 플로우법 등이 있다.
(S2)
다음으로, 화상처리장치(100)는, 움직임 보상부(214)에 의해, 상기의 움직임 벡터(MV)와 고해상도 기록화상(HRP(t))을 이용하여 움직임 보상을 실행한다. 움직임 보상부(214)는, 상기의 움직임 벡터(MV)를 이용하여, 확대 스케일링 화상(MP(t+h"))의 참조블록에 대응하는 고해상도 기록화상(HRP(t))의 참조블록을 특정한다. 그리고 움직임 보상부(214)는, 그 참조블록과 상기의 확대 스케일링 화상(MP(t+h"))의 참조블록을 소정의 비율로 합성하여, 중간적인 생성화상(CP'(t+h"))을 생성한다.
(S3)
다음으로, 화상처리장치(100)는, 움직임 예측부(212)에 의해, 저해상도 기록화상(LRP(t+h) 및 LRP(t+h"))을 이용하여 움직임 예측을 실행한다. 이때, 움직임 예측부(212)는, 저해상도 기록화상(LRP(t+h))을 확대 스케일링하여 확대 스케일링 화상(MP(t+h))을 생성한다. 다음으로, 움직임 예측부(212)는, 확대 스케일링 화상(MP(t+h")와 MP(t+h))을 비교하여 MP(t+h")와 MP(t+h)의 사이의 움직임 벡터(MV)를 검출한다.
(S4)
다음으로, 화상처리장치(100)는, 움직임 보상부(214)에 의해, 상기의 움직임 벡터(MV)와 중간적인 생성화상(CP'(t+h"))을 이용하여 움직임 보상을 실행한다. 움직임 보상부(214)는, 상기의 움직임 벡터(MV)를 이용하여, 확대 스케일링 화상(MP(t+h))의 참조블록에 대응하는 생성화상(CP'(t+h"))의 참조블록을 특정한다. 그리고 움직임 보상부(214)는, 그 참조블록과 상기의 확대 스케일링 화상(MP(t+h))의 참조블록을 소정의 비율로 합성하여 최종적인 생성화상(CP(t+h))을 생성한다.
만약, 생성화상(CP(t+h))과 고해상도 기록화상(HRP(t))의 사이의 시간 간격(h)이 매우 짧으면, 상기의 고해상도 기록화상(HRP(t))을 이용하여 움직임 보상을 하여도 움직임 예측 정밀도에 기인하여 생성화상(CP(t+h))에 노이즈가 발생하는 것은 적다. 그러나, 그 시간 간격(h)이 길면 그 고해상도 기록화상(HRP)에 포함되는 고주파성분의 정보에 노이즈가 발생할 가능성이 높다. 즉, 움직임 예측의 정밀도에 의존하여 움직임 보상에 이용하는 고해상도 기록화상(HRP)의 참조블록과, 그것에 대응하는 확대 스케일링 화상(MP)의 참조블록의 사이의 상관이 낮아질 가능성이 염려되는 것이다.
일반적으로, 움직임 예측의 처리는, 피사체의 움직임이 적으면 적을수록, 즉, 예측원으로부터 예측처로의 시간적 거리가 적으면 적을수록, 정밀도가 좋은 움직임 예측을 행하는 것이 가능하다. 따라서, 확대 스케일링 화상(MP(t+h))으로부터 확대 스케일링 화상(MP(t))에 대하여 행하는 움직임 예측보다, 확대 스케일링 화상(MP(t+h"))으로부터 확대 스케일링 화상(MP(t))에 대하여 행하는 움직임 예측 쪽이, 예측의 정밀도가 좋아지는 것은 당연하다. 그 때문에, 확대 스케일링 화상(MP(t+h"))으로부터 확대 스케일링 화상(MP(t))으로의 움직임 예측 결과를 이용하여 생성된 생성화상(CP'(t+h"))의 품질은, 확대 스케일링 화상(MP(t+h))로부터 확대 스케일링 화상(MP(t))으로의 움직임 예측 결과를 이용하여 생성된 생성화상에 비하여 높아진다.
또한, 도 4의 예에 나타낸 바와 같이, 화상생성회로(202)는, 생성화상(CP' 또는 CP)를 생성할 때, 시간적으로 후방에 위치하는 화상 이외의 화상을 참조하는 것도 가능하다. 여기서는, 시간적으로 후방에 위치하는 화상을 참조하여 움직임 예측 및 움직임 보상하는 예에 대하여 설명했으나, 전방에 위치하는 화상을 참조해도 좋다. 또, 전후의 화상을 함께 참조해도 좋다. 더욱이, 화상생성회로(202)는, 시간적으로 전방 또는 후방에 위치하는 복수 매의 화상을 참조하여 생성화상(CP'또는 CP)을 생성하는 것도 가능하다. 더욱이, 화상생성회로(202)는, 보다 세밀한 시간 간격으로 순차적으로 중간적인 생성화상(CP')을 생성하고, 최종 적인 생성화상(CP)에 도달하도록 처리할 수도 있다.
상기와 같이, 본 실시형태에 관한 화상생성회로(202)에는 여러 가지의 변형이 가능하다. 예를 들면, 시각(t+ΔT)(h<ΔT)에 고해상도 기록화상(HRP(t+ΔT))가 존재하는 경우, 화상생성회로(202)는, 고해상도 기록화상(HRP(t+ΔT))에 근거하여 전방으로부터 움직임 보상된 생성화상(CP)과, 상기의 방법으로 후방으로부터 순차적으로 움직임 보상하여 생성된 생성화상(CP)를 비교하여, 보다 고품질의 화상을 선택하는 것도 가능하다. 그러한 선택 등의 용도를 고려하여, 화상생성회로(202)는, 예를 들면, 소정의 시각(t, t+h", t+ΔT) 등에 대한 확대 스케일링 화상(MP(t), MP(t+h"), MP(t+ΔT)) 등을 비교하고, 그들의 차분치를 감시해 둘 수도 있다.
또, 움직임 예측시에, 화상생성회로(202)는, 쌍방향 예측처리를 조합할 수도 있다. 즉, 화상생성회로(202)는, 복수의 예측원에 대한 움직임 벡터에 근거하여 움직임 보상을 실행하고, 움직임 보상의 화소치를 가중하여 평균하는 것이다. 단순한 예를 들면, 예를 들면, 예측원 화소(A)와 예측원 화소(B)에 대하여, 예측 후의 화소(C)를 이하 식(1)에 따라 구한다.
C=(A+B)/2 … (1)
이는, 가중의 비율이 동일한 평균치를 취하는 방법이다. 일반적으로, 다른 편방향(片方向) 예측에 비해 쌍방향 예측의 쪽이 차분 에너지를 작게 할 수 있다. 이는, MPEG(Moving Picture Experts Group) 등의 화상압축기술에 관련하여 널리 알려져 있다. 그래서, 본 실시형태에 있어서도, 쌍방향 예측을 조합하여 이용하는 것으로, 생성화상(CP)의 품질을 보다 향상시키는 것이 가능해질 것으로 생각된다. 더욱이, H.264 등에 대하여 알려져 있는 쌍방향 예측기술과 같이, 2개의 벡터의 예측방향이 시간적으로 같은 방향(전방 또는 후방)으로 설정되어 있어도 좋다.
생성화상(CP)을 생성할 때, 비교적 단순한 쌍방향 예측의 방법으로서는, 예를 들면, 2매의 고해상도 기록화상(HRP(t))와 고해상도 기록화상(HRP(t+ΔT))의 평균치를 취해 생성된 화상을 생성화상(CP(t+h))으로서 이용하는 방법이 생각된다. 이 방법은, 피사체가 정지하고 있고, 또한, 페이드가 포함되는 것과 같은 영상에 대하여 유효하다.
또한, 피사체에 움직이는 물체가 포함되는 경우, 화상생성회로(202)는, 확대 스케일링 화상(MP(t+h), MP(t+h"), MP(t))에 대하여 쌍방향 예측을 실행하고, 고해상도 기록화상(HRP(t) 및 HRP(t+ΔT))에 근거하여 움직임 보상을 실행하는 것도 가능하다. 또, 화상생성회로(202)는, 확대 스케일링 화상(MP(t+h)와 MP(t))의 사이의 피사체의 움직임 정보나, MP(t+h)와 MP(t+ΔT)와의 사이의 피사체의 움직임 정보를 이용하거나, 또는, 복수의 중간적으로 생성된 생성화상(CP')의 고주파성분을 이용하는 것으로, 생성화상(CP(t+h))의 화질을 향상시킬 수 있다.
더욱이, 화상생성회로(202)는, 도 5에 나타낸 바와 같이, 생성화상(CP)을 생성할 때, 중간적으로 생성된 생성화상(CP')에 근거하여 움직임 보상된 화상과, 생성화상(CP)에 대응하는 확대 스케일링 화상(MP)과의 사이의 차분치에 의해 움직임 예측의 정밀도를 판정하고, 움직임 예측의 정밀도가 낮은 경우에 확대 스케일링 화 상(MP)을 그대로 생성화상(CP)으로서 출력하는 것도 가능하다.
(화상처리방법)
여기서, 도 6을 참조하면서, 본 실시형태에 관한 화상처리방법에 대하여 설명한다. 도 6은, 본 실시형태에 관한 화상생성처리의 흐름을 설명하기 위한 설명도이다.
먼저, 움직임 예측부(212)는, 저해상도 기록화상(LRP)을 확대 스케일링하여 고해상도 기록화상(HRP)과 같은 공간해상도를 가지는 확대 스케일링 화상(MP)을 생성한다(S202). 다음으로, 참조블록의 위치를 나타내는 파라미터(b)가 초기화된다(S204). 다음으로, 파라미터(b)가, 파라미터(b)의 최대치(b_max)를 넘고 있는지 아닌지가 판정된다(S206). 단, b_max는, 프레임에 포함되는 블록 수이다.
b≥b_max의 경우, 화상생성회로(202)는, 화상생성처리를 종료한다. b<b_max의 경우, 움직임 예측부(212)는, 현재 프레임(current frame)(MP(t+h"))으로부터 키 프레임(MP(t)), 또는 현재 프레임(MP(t+h))으로부터 고해상도 화상생성이 끝난 프레임(MP(t+h"))으로의 움직임 예측을 실행한다(S208). 이때, 움직임 예측의 참조프레임은, 순차 실행되는 움직임 예측의 참조원 프레임의 위치에 의존한다. 다음으로, 화상생성회로(202)는, 예측 잔차(殘差)신호의 크기에 근거하여 움직임 보상의 실행이 가능한지 아닌지를 판정한다(S210).
단계(S210)에 있어서, 움직임 보상의 실행이 불가하다고 판정되었을 경우, 움직임 보상부(214)는, 단계(S202)에서 얻어진 확대 스케일링 화상(MP(t+h))을 생성화상(CP(t+h))으로서 출력한다(S216). 한편, 단계(S210)에 있어서, 움직임 보 상의 실행이 가능하다고 판정되었을 경우, 움직임 보상부(214)는, 키 프레임에 대응하는 고해상도 기록화상(HRP(t))과 확대 스케일링 화상(MP(t+h))을 이용하여 차분화상 판정(상기의 「D>Th」 또는 「D≤Th」판정;도 5를 참조)을 실행하고, 움직임 보상이 가능한지 아닌지를 판정한다(S212).
단계(S212)에 있어서, 움직임 보상이 가능하다고 판정되었을 경우, 움직임 보상부(214)는, 고해상도 기록화상(HRP(t)) 또는 생성화상(CP'(t+h"))을 이용하여 움직임 보상을 실행한다(S214). 이때, 움직임 보상부(214)는, 단계(S208)에서 얻어진 현재 프레임으로부터 키 프레임으로의 움직임 벡터, 단위 블록 사이즈, 또는 참조프레임 정보 등을 이용한다. 한편, 단계(S212)에 있어서, 움직임 보상의 실행이 불가하다고 판정되었을 경우, 움직임 보상부(214)는, 확대 스케일링 화상(MP(t+h))을 생성화상(CP(t+h))으로서 출력한다(S216).
다음으로, 화상생성회로(202)는, 파라미터(b)를 인크리먼트(increment) 하고(S218), 다시 단계(S206)로부터 시작되는 처리를 실행한다. 이와 같이, 화상생성회로(202)는, 순차적으로 움직임 보상을 실행하나, 움직임 보상할 때 상기의 차분화상 판정을 실행하면서 움직임 보상이 가능한지 아닌지를 판정한다. 그 때문에, 화상생성회로(202)는, 움직임 보상에 기인하여 생성화상(CP(t+h))에 노이즈가 발생하는 것을 억제할 수 있다.
또한, 화상처리장치(100)의 각 구성요소가 실현하는 기능은, 예를 들면, 이하에 예시하는 정보처리 장치를 이용하여 소정의 프로그램에 의해 실현되는 것도 가능하다.
[하드웨어 구성]
상기의 화상처리장치(100)가 가지는 기능은, 예를 들면, 도 7에 나타내는 하드웨어 구성을 가지는 정보처리 장치에 의해서도 실현하는 것이 가능하다. 도 7은, 상기의 화상처리장치(100)의 각 구성요소가 가지는 기능을 실현하는 것이 가능한 정보처리장치의 하드웨어 구성예를 나타내는 설명도이다.
도 6에 나타낸 바와 같이, 상기의 정보처리 장치는, 주로, CPU(Central Processing Unit)(902)와, ROM(Read Only Memory)(904)과, RAM(Random Access Memory)(906)과, 호스트 버스(908)와, 브리지(910)와 외부 버스(912)와, 인터페이스(914)와, 입력부(916)와, 출력부(918)와, 기억부(920)와 드라이브(922)와, 접속 포트(924)와, 통신부(926)에 의해 구성된다.
CPU(902)는, 예를 들면, 연산처리장치 또는 제어장치로서 기능하고, ROM(904), RAM(906), 기억부(920), 또는 리무버블 기록매체(928)에 기록된 각종 프로그램에 근거하여 각 구성요소의 동작 전반 또는 그 일부를 제어한다. ROM(904)은, 예를 들면, CPU(902)에 읽어 들여지는 프로그램이나 연산에 이용하는 데이터 등을 저장한다. RAM(906)은, 예를 들면, CPU(902)에 읽어 들여지는 프로그램이나, 그 프로그램을 실행할 때 적절히 변화하는 각종 파라미터 등을 일시적 또는 영구적으로 저장한다. 이러한 구성요소는, 예를 들면, 고속의 데이터 전송이 가능한 호스트 버스(908)에 의해 서로 접속되어 있다. 또, 호스트 버스(908)는, 예를 들면, 브리지(910)를 통하여 비교적 데이터 전송속도가 저속인 외부 버스(912)에 접속되어 있다.
입력부(916)는, 예를 들면, 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등의 조작수단이다. 또, 입력부(916)는, 적외선이나 그 외의 전파를 이용하여 제어신호를 송신하는 것이 가능한 리모트 컨트롤수단(소위, 리모콘)이어도 좋다. 또한, 입력부(916)는, 상기의 조작수단을 이용하여 입력된 정보를 입력신호로서 CPU(902)에 전송하기 위한 입력제어회로 등에 의해 구성되어 있다.
출력부(918)는, 예를 들면, CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 또는 ELD(Electro-Luminescence Display) 등의 디스플레이장치, 스피커, 헤드폰 등의 오디오 출력장치, 프린터, 휴대전화, 또는 팩시밀리 등, 취득한 정보를 이용자에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치이다.
기억부(920)는, 각종의 데이터를 저장하기 위한 장치이며, 예를 들면, 하드 디스크 드라이브(HDD;Hard Disk Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광자기 기억 디바이스 등에 의해 구성된다.
드라이브(922)는, 예를 들면, 자기디스크, 광디스크, 광학 자기디스크, 또는 반도체 메모리 등의 리무버블 기록매체(928)에 기록된 정보를 읽어내거나, 또는 리무버블 기록매체(928)에 정보를 쓰는 장치이다. 리무버블 기록매체(928)는, 예를 들면, DVD 미디어, 블루레이(Blu-ray) 미디어, HD-DVD 미디어, 컴팩트 플래시(등록상표)(CF;CompactFlash), 메모리스틱, 또는 SD 메모리카드(Secure Digital memory card) 등이다. 물론, 리무버블 기록매체(928)는, 예를 들면, 비접촉형 IC칩을 탑재한 IC카드(Integrated Circuit Card), 또는 전자기기 등이어도 좋다.
접속 포트(924)는, 예를 들면, USB(Universal Serial Bus) 포트, IEEE 1394 포트, SCSI(Small Computer System Interface), RS-232C 포트, 또는 광 오디오 단자 등과 같은 외부접속기기(930)를 접속하기 위한 포트이다. 외부접속기기(930)는, 예를 들면, 프린터, 휴대용 음악플레이어, 디지털카메라, 디지털 비디오카메라, 또는 IC 레코더 등이다.
통신부(926)는, 네트워크(932)에 접속하기 위한 통신 디바이스이며, 예를 들면, 유선 또는 무선 LAN(Local Area Network), 블루투스(Bluetooth)(등록상표), 또는 WUSB(Wireless USB)용의 통신카드, 광통신용의 라우터, ADSL(Asymmetric Digital Subscriber Line)용의 라우터, 또는 각종 통신용의 모뎀 등이다. 또, 통신부(926)에 접속되는 네트워크(932)는, 유선 또는 무선에 의해 접속된 네트워크에 의해 구성되고, 예를 들면, 인터넷, 가정 내 LAN, 적외선통신, 방송, 또는 위성통신 등이다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시형태에 대하여 설명했으나, 본 발명은 관련되는 예로 한정되지 않는 것임은 말할 것도 없다. 당업자라면, 특허청구의 범위에 기재된 범주 내에 있어서, 각종의 변경예 또는 수정예에 상도(想到)할 수 있는 것임은 명백하며, 그것들에 대하여도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기의 실시형태의 설명에 있어서는, 후방의 프레임을 참조하여 움직임 예측 및 움직임 보상을 실행하는 방법에 대하여 주로 설명했으나, 본 발명의 기술적 범위는 이것에 한정되지 않고, 전방의 프레임, 또는, 전후의 프레임을 참조하여 움직임 예측 및 움직임 보상을 실행하는 것도 가능하다.
이상 설명한 바와 같이, 본 발명에 따르면, 저해상도의 화상데이터 계열을 이용하여 움직임 예측을 실행하고, 또한, 고해상도의 화상데이터를 이용하여 움직임 보상을 실행하여 고해상도의 화상데이터를 생성하고자 하는 경우에, 생성하고자 하는 화상데이터의 시각과 고해상도의 화상데이터의 시각이 떨어져 있어도, 높은 정밀도로 움직임 보상하는 것이 가능하게 된다.

Claims (10)

  1. 복수의 연속한 프레임이 포함되는 동화상 데이터와, 상기 프레임에 대응하고, 또한, 해당 프레임보다 높은 공간해상도를 가지는 하나 또는 복수의 화상데이터를 취득하는 취득부와,
    상기 동화상 데이터를 이용하여 상기 프레임 사이의 움직임 벡터를 검출하는 움직임 예측부와,
    상기 화상데이터와 상기 움직임 벡터에 근거하여, 소정의 상기 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상생성부를 구비하고,
    상기 화상생성부는, 상기 소정의 프레임과 상기 화상데이터에 대응하는 프레임과의 사이에 위치하고, 또한, 상기 프레임에 대응하는 상기 움직임 보상된 화상데이터를 생성하며, 그 움직임 보상된 화상데이터와 상기 움직임 벡터에 근거하여, 상기 소정의 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상처리장치.
  2. 제 1항에 있어서,
    상기 화상생성부는, 상기 화상데이터에 가까운 시각에 대응하는 프레임으로부터 순서대로 움직임 보상을 행하고, 그 움직임 보상된 화상데이터와 상기 움직임 벡터에 근거하여, 순차적으로 상기 소정의 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상처리장치.
  3. 제 1항에 있어서,
    상기 동화상 데이터와 상기 하나 또는 복수의 화상데이터가 기록되는 기억부를 더 구비하고,
    상기 취득부는, 상기 기억부에 기록된 상기 화상데이터와 상기 하나 또는 복수의 화상데이터를 취득하는 화상처리장치.
  4. 제 3항에 있어서,
    상기 기억부에는, 상기 동화상 데이터로서, 낮은 공간해상도 및 높은 시간해상도를 가지는 제 1 화상데이터 계열이 기록되고, 상기 하나 또는 복수의 화상데이터로서, 상기 제 1 화상데이터 계열에 포함되는 상기 프레임에 대응하도록, 상기 제 1 화상데이터 계열보다 높은 공간해상도 및 낮은 시간해상도를 가지는 제 2 화상데이터 계열이 기록되어 있는 화상처리장치.
  5. 제 4항에 있어서,
    상기 동화상 생성부는, 상기 제 1 화상데이터 계열에 포함되고, 또한, 상기 제 2 화상데이터 계열에 포함되지 않은 프레임을 상기 소정의 프레임으로 하여, 해당 소정의 프레임에 대응하는 상기 화상데이터를 생성하여 상기 제 2 화상데이터 계열의 시간해상도를 향상시키는 화상처리장치.
  6. 제 3항에 있어서,
    상기 기억부에는, 상기 동화상 데이터로서, 촬상된 화상신호를 다운 샘플링 처리하여 얻어진 화상데이터 계열이 기록되어 있는 화상처리장치.
  7. 제 1항에 있어서,
    상기 화상생성부는, 상기 차분량이 소정치보다 큰 경우, 상기 움직임 보상시에, 상기 움직임 벡터의 참조원인 상기 소정의 프레임과 상기 움직임 벡터의 참조처인 상기 화상데이터를 합성하는 비율을 상기 차분량에 따라 변경하는 화상처리장치.
  8. 제 1항에 있어서,
    상기 화상생성부는, 상기 화상데이터에 대응하는 프레임과 상기 소정의 프레임의 사이의 차분량이 소정치보다 작은 경우, 해당 화상데이터를 움직임 보상하지 않고 상기 소정의 프레임에 대응하는 화상데이터로서 출력하는 화상처리장치.
  9. 복수의 연속한 프레임이 포함되는 동화상 데이터와, 상기 프레임에 대응하고, 또한, 해당 프레임보다 높은 공간해상도를 가지는 하나 또는 복수의 화상데이터가 취득되는 취득단계와,
    상기 동화상 데이터를 이용하여 상기 프레임 사이의 움직임 벡터가 검출되는 움직임 예측단계와,
    상기 화상데이터와 상기 움직임 벡터에 근거하여, 소정의 상기 프레임에 대응하는 움직임 보상된 화상데이터가 생성되는 화상생성단계를 포함하고,
    상기 화상생성단계에서는, 상기 소정의 프레임과 상기 화상데이터에 대응하는 프레임과의 사이에 위치하고, 또한, 상기 프레임에 대응하는 상기 움직임 보상된 화상데이터가 생성되며, 그 움직임 보상된 화상데이터와 상기 움직임 벡터에 근거하여, 상기 소정의 프레임에 대응하는 움직임 보상된 화상데이터가 생성되는 화상처리방법.
  10. 복수의 연속한 프레임이 포함되는 동화상 데이터와, 상기 프레임에 대응하고, 또한, 해당 프레임보다 높은 공간해상도를 가지는 하나 또는 복수의 화상데이터를 취득하는 취득부와,
    상기 동화상 데이터를 이용하여 상기 프레임 사이의 움직임 벡터를 검출하는 움직임 예측부와,
    상기 화상데이터와 상기 움직임 벡터에 근거하여, 소정의 상기 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상생성부를 구비하고,
    상기 화상생성부에 의해, 상기 소정의 프레임과 상기 화상데이터에 대응하는 프레임과의 사이에 위치하고, 또한, 상기 프레임에 대응하는 상기 움직임 보상된 화상데이터를 생성하며, 그 움직임 보상된 화상데이터와 상기 움직임 벡터에 근거하여, 상기 소정의 프레임에 대응하는 움직임 보상된 화상데이터를 생성하는 화상처리장치가 가지는 각 부의 기능을 컴퓨터에 실현시키기 위한 프로그램.
KR20097024642A 2007-06-18 2008-05-21 화상처리장치, 화상처리방법 및 프로그램 KR20100021574A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007160590A JP4877090B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム
JPJP-P-2007-160590 2007-06-18

Publications (1)

Publication Number Publication Date
KR20100021574A true KR20100021574A (ko) 2010-02-25

Family

ID=40156131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20097024642A KR20100021574A (ko) 2007-06-18 2008-05-21 화상처리장치, 화상처리방법 및 프로그램

Country Status (8)

Country Link
US (1) US8804832B2 (ko)
EP (1) EP2161928B1 (ko)
JP (1) JP4877090B2 (ko)
KR (1) KR20100021574A (ko)
CN (2) CN102833457B (ko)
BR (1) BRPI0813400A2 (ko)
RU (2) RU2446616C2 (ko)
WO (1) WO2008155972A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512255B1 (ko) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008134014A2 (en) * 2007-04-25 2008-11-06 David Chaum Video copy prevention systems with interaction and compression
RU2506711C2 (ru) * 2008-07-25 2014-02-10 Сони Корпорейшн Способ и устройство обработки изображения
US8483495B2 (en) * 2008-07-25 2013-07-09 Sony Corporation Image processing device and method
WO2010035776A1 (ja) * 2008-09-26 2010-04-01 日本電気株式会社 サーバ装置及び通信システムと通信方法とプログラム
JP5146335B2 (ja) * 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
KR20110042980A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 반복 처리를 통해 화질을 개선하는 디스플레이 장치 및 이에 적용되는 영상 처리 방법
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US20110243442A1 (en) * 2010-03-31 2011-10-06 Agrawal Amit K Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
CN102821241B (zh) * 2011-06-10 2015-06-03 华晶科技股份有限公司 利用对象移动趋势驱动快门的装置及方法
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
RU2677003C2 (ru) * 2013-03-15 2019-01-14 Конинклейке Филипс Н.В. Устройство и способ определения сигнала объема дыхания по данным изображения
CN104869381B (zh) * 2014-02-25 2017-07-25 炬芯（珠海）科技有限公司 一种图像处理系统、方法及装置
US20150262380A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Adaptive resolution in optical flow computations for an image processing system
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN105704403B (zh) * 2016-01-18 2019-04-23 深圳市金立通信设备有限公司 一种图像处理的方法及终端
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066760A (ja) * 1992-06-22 1994-01-14 Canon Inc 画像情報再生装置
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
JP3404803B2 (ja) 1993-06-18 2003-05-12 松下電器産業株式会社 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP3240339B2 (ja) * 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
JP3631804B2 (ja) 1995-04-26 2005-03-23 富士写真フイルム株式会社 画像データ記録装置および方法
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
JP4244394B2 (ja) * 1998-02-17 2009-03-25 富士ゼロックス株式会社 多地点会議システム
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
EP1300023A2 (en) * 2000-06-30 2003-04-09 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7949047B2 (en) * 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
JP4288992B2 (ja) 2003-04-04 2009-07-01 ソニー株式会社 撮像装置及び方法
JP4193552B2 (ja) * 2003-04-04 2008-12-10 ソニー株式会社 画像データ記録再生装置及び方法
KR100782829B1 (ko) * 2003-06-10 2007-12-06 렌슬러 폴리테크닉 인스티튜트 움직임 보상 시간 필터링에서 ｉ-블록들을 처리하는 방법
US7512180B2 (en) * 2003-06-25 2009-03-31 Microsoft Corporation Hierarchical data compression system and method for coding video data
TWI255146B (en) 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
US7660487B2 (en) * 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP4453976B2 (ja) 2004-03-30 2010-04-21 正彦 谷内田 画像生成装置、画像データ列生成システム、及び画像伝送システム
JP2006115475A (ja) * 2004-09-15 2006-04-27 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
JP2007096412A (ja) * 2005-09-27 2007-04-12 Victor Co Of Japan Ltd 動画撮影装置及び動画送受信システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512255B1 (ko) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법

Also Published As

Publication number Publication date
US8804832B2 (en) 2014-08-12
EP2161928A4 (en) 2011-01-26
JP2008312162A (ja) 2008-12-25
EP2161928A1 (en) 2010-03-10
RU2506713C2 (ru) 2014-02-10
CN102833457A (zh) 2012-12-19
US20100118963A1 (en) 2010-05-13
CN102833457B (zh) 2016-05-04
RU2446616C2 (ru) 2012-03-27
EP2161928B1 (en) 2013-12-04
BRPI0813400A2 (pt) 2014-12-30
RU2009147046A (ru) 2011-07-10
WO2008155972A1 (ja) 2008-12-24
CN101690189B (zh) 2012-10-10
RU2011141290A (ru) 2013-04-20
CN101690189A (zh) 2010-03-31
JP4877090B2 (ja) 2012-02-15

Similar Documents

Publication Publication Date Title
JP4877090B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
KR101049922B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
JP4887750B2 (ja) 画像処理装置、制御方法及びプログラム
JP2007122232A (ja) 画像処理装置及びプログラム
JP4780222B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2010035157A (ja) 画像処理装置
JP5170296B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5327297B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5327296B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2007019567A (ja) 画像記録再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application