KR20030005409A - 이미지 품질에 대한 알고리즘들의 랜덤 시스템을최적화하기 위한 스케일러블 확장형 시스템 및 방법 - Google Patents

이미지 품질에 대한 알고리즘들의 랜덤 시스템을최적화하기 위한 스케일러블 확장형 시스템 및 방법 Download PDF

Info

Publication number
KR20030005409A
KR20030005409A KR1020027016075A KR20027016075A KR20030005409A KR 20030005409 A KR20030005409 A KR 20030005409A KR 1020027016075 A KR1020027016075 A KR 1020027016075A KR 20027016075 A KR20027016075 A KR 20027016075A KR 20030005409 A KR20030005409 A KR 20030005409A
Authority
KR
South Korea
Prior art keywords
module
video
video processing
qiq
image quality
Prior art date
Application number
KR1020027016075A
Other languages
English (en)
Inventor
알리왈리드
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/912,468 external-priority patent/US6813390B2/en
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030005409A publication Critical patent/KR20030005409A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

최적화 비디오 프로세싱 방법 및 시스템은 이용가능한 계산 리소스들에 대한 최상의 획득가능한 비디오 품질을 위한 알고리즘들을 선택한다. 비디오 프로세싱 모듈은 이용가능한 계산 리소스들의 값과 상관하는 연관된 복잡도 레벨에 따라 임의의 연속하는 캐스케이드된 함수들의 데이터 사이의 비트 정밀도를 결정하고 캐스케이드된 비디오 함수들의 순서를 식별하기 위한 구조적 파라미터들 및 비디오 스트림의 입력을 프로세스한다. 최적화기 모듈은 비디오 스트림의 프로세싱을 최적화 하고, 연관된 복잡도 레벨을 각각 갖는 복수의 최적화 엔진들을 포함한다. 최적화기 모듈은 이용가능한 계산 리소스들의 값과 상관하는 복잡도 레벨에 따라 최적화 엔진을 선택한다. 객관적 이미지 품질(QIQ) 평가기 모듈은 비디오 프로세싱 모듈로부터 비디오 스트림의 출력의 이미지 품질을 평가한다. QIQ 평가기 모듈은 연관된 복잡도 레벨을 갖는 복수의 객관적 이미지 품질 메트릭들을 포함한다. QIQ 평가기 모듈은 이용가능한 계산 리소스들의 상기 값에 대한 복잡도 레벨 및 상관 인수에 따라 메트릭을 선택한다.

Description

이미지 품질에 대한 알고리즘들의 랜덤 시스템을 최적화하기 위한 스케일러블 확장형 시스템 및 방법{Scalable expandable system and method for optimizing a random system of algorithms for image quality}
비디오 프로세싱 시스템에 있어서, 비디오 신호는 다수의 비디오 함수들(예로써, 선명도 강조, 노이즈 감쇠, 컬러 상관 등)에 의해 프로세스된다. 각각의 이러한 함수들은 (소수 또는 다수의) 제어 파라미터들을 필요로 한다.
그러나, 이러한 파라미터들의 일부는 다른 파라미터들이 보다 적은 영향을 미치는 반면에, 픽쳐 품질에 대해 실질적인 영향을 미친다. 또한, 다양한 함수들을 적용하는 순서는 (소프트웨어에 의해 모델링된 비디오 프로세싱 함수들을 실행하는 하드웨어를 구성하기 이전의, 또는 매우 융통성 있는 재구성 가능한 하드웨어를 갖는 경우의) 파라미터일 수 있거나, 비디오 시스템은 정적이고 변경될 수 없다.
비디오 프로세싱 함수들 자체뿐만 아니라, 두개의 다른 모듈들이 있고, 그것들의 복잡도 레벨은 최종 비디오 시스템의 품질을 결정할 것이다.
객관적 이미지 품질(QIQ) 평가기 유닛은 (휘도 신호의 상승 시간과 같은) 단순 신호들의 단순 측정으로부터 휴먼 비전 시스템(HVS)의 정신 물리학을 시뮬레이트하는 상당히 복잡한 시스템까지 복잡도에 따라 변화될 수 있다. 최적화 프로세스는 그리디 과도 검색 엔진(greedy exhaustive search engine)(대부분의 실제 상황들에서 구비하기에 거의 불가능한 막대한 계산 리소스를 필요로 함)으로부터 계산 요구들을 덜 포함하는 스마트한 휴리스틱 방법론(smart heuristic search methodology)까지 복잡도에 따라 변화될 수 있다. 그러므로, 비디오 프로세싱 최적화의 문제점을 모델링하기 위한 다수의 가능한 공식화 작업들이 존재한다.
본 발명은 비디오 품질을 최적화하기 위한 방법들 및 시스템들에 관한 것이다. 특히, 본 발명은 이미지 품질을 향상시키기 위해 이용되는 비디오 알고리즘들의 확장형 방식에 관한 것이다.
도 1은 본 발명에 따른 스케일러블 최적화 시스템을 도시한 개략도.
도 2는 도 1에 도시된 최적화기 모듈을 도시한 상세도.
도 3A는 도 1에 도시된 객관적 이미지 품질 평가기를 도시한 상세도.
도 3B는 스케일러블 다이내믹 객관적 메트릭의 흐름을 예시한 도면.
도 4는 본 발명의 방법을 도시한 순서도.
도 5는 도 4에 도시된 순서도의 연속을 도시한 도면.
본 발명에 따라, 비디오 품질을 최적화하기 위한 시스템은 이용가능한 계산 리소스들에 대해 최상의 획득가능한 객관적 이미지 품질을 제공하도록 스케일러블 최적화 패러다임을 포함한다.
최적화 비디오 프로세싱 시스템은:
- 비디오 스트림의 입력을 프로세싱하기 위한 비디오 프로세싱 모듈로서, 이용가능한 계산 리소스들의 값과 상관하는 연관된 복잡도 레벨에 따라 임의의 연속하는 캐스케이드된 함수들 사이의 비트 정밀도를 결정하고 캐스케이드된 비디오 함수들의 순서를 식별하기 위해 구조적 파라미터들을 포함하는, 상기 비디오 프로세싱 모듈;
- 상기 비디오 스트림의 프로세싱을 최적화하기 위한 최적화기 모듈로서, 상기 비디오 프로세싱 모듈과 통신하고, 연관된 복잡도 레벨을 각각 갖는 복수의 최적화 엔진들을 포함하며, 이용가능한 계산 리소스들의 값과 상관하는 복잡도 레벨에 따라 최적화 엔진을 선택하기 위한 수단을 포함하는, 상기 최적화기 모듈; 및
- 상기 비디오 프로세싱 모듈로부터 상기 비디오 스트림의 출력의 이미지 품질을 평가하기 위한 객관적 이미지 품질(QIQ) 평가기 모듈로서, 연관된 복잡도 레벨을 갖는 복수의 객관적 이미지 품질 메트릭들을 포함하며, 이용가능한 계산 리소스들의 값에 대한 복잡도 레벨 및 상관 인수 ri에 따라 메트릭을 선택하기 위한 수단을 포함하는, 상기 객관적 이미지 품질 평가기 모듈을 포함한다.
QIQ 평가기 모듈에 의해 메트릭을 선택하기 위한 수단은 다음에 따르는 방정식에 따라 결정된 상관 인수 R을 결정하는 단계를 포함할 수도 있다:
F는 (시스템에서 판정된 비디오의 품질의) 최종 메트릭이고, F는 중량부 wi의 세트를 찾아냄으로서 결정되며, 중량부 wi의 세트는 복수의 객관적 메트릭들의 각각의 개별적 메트릭 fi(1부터 n까지의 범위)에 의해 곱해질 때, 미리 결정된 주관적 평가를 갖는 상관 인수 R을 최대화한다.
시스템은 또한, 비디오 프로세싱 모듈, 최적화기 모듈, 및 QIQ 평가기 모듈 중 적어도 하나의 연관된 복잡도 레벨을 선택하기 위한 계산 리소스 분석기를 갖는다.
최적화기 모듈은 결정적 및 비결정적 최적화 엔진들 둘 모두를 포함할 수도있다.
최적화기 모듈은 유전적인 알고리즘(GA), 시뮬레이트된 어닐링(SA: simulated annealing), 타부 검색(TS: tabu search), 시뮬레이트된 진화(SE), 및 추계적 진화(stochastic evolution) 중 적어도 하나를 포함하는 휴리스틱 검색 엔진들을 포함할 수도 있다.
비디오 프로세싱 모듈, 최적화기 모듈, 및 QIQ 평가기 모듈 중 적어도 하나는 스케일러블일 수 있다.
계산 리소스 분석기 모듈은 비디오 프로세싱 모듈, 최적화기 모듈, 및 QIQ 평가기 모듈에 대해, 상기 모듈들 중 하나에 대해 이용가능한 계산 리소스들을 검출하여, 복잡도 레벨을 선택할 수도 있다.
이용가능한 계산 리소스들에 대한 비디오 알고리즘들을 최적화하기 위한 방법은:
(a) 이용가능한 계산 리소스들의 값과 상관하는 복잡도의 연관된 레벨에 따라 비디오 프로세싱 모듈에서의 비디오 스트림 입력의 프로세싱에 대한 비디오 프로세싱 모듈에 의해 캐스케이드된 비디오 함수들의 순서를 식별하는 단계;
(b) 상기 비디오 스트림의 프로세싱을 최적화하기 위한 최적화 방법을 선택하는 단계로서, 상기 최적화 방법은 이용가능한 계산 리소스들의 값과 상관하는 연관된 복잡도 레벨에 따라 복수의 최적화 방법들로부터 선택되는, 최적화 방법 선택 단계;
(c) 상기 비디오 스트림이 상기 비디오 프로세싱 모듈로부터 출력된 후에,상기 비디오 스트림의 객관적 이미지 품질을 평가하는 단계;
상기 비디오 스트림의 상기 객관적 이미지 품질의 평가 단계는 계산 리소스들의 값에 대한 연관된 복잡도 레벨 및 상관 인수에 따라 복수의 메트릭들로부터 메트릭을 선택하여 결정된다.
단계(c)에서 객관적 이미지 품질의 평가 단계는 다음에 따르는 방정식에 따라 결정된 상관 인수 R을 결정하는 단계를 포함할 수도 있다:
F는 최종 메트릭(시스템에 의해 판정된 비디오의 품질)이고, F는 중량부 wi의 세트를 찾아냄으로서 결정되며, wi의 세트는 복수의 메트릭들의 각각의 개별적 메트릭 fi(1부터 n까지의 범위)에 의해 곱해질 때, 미리 결정된 주관적 평가를 갖는 상관 인수 R을 최대화한다.
상기 방법은:
(d) 계산 리소스 분석기에 의해 단계(a), (b), 및 (c) 중 적어도 하나의 연관된 복잡도 레벨을 선택하는 단계를 더 포함한다.
단계(b)에서 선택된 복수의 최적화 방법들은 결정적 및 비결정적 최적화 방법들 둘 모두 포함할 수도 있다.
복수의 최적화 방법들은 유전적인 알고리즘(GA), 시뮬레이트된 어닐링(SA), 타부 검색(TS), 시뮬레이트된 진화(SE), 및 추계적 진화 중 적어도 하나를 포함하는 휴리스틱 검색 엔진들을 포함한다.
단계(d)에서 선택된 연관된 복잡도 레벨은 단계들(a), (b), 및 (c) 중 적어도 하나에 대한 이용가능한 계산 리소스들을 검출하는 단계를 포함할 수도 있다.
단계(a)에서 기술된 비디오 프로세싱 모듈은 스케일러블하다.
단계(b)는 최적화 방법을 선택하기 위한 스케일러블 최적화기를 제공하는 단계를 포함할 수도 있다.
단계(c)는 객관적 이미지 품질을 평가하기 위한 스케일러블 객관적 이미지 품질 평가기를 제공하는 단계를 포함할 수도 있다.
시스템은 또한, 비디오 프로세싱 모듈, 최적화기 모듈, 스케일러블 객관적 이미지 품질(QIQ) 평가기 모듈, 및 계산 리소스 분석기를 포함할 수도 있다.
비디오 프로세싱 모듈은 복수의 비디오 프로세싱 함수들 F1, F2, .....Fn을 포함한다. 각각의 함수는 1 ≤i ≤n 인 파라미터 Pi의 세트를 가지며, 결과적인 이미지 품질에 대해 그들의 영향에 의해 상승적으로 정렬된다. 비디오 프로세싱 모듈은 그 자신의 구조적 파라미터들의 세트를 가지며, 상기 구조적 파라미터들은 임의의 두개의 계속되는 함수들 사이의 데이터 버스의 비트 정밀도뿐만 아니라 캐스케이드된 비디오 프로세싱 함수들의 순서를 기술한다.
최적화기 모듈은 복수의 가능한 최적화 메카니즘들을 갖는 스케일러블 최적화기이다. 최적화기 모듈은 복잡도에 따라 변화하는 다수의 최적화 검색 엔진들 및 그에 대응하여 요구되는 리소스들을 포함할 수도 있다. 검색 엔진들은 과도하거나휴리스틱한 것일 수 있다.
스케일러블 QIQ-평가기 모듈은 서로 다른 복잡도의 레벨들을 갖는 복수의 QIQ 메트릭들을 포함한다. 복잡도 레벨들의 테이블은 각각의 메트릭에 대해 평가되는 복잡도 및 모든 구성요소 메트릭 방법들을 포함하는 QIQ-평가기 모듈에 의해 지속된다.
계산 리소스 분석기 모듈은 중재기이며, 상기 중재기는 이용가능한 계산 리소스들에 기초하여 모든 다른 모듈들에 대해 복잡도의 어느 레벨이 호출되어야 하는지 결정할 것이다.
도 1은 본 발명에 따른 스케일러블 최적화 시스템 예시한 개략도이다. 도 1에 따라, 비디오 프로세싱 모듈(100), 시스템 최적화기 모듈(200), 객관적 이미지 평가기 모듈(300), 및 선택적 계산 리소스 분석기 모듈(400)이 있다.
비디오 프로세싱 모듈(100)은 캐스케이드된 비디오 함수들의 순서를 식별하고, 임의의 연속하는 캐스케이드된 함수들의 데이터 사이의 비트 정밀도를 결정하기 위한 구조적 파라미터들을 포함한다.
도 1에 도시된 바와 같이, 다수의 비디오 프로세싱 함수들(102)(F1부터 Fn까지의 범위)이 있고, 각각의 함수는 P1부터 Pn까지의 범위에 있는, 구조적 파라미터들 Pi의 세트(105)를 갖는다. 파라미터들 Pi(1 ≤i ≤n)의 세트는 결과적인 이미지 품질에 대해 그들의 영향에 의해 상승적으로 정렬된다.
도 2는 도 1에 도시된 최적화기 모듈(110)의 상세한 예를 도시한다. 이런 모듈은 복잡도, 표현, 및 요구된 계산 리소스들에 따라 변화하는 최적화 방법들(220)로서 불릴 수 있는 다수의 최적화 엔진들(m개의 검색 엔진들)을 포함한다. 최적화 방법들(220)은 다수의 휴리스틱 검색 엔진들뿐만 아니라 단순한 과도 검색 방법론(모든 미리 규정된 파라미터들을 그들의 값들의 범위 전반에 걸쳐 혼란하게 한다)을 포함할 수도 있다.
최적화기 모듈은 또한, 테이블(230)에서 각각의 방법들의 평가된 복잡도 레벨의 레코드를 유지한다. 최적화기 모듈은 임의의 탐색된 엔진이 상기 모듈에 부가될 수도 있기 때문에, 다른 방법들의 다른 복잡도 레벨들을 갖는 상기 모듈의 상대적 복잡도 레벨이 규정되는 한, 확장 가능하다. 이용가능한 리소스들에 의해 공급될 수 있는 적절한 복잡도 레벨에 기초하여, 최적화기 모듈에서 파라미터 및 제어 신호들 디스패처(parameter and control signals dispatcher)(235)는 적절한 최적화 엔진을 호출한다. 디스패처는 적절한 방법(예로써, 엔진) 및 구조적 파라미터들을 호출하기 위한 제어 신호들을 포함한다. 이러한 실시예에 있어서, 추천되는 복잡도 레벨은 계산 리소스 분석기(130)(도 1에 도시됨)에 의해 선택 및/또는 공급되지만, 계산 리소스 분석기는 선택 사양이다. 추천된 복잡도 레벨은 예를 들면, 최적화기 모듈에 의해 선택될 수도 있다.
국한되지 않는 예로서, 최적화기 모듈에서 상기 방법들의 일부는 그리디 방법으로부터 변할 수도 있는 휴리스틱 방법들일 수 있고, 양호한 솔루션은 더욱 국부적인 휴리스틱 검색 방법들, 예들 들면, 유전적인 알고리즘들(GA's), 시뮬레이트된 어닐링(SA), 타부 검색(TS), 시뮬레이트된 진화(SE), 추계적 진화(SE), 및 상당히 많은 이러한 방법들의 임의의 혼성에서의 단계들로 구조화된다.
최적화기 모듈에 관하여, 이전에 언급된 여러 휴리스틱 검색 방법들의 예들은 본 명세서에서 지금부터 더욱 자세히 기술된다. 그러나, 이러한 방법들은 본 기술 분야의 기술자들에 의해 공지되어 있다.
휴리스틱 방법들에 따라 이용될 때의 비디오 프로세싱 알고리즘들은 예를 들면, 유전적 알고리즘들(GA)을 이용할 수도 있다. GA 방법은 최상의 이미지 품질을 허가하는 시스템 구성으로 발전될 것이다.
GA 방법은 적절한 값으로 평가되고 할당되는, 잠재적 "후보(candidate)" 솔루션들의 그룹을 지속하는 반복 절차들이다. GA 방법은 복잡한 문제들을 해결하기 위한 공지된 절차들이고, Kronsjo 및 Shumshesuddin에 의한, 저서의 명칭이 "패럴렐 알고리즘에서의 진보들"에서, 섹션의 명칭이 "최적화 및 적응에서의 유전적 알고리즘"인, 페이지 227-276은 배경 자료로서 참조로 본 명세서에 포함된다.
GA 방법은 염색체 스트링들의 형태로 인코딩된 후보 솔루션들의 집단을 유지하는 반복 절차들이다. 각각의 염색체는 서로 다른 비디오 프로세싱 모듈들이 접속되는 일정한 방법을 규정하여, 시퀀스들이 프로세스되는 방법을 규정한다. 차례로, 각각의 염색체는 다수의 유전자들을 포함하고, 상기 유전자들은 비디오 최적화 프로세스의 경우에서 그들의 순서일 뿐만 아니라 비디오 프로세싱 함수들이다.
시뮬레이트된 어닐링은 고정된 알고리즘이 아닌 방법론이고, 글로벌 최소화는 최적화기 모듈에 의해 이용될 복잡도 레벨에 관련하여 솔루션에 대해 계산된다.
TABU 검색은 조합 최적화 문제들을 해결하기 위해 이용되는 적합한 절차이고, 상기 적합한 절차는 디센딩 힐(descending hill)의 탐사를 지속하도록, 그것이 이전에 나타났던 이전 최적 조건으로 복귀하지 않도록, 휴리스틱을 지시할 수도 있다.
시뮬레이트된 진화는 일련의 방정식들이 일련의 세대들에 걸쳐 복잡도 레벨에 대한 적합성을 결정하기 위해 이용되는 방법이다.
추계적 진화는 일반적으로 유전적 프로그래밍에서의 시간을 규정하는 파라미터에 의존하는 유전적 랜덤 변수들을 이용하는 방법이다.
도 3A는 QIQ 평가기 모듈을 도시한 상세도이다. QIQ 평가기 모듈(300)은 복잡도에 따라 변하는 다수의 객관적 이미지 품질 메트릭들[K개의 메트릭들(320)]로 구성된다. QIQ 모듈은 테이블(330)에서 각각의 방법의 평가된 복잡도 레벨뿐만 아니라 QIQ 모듈 구성요소 메트릭들의 레코드를 유지한다. QIQ 모듈은 임의의 제시된 메트릭이 QIQ 모듈에 부가될 수 있기 때문에, 그것의 상대적 복잡도 레벨이 우선적으로 규정되는 한, 확장가능하다. 이용가능한 리소스들에 의해 제공될 수 있는 적절한 복잡도 레벨에 기초하여, QIQ 모듈에서의 비디오 스트림 디스패처(310)는 적절한 QIQ 메트릭을 호출한다.
메트릭들에 관하여, 각각의 객관적 메트릭(320)은 감도지수로 언급되는, 퍼포먼스 및 허용가능한 복잡도의 희망되는 레벨에 따라 등급을 갖는다. 다시 말하면, 감도 지수는 개개의 메트릭에 기초하여 비디오 신호의 품질을 나타낸다. 비디오 품질의 휴먼 인식을 갖는 상관 인수는 스케일러블 모델을 허가하고, 새로운 객관적 메트릭들은 시스템들로부터, 휴먼 인식을 갖는 상기 시스템의 상관이 규정되는 한, 부가되거나 제거될 수 있다.
도 3B는 복잡도 레벨들(330)의 테이블의 세부사항을 갖는 도 3A에 도시된 스케일러블 객관적 메트릭들(320)을 예시한 도면이다. 각각의 메트릭들은 제 1 메트릭 f1으로부터의 "1" 및 마지막 메트릭 fn으로부터의 "n"을 갖는 상관 인수(R, 1≤i ≤n)를 갖는다. 각각의 단일 상관 인수에 기초하여, 다음 방정식에 따라 미리 결정된 주관적 결과를 갖는 최종 합성 메트릭 F의 종합 상관 인수 R을 최대화하기 위해 시도하는 동안, 평가기는 메트릭의 각각의 수치에 대해 중량부 wi를 제시한다:
고속 시스템들(실시간)에 대해, 복잡화된 측정 메트릭들은 스위치 오프될 수 있고, 의사결정은 메트릭의 상기 복잡화된 측정 메트릭들의 수치들의 부재에서 이루어진다. 시뮬레이션 및 비디오 체인 최적화 목적들을 위해, 시간적 여유가 있는 경우, 보다 복잡화된 메트릭들은 스위치 온되고, 그들의 결과들은 최종 객관적 측정에 기여한다.
추가적인 계산 리소스 분석기 모듈(400)은 이용가능한 계산 리소스들의 검출을 제공하고, QIQ 모듈에 대한 적절한 복잡도 레벨뿐만 아니라 적절한 분석기 복잡도를 결정한다.
그러므로, 특정 복잡화된 메트릭들이 실시간을 고려하기 때문에 스위치 오프될 수 있는것 처럼, 계산 리소스들의 이용가능한 값은 리소스들이 이용가능한 용량을 초과할 수도 있기 때문에, 선택 단계로부터 특정 메트릭들을 제거하기 위해 QIQ 평가기 모듈에 제공될 수 있다. 이러한 값은 또한, 시스템 최적화기 모듈(200)에 의해 수신될 수 있고, 그것에 의해 선택된 최적화 방법(220)은 주어진 이용가능한 리소스들내에 적합해야 할 것이다.
마지막 결과는 선택된 알고리즘들이 최상의 객관적 이미지 품질을 얻기 위해 이용될 수 있는 이용가능한 리소스들에 따라 최적화되는 것이다. 이러한 객관적 이미지 품질은, 차례로, 휴먼 비전 시스템의 주요 이미지 품질에 상관한다. 일반적인 시점에서 리소스들의 이용가능성에 따라서, 서로 다른 알고리즘들 및/또는 서로 다른 메트릭들은 주어진 화상을 위해 선택될 수도 있다. 이러한 유연한 접근은 정적 시스템을 통해 리소스들의 이용가능성을 초과 실행하지 않도록 알고리즘 또는 메트릭을 선택하는 단계와 관련하여 보존적 문턱이 필요할 수 있기 때문에, 이미지 품질을 최대화한다. 리소스들이 알고리즘 또는 메트릭의 필요에 의해 초과 실행되는경우, 대체 알고리즘이 주어진 시간에서의 리소스 용량내에서 적합하도록 선택되는 동안에 휴먼 비전에 의한 시스템 인터럽션 및 그에 따른 인지가능한 시간 경과가 있다.
도 4 내지 도 5는 본 발명에 따른 방법의 기초 개관을 예시하는 순서도이다.
단계(a)에서 자세히 기술된 바와 같이, 캐스케이드된 비디오 함수들의 순서를 식별하는 단계가 있다.
단계(b)는 비디오 스트림의 프로세싱을 최적화하기 위한 최적화 방법의 선택 단계가 있음을 자세히 기술한다.
단계(c)는 비디오 스트림이 상관 인수, 및 계산 리소스들의 값에 대해 연관된 복잡도 레벨에 따라 메트릭을 선택하여 비디오 프로세싱 모듈로부터 출력된 후에, 비디오 스트림의 객관적 이미지 품질의 평가 단계가 있음을 자세히 기술한다.
도 5는 이전에 기술된 방정식에 따라 상관을 결정하여 단계(c)에서 객관적 이미지 품질의 평가 단계를 기술한다.
상술된 바와 같이, 계산 리소스 모듈은 최적화기 모듈 및/또는 QIQ 모듈의 양쪽/어느 한쪽에서의 일정한 복잡도 레벨을 지시하기 위한 희망이 있는 경우, 바이패스될 수 있다.
상기 시스템 및 방법들에서의 다양한 변경들은 본 발명의 정신 및 첨부된 특허 청구범위로부터 벗어나지 않는 본 기술 분야의 당업자들에 의해 이루어질 수 있다.
본 발명에 따라, 비디오 품질을 최적화하기 위한 시스템은 스케일러블 최적화 패러다임을 포함하여 이용가능한 계산 리소스들에 대해 최상의 획득가능한 객관적 이미지 품질을 제공한다.

Claims (14)

  1. 최적화 비디오 프로세싱 시스템에 있어서,
    - 비디오 스트림의 입력을 프로세싱하기 위한 비디오 프로세싱 모듈(100)로서, 캐스케이드된 비디오 함수들(102)의 순서를 식별하고, 이용가능한 계산 리소스들의 값과 상관하는 연관된 복잡도 레벨에 따라 임의의 연속하는 캐스케이드된 함수들의 데이터 사이의 비트 정밀도를 결정하기 위한 구조적 파라미터들(105)을 포함하는 상기 프로세싱 모듈(100),
    - 상기 비디오 스트림의 프로세싱을 최적화하기 위한 최적화기 모듈(200)로서, 상기 비디오 프로세싱 모듈과 통신하고, 연관된 복잡도 레벨(230)을 각각 갖는 복수의 최적화 엔진들(220)을 포함하며, 이용가능한 계산 리소스들의 상기 값과 상관하는 복잡도 레벨에 따라 최적화 엔진(220)을 선택하기 위한 수단을 포함하는 상기 최적화기 모듈(200), 및
    - 상기 비디오 프로세싱 모듈로부터 상기 비디오 스트림(310)의 출력의 이미지 품질을 평가하기 위한 객관적 이미지 품질(QIQ: Object Image Quality) 평가기 모듈(300)로서, 연관된 복잡도 레벨(330)을 갖는 복수의 객관적 이미지 품질 메트릭들(320)을 포함하며, 이용가능한 계산 리소스들의 상기 값에 대한 복잡도 레벨 및 상관 인수 R에 따라 상기 복수의 객관적 메트릭들로부터 메트릭(310)을 선택하기 위한 수단을 포함하는 상기 QIQ 평가기 모듈을 포함하는, 최적화 비디오 프로세싱 시스템.
  2. 제 1 항에 있어서,
    상기 QIQ 평가기 모듈에 의해 상기 메트릭을 선택하기 위한 상기 수단은 다음의 방정식에 따라 결정된 상기 상관 인수 R을 결정하는 단계를 포함하고;
    F는 상기 시스템에 의해 판정된 상기 비디오의 품질의 최종 메트릭이고, F는 중량부들 wi의 세트를 찾아냄으로서 결정되며, 상기 중량부들 wi의 세트는 상기 복수의 객관적 메트릭들의 각각의 개별적 메트릭 fi(fi는 1부터 n까지의 범위에 있다)에 의해 곱해질 때, 미리 결정된 주관적 평가를 갖는 상관 인수 R을 최대화하는, 최적화 비디오 프로세싱 시스템.
  3. 제 1 항에 있어서,
    상기 비디오 프로세싱 모듈, 상기 최적화기 모듈, 및 상기 QIQ 평가기 모듈 중 적어도 하나의 연관된 복잡도 레벨을 선택하기 위해 계산 리소스 분석기(400)를 더 포함하는, 최적화 비디오 프로세싱 시스템.
  4. 제 1 항에 있어서,
    상기 최적화기 모듈은 결정적 및 비결정적 최적화 엔진들 둘 모두를 포함하는, 최적화 비디오 프로세싱 시스템.
  5. 제 4 항에 있어서,
    상기 최적화기 모듈은 유전적 알고리즘들(GA), 시뮬레이트된 어닐링(SA: simulated annealing), 타부 검색(TS: tabu search), 시뮬레이트된 진화(SE), 및 추계적 진화(stochastic evolution) 중 적어도 하나를 포함하는 휴리스틱 검색 엔진들(heuristic search engines)을 포함하는, 최적화 비디오 프로세싱 시스템.
  6. 제 2 항에 있어서,
    상기 최적화기 모듈은 유전적 알고리즘들(GA), 시뮬레이트된 어닐링(SA), 타부 검색(TS), 시뮬레이트된 진화(SE), 및 추계적 진화 중 적어도 하나를 포함하는 휴리스틱 검색 엔진들을 포함하는, 최적화 비디오 프로세싱 시스템.
  7. 제 1 항에 있어서,
    상기 최적화기 모듈은 스케일러블한, 최적화 비디오 프로세싱 시스템.
  8. 제 2 항에 있어서,
    상기 최적화기 모듈은 스케일러블한, 최적화 비디오 프로세싱 시스템.
  9. 제 1 항에 있어서,
    상기 QIQ 평가기 모듈은 스케일러블한, 최적화 비디오 프로세싱 시스템.
  10. 제 2 항에 있어서,
    상기 QIQ 평가기 모듈은 스케일러블한, 최적화 비디오 프로세싱 시스템.
  11. 제 7 항에 있어서,
    상기 QIQ 평가기 모듈은 스케일러블한, 최적화 비디오 프로세싱 시스템.
  12. 제 2 항에 있어서,
    상기 계산 리소스 분석기 모듈은 상기 비디오 프로세싱 모듈, 상기 최적화기 모듈, 및 상기 QIQ 평가기 모듈 중 적어도 하나에 대한 이용가능한 계산 리소스들을 검출함으로서 상기 비디오 프로세싱 모듈, 상기 최적화기 모듈, 및 상기 QIQ 평가기 모듈 중 적어도 하나에 대한 복잡도 레벨을 선택하는, 최적화 비디오 프로세싱 시스템.
  13. 이용가능한 계산 리소스들에 대한 비디오 알고리즘들을 최적화하기 위한 방법에 있어서,
    (a) 이용가능한 계산 리소스들의 값과 상관하는 복잡도의 연관된 레벨에 따라 상기 비디오 프로세싱 모듈에서의 비디오 스트림 입력을 프로세싱하기 위해 비디오 프로세싱 모듈에 의해 캐스케이드된 비디오 함수들의 순서를 식별하는 단계,
    (b) 상기 비디오 스트림의 프로세싱을 최적화하기 위한 최적화 방법을 선택하는 단계로서, 상기 최적화 방법은 이용가능한 계산 리소스들의 상기 값과 상관하는 연관된 복잡도 레벨에 따라 복수의 최적화 방법들로부터 선택되는, 최적화 방법 선택 단계, 및
    (c) 상기 비디오 스트림이 상기 비디오 프로세싱 모듈로부터 출력된 후에, 상기 비디오 스트림의 객관적 이미지 품질을 평가하는 단계를 포함하며;
    상기 비디오 스트림의 상기 객관적 이미지 품질의 평가 단계는 계산 리소스들의 상기 값에 대한 연관된 복잡도 레벨 및 상관 인수 R에 따라 복수의 메트릭들로부터 메트릭을 선택함으로서 결정되는, 비디오 알고리즘들 최적화 방법.
  14. 제 13 항에 있어서,
    단계(c)에서 상기 객관적 이미지 품질의 평가 단계는 다음의 방정식에 따라 상기 상관 인수 R을 결정하는 단계를 포함하고;
    F는 상기 시스템에 의해 판정된 상기 비디오의 품질의 최종 메트릭이고, F는 중량부들 wi의 세트를 찾아냄으로서 결정되며, 상기 중량부들 wi의 세트는 상기 복수의 메트릭들의 각각의 개별적 메트릭 fi(fi는 1부터 n까지의 범위에 있다)에 의해 곱해질 때, 미리 결정된 주관적 평가를 갖는 상관 인수 R을 최대화하는, 비디오 알고리즘들 최적화 방법.
KR1020027016075A 2001-03-29 2002-03-28 이미지 품질에 대한 알고리즘들의 랜덤 시스템을최적화하기 위한 스케일러블 확장형 시스템 및 방법 KR20030005409A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US27981501P 2001-03-29 2001-03-29
US60/279,815 2001-03-29
US09/912,468 2001-07-25
US09/912,468 US6813390B2 (en) 2001-07-25 2001-07-25 Scalable expandable system and method for optimizing a random system of algorithms for image quality

Publications (1)

Publication Number Publication Date
KR20030005409A true KR20030005409A (ko) 2003-01-17

Family

ID=26959901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027016075A KR20030005409A (ko) 2001-03-29 2002-03-28 이미지 품질에 대한 알고리즘들의 랜덤 시스템을최적화하기 위한 스케일러블 확장형 시스템 및 방법

Country Status (5)

Country Link
EP (1) EP1433134A2 (ko)
JP (1) JP2004527172A (ko)
KR (1) KR20030005409A (ko)
CN (1) CN1511303A (ko)
WO (1) WO2002080563A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798834B1 (ko) * 2003-08-22 2008-01-28 니뽄 덴신 덴와 가부시키가이샤 영상품질 평가장치, 영상품질 평가방법, 영상품질 평가프로그램을 기록한 기록매체

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345875B (zh) * 2008-09-03 2013-08-07 北京中星微电子有限公司 一种视频算法开发平台及其开发方法
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
CN102170581B (zh) * 2011-05-05 2013-03-20 天津大学 基于hvs的ssim与特征匹配立体图像质量评价方法
US9934043B2 (en) 2013-08-08 2018-04-03 Linear Algebra Technologies Limited Apparatus, systems, and methods for providing computational imaging pipeline
US11768689B2 (en) 2013-08-08 2023-09-26 Movidius Limited Apparatus, systems, and methods for low power computational imaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835627A (en) * 1995-05-15 1998-11-10 Higgins; Eric W. System and method for automatically optimizing image quality and processing time
WO1997039417A2 (en) * 1996-03-29 1997-10-23 Sarnoff Corporation Method and apparatus for training a neural network to use a fidelity metric

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798834B1 (ko) * 2003-08-22 2008-01-28 니뽄 덴신 덴와 가부시키가이샤 영상품질 평가장치, 영상품질 평가방법, 영상품질 평가프로그램을 기록한 기록매체
KR100824711B1 (ko) * 2003-08-22 2008-04-24 니뽄 덴신 덴와 가부시키가이샤 영상 정합 장치, 영상 정합 방법, 및 영상 정합 프로그램을기록한 기록매체

Also Published As

Publication number Publication date
WO2002080563A2 (en) 2002-10-10
CN1511303A (zh) 2004-07-07
EP1433134A2 (en) 2004-06-30
JP2004527172A (ja) 2004-09-02
WO2002080563A3 (en) 2004-03-11

Similar Documents

Publication Publication Date Title
US7778715B2 (en) Methods and systems for a prediction model
US20070250630A1 (en) Method and a system of generating and evaluating potential resource allocations for an application
CN110956202B (zh) 基于分布式学习的图像训练方法、系统、介质及智能设备
CN111031346A (zh) 一种增强视频画质的方法和装置
CN111008631A (zh) 图像的关联方法及装置、存储介质和电子装置
CN113869521A (zh) 构建预测模型的方法、装置、计算设备和存储介质
US6813390B2 (en) Scalable expandable system and method for optimizing a random system of algorithms for image quality
KR20030005409A (ko) 이미지 품질에 대한 알고리즘들의 랜덤 시스템을최적화하기 위한 스케일러블 확장형 시스템 및 방법
CN112035234B (zh) 分布式批量作业分配方法及装置
CN112801231A (zh) 用于业务对象分类的决策模型训练方法和装置
CN110728372B (zh) 一种人工智能模型动态加载的集群设计方法及集群系统
Baccour et al. RL-PDNN: Reinforcement learning for privacy-aware distributed neural networks in IoT systems
CN114830137A (zh) 用于生成预测模型的方法和系统
Tesser et al. Selecting efficient VM types to train deep learning models on Amazon SageMaker
CN112511649B (zh) 多接入边缘计算方法及设备
CN113657501A (zh) 模型自适应训练方法、装置、设备、介质及程序产品
CN114327925A (zh) 一种电力数据实时计算调度优化方法及系统
Hu et al. An evolutionary approach to hardware/software partitioning
CN112884361A (zh) 多场景的装备组合方法、系统、计算机设备和存储介质
KR20210125729A (ko) 인공 신경망의 웨이트 갱신 시스템 및 방법
EP3825873A1 (en) System with big data analysis device for cloud platforms and the operation method thereof
CN112463556B (zh) 一种卷可见的等待时间的预测方法、系统、设备以及介质
CN115237610B (zh) 一种基于Kubernetes容器云平台的弹性伸缩方法、装置及应用
CN115146261B (zh) 应对数字云服务的数据威胁处理方法及服务器
CN115168016B (zh) 任务调度方法及相关装置、芯片、器件和介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid