KR20100053680A - 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체 - Google Patents

화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR20100053680A
KR20100053680A KR1020107007424A KR20107007424A KR20100053680A KR 20100053680 A KR20100053680 A KR 20100053680A KR 1020107007424 A KR1020107007424 A KR 1020107007424A KR 20107007424 A KR20107007424 A KR 20107007424A KR 20100053680 A KR20100053680 A KR 20100053680A
Authority
KR
South Korea
Prior art keywords
image
pixel position
difference
image information
bit depth
Prior art date
Application number
KR1020107007424A
Other languages
English (en)
Other versions
KR101136506B1 (ko
Inventor
히데아키 기마타
신야 시미즈
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20100053680A publication Critical patent/KR20100053680A/ko
Application granted granted Critical
Publication of KR101136506B1 publication Critical patent/KR101136506B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)

Abstract

화상A와, 화상A보다도 비트 심도가 높은 화상B로부터 화상C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상A를 톤 매핑하여 화상B와 같은 비트 심도를 가진 화상C를 작성하고, 화상C의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하여 대응점이 있다고 추정된 화상C중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정한다. 대응점 추정에서 대응점이 없다고 추정된 화상C중의 화소 위치의 화상 정보를 대응점이 있다고 추정되어 설정된 화상 정보로부터 작성하도록 해도 좋다.

Description

화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체{Image generation method, device, its program and recording medium stored with program}
본 발명은 여러 개의 화상으로부터 고비트 심도의 화상을 생성하는 기술에 관한 것이다.
본원은 2007년 10월 15일에 출원된 일본특원2007-267613호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.
도 11은 직선 배열의 다시점 촬상계, 도 12는 평면 배열의 다시점 촬상계, 도 13은 아크형 배열의 다시점 촬상계, 도 14는 구면 배열의 다시점 촬상계의 카메라 배치예를 도시한 도면이다.
하나의 씬을 다른 방향에서 촬영하는 다시점 촬상계가 개발되어 있다. 다시점 촬상계에서 카메라 배치는, 도 11에 도시한 것처럼 직선상에 1차원 배열이거나, 도 12에 도시한 것처럼 평면상에 2차원 배열이거나, 또 도 13에 도시한 것처럼 아크형으로 배열한 것이나, 도 14에 도시한 것처럼 구면형으로 배열한 것 등 여러가지이다. 이와 같은 다시점 촬상계를 이용하면, 다면적인 영상 씬을 파일묶음(archive)할 수(하나로 통합할 수) 있게 된다.
나아가 다시점으로 촬영된 카메라 영상으로부터 촬영되지 않은 가상 카메라 위치의 화상 정보를 생성하는 기술이 있다. 이것을 화상 합성 기술이라고 부른다.
화상 합성에서는, 본래의 카메라 영상은 공간중 어느 방향에서 촬영한 화상 정보인지를 나타내는 카메라 파라미터를 이미 알고 있다고 가정한다. 화상 합성에는 여러가지 방법이 있다.
예를 들면, 깊이 정보를 추정하여 합성하는 방법이 있다. 우선 본래의 카메라 영상간에 화상 정보의 대응점을 탐색하여 시차 정보를 구하고 시차 정보로부터 씬의 깊이 정보를 추정한다. 그리고 가상 카메라 위치의 깊이 정보를 추정하여 대응하는 화상 정보를 본래의 카메라의 화상 정보로부터 작성한다(비특허문헌 1 참조).
또 깊이 정보를 추정할 것도 없이 원화상의 시차 정보를 이용하여 직접 가상 카메라 위치의 화상 정보를 작성하는 방법도 있다(비특허문헌 2 참조).
혹은 여러 개의 카메라 영상으로부터 씬에 존재하는 오브젝트의 3차원 모델 정보를 추정하여 놓고, 가상 카메라 위치에서의 해당 모델의 투영 화상을 생성하는 방법도 있다(비특허문헌 3 참조).
이와 같은 촬상계에서는 통상 비트 심도(계조)가 같은 카메라를 사용하지만, 비트 심도가 다른 카메라를 사용해도 좋다. 비트 심도가 높은 카메라와 비트 심도가 낮은 카메라를 조합하여 사용함으로써 얻어지는 화상 정보의 정보량을 줄일 수 있다.
비트 심도가 낮은 화상에서 비트 심도가 높은 화상을 얻는 방법으로서 톤 매핑 방법을 들 수 있다(비특허문헌 4 참조). 이것은 양자화된 값을 보다 높은 다이나믹 레인지의 신호로 매핑하는 기술이다.
비특허문헌 1: Keita Takahashi and Takeshi Naemura, "Layered Light-Field Rendering with Focus Measurement", EURASIP Signal Processing: Image Communication, vo1.21, no.6, pp.519-530(2006.7). 비특허문헌 2: M.Droese, T.Fujii and M.tanimoto, "Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation", Proc.of IWSSIP2004, pp.247-250, Poznan, Poland, Sept.2004. 비특허문헌 3: 마츠야마 다카시, 다카이 다케시, 우소군(Wu Xiaojun), 노부하라 쇼헤이: 「3차원 비디오 영상의 촬영·편집·표시」, 일본 버추얼 리얼리티 학회 논문지, Vo1.7, No.4, pp.521-532,2002.12. 비특허문헌 4: E. Reinhard, M.Stark, P.Shirley and J.Fenverda, "Photographic Tone Reproduction for Digital Images", presented at SIGGRAPH, 2002.
본 발명은 비트 심도가 다른 다시점 영상을 취급하는 발명자가 착안한 신규 기술에 대해서, 낮은 비트 심도의 화상이 잃어버린 높은 다이나믹 레인지로 표현되는 정보를 복원하여 낮은 비트 심도의 화상에 대한 주관적인 품질을 향상시키는 것을 목적으로 한다.
비트 심도가 다른 다시점 영상을 취급하는 것은 종래에는 수행되지 않았다. 즉, 본 발명의 과제는 비트 심도가 다른 다시점 영상을 취급하는 새로운 기술적 착상으로부터 생긴 과제이다.
다시점 촬상계에서 비트 심도가 다른 카메라를 사용한 경우에는 낮은 비트 심도의 화상과 높은 비트 심도의 화상이 혼재된다. 또 같은 비트 심도의 카메라로 촬영한 경우라 해도, 예를 들면 일부 카메라 영상의 비트 심도를 낮춤으로써 정보량을 삭감할 수 있기 때문에 다시점 화상의 압축에는 적합한 경우가 있다. 이 경우에도 낮은 비트 심도의 화상과 높은 비트 심도의 화상이 혼재된다.
이상과 같은 경우에는 낮은 비트 심도의 화상 정보에는 높은 다이나믹 레인지로 표현되는 정보가 누락되어 있다. 따라서 낮은 비트 심도로 촬영된 카메라 위치의 화상 정보는 높은 비트 심도로 촬영된 카메라 위치의 화상 정보에 비해 주관 품질이 떨어진다는 문제가 있다.
따라서 본 발명은 상기 문제점의 해결을 꾀하여 낮은 비트 심도의 화상이 잃어버린 높은 다이나믹 레인지로 표현되는 정보를 복원하여 낮은 비트 심도의 화상에 대한 주관적인 품질을 향상시키는 기술을 제공한다.
본 발명의 개요에 대해서 설명하기로 한다. 예를 들면, 비트 심도가 다른 여러 개의 카메라로 동일 씬을 촬영함으로써 취급하는 화상 정보의 총정보량을 줄일 수 있다. 따라서 이 경우, 다시점 영상의 부호량을 대폭 줄일 수 있다.
비트 심도란, 예를 들면 8비트나 10비트라는, 신호의 다이나믹 레인지를 가리킨다. 촬영되지 않은 레인지가 있으면(즉, 다이나믹 레인지가 좁아지면) 그 부분의 정보가 누락되어 주관 품질이 나빠지기 때문에 다시점 영상의 부호량을 삭감하려고 하는 경우에 문제가 된다.
본 발명에서는 잃어버린 레인지의 정보를 복원함으로써 이 문제를 해결한다. 애당초 비트 심도가 다른 다시점 영상을 취급하는 것은 종래에 실행되지 않았다. 본 발명의 과제는, 비트 심도가 다른 다시점 영상을 취급하는 새로운 기술적 착상으로부터 생긴 과제이다.
본 발명은 이 과제를 해결하기 위해 다른 카메라로 촬영된 비트 심도가 높은 정보를 사용하여 목적으로 하는 화상의 비트 심도가 높은 정보를 복원하는 기술적 수단을 사용함으로써 비트 심도가 다른 여러 개의 카메라로 촬영한 다시점 영상을 취급할 경우에 주관적인 화상 품질을 떨어뜨리지 않고 취급하는 화상 정보의 총정보량을 줄일 수 있도록 한다.
본 발명은 화상A와, 화상A보다도 비트 심도가 높은 화상B로부터 화상C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상A를 톤 매핑하여 화상B와 같은 비트 심도를 가진 화상C를 작성하는 화상 비트 심도 확대 단계와, 화상C의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정 단계와, 대응점 추정 단계에서 대응점이 있다고 추정된 화상C중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계를 실행하는 방법을 제공한다.
이 화상 생성 방법에 의하면, 다른 화상에 포함되는 높은 다이나믹 레인지의 정보를 사용하여 원하는 화상에 대한 높은 비트 심도의 화상을 생성할 수 있다. 이 때 생성하는 화소 위치에 대응하는 화상 신호가 다른 화상에 없는 경우에는 원래의 낮은 비트 심도를 톤 매핑으로 확대한 화상 정보를 사용함으로써 화상 정보의 누락을 막을 수 있다.
대응점의 추정에는, 대응점 정보를 별도 입력으로서 주는 경우와, 대응점을 화상 정보를 사용하여 탐색하는 경우를 들 수 있다. 대응점 정보를 별도로 주는 경우에는 씬의 깊이 정보나 기하 정보를 사전에 추정해 놓고 거기에서 화상간의 대응점을 추정하도록 해도 좋다.
대응점의 탐색에는, 대응하는 화소간(화상C의 각 화소에 대해 화상B의 1개∼여러 개의 화소 후보)에서 차분의 절대값을 구하여 그 값의 최소값이 사전에 설정한 문턱값 이하인 경우에는 그 최소값이 되는 점을 대응점으로 추정하고, 문턱값보다도 큰 경우에는 대응점은 없다고 추정해도 좋다.
이 경우의 문턱값을 낮은 비트 심도의 화상 정보와 함께 파일화해 놓는 것도 바람직하다. 파일화된 낮은 비트 심도의 화상 정보로부터 높은 비트 심도의 화상 정보를 생성할 때에 파일에 포함되는 문턱값을 사용함으로써 생성할 때에 항상 같은 화상이 얻어지는 것을 보장할 수 있다.
어느 씬을 여러 방향에서 촬영할 경우 비트 심도가 다른 카메라를 이용할 경우에 낮은 비트 심도의 카메라의 화상에 대해 다른 높은 비트 심도의 카메라의 화상을 이용하여 높은 비트 심도의 화상을 생성할 수 있다. 이 방법은 다시점 화상뿐만 아니라 단안(單眼)의 동화상에도 적용할 수 있다. 즉, 동화상중의 각 프레임의 비트 심도가 다른 경우에 낮은 비트 심도의 프레임의 화상에 대해 다른 높은 비트 심도의 프레임의 화상을 이용하여 높은 비트 심도의 화상을 생성할 수 있다.
상기 방법에서 대응점 추정 단계에서 대응점이 없다고 추정된 화상C중의 화소 위치의 화상 정보를 대응 화상 설정 단계에서 설정된 화상 정보로부터 작성하는 화상 보간 단계를 더 마련해도 좋다.
이 경우, 생성하는 화소 위치에 대응하는 화상 신호가 다른 화상에 없는 경우에는 주위에 있는 생성된 높은 비트 심도의 화상 신호로부터 보간하여 작성함으로써 화상 정보의 누락을 막을 수 있다.
또 본 발명은 화상A와, 화상A보다도 비트 심도가 높은 화상B로부터 화상C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상A를 톤 매핑하여 화상B와 같은 비트 심도를 가진 화상D를 작성하는 화상 비트 심도 확대 단계와, 화상D의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정 단계와, 대응점 추정 단계에서 대응점이 있다고 추정된 화상D중의 화소 위치와 같은 화상E중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계와, 대응점 추정 단계에서 대응점이 없다고 추정된 화상D중의 화소 위치와 같은 화상E중의 화소 위치의 화상 정보를 대응 화상 설정 단계에서 설정된 화상 정보로부터 작성하는 화상 보간 단계와, 화상E를 톤 매핑하여 화상A와 같은 비트 심도를 가진 화상F를 작성하는 화상 비트 심도 축소 단계와, 화상A의 각 화소 위치에서 화상A의 화상 정보와, 같은 화소 위치의 화상F의 화상 정보와의 차분을 구하는 차분 작성 단계와, 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 작은 경우에는 대응하는 화상C의 각 화소 위치에 화상E의 화상 정보를 설정하고, 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 큰 경우에는 대응하는 화상C의 각 화소 위치에 화상D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계를 실행하는 방법을 제공한다.
전형예로서 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는,
(i)대응하는 화상C의 각 화소 위치에 화상D의 화상 정보를 설정하거나, 또는
(ii)대응하는 화상C의 각 화소 위치에 화상D의 화상 정보와 화상E의 화상 정보를 가중 평균한 값을 설정
하도록 한다.
이 화상 생성 방법에 의하면, 원하는 화상과 다른 화상과의 대응점의 추정에 오차가 있는 경우에 상술한 발명과 동일하게 생성한 높은 비트 심도의 화상을 사용하는 대신에 원래의 낮은 비트 심도를 톤 매핑으로 확대한 화상 정보를 사용하거나 생성한 높은 비트 심도의 화상 정보와 원래의 낮은 비트 심도를 톤 매핑으로 확대한 화상 정보의 가중 평균값을 사용함으로써 추정 오차에 의한 화질 열화를 줄일 수 있다.
또 본 발명은 같은 비트 심도를 가진 화상A와 화상B로부터 화상C의 화상 정보를 생성하는 화상 생성 방법으로서, 화상A를 톤 매핑하여 비트 심도가 작은 화상G를 작성하는 기준 화상 비트 심도 축소 단계와, 화상G를 톤 매핑하여 화상A와 같은 비트 심도를 가진 화상D를 작성하는 화상 비트 심도 확대 단계와, 화상D의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정 단계와, 대응점 추정 단계에서 대응점이 있다고 추정된 화상D중의 화소 위치와 같은 화상E중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계와, 대응점 추정 단계에서 대응점이 없다고 추정된 화상D중의 화소 위치와 같은 화상E중의 화소 위치의 화상 정보를 대응 화상 설정 단계에서 설정된 화상 정보로부터 작성하는 화상 보간 단계와, 화상E를 톤 매핑하여 화상G와 같은 비트 심도를 가진 화상F를 작성하는 화상 비트 심도 축소 단계와, 화상G의 각 화소 위치에서 화상G의 화상 정보와, 같은 화소 위치의 화상F의 화상 정보와의 차분을 구하는 차분 작성 단계를 실행하고, 사전에 설정한 범위로 문턱값을 설정하는 문턱값 설정 단계와, 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 화상C의 각 화소 위치에 화상E의 화상 정보를 설정하고, 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 화상C의 각 화소 위치에 화상D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계와, 화상 선택 단계에서 얻어지는 화상C와 화상A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계 단계를 문턱값을 바꾸면서 실행하고, 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정 단계를 실행하는 방법을 제공한다
전형예로서 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는,
(i)대응하는 화상C의 각 화소 위치에 화상D의 화상 정보를 설정하거나, 또는
(ii)대응하는 화상C의 각 화소 위치에 화상D의 화상 정보와 화상E의 화상 정보를 가중 평균한 값을 설정
하도록 한다.
이 화상 생성 방법에 의하면, 화상을 낮은 비트 심도로 변환하여 높은 비트 심도로 변환할 경우에, 상술한 방법으로 높은 비트 심도의 화상을 생성할 때에 대응점의 추정 오차에 의한 열화 크기를 검출하여 열화가 가장 작아지도록, 상술한 방법과 동일하게 생성한 높은 비트 심도의 화상을 선택하는 문턱값을 결정할 수 있다. 원래의 높은 비트 심도의 화상 정보도 존재하기 때문에 열화의 크기를 검출할 수 있다.
이 문턱값 파라미터는 다음과 같이 이용할 수 있다. 우선 이 문턱값을 추정해 놓고 문턱값 파라미터로서 낮은 비트 심도의 화상 정보에 부수시켜 둔다. 예를 들면 낮은 비트 심도의 화상과 다른 화상과 함께 이 문턱값 파라미터도 파일화해 놓는다. 이 파일에는 낮은 비트 심도로 변환하기 전의 화상 정보는 포함시키지 않는다. 따라서 본래의 화상보다도 낮은 비트 심도의 화상 정보를 파일화하기 때문에 파일 사이즈를 줄일 수 있다. 이 파일을 재생할 때에는 낮은 비트 심도의 화상과 다른 화상으로부터 상기 문턱값 파라미터를 이용하여 높은 비트 심도의 화상을 생성할 수 있다. 이때 주관 품질의 열화를 최소화한 높은 비트 심도의 화상을 생성할 수 있다.
또 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에 상기 (ii)의 수법을 사용할 경우에는 낮은 비트 심도의 화상을 톤 매핑으로 확대한 화상을 생성한 화상의 신호에 사용하는 것이 아니라 원래의 높은 비트 심도의 화상과 가중 평균한 값을 사용하기 때문에 낮은 비트 심도의 화상을 톤 매핑 확대함에 따른 화상의 보케(Bokeh; 빛망울 현상 또는 흐려짐 현상)를 줄일 수 있다.
본 발명은 또 상기 각 방법에 의해 화상을 생성하는 화상 생성 장치도 제공한다.
본 발명에 의하면 저비트 심도로 촬영된 카메라 위치의 화상 정보에 대해 다른 고비트 심도로 촬영된 카메라 위치의 화상 정보를 이용하여 높은 비트 심도의 화상 정보를 생성할 수 있다. 이로 인해 주관 품질의 열화를 줄일 수 있다.
도 1은 본 발명의 제1 실시예인 화상 생성 장치의 구성을 도시한 도면이다.
도 2는 동실시예의 화상 생성 장치의 동작을 도시한 흐름도이다.
도 3은 본 발명의 제2 실시예인 화상 생성 장치의 구성을 도시한 도면이다.
도 4는 동실시예의 화상 생성 장치의 동작을 도시한 흐름도이다.
도 5는 본 발명의 제3 실시예인 화상 생성 장치의 구성을 도시한 도면이다.
도 6은 동실시예의 화상 생성 장치의 동작을 도시한 흐름도이다.
도 7은 동실시예의 변형예인 화상 생성 장치의 구성을 도시한 도면이다.
도 8은 본 발명의 제4 실시예인 화상 생성 장치의 구성을 도시한 도면이다.
도 9는 동실시예의 화상 생성 장치의 동작을 도시한 흐름도이다.
도 10은 동 실시예의 변형예인 화상 생성 장치의 구성을 도시한 도면이다.
도 11은 직선 배열의 다시점 촬상계를 도시한 도면이다.
도 12는 평면 배열의 다시점 촬상계를 도시한 도면이다.
도 13은 아크형 배열의 다시점 촬상계를 도시한 도면이다.
도 14는 구면 배열의 다시점 촬상계를 도시한 도면이다.
도면을 사용하여 본 발명의 화상 생성 장치의 실시예를 설명하기로 한다.
〔제1 실시예〕
제1 실시예로서, 다른 카메라로 촬영된 저비트 심도의 화상A와 고비트 심도의 화상B로부터 화상A에 대응하는 고비트 심도(화상B의 비트 심도에 대응)의 화상C를 생성하는 경우의 예를 나타낸다. 여기에서 카메라로 촬영되는 신호는 전부 YUV신호(휘도Y, 색차U,V)에 의해 색신호가 설정되어 있는 것으로 하고, 실시예에서는 Y신호만 취급하는 것으로 한다.
도 1에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는 화상A의 비트 심도를 확대하여 화상B와 같은 비트 심도를 가진 화상C를 작성하는 화상 비트 심도 확대부(101)와, 화상C의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정부(102)와, 대응점 추정부(102)에서 대응점이 있다고 추정된 화상C중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(103)를 구비한다.
여기에서 화상 비트 심도 확대부(101)에서는 화상의 비트 심도를 비특허문헌 4에 나타나 있는 방법(톤 매핑)으로 확대하여 화상을 작성하는 것으로 한다.
또 대응점 추정부(102)에서는 카메라 파라미터 또는 기지의 매칭 기술을 사용하여 화상C의 각 화소에 대해서 (화상B중의) 대응하는 화소의 후보를 (1개∼여러 개) 가정하고 대응하는 화소간에 차분의 절대값을 구하여 그들 절대값의 최소값이 사전에 설정한 문턱값 이하인 경우에는 그 최소값이 되는 점을 대응점으로 추정하고, 문턱값보다도 큰 경우에는 화상C의 해당 화소에 대해서는 대응점은 없다고 추정하는 것으로 한다.
이상을 전제로 하여 도 1에 도시한 화상 생성 장치는 다음과 같이 동작한다. 도 2에 그 흐름도를 도시한다.
우선 화상 비트 심도 확대부(101)는 화상A를 톤 매핑 확대하여 화상C를 작성한다(단계S10). 그리고 대응점 추정부(102)는 화상C와 화상B의 대응점 유무와 위치를 상술한 것과 같은 방법으로 추정한다(단계S11). 대응 화상 설정부(103)는 대응점 추정부(102)에서 대응점이 있다고 추정된 화상C의 각 화소에 대해 화상B의 대응점의 화상 정보를 설정한다(단계S12). 이상에 의해 화상C를 생성한다.
아울러 화상 비트 심도 확대부(101)에서는 다른 톤 매핑방법을 사용해도 좋다. 또 대응점 추정부(102)는 화소간에 차분의 절대값을 구했으나, 추정하는 대상의 화소를 중심으로 한 여러 개의 화소로 이루어진 블럭을 사용하여 추정해도 좋다. 예를 들면, 화상C의 각 화소에 대해서 화상B중의 대응하는 화소의 후보를 (1개∼여러 개) 가정하고 각 후보를 중심으로 한 여러 개의 화소로 이루어진 블럭내의 화소와의 차분의 절대값의 합계를 구하여 그 합계값이 최소가 되는 후보의 위치를 대응점으로서 추정해도 좋다.
이상의 예에서는, 다른 카메라로 촬영된 저비트 심도의 화상A와 고비트 심도의 화상B로부터 고비트 심도의 화상C를 생성했으나, 같은 카메라로 촬영한 소정 시각(時刻)의 저비트 심도의 화상A와, 다른 시각(時刻)의 고비트 심도의 화상B로부터 고비트 심도의 화상C를 생성해도 좋다.
또 상술한 것처럼 화상A와 화상B로부터 화상A에 대응하는 화상C를 작성하였으나, 화상B는 여러 개 있어도 좋다. 화상B가 2개(B1과 B2) 있는 경우의 예를 다음에 나타낸다. 구성은 같지만 다음과 같이 동작한다.
우선, 화상 비트 심도 확대부(101)는 화상A를 톤 매핑 확대하여 화상C를 작성한다.
그리고 대응점 추정부(102)는 화상C와 화상B1의 대응점 유무와 위치를 상기와 같은 방법으로 추정한다. 대응 화상 설정부(103)는 대응점 추정부(102)에서 대응점이 있다고 추정된 각 위치에서의 화상B1의 화상 정보를 화상C에 설정한다.
다음으로 대응점 추정부(102)는 화상C와 화상B2의 대응점 유무와 위치를 동일하게 추정한다. 대응 화상 설정부(103)는 대응점 추정부(102)에서 대응점이 있다고 추정된 각 위치에서의 화상B2의 화상 정보를 화상C에 설정한다.
이상에 의해 화상C를 생성한다.
화상B1과 화상B2의 쌍방에 대응점이 있다고 추정된 경우, 사전에 정한 어느 한쪽의 화상 정보를 우선시켜 화상C로 설정해도 좋고, 대응하는 화상C의 화소와의 차분이 작은 쪽의 화상B1 또는 화상B2의 화상 정보를 화상C로 설정해도 좋고 화상B1과 화상B2의 화상 정보의 평균값을 화상C로 설정해도 좋다.
화상B가 3개 이상 있는 경우에도 동일하게 고비트 심도의 화상C를 생성할 수 있다
이하에 설명하는 다른 실시예에 대해서도 여러 개의 화상B가 있는 경우에 동일하게 실시할 수 있다.
〔제2 실시예〕
다음으로 제2 실시예로서, 제1 실시예와 마찬가지로 다른 카메라로 촬영된 저비트 심도의 화상A와 고비트 심도의 화상B로부터 화상A에 대응하는 고비트 심도의 화상C를 생성하는 경우의 예를 나타낸다. 단, 대응점이 없는 경우에는 주위의 고비트 심도의 화상 정보로부터 보간하여 생성하는 경우의 예를 나타낸다.
도 3에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는 화상A의 비트 심도를 확대하여 화상C를 작성하는 화상 비트 심도 확대부(201)와, 화상C의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정부(202)와, 대응점 추정부(202)에서 대응점이 있다고 추정된 화상C중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(203)와, 대응점 추정부(202)에서 대응점이 없다고 추정된 화상C중의 화소 위치의 화상 정보를 대응 화상 설정부(203)에 설정된 화상 정보로부터 작성하는 화상 보간부(204)를 구비한다.
화상 보간부(204)에서는 화상C중의 화소에서 대응점이 없다고 추정된 화소의 화상 정보를, 대응점이 있다고 가정하여 화상B로부터 화상 정보가 설정된 화소 위치의 해당 화상 정보로부터 작성한다. 이 때, 화상B로부터 화상 정보가 설정된 화소 위치로부터의 거리에 따라 선형 보간을 한다.
이상을 전제로 하여 도 3에 도시한 화상 생성 장치는 다음과 같이 동작한다. 도 4에 그 흐름도를 도시한다.
우선 화상 비트 심도 확대부(201)는 화상A를 톤 매핑 확대하여 화상C를 작성한다(단계S20). 그리고 대응점 추정부(202)는 화상C와 화상B의 대응점 유무와 위치를 추정한다(단계S21). 대응 화상 설정부(203)는 대응점 추정부(202)에서 대응점이 있다고 추정된 화상C의 각 화소에 대해 화상B의 대응점의 화상 정보를 설정한다(단계S22). 화상 보간부(204)는 대응점 추정부(202)에서 대응점이 없다고 추정된 화소 위치에 대해서 대응 화상 설정부(203)에서 이미 설정된 화상 정보로부터 보간하여 화상 정보를 작성한다(단계S23). 이상에 의해 화상C를 생성한다.
화상 보간부(204)에서는 선형 보간에 의해 화상 정보를 생성하였으나, 비선형 처리를 사용하여 화상 정보를 생성해도 좋다. 모두 대응 화상 설정부(203)에서 설정된 화상 정보를 이용하여 생성한다.
〔제3 실시예〕
다음으로 제3 실시예로서, 제1 실시예와 마찬가지로 다른 카메라로 촬영된 저비트 심도의 화상A와 고비트 심도의 화상B로부터 화상A에 대응하는 고비트 심도(화상B의 비트 심도에 대응)의 화상C를 생성하는 경우의 예를 나타낸다. 단, 생성한 화상 정보의 다이나믹 레인지를 축소한 화상과 본래의 화상A와의 차가 적은 화소 위치에만 생성한 화상 정보를 적용하는 경우의 예를 나타낸다.
이하의 설명에서 화상D는 화상A를 처음에 톤 매핑 확대한 화상, 화상E는 화상D와 동사이즈(같은 화소 구성)인 일시적인 처리용 화상이다.
또 화상F는 화상E를 톤 매핑 축소하여 작성한, 비트 심도가 작은 화상(화상A와 같은 비트 심도를 가진 일시적인 처리용 화상)이다.
도 5에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는, 화상A를 톤 매핑 확대하여 화상D를 작성하는 화상 비트 심도 확대부(301)과, 화상D의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정부(302)와, 대응점 추정부(302)에서 대응점이 있다고 추정된 화상D중의 화소 위치와 같은 화상E중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(303)와, 대응점 추정부(302)에서 대응점이 없다고 추정된 화상D중의 화소 위치와 같은 화상E중의 화소 위치의 화상 정보를 대응 화상 설정부(303)에서 설정된 화상 정보로부터 작성하는 화상 보간부(304)와, 화상E를 톤 매핑하여 비트 심도가 작은 화상F를 작성하는 화상 비트 심도 축소부(305)와, 화상A의 각 화소 위치에서 화상A의 화상 정보와, 같은 화소 위치의 화상F의 화상 정보와의 차분을 구하는 차분 작성부(306)와, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 화상C의 각 화소 위치에 화상E의 화상 정보를 설정하고, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 문턱값보다 큰 경우에는 대응하는 화상C의 각 화소 위치에 화상D의 화상 정보를 설정하는 화상 선택부(307)를 구비한다.
화상 비트 심도 축소부(305)에서는, 예를 들면 비특허문헌 4에 나타나는 방법에 따라 비트 심도가 작은 화상 정보(즉, 화상F)를 생성한다.
차분 작성부(306)에서는 각 화소 위치에서 상기 차분을 작성하는 것으로 한다.
화상 선택부(307)에서는 사전에 차분의 문턱값을 설정해 놓고 차분 작성부(306)에서 얻어지는 차분과 비교하는 것으로 한다.
이상을 전제로 하여 도 5에 도시한 화상 생성 장치는 다음과 같이 동작한다. 도 6에 그 흐름도를 도시한다.
우선, 화상 비트 심도 확대부(301)는 화상A를 톤 매핑 확대하여 화상D를 작성한다(단계S30). 그리고 대응점 추정부(302)는 화상D와 화상B의 대응점 유무와 위치를 추정한다(단계S31). 대응 화상 설정부(303)는 대응점 추정부(302)에서 대응점이 있다고 추정된 위치에서의 화상B의 화상 정보를 화상E에 설정한다(단계S32).
화상 보간부(304)는 대응점 추정부(302)에서 대응점이 없다고 추정된 위치에 대해서 대응 화상 설정부(303)에서 이미 설정된 화상 정보로부터 보간하여 화상E의 화상 정보를 작성한다(단계S33).
화상 비트 심도 축소부(305)는 화상E를 톤 매핑 축소하여 비트 심도가 작은 화상F를 작성한다(단계S34). 차분 작성부(306)는 화상A와 화상F의 차분을 작성한다(단계S35).
화상 선택부(307)에서는 차분 작성부(306)에서 얻어지는 차분에 따라 각 화소 위치에 대해서 화상E 또는 화상D를 선택하여 화상C를 생성한다(단계S36).
아울러 화상 비트 심도 축소부(305)에서는 다른 수법을 사용하여 비트 심도가 작은 화상을 작성해도 좋다.
또 차분 작성부(306)에서는 대상 화소를 중심으로 한 블럭간의 차분을 작성해도 좋다(제1 실시예 참조).
그런데 화상 선택부(307)에서는 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 작은 경우에는 대응하는 화상C의 각 화소 위치에 화상E의 화상 정보를 설정하고, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 큰 경우에는 대응하는 화상C의 각 화소 위치에 화상D의 화상 정보를 설정하였다.
이 화상 선택부(307) 대신에 도 7에 도시한 화상 생성부(308)를 마련해도 좋다.
도 7에 장치 개요를 도시한다. 이 경우, 화상 생성부(308)에서는 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 화상C의 각 화소 위치에 화상E의 화상 정보를 설정하고, 차분 작성부(306)에서 구한 각 화소 위치에서의 차분이 큰 경우에는 대응하는 화상C의 각 화소 위치에 화상D의 화상 정보와 화상E의 화상 정보를 가중 평균한 값을 설정한다.
이에 따르면, 차분이 큰 경우에 톤 매핑 확대한 화상D를 사용하는 것이 아니라 톤 매핑 확대한 화상D와 다른 화상으로부터 생성한 화상E의 가중 평균을 사용할 수 있다. 본 수법은 톤 매핑 확대한 화상D의 열화가 큰 경우에 바람직하다.
〔제4 실시예〕
다음으로 제4 실시예로서 다른 카메라에서 촬영된 같은 비트 심도의 화상A와 B가 있고, 화상A의 축소 화상과 화상B에서 화상A에 가까운 화상C를 생성하는 경우의 예를 나타낸다. 여기에서는 생성한 화상 정보의 다이나믹 레인지를 축소한 화상과 본래의 화상A와의 차가 적은 화소 위치에만 생성한 화상 정보를 적용하는 경우의 예를 나타낸다. 이 실시예에서는 각 화소 위치에서의 2화상간의 차분에 대한 문턱값도 추정하는 것이 특징이다.
도 8에 장치 개요를 도시한다. 본 실시예에서의 화상 생성 장치는,
·화상A를 톤 매핑하여 비트 심도가 작은 화상G를 작성하는 기준 화상 비트 심도 축소부(412)와,
·화상G를 톤 매핑 확대하여 화상A,B와 같은 비트 심도의 화상D를 작성하는 화상 비트 심도 확대부(401)와,
·화상D의 각 화소 위치와 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정부(402)와,
·대응점 추정부(402)에서 대응점이 있다고 추정된 화상D중의 화소 위치와 같은 화상E(동사이즈의 일시적인 처리 화상)중의 화소 위치에 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부(403)와,
·대응점 추정부(402)에서 대응점이 없다고 추정된 화상D중의 화소 위치와 같은 화상E중의 화소 위치의 화상 정보를 대응 화상 설정부(403)에서 설정된 화상 정보로부터 작성하는 화상 보간부(404)와,
·화상E를 톤 매핑하여 비트 심도가 작은(화상G와 같은 비트 심도의) 화상F를 작성하는 화상 비트 심도 축소부(405)와,
·화상G의 각 화소 위치에서 화상G의 화상 정보와, 같은 화소 위치의 화상F의 화상 정보와의 차분을 구하는 차분 작성부(406)와,
·사전에 설정한 범위에서 여러 개의 문턱값을 설정하는 문턱값 설정부(410)와,
·문턱값 설정부(410)에서 설정한 각 문턱값에 대해 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 화상C의 각 화소 위치에 화상E의 화상 정보를 설정하고, 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 문턱값보다 큰 경우에는 대응하는 화상C의 각 화소 위치에 화상D의 화상 정보를 설정하는 화상 선택부(407)와,
·화상 선택부(407)에서 얻어지는 화상C와 화상A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계부(409)와,
·생성 차분 합계부(409)에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정부(411)
를 구비한다.
문턱값 설정부(410)에서는 문턱값으로서 10부터 50까지 10씩 문턱값을 증가시키는 것으로 한다.
이상을 전제로 하여 도 8에 도시한 화상 생성 장치는 다음과 같이 동작한다. 도 9에 그 흐름도를 도시한다.
우선, 기준 화상 비트 심도 축소부(412)는 화상A로부터 톤 매핑에 의해 비트 심도가 작은 화상G를 작성한다(단계S40).
화상 비트 심도 확대부(401)는, 화상G로부터 비트 심도가 큰(화상A,B와 같은 비트 심도를 가진) 화상D를 작성한다(단계S41).
그리고 대응점 추정부(402)는 화상D와 화상B의 대응점 유무와 위치를 추정한다(단계S42).
대응 화상 설정부(403)는 대응점 추정부(402)에서 대응점이 있다고 추정된 위치에서의 화상B의 화상 정보를 화상E에 설정한다(단계S43).
화상 보간부(404)는 대응점 추정부(402)에서 대응점이 없다고 추정된 위치에 대해서 대응 화상 설정부(403)에서 이미 설정된 화상 정보로부터 보간하여 화상E의 화상 정보를 작성한다(단계S44).
화상 비트 심도 축소부(405)는 화상E로부터 비트 심도가 작은 화상F를 작성한다(단계S45).
차분 작성부(406)는 화상G와 화상F의 차분을 작성한다(단계S46). 계속해서 문턱값 설정부(410)에서는 문턱값을 10으로 설정한다(단계S47).
화상 선택부(407)에서는 차분 작성부(406)에서 얻어지는 차분과 문턱값을 비교하여 각 화소 위치마다 화상E 또는 화상D를 선택하여 화상C를 생성한다(단계S48).
생성 차분 합계부(409)는 화상C와 화상A와의 차분의 합계를 구한다(단계S49).
이상의 문턱값 설정부(410)와 화상 선택부(407)와 생성 차분 합계부(409)의 처리를, 문턱값을 10씩 늘리면서 50까지 반복하여 실행한다(단계S50, S51).
계속해서 문턱값 결정부(411)는 생성 차분 합계부(409)에서 얻어지는 값이 최소가 되는 경우의 문턱값을 결정한다(단계S52).
상기 구성에서 화상 선택부(407) 대신에 화상 생성부(408)를 사용해도 좋다. 도 10에 장치 개요를 도시한다.
화상 생성부(408)에서는 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 작은 경우에는 대응하는 화상C의 각 화소 위치에 화상E의 화상 정보를 설정하고, 차분 작성부(406)에서 구한 각 화소 위치에서의 차분이 큰 경우에는 대응하는 화상C의 각 화소 위치에 화상D의 화상 정보와 화상E의 화상 정보를 가중 평균한 값을 설정한다.
이상의 실시예에서는 여러 개의 카메라 입력 영상에 대한 처리를 설명하였다. 이 방법은 이와 같은 다시점 화상뿐만 아니라 단안의 동화상에도 적용할 수 있다.
즉, 동화상중의 각 프레임의 비트 심도가 다른 경우에 저비트 심도의 프레임의 화상에 대해 다른 고비트 심도의 프레임의 화상을 이용하여 높은 비트 심도의 화상을 생성할 수 있다.
예를 들면, 저비트 심도의 프레임을 화상A로 하고 다른 고비트 심도의 프레임을 화상B로 하여 고비트 심도의 화상C를 생성하는 처리에 적용할 수 있다.
또 본 실시예에서는 취급하는 신호를 Y신호로 하였으나, 이것은 RGB 등의 다른 색신호여도 좋다.
또 YUV신호가 있어 Y신호의 비트 심도가 같지만, UV신호의 비트 심도가 다른 경우에도 적용할 수 있다. 이 경우에는 화상 확대부에서 UV신호만 확대하고 Y신호는 그대로 복사한다. 그리고 대응점 추정부에서의 대응점 추정 처리를 U 또는 V신호를 확대한 신호가 아닌 Y신호로 수행해도 좋다.
이상의 화상 생성 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며 그 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공할 수도 있고, 네트워크를 통해 제공할 수도 있다.
본 발명에 의하면, 저비트 심도로 촬영된 카메라 위치의 화상 정보에 대해 다른 고비트 심도로 촬영된 카메라 위치의 화상 정보를 이용하여 높은 비트 심도의 화상 정보를 생성할 수 있다. 이로 인해 주관 품질의 열화를 줄일 수 있다.
101,201,301,401 화상 비트 심도 확대부
102,202,302,402 대응점 추정부
103,203,303,403 대응 화상 설정부
204,304,404 화상 보간부
305,405 화상 비트 심도 축소부
306,406 차분 작성부
307,407 화상 선택부
308,408 화상 생성부
409 생성 차분 합계부
410 문턱값 설정부
411 문턱값 결정부
412 기준 화상 비트 심도 축소부

Claims (18)

  1. 제1 화상A와, 화상A보다도 비트 심도가 높은 제2 화상B로부터 제3 화상C의 화상 정보를 생성하는 화상 생성 방법으로서,
    제1 화상A를 톤 매핑 확대하여 화상B와 같은 비트 심도를 가진 제3 화상C를 작성하는 화상 비트 심도 확대 단계,
    제3 화상C의 각 화소 위치와 제2 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정 단계,
    상기 대응점 추정 단계에서 대응점이 있다고 추정된 제3 화상C중의 화소 위치에 제2 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계,
    를 실행하는 것을 특징으로 하는 화상 생성 방법.
  2. 제1항에 있어서, 상기 대응점 추정 단계에서 대응점이 없다고 추정된 제3 화상C중의 화소 위치의 화상 정보를 상기 대응 화상 설정 단계에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간 단계,
    를 더 실행하는 것을 특징으로 하는 화상 생성 방법.
  3. 제1 화상A와, 화상A보다도 비트 심도가 높은 제2 화상B으로부터 제3 화상C의 화상 정보를 생성하는 화상 생성 방법으로서,
    제1 화상A를 톤 매핑 확대하여 화상B와 같은 비트 심도를 가진 제4 화상D를 작성하는 화상 비트 심도 확대 단계,
    제4 화상D의 각 화소 위치와 제2 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정 단계,
    상기 대응점 추정 단계에서 대응점이 있다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치에 제2 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계,
    상기 대응점 추정 단계에서 대응점이 없다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치의 화상 정보를 상기 대응 화상 설정 단계에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간 단계,
    제5 화상E를 톤 매핑 축소하여 화상A와 같은 비트 심도를 가진 제6 화상F를 작성하는 화상 비트 심도 축소 단계,
    제1 화상A의 각 화소 위치에서 제1 화상A의 화상 정보와, 같은 화소 위치의 제6 화상F의 화상 정보와의 차분을 구하는 차분 작성 단계,
    상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 제3 화상C의 각 화소 위치에 제5 화상E의 화상 정보를 설정하고, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계,
    를 실행하는 것을 특징으로 하는 화상 생성 방법.
  4. 제3항에 있어서, 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 방법
  5. 제3항에 있어서, 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보와 제5 화상E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 방법.
  6. 같은 비트 심도를 가진 제1 화상A와 제2 화상B으로부터 제3 화상C의 화상 정보를 제4∼제7 화상D∼G를 사용하여 생성하는 화상 생성 방법으로서,
    제1 화상A를 톤 매핑 축소하여 비트 심도가 작은 제7 화상G를 작성하는 기준 화상 비트 심도 축소 단계,
    제7 화상G를 톤 매핑 확대하여 화상A와 같은 비트 심도를 가진 제4 화상D를 작성하는 화상 비트 심도 확대 단계,
    제4 화상D의 각 화소 위치와 제2 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정 단계,
    상기 대응점 추정 단계에서 대응점이 있다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치에 제2 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정 단계,
    상기 대응점 추정 단계에서 대응점이 없다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치의 화상 정보를 상기 대응 화상 설정 단계에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간 단계,
    제5 화상E를 톤 매핑 축소하여 화상G와 같은 비트 심도를 가진 제6 화상F를 작성하는 화상 비트 심도 축소 단계,
    제7 화상G의 각 화소 위치에서 제7 화상G의 화상 정보와, 같은 화소 위치의 제6 화상F의 화상 정보와의 차분을 구하는 차분 작성 단계,
    문턱값을 설정하는 문턱값 설정 단계,
    상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 제3 화상C의 각 화소 위치에 제5 화상E의 화상 정보를 설정하고, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정 단계,
    상기 화상 선택 단계에서 얻어지는 제3 화상C와 제1 화상A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계 단계,
    상기 문턱값 설정 단계에서 설정한 문턱값을 사전에 정해진 범위내에서 바꾸면서 상기 화상 선택 단계와 상기 생성 차분 합계 단계를 반복한 결과로부터, 상기 생성 차분 합계 단계에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정 단계,
    를 실행하는 것을 특징으로 하는 화상 생성 방법.
  7. 제6항에 있어서, 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 방법.
  8. 제6항에 있어서, 상기 화상 정보 설정 단계에서, 상기 차분 작성 단계에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보와 제5 화상E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 방법.
  9. 제1 화상A와, 화상A보다도 비트 심도가 높은 제2 화상B로부터 제3 화상C의 화상 정보를 생성하는 화상 생성 장치로서,
    제1 화상A를 톤 매핑 확대하여 화상B와 같은 비트 심도를 가진 제3 화상C를 작성하는 화상 비트 심도 확대부,
    제3 화상C의 각 화소 위치와 제2 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정부,
    상기 대응점 추정부에서 대응점이 있다고 추정된 제3 화상C중의 화소 위치에 제2 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부,
    를 구비한 것을 특징으로 하는 화상 생성 장치.
  10. 제9항에 있어서, 상기 대응점 추정부에서 대응점이 없다고 추정된 제3 화상C중의 화소 위치의 화상 정보를 상기 대응 화상 설정부에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간부,
    를 더 구비한 것을 특징으로 하는 화상 생성 장치.
  11. 제1 화상A와, 화상A보다도 비트 심도가 높은 제2 화상B으로부터 제3 화상C의 화상 정보를 생성하는 화상 생성 장치로서,
    제1 화상A를 톤 매핑 확대하여 화상B와 같은 비트 심도를 가진 제4 화상D를 작성하는 화상 비트 심도 확대부,
    제4 화상D의 각 화소 위치와 제2 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정부,
    상기 대응점 추정부에서 대응점이 있다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치에 제2 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부,
    상기 대응점 추정부에서 대응점이 없다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치의 화상 정보를 상기 대응 화상 설정부에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간부,
    제5 화상E를 톤 매핑 축소하여 화상A와 같은 비트 심도를 가진 제6 화상F를 작성하는 화상 비트 심도 축소부,
    제1 화상A의 각 화소 위치에서 제1 화상A의 화상 정보와, 같은 화소 위치의 제6 화상F의 화상 정보와의 차분을 구하는 차분 작성부,
    상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 제3 화상C의 각 화소 위치에 제5 화상E의 화상 정보를 설정하고, 상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정부,
    를 구비한 것을 특징으로 하는 화상 생성 장치.
  12. 제11항에 있어서, 상기 화상 정보 설정부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 장치.
  13. 제11항에 있어서, 상기 화상 정보 설정부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보와 제5 화상E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 장치.
  14. 같은 비트 심도를 가진 제1 화상A와 제2 화상B로부터 제3 화상C의 화상 정보를 제4∼제7 화상D∼G를 사용하여 생성하는 화상 생성 장치로서,
    제1 화상A를 톤 매핑 축소하여 비트 심도가 작은 제7 화상G를 작성하는 기준 화상 비트 심도 축소부,
    제7 화상G를 톤 매핑 확대하여 화상A와 같은 비트 심도를 가진 제4 화상D를 작성하는 화상 비트 심도 확대부,
    제4 화상D의 각 화소 위치와 제2 화상B중의 대응점 유무 및 대응점 위치를 추정하는 대응점 추정부,
    상기 대응점 추정부에서 대응점이 있다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치에 제2 화상B중의 대응 위치의 화상 정보를 설정하는 대응 화상 설정부,
    상기 대응점 추정부에서 대응점이 없다고 추정된 제4 화상D중의 화소 위치와 같은 제5 화상E중의 화소 위치의 화상 정보를 상기 대응 화상 설정부에서 설정된 화상 정보로부터 보간하여 작성하는 화상 보간부,
    제5 화상E를 톤 매핑 축소하여 화상G와 같은 비트 심도를 가진 제6 화상F를 작성하는 화상 비트 심도 축소부,
    제7 화상G의 각 화소 위치에서 제7 화상G의 화상 정보와, 같은 화소 위치의 제6 화상F의 화상 정보와의 차분을 구하는 차분 작성부,
    문턱값을 설정하는 문턱값 설정부,
    상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값 이하인 경우에는 대응하는 제3 화상C의 각 화소 위치에 제5 화상E의 화상 정보를 설정하고, 상기 차분 작성부에서 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보에 기초한 화상 정보를 설정하는 화상 정보 설정부,
    상기 화상 선택부에서 얻어지는 제3 화상C와 제1 화상A의 각 화소 위치에서의 화상 정보의 차분의 합계를 산출하는 생성 차분 합계부,
    상기 문턱값 설정부에서 설정한 문턱값을 사전에 정해진 범위내에서 바꾸면서 상기 화상 선택부와 상기 생성 차분 합계부에 의한 처리를 반복한 결과로부터, 상기 생성 차분 합계부에서 얻어지는 차분의 합계가 가장 작아지는 문턱값을 결정하는 문턱값 결정부,
    를 구비한 것을 특징으로 하는 화상 생성 장치.
  15. 제14항에 있어서, 상기 화상 정보 설정부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보를 설정하는 것을 특징으로 하는 화상 생성 장치.
  16. 제14항에 있어서, 상기 차분 작성부는, 상기 차분 작성부가 구한 각 화소 위치에서의 차분이 문턱값보다도 큰 경우에는 대응하는 제3 화상C의 각 화소 위치에 제4 화상D의 화상 정보와 제5 화상E의 화상 정보를 가중 평균한 값을 설정하는 것을 특징으로 하는 화상 생성 장치.
  17. 제1항, 제3항 및 제6항 중 어느 한 항에 기재된 화상 생성 방법을 컴퓨터에 실행시키기 위한 화상 생성 프로그램.
  18. 제1항, 제3항 및 제6항 중 어느 한 항에 기재된 화상 생성 방법을 컴퓨터에 실행시키기 위한 화상 생성 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020107007424A 2007-10-15 2008-10-09 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체 KR101136506B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007267613 2007-10-15
JPJP-P-2007-267613 2007-10-15
PCT/JP2008/068375 WO2009051062A1 (ja) 2007-10-15 2008-10-09 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
KR20100053680A true KR20100053680A (ko) 2010-05-20
KR101136506B1 KR101136506B1 (ko) 2012-04-17

Family

ID=40567329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107007424A KR101136506B1 (ko) 2007-10-15 2008-10-09 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체

Country Status (10)

Country Link
US (1) US8355596B2 (ko)
EP (1) EP2221763A4 (ko)
JP (2) JP4578566B2 (ko)
KR (1) KR101136506B1 (ko)
CN (1) CN101821770B (ko)
BR (1) BRPI0818187A2 (ko)
CA (1) CA2702163C (ko)
RU (1) RU2438179C1 (ko)
TW (1) TWI365421B (ko)
WO (1) WO2009051062A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102033512B1 (ko) 2018-04-27 2019-10-17 주식회사 쓰리에이치굿스 후열 리싸이클 기능을 갖는 히터
KR20190125088A (ko) 2018-04-27 2019-11-06 주식회사 쓰리에이치굿스 열과 플라즈마를 이용한 공기살균 기능을 갖는 실내용 냉난방기
KR20200007367A (ko) 2018-07-13 2020-01-22 주식회사 쓰리에이치굿스 복사 대류형 냉난방기

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0818187A2 (pt) * 2007-10-15 2016-10-18 Nippon Telegraph & Telephone método e aparelho de geração de imagens, programa para os mesmos, e meio de armazenagem que armazena o programa
JP6216143B2 (ja) * 2012-06-20 2017-10-18 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
CN104754359B (zh) * 2015-01-26 2017-07-21 清华大学深圳研究生院 一种二维自由视点视频的深度图编码失真预测方法
US10187584B2 (en) * 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
JP6704572B2 (ja) * 2018-05-08 2020-06-03 ウエノテックス株式会社 体積推定装置、体積推定システムおよび体積推定方法
JP7042520B2 (ja) * 2020-03-12 2022-03-28 ウエノテックス株式会社 体積推定装置、体積推定システムおよび体積推定方法
US20220005217A1 (en) * 2020-07-06 2022-01-06 Toyota Research Institute, Inc. Multi-view depth estimation leveraging offline structure-from-motion
US11475549B1 (en) * 2021-06-04 2022-10-18 Nvidia Corporation High dynamic range image generation from tone mapped standard dynamic range images
CN113438400B (zh) * 2021-06-25 2022-10-21 维沃移动通信（杭州）有限公司 图像采集方法、图像采集装置和电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
DE69411849T2 (de) 1993-10-20 1999-03-04 Philips Electronics N.V., Eindhoven Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
JPH09218954A (ja) 1996-02-14 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 画像生成方法
JP2998791B2 (ja) 1996-10-31 2000-01-11 日本電気株式会社 三次元構造推定装置
JP3233601B2 (ja) 1997-09-25 2001-11-26 シャープ株式会社 画像処理装置
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
US6424752B1 (en) 1997-10-06 2002-07-23 Canon Kabushiki Kaisha Image synthesis apparatus and image synthesis method
JPH11112790A (ja) * 1997-10-06 1999-04-23 Canon Inc 画像合成装置および方法
JPH11242737A (ja) * 1998-02-26 1999-09-07 Ricoh Co Ltd 画像処理方法及び装置並びに情報記録媒体
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP3561446B2 (ja) 1999-08-25 2004-09-02 日本電信電話株式会社 画像生成方法及びその装置
US7274830B2 (en) * 2002-06-12 2007-09-25 Litton Systems, Inc. System for multi-sensor image fusion
JPWO2004057531A1 (ja) 2002-12-20 2006-04-27 ジクー・データシステムズ株式会社 画像合成装置、及びプログラム
US7148484B2 (en) * 2003-01-24 2006-12-12 The Regents Of The University Of California Cellular telephone-based radiation sensor and wide-area detection network
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7633616B2 (en) * 2003-06-02 2009-12-15 Sensovation Ag Apparatus and method for photo-electric measurement
DE10330926B4 (de) * 2003-07-08 2008-11-27 Siemens Ag Verfahren zur absoluten Korrektur von B0-Feld-Abweichungen in der Magnetresonanz-Tomographie-Bildgebung
US7474355B2 (en) * 2003-08-06 2009-01-06 Zoran Corporation Chroma upsampling method and apparatus therefor
RU2267232C1 (ru) 2004-06-11 2005-12-27 Федеральное государственное унитарное предприятие Научно-исследовательский институт комплексных испытаний оптико-электронных приборов и систем (ФГУП НИИКИ ОЭП) Способ преобразования изображений
CN101052988A (zh) * 2005-06-22 2007-10-10 松下电器产业株式会社 图像生成装置及图像生成方法
JP4372112B2 (ja) 2006-03-30 2009-11-25 株式会社クボタ コンバインにおける穀粒排出用オーガの操作装置
BRPI0818187A2 (pt) * 2007-10-15 2016-10-18 Nippon Telegraph & Telephone método e aparelho de geração de imagens, programa para os mesmos, e meio de armazenagem que armazena o programa

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102033512B1 (ko) 2018-04-27 2019-10-17 주식회사 쓰리에이치굿스 후열 리싸이클 기능을 갖는 히터
KR20190125088A (ko) 2018-04-27 2019-11-06 주식회사 쓰리에이치굿스 열과 플라즈마를 이용한 공기살균 기능을 갖는 실내용 냉난방기
KR20200007367A (ko) 2018-07-13 2020-01-22 주식회사 쓰리에이치굿스 복사 대류형 냉난방기

Also Published As

Publication number Publication date
RU2438179C1 (ru) 2011-12-27
CA2702163C (en) 2014-07-22
EP2221763A4 (en) 2013-05-01
KR101136506B1 (ko) 2012-04-17
TWI365421B (en) 2012-06-01
CN101821770B (zh) 2012-08-22
CA2702163A1 (en) 2009-04-23
CN101821770A (zh) 2010-09-01
US8355596B2 (en) 2013-01-15
BRPI0818187A2 (pt) 2016-10-18
WO2009051062A1 (ja) 2009-04-23
US20100290715A1 (en) 2010-11-18
JP2011008815A (ja) 2011-01-13
TW200919366A (en) 2009-05-01
JP4578566B2 (ja) 2010-11-10
JPWO2009051062A1 (ja) 2011-03-03
EP2221763A1 (en) 2010-08-25

Similar Documents

Publication Publication Date Title
KR101136506B1 (ko) 화상 생성 방법, 장치 및 그 프로그램 및 프로그램을 기록한 기록매체
KR101134668B1 (ko) 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체
KR102485885B1 (ko) 싱글-샷 hdr 컬러 이미지 센서로부터 hdr 이미지 생성
JP4847591B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20140118031A (ko) 영상 처리 장치 및 방법
TWI397023B (zh) 影像生成方法、裝置，及其程式與記錄有程式的記錄媒體
JP6826472B2 (ja) 画像処理装置およびその制御方法
KR102610671B1 (ko) 색 보간 장치 및 그 방법
JP2020065157A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2019028888A (ja) カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee