KR101877215B1 - 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법 - Google Patents

영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법 Download PDF

Info

Publication number
KR101877215B1
KR101877215B1 KR1020170149579A KR20170149579A KR101877215B1 KR 101877215 B1 KR101877215 B1 KR 101877215B1 KR 1020170149579 A KR1020170149579 A KR 1020170149579A KR 20170149579 A KR20170149579 A KR 20170149579A KR 101877215 B1 KR101877215 B1 KR 101877215B1
Authority
KR
South Korea
Prior art keywords
noise
image
simulation
image sensor
unit
Prior art date
Application number
KR1020170149579A
Other languages
English (en)
Inventor
홍용희
이근재
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020170149579A priority Critical patent/KR101877215B1/ko
Application granted granted Critical
Publication of KR101877215B1 publication Critical patent/KR101877215B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/217—
    • H04N5/357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 시뮬레이션을 통해 생성된 가상영상에 영상센서에 기인한 현실적인 노이즈를 모사함으로써, 실제 상황과 좀 더 유사한 가상영상을 생성하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법을 제안한다.

Description

영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법{METHOD AND APPARATUS FOR MANUFACTURING SIMULATION IMAGE REFLECTING NOISE INDUCED IMAGE SENSOR}
본 발명은 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법에 관한 것이다. 보다 상세하게는, 시뮬레이션을 통해 생성된 가상영상에 영상센서에 기인한 현실적인 노이즈를 모사함으로써, 실제 상황과 좀 더 유사한 가상영상을 생성하는 장치 및 방법에 관한 것이다.
일반적으로, 영상 추적 알고리즘이나 영상 개선 알고리즘 등을 개발할 때 실제 영상을 획득하기 어려운 경우, 물체 정보를 기반으로 시뮬레이션을 통해 가상영상을 생성하는데 이러한 가상영상은 노이즈를 전혀 포함하지 않는다.
즉, 시뮬레이션에 의해 생성된 가상영상에는 실제 카메라 모듈에서 실시간 불규칙적으로 발생되는 노이즈가 모사되지 않는다.
이러한 경우, 실제 카메라 모듈에서 발생되는 노이즈가 모사되지 않기 때문에 영상 추적 알고리즘이나 영상 개선 알고리즘이 정확히 작동되는지 파악할 수가 없는 문제가 있다.
한국등록특허 제10-0541011호는 원영상과 가상영상을 합성하는 방법에 대하여 기술하고 있으나, 시뮬레이션을 통해 생성된 가상영상에 실제적인 노이즈를 모사하여 실제 영상에 가깝도록 하는 기술에 대해서는 언급하고 있지 않다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 시뮬레이션을 통해 생성된 가상영상에 영상센서에 기인한 현실적인 노이즈를 모사하여 실제 상황과 좀 더 유사한 가상영상을 생성할 수 있는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법을 제안함을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 영상 센서의 구조 및 동작 방식에 의한 영상센서 노이즈를 산출하는 영상센서 노이즈 산출부와, 노이즈의 연속성 여부, 노이즈의 단위 수, 노이즈의 유입 시점 중 적어도 하나에 의한 노이즈의 특성을 분류하는 노이즈 특성 분류부와, 상기 노이즈 특성 분류부에서 선택된 적어도 하나의 노이즈의 특성과 상기 산출된 영상센서 노이즈를 결합하여 노이즈 영상을 생성하는 노이즈 영상 생성부 및 시뮬레이션 기법을 통해 생성된 가상영상에 상기 노이즈 영상을 반영하는 노이즈 영상 반영부를 포함하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치를 제안한다.
바람직하게는, 물체의 위치 및 자세에 대한 정보 값을 산출하는 시뮬레이션 연산부 및 상기 시뮬레이션 연산부로부터 전송받은 상기 물체의 위치 및 자세에 대한 정보 값에 근거하여 가상영상을 생성하는 시뮬레이션 가상영상 생성부를 더 포함한다.
바람직하게는, 상기 영상센서 노이즈 산출부는, 상기 영상센서의 ROIC 구조에 따른 채널 수, 채널 순서, 영상의 분할 구조, 영상의 출력 속도, 및 영상의 출력 단위 중 적어도 하나에 따라 상기 영상센서 노이즈를 산출한다.
바람직하게는, 상기 노이즈 특성 분류부는 노이즈 특성이 상기 연속성 노이즈의 경우 주파수 및 강도에 따라서 노이즈 특성을 세부 분류하고, 노이즈 특성이 비연속성 노이즈인 경우 노이즈가 발생하는 빈도와 강도에 따라서 노이즈 특성을 세부 분류한다.
바람직하게는, 노이즈 영상 반영부는 시간의 흐름에 따라 생성된 상기 노이즈 모사 영상을 상기 가상 영상의 출력 순서에 따라 상기 가상 영상에 반영한다.
바람직하게는, 노이즈 영상 반영부는, 상기 노이즈 모사 영상을 상기 가상 영상에 대해 오버랩, 영상 정합, 및 영상 합성 방법 중 적어도 하나를 실행하여 반영한다.
바람직하게는, 노이즈 영상 생성부는 영상센서의 출력속도가 기준 속도에 비하여 느릴 경우, 노이즈 샘플링 속도가 상대적으로 느려지므로, 저속 출력에 대응하여 고주파 성향과 유사한 노이즈 모사 영상을 생성한다.
바람직하게는, 노이즈 영상 생성부는 영상센서의 출력속도가 기준 속도보다 빠른 경우, 노이즈 샘플링 속도가 상대적으로 빨라지므로, 고속 출력에 대응하여 저주파 성향과 유사하게 노이즈 모사 영상을 생성한다.
바람직하게는, 노이즈 영상 생성부는 영상 센서의 분할면의 구조에 따라 상기 분할면 각각에 대응하는 독립적인 노이즈 모사 영상을 생성한다.
또한, 본 발명은 물체의 위치 및 자세 정보를 기반으로 시뮬레이션을 통해 가상영상을 생성하는 단계와, 영상 센서의 구조 및 동작방식에 기인한 영상센서 노이즈를 산출하고, 산출된 영상센서 노이즈를 노이즈 특성과 결합하여 노이즈 모사 영상을 생성하는 단계 및 상기 가상영상에 상기 노이즈 모사 영상을 반영하여 시뮬레이션 최종영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성방법을 제안한다.
바람직하게는, 영상센서 노이즈를 산출하는 단계는 상기 영상센서의 ROIC 구조에 따른 채널 수, 채널 순서, 영상의 분할 구조, 영상의 출력 속도, 및 영상의 출력 단위 중 적어도 하나에 따라 상기 영상센서 노이즈를 산출한다.
바람직하게는, 노이즈 특성은 노이즈의 연속성 여부, 노이즈의 단위 수, 노이즈의 유입 시점 중 적어도 하나로 분류되고, 상기 노이즈 특성이 상기 연속성 노이즈의 경우 주파수 및 강도에 따라서 노이즈 특성을 세부 분류되고, 상기 노이즈 특성이 비연속성 노이즈인 경우 노이즈가 발생하는 빈도와 강도에 따라서 노이즈 특성을 세부 분류된다.
바람직하게는, 시뮬레이션 최종영상을 생성하는 단계는 시간의 흐름에 따라 생성된 상기 노이즈 모사 영상을 상기 가상 영상의 출력 순서에 따라 상기 가상 영상에 반영한다.
본 발명은 시뮬레이션 기법을 통해 생성된 가상영상에 영상센서에 기인하여 현실적으로 발생되는 노이즈를 모사하여 반영함으로써, 영상센서로 획득할 수 있는 실제 영상과 더욱 가까운 가상영상을 생성할 수 있다.
이로 인해 영상 추적/영상 개선 알고리즘 동작의 실효성을 판단하는 데에 활용할 수 있다.
또한, 실제 제작할 영상센서의 성능을 예측하는데 이용할 수 있으며 아울러, 영상 센서 노이즈를 제거하는 방법 연구에도 활용될 수 있다.
도 1은 본 발명의 일실시 예에 따른 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치의 개략적인 구성을 도시하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 최종영상을 생성하는 방법을 설명하기 위한 개략적인 순서도이다.
도 3은 본 발명의 일실시 예에 따른 영상센서에 기인한 노이즈를 생성하는데 고려해야할 요소들을 개략적으로 설명하기 위한 참고도이다.
도 4는 일반적인 영상센서 구조를 개략적으로 도시하는 블록도이다.
도 5는 본 발명의 일실시 예에 따른 노이즈 모사 영상을 가상 영상에 반영하는 일예를 도시하는 예시도이다.
도 6은 본 발명의 일실시 예에 따른 영상센서의 출력 채널 수 및 순서에 따라 노이즈 모사 영상을 생성하는 일예를 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 일실시 예에 따른 영상센서의 출력 속도에 따라 노이즈 모사 영상을 생성하는 일예를 설명하기 위한 예시도이다.
도 9는 본 발명의 일실시 예에 따른 영상센서의 출력 방향에 따라 노이즈 모사 영상을 생성하는 일예를 설명하기 위한 예시도이다.
도 10은 본 발명의 일실시 예에 따른 영상센서의 센서 분할 구조에 따라 노이즈 모사 영상을 생성하는 일예를 설명하기 위한 예시도이다.
도 11 및 도 12는 본 발명의 일실시 예에 따른 영상센서의 출력 단위에 따라 노이즈 모사 영상을 생성하는 일예를 설명하기 위한 예시도이다.
도 13 및 도 14는 본 발명의 일실시 예에 따라 분류된 노이즈의 연속성 여부에 따라 노이즈 모사 영상을 생성하는 일예를 설명하기 위한 예시도이다.
도 15는 본 발명의 일실시 예에 따라 노이즈 모사 영상을 출력영상 가상영상에 반영한 예시를 도시한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
일반적으로, 영상 추적 알고리즘이나 영상 개선 알고리즘 등을 개발할 때 실제 영상을 획득하기 어려운 경우, 물체 정보를 기반으로 시뮬레이션을 통해 가상영상을 생성하는데 이러한 가상영상은 노이즈를 전혀 포함하지 않는다. 즉, 시뮬레이션에 의해 생성된 가상영상에는 실제 카메라 모듈에서 실시간 불규칙적으로 발생되는 노이즈가 모사되지 않는다. 이러한 경우, 실제 카메라 모듈에서 발생되는 노이즈가 모사되지 않기 때문에 영상 추적 알고리즘이나 영상 개선 알고리즘이 정확히 작동되는지 파악할 수가 없다.
이러한 단점을 보완하기 위해 본 발명에서는 영상 센서의 구조 및 동작방식에 기인한 노이즈 데이터를 노이즈의 각 특성들에 따라 산출하여 노이즈 모사 영상을 생성하고, 노이즈 모사 영상을 시뮬레이션 기법을 통해 생성된 가상영상에 반영한다. 이를 통해, 본 발명은 영상 센서에 기인하여 현실적으로 발생되는 노이즈를 가상영상에 충분히 모사함으로써, 영상센서로 획득할 수 있는 실제 영상과 더욱 가까운 가상영상을 생성할 수 있고, 이로 인해 영상 추적/영상 개선 알고리즘 동작의 실효성을 판단하는 데에 활용 가능하도록 할 수 있다.
이하 본 발명에 대하여 자세하게 설명한다.
도 1은 본 발명의 일실시 예에 따른 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치의 개략적인 구성을 도시하는 블록도이고, 도 3은 본 발명의 일실시 예에 따른 영상센서에 기인한 노이즈를 생성하는데 고려해야할 요소들을 개략적으로 설명하기 위한 참고도이다.
도 1은 본 발명의 일실시예에 따른 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치(100)는 시뮬레이션 연산부(110), 시뮬레이션 가상영상 생성부(120), 영상센서 노이즈 산출부(130), 노이즈 특성 분류부(140), 노이즈 영상 생성부(150), 노이즈 영상 반영부(160) 및 제어부(170)를 포함하여 구성된다.
시뮬레이션 연산부(110)는 물체의 위치 및 자세에 대한 정보 값을 산출한다. 이는 영상 추적 알고리즘이나 영상 개선 알고리즘 등을 개발할 때 실제 영상을 획득하기 어려운 경우, 물체 정보를 기반으로 시뮬레이션을 통해 가상영상을 생성하기 위함이다.
시뮬레이션 가상영상 생성부(120)는 시뮬레이션 영상부(110)로부터 전송받은 물체의 위치 및 자세에 대한 정보 값에 근거하여 가상영상을 생성한다.
시뮬레이션 가상영상 생성부(120)는 시뮬레이션 연산부(110)로부터 산출된 물체의 위치 및 자세에 대한 정보 값을 실시간으로 전송받아, 물체의 위치 및 자세에 대한 정보 값에 근거한 영상 정보를 생성하게 된다.
이러한 방법으로 생성된 가상영상은 노이즈를 전혀 포함하지 않는다. 즉, 시뮬레이션에 의해 생성된 가상영상에는 실제 카메라 모듈에서 실시간 불규칙적으로 발생되는 노이즈가 모사되지 않는다.
도 4는 일반적인 영상센서 구조를 개략적으로 도시하는 블록도로서, 영상센서 배열(201)에서 row 선택기(202)에 의해 row가 선택되고, column 선택기(203)에 의해 column이 선택되어 이 출력이 레지스터(204)에 저장된 후 증폭기(205)를 통해 최종 영상 신호(206)를 출력하는 과정을 알 수 있다.
영상센서 노이즈 산출부(130)는 도 4에 도시된 영상 센서의 구조 및 동작 방식에 기인한 영상센서 노이즈를 산출한다. 구체적으로, 영상센서 노이즈 산출부(130)는 영상 센서의 ROIC 구조에 따른 채널 수, 채널 순서, 영상의 분할 구조, 영상의 출력 속도, 및 영상의 출력 단위 각각에 대응하여 영상센서 노이즈를 산출한다.
영상 추적 알고리즘이나 영상 개선 알고리즘 등을 개발할 때 영상센서를 통해 실제 영상을 획득하기 어려운 경우라도, 영상센서에 대한 ROIC 구조에 따른 채널 수, 채널 순서, 영상의 분할 구조, 영상의 출력속도 및 영상의 출력 단위에 관한 정보는 영상센서에 대해 미리 설정된 옵션들이므로 영상센서 노이즈를 산출하기 전에 미리 알 수 있는 정보에 해당한다.
노이즈 특성 분류부(140)는 도 3에 도시된 바와 같이, 노이즈의 특성을 연속성 노이즈, 비연속성 노이즈, 노이즈의 수 및 노이즈 유입시점으로 분류한다. 노이즈의 특성을 분류하는데 있어서, 연속성 노이즈의 경우 주파수 및 강도에 따라서 더 세부적으로 분류할 수 있고, 비연속성 노이즈인 경우 노이즈가 발생하는 빈도와 강도에 따라서 더 세부적으로 분류할 수 있다.
노이즈 영상 생성부(150)는 노이즈 특성 분류부에서 선택된 적어도 하나의 노이즈의 특성과 상기 산출된 영상센서 노이즈를 결합하여 노이즈 모사 영상을 생성한다.
노이즈 영상 반영부(160)는 시뮬레이션 기법을 통해 생성된 가상영상에 노이즈 영상 생성부(150)에서 생성된 노이즈 모사 영상을 반영함으로써, 가상 영상에 모사된 노이즈가 반영된 최종영상을 획득한다.
도 5에 도시된 바와 같이, 노이즈 모사 영상의 반영방법은 시간의 흐름에 따라 생성된 노이즈 모사 영상을 가상 영상의 출력 순서에 따라 가상 영상에 반영하는 기법을 이용하는데, 이를 위해 노이즈 모사 영상과 가상 영상을 시간의 흐름에 따라 오버랩, 영상 정합, 및 영상 합성 방법 중 적어를 실행하여 노이즈 반영 영상을 획득할 수 있다.
도 6에 도시된 바와 같이 노이즈 영상 생성부(150)는 출력 채널 수 및 순서에 따라 노이즈 모사 영상을 반영하는데, 1채널의 영상센서의 경우 1개 row 단위의 출력 순서대로 노이즈 모사 영상을 반영하여 출력한다(401). 2채널의 영상센서의 경우 2개 row 단위 출력 순서대로 동시에 노이즈가 반영되어 출력된다(402). 4채널의 영상센서의 경우 4개 row 단위 출력 순서대로 동시에 노이즈 모사 영상을 반영하여 출력한다(403).
노이즈는 보통 일정한 주파수와 강도를 보이고 있다. 이러한 경향으로 인해 영상센서 출력 속도에 따라 노이즈가 영상센서의 출력에 반영되는 모습이 결정된다. 노이즈가 동일하다고 가정할 경우, 영상센서의 출력속도에 따라 노이즈 샘플링 속도가 달라진다.
도 7에 도시된 바와 같이 노이즈 영상 생성부(150)는 영상센서의 출력속도가 기준 속도에 비하여 느릴 경우(501) 노이즈 샘플링 속도가 상대적으로 느려지므로, 영상센서의 저속 출력에 대응하여 고주파 성향과 유사한 노이즈 모사 영상을 생성한다(502, 503).
이와 반대로 영상센서의 출력속도가 기준속도보다 빠른 경우(601), 노이즈 영상 생성부(150)는 도 8에 도시된 바와 같이 노이즈 샘플링 속도가 상대적으로 빨라지므로, 영상센서의 고속 출력에 대응하여 저주파 성향과 유사하게 노이즈 모사 영상을 생성한다(602, 603).
영상센서의 출력방향이 row 인가 column 방향인가에 따라서도 노이즈의 모사 형태가 달라진다. 도 9에 도시된 바와 같이 노이즈 영상 생성부(150)는 영상센서의 출력방향이 row 방향 출력(701)의 경우, 가로 줄무늬의 노이즈 모사 영상(702)을 생성하고, 영상센서의 출력방향이 column 방향 출력(701)인 경우, 세로 줄무늬의 노이즈 모사 영상(704)을 생성한다.
영상센서의 분할면 구조에 따라서 노이즈의 모사 형태가 달라진다. 구체적으로 도 10에 도시된 바와 같이, 노이즈 영상 생성부(150)는 분할면이 1개로 구성되어 있는 경우(801), 분할면이 좌우 2개로 구성되어 있는 경우(802), 분할면이 상하 2개로 구성되어 있는 경우(803), 분할면이 상하좌우 4개로 구성되어 있는 경우로 구분할 수 있다. 이러한 분할 구조에서 영상센서의 출력방향이 전부 row 방향인 경우, 분할면의 구조에 따라 끊겨진 형상의 노이즈 모사 영상을 생성한다. 즉, 분할면의 각각에 독립적인 노이즈의 형상으로 노이즈 모사 영상을 생성한다.
영상센서의 출력 단위에 따라서도 노이즈의 모사 형태가 달라진다. 도 11에 도시된 바와 같이 노이즈 영상 생성부(150)는 영상센서의 출력 단위가 라인(line) 단위 출력인 경우 개별 라인 출력과 라인 출력 사이에 갭이 존재하기 때문에 갭에 의해 노이즈를 라인 단위로 끊어 모사 영상을 생성한다(901). 즉, 라인 단위로 독립적인 노이즈 모사 영상을 생성한다.
반면, 도 12에 도시된 바와 같이 노이즈 영상 생성부(150)는 영상센서 출력이 프레임 단위 출력인 경우에는 개별 라인 출력 간의 갭이 거의 없으므로, 노이즈 특성이 영상출력에 연속적으로 반영되는 형상으로 노이즈 모사 영상을 생성한다.
도 13에 도시된 바와 같이 노이즈 영상 생성부(150)는 연속성 노이즈에 대해 인접한 노이즈 신호와 연관성을 띄며 순차적으로 변하는 노이즈 모사 영상을 생성한다(1001). 이는 가우시안 노이즈에 해당하며, 이와 같은 노이즈는 주파수와 강도로 정의할 수 있다.
도 14에 도시된 바와 같이 비연속성 노이즈의 경우 인접 노이즈 신호와 연관성을 띄지 않고, 노이즈 신호 상에서 어두운 점이나 밝은 점으로 나타나기 때문에 노이즈 영상 생성부(150)는 비연속성 노이즈에 대해서 어두운 점이나 밝은 점의 노이즈 모사 영상을 생성한다(1002). 이를 주로 페퍼 앤 솔트 노이즈라 하며, 이와 같은 노이즈는 강도와 빈도로 정의할 수 있다.
이외에도 노이즈의 수량과 영상센서 ROIC 구조상 노이즈 유입 시점에 따라서도 출력 영상에 대응하여 생성하는 노이즈 모사 양상도 달라진다.
도 15는 노이즈 모사 영상을 출력영상 즉, 가상영상에 반영해본 예시를 도시한다. 원본영상(1101) 즉, 가상영상을 기준으로 column 방향으로 노이즈 모사 영상이 추가된 경우(1102), row 방향으로 기준 속도보다 빠른 영상출력 시 가상영상에 노이즈 모사 영상이 추가된 경우(1103), 좌우 2분할된 가상센서에서 row 방향으로 기준속도보다 느린 영상 출력시 노이즈 모사 영상이 추가된 경우(1105), row 방향으로 기준 속도보다 느린 영상 출력시 가상영상에 노이즈 모사 영상이 추가된 경우(1106)의 예시 결과를 나타낸다.
이외에도 도시되지 않았지만, 본 발명의 영상센서에 기인한 노이즈를 반영하는 시뮤레이션 최종영상 생성장치(100)는 가상영상에 모사된 노이즈가 반영된 최종영상을 출력하는 디스플레이부를 더 포함할 수 있다.
상술한 바와 같이, 본 발명은 영상 센서의 구조 및 동작방식에 기인한 노이즈 데이터를 노이즈의 각 특성들에 따라 산출하여 노이즈 모사 영상을 생성하고, 이를 시뮬레이션 기법을 통해 생성된 가상영상에 반영하여, 영상 센서에 기인하여 현실적으로 발생되는 노이즈를 가상영상에 충분히 모사함으로써, 영상센서로 획득할 수 있는 실제 영상과 더욱 가까운 가상영상을 생성할 수 있고, 이로 인해 영상 추적/영상 개선 알고리즘 동작의 실효성을 판단하는 데에 활용할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 최종영상을 생성하는 방법을 설명하기 위한 개략적인 순서도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 최종영상을 생성하는 방법은 먼저, 시뮬레이션을 통해 가상영상을 생성한다(S10). 이는 영상 추적 알고리즘이나 영상 개선 알고리즘 등을 개발할 때 실제 영상을 획득하기 어려운 경우, 물체 정보를 기반으로 시뮬레이션을 통해 가상영상을 생성하는 실행에 해당한다.
이러한 방법으로 생성된 가상영상은 노이즈를 거의 포함하지 않는다. 즉, 시뮬레이션에 의해 생성된 가상영상에는 실제 카메라 모듈에서 실시간 불규칙적으로 발생되는 노이즈가 모사되지 않는다. 이렇게 실제 카메라 모듈에서 발생되는 노이즈가 모사되지 않기 때문에 가상영상만으로는 영상 추적 알고리즘이나 영상 개선 알고리즘이 정확히 작동되는지 파악하기 어려운 문제가 있다.
이와 같은 문제를 해결하기 위해, S10 단계 이후 영상 센서에 기인한 현실적인 노이즈를 모사하여 가상영상에 반영하는 과정을 실행한다.
즉, 영상 센서에 의한 노이즈를 모사한 노이즈 모사 영상을 생성한다(S11).
이를 위해 일단, 영상 센서의 구조 및 동작 방식에 의한 영상센서 노이즈를 산출한다. 구체적으로, 영상 센서의 ROIC 구조에 따른 채널 수, 채널 순서, 영상의 분할 구조, 영상의 출력 속도, 및 영상의 출력 단위 각각에 대응하여 영상센서 노이즈를 산출한다.
그리고, 노이즈의 특성을 연속성 노이즈, 비연속성 노이즈, 노이즈의 수 및 노이즈 유입시점으로 분류한다. 노이즈의 특성을 분류하는데 있어서, 연속성 노이즈의 경우 주파수 및 강도에 따라서 더 세부적으로 분류할 수 있고, 비연속성 노이즈인 경우 노이즈가 발생하는 빈도와 강도에 따라서 더 세부적으로 분류할 수 있다.
이와 같이 분류된 각 노이즈 특성을 상기에서 산출된 영상센서 노이즈와 결합하여 노이즈 모사 영상을 생성한다.
노이즈는 보통 일정한 주파수와 강도를 보이고 있다. 이러한 경향으로 인해 영상센서 출력 속도에 따라 노이즈가 영상센서의 출력에 반영되는 모습이 결정된다. 노이즈가 동일하다고 가정할 경우, 영상센서의 출력속도에 따라 노이즈 샘플링 속도가 달라진다. 도 7에 도시된 바와 같이 영상센서의 출력속도가 기준 속도에 비하여 느릴 경우(501) 노이즈 샘플링 속도가 상대적으로 느려지므로, 영상센서의 저속 출력에 대응하여 고주파 성향과 유사한 노이즈 모사 영상을 생성한다(502, 503).
이와 반대로 영상센서의 출력속도가 기준속도보다 빠른 경우(601), 노이즈 영상 생성부(150)는 도 8에 도시된 바와 같이 노이즈 샘플링 속도가 상대적으로 빨라지므로, 영상센서의 고속 출력에 대응하여 저주파 성향과 유사하게 노이즈 모사 영상을 생성한다(602, 603).
영상센서의 출력방향이 row 인가 column 방향인가에 따라서도 노이즈의 모사 형태가 달라진다. 도 9에 도시된 바와 같이 노이즈 영상 생성부(150)는 영상센서의 출력방향이 row 방향 출력(701)의 경우, 가로 줄무늬의 노이즈 모사 영상(702)을 생성하고, 영상센서의 출력방향이 column 방향 출력(701)인 경우, 세로 줄무늬의 노이즈 모사 영상(704)을 생성한다.
영상센서의 분할면 구조에 따라서 노이즈의 모사 형태가 달라진다. 구체적으로 도 10에 도시된 바와 같이, 노이즈 영상 생성부(150)는 분할면이 1개로 구성되어 있는 경우(801), 분할면이 좌우 2개로 구성되어 있는 경우(802), 분할면이 상하 2개로 구성되어 있는 경우(803), 분할면이 상하좌우 4개로 구성되어 있는 경우로 구분할 수 있다. 이러한 분할 구조에서 영상센서의 출력방향이 전부 row 방향인 경우, 분할면의 구조에 따라 끊겨진 형상의 노이즈 모사 영상을 생성한다. 즉, 분할면의 각각에 독립적인 노이즈의 형상으로 노이즈 모사 영상을 생성한다.
영상센서의 출력 단위에 따라서도 노이즈의 모사 형태가 달라진다. 도 11에 도시된 바와 같이 노이즈 영상 생성부(150)는 영상센서의 출력 단위가 라인(line) 단위 출력인 경우 개별 라인 출력과 라인 출력 사이에 갭이 존재하기 때문에 갭에 의해 노이즈를 라인 단위로 끊어 모사 영상을 생성한다(901). 즉, 라인 단위로 독립적인 노이즈 모사 영상을 생성한다.
반면, 도 12에 도시된 바와 같이 노이즈 영상 생성부(150)는 영상센서 출력이 프레임 단위 출력인 경우에는 개별 라인 출력 간의 갭이 거의 없으므로, 노이즈 특성이 영상출력에 연속적으로 반영되는 형상으로 노이즈 모사 영상을 생성한다.
도 13에 도시된 바와 같이 노이즈 영상 생성부(150)는 연속성 노이즈에 대해 인접한 노이즈 신호와 연관성을 띄며 순차적으로 변하는 노이즈 모사 영상을 생성한다(1001). 이는 가우시안 노이즈에 해당하며, 이와 같은 노이즈는 주파수와 강도로 정의할 수 있다.
도 14에 도시된 바와 같이 비연속성 노이즈의 경우 인접 노이즈 신호와 연관성을 띄지 않고, 노이즈 신호 상에서 어두운 점이나 밝은 점으로 나타나기 때문에 노이즈 영상 생성부(150)는 비연속성 노이즈에 대해서 어두운 점이나 밝은 점의 노이즈 모사 영상을 생성한다(1002). 이를 주로 페퍼 앤 솔트 노이즈라 하며, 이와 같은 노이즈는 강도와 빈도로 정의할 수 있다.
이외에도 노이즈의 수량과 영상센서 ROIC 구조상 노이즈 유입 시점에 따라서도 출력 영상에 대응하여 생성하는 노이즈 모사 양상도 달라진다.
다음으로, 가상영상에 노이즈 모사 영상을 반영하여 최종영상을 생성한다(S12). 즉, 시뮬레이션 기법을 통해 생성된 가상영상에 S11 단계에서 생성된 노이즈 모사 영상을 반영함으로써, 영상 센서에 기인하여 현실적으로 발생되는 노이즈를 가상영상에 충분히 모사한다.
이로써, 본 발명은 영상센서로 획득할 수 있는 실제 영상과 더욱 가까운 가상영상을 생성할 수 있고, 이로 인해 영상 추적/영상 개선 알고리즘 동작의 실효성을 판단하는 데에 활용할 수 있다. 또한, 실제 제작할 영상센서의 성능을 예측하는데 이용할 수 있으며 아울러, 영상 센서 노이즈를 제거하는 방법 연구에도 활용될 수 있다.
구체적으로, 도 15는 노이즈 모사 영상을 가상영상에 반영하여 나타낸 최종영상들의 예시를 도시한다. 도 15를 참조하면, 원본영상(1101) 즉, 가상영상을 기준으로 column 방향으로 노이즈 모사 영상이 추가된 경우(1102), row 방향으로 기준 속도보다 빠른 영상출력 시 가상영상에 노이즈 모사 영상이 추가된 경우(1103), 좌우 2분할된 가상센서에서 row 방향으로 기준속도보다 느린 영상 출력시 노이즈 모사 영상이 추가된 경우(1105), row 방향으로 기준 속도보다 느린 영상 출력시 가상영상에 노이즈 모사 영상이 추가된 경우(1106)의 예시 결과를 볼 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 영상 센서의 구조에 따른 채널 수, 채널 순서, 영상의 분할 구조, 영상의 출력 속도, 및 영상의 출력 단위 중 적어도 하나에 따라 상기 영상 센서 노이즈를 산출하는 영상센서 노이즈 산출부;
    노이즈의 연속성 여부, 노이즈의 단위 수, 노이즈의 유입 시점 중 적어도 하나에 의한 노이즈의 특성을 분류하는 노이즈 특성 분류부;
    상기 노이즈 특성 분류부에서 선택된 적어도 하나의 노이즈의 특성과 상기 산출된 영상센서 노이즈를 결합하여 노이즈 모사 영상을 생성하는 노이즈 영상 생성부; 및
    시뮬레이션 기법을 통해 생성된 가상영상에 상기 노이즈 모사 영상을 반영하는 노이즈 영상 반영부;를 포함하되,
    상기 영상의 출력 단위는 라인(line) 또는 프레임(frame) 단위이고,
    상기 노이즈 영상 생성부는, 상기 영상 센서의 분할면 구조 및 출력방향에 따라 상기 분할면 각각에 대응하는 독립적인 노이즈 모사 영상을 생성하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 노이즈 특성 분류부는,
    노이즈 특성이 상기 연속성 노이즈의 경우 주파수 및 강도에 따라서 노이즈 특성을 세부 분류하고, 노이즈 특성이 비연속성 노이즈인 경우 노이즈가 발생하는 빈도와 강도에 따라서 노이즈 특성을 세부 분류하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치.
  4. 제 1 항에 있어서,
    상기 노이즈 영상 반영부는,
    시간의 흐름에 따라 생성된 상기 노이즈 모사 영상을 상기 가상 영상의 출력 순서에 따라 상기 가상 영상에 반영하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치.
  5. 제 1 항에 있어서,
    상기 노이즈 영상 반영부는,
    상기 노이즈 모사 영상을 상기 가상 영상에 대해 오버랩, 영상 정합, 및 영상 합성 방법 중 적어도 하나를 실행하여 반영하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치.
  6. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는,
    영상센서의 출력속도가 기준 속도에 비하여 느릴 경우, 노이즈 샘플링 속도가 상대적으로 느려지므로, 저속 출력에 대응하여 고주파 성향과 유사한 노이즈 모사 영상을 생성하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치.
  7. 제 1 항에 있어서,
    상기 노이즈 영상 생성부는,
    영상센서의 출력속도가 기준 속도보다 빠른 경우, 노이즈 샘플링 속도가 상대적으로 빨라지므로, 고속 출력에 대응하여 저주파 성향과 유사하게 노이즈 모사 영상을 생성하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치.
  8. 삭제
  9. 제 1 항에 있어서,
    물체의 위치 및 자세에 대한 정보 값을 산출하는 시뮬레이션 연산부; 및
    상기 시뮬레이션 연산부로부터 전송받은 상기 물체의 위치 및 자세에 대한 정보 값에 근거하여 가상영상을 생성하는 시뮬레이션 가상영상 생성부;를 더 포함하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치.
  10. 물체의 위치 및 자세 정보를 기반으로 시뮬레이션을 통해 가상영상을 생성하는 단계;
    영상 센서의 구조에 따른 채널 수, 채널 순서, 영상의 분할 구조, 영상의 출력 속도 및 영상의 출력 단위 중 적어도 하나에 따라 영상센서 노이즈를 산출하고, 산출된 영상센서 노이즈를 노이즈 특성과 결합하여 노이즈 모사 영상을 생성하는 단계; 및
    상기 가상영상에 상기 노이즈 모사 영상을 반영하여 시뮬레이션 최종영상을 생성하는 단계;를 포함하되,
    상기 영상의 출력 단위는 라인(line) 또는 프레임(frame) 단위이고,
    상기 노이즈 모사 영상을 생성하는 단계는, 상기 영상 센서의 분할면 구조 및 출력방향에 따라 상기 분할면 각각에 대응하는 독립적인 노이즈 모사 영상을 생성하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성방법.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 노이즈 특성은,
    노이즈의 연속성 여부, 노이즈의 단위 수, 노이즈의 유입 시점 중 적어도 하나로 분류되고, 상기 노이즈 특성이 상기 연속성 노이즈의 경우 주파수 및 강도에 따라서 노이즈 특성을 세부 분류되고, 상기 노이즈 특성이 비연속성 노이즈인 경우 노이즈가 발생하는 빈도와 강도에 따라서 노이즈 특성을 세부 분류되는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성방법.
  13. 제 10 항에 있어서,
    상기 시뮬레이션 최종영상을 생성하는 단계는,
    시간의 흐름에 따라 생성된 상기 노이즈 모사 영상을 상기 가상 영상의 출력 순서에 따라 상기 가상 영상에 반영하는 것을 특징으로 하는 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성방법.
KR1020170149579A 2017-11-10 2017-11-10 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법 KR101877215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170149579A KR101877215B1 (ko) 2017-11-10 2017-11-10 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170149579A KR101877215B1 (ko) 2017-11-10 2017-11-10 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법

Publications (1)

Publication Number Publication Date
KR101877215B1 true KR101877215B1 (ko) 2018-07-12

Family

ID=62919929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170149579A KR101877215B1 (ko) 2017-11-10 2017-11-10 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법

Country Status (1)

Country Link
KR (1) KR101877215B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080101161A (ko) * 2007-05-16 2008-11-21 주식회사 코아로직 플리커 노이즈 검출 장치, 방법 및 그 기록매체
KR20160140221A (ko) * 2015-05-29 2016-12-07 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
KR101781471B1 (ko) * 2015-10-21 2017-09-25 주식회사 필텍 포격 훈련용 시뮬레이션 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080101161A (ko) * 2007-05-16 2008-11-21 주식회사 코아로직 플리커 노이즈 검출 장치, 방법 및 그 기록매체
KR20160140221A (ko) * 2015-05-29 2016-12-07 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
KR101781471B1 (ko) * 2015-10-21 2017-09-25 주식회사 필텍 포격 훈련용 시뮬레이션 시스템

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Ryan D. Gow, et al., "A Comprehensive Tool for Modeling CMOS image Sensor Noise Performance", IEEE Trans. on Electron Devices, 2007, pp.1321-1329. *
Ryan D. Gow, et al., "A Comprehensive Tool for Modeling CMOS image Sensor Noise Performance", IEEE Trans. on Electron Devices, 2007, pp.1321-1329. 1부. *
Ryan D. Gow, et al., "A Comprehensive Tool for Modeling CMOS image Sensor Noise Performance", IEEE Trans. on Electron Devices, 2007, pp.1321-1329.*
명환춘, "시뮬레이션을 이용한 위성용 카메라 비선형 모델의 영상 신호-잡음비(Image SNR) 분포도 검증/특성 및 활용", 항공우주기술 제8권 제2호, 2009, pp.160-169. *
명환춘, "시뮬레이션을 이용한 위성용 카메라 비선형 모델의 영상 신호-잡음비(Image SNR) 분포도 검증/특성 및 활용", 항공우주기술 제8권 제2호, 2009, pp.160-169. 1부. *
명환춘, "시뮬레이션을 이용한 위성용 카메라 비선형 모델의 영상 신호-잡음비(Image SNR) 분포도 검증/특성 및 활용", 항공우주기술 제8권 제2호, 2009, pp.160-169.*

Similar Documents

Publication Publication Date Title
JP4829278B2 (ja) 室内インパルス応答モデリング方法および装置
US20200186783A1 (en) Synthesis of transformed image views
US10281264B2 (en) Three-dimensional measurement apparatus and control method for the same
KR20150114767A (ko) 멀티 프레임들의 동일한 영역을 연속으로 렌더링하는 방법 및 장치
KR20180093402A (ko) 다수 객체 추적 시스템 및 이의 객체 추적 방법
JP2017062787A (ja) ツリーを探索する装置及びその方法
US10863082B2 (en) Image processing apparatus, image processing method, and storage medium
US20220068290A1 (en) Audio processing
US10825231B2 (en) Methods of and apparatus for rendering frames for display using ray tracing
KR20110107545A (ko) 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치
JP2022511257A (ja) 格子光パターンを使用する奥行き検知
KR101835675B1 (ko) 증강현실 환경에서 입체 음향을 제공하기 위한 장치 및 그 방법
JP2021120814A (ja) 学習プログラム、学習方法、及び情報処理装置
KR102285840B1 (ko) 3차원 영상 렌더링 방법 및 이를 적용한 영상 출력 장치
KR101877215B1 (ko) 영상센서에 기인한 노이즈를 반영하는 시뮬레이션 영상 생성장치 및 방법
WO2021182361A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11875441B2 (en) Data-driven extraction and composition of secondary dynamics in facial performance capture
US11948599B2 (en) Audio event detection with window-based prediction
CN109141654A (zh) 基于单光子成像器件的光子级空间映射关联性测量方法
CN115619924A (zh) 用于光估计的方法与装置
CN112581500A (zh) 用于在目标跟踪中匹配行人和人脸的方法和装置
KR20230129495A (ko) 라이트-인-플라이트(light-in-flight)를 시뮬레이션하기위한 시스템 및 방법
CN112215122A (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
Moreira et al. An Architecture Using a Finite Difference Method to Calculate Realistic Sound Equalization in Games
US20240214283A1 (en) Latency measurement system and method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant