KR101466345B1 - 영상 음향 변환 장치 및 영상 음향 변환 방법 - Google Patents

Abstract

본 발명은 영상 음향 변환 장치 및 방법에 관한 것으로, 영상 음향 변환 장치는, 영상을 디스플레이하는 디스플레이 화면을 구비하는 디스플레이부, 디스플레이 화면으로의 사용자 입력에 응답하여 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 색음 변환부, 그리고 변환된 음향 정보를 소리로 출력하는 음향 발생부를 포함한다.

Description

영상 음향 변환 장치 및 영상 음향 변환 방법{APPARATUS AND METHOD FOR CONVERTING IMAGE INTO SOUND}

본 발명은 영상을 음향으로 변환하는 장치 및 방법에 관한 것이다.

보건복지부 2011년 장애인 실태조사에 의하면, 시각 장애인 중 선천적 원인에 의하여 시각 장애가 발생한 경우는 4.5%에 불과하며, 대부분 후천적으로 시각 장애가 발생한다. 또한, 후천적으로 시각 장애가 발생한 전체 시각 장애인 중 만 9세 이하의 나이에 시각 장애가 발생한 시각 장애인의 비율은 15% 정도이므로, 만 9세 이전의 시각 정보를 전혀 기억하지 못한다고 가정하더라도, 대략 80%가 넘는 다수의 시각 장애인은 시각 정보, 즉 색상에 대한 기억을 갖는다고 할 수 있다. 따라서, 시각 장애인에게 영상의 색상 분포를 알 수 있도록 전달해주면 시각 장애인도 미술 작품을 이해하고 감상할 수 있다. 일 예로, 정안인이 그림의 주변 풍경과 색상 등을 말로 설명해주면, 시각 장애인은 미술 작품을 유추할 수 있다.

시각 장애인이 정안인의 도움없이 명화를 감상하도록 하는 방안으로서, 등록특허공보 0920952호(2009년 10월 09일 공고)는 "시각정보와 청각정보의 상호전환 시스템"을 개시한다. 이 기술은 하나의 그림 파일로부터 기준 좌표를 시작점으로 하여 음과 박자가 있는 하나의 사운드 파일을 만드는 방식으로서, 전체 사운드 파일을 들은 후 전체 그림 파일을 유추하여야 명화를 이해할 수 있으며, 그림 파일과 사운드 파일의 변환 비율을 미리 알지 못하는 경우는 물론, 미리 알 수 있는 경우에도 사운드 파일의 각각의 음이 정확하게 명화의 어느 위치에 해당하는지 파악하기 어렵다.

본 발명은 사용자(예를 들어, 시각 장애인, 색맹인 등)로 하여금 디스플레이 화면으로 디스플레이되는 전체 영상 중 사용자가 파악하려는 영상 영역의 색 정보를 음향 정보를 통해 쉽게 파악하도록 하는 영상 음향 변환 장치 및 영상 음향 변환 방법을 제공하는 것을 목적으로 한다.

본 발명이 해결하고자 하는 다른 과제는 사용자가 터치 스크린에 터치한 영상 영역의 색 정보와 윤곽선 정보를 각각 소리와 진동으로 전달함으로써, 사용자로 하여금 터치 스크린에 디스플레이되는 영상의 모양과 색상 등을 쉽고 직관적으로 파악하도록 하는 것에 있다.

본 발명이 해결하고자 하는 또 다른 과제는 영상 촬영시 또는 영상 재생시 도움을 줄 수 있는 소리(예를 들어, 촬영 방향을 알려주는 소리, 중앙 영상 영역의 음향 정보, 촬영시 주변 소리 등)를 자동으로 출력하여, 시각 장애인에게 스스로 영상을 촬영하거나 옷의 색상을 고르는 등의 편의성을 제공하는 것에 있다.

본 발명이 해결하고자 하는 또 다른 과제는 복수 개의 음향 출력부(예를 들어, 좌우 스피커 등)의 음향 크기를 조절하여 출력함으로써, 대형 디스플레이 화면에서도 음향 정보에 대응하는 영상 영역의 위치를 파악할 수 있도록 하는 것에 있다.

본 발명이 해결하고자 하는 또 다른 과제는 영상의 평균 명도 값에 따라 조정할 수 있는 채도 명도 관계식을 이용하여 색 정보를 명도 클래스나 색상 클래스로 분류함으로써, 디스플레이 화면의 밝기 변화에 불구하고 영상을 일관되게 이해하고 감상할 수 있도록 하는 것에 있다.

본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따른 영상 음향 변환 장치는, 영상을 디스플레이하는 디스플레이 화면을 구비하는 디스플레이부; 상기 디스플레이 화면으로의 사용자 입력에 응답하여, 상기 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 색음 변환부; 그리고 변환된 상기 음향 정보를 소리로 출력하는 음향 발생부를 포함한다.

일 실시 예로, 상기 디스플레이 화면은, 터치 스크린을 포함하며, 상기 색음 변환부는, 상기 사용자 입력에 의하여 상기 터치 스크린이 터치된 상기 영상 영역의 상기 색 정보를 추출하는 색 추출부; 그리고 미리 설정된 색음 변환 관계에 따라 상기 색 정보에 대응하는 상기 음향 정보를 산출하는 음향 산출부를 포함한다.

일 실시 예로, 상기 영상 음향 변환 장치는, 상기 디스플레이 화면에서 상기 사용자 입력을 발생하는 사용자 인터페이스부를 더 포함하며, 상기 색음 변환부는, 상기 사용자 인터페이스부에 의하여 상기 디스플레이 화면에서 상기 사용자 입력이 발생된 상기 영상 영역의 상기 색 정보를 추출하는 색 추출부; 그리고 미리 설정된 영상 음향 변환 관계에 따라 상기 색 정보에 대응하는 상기 음향 정보를 산출하는 음향 산출부를 포함한다.

일 실시 예로, 상기 영상 음향 변환 장치는, 영상을 촬영하는 영상 촬영부를 더 포함하며, 상기 색음 변환부는, 상기 영상 촬영부로부터 입력되는 영상 중 미리 설정된 영상 영역의 색 정보를 대응하는 음향 정보로 변환하며, 상기 음향 발생부는, 상기 대응하는 음향 정보를 소리로 출력한다.

일 실시 예로, 상기 영상 음향 변환 장치는, 상기 영상 촬영부에 의해 상기 영상이 촬영되는 방향 정보를 측정하는 방향 센서를 더 포함하며, 상기 음향 발생부는, 상기 방향 정보를 소리로 출력한다.

일 실시 예로, 상기 영상 음향 변환 장치는, 상기 영상 촬영부의 영상 촬영과 동기화하여 주변 소리 또는 사용자 음성을 자동으로 녹음하는 녹음부를 더 포함하며, 상기 음향 발생부는, 상기 영상의 재생시마다 상기 주변 소리 또는 사용자 음성을 자동으로 출력한다.

일 실시 예로, 상기 색음 변환부는, 상기 디스플레이 화면의 서로 다른 영상 영역에서 동시에 발생되는 복수 개의 사용자 입력에 응답하여, 상기 서로 다른 영상 영역의 각각의 색 정보를 상기 음향 정보로 변환하며, 상기 음향 발생부는, 각각의 사용자 입력에 대응하여 변환된 각각의 음향 정보를 동시에 소리로 출력한다.

일 실시 예로, 상기 색음 변환부는, 상기 디스플레이 화면에서 닫힌 영상 구역을 구획하는 상기 사용자 입력에 응답하여, 상기 닫힌 영상 구역에 속하는 픽셀들의 평균 색 정보에 대응하는 상기 음향 정보를 산출한다.

일 실시 예로, 상기 음향 발생부는, 서로 다른 위치에 설치되는 복수 개의 음향 출력부; 그리고 상기 사용자 입력에 대응하는 영상 영역의 좌표 정보에 따라 각각의 음향 출력부를 제어하는 음향 조절부를 포함한다.

일 실시 예로, 상기 음향 조절부는, 상기 좌표 정보와 상대적으로 근접한 음향 출력부의 음향 세기를 증가시키고, 상기 좌표 정보와 상대적으로 먼 음향 출력부의 음향 세기를 감소시킨다.

일 실시 예로, 상기 색음 변환부는, 채도 명도 관계식에 따라 상기 색 정보를 무채색 클래스 또는 유채색 클래스로 분류하고, 상기 무채색 클래스의 명도 클래스를 분류하는 제1 분류부; 상기 색 정보의 색상 정보에 따라 상기 유채색 클래스의 색상 클래스를 분류하는 제2 분류부; 그리고 상기 명도 클래스와 상기 색상 클래스에 따라, 상기 색 정보에 대응하는 상기 음향 정보를 산출하는 음향 정보 산출부를 포함한다.

일 실시 예로, 상기 색음 변환부는, 상기 영상의 평균 명도 값에 따라, 상기 채도 명도 관계식의 파라미터 값을 조정하는 파라미터 조정부를 더 포함한다.

일 실시 예로, 상기 제1 분류부는, 상기 명도 클래스를 흰색, 회색, 검정 중 어느 하나의 무채색으로 분류하고, 상기 제2 분류부는, 상기 색상 클래스를 빨강, 주황, 노랑, 초록, 파랑, 보라, 자주 중의 어느 하나의 색상으로 분류하며, 상기 음향 정보 산출부는, 상기 색 정보가 상기 유채색 클래스에 속하는 경우, 상기 색상 클래스에 대응하여 도, 레, 미, 파, 솔, 라, 시 중 어느 하나의 음계를 나타내는 상기 음향 정보를 산출하며, 상기 색 정보가 상기 무채색 클래스에 속하는 경우, 상기 명도 클래스에 대응하여 서로 다른 소리 크기를 갖는 도, 파, 솔 화음을 나타내는 상기 음향 정보를 산출한다.

일 실시 예로, 상기 영상 음향 변환 장치는, 상기 영상으로부터 윤곽선 영역을 나타내는 엣지 영상을 생성하는 영상 처리부; 그리고 상기 사용자 입력이 상기 윤곽선 영역에서 발생되면 진동을 발생하는 진동 발생부를 더 포함한다.

일 실시 예로, 상기 영상 처리부는, 상기 영상을 양방향 필터를 이용하여 단순화 처리하는 단순화 처리부; 그리고 단순화 처리된 영상에서 윤곽선을 추출하여 상기 엣지 영상을 생성하는 윤곽선 추출부를 포함한다.

본 발명의 다른 일 측면에 따르면, 디스플레이 화면으로의 사용자 입력에 응답하여, 상기 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 단계; 그리고 변환된 상기 음향 정보를 소리로 출력하는 단계를 포함하는 영상 음향 변환 방법이 제공된다.

일 실시 예로, 상기 영상 음향 변환 방법은, 영상을 촬영하는 단계; 상기 영상이 촬영되는 방향 정보를 측정하는 단계; 촬영되는 상기 영상 중 미리 설정된 영상 영역의 색 정보를 대응하는 음향 정보로 변환하는 단계; 그리고 상기 대응하는 음향 정보와 상기 방향 정보를 소리로 출력하는 단계를 더 포함한다.

일 실시 예로, 상기 영상 음향 변환 방법은, 상기 영상을 촬영하는 단계와 동기화하여 주변 소리 또는 사용자 음성을 자동으로 녹음하는 단계; 그리고 상기 영상의 재생시마다 상기 주변 소리 또는 사용자 음성을 자동으로 출력하는 단계를 더 포함한다.

일 실시 예로, 상기 음향 정보를 소리로 출력하는 단계는, 상기 사용자 입력에 대응하는 영상 영역의 좌표 정보에 따라 복수 개의 음향 출력부의 음향 세기를 개별적으로 제어하는 단계; 그리고 상기 복수 개의 음향 출력부에서 상기 음향 정보를 소리로 출력하는 단계를 포함한다.

일 실시 예로, 상기 색 정보를 음향 정보로 변환하는 단계는, 상기 영상의 평균 명도 값에 따라 채도 명도 관계식의 파라미터 값을 조정하는 단계; 조정된 상기 채도 명도 관계식에 따라 상기 색 정보를 무채색 클래스 또는 유채색 클래스로 분류하는 단계; 상기 무채색 클래스의 명도 클래스를 흰색, 회색, 검정 중 어느 하나의 무채색으로 분류하는 단계; 상기 색 정보의 색상 정보에 따라 상기 유채색 클래스의 색상 클래스를 빨강, 주황, 노랑, 초록, 파랑, 보라, 자주 중의 어느 하나의 색상으로 분류하는 단계; 그리고 상기 명도 클래스와 상기 색상 클래스에 따라, 상기 색 정보에 대응하는 상기 음향 정보를 산출하는 단계를 포함한다.

본 발명의 실시 예에 의하면, 시각 장애인이나 색맹인 등의 사용자는 디스플레이 화면으로 디스플레이되는 전체 영상 중 파악하려는 영상 영역의 색 정보를 음향 정보를 통해 쉽게 파악할 수 있다.

또한, 본 발명의 실시 예에 의하면, 터치 스크린에 터치한 영상 영역의 색 정보와 윤곽선 정보가 소리와 진동으로 전달되므로, 시각 장애인은 터치 스크린에 디스플레이되는 영상을 쉽고 직관적으로 파악할 수 있다.

또한, 본 발명의 실시 예에 의하면, 영상 촬영시 또는 영상 재생시 도움을 줄 수 있는 소리가 자동으로 출력되므로, 시각 장애인은 스스로 영상을 촬영하거나 옷의 색상을 고르는 등의 편의를 제공받을 수 있다.

또한, 본 발명의 실시 예에 의하면, 복수 개의 음향 출력부의 음향 크기가 자동으로 조절되어 출력되므로, 대형 디스플레이 화면에서도 음향 정보에 대응하는 영상 영역의 위치를 파악할 수 있다.

또한, 본 발명의 실시 예에 의하면, 영상의 평균 명도 값에 따라 채도 명도 관계식을 조정하여 색 정보를 명도 클래스나 색상 클래스로 분류하므로, 디스플레이 화면의 밝기 변화에 불구하고 영상을 일관되게 이해하고 감상할 수 있다.

본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 영상 음향 변환 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 음향 변환 장치를 구성하는 색음 변환부의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 영상 음향 변환 장치를 구성하는 영상 처리부의 구성도이다.
도 4a는 본 발명의 일 실시 예에 따른 영상 음향 변환 장치에서 디스플레이하는 영상을 보여준다.
도 4b는 영상을 단순화 처리하지 않고 윤곽선을 추출한 엣지 영상을 보여준다.
도 4c는 양방향 필터를 이용하여 영상을 단순화 처리한 후 윤곽선을 추출한 엣지 영상을 보여준다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 영상 음향 변환 장치의 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 일 실시 예에 따른 영상 음향 변환 장치의 구성도이다.
도 9는 도 8에 도시한 실시 예에 따른 영상 음향 변환 장치의 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 또 다른 일 실시 예에 따른 영상 음향 변환 장치의 구성도이다.
도 11은 도 10에 도시한 실시 예의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 영상 음향 변환 장치를 구성하는 음향 산출부의 구성도이다.
도 13은 본 발명의 일 실시 예에 따른 영상 음향 변환 방법의 흐름도이다.
도 14는 도 13에 도시된 단계 S131의 흐름도이다.
도 15 내지 도 16은 도 14에 도시된 단계 S141 내지 단계 S143을 설명하기 위한 도면이다.
도 17 내지 도 18은 색상 클래스에 따라 음향 정보를 산출하는 방법을 설명하기 위한 도면이다.
도 19는 본 발명의 다른 일 실시 예에 따른 영상 음향 변환 방법의 흐름도이다.

본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다. 본 발명의 실시 예를 설명함에 있어서, 공지된 구성에 대한 일반적인 내용에 관한 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일한 구성에 대하여는 가급적 동일한 도면부호가 사용된다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 디스플레이 화면, 예를 들어 터치 스크린으로의 사용자 입력에 응답하여, 사용자 입력에 의하여 터치 스크린이 터치된 영상 영역의 색 정보를 미리 설정된 색음 변환 관계에 따라 음향 정보로 변환하고, 변환한 음향 정보를 소리로 출력한다. 본 발명의 실시 예에 의하면, 시각 장애인이나 색맹인 등의 사용자는 전체 디스플레이 화면으로 디스플레이되는 영상 중 터치한 영상 영역의 색 정보를 파악할 수 있다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 영상 촬영시 영상 촬영부로부터 입력되는 영상 중 미리 설정된 영상 영역, 예를 들어, 중앙 영상 영역의 색 정보를 상기 색음 변환 관계에 기초하여 대응하는 음향 정보로 변환하여 출력한다. 이러한 본 발명의 실시 예에 의하면, 시각 장애인이나 색맹인 등의 사용자는 영상 촬영 카메라의 디스플레이 화면에서 실시간으로 디스플레이되는 영상 중 중심 영상 영역의 색 정보를 음향으로 확인하여, 원하는 색 정보를 갖는 물체가 디스플레이 화면의 중심에 위치하도록 영상 촬영 카메라의 방향을 조절하여 영상을 촬영하거나, 옷의 색상을 확인하여 원하는 옷을 고르는 등의 편의를 제공받을 수 있다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 사용자가 영상을 촬영하려고 할 때, 영상이 촬영되는 방향 정보를 실시간으로 측정하여 소리로 알릴 수 있다. 이러한 본 발명의 실시 예에 의하면, 사용자는 영상이 촬영되는 방향을 실시간으로 인식하여 영상 촬영 카메라를 원하는 방향으로 조절한 후, 사진이나 동영상 등의 영상을 촬영할 수 있다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 사용자가 영상 촬영 버튼을 누를 때, 주변 소리나 사용자 음성을 자동으로 녹음하고, 이후 촬영한 영상을 재생하여 감상할 때마다 녹음한 주변 소리나 사용자 음성을 자동으로 출력한다. 이러한 본 발명의 실시 예에 의하면, 사용자는 영상 영역의 색 정보에 대응하는 음향 정보와 함께, 영상 촬영 당시의 주변 소리, 예를 들어 바닷가의 파도 소리 등을 인식하여 영상을 직감적으로 이해하여 감상할 수 있다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 사용자가 디스플레이부 화면에서 동시에 다수의 영상 영역을 터치하는 경우, 상기 다수의 영상 영역의 각각의 색 정보에 따라 다수의 음향 정보를 동시에 출력하며, 사용자가 닫힌 영상 구역을 구획하는 경우, 상기 닫힌 영상 구역 내의 영상 영역들의 평균 색 정보에 대응하는 음향 정보를 출력한다. 이러한 본 발명의 실시 예에 의하면, 사용자는 다수의 영역 영역의 다수의 음향 정보의 화음으로부터, 해당 영상 영역들의 전체적인 색감이나 명암 등을 파악할 수 있다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 소리를 통해 터치 스크린에 터치한 영상 영역의 색 정보를 사용자에게 전달하고, 진동을 통해 터치 스크린에서 윤곽선 정보를 사용자에게 전달한다. 이러한 본 발명의 실시 예에 의하면, 시각 장애인은 터치 스크린에 디스플레이되는 영상의 그림 모양과 색상 등을 소리와 진동을 통하여 쉽고 직관적으로 파악할 수 있다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 시각 장애인이 터치 스크린에 터치한 영상 영역의 좌표 정보에 따라 복수 개의 음향 출력부, 예를 들어 좌우 스피커의 음향 세기를 조절한다. 이러한 본 발명의 실시 예에 의하면, 시각 장애인은 좌우 스피커의 음향 세기로부터 자신이 터치한 영상 영역이 대형 디스플레이 화면에서 어느 위치에 해당하는지를 파악하여, 전체 영상의 구도를 보다 쉽게 인식할 수 있다.

본 발명의 일 실시 예에 따른 영상 음향 변환 장치는 영상의 평균 명도 값에 따라, 채도 명도 관계식의 파라미터 값을 조정하며, 조정한 채도 명도 관계식을 이용하여 무채색의 명도 클래스나 유채색의 색상 클래스를 산출한다. 이러한 본 발명의 실시 예에 의하면, 디스플레이 화면의 밝기가 변화하더라도 영상의 색 정보를 일관되게 인식하여 감상할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 음향 변환 장치의 구성도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 음향 변환 장치(100)는 디스플레이부(110), 색음 변환부(120), 음향 발생부(130), 영상 처리부(140), 진동 발생부(150) 및 하나 이상의 영상을 저장하는 저장부(160)를 포함한다.

디스플레이부(110)는 영상을 디스플레이하는 디스플레이 화면(도 5에 도시된 도면부호 111)을 구비한다. 디스플레이부(110)는 디스플레이 화면에 영상을 디스플레이하는 기능을 구비하지만, 시각 장애인의 경우, 디스플레이 화면에 영상을 반드시 시각적으로 디스플레이할 필요가 없으므로, 사용자 인터페이스부(도 8에 도시된 도면부호 170)를 통한 사용자의 설정에 따라 디스플레이 화면에 시각적으로 영상이 디스플레이되지 않도록 설정하여 디스플레이부(110)의 전력 소비를 줄일 수 있다.

일 실시 예에 있어서, 디스플레이 화면은 터치 패널(touch panel)을 구비하는 터치 스크린(touch screen)으로 제공될 수 있다. 일 예로, 터치 스크린에는 수많은 사각형 격자 형태로 적외선이 흐르도록 되어 있어, 사용자가 손가락이나 물체를 터치 스크린에 접촉시키면 이러한 사용자 입력에 대응하는 영상 영역의 X축, Y축 좌표 정보가 인식될 수 있다.

일 실시 예로서, 터치 스크린으로 구현되는 디스플레이 화면에 대해 설명하였으나, 대안적으로, 디스플레이 화면은 터치 스크린이 아닌 방식으로 구현될 수도 있다. 예를 들어, 키보드, 마우스 등의 사용자 인터페이스부를 이용하여 디스플레이 화면에서 마우스 커서를 이동시켜 클릭하면, 이러한 사용자 입력에 따라 마우스 커서가 위치한 영상 영역의 좌표 정보를 인식하고, 인식한 좌표 정보에 대응하는 색 정보를 음향 정보로 변환하는 것도 가능하다.

색음 변환부(120)는 디스플레이 화면으로의 사용자 입력에 응답하여, 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환한다. 도 2는 본 발명의 일 실시 예에 따른 영상 음향 변환 장치를 구성하는 색음 변환부의 구성도이다. 도 1 내지 도 2를 참조하면, 색음 변환부(120)는 색 추출부(121)와, 음향 산출부(122)를 포함한다.

색 추출부(121)는 사용자 입력에 의하여 터치 스크린이 터치된 영상 영역의 좌표 정보에 따라, 상기 영상 영역의 대응하는 색 정보를 추출한다. 영상 영역의 색 정보는 영상 영역의 중심에 위치한 하나의 단위 픽셀에 대한 색 정보일 수도 있고, 상기 단위 픽셀을 포함하여 이와 인접한 미리 설정된 영역의 주변 픽셀들의 평균적인 색 정보일 수도 있다.

후술하는 영상 처리부(140)에 의하여, 저장부(160)의 원본 영상을 보다 낮은 해상도를 갖는 영상으로 변환할 수 있으며, 이러한 경우 낮은 해상도로 변환된 픽셀에 대한 색 정보를 추출하는 것도 가능하다. 본 발명의 실시 예에서, 색 정보는 색상(hue) 정보, 채도(saturation) 정보, 명도(value) 정보를 포함할 수 있다.

음향 산출부(122)는 미리 설정된 색음 변환 관계에 따라, 색 추출부(121)에서 추출한 색 정보에 대응하는 음향 정보를 산출한다. 일 실시 예로, 음향 산출부(122)는 색 정보의 채도 정보, 명도 정보에 따라 색 정보를 유채색 클래스와 무채색 클래스로 분류한다. 음향 산출부(122)는 색 정보가 무채색 클래스에 속하는 경우 명도 클래스(예를 들어, 흰색, 회색, 검정)를 산출하고, 색 정보가 유채색 클래스에 속하는 경우 색상 클래스(예를 들어, 빨강, 주황, 노랑, 초록, 파랑, 보라, 자주)를 산출한 다음, 명도 클래스나 색상 클래스에 따라 대응하는 음향 정보를 생성한다.

일 실시 예로, 음향 산출부(122)는 색 정보가 유채색 클래스에 속하는 경우, 미리 설정된 한 옥타브 내의 7음음계(도, 레, 미, 파, 솔, 라, 시) 중 어느 하나의 음계를 나타내는 음향 정보를 산출하고, 색 정보가 무채색 클래스에 속하는 경우, 서로 다른 소리 크기를 갖는 도, 파, 솔 화음을 나타내는 음향 정보를 산출할 수 있다.

다시 도 1을 참조하면, 음향 발생부(130)는 색음 변환부(120)에 의하여 변환된 음향 정보를 소리로 출력한다. 음향 발생부(130)는 7음음계 중 어느 하나의 음계 또는 화음을 소리로 출력한다. 본 발명의 실시 예에 의하면, 사용자는 음향 발생부(130)에서 소리로 출력되는 음향 정보에 따라, 사용자 입력에 대응하는 영상 영역의 색 정보를 인식할 수 있다.

영상 처리부(140)는 영상으로부터 윤곽선 영역을 나타내는 엣지 영상(edge image)을 생성한다. 도 3은 본 발명의 일 실시 예에 따른 영상 음향 변환 장치를 구성하는 영상 처리부의 구성도이다. 도 3을 참조하면, 영상 처리부(140)는 단순화 처리부(140)와, 윤곽선 추출부(142)를 포함한다.

단순화 처리부(140)는 예를 들어, 양방향 필터(bilateral filter)를 이용하여 도 4a에 도시한 바와 같은 영상을 단순화 처리할 수 있다. 이에 따라, 영상의 윤곽선을 유지한 채로, 영상의 고주파 성분만을 효과적으로 제거할 수 있다. 윤곽선 추출부(142)는 단순화 처리된 영상에서 윤곽선을 추출함으로써, 도 4c에 도시한 바와 같이, 고주파 잡음 성분이 제거된 엣지 영상을 생성할 수 있다.

도 4b는 양방향 필터를 이용하여 영상을 단순화 처리하지 않고 윤곽선을 추출한 엣지 영상을 보여준다. 도 4b와 도 4c를 비교하면, 단순화 처리 후 윤곽선을 추출한 엣지 영상의 경우, 단순화 처리 과정 없이 윤곽선을 추출한 엣지 영상에 비하여 고주파 잡음 성분이 훨씬 적은 것을 확인할 수 있다. 복잡한 형태를 띠는 그림 작품 등의 경우, 원본 영상을 그대로 디스플레이하면 오히려 음향 정보에 따라 영상을 감상하는데 방해 요소가 될 수 있으나, 세세한 픽셀들의 색상 요소를 단순화 처리하여 디스플레이하면, 사용자의 혼란을 줄여 영상의 이해도를 높일 수 있다.

다시 도 1을 참조하면, 진동 발생부(150)는 사용자 입력이 윤곽선 영역에서 발생되는지를 판단하며, 윤곽선 영역에서 사용자 입력이 발생되면 진동을 발생한다. 이러한 본 발명의 실시 예에 의하면, 시각 장애인은 음향 정보를 통하여 터치 스크린에 터치한 영상 영역의 색 정보를 인식하는 것과 동시에, 진동을 통하여 영상의 윤곽선 정보를 인식함으로써 터치 스크린에 디스플레이되는 영상을 소리와 진동을 통해 쉽고 직관적으로 파악할 수 있다.

도 5 내지 도 7은 본 발명의 일 실시 예에 따른 영상 음향 변환 장치의 동작을 설명하기 위한 도면이다. 도 5 내지 도 7에 도시한 실시 예에서, 스마트폰과 같은 이동 단말을 예로 들어 설명하지만, 본 발명의 실시 예에 따른 영상 음향 변환 장치는 데스크탑 컴퓨터, 노트북 컴퓨터, 카메라 등 영상을 디스플레이할 수 있는 장치라면 특별히 제한되지 않고 적용이 가능하다.

먼저, 도 5를 참조하면, 디스플레이부(110)의 디스플레이 화면(111)은 터치 스크린으로 제공되며, 사용자가 디스플레이 화면(111)상에 색 정보를 알고자 하는 영상 영역(T1)을 터치하면, 이와 동시에 실시간으로 터치한 영상 영역(T1)의 색 정보에 대응하는 음향 정보가 음향 발생부(130), 예를 들어 스피커(speaker)를 통해 소리로 출력된다. 시각 장애인은 스마트폰의 디스플레이 화면(111)의 여러 영상 영역을 순차적으로, 혹은 동시에 터치하여 전체 영상의 색 정보를 파악할 수 있다.

스마트폰은 휴대 가능하도록 소형의 크기로 제공되므로, 시각 장애인은 자신이 터치한 영상의 위치를 쉽게 지각할 수 있으며, 영상의 서로 다른 위치에 대응하는 색 정보를 조합하여 영상을 이해하고 감상할 수 있다. 또한, 시각 장애인이 영상의 윤곽선 정보에 해당하는 영상 영역을 터치하면 진동이 발생하므로, 진동에 의하여 영상의 윤곽선을 파악함으로써, 영상을 쉽고 직감적으로 파악할 수 있다.

도 6을 참조하면, 사용자는 스마트폰의 디스플레이 화면(111)에서 디스플레이되는 영상 중 넓은 영역에 대한 색감을 알기 위하여, 손바닥 전체를 터치 스크린에 접촉할 수 있다. 이러한 경우, 디스플레이 화면의 서로 다른 영상 영역에서 동시에 발생되는 복수 개의 사용자 입력에 응답하여, 동시에 터치된 전체 영상 영역(T2)을 이루는 서로 다른 다수의 영상 영역(T3)의 각각의 색 정보를 음향 정보로 변환하여, 다수의 음향 정보를 동시에 소리로 출력할 수 있다.

다만, 대안적으로, 사용자 입력에 의하여 터치된 전체 영상 영역(T2)을 형성하는 영상 영역(T3)들의 평균적인 색 정보를 산출하고, 이에 대응하는 하나의 음향 정보를 출력하는 것도 가능하다. 일 실시 예에 있어서, 전체 소리의 크기를 일정하게 유지하기 위하여 터치된 영상 영역(T3)들의 개수에 반비례하도록 각각의 음향 정보의 진폭을 조절한 후, 다수의 음향 정보를 합하여 음향 발생부(130)를 통해 소리로 출력할 수 있다. 각각의 음향 정보의 주파수는 각각의 영상 영역(T3)의 색 정보에 따라 결정될 수 있다. 도 6에 도시한 실시 예에서, 음계 '도'에 해당하는 음향이 출력되는 경우, 사용자는 영상 내의 우측 부분의 전체 영상 영역(T2)에 대하여 붉은 색감을 인식할 것이다.

도 7을 참조하면, 사용자가 디스플레이 화면(111)상에서 도시된 화살표(T4) 방향으로 닫힌 영상 구역(T5)을 구획하는 사용자 입력을 발생할 경우, 상기 사용자 입력에 따라, 닫힌 영상 구역(T5)에 속하는 픽셀들의 평균 색 정보를 산출하고, 이에 대응하는 음향 정보를 산출함으로써, 사용자로 하여금 닫힌 영상 구역(T5)의 전체적인 색감을 인지하도록 할 수 있다. 대안적으로, 닫힌 영상 구역(T5)에 속하는 영상 영역들의 색 정보에 대응하여, 다수의 음향 정보를 동시에 출력하는 것도 가능하다. 도 7에 도시한 실시 예에서, 사용자가 화살표(T4) 방향으로 디스플레이 화면(111)을 터치하는 과정 중에는, 사용자의 터치 위치에 따라 미리 설정된 일정 주기마다 해당 영상 영역의 대응하는 음향 정보가 출력될 수 있다.

도 8은 본 발명의 다른 일 실시 예에 따른 영상 음향 변환 장치의 구성도이다. 도 8에 도시한 실시 예를 설명함에 있어서, 도 1 내지 도 7에 도시한 실시 예와 동일한 구성에 대하여는 중복되는 설명을 생략한다. 도 8을 참조하면, 색음 변환부(120)는 사용자 인터페이스부(170)에 의하여 디스플레이 화면에서 사용자 입력이 발생된 영상 영역의 색 정보를 추출하고, 미리 설정된 영상 음향 변환 관계에 따라 색 정보에 대응하는 음향 정보를 산출한다.

이러한 실시 예의 경우, 디스플레이부(110)는 반드시 터치 스크린으로 제공되지 않을 수도 있다. 예를 들어, 데스크탑 컴퓨터의 모니터 화면에서 영상이 표시되는 경우, 사용자는 사용자 인터페이스부(170), 예를 들어 마우스를 조작하여 디스플레이 화면 내에서 색 정보를 알고자 하는 위치로 마우스 커서를 이동시키고, 마우스를 좌클릭 또는 우클릭할 수 있다. 이에 따라, 해당 마우스 커서가 위치한 영상 영역의 색 정보에 대응하는 음향 정보가 음향 발생부(130)를 통해 출력된다.

시각 장애인의 경우, 소리로 출력되는 음향 정보가 대형 디스플레이 화면에서 어느 위치의 색 정보를 나타내는지 인지하기 어려울 수 있다. 이에, 도 8에 도시한 실시 예에서, 음향 발생부(130)는 음향 조절부(131)와, 복수 개의 음향 출력부(132,133)를 포함한다. 음향 조절부(131)는 사용자 입력에 대응하는 영상 영역의 좌표 정보에 따라 각각의 음향 출력부(132,133)의 음향 세기를 제어한다.

음향 출력부(132,133)들은 서로 다른 위치에 설치되며, 음향 정보를 음향 조절부(131)에 의하여 조절된 음향 세기로 출력한다. 일 실시 예로, 음향 조절부(131)는 영상 영역의 좌표 정보와 상대적으로 근접한 음향 출력부의 음향 세기를 증가시키고, 좌표 정보와 상대적으로 먼 음향 출력부의 음향 세기를 감소시킬 수 있다. 즉, 사용자가 터치한 지점이 왼쪽에 가까울수록 왼쪽 음향 출력부(132)의 사운드를 키우고, 오른쪽 음향 출력부(133)의 사운드를 줄일 수 있다. 음향 출력부(132,133)는 스피커, 헤드셋 또는 이어폰 등을 예로 들 수 있다.

도 9는 도 8에 도시한 실시 예에 따른 영상 음향 변환 장치의 동작을 설명하기 위한 도면이다. 도 9를 참조하면, 디스플레이부(110)는 스마트폰보다 훨씬 넓은 면적을 갖는 디스플레이 화면(111)을 통해 영상을 디스플레이한다. 도 9에 도시한 실시 예에서와 같이, 사용자가 터치 입력한 영상 영역과 디스플레이 화면(111)의 왼쪽 가장자리 간의 거리(D1)가 상대적으로 멀고, 사용자가 터치 입력한 영상 영역과 디스플레이 화면(111)의 오른쪽 가장자리 간의 거리(D2)가 상대적으로 가까운 경우, 왼쪽에 배치된 제1 음향 출력부(132)는 상대적으로 낮은 음향 세기를 갖는 음향 정보를 출력하고, 오른쪽에 배치된 제2 음향 출력부(133)는 상대적으로 높은 음향 세기를 갖는 음향 정보를 출력한다.

이러한 본 발명의 실시 예에 의하면, 시각 장애인은 자신이 터치한 영상 영역이 넓은 면적의 전체 디스플레이 화면(111)에서 어느 위치에 존재하는지를 음향 출력부(132,133)들로부터의 음향 세기로부터 파악하여 전체 영상의 구도를 쉽고 효과적으로 인식할 수 있다. 도 8 내지 도 9에 도시한 실시 예에서, 음향 발생부(130)는 2개의 음향 출력부(132,133)를 구비하지만, 음향 출력부의 개수는 디스플레이 화면(111)의 너비와 높이 등을 고려하여 다양하게 변형될 수 있으며, 상하 방향으로 배치되어 사용자가 터치한 영상 영역의 수직 방향 위치를 인지할 수도 있다.

도 10은 본 발명의 또 다른 일 실시 예에 따른 영상 음향 변환 장치의 구성도이다. 도 10에 도시한 실시 예를 설명함에 있어서, 도 1 내지 도 7에 도시한 실시 예와 동일한 구성에 대하여는 중복되는 설명을 생략한다. 도 10을 참조하면, 본 발명의 실시 예에 따른 영상 음향 변환 장치(100)는 디스플레이부(110), 색음 변환부(120), 음향 발생부(130), 영상 처리부(140), 진동 발생부(150), 저장부(160), 사용자 인터페이스부(170), 영상 촬영부(180), 방향 센서(190), 제어부(200) 및 녹음부(210)를 포함한다. 제어부(200)는 각 구성요소의 기능과 제어 신호들을 처리하여 각 구성요소를 제어한다.

영상 촬영부(180)는 영상을 촬영한다. 영상 촬영부(180)는 CMOS 또는 CCD 카메라일 수 있으나, 영상을 촬영할 수 있는 것이라면 특별히 제한되지 않고 사용될 수 있음은 물론이다. 색음 변환부(120)는 영상 촬영부(180)에 의하여 실시간으로 촬영되는 영상 중 중앙 영상 영역의 색 정보를 대응하는 음향 정보로 변환하며, 음향 발생부(130)는 상기 중앙 영상 영역의 색 정보에 대응하는 음향 정보를 소리로 출력한다.

도 11은 도 10에 도시한 실시 예의 동작을 설명하기 위한 도면이다. 도 11에 도시한 바와 같이, 영상 촬영부(180)에 의하여 촬영되는 영상이 실시간으로 디스플레이 화면(111)상에 디스플레이되며, 디스플레이 화면(111)에서 중앙 영상 영역(A1)의 색 정보에 대응하는 음향 정보가 음향 발생부(130)를 통해 소리로 출력된다. 이러한 본 발명의 실시 예에 의하면, 시각 장애인이나 색맹인 등의 사용자는 영상 촬영 카메라의 디스플레이 화면(111)에서 실시간으로 디스플레이되는 영상 중 중심 영상 영역(A1)의 색 정보를 음향으로 확인하여, 원하는 색 정보를 갖는 물체가 디스플레이 화면의 중심에 위치하도록 영상 촬영 카메라의 방향을 조절하여 영상을 촬영하거나, 옷의 색상을 확인하여 원하는 옷을 고르는 등의 편의를 제공받을 수 있다.

다시 도 10을 참조하면, 방향 센서(190)는 영상 촬영부(180)에 의하여 영상을 촬영할 때, 영상이 촬영되는 방향 정보를 측정한다. 방향 센서(190)는 지자기 센서 등을 예로 들 수 있다. 음향 발생부(130)는 제어부(200)의 제어 신호에 따라 영상 촬영과 동기화하여 상기 방향 정보(예를 들어, 동, 서, 남, 북, 북동, 북서, 남서, 남동)를 소리로 알릴 수 있다. 이러한 본 발명의 일 실시 예에 의하면, 사용자는 영상이 촬영되는 방향을 실시간으로 인식하여 영상 촬영 카메라를 원하는 방향으로 조절하여 사진이나 동영상 등의 영상을 촬영할 수 있다.

녹음부(210)는 영상 촬영부(180)에서 영상을 촬영할 때 제어부(200)의 제어 신호에 의하여, 영상 촬영과 동기화하여 미리 설정된 시간 동안 주변 소리 또는 현재 상황을 설명하는 사용자 음성 등을 자동으로 녹음한다. 음향 발생부(130)는 제어부(200)의 제어 신호에 따라, 영상의 재생시마다 주변 소리 또는 사용자 음성을 자동으로 출력한다. 이러한 본 발명의 실시 예에 의하면, 사용자는 영상 영역의 색 정보에 대응하는 음향 정보와 함께, 영상 촬영 당시의 주변 소리, 예를 들어 바닷가의 파도 소리 등을 인식하여 영상을 직감적으로 이해하여 감상할 수 있다.

도 12는 본 발명의 실시 예에 따른 영상 음향 변환 장치를 구성하는 음향 산출부의 구성도이다. 도 12를 참조하면, 음향 산출부(122)는 파라미터 조정부(1221), 제1 분류부(1222), 제2 분류부(1223) 및 음향 정보 산출부(1224)를 포함한다. 음향 산출부(122)는 채도 명도 관계식에 따라 색 정보에 대응하는 음향 정보를 산출한다.

파라미터 조정부(1221)는 영상의 평균 명도 값에 따라, 채도 명도 관계식의 파라미터 값을 조정한다. 제1 분류부(1222)는 조정된 채도 명도 관계식에 따라 색 정보를 무채색 클래스 또는 유채색 클래스로 분류한 다음, 무채색 클래스의 명도 클래스를 분류한다. 제2 분류부(1223)는 색 정보의 색상 정보에 따라 유채색 클래스의 색상 클래스를 분류한다. 음향 정보 산출부(1224)는 명도 클래스와 색상 클래스에 따라, 색 정보에 대응하는 음향 정보를 산출한다. 이러한 본 발명의 실시 예에 의하면, 디스플레이 화면의 밝기가 변화하더라도 영상의 색 정보를 일관되게 인식하여 감상할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 영상 음향 변환 방법의 흐름도이다. 도 1 및 도 13을 참조하면, 먼저 단계 S131에서, 색음 변환부(120)는 디스플레이 화면으로의 사용자 입력에 응답하여, 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환한다. 일 실시 예로, 색음 변환부(120)는 터치 스크린이 터치된 영상 영역의 좌표 정보에 기초하여, 저장부(160)에 저장된 영상 정보 중에서 사용자 입력에 대응하는 영상 영역의 색 정보를 추출하고, 미리 설정된 색음 변환 관계에 따라 색 정보에 대응하는 음향 정보를 산출한다.

다음으로, 단계 S132에서, 음향 발생부(130)는 사용자 입력에 영상 영역의 색 정보에 대응하여 변환된 음향 정보를 소리로 출력한다. 본 발명의 실시 예에 의하면, 사용자는 음향 발생부(130)에서 소리로 출력되는 음향 정보, 예를 들어 7음음계 중의 어느 한 음계, 또는 복수 개의 음계의 화음에 따라, 사용자 입력에 대응하는 영상 영역의 색 정보(HSV; Hue, Saturation, Value)를 인식할 수 있다.

한편, 음향 정보를 통하여 터치 스크린에 터치한 영상 영역의 색 정보를 인식함과 동시에, 영상으로부터 윤곽선 영역을 나타내는 엣지 영상(edge image)을 생성하고, 사용자 입력이 윤곽선 영역에서 발생하는 경우 진동을 발생하여 윤곽선 정보를 인식하도록 함으로써, 터치 스크린에 디스플레이되는 영상을 소리와 진동을 통해 더욱 쉽고 직관적으로 파악하는 것도 가능하다.

일 실시 예에 있어서, 음향 발생부(130)는 디스플레이 화면(111)에서 사용자가 터치한 영상 영역의 위치에 따라, 복수 개의 음향 출력부의 음향 세기를 조절하여 음향 정보를 출력할 수 있다. 이러한 본 발명의 실시 예에 의하면, 시각 장애인의 터치 입력 지점이 디스플레이 화면(111)에서 어느 위치에 해당하는지를 음향 출력부들의 음향 세기로부터 파악할 수 있어 전체 영상의 구도를 더욱 쉽고 효과적으로 인식할 수 있다.

도 14는 도 13에 도시된 단계 S131의 흐름도이다. 도 12 및 도 14를 참조하면, 단계 S141에서, 파라미터 조정부(1221)는 영상의 평균 명도 값에 따라 채도 명도 관계식의 파라미터 값을 조정한다. 도 15 내지 도 16은 도 14에 도시된 단계 S141 내지 단계 S143을 설명하기 위한 도면이다. 도 15를 참조하면, 채도 명도 관계식은 예시적으로 Y=n/x로 나타낼 수 있다. Y는 명도(value)를 나타내고, x는 채도(saturation)를 나타내며, n은 영상의 평균 명도 값에 따라 조정되는 파라미터 값이다. 도 15의 실시 예에서, 채도와 명도는 각각 0~255의 값을 가지며, 평균 명도 값에 따라 n은 증감된다.

도 12, 도 14 및 도 15를 참조하면, 단계 S142에서, 영상의 평균 명도 값이 128인 경우, 제1 분류부(1222)는 예를 들어 색 정보의 채도 값이 30 미만이거나, 명도 값이 65 미만이거나, 채도 값과 명도 값이 각각 30 이상, 65 이상이더라도 채도 명도 관계식의 아래 영역에 속하면, 색 정보를 무채색 클래스로 분류하며, 색 정보의 채도 값이 30 이상이고, 명도 값이 65 이상이고, 채도 명도 관계식의 아래 영역에 속하지 않으면, 색 정보를 유채색 클래스로 분류한다.

도 16을 참조하면, 평균 명도 값 I에 의하여, 채도 명도 관계식은 y=(185-ka)(30+ka/2)/x로 조정된다. 이때, k=W/256, a=(256/2)-I이다. 평균 명도 값 I는 0~255 사이의 값을 가지며, ka는 I에 따라 대략 W의 변동 폭을 갖는다. 평균 명도 값이 I일 때, 단계 S142에서, 제1 분류부(1222)는 예를 들어 색 정보의 채도 값이 30+ka/2 미만이거나, 명도 값이 65-ka 미만이거나, 채도 값과 명도 값이 각각 30+ka/2 이상, 65-ka 이상이더라도 조정된 채도 명도 관계식의 아래 영역에 속하면, 색 정보를 무채색 클래스로 분류하며, 색 정보의 채도 값이 30+ka/2 이상이고, 명도 값이 65-ka 이상이고, 조정된 채도 명도 관계식의 아래 영역에 속하지 않으면, 색 정보를 유채색 클래스로 분류한다.

즉, 디스플레이 화면의 평균 명도 값(I)이 클수록, 다시 말해 화면이 밝게 설정될수록, 명도 클래스를 분류하는 명도 기준값을 ka만큼 높이고, 채도 기준값을 ka/2 만큼 낮춤으로써, 흰색으로 분류되는 비율을 줄이도록 하고, 반대로 디스플레이 화면의 평균 명도 값(I)이 낮을수록, 다시 말해 화면이 어둡게 설정될수록, 명도 클래스를 분류하는 명도 기준값을 ka만큼 낮추고, 채도 기준값을 ka/2 만큼 높임으로써, 흰색으로 분류되는 비율을 증가시켜, 전체적인 밸런스를 유지하도록 한다.

색 정보가 무채색 클래스에 속하는 경우, 단계 S143에서, 제1 분류부(1222)는 무채색 클래스의 명도 클래스를 분류한다. 예를 들어, 제1 분류부(1222)는 무채색 클래스 중에서, 명도가 185-ka 이상이면 흰색으로 분류하고, 명도가 65-ka 이상 185-ka 미만이면, 회색으로 분류하고, 명도가 65-ka 미만이면 검정으로 분류한다. 색 정보가 유채색 클래스에 속하는 경우, 단계 S144에서, 제2 분류부(1223)는 색상 정보에 따라 유채색 클래스의 색상 클래스를 분류한다. 예를 들어, 제2 분류부(1223)는 색상 정보에 따라 색 정보를 빨강, 주황, 노랑, 초록, 파랑, 보라, 자주 중 어느 하나의 색상 클래스로 분류한다.

단계 S145에서, 음향 정보 산출부(1224)는 명도 클래스와 색상 클래스에 따라 색 정보에 대응하는 음향 정보를 산출한다. 일 실시 예로, 음향 정보 산출부(1224)는 색 정보가 무채색 클래스에 속하는 경우, 서로 다른 소리 크기를 갖는 도, 파, 솔 화음을 나타내는 음향 정보를 산출할 수 있다. 이는 빛의 삼원색인 빨강, 초록, 파랑 빛이 합쳐지면 흰색의 빛이 된다는 물리적 법칙에 따른 것이다. 일 실시 예에 있어서, 색 정보가 흰색이면 도, 파, 솔 화음의 소리 크기를 증가시키고, 색 정보가 검정이면 도, 파, 솔 화음의 소리 크기를 줄일 수 있다.

일 실시 예로, 음향 정보 산출부(1224)는 색 정보가 유채색 클래스에 속하는 경우, 색상 클래스에 따라 미리 설정된 한 옥타브 내의 7음음계(도, 레, 미, 파, 솔, 라, 시) 중 어느 하나의 음계를 나타내는 음향 정보를 산출할 수 있다. 도 17 내지 도 18은 색상 클래스에 따라 음향 정보를 산출하는 방법을 설명하기 위한 도면이다.

도 17은 색상(Hue) 정보가 0~180 범위일 때, 색상 정보에 따라 색(빨강, 주황, 노랑, 초록, 파랑, 보라, 자주)을 분류하는 기준과, 분류된 색에 대응하는 음(도, 레, 미, 파, 솔, 라, 시)의 관계를 나타낸다. 도 18은 색상(Hue) 정보가 0~360 범위일 때, 색상 정보에 따라 색(빨강, 주황, 노랑, 초록, 파랑, 보라, 자주)을 분류하는 기준과, 분류된 색에 대응하는 음(도, 레, 미, 파, 솔, 라, 시)의 관계를 나타낸다. 이러한 색음 변환 관계는 도 17 내지 도 18에 도시된 바와 의하여 제한되지 않으며, 다양하게 변경될 수 있다.

도 19는 본 발명의 다른 일 실시 예에 따른 영상 음향 변환 방법의 흐름도이다. 단계 S191 내지 단계 S194는 사용자가 촬영 모드 중에 촬영 버튼을 누르기 이전의 동작에 해당하며, 단계 S195는 사용자가 촬영 버튼을 누를 때 수행되는 동작에 해당하며, 단계 S196은 사용자가 영상을 촬영한 후, 촬영한 영상을 재생할 때 이루어지는 동작에 해당한다. 단계 S191 내지 단계 S194는 도 19에 도시된 순서와 다른 시계열적 선후 관계를 가질 수도 있다.

도 19를 참조하면, 단계 S191에서, 사용자가 사용자 인터페이스부(170)를 조작함에 의하여 영상 촬영부(180)는 실시간으로 영상을 촬영한다. 즉, 촬영 모드에서, 카메라의 디스플레이 화면에는 사용자가 촬영 버튼을 누르는 시점에서 촬영될 영상이 임시로 디스플레이된다. 단계 S192에서, 방향 센서(190)는 영상이 촬영되는 방향 정보를 측정한다. 단계 S193에서, 색음 변환부(120)는 실시간으로 입력되는 영상 중 중앙 영상 영역의 색 정보를 대응하는 음향 정보로 변환한다. 단계 S194에서, 음향 발생부(130)는 중앙 영상 영역의 색 정보에 대응하는 음향 정보와, 영상이 촬영되는 방향 정보를 소리로 출력한다.

이러한 본 발명의 실시 예에 의하면, 시각 장애인은 영상 촬영 카메라의 디스플레이 화면에서 실시간으로 디스플레이되는 영상 중 미리 설정된 영역, 예를 들어 중심 영상 영역의 색 정보를 음향으로 확인하여, 원하는 색 정보를 갖는 물체가 디스플레이 화면의 중심에 위치하도록 영상 촬영 카메라를 조절하여 영상을 촬영하거나, 옷의 색상을 확인하여 원하는 옷을 고르는 등의 편의를 제공받을 수도 있고, 영상이 촬영되는 방향을 실시간으로 인식하여 영상 촬영 카메라를 원하는 방향으로 조절하여 사진이나 동영상 등의 영상을 촬영할 수 있다.

사용자가 촬영 버튼을 누르면, 단계 S195에서, 녹음부(210)는 영상을 촬영하는 단계와 동기화하여 주변 소리 또는 사용자 음성을 자동으로 녹음한다. 단계 S196에서, 음향 발생부(130)는 영상의 재생시마다 영상 촬영과 동시에 녹음된 주변 소리 또는 사용자 음성을 자동으로 출력한다. 이러한 본 발명의 실시 예에 의하면, 사용자는 영상 영역의 색 정보에 대응하는 음향 정보와 함께, 영상 촬영 당시의 주변 소리, 예를 들어 바닷가의 파도 소리 등을 인식하여 영상을 직감적으로 이해하여 감상할 수 있다.

본 발명의 실시 예는 개인 스마트폰이나, 개인 컴퓨터는 물론, 미술관, 박물관 등 다양한 분야에 적용되어, 시각 장애인이 영상을 감상하는데 도움을 줄 수 있다. 이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.

100: 영상 음향 변환 장치 110: 디스플레이부
111: 디스플레이 화면 120: 색음 변환부
121: 색 추출부 122: 음향 산출부
1221: 파라미터 조정부 1222: 제1 분류부
1223: 제2 분류부 1224: 음향 정보 산출부
130: 음향 발생부 131: 음향 조절부
132,133: 음향 출력부 140: 영상 처리부
141: 단순화 처리부 142: 윤곽선 추출부
150: 진동 발생부 160: 저장부
170: 사용자 인터페이스부 180: 영상 촬영부
190: 방향 센서 200: 제어부
210: 녹음부

Claims (20)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 영상을 디스플레이하는 디스플레이 화면을 구비하는 디스플레이부;
   상기 디스플레이 화면으로의 사용자 입력에 응답하여, 상기 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 색음 변환부; 그리고
   변환된 상기 음향 정보를 소리로 출력하는 음향 발생부를 포함하고,
   영상을 촬영하는 영상 촬영부를 더 포함하며,
   상기 색음 변환부는, 상기 영상 촬영부로부터 입력되는 영상 중 미리 설정된 영상 영역의 색 정보를 대응하는 음향 정보로 변환하고,
   상기 음향 발생부는, 상기 대응하는 음향 정보를 소리로 출력하는
   상기 영상 촬영부에 의해 상기 영상이 촬영되는 방향 정보를 측정하는 방향 센서를 더 포함하며,
   상기 음향 발생부는, 상기 방향 정보를 소리로 출력하는 영상 음향 변환 장치.
6. 제5 항에 있어서,
   상기 영상 촬영부의 영상 촬영과 동기화하여 주변 소리 또는 사용자 음성을 자동으로 녹음하는 녹음부를 더 포함하며,
   상기 음향 발생부는, 상기 영상의 재생시마다 상기 주변 소리 또는 사용자 음성을 자동으로 출력하는 영상 음향 변환 장치.
7. 영상을 디스플레이하는 디스플레이 화면을 구비하는 디스플레이부;
   상기 디스플레이 화면으로의 사용자 입력에 응답하여, 상기 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 색음 변환부; 그리고
   변환된 상기 음향 정보를 소리로 출력하는 음향 발생부를 포함하고,
   상기 색음 변환부는, 상기 디스플레이 화면의 서로 다른 영상 영역에서 동시에 발생되는 복수 개의 사용자 입력에 응답하여, 상기 서로 다른 영상 영역의 각각의 색 정보를 상기 음향 정보로 변환하며,
   상기 음향 발생부는, 각각의 사용자 입력에 대응하여 변환된 각각의 음향 정보를 동시에 소리로 출력하는 영상 음향 변환 장치.
8. 삭제
9. 제5 항 내지 제7 항 중 어느 한 항에 있어서,
   상기 음향 발생부는,
   서로 다른 위치에 설치되는 복수 개의 음향 출력부; 그리고
   상기 사용자 입력에 대응하는 영상 영역의 좌표 정보에 따라 각각의 음향 출력부를 제어하는 음향 조절부를 포함하는 영상 음향 변환 장치.
10. 제9 항에 있어서,
    상기 음향 조절부는, 상기 좌표 정보와 상대적으로 근접한 제1 음향 출력부의 음향 세기를 증가시키고, 상기 좌표 정보와 상대적으로 먼 제2 음향 출력부의 음향 세기를 감소시키는 영상 음향 변환 장치.
11. 삭제
12. 영상을 디스플레이하는 디스플레이 화면을 구비하는 디스플레이부;
    상기 디스플레이 화면으로의 사용자 입력에 응답하여, 상기 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 색음 변환부; 그리고
    변환된 상기 음향 정보를 소리로 출력하는 음향 발생부를 포함하는 영상 음향 변환 장치로서,
    상기 디스플레이 화면은, 터치 스크린을 포함하며,
    상기 색음 변환부는,
    상기 사용자 입력에 의하여 상기 터치 스크린이 터치된 상기 영상 영역의 상기 색 정보를 추출하는 색 추출부; 그리고
    미리 설정된 색음 변환 관계에 따라 상기 색 정보에 대응하는 상기 음향 정보를 산출하는 음향 산출부를 포함하며,
    상기 색음 변환부는, 상기 영상의 평균 명도 값에 따라, 채도 명도 관계식의 파라미터 값을 조정하는 파라미터 조정부를 더 포함하는 영상 음향 변환 장치.
13. 삭제
14. 제5 항 내지 제7 항 중 어느 한 항에 있어서,
    상기 영상으로부터 윤곽선 영역을 나타내는 엣지 영상을 생성하는 영상 처리부; 그리고
    상기 사용자 입력이 상기 윤곽선 영역에서 발생되면 진동을 발생하는 진동 발생부를 더 포함하는 영상 음향 변환 장치.
15. 제14 항에 있어서,
    상기 영상 처리부는,
    상기 영상을 양방향 필터를 이용하여 단순화 처리하는 단순화 처리부; 그리고
    단순화 처리된 영상에서 윤곽선을 추출하여 상기 엣지 영상을 생성하는 윤곽선 추출부를 포함하는 영상 음향 변환 장치.
16. 삭제
17. 디스플레이 화면으로의 사용자 입력에 응답하여, 상기 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 단계; 그리고
    변환된 상기 음향 정보를 소리로 출력하는 단계를 포함하고,
    영상을 촬영하는 단계;
    상기 영상이 촬영되는 방향 정보를 측정하는 단계;
    촬영되는 상기 영상 중 미리 설정된 영상 영역의 색 정보를 대응하는 음향 정보로 변환하는 단계; 그리고
    상기 대응하는 음향 정보와 상기 방향 정보를 소리로 출력하는 단계를 더 포함하는 영상 음향 변환 방법.
18. 디스플레이 화면으로의 사용자 입력에 응답하여, 상기 사용자 입력에 대응하는 영상 영역의 색 정보를 음향 정보로 변환하는 단계; 그리고
    변환된 상기 음향 정보를 소리로 출력하는 단계를 포함하고,
    상기 영상을 촬영하는 단계와 동기화하여 주변 소리 또는 사용자 음성을 자동으로 녹음하는 단계; 그리고
    상기 영상의 재생시마다 상기 주변 소리 또는 사용자 음성을 자동으로 출력하는 단계를 더 포함하는 영상 음향 변환 방법.
19. 제17 항 내지 제18 항 중 어느 한 항에 있어서,
    상기 음향 정보를 소리로 출력하는 단계는,
    상기 사용자 입력에 대응하는 영상 영역의 좌표 정보에 따라 복수 개의 음향 출력부의 음향 세기를 개별적으로 제어하는 단계; 그리고
    상기 복수 개의 음향 출력부에서 상기 음향 정보를 소리로 출력하는 단계를 포함하는 영상 음향 변환 방법.
20. 제17 항 내지 제18 항 중 어느 한 항에 있어서,
    상기 색 정보를 음향 정보로 변환하는 단계는,
    상기 영상의 평균 명도 값에 따라 채도 명도 관계식의 파라미터 값을 조정하는 단계;
    조정된 상기 채도 명도 관계식에 따라 상기 색 정보를 무채색 클래스 또는 유채색 클래스로 분류하는 단계;
    상기 무채색 클래스의 명도 클래스를 흰색, 회색, 검정 중 어느 하나의 무채색으로 분류하는 단계;
    상기 색 정보의 색상 정보에 따라 상기 유채색 클래스의 색상 클래스를 빨강, 주황, 노랑, 초록, 파랑, 보라, 자주 중의 어느 하나의 색상으로 분류하는 단계; 그리고
    상기 명도 클래스와 상기 색상 클래스에 따라, 상기 색 정보에 대응하는 상기 음향 정보를 산출하는 단계를 포함하는 영상 음향 변환 방법.

Images