KR102480570B1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR102480570B1
KR102480570B1 KR1020170149905A KR20170149905A KR102480570B1 KR 102480570 B1 KR102480570 B1 KR 102480570B1 KR 1020170149905 A KR1020170149905 A KR 1020170149905A KR 20170149905 A KR20170149905 A KR 20170149905A KR 102480570 B1 KR102480570 B1 KR 102480570B1
Authority
KR
South Korea
Prior art keywords
text information
image
user
displayed
display device
Prior art date
Application number
KR1020170149905A
Other languages
English (en)
Other versions
KR20190053725A (ko
Inventor
황성준
신동헌
이영아
최아름
이재경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170149905A priority Critical patent/KR102480570B1/ko
Priority to US16/171,761 priority patent/US11099809B2/en
Priority to PCT/KR2018/013400 priority patent/WO2019093744A1/en
Priority to CN201811317328.0A priority patent/CN109766065B/zh
Priority to EP18205394.2A priority patent/EP3483723B1/en
Publication of KR20190053725A publication Critical patent/KR20190053725A/ko
Application granted granted Critical
Publication of KR102480570B1 publication Critical patent/KR102480570B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection

Abstract

본 발명은 디스플레이장치에 관한 것으로서, 디스플레이부; 사용자가 발화하는 음성입력을 수신할 수 있는 사용자입력부; 및 적어도 하나의 제1이미지와 텍스트정보를 상기 디스플레이부에 표시하고, 상기 텍스트정보는 상기 디스플레이부에 표시되지 않은 제2이미지에 대한 것이며, 상기 발화되는 사용자의 음성입력이 상기 텍스트정보에 대응하면 상기 제2이미지를 상기 디스플레이부에 표시하는 처리부를 포함한다.
이에 의하여, 사용자는 음성입력을 통해 디스플레이장치의 화면에 표시되는 이미지를 편리하고 다양하게 변경할 수 있다.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND THE CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 음성입력을 이용한 이미지 감상 기능을 제공하는 디스플레이장치 및 그 제어방법에 관한 것이다.
사진 등의 이미지 컨텐츠를 감상하는 것은 디스플레이장치의 주요 활용 용도 중 하나이다.
이미지 감상 서비스에서 사용되는 주된 사용자 인터페이스의 예로는, 휴대용 디스플레이장치에서는 터치 입력, 대화면 디스플레이장치에서는 리모컨 입력 방식이 있다. 최근에는, 음성인식 기술의 발달에 따라 디스플레이장치의 화면 크기를 불문하고 음성입력 인터페이스의 사용이 증가하고 있다.
그러나 음성입력 인터페이스를 이용한 이미지 감상 서비스의 경우, 다음사진보기 등과 같이 비교적 단순하고 한정된 동작에 관한 입력만이 가능한 실정이다. 그렇다고 입력 가능한 음성의 범위에 제한을 두지 않거나 그 범위를 대폭 넓힐 경우, 사용자로서는 어떤 음성을 발화해야 하는지 알기 어렵다.
이에 본 발명은, 음성입력을 통해 이미지 감상 서비스를 이용하는 사용자에게 더욱 다양하고 편리한 인터페이스를 제공하는 디스플레이장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 디스플레이부; 사용자가 발화하는 음성입력을 수신할 수 있는 사용자입력부; 및 적어도 하나의 제1이미지와 텍스트정보를 상기 디스플레이부에 표시하고, 상기 텍스트정보는 상기 디스플레이부에 표시되지 않은 제2이미지에 대한 것이며, 상기 발화되는 사용자의 음성입력이 상기 텍스트정보에 대응하면 상기 제2이미지를 상기 디스플레이부에 표시하는 처리부를 포함한다.
이에 의하면, 디스플레이장치는 제1이미지를 화면에 표시한 상태에서, 화면에 표시되지 않은 제2이미지에 대한 텍스트정보를 화면에 노출시켜 사용자의 음성을 유도할 수 있다. 그에 따라 사용자는 화면의 이미지를 재구성하기 위한 음성명령을 즉각적으로 입력할 수 있고, 화면에 표시된 텍스트정보를 참조하여 손쉽게 음성명령을 내릴 수 있다.
상기 처리부는 상기 복수의 제1이미지 중 적어도 하나에 대응하는 제1이미지의 텍스트정보를 상기 디스플레이부에 표시하고, 상기 발화되는 사용자의 음성입력이 상기 제1이미지의 텍스트정보에 대응하면 상기 제1이미지의 텍스트정보에 대응하는 새로운 이미지를 상기 디스플레이부에 표시할 수 있다.
이에 의하면, 사용자는 음성입력을 통해 디스플레이 화면에 표시되는 다양하게 변경할 수 있다.
상기 처리부는 상기 발화되는 사용자의 음성입력이 상기 제1이미지의 텍스트정보에 대응하는지 아니면 상기 제2이미지의 텍스트정보에 대응하는지 여부에 따라 상기 사용자의 음성입력에 대응하는 새로운 이미지를 서로 다른 방식으로 상기 디스플레이부에 표시할 수 있다.
이에 의하면, 제1이미지의 텍스트정보 또는 제2이미지의 텍스트정보를 입력하는 사용자의 음성입력에 따라 그 효과를 직관적으로 사용자에게 전달할 수 있다.
상기 디스플레이장치는 감지부를 포함하고, 상기 처리부는 상기 감지부를 통해 사용자 또는 상기 디스플레이장치의 주변 환경을 감지하고, 상기 감지된 사용자 또는 디스플레이장치 주변 환경에 기초하여 상기 텍스트정보를 결정할 수 있다.
이에 의하면, 사용자의 상황에 보다 적합한 텍스트정보를 제공할 수 있다.
상기 처리부는 소정 시간 사용자의 입력이 없을 경우 또는 상기 제2이미지의 텍스트정보에 대응하는 사용자의 음성입력이 발화된 경우, 상기 제1이미지의 텍스트정보 또는 기 발화된 사용자의 음성입력과는 다른 카테고리에 속하도록 상기 제2이미지의 텍스트정보를 결정할 수 있다.
이에 의하면, 사용자는 기 표시되었거나 기 검색된 이미지와는 다른 유형의 이미지에 대한 텍스트정보를 제공받아 이를 참조하여 이미지 감상 서비스를 이용할 수 있으므로, 적은 입력으로도 편리하게 다양한 유형의 사진을 감상할 수 있게 된다.
상기 디스플레이장치는 통신부를 더 포함하고, 상기 제2텍스트정보는 외부장치에 저장된 제2이미지에 대한 것이며, 상기 처리부는 상기 발화되는 사용자의 음성입력이 상기 제2텍스트정보에 대응하면 상기 통신부를 통해 상기 외부장치로부터 상기 제2이미지를 수신하여 상기 디스플레이부에 표시할 수 있다.
이에 의하면, 사용자는 사용자가 촬영하여 보관하고 있는 이미지 외에도 외부장치에 저장되어 있는 다양한 이미지를 감상할 수 있다. 특히 이미지를 저장하고 있는 SNS 서버에서 직접 접근이 가능할 경우, 사용자는 디스플레이장치에 음성입력을 하는 것만으로 SNS 서비스를 직접 이용하는 효과를 얻을 수 있다.
상기 처리부는 SNS어플리케이션의 사용 이력 또는 상기 사용자 음성입력의 발화 이력에 기초하여 소정 이미지에 대응하는 텍스트정보를 설정할 수 있다.
이에 의하면, 본 발명의 디스플레이장치는 사용자가 자주 활용하는 키워드에 기초하여 텍스트정보를 자동으로 생성할 수 있다. 또한, 사용자 적합도가 높은 텍스트정보를 자동으로 생성할 수 있다.
상기 처리부는 상기 제1이미지의 텍스트정보와 상기 제2이미지의 텍스트정보를 서로 구별되도록 표시할 수 있다.
이에 의하면, 사용자는 서로 기능이 다른 제1이미지의 텍스트정보와 제2이미지의 텍스트정보를 시각적으로 구별할 수 있게 되므로, 보다 직관적으로 이미지 감상 서비스를 이용할 수 있게 된다.
상기 처리부는 상기 발화되는 사용자의 음성입력이 상기 텍스트정보에 대응하는지 여부에 따라 상기 표시된 텍스트정보에 그래픽 효과를 적용할 수 있다.
이에 의하면, 사용자는 자신이 발화한 음성명령을 디스플레이장치가 인식했는지 여부를 확인할 수 있게 되어 그에 따른 후속 동작을 진행할 수 있게 된다.
상기 처리부는 상기 표시된 이미지와 그에 대응하는 텍스트정보 사이의 관계를 식별 가능하도록 표시할 수 있다.
이에 의하면, 사용자는 화면에 표시된 이미지와 그에 대응하는 텍스트정보 사이의 관계를 시각적으로 파악할 수 있게 되어, 보다 직관적으로 이미지 감상 서비스를 이용할 수 있게 된다.
상기 사용자 음성입력은 복수의 단어를 포함하고, 상기 처리부는 상기 복수의 단어에 따라 그에 대응하는 제2이미지를 상기 디스플레이부에 순차적으로 표시할 수 있다.
이에 의하면, 사용자의 음성입력에 대하여 즉각적으로 반응하는 이미지 감상 서비스를 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 적어도 하나의 제1이미지와 텍스트정보를 디스플레이부에 표시하고, 상기 텍스트정보는 상기 디스플레이부에 표시되지 않은 제2이미지에 대한 것인 단계; 및 발화되는 사용자의 음성입력이 상기 텍스트정보에 대응하면 상기 제2이미지를 상기 디스플레이부에 표시하는 단계를 포함한다.
이에 의하면, 디스플레이장치는 제1이미지를 화면에 표시한 상태에서, 화면에 표시되지 않은 제2이미지에 대한 텍스트정보를 화면에 노출시켜 사용자의 음성을 유도할 수 있다. 그에 따라 사용자는 화면의 이미지를 재구성하기 위한 음성명령을 즉각적으로 입력할 수 있고, 화면에 표시된 텍스트정보를 참조하여 손쉽게 음성명령을 내릴 수 있다.
상기 제어방법은, 상기 복수의 제1이미지 중 적어도 하나에 대응하는 제1이미지의 텍스트정보를 상기 디스플레이부에 표시하는 단계; 및 상기 발화되는 사용자의 음성입력이 상기 제1이미지의 텍스트정보에 대응하면 상기 제1이미지의 텍스트정보에 대응하는 새로운 이미지를 상기 디스플레이부에 표시하는 단계를 포함할 수 있다.
이에 의하면, 사용자는 음성입력을 통해 디스플레이 화면에 표시되는 이미지를 다양하게 변경할 수 있다.
상기 제어방법은, 상기 발화되는 사용자의 음성입력이 상기 제1이미지의 텍스트정보에 대응하는지 아니면 상기 제2이미지의 텍스트정보에 대응하는지 여부에 따라 상기 사용자의 음성입력에 대응하는 새로운 이미지를 서로 다른 방식으로 상기 디스플레이부에 표시할 수 있다.
이에 의하면, 제1이미지의 텍스트정보 또는 제2이미지의 텍스트정보를 입력하는 사용자의 음성입력에 따라 그 효과를 직관적으로 사용자에게 전달할 수 있다.
상기 제어방법은, 사용자 또는 상기 디스플레이장치의 주변 환경을 감지하고, 상기 감지된 사용자 또는 디스플레이장치 주변 환경에 기초하여 상기 텍스트정보를 결정할 수 있다.
이에 의하면, 사용자의 상황에 보다 적합한 텍스트정보를 제공할 수 있다.
상기 제어방법은, 소정 시간 사용자의 입력이 없을 경우 또는 상기 제2이미지의 텍스트정보에 대응하는 사용자의 음성입력이 발화된 경우, 상기 제1이미지의 텍스트정보 또는 기 발화된 사용자의 음성입력과는 다른 카테고리에 속하도록 상기 제2이미지의 텍스트정보를 결정할 수 있다.
이에 의하면, 사용자는 기 표시되었거나 기 검색된 이미지와는 다른 유형의 이미지에 대한 텍스트정보를 제공받아 이를 참조하여 이미지 감상 서비스를 이용할 수 있으므로, 적은 입력으로도 편리하게 다양한 유형의 사진을 감상할 수 있게 된다.
상기 제어방법에 있어서, 상기 제2텍스트정보는 외부장치에 저장된 제2이미지에 대한 것이며, 상기 발화되는 사용자의 음성입력이 상기 제2텍스트정보에 대응하면 상기 외부장치로부터 상기 제2이미지를 수신하여 상기 디스플레이부에 표시할 수 있다.
이에 의하면, 사용자는 사용자가 촬영하여 보관하고 있는 이미지 외에도 외부장치에 저장되어 있는 다양한 이미지를 감상할 수 있다. 특히 이미지를 저장하고 있는 SNS 서버에서 직접 접근이 가능할 경우, 사용자는 디스플레이장치에 음성입력을 하는 것만으로 SNS 서비스를 직접 이용하는 효과를 얻을 수 있다.
상기 제어방법은, SNS어플리케이션의 사용 이력 또는 상기 사용자 음성입력의 발화 이력에 기초하여 소정 이미지에 대응하는 텍스트정보를 설정할 수 있다.
이에 의하면, 본 발명의 디스플레이장치는 사용자가 자주 활용하는 키워드에 기초하여 텍스트정보를 자동으로 생성할 수 있다. 또한, 사용자 적합도가 높은 텍스트정보를 자동으로 생성할 수 있다.
상기 제어방법은, 상기 제1이미지의 텍스트정보와 상기 제2이미지의 텍스트정보를 서로 구별되도록 표시할 수 있다.
이에 의하면, 사용자는 서로 기능이 다른 제1이미지의 텍스트정보와 제2이미지의 텍스트정보를 시각적으로 구별할 수 있게 되므로, 보다 직관적으로 이미지 감상 서비스를 이용할 수 있게 된다.
상기 제어방법은, 상기 발화되는 사용자의 음성입력이 상기 텍스트정보에 대응하는지 여부에 따라 상기 표시된 텍스트정보에 그래픽 효과를 적용할 수 있다.
이에 의하면, 사용자는 자신이 발화한 음성명령을 디스플레이장치가 인식했는지 여부를 확인할 수 있게 되어 그에 따른 후속 동작을 진행할 수 있게 된다.
상기 제어방법은, 상기 표시된 이미지와 그에 대응하는 텍스트정보 사이의 관계를 식별 가능하도록 표시할 수 있다.
이에 의하면, 사용자는 화면에 표시된 이미지와 그에 대응하는 텍스트정보 사이의 관계를 시각적으로 파악할 수 있게 되어, 보다 직관적으로 이미지 감상 서비스를 이용할 수 있게 된다.
상기 제어방법에 있어서, 상기 사용자 음성입력은 복수의 단어를 포함하고, 상기 복수의 단어에 따라 그에 대응하는 제2이미지를 상기 디스플레이부에 순차적으로 표시할 수 있다.
이에 의하면, 사용자의 음성입력에 대하여 즉각적으로 반응하는 이미지 감상 서비스를 제공할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터프로그램은, 디스플레이장치와 결합되어 위 제어방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램이다.
상기 컴퓨터프로그램은 서버 내의 매체에 저장되고 네트워크를 통해 상기 디스플레이장치에 다운로드 될 수 있다.
상기한 바와 같이, 본 발명에 의하면, 사용자는 음성입력을 통해 디스플레이장치의 화면에 표시되는 이미지를 편리하고 다양하게 변경할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 나타내는 도면,
도 2는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법을 나타내는 도면,
도 4 및 도 5는 본 발명의 일 실시예에 따른 디스플레이장치 표시 화면의 일 예를 나타내는 도면,
도 6은 본 발명의 다른 실시예에 따른 디스플레이장치의 제어방법을 나타내는 도면,
도 7은 본 발명의 일 실시예에 따른 디스플레이장치 작동 모습의 일 예를 나타내는 도면,
도 8은 본 발명의 일 실시예에 따른 디스플레이장치의 텍스트정보 표시 부분의 일 예를 나타내는 도면,
도 9는 본 발명의 일 실시예에 따른 디스플레이장치의 텍스트정보 결정 시 참조 정보의 일 예를 나타내는 도면,
도 10은 본 발명의 일 실시예에 따른 디스플레이장치 세부작동의 일 예를 나타내는 도면,
도 11은 본 발명의 일 실시예에 따른 디스플레이장치를 이용하여 SNS 이미지를 감상하는 일 예를 나타내는 도면,
도 12는 본 발명의 일 실시예에 따른 디스플레이장치가 텍스트정보를 자동으로 생성하는 일 예를 나타내는 도면,
도 13은 본 발명의 일 실시예에 따른 디스플레이장치가 텍스트정보를 자동으로 생성하는 다른 예를 나타내는 도면,
도 14는 본 발명의 일 실시예에 따른 디스플레이장치에서 음성입력 가능함을 표시하는 그래픽의 일 예를 나타내는 도면,
도 15는 본 발명의 일 실시예에 따른 디스플레이장치에서 음성인식이 실패했음을 표시하는 그래픽의 일 예를 나타내는 도면,
도 16은 본 발명의 일 실시예에 따른 디스플레이장치에서 텍스트정보를 종류별로 구별되도록 표시하는 일 예를 나타내는 도면,
도 17 내지 도 19는 본 발명의 일 실시예에 따른 디스플레이장치에서 텍스트정보와 표시된 이미지 사이의 관계를 표시하는 여러 예를 나타내는 도면,
도 20은 본 발명의 일 실시예에 따른 디스플레이장치에서 복수의 단어를 포함한 음성입력에 따라 순차적으로 그에 대응하는 제2이미지를 표시하는 일 예를 나타내는 도면.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 디스플레이장치를 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(100)는, 예컨대, TV로 구현될 수 있다. 또한, 본 발명의 다른 실시예에 따른 디스플레이장치(100)는, 예컨대, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 스마트폰, 태블릿, 모바일폰, 스마트워치, 헤드 마운트형 디스플레이(Head-Mounted Display) 등의 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 셋탑박스, 냉장고 등 컨텐츠의 영상을 출력할 수 있는 장치로 구현될 수 있다. 그러나 본 발명의 일 실시예에 따른 디스플레이장치(100)는 이에 한정되지 않고, 이미지 또는 영상을 표시할 수 있는 장치라면 무엇이든 가능하다.
본 발명의 일 실시예에 따른 디스플레이장치(100)는 사용자(101)로부터 음성을 입력받아 이에 대응하는 이미지를 표시한다. 여기에서 이미지는, 예를 들어, 사진이나 그림 파일 등을 포함할 수 있다. 이미지 파일의 압축 방식이나 형태에는 아무런 제한이 없다. 또한, 본 발명의 이미지는 복수의 이미지 또는 동영상의 일부 프레임일 수도 있다. 그 경우 본 발명의 일 실시예에 따른 디스플레이장치(100)는 정적인 이미지 외에도 동적인 이미지 또는 영상을 표시할 수 있다. 이하에서 이미지는 동영상을 포함하는 의미로 사용한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)가 표시할 수 있는 이미지의 출처는 다양하다. 예를 들어, 본 발명의 일 실시예에 따른 디스플레이장치(100)는 장치 내부의 저장부 또는 외부의 저장장치에 저장된 이미지를 독취하여 표시할 수 있고, 소셜 네트워크 서비스(Social Network Service, 이하 'SNS'라고 함) 어플리케이션(110)으로부터 이미지를 수신하거나 직접 SNS 서버에 접속하여 이미지를 획득하여 표시할 수도 있고, 클라우드 서버(120)나 모바일폰(130)으로부터 이미지를 수신하여 표시할 수도 있다. 다만, 디스플레이장치(100)가 이미지를 공급받는 방법과 출처가 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 디스플레이장치의 구성을 나타내는 블록도이다. 본 발명의 일 실시예에 따른 디스플레이장치(100)는 사용자입력부(101), 처리부(102), 디스플레이부(103)를 포함한다. 다만, 도 2에 도시된 본 디스플레이장치(100)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 디스플레이장치는 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 디스플레이장치는 도 2에 도시된 구성 외에 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 일부가 배제되어 구현될 수도 있다.
사용자입력부(101)는 사용자가 발화하는 음성입력을 수신하여 그 음성신호를 처리부(102)로 전달할 수 있다. 사용자입력부(101)는, 예를 들어, 마이크로 구현될 수 있다. 사용자입력부(101)는 수신한 음성신호에 대한 신호처리를 자체적으로 수행할 수도 있다.
사용자입력부(101)는 사용자의 터치입력 또는 리모트 컨트롤러(remote controller)를 이용한 사용자의 원격입력을 수신하여 해당 입력을 처리부(102)로 전달할 수도 있다. 이하에서는 설명의 편의를 위하여 사용자입력이 음성입력의 형태로 수신되는 실시예들을 설명하나, 그것이 터치입력이나 원격입력 등 다른 입력 형태를 배제하는 것은 아니고, 성질상 터치입력 또는 원격입력 등으로도 입력이 가능한 부분은 음성과는 다른 형태로 사용자의 입력을 수신할 수도 있다.
처리부(102)는 사용자입력부(101)에 의해 수신된 음성신호를 처리할 수 있다. 예를 들어, 처리부(102)는 음성신호에 대하여 볼륨 조정, 증폭 등의 처리를 수행할 수 있다. 처리부(102)는 이상 언급된 처리를 수행하는 하나 이상의 하드웨어 및/또는 소프트웨어 모듈 혹은 그 조합으로서 구현될 수 있다.
처리부(102)는 저장부로부터 독취하거나 어플리케이션(110), 클라우드 서버(120) 또는 모바일폰(130)으로부터 수신한 이미지를 처리할 수 있다. 처리부(102)가 수행하는 이미지처리 또는 영상처리 프로세스의 종류는 한정되지 않는다. 처리부(102)에서 수행하는 영상처리는, 예를 들어, 입력되는 스트림을 영상, 음성, 부가데이터의 각 하위 스트림으로 구분하는 디멀티플렉싱(de-multiplexing), 영상스트림의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상스트림을 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상스트림을 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
처리부(102)는, 디스플레이장치(100)의 제반 구성들이 동작하기 위한 제어를 수행할 수 있다. 처리부(102)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 디스플레이장치(100) 이외의 다른 전자기기에도 저장될 수 있다.
제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(100)의 제조 시에 디스플레이장치(100)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(100)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(100)로 다운로드될 수도 있으나, 이에 한정되는 것은 아니다. 한편, 처리부(102)는 device, S/W module, circuit, chip 등의 형태 또는 그 조합으로 구현될 수 있다.
처리부(102)는, 예컨대, 사용자입력을 수신하도록 사용자입력부(101)를 제어할 수 있다. 처리부(102)는 또한 이미지에 대하여 처리를 수행한 후, 처리된 이미지가 표시되도록 디스플레이부(103)를 제어할 수 있다. 도 2에 도시된 디스플레이장치(100)는 하나의 처리부(102)에서 처리와 제어를 함께 수행하는 구성으로 구현된 것을 나타내나, 이는 하나의 예시일 뿐이며, 본 발명의 다른 실시예에 의한 디스플레이장치(100)는 처리부와 별도로 제어부를 추가 구비한 구성으로 구현될 수도 있다.
디스플레이부(103)는, 처리부(102)에서 처리된 영상을 표시할 수 있다. 디스플레이부(103)의 구현 방식은 한정되지 않으며, 예컨대 액정(Liquid Crystal), 플라즈마(Plasma), 발광 다이오드(Light-Emitting Diode), 유기발광 다이오드(Organic Light-Emitting Diode), 면전도 전자총(Surface-Conduction Electron-Emitter), 탄소 나노 튜브(Carbon Nano-Tube), 나노 크리스탈(Nano-Crystral) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 디스플레이부(103)는, 액정 방식인 경우에, 액정 디스플레이 패널과 액정 디스플레이 패널에 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널을 구동시키는 패널구동부 등을 포함한다. 디스플레이부(103)는, 백라이트유닛 없이, 자발광 소자인 OLED 패널로 구현될 수 있다.
본 발명의 일 실시예에 따른 디스플레이장치(100)는 저장부 또는 통신부를 더 포함할 수 있다.
저장부는 처리부(102)의 처리 및 제어에 따라서 다양한 데이터를 저장할 수 있다. 저장부는 처리부(102)에 의해 엑세스되어, 데이터의 독취, 기록, 수정, 삭제, 갱신 등을 수행할 수 있다. 저장부는 디스플레이장치(100)에 대한 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive), SSD(solid-state drive) 등과 같은 비휘발성 메모리를 포함할 수 있다. 또한, 저장부는 처리부(102)에 의해 처리되는 데이터가 임시로 로딩되기 위한 버퍼, 램 등과 같은 휘발성 메모리를 포함할 수 있다.
통신부는 외부모듈이나 외부장치, 예를 들어 SNS 어플리케이션(110), 클라우드 서버(120)나 모바일폰(130) 등과 통신할 수 있다. 통신부는 유선 또는 무선으로 통신 할 수 있다. 따라서 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, Wi-Fi, 블루투스, 지그비(Zigbee), 적외선 통신, Radio Control, UWM(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다. 통신부는 BLE(Bluetooth Low Energy), SPP(Serial Port Profile), WiFi Direct, 적외선 통신, Zigbee, NFC(Near Field Communication) 등의 통신모듈을 포함할 수 있다. 통신부는 device, S/W module, circuit, chip 등의 형태로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법을 도시한다. 본 발명의 일 실시예에 따른 디스플레이장치(100)의 처리부(102)는 적어도 하나의 제1이미지와 텍스트정보를 디스플레이부(103)에 표시하고, 위 텍스트정보는 디스플레이부(103)에 표시되지 않은 제2이미지에 대한 것 (S301). 여기서 '이미지에 대한 텍스트정보'란, 해당 이미지에 관한 정보 중에서 텍스트 형태로 나타낼 수 있는 모든 정보를 포괄하는 개념으로서, 일 예로 이미지가 사진에 해당하는 경우, 사진에 대한 텍스트정보는 촬영날짜, 촬영장소, 촬영기기, 사용렌즈, 빛 노출 정도, 감도 정보, 화각 등을 포함할 수 있다. 또한, 이미지에 대한 텍스트정보는 이미지 자체의 내용에 관한 정보를 포함할 수 있고, 그 일 예로 태그정보를 포함할 수 있다. 그 외에도 텍스트정보는 해당 이미지를 설명할 수 있는 모든 종류의 속성정보 및 메타데이터도 포함할 수 있다. 예를 들어, 이미지에 대한 텍스트정보는 해당 이미지에 포함된 인물이나 사물, 배경에 관한 정보, 해당 컨텐츠의 유형, 종류, 상황, 카테고리(문서, 자연, 스포츠, 여행, 모임, 회의, 단체사진 등) 등을 포함할 수 있다.
처리부(102)는 사용자의 음성입력을 수신하고(S302), 수신된 사용자의 음성입력이 텍스트정보에 대응하는지 여부를 판단하여(S303), 텍스트정보에 대응될 경우 그 입력된 텍스트정보에 대응되는 제2이미지를 디스플레이부(103)에 표시한다(S304). 즉, 처리부(102)는 사용자의 음성입력이, 디스플레이부(103)에 표시된 제1이미지가 아닌, 디스플레이부(103)에 표시되지 않은 제2이미지에 대한 텍스트정보에 대응할 경우 제2이미지를 디스플레이부(103)에 표시하므로, 사용자는 화면에 표시된 텍스트정보를 참조하여 음성명령을 입력함으로써, 아직 디스플레이부(103)에 표시되지 않았던 새로운 이미지를 볼 수 있게 된다.
이에 의하면, 본 발명의 일 실시예에 의한 디스플레이장치(100)는 제1이미지를 화면에 표시한 상태에서, 화면에 표시되지 않은 제2이미지에 대한 텍스트정보를 화면에 노출시켜 사용자의 음성을 유도할 수 있다. 그에 따라 사용자는 화면의 이미지를 재구성하기 위한 음성명령을 즉각적으로 입력할 수 있고, 화면에 표시된 텍스트정보를 참조하여 손쉽게 음성명령을 내릴 수 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 디스플레이장치 표시 화면의 일 예를 도시한다. 도 4에서 볼 수 있듯이, 본 발명의 일 실시예의 의한 디스플레이장치(100)의 처리부(102)는 이미지와 텍스트정보를 디스플레이부(103)의 화면에 함께 표시한다(400). 다시 말해 디스플레이부(103)의 화면(500)은, 도 5와 같이, 이미지 표시 영역(504-507 등)과 텍스트정보 표시 영역(501-503)으로 구분될 수 있다. 그러나 도 4 및 도 5에서 이미지와 텍스트정보가 표시된 형태는 하나의 예시일 뿐, 이미지와 텍스트 사이의 구성과 배치, 각 세부영역의 크기와 모양, 개수 등은 이에 한정되지 않는다.
이와 같이 디스플레이부(103)의 화면에 제1이미지와, 제1이미지와는 다른 제2이미지에 대한 텍스트정보가 함께 표시된 상태에서, 텍스트정보에 대응하는 사용자의 음성입력이 수신되면, 처리부(102)는 사용자가 발화한 텍스트정보에 대응하는 제2이미지를 디스플레이부(103)에 표시한다. 여기서 제2이미지를 디스플레이부(103)에 표시하는 방법도 다양한 방법이 가능하다. 일 예로, 처리부(102)는 디스플레이부(103)에 기 표시된 제1이미지 중 적어도 일부를 제2이미지로 대체하는 방식으로 제2이미지를 디스플레이부(103)에 표시할 수 있다. 다른 예로, 처리부(102)는 디스플레이부(103)에 빈 공간이 있으면 해당 공간에 제2이미지를 표시할 수 있다. 또 다른 예로, 처리부(102)는 기 표시된 제1이미지 중 적어도 일부에 대한 크기 축소 및/또는 배치 변경 등을 수행하여 디스플레이부(103)에 빈 공간을 확보한 후 해당 공간에 제2이미지를 표시함으로써, 비록 제1이미지가 기 표시된 상태에서는 빈 공간이 없었더라도 기 표시된 제1이미지 모두를 화면에 유지하면서도 제2이미지를 새로이 디스플레이부(103)에 표시할 수 있다. 예를 들어, 처리부(102)는 기 표시된 제1이미지들의 크기를 축소 후 디스플레이부(103)의 가장자리로 그 위치를 이동시켜 디스플레이부(103)의 중앙 부분에 공간을 확보한 뒤 여기에 제2이미지를 새로이 표시할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 디스플레이장치의 제어방법을 도시한다. 본 발명의 다른 실시예에 의한 디스플레이장치(100)의 처리부(102)는, 위와 같이 화면에 표시된 제1이미지와는 다른 제2이미지에 대한 텍스트정보(이하 '제2텍스트정보'라고도 함)를 표시하는 것 외에도, 이미 화면에 표시되어 있는 제1이미지에 대한 텍스트정보(이하 '제1텍스트정보'라고도 함)도 디스플레이부(103)의 화면에 표시한다(S601). 화면에 표시된 제1이미지가 복수의 이미지를 포함할 경우, 제1텍스트정보는 화면에 표시된 이미지 중 일부에 대해서만 대응될 수도 있고, 화면에 표시된 이미지 전체와 대응될 수도 있다. 또한, 화면에 표시된 제1이미지가 복수의 이미지(이하 '제1-1이미지' 및 '제1-2이미지'라고도 함)를 포함하는 상황에서, 제1텍스트정보 또한 복수 개의 텍스트정보(이하 '제1-1텍스트정보' 및 '제1-2텍스트정보'라고도 함)를 포함할 수도 있다. 이 경우 각각의 제1텍스트정보는 화면에 표시된 제1이미지 중 적어도 일부에 대응될 수 있다. 예를 들어, 제1-1텍스트정보는 제1-1이미지와 대응하고, 제1-2텍스트정보는 제1-2이미지와 대응할 수 있다.
이후 처리부(102)는 사용자의 음성입력을 수신하여(S602), 사용자의 음성입력이 (제2텍스트정보에 대응하는지 뿐만 아니라) 제1텍스트정보에 대응하는지도 판단하고(S603), 대응할 경우 제1텍스트정보에 대응하는 새로운 이미지를 표시한다(S604).
도 4를 다시 참조하여 본 실시예를 자세히 설명한다. 도 4의 디스플레이부(103)의 화면(400)에는, 제1이미지로서 '도쿄'에 관한 사진(401, 402) 및 '봄(Spring)'에 관한 사진(403, 404)이 표시되어 있는 것과 동시에, 그와는 다른 제2이미지로서 아직 화면에는 표시되어 있지 않은 이미지에 대한 텍스트정보, 예를 들어 '프랑스 파리'에 관한 이미지에 대한 텍스트정보(420)가 표시되어 있고, 여기에 더해 제1이미지에 관한 텍스트정보(410, 411)도 함께 표시되어 있다. 이 상태에서 발화되는 사용자의 음성입력이 제1이미지의 텍스트정보 중 어느 하나(410)에 대응하면, 예를 들어 도 4와 같이 이미 '도쿄'에 관한 사진(401, 402)이 화면에 표시되어 있는 상태에서 '도쿄'의 텍스트정보(410)에 대응하는 사용자의 음성이 입력되면, 처리부(102)는 '도쿄'에 관한 추가 사진을 디스플레이부(103)의 화면(400)에 표시한다. 다른 예로, 사용자의 음성입력이 화면에 표시된 제1이미지의 텍스트정보 중 다른 하나인 '봄(Spring)'(411)에 대응하면, 처리부(102)는 '봄'에 관한 추가 사진을 디스플레이부(103)의 화면(400)에 표시한다. 반면, 또 다른 예로, 사용자의 음성입력이 화면에 표시되지 않은 제2이미지의 텍스트정보인 '프랑스 파리'(420)에 대응하면, 처리부(102)는 '프랑스 파리'에 관한 사진을 새롭게 디스플레이부(103)의 화면(400)에 표시한다.
이에 의하면, 사용자는 음성입력을 통해 디스플레이 화면에 표시되는 이미지를 편리하고 다양하게 변경할 수 있다. 구체적으로, 사용자는 화면에 표시된 제1이미지를 감상하면서 화면에 표시된 텍스트정보를 참조하여, 현재 화면에 표시된 제1이미지와 관련된 추가 이미지를 더 감상하고 싶을 경우에는 제1이미지의 텍스트정보에 관한 음성명령을 입력하고, 현재 화면에 표시된 제1이미지와는 다른 이미지를 감상하고 싶을 경우에는 제2이미지의 텍스트정보에 관한 음성명령을 입력함으로써, 음성입력을 통해 디스플레이 화면에 표시되는 이미지를 편리하고 다양하게 변경할 수 있다.
나아가, 본 발명의 다른 실시예에 의한 디스플레이장치(100)의 처리부(102)는 발화되는 사용자의 음성입력이 제1이미지의 텍스트정보에 대응하는지 아니면 제2이미지의 텍스트정보에 대응하는지 여부에 따라 상기 사용자의 음성입력에 대응하는 새로운 이미지를 서로 다른 방식으로 디스플레이부(103)에 표시할 수 있다.
앞서 살펴본 바와 같이, 디스플레이부(103)의 화면에 제1텍스트정보와 제2텍스트정보가 함께 표시되어 있는 경우, 각 텍스트정보의 입력에 따라 디스플레이장치(100)가 제공하는 기능에는 차이가 있다. 즉, 제1텍스트정보에 관한 음성명령이 입력된 경우 디스플레이장치(100)의 처리부(102)는 현재 화면에 표시된 제1이미지와 관련된 이미지를 새로 표시하는 반면, 제2텍스트정보에 관한 음성명령이 입력된 경우 처리부(102)는 현재 화면에 표시된 제1이미지와는 다른 이미지를 표시한다. 따라서 각각의 경우에 따라 새로 표시되는 이미지를 서로 다른 방식으로 보여주는 것이 효과적일 수 있다.
일 예로, 처리부(102)는 제1텍스트정보에 관한 음성명령이 입력된 경우 기 표시된 제1이미지들의 크기를 축소 후 디스플레이부(103)의 가장자리로 그 위치를 이동시켜 디스플레이부(103)의 중앙 부분에 공간을 확보한 뒤 여기에 제1텍스트정보에 관한 새로운 이미지를 추가적으로 표시하도록 하고, 반면 제2텍스트정보에 관한 음성명령이 입력된 경우는 기 표시된 제1이미지 중 적어도 일부를 제2텍스트정보에 관한 제2이미지로 대체하는 방식으로 제2이미지를 디스플레이부(103)에 표시할 수 있다. 즉, 처리부(102)는 제1텍스트정보에 관한 음성명령이 입력된 경우는 기 표시된 이미지에 대해 추가적으로 새로운 이미지를 표시하고, 제2텍스트정보에 관한 음성명령이 입력된 경우는 기 표시된 이미지에 대해 대체적으로 새로운 이미지를 표시함으로써, 제1텍스트정보에 관한 음성명령 입력시에는 기 표시된 이미지와 관련이 있는 이미지가 새로 표시된다는 점과, 제2텍스트정보에 관한 음성명령 입력시에는 기 표시된 이미지를 대체하는 새로운 이미지가 새로 표시된다는 점을 직관적으로 나타낼 수 있다.
이에 의하면, 제1텍스트정보 또는 제2텍스트정보를 입력하는 사용자의 음성입력에 따라 그 효과를 직관적으로 사용자에게 전달할 수 있다.
사용자는 음성입력 시 제1텍스트정보와 제2텍스트정보 둘 다에 대응하는 음성을 발화할 수도 있다. 도 7을 참조하여 이를 설명한다.
도 7의 710은 사용자가 음성을 입력할 당시 표시된 디스플레이부(103) 화면의 일 예를 도시한다. 화면에는 복수의 제1이미지(711-713)와 그에 관한 제1텍스트정보(714-716), 그리고 화면에는 표시되지 않은 이미지에 관한 제2텍스트정보(717, 718)가 표시되어 있다. 예를 들어, 화면에는 제1텍스트정보(714-716)로는 'Summer', 'Holiday', 'New York'이 표시되어 있고, 제1이미지로(711-713)는 '뉴욕'에 관한 복수의 사진이 표시되어 있으며, 제2텍스트정보(717, 718)로는 'TOKYO', 'PARIS' 등이 표시되어 있다. 다만, 제1이미지와 제1텍스트정보 및 제2텍스트정보의 배치 위치나 형태가 이에 한정되는 것은 아니다.
위와 같은 화면이 표시되어 있는 상태에서, 사용자가 "작년 여름에 찍었던 사진 보여줘"라는 음성을 발화한 경우(720), 본 발명의 일 실시예에 따른 디스플레이장치(100)의 처리부(102)는 사용자가 발화한 음성입력을 수신하고 분석하여, 위 발화된 음성이 제1텍스트정보 및 제2텍스트정보 둘 다에 대응하는 음성임을 파악할 수 있다. 입력음성 중 "여름"은 제1텍스트정보인 'Summer'에 대응되고, 입력음성 중 "작년"은 화면에 표시된 제2텍스트정보에 대응하지는 않으나, 아직 화면에 표시되지 않은 이미지와 관련된 텍스트정보로서 제2텍스트정보와 마찬가지로 취급할 수 있기 때문이다.
위와 같이 사용자가 발화한 음성이 제1텍스트정보 및 제2텍스트정보 둘 다에 대응하는 음성으로 파악된 경우, 처리부(102)는 입력된 제1텍스트정보 및 제2텍스트정보에 대응되는 이미지를 화면에 표시한다(730). 입력된 제1텍스트정보 및 제2텍스트정보에 대응되는 이미지를 화면에 표시하는 방법은, 앞서 설명한 바와 같이, 다양한 방법이 가능하다. 다만, 제1텍스트정보 및 제2텍스트정보 둘 다에 대응하는 음성이 입력된 경우는, 제1텍스트정보가 입력된 이상, 기 표시된 이미지와 관련이 있는 추가 이미지를 요청하는 입력으로 판단할 수 있으므로, 처리부(102)는 제1텍스트정보에 대응하는 이미지를 표시하는 방법과 동일한 방법으로 표시하는 것이 적절할 수 있다.
또한, 처리부(102)는 새로 표시된 이미지와 대응되도록 제1텍스트정보를 변경 또는 업데이트 할 수 있다. 예를 들어, '여름' 뿐만 아니라 '작년'에도 대응되는 이미지가 화면에 새로 표시됨에 따라서, '작년'이라는 텍스트정보의 경우 사용자의 음성입력 전에는 제1텍스트정보에 해당할 수 없었으나, 사용자의 음성입력 이후에는 제1텍스트정보에 해당할 수 있게 되었으므로, '작년'에 해당하는 텍스트정보를 제1텍스트정보가 되도록 업데이트 할 수 있다(731). 이미 화면에 표시되어 있던 제1텍스트정보의 경우 새로운 이미지가 표시된 후에는 그 위치를 변경하여 표시하는 것도 가능하다(732). 나아가, 처리부(102)는 사용자 음성입력에 대응되는 이미지를 화면에 표시한 후, 제2텍스트정보 또한 변경 또는 업데이트할 수 있다. 제2텍스트정보의 변경 또는 업데이트에 관한 내용은 도 9를 참조하여 후술한다.
본 발명의 실시예에 따라 화면에 표시될 텍스트정보의 내용 및 구성과 배치, 형태 등은 다양한 유형이 가능하다. 도 8을 참조하여 그 일 예를 설명한다.
도 8은 디스플레이부(103)의 화면에서 3개의 영역에 걸쳐 텍스트정보가 표시된 경우의 텍스트정보 표시 부분의 일 예를 도시한다. 그러나 텍스트정보가 표시된 영역의 개수가 위에 한정되는 것은 아니다. 또한, 텍스트정보들이 도 8과 같이 몇몇 영역에 모여서 보여지도록 표시되어야 하는 것도 아니다.
도 8은 표시할 텍스트정보를 크게 날짜, 장소, 태그의 3 유형으로 분류하여 표시하는 예를 도시한다. 그러나 텍스트정보의 내용 및 유형 분류가 이에 한정되는 것은 아니다.
도 8에서 3개의 영역 중 제1영역(810)은 현재 디스플레이부(103)의 화면상에 표시된 제1이미지에 관한 텍스트정보에 관한 영역이고, 제2영역(820)과 제3영역(830)은 디스플레이부(103)의 화면에 아직 표시되지 않은 제2이미지에 관한 영역이다. 그 경우 사용자는 현재 표시된 제1이미지와 관련된 추가 이미지를 더 감상하고 싶은 경우에는 제1영역(810)의 텍스트정보를 활용할 수 있다. 그렇지 않고 사용자가 현재 화면에 표시된 제1이미지와는 다른 이미지를 감상하고 싶을 경우에는 제2영역(820) 및 제3영역(830)을 참조하여 다른 이미지가 표시되도록 할 수 있다(이하 '필터링' 이라고도 함).
제1영역(810)은 현재 표시된 제1이미지와 관련된 텍스트정보 표시 영역으로서, 제1영역(810)에서 Date 1(811)은 현재 날짜를 표시한다. TAG 1(812)과 TAG 2(813)는 현재 표시된 이미지와 관련 있는 태그정보를 표시한다. LOCATION 1(814)은 현재 표시된 이미지와 관련 있는 장소정보를 표시한다. 현재 표시된 이미지와 관련 있는 태그정보 또는 장소정보를 선정하거나 결정하는 방법은 다양한 방법이 가능하다. 예를 들어, 현재 표시된 이미지 중 가장 많은 이미지와 관련이 있는 태그정보나 장소정보를 표시할 수도 있고, 가장 최근에 표시된 이미지에 관한 태그정보나 장소정보를 표시할 수도 있다.
제2영역(820) 및 제3영역(830)은 화면에는 표시되지 않은 제2이미지에 관한 텍스트정보 표시 영역으로서, DATE 2(821)는 필터링에 추천하는 날짜 정보, LOCATION 2(822) 및 LOCATION 3(823)은 필터링에 추천하는 지역정보, TAG 3(824) 및 TAG 4(825)는 필터링에 추천하는 태그 정보를 표시한다.
필터링에 추천할 텍스트정보를 결정하는 방법은 도 9를 참조하여 설명한다. 본 발명의 일 실시예에 의한 디스플레이장치(100)의 처리부(102)는, 감지된 사용자(910)에 관한 정보, 디스플레이장치(100)의 주변 환경(920) 정보, 기 표시된 제1텍스트정보(930), 또는 기 발화된 사용자의 음성입력(940) 정보 등을 참조하여 필터링에 추천할 텍스트정보를 결정할 수 있다. 그러나 처리부(102)가 필터링에 추천할 텍스트정보를 결정할 때 참조 가능한 정보가 이에 한정되는 것은 아니다.
먼저, 본 발명의 일 실시예에 의한 디스플레이장치(100)는 감지부를 더 구비하여 위 감지부를 통해 디스플레이장치(100)를 이용하고 있는 사용자 또는 디스플레이장치(100) 주변의 환경을 감지할 수 있다. 처리부(102)는 위 감지부를 통해 감지된 사용자 또는 디스플레이장치(100)의 주변 환경에 기초하여 필터링에 추천할 텍스트정보를 결정할 수 있다. 일 예로, 감지부를 통해 현재 디스플레이장치(100)를 이용하는 사용자가 감지된 경우, 처리부(102)는 그로부터 사용자가 누구인지를 인식한 후 그 사용자의 발화 이력을 참조하는 등의 방법으로 해당 사용자에게 적합한 텍스트정보를 결정할 수 있다. 다른 예로, 감지부를 통해 현재 디스플레이장치(100)의 주변 환경이 감지된 경우, 처리부(102)는 그 주변 환경에 적합한 텍스트정보를 필터링에 추천할 텍스트정보로 결정할 수 있다. 예를 들어, 디스플레이장치(100)의 주변 환경을 감지한 결과 현재 시각이 저녁이나 밤 시간대로 파악된 경우, 처리부(102)는 야경 등을 텍스트정보로 결정할 수 있다. 그러나 감지 가능한 주변 환경과 이를 참조한 텍스트정보가 이에 한정되는 것은 아니고, 예를 들어 디스플레이장치(100) 주변의 조명, 온도, 계절, 공간의 전체적 색상, 주변 사물 등도 감지하여 이를 참조해 텍스트정보를 결정할 수도 있다.
이에 의하면, 사용자의 상황에 보다 적합한 텍스트정보를 제공할 수 있다.
또는, 본 발명의 일 실시예에 의한 디스플레이장치(100)는 기 표시된 제1텍스트정보(930), 또는 기 발화된 사용자의 음성입력(940) 정보를 참조하여 필터링에 추천할 텍스트정보를 결정할 수도 있다. 예를 들어, 디스플레이장치(100)의 처리부(102)는 제1이미지의 텍스트정보 또는 기 발화된 사용자의 음성입력과는 다른 카테고리에 속하도록 제2이미지의 텍스트정보를 결정할 수 있다. 즉, 처리부(102)는 이미 표시되어 있는 이미지와는 다른 카테고리에 속한 이미지에 관한 텍스트정보를 제공하거나, 사용자가 이미 음성입력을 통해 표시를 요청한 바 있는 것과는 다른 카테고리에 속한 이미지에 관한 텍스트정보를 제공할 수 있다. 이에 의하면, 사용자는 기 표시되었거나 기 검색된 이미지와는 다른 유형의 이미지에 대한 텍스트정보를 제공받아 이를 참조하여 이미지 감상 서비스를 이용할 수 있으므로, 적은 입력으로도 편리하게 다양한 유형의 사진을 감상할 수 있게 된다.
위와 같이 필터링에 추천할 텍스트정보를 결정하여 표시하는 시점은 다양한 시점이 가능하다. 일 예로, 처리부(102)는 사용자의 음성입력이 수신하고 그에 따라 새로운 이미지를 표시한 후 제2텍스트정보를 업데이트하는 과정에서 위와 같이 필터링에 추천할 텍스트정보를 결정하여 이를 제2텍스트정보 업데이트에 활용할 수 있다. 다른 예로, 처리부(102)는 사용자로부터 소정 시간 동안 음성입력이 없는 경우에도 위와 같이 필터링에 추천할 텍스트정보를 결정하여 이에 기초하여 제2텍스트정보를 업데이트할 수 있다.
이상 살펴본 예시들이 결합된 일 실시예에 따른 디스플레이장치의 세부작동을 도 10을 참조하여 설명한다.
본 발명의 일 실시예에 의한 디스플레이장치(100)의 처리부(102)는, 디스플레이부(103)에 표시할 초기화면으로서, 디스플레이장치(100)의 저장부로부터 소정 개수, 예를 들어 15개의 이미지를 임의로 선택하여 이를 표시하고, 위 표시된 이미지에 관한 제1텍스트정보 및 표시되지 않은 이미지에 관한 제2텍스트정보를 표시한다(S1001). 제2텍스트정보를 결정하는 방법은 앞서 살펴본 다양한 방법이 모두 적용 가능하고, 표시되지 않은 이미지에 관한 텍스트정보 중에서 임의로 선택하는 것도 가능하다.
초기화면을 표시한 이후 처리부(102)는 사용자의 음성입력을 감지하여(S1002), 음성입력이 감지되면 입력된 음성입력을 분석한다(S1003). 만약 소정 시간 동안 사용자의 입력이 없을 경우 처리부(102)는 제1텍스트정보와는 다른 카테고리의 정보가 표시되도록 제2텍스트정보를 업데이트함으로써(S1004), 그에 대한 사용자의 음성입력을 유도할 수 있다. 나아가 처리부(102)는 소정 시간 동안 사용자의 입력이 없을 경우 화면에 표시된 이미지를 변경할 수도 있고 그에 맞춰 해당 이미지에 관한 제1텍스트정보도 변경할 수 있다.
음성입력이 감지됨에 따라 입력된 음성을 분석한 처리부(102)는 사용자가 입력한 음성에 대응하는 텍스트정보를 가진 이미지로, 표시된 이미지 중 적어도 일부를 변경할 수 있다(S1005). 다만, 앞서 본 바와 같이, 사용자가 입력한 음성에 대응하는 텍스트정보를 가진 이미지를 표시하는 방법은 이에 한정되지 않고, 예를 들어 기 표시된 이미지를 모두 유지한 채 새로운 이미지를 추가적으로 표시할 수도 있다.
새로운 이미지를 표시한 처리부(102)는 새로 표시된 이미지에 맞추어 제1텍스트정보를 업데이트할 수 있고, 나아가 제2텍스트정보도 업데이트할 수 있다(S1006). 제1텍스트정보를 업데이트하는 방법으로는, 예를 들어 새로 표시된 이미지에 관한 제1텍스트를 기존의 제1텍스트에 추가하거나 일부를 대체할 수 있다. 제2텍스트정보를 업데이트하는 방법은 앞서 도 9에서 설명한 내용이 그대로 적용 가능하다.
여기서 더 나아가 사용자가 디스플레이부(103)의 화면에 표시된 이미지 중 하나를 선택하기 위한 음성명령을 발화한 경우, 처리부(102)는 화면에 표시된 각 이미지의 위에 각각의 번호를 표시할 수 있고, 사용자는 해당 번호에 관한 음성을 입력함으로써 하나의 이미지를 선택할 수 있다. 즉, 처리부(102)는 사용자가 여러 사진 중 하나의 사진을 음성으로 특정하는 데에 가이드가 될 수 있는 정보를 표시할 수 있다. 다만, 하나의 사진을 선택하는 데 가이드가 되는 표시 방법이 이에 한정되는 것은 아니다.
이상 실시예에서는 처리부(102)가 디스플레이장치(100)의 저장부에 저장된 이미지를 디스플레이부(103)에 표시하는 예를 설명하였으나, 처리부(102)가 접근할 수 있는 이미지의 출처가 이에 한정되는 것은 아니다. 앞서 살펴본 바와 같이, 처리부(102)는 SNS 어플리케이션(110)으로부터 이미지를 수신하거나 직접 SNS 서버에 접속하여 이미지를 획득하여 표시할 수도 있고, 클라우드 서버(120)나 모바일폰(130)으로부터 이미지를 수신하여 표시할 수도 있다.
특히 처리부(102)가 SNS 서버에 직접 접속하여 이미지를 획득 및 표시할 수 있는 경우, 사용자는 본 발명의 디스플레이장치(100)를 이용하여 SNS를 직접 이용하는 효과를 얻을 수 있다. 도 11을 참조하여 이를 설명한다.
본 발명의 일 실시예에 의한 디스플레이장치(100)는 통신부를 더 포함하고, 처리부(102)는 발화되는 사용자의 음성입력이 외부장치, 예를 들어 SNS 서버에 저장된 제2이미지에 대한 텍스트정보에 대응하면, 통신부를 통해 위 외부장치로부터 제2이미지를 수신하여 디스플레이부(103)에 표시할 수 있다.
도 11을 참조하여 이를 보다 자세히 설명하면, 본 발명의 일 실시예에 의한 디스플레이장치(100)의 처리부(102)는, 제2텍스트정보의 하나로서 이미지의 공급 출처에 관한 정보를 화면(1110)에 표시할 수 있다. 예를 들어, 처리부(102)는 이미지의 공급 출처에 관한 정보로서, A라는 이름의 SNS를 뜻하는 SNS_A(1111), 클라우드 서버를 뜻하는 Cloud(1112), 모바일폰을 뜻하는 Mobile(1113)을 화면에 표시할 수 있다.
사용자가 이 중 "SNS_A"를 발화한 경우, 위 발화를 수신한 처리부(102)는 위 SNS_A에서 제공되는 이미지 및 서비스와 관련된 정보를 제2텍스트정보로서 화면(1120)에 표시할 수 있다. 예를 들어, 처리부(102)는 '#인기라이브'(1121), '#실시간급상승'(1122), '#Follower'(1123)를 SNS_A에 관한 제2텍스트정보로 화면에 표시할 수 있다.
위 화면 및 제2텍스트정보를 참조하여 사용자가 "실시간급상승"을 발화한 경우, 위 발화를 수신한 처리부(102)는 사용자가 발화한 텍스트정보인 "실시간급상승"에 대응하는 이미지를 SNS 서버로부터 수신하여 디스플레이부(103)의 화면(1130)에 표시한다. 예를 들어 '실시간급상승'에 대응하는 이미지에 관한 텍스트정보가 크리스마스(1131), 뮤지컬(1132), 수원맛집(1133)를 포함할 경우, 처리부(102)는 위 텍스트정보를 화면에 표시하고 그와 관련된 이미지도 디스플레이부(103)의 화면(1130)에 표시할 수 있다.
이에 의하면, 사용자는 사용자가 촬영하여 보관하고 있는 이미지 외에도 외부장치에 저장되어 있는 다양한 이미지를 감상할 수 있다. 특히 이미지를 저장하고 있는 SNS 서버에서 직접 접근이 가능할 경우, 사용자는 디스플레이장치에 음성입력을 하는 것만으로 SNS 서비스를 직접 이용하는 효과를 얻을 수 있다.
본 발명의 일 실시예에 의한 디스플레이장치(100)는 소정 이미지에 대하여 그에 대응하는 텍스트정보를 생성할 수 있다. 도 12 및 도 13을 참조하여 이를 설명한다.
도 12는 본 발명의 일 실시예에 따른 디스플레이장치가 텍스트정보를 자동으로 생성하는 일 예를 도시한다. 본 발명의 일 실시예에 의한 디스플레이장치(100)의 처리부(102)는 소정 이미지를 표시함에 있어서, 그 이미지에 대한 텍스트정보가 없는 경우 이미지 분석을 통해 해당 이미지에 대한 텍스트정보를 생성할 수 있다.
예를 들어, 모바일폰(1200)의 사용자가 모바일폰에 저장된 하나의 사진(1201)을 선택하여 이를 디스플레이장치(100)로 전송하여 표시하고자 하는 경우, 디스플레이장치(100)의 처리부(102)는 모바일폰 사용자의 선택에 대응하여 위 사진을 수신하고 이를 디스플레이부에 표시할 수 있다. 이 때 디스플레이장치(100)의 처리부(102)는 위 수신된 사진에 대한 텍스트정보가 없음을 파악하고, 위 사진에 대한 이미지 분석을 통해 그에 대한 텍스트정보를 생성할 수 있다. 예를 들어 도 12의 사진(1201)이 수신되는 경우, 처리부(102)는 이미지 분석을 통해 위 사진에 대한 텍스트정보로 'Mountain', 'Snow', 'Scenery'를 생성하고 위 생성된 텍스트정보(1203)를 위 사진에 대한 제1텍스트정보로서 사진(1202)과 함께 디스플레이부의 화면에 표시할 수 있다.
이미지를 분석하여 텍스트정보를 생성하는 방법으로는, 예를 들어, SVM(Support Vector Machin) 알고리즘 등을 이용한 머신 러닝(Machine Learning)이나 딥 러닝(Deep Learning), 그 중에서도 CNN(Convolutional Neural Network)를 이용한 딥 러닝 기술 등을 활용한 이미지 인식 기술로 구현할 수 있다. 다만, 구현 방법이 이에 한정되는 것은 아니고 그 외 다양한 영상인식 기술을 이용하여 구현할 수도 있다.
디스플레이장치(100)의 처리부(102)는 위와 같은 이미지 분석을 직접 수행하지 않고, 서버(1204)를 통해 이미지 분석을 하도록 할 수 있다. 즉, 처리부(102)는 텍스트정보가 없는 사진을 수신한 경우 그 사실을 파악하고, 외부 서버(1204)를 통해 위 사진에 대한 이미지 분석을 통해 그에 대한 텍스트정보를 생성하도록 하여, 사진과 함께 서버에서 생성된 텍스트정보를 함께 수신할 수 있다.
이상은 소정 이미지에 대하여 텍스트정보가 없는 경우에 텍스트정보를 자동으로 생성하는 예를 설명하였으나, 이는 소정 이미지에 대해 텍스트정보가 있더라도 추가로 텍스트정보를 생성하는 경우에도 적용 가능하다.
본 발명의 일 실시예에 의한 디스플레이장치(100)의 처리부(102)는 SNS어플리케이션의 사용 이력 또는 상기 사용자 음성입력의 발화 이력에 기초하여 소정 이미지에 대응하는 텍스트정보를 설정할 수 있다. 도 13을 참조하여 이를 설명한다.
도 13은 사용자 음성입력의 이력으로 "2년전 제주도에서 낚시하던 사진 보여줘"(1311), "한강에서 낚시하던 사진 보여줘"(1312), "배 타고 낚시하던 사진 보여줘"(1313) 등의 입력이 있고, 이 중 '2017년', '한강', '배'에 대해서는 텍스트정보에 해당하는 키워드로서 태그 데이터베이스(Tag DB)(1314)에 저장 또는 등록되어 있는 상황을 예시한다. 그 상황에서 본 발명의 일 실시예에 의한 디스플레이장치(100)의 처리부(102)는 사용자의 음성입력 이력을 분석하여(S1310), 텍스트정보에 해당하는 키워드로서 태그 DB에 등록되어 있지는 않으나 입력 빈도가 높은 대상키워드를 식별한다(S1320). 도 13의 예에서 처리부(102)는 사용자 음성입력의 이력(1311-1313)을 분석하여 '낚시'(1321) 키워드가 이에 해당함을 파악할 수 있다.
대상키워드를 파악한 처리부(102)는 파악한 대상키워드를 텍스트정보에 해당하는 키워드로서 태그 DB에 추가한다(S1330). 이후 처리부(102)는 소정의 이미지를 분석하여 태그 DB에 추가된 위 대상키워드를 텍스트정보로 추가할 수 있는 이미지인지를 판단하고, 추가가 가능할 경우 대상키워드를 해당 이미지에 대한 텍스트정보로 추가하여 향후 디스플레이부(103)의 화면에 표시되도록 할 수 있다. 즉, 처리부(102)는 사용자가 자주 활용하는 키워드를 파악하여 이를 텍스트정보 자동 생성 시에 활용할 수 있다.
사용자의 SNS어플리케이션 사용 이력을 참조하여 소정 이미지에 대응하는 텍스트정보를 자동 생성하는 방법도 위와 유사하다.
이에 의하면, 본 발명의 디스플레이장치는 소정 이미지에 대한 텍스트정보를 자동으로 생성함에 있어서, 사용자가 자주 활용하는 키워드에 기초하여 텍스트정보를 자동으로 생성할 수 있으므로, 자동 생성된 텍스트정보의 사용자 적합도가 높아진다.
도 14는 본 발명의 일 실시예에 따른 디스플레이장치에서 음성입력 가능함을 표시하는 그래픽의 일 예를 도시한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)의 디스플레이부(103)에는 이미지와 함께 텍스트정보가 표시되는데, 사용자 입장에서는 위 텍스트정보의 용도와 기능을 인지하지 못하고 그저 장식이나 디자인적 요소로 생각할 수 있다. 이러한 사용자에게 위 텍스트정보가 사용자가 입력 가능한 정보임을 표시하기 위하여, 본 발명의 일 실시예에 따른 디스플레이장치(100)의 처리부(102)는 각 텍스트정보에 대하여 그래픽 효과를 줄 수 있다. 일 예로, 도 14와 같이, 처리부(102)는 특정 텍스트정보(1401)에 대하여 그것이 상하 방향으로 바운스하는 듯한 그래픽 효과를 부여할 수 있다. 다만, 그래픽 효과의 종류나 내용이 이제 한정되는 것은 아니다. 예를 들어, 처리부(102)는 텍스트정보 위에 해당 텍스트정보에 대한 음성입력이 가능하다는 안내문구를 GUI의 형태로 표시 및/또는 별도의 음성안내를 출력할 수도 있다.
이에 의하면, 사용자는 화면에 표시된 텍스트정보가 사용자가 입력 가능한 정보임을 인식할 수 있게 된다.
도 15는 본 발명의 일 실시예에 따른 디스플레이장치에서 음성인식이 실패했음을 표시하는 그래픽의 일 예를 도시한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)의 디스플레이부(103)에 표시된 텍스트정보가 사용자가 입력 가능한 정보임을 인식한 사용자가 표시된 텍스트정보에 해당하는 음성을 발화한 경우, 디스플레이장치(100)의 처리부(102)는 사용자가 발화한 음성을 인식했는지 여부를 사용자에게 알려줄 필요가 있다. 이를 위해 본 발명의 일 실시예에 따른 디스플레이장치(100)의 처리부(102)는 발화되는 사용자의 음성입력이 텍스트정보에 대응하는지 여부에 따라 표시된 텍스트정보에 그래픽 효과를 적용할 수 있다. 예를 들어, 도 15와 같이, 처리부(102)는 특정 텍스트정보(1501)에 대하여 그것이 좌우 방향으로 바운스하는 듯한 그래픽 효과를 부여할 수 있다. 다만, 그래픽 효과의 종류나 내용이 이제 한정되는 것은 아니다.
이에 의하면, 사용자는 자신이 발화한 음성명령을 디스플레이장치가 인식했는지 여부를 확인할 수 있게 되어 그에 따른 후속 동작을 진행할 수 있게 된다.
도 16은 본 발명의 일 실시예에 따른 디스플레이장치에서 텍스트정보를 종류별로 구별되도록 표시하는 일 예를 도시한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)의 디스플레이부(103)에는 이미지와 함께 텍스트정보가 표시될 수 있고, 여기서 텍스트정보로서는 표시된 이미지에 대한 제1텍스트정보와, 표시되지 않은 이미지에 대한 제2텍스트정보의 두 가지 유형이 함께 표시될 수 있다. 그리고, 앞서 설명한 바와 같이, 사용자가 어느 유형의 텍스트정보에 대응하는 음성을 발화하는지에 따라 디스플레이장치가 제공하는 기능에는 차이가 있다. 구체적으로, 사용자가 제1텍스트정보에 대응하는 음성을 발화한 경우, 디스플레이장치(100)의 처리부(102)는 현재 화면에 표시되어 있는 제1이미지와 관련된 추가 이미지를 표시한다. 그에 따라 사용자는 현재 표시된 이미지와 관련성이 있는 이미지들을 계속적으로 감상할 수 있게 된다. 반면, 사용자가 제2텍스트정보에 대응하는 음성을 발화한 경우, 디스플레이장치(100)의 처리부(102)는 현재 화면에 표시되어 있는 제1이미지와는 다른 이미지를 표시한다. 그에 따라 사용자는 현재 표시된 이미지와는 다른 내용의 이미지들을 탐색하고 감상할 수 있게 된다.
이처럼 제1텍스트정보와 제2텍스트정보는 그 입력에 따라 제공되는 기능이 다르므로 본 발명의 일 실시예에 의한 디스플레이장치(100)의 처리부(102)는 제1텍스트정보와 제2텍스트정보를 서로 구별되도록 표시할 필요가 있다.
제1텍스트정보와 제2텍스트정보를 서로 구별되도록 표시하는 방법의 일 예로 처리부(102)는, 도 8에서와 같이, 각 텍스트정보가 표시되는 영역 자체가 구별되도록 표시할 수 있다. 다른 예로 처리부(102)는, 도 16에서와 같이, 각 유형의 텍스트정보에 대하여 서로 다른 형태의 테두리를 표시할 수도 있다. 다만, 제1텍스트정보와 제2텍스트정보를 서로 구별되도록 표시하는 방법이 이에 한정되는 것은 아니다.
이에 의하면, 사용자는 서로 기능이 다른 제1텍스트정보와 제2텍스트정보를 시각적으로 구별할 수 있게 되므로, 보다 직관적으로 이미지 감상 서비스를 이용할 수 있게 된다.
도 17 내지 도 19는 본 발명의 일 실시예에 따른 디스플레이장치에서 텍스트정보와 표시된 이미지 사이의 관계를 표시하는 여러 예를 도시한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)의 처리부(102)는 표시된 이미지와 그에 대응하는 텍스트정보 사이의 관계를 식별 가능하도록 표시할 수 있다. 본 발명의 일 실시예에 따른 디스플레이장치(100)의 디스플레이부(103)에는 이미지와 함께 텍스트정보가 표시될 수 있고, 텍스트정보 중에는 화면에 표시된 이미지에 대한 제1텍스트정보가 있으므로, 이들 사이의 관계를 표시함으로써 화면에 표시된 이미지가 각각 어떤 텍스트정보에 대응하는지에 관한 정보를 시각적으로 제공하는 것은 사용자에게 유용할 수 있다.
디스플레이부(103)의 화면에 표시된 이미지와 그에 대응하는 텍스트정보 사이의 관계를 나타내는 방법으로는 다양한 방법이 가능하다. 일 예로, 도 17과 같이, 각 텍스트정보와 그에 대응하는 이미지에 대하여 동일한 색상의 테두리를 표시함으로써 색상을 이용해 양자의 관계를 표시할 수 있다. 다른 예로, 도 18과 같이, 각 텍스트정보와 그에 대응하는 이미지를 선으로 연결함으로써 양자의 관계를 표시할 수 있다. 또 다른 예로, 도 19와 같이, 각 텍스트정보와 그에 대응하는 이미지를 서로 인접하여 배치함으로써, 그 구도에 의해 양자의 관계가 표현되도록 표시할 수도 있다. 그 외에도, 양자의 관계를 표시할 수 있는 시각적 방법이라면 무엇이든 적용 가능하다.
이에 의하면, 사용자는 화면에 표시된 이미지와 그에 대응하는 텍스트정보 사이의 관계를 시각적으로 파악할 수 있게 되어, 보다 직관적으로 이미지 감상 서비스를 이용할 수 있게 된다.
도 20은 본 발명의 일 실시예에 따른 디스플레이장치에서 복수의 단어를 포함한 음성입력에 따라 순차적으로 그에 대응하는 제2이미지를 표시하는 일 예를 도시한다.
본 발명의 일 실시예에 따른 디스플레이장치(100)에 대하여, 사용자는 복수의 단어를 포함한 문장 단위로 음성을 발화할 수 있다. 그 경우 디스플레이장치(100)의 처리부(102)는 사용자가 발화한 음성에 포함된 단어에 따라 그에 대응하는 제2이미지를 디스플레이부(103)에 순차적으로 표시할 수 있다.
도 20을 참조하여 이를 설명하면, 예를 들어 사용자가 "작년에 미국 여행에서 현지 사람들과 찍은 사진 보여줘"(2001)라는 발화를 한 경우, 디스플레이장치(100)의 처리부(102)는 이를 수신하여 그에 대응하는 이미지를 디스플레이부(103)의 화면에 표시한다. 이 때, 본 실시예의 처리부(102)는, 하나의 문장에 대한 발화가 끝난 뒤에야 그에 대응하는 이미지를 디스플레이부(103)에 표시하는 것이 아니라, 사용자의 발화에 포함된 각 단어에 따라 그에 대응하는 이미지를 순차적으로 표시할 수 있다. 예를 들어, 처리부(102)는 "작년에"(2010)라는 발화가 수신되면 바로 그에 대응하는 이미지를 화면에 표시하고(2011), 다음으로 "미국 여행에서"(2020)라는 발화가 수신되면 바로 그에 대응하는 이미지를 화면에 표시하며(2021), 그 뒤 "현지 사람들과"(2030)라는 발화가 수신되면 바로 그에 대응하는 이미지를 화면에 표시하고(2031), 마지막으로 "찍은 사진 보여줘"(2040)라는 발화가 수신되면 바로 그에 대응하는 이미지를 화면에 표시할 수 있다(2041).
이에 의하면, 사용자의 음성입력에 대하여 즉각적으로 반응하는 이미지 감상 서비스를 제공할 수 있다.
100: 디스플레이장치
101: 사용자입력부
102: 처리부
103: 디스플레이부

Claims (22)

  1. 디스플레이장치에 있어서,
    디스플레이부;
    사용자 음성입력을 수신할 수 있는 음성입력부; 및
    제1이미지와, 상기 제1이미지에 연관된 제1키워드를 포함하는 제1텍스트정보를 상기 디스플레이부에 표시하도록 제어하고,
    상기 음성입력부를 통해 수신되는 상기 사용자 음성입력이 상기 제1텍스트정보에 포함된 상기 제1키워드 및 상기 제1텍스트정보에 포함되지 않은 제2키워드에 대응하는 것에 기초하여, 상기 제1키워드 및 상기 제2키워드에 연관된 제2이미지를 상기 디스플레이부에 표시하도록 제어하는 프로세서를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 제1키워드 및 상기 제2키워드를 포함하는 제2텍스트정보를 상기 제2이미지와 함께 상기 디스플레이부에 표시하도록 제어하는 디스플레이장치.
  3. 삭제
  4. 제1항에 있어서,
    감지부를 포함하고,
    상기 프로세서는, 상기 감지부를 통해 사용자 또는 상기 디스플레이장치의 주변 환경을 감지하고, 상기 감지된 사용자 또는 디스플레이장치 주변 환경에 기초하여 상기 제1텍스트정보를 결정하는 디스플레이장치.
  5. 삭제
  6. 제1항에 있어서,
    통신부를 더 포함하고,
    상기 프로세서는, 상기 통신부를 통해 외부장치로부터 상기 제2이미지를 수신하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 프로세서는, SNS 어플리케이션의 사용 이력 또는 상기 사용자 음성입력의 발화 이력에 기초하여 소정 이미지에 대응하는 상기 제1텍스트정보를 설정하는 디스플레이장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 프로세서는, 상기 발화되는 사용자의 음성입력이 상기 제1텍스트정보의 상기 제1키워드에 대응하는지 여부에 따라 상기 제1텍스트정보에 그래픽 효과를 적용하는 디스플레이장치.
  10. 삭제
  11. 삭제
  12. 디스플레이장치의 제어방법에 있어서,
    제1이미지와, 상기 제1이미지에 연관된 제1키워드를 포함하는 제1텍스트정보를 표시하는 단계; 및
    발화되는 사용자의 음성입력이 상기 제1텍스트정보에 포함된 상기 제1키워드 및 상기 제1텍스트정보에 포함되지 않은 제2키워드에 대응하는 것에 기초하여, 상기 제1키워드 및 상기 제2키워드에 연관된 제2이미지를 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  13. 제12항에 있어서,
    상기 제1키워드 및 상기 제2키워드를 포함하는 제2텍스트정보를 상기 제2이미지와 함께 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  14. 삭제
  15. 제12항에 있어서,
    사용자 또는 상기 디스플레이장치의 주변 환경을 감지하고, 상기 감지된 사용자 또는 디스플레이장치 주변 환경에 기초하여 상기 제1텍스트정보를 결정하는 디스플레이장치의 제어방법.
  16. 삭제
  17. 제12항에 있어서,
    외부장치로부터 상기 제2이미지를 수신하는 디스플레이장치의 제어방법.
  18. 제12항에 있어서,
    SNS 어플리케이션의 사용 이력 또는 상기 사용자 음성입력의 발화 이력에 기초하여 소정 이미지에 대응하는 상기 제1텍스트정보를 설정하는 디스플레이장치의 제어방법.
  19. 삭제
  20. 제12항에 있어서,
    상기 발화되는 사용자의 음성입력이 상기 제1텍스트정보의 상기 제1키워드에 대응하는지 여부에 따라 상기 제1텍스트정보에 그래픽 효과를 적용하는 디스플레이장치의 제어방법.
  21. 삭제
  22. 삭제
KR1020170149905A 2017-11-10 2017-11-10 디스플레이장치 및 그 제어방법 KR102480570B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170149905A KR102480570B1 (ko) 2017-11-10 2017-11-10 디스플레이장치 및 그 제어방법
US16/171,761 US11099809B2 (en) 2017-11-10 2018-10-26 Display apparatus and control method thereof
PCT/KR2018/013400 WO2019093744A1 (en) 2017-11-10 2018-11-06 Display apparatus and control method thereof
CN201811317328.0A CN109766065B (zh) 2017-11-10 2018-11-07 显示设备及其控制方法
EP18205394.2A EP3483723B1 (en) 2017-11-10 2018-11-09 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170149905A KR102480570B1 (ko) 2017-11-10 2017-11-10 디스플레이장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190053725A KR20190053725A (ko) 2019-05-20
KR102480570B1 true KR102480570B1 (ko) 2022-12-23

Family

ID=64270698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170149905A KR102480570B1 (ko) 2017-11-10 2017-11-10 디스플레이장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US11099809B2 (ko)
EP (1) EP3483723B1 (ko)
KR (1) KR102480570B1 (ko)
CN (1) CN109766065B (ko)
WO (1) WO2019093744A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD855629S1 (en) * 2015-10-23 2019-08-06 Sony Corporation Display panel or screen or portion thereof with an animated graphical user interface
USD823337S1 (en) * 2016-07-29 2018-07-17 Ebay Inc. Display screen or a portion thereof with animated graphical user interface
USD877191S1 (en) * 2018-01-03 2020-03-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD877190S1 (en) * 2018-01-03 2020-03-03 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN111712788A (zh) * 2018-08-14 2020-09-25 索尼移动通讯有限公司 图像形成方法及装置、以及移动终端
USD921662S1 (en) * 2019-03-25 2021-06-08 Warsaw Orthopedic, Inc. Display screen with graphical user interface for medical treatment and/or diagnostics
JP7287459B2 (ja) * 2019-04-18 2023-06-06 日本電信電話株式会社 発話画像化装置、発話画像化方法及びプログラム
CN110659006B (zh) * 2019-08-20 2023-08-22 北京捷通华声科技股份有限公司 跨屏显示的方法、装置、电子设备及可读存储介质
US20210090558A1 (en) * 2019-09-24 2021-03-25 Audio Analytic Ltd Controlling a user interface
JP6807621B1 (ja) 2020-08-05 2021-01-06 株式会社インタラクティブソリューションズ 音声に基づいて画像を変更するためのシステム
KR102596036B1 (ko) * 2022-12-21 2023-11-01 주식회사 인조이웍스 인공지능 기반 무인매장 운영 서비스 제공 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256047A (ja) 2011-06-07 2012-12-27 Samsung Electronics Co Ltd ディスプレイ装置およびそのリンク実行方法、並びに、音声認識方法
US20130332168A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Voice activated search and control for applications
JP2017016296A (ja) 2015-06-30 2017-01-19 シャープ株式会社 画像表示装置
WO2017044260A1 (en) 2015-09-08 2017-03-16 Apple Inc. Intelligent automated assistant for media search and playback
JP2017059121A (ja) 2015-09-18 2017-03-23 カシオ計算機株式会社 画像管理装置、画像管理方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7721301B2 (en) 2005-03-31 2010-05-18 Microsoft Corporation Processing files from a mobile device using voice commands
US20080162472A1 (en) 2006-12-28 2008-07-03 Motorola, Inc. Method and apparatus for voice searching in a mobile communication device
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
US20100280829A1 (en) 2009-04-29 2010-11-04 Paramesh Gopi Photo Management Using Expression-Based Voice Commands
JP2012109901A (ja) * 2010-11-19 2012-06-07 Elmo Co Ltd 資料提示装置
KR101897492B1 (ko) * 2011-06-07 2018-09-13 삼성전자주식회사 디스플레이 장치 및 이의 하이퍼링크 실행 방법 및 음성 인식 방법
WO2013012107A1 (ko) * 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US8885960B2 (en) 2011-10-05 2014-11-11 Microsoft Corporation Linking photographs via face, time, and location
KR102056461B1 (ko) * 2012-06-15 2019-12-16 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20130346068A1 (en) 2012-06-25 2013-12-26 Apple Inc. Voice-Based Image Tagging and Searching
KR101309794B1 (ko) * 2012-06-27 2013-09-23 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
KR101990037B1 (ko) * 2012-11-13 2019-06-18 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102010298B1 (ko) * 2013-05-21 2019-10-21 엘지전자 주식회사 영상표시장치 및 영상표시장치의 동작방법
KR102092164B1 (ko) * 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
KR102209519B1 (ko) 2014-01-27 2021-01-29 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR102252072B1 (ko) * 2014-10-14 2021-05-14 삼성전자주식회사 음성 태그를 이용한 이미지 관리 방법 및 그 장치
KR102339461B1 (ko) * 2014-12-18 2021-12-15 삼성전자 주식회사 전자 장치의 텍스트 기반 컨텐츠 운용 방법 및 장치
KR20160090269A (ko) * 2015-01-21 2016-07-29 박원남 싱글모드와 멀티모드 기능이 있는 사진모듈
KR102360453B1 (ko) * 2015-04-10 2022-02-09 삼성전자 주식회사 카메라 설정 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012256047A (ja) 2011-06-07 2012-12-27 Samsung Electronics Co Ltd ディスプレイ装置およびそのリンク実行方法、並びに、音声認識方法
US20130332168A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Voice activated search and control for applications
JP2017016296A (ja) 2015-06-30 2017-01-19 シャープ株式会社 画像表示装置
WO2017044260A1 (en) 2015-09-08 2017-03-16 Apple Inc. Intelligent automated assistant for media search and playback
JP2017059121A (ja) 2015-09-18 2017-03-23 カシオ計算機株式会社 画像管理装置、画像管理方法及びプログラム

Also Published As

Publication number Publication date
CN109766065A (zh) 2019-05-17
US11099809B2 (en) 2021-08-24
WO2019093744A1 (en) 2019-05-16
US20190146752A1 (en) 2019-05-16
CN109766065B (zh) 2022-09-06
EP3483723B1 (en) 2022-05-11
KR20190053725A (ko) 2019-05-20
EP3483723A1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
KR102480570B1 (ko) 디스플레이장치 및 그 제어방법
US11379672B2 (en) Method of video call
US10049644B2 (en) System and method for output display generation based on ambient conditions
US20190235706A1 (en) Display device providing feedback based on image classification
KR102098058B1 (ko) 뷰 모드에서 정보 제공 방법 및 장치
WO2015143875A1 (zh) 内容呈现方法，内容呈现方式的推送方法和智能终端
KR20150017131A (ko) 모바일 단말기 및 그의 제어 방법
KR102527082B1 (ko) 디스플레이장치 및 그 제어방법
US20150120618A1 (en) Artificial intelligence audio apparatus and operation method thereof
KR20150026367A (ko) 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
US11240550B2 (en) Electronic apparatus and control method thereof
US20190124387A1 (en) System and method for display adjustments based on content characteristics
CN108028966B (zh) 视频提供装置、视频提供方法及计算机程序
KR20190081701A (ko) 사진촬영에 음악을 링크하는 전자 장치 및 이의 제어 방법
KR20120076485A (ko) 휴대단말에서 전자책 서비스 제공 방법 및 장치
US20130055079A1 (en) Display device providing individualized feedback
KR20120129015A (ko) 어학 컨텐츠 생성 방법 및 이를 위한 단말기
CN110786019B (zh) 服务器及其控制方法
US10123060B2 (en) Method and apparatus for providing contents
KR20180006137A (ko) 단말기 및 그 제어 방법
KR20210095291A (ko) 스토리를 생성하는 전자 장치 및 그의 동작 방법
KR102585777B1 (ko) 전자 장치 및 그 제어방법
KR20190061631A (ko) 서버 및 그 제어방법
KR20150010886A (ko) 증강현실 클라우드 시스템 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant