음향 신호 강조 방법

본 발명의 일 실시예는 제1 음향 신호와 제2 음향 신호가 합성(合成)된 제3 음향 신호에서 상기 제1 음향 신호를 강조(調)하는 방법으로, 상기 제3 음향 신호를 하나 이상의 시간영역으로 구분하고, 상기 하나 이상의 시간영역 각각에서의 상기 제3 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합인 제1 주파수 세트 및 상기 제1 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기(Magnitude)인 제1 성분 크기를 확인하는 단계; 상기 제1 주파수 세트, 상기 제1 성분 크기 및 음향 분리기에 기초하여 상기 하나 이상의 시간영역 각각에서의 상기 제2 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합인 제2 주파수 세트 및 제2 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기인 제2 성분 크기를 결정하는 단계; 상기 제1 주파수 세트, 상기 제1 성분 크기, 상기 제2 주파수 세트 및 상기 제2 성분 크기 중 적어도 하나에 기초하여 상기 제1 성분 크기에 적용되는 게인(Gain)을 산출하는 단계; 및 상기 제1 성분 크기에 상기 산출된 게인을 적용하여 상기 제3 음향 신호로부터 제4 음향 신호를 생성하는 단계;를 포함할 수 있다. 이 때 상기 음향 분리기는 복수의 제3 음향 신호와 상기 복수의 제3 음향 신호 각각의 적어도 하나의 제2 음향 신호와의 상관관계를 표현한 데이터 세트일 수 있다.

청구범위
청구항 1
제1 음향 신호와 제2 음향 신호가 합성(合成)된 제3 음향 신호에서 상기 제1 음향 신호를 강조(調)하는 방법에있어서,상기 제3 음향 신호를 하나 이상의 시간영역으로 구분하고, 상기 하나 이상의 시간영역 각각에서의 상기 제3 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합인 제1 주파수 세트 및 상기 제1 주파수 세트에 포함되는하나 이상의 주파수 성분 각각의 크기(Magnitude)인 제1 성분 크기를 확인하는 단계;상기 제1 주파수 세트, 상기 제1 성분 크기 및 음향 분리기에 기초하여 상기 하나 이상의 시간영역 각각에서의상기 제2 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합인 제2 주파수 세트 및 제2 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기인 제2 성분 크기를 결정하는 단계;상기 제1 주파수 세트, 상기 제1 성분 크기, 상기 제2 주파수 세트 및 상기 제2 성분 크기 중 적어도 하나에 기초하여 상기 제1 성분 크기에 적용되는 게인(Gain)을 산출하는 단계; 및상기 제1 성분 크기에 상기 산출된 게인을 적용하여 상기 제3 음향 신호로부터 제4 음향 신호를 생성하는 단계;를 포함하고,상기 음향 분리기는 복수의 제3 음향 신호와 상기 복수의 제3 음향 신호 각각의 적어도 하나의 제2 음향 신호와의 상관관계를 표현한 데이터 세트이고,상기 제1 주파수 세트는 제1 주파수 성분을 포함하고,상기 게인을 산출하는 단계는상기 제2 주파수 세트가 상기 제1 주파수 성분과 대응되는 성분을 포함하는 경우, 상기 제1 주파수 성분과 대응되는 게인의 크기를 감소시키는 단계; 및상기 제2 주파수 세트가 상기 제1 주파수 성분과 대응되는 성분을 포함하지 않는 경우, 상기 제1 주파수 성분과대응되는 게인의 크기를 증가시키는 단계;를 포함하는, 제1 음향 신호 강조 방법.
청구항 2
제1 항에 있어서상기 제1 음향 신호는 음성(音聲)을 포함하는 신호이고,상기 제2 음향 신호는 잡음(雜音)을 포함하는 신호인, 제1 음향 신호 강조 방법.
청구항 3
삭제
청구항 4
제1 항에 있어서상기 게인의 크기를 감소시키는 단계는상기 제2 주파수 세트에서 상기 제1 주파수 성분과 대응되는 성분의 크기를 확인하는 단계; 및상기 확인된 성분의 크기에 기초하여 상기 제1 주파수 성분과 대응되는 게인의 크기를 감소시키는 단계;를 포함하는, 제1 음향 신호 강조 방법.
청구항 5
제1 항에 있어서상기 음향 분리기는상기 복수의 제3 음향 신호 및 상기 적어도 하나의 제2 음향 신호에 기반한 기계학습(Machine Learning)에 의해생성되는, 제1 음향 신호 강조 방법.
청구항 6
제1 항에 있어서상기 게인을 산출하는 단계는상기 제2 음향 신호, 상기 제3 음향 신호 및 확률 결정기에 기초하여 각 주파수에서 노이즈가 존재할 확률을 산출하는 단계; 및상기 확률에 기초하여 게인을 산출하는 단계;를 포함하고,상기 확률 결정기는 복수의 제3 음향 신호 및 복수의 제2 음향 신호 중 적어도 하나와 각 주파수에서 노이즈가존재할 확률과의 상관관계를 표현한 데이터 세트인, 제1 음향 신호 강조 방법.
청구항 7

제6 항에 있어서상기 게인을 산출하는 단계는상기 확률이 높을수록 상기 게인을 낮게 산출하는, 제1 음향 신호 강조 방법.
청구항 8
제6 항에 있어서상기 확률 결정기는복수의 제3 음향 신호 및 복수의 제2 음향 신호 중 적어도 하나와 각 주파수에서 노이즈가 존재할 확률에 기반한 기계학습(Machine Learning)에 의해 생성되는, 제1 음향 신호 강조 방법.
발명의 설명
기 술 분 야
본 발명의 실시예들은 음향 신호 강조 방법에 관한 것으로, 보다 상세하게는 제1 [0001] 음향 신호 와 제2 음향 신호가합성(合成)된 제3 음향 신호에서 제1 음향 신호를 강조하는 방법에 관한 것이다.
배 경 기 술
[0002] 정보통신 기술의 비약적인 발전으로 인해 이동통신 단말, 개인용 컴퓨터 등과 같은 다양한 종류의 단말들은 다양한 기능을 수행할 수 있도록 구현되고 있다.
[0003] 특히 이러한 단말들은 사용자 간의 음성 정보를 송수신 할 수 있도록 구현되고 있다. 최근에는 이러한 단말을통하여 사용자 간에 실시간으로 음성 정보를 송수신 함에 있어서, 주변의 잡음 및/또는 소음으로 인해 사용자음성의 전달이 방해되는 것을 방지하는, 즉 사용자의 음성을 강조하는 다양한 기술들이 구현되고 있다.
[0004] 그러나 이러한 기술에 따르면 사용자 주변의 잡음 및/또는 소음이 단순히 기 설정된 모델에 따라 발생하는 것이라고 가정하여, 가정된 모델과 사용자가 처해 있는 환경이 상이한 경우 음성 강조의 성능이 높지 않은 문제점이있었다.
또한 이러한 기술들은 시간의 변화에 따라 사용자의 환경이 같이 변화하는 [0005] 점을 고려하지 않아 사용자의 사용환경이 급변하는 경우, 즉 주변의 잡음 및/또는 소음의 발생 양상이 급변하는 경우 음성 강조의 성능이 높지 않은 문제점이 있었다.
발명의 내용
해결하려는 과제
[0006] 본 발명은 상술한 문제점을 해결하기 위한 것으로, 두 개 이상의 음향이 합성된 신호에서 강조하고자 하는 음향신호를 보다 정확하고, 보다 최소화된 리소스의 사용으로 강조할 수 있는 음향 신호 강조 방법을 제공하고자 한다.
[0007] 또한 본 발명은 머신러닝 기법으로 학습된 음향 분리기와 확률 결정기를 사용하여 강조하고자 하는 음향 신호를보다 정확하게 강조할 수 있는 음향 신호 강조 방법을 제공하고자 한다.
[0008] 또한 본 발명은 음향 강조의 모든 연산을 머신러닝 등의 기법을 활용하여 수행하는 기술 대비, 일부의 연산만을음향 분리기 및 확률 결정기에 기반하여 수행하여 리소스의 사용을 최소화 할 수 있는 음향 신호 강조 방법을제공하고자 한다.
과제의 해결 수단
[0009] 본 발명의 일 실시예에 따른 제1 음향 신호와 제2 음향 신호가 합성(合成)된 제3 음향 신호에서 상기 제1 음향신호를 강조(調)하는 방법은, 상기 제3 음향 신호를 하나 이상의 시간영역으로 구분하고, 상기 하나 이상의 시간영역 각각에서의 상기 제3 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합인 제1 주파수 세트 및 상기제1 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기(Magnitude)인 제1 성분 크기를 확인하는 단계; 상기 제1 주파수 세트, 상기 제1 성분 크기 및 음향 분리기에 기초하여 상기 하나 이상의 시간영역 각각에서의 상기 제2 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합인 제2 주파수 세트 및 제2 주파수 세트에포함되는 하나 이상의 주파수 성분 각각의 크기인 제2 성분 크기를 결정하는 단계; 상기 제1 주파수 세트, 상기제1 성분 크기, 상기 제2 주파수 세트 및 상기 제2 성분 크기 중 적어도 하나에 기초하여 상기 제1 성분 크기에적용되는 게인(Gain)을 산출하는 단계; 및 상기 제1 성분 크기에 상기 산출된 게인을 적용하여 상기 제3 음향신호로부터 제4 음향 신호를 생성하는 단계;를 포함할 수 있다. 이 때 상기 음향 분리기는 복수의 제3 음향 신호와 상기 복수의 제3 음향 신호 각각의 적어도 하나의 제2 음향 신호와의 상관관계를 표현한 데이터 세트일 수있다.
[0010] 상기 제1 음향 신호는 음성(音聲)을 포함하는 신호이고, 상기 제2 음향 신호는 잡음(雜音)을 포함하는 신호일수 있다.
[0011] 상기 제1 주파수 세트는 제1 주파수 성분을 포함하고, 상기 게인을 산출하는 단계는 상기 제2 주파수 세트가 상기 제1 주파수 성분과 대응되는 성분을 포함하는 경우, 상기 제1 주파수 성분과 대응되는 게인의 크기를 감소시키는 단계; 및 상기 제2 주파수 세트가 상기 제1 주파수 성분과 대응되는 성분을 포함하지 않는 경우, 상기 제1주파수 성분과 대응되는 게인의 크기를 증가시키는 단계;를 포함할 수 있다.
[0012] 상기 게인의 크기를 감소시키는 단계는 상기 제2 주파수 세트에서 상기 제1 주파수 성분과 대응되는 성분의 크기를 확인하는 단계; 및 상기 확인된 성분의 크기에 기초하여 상기 제1 주파수 성분과 대응되는 게인의 크기를감소시키는 단계;를 포함할 수 있다.
[0013] 상기 음향 분리기는 상기 복수의 제3 음향 신호 및 상기 적어도 하나의 제2 음향 신호에 기반한 기계학습(Machine Learning)에 의해 생성될 수 있다.
[0014] 상기 게인을 산출하는 단계는 상기 제2 음향 신호, 상기 제3 음향 신호 및 확률 결정기에 기초하여 각 주파수에서 노이즈가 존재할 확률을 산출하는 단계; 및 상기 확률에 기초하여 게인을 산출하는 단계;를 포함할 수 있다.
이 때 상기 확률 결정기는 복수의 제3 음향 신호 및 복수의 제2 음향 신호 중 적어도 하나와 각 주파수에서 노이즈가 존재할 확률과의 상관관계를 표현한 데이터 세트일 수 있다.
[0015] 상기 게인을 산출하는 단계는 상기 확률이 높을수록 상기 게인을 낮게 산출할 수 있다.
상기 확률 결정기는 복수의 제3 음향 신호 및 복수의 제2 음향 신호 중 적어도 [0016] 하나와 각 주파수에서 노이즈가존재할 확률에 기반한 기계학습(Machine Learning)에 의해 생성될 수 있다.
[0017] 전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질것이다.
발명의 효과
[0018] 본 발명의 실시예들에 따르면 두 개 이상의 음향이 합성된 신호에서 강조하고자 하는 음향 신호를 보다 정확하고, 보다 최소화된 리소스의 사용으로 강조할 수 있는 음향 신호 강조 방법을 구현할 수 있다.
[0019] 또한 머신러닝 기법으로 학습된 음향 분리기와 확률 결정기를 사용하여 강조하고자 하는 음향 신호를 보다 정확하게 강조할 수 있는 음향 신호 강조 방법을 구현할 수 있다.
[0020] 또한 음향 강조의 모든 연산을 머신러닝 등의 기법을 활용하여 수행하는 기술 대비 음향 강조 과정의 일부의 연산만을 음향 분리기 및 확률 결정기에 기반하여 수행하여 리소스의 사용을 최소화 할 수 있는 음향 신호 강조방법을 구현할 수 있다.
도면의 간단한 설명
[0021] 도 1 은 본 발명의 일 실시예에 따른 음향 신호 강조 시스템을 개략적으로 도시한다.
도 2 는 본 발명의 일 실시예에 따른 음향 신호 강조 장치의 구성을 개략적으로 도시한다.
도 3 은 본 발명의 일 실시예에 따른 음향 신호 강조 장치가 제3 음향 신호로부터 제1 음향 신호가 강조된 신호를 생성하는 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4c 는 본 발명의 일 실시예에 따른 제어부가 게인을 산출하는 방법을 설명하기 위한 도면이다.
도 5 는 본 발명의 일 실시예에 따른 음향 신호 강조 장치에 의해 수행되는 음향 신호 강조 방법을 설명하기 위한 흐름도이다.
발명을 실시하기 위한 구체적인 내용
[0022] 본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
[0023] 이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
[0024] 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된바에 한정되지 않는다.
[0025] 도 1은 본 발명의 일 실시예에 따른 음향 신호 강조 시스템을 개략적으로 도시한다.
[0026] 도 1을 참조하면, 본 발명의 일 실시예에 따른 음향 신호 강조 시스템은 사용자 단말(200), 서버(300) 및 이들을 연결하는 통신망(400)을 포함할 수 있다.
[0027] 본 발명의 일 실시예에 따르면, 사용자 단말(200)이 음향 신호 강조 장치를 포함할 수 있다. 사용자 단말(200)은 서버(300)를 통하여 다른 사용자 단말(미도시)로부터 수신된 음향 신호를 수신하고, 수신된 음향 신호에 포함된 특정 음향 신호를 강조할 수 있다.
[0028] 본 발명의 다른 실시예는 전술한 실시예와는 달리 서버(300)가 음향 신호 강조 장치를 포함할 수 있다. 서버(300)는 사용자 단말(200)로부터 수신된 음향 신호에 포함된 특정 음향 신호를 강조할 수 있다. 또한 서버(300)는 특정 음향 신호를 강조된 음향 신호를 다른 사용자 단말(미도시)로 전송할 수 있다.
한편 전술한 두 실시예의 음향 신호 강조 장치에 [0029] 대한 상세한 설명은 후술한다.
[0030] 본 발명에서 제1 음향 신호, 제2 음향 신호 및 제3 음향 신호와 같은 '음향 신호'는 소리를 전자적인 형태로 표현한 것을 의미할 수 있다. 예컨대, 제1 음향 신호는 사람의 목소리인 음성(音聲)을 포함하는 신호이고, 제2 음향 신호는 잡음(雜音)을 포함하는 신호일 수 있다. 또한 제3 음향 신호는 전술한 제1 음향 신호와 제2 음향 신호가 합성(合成)된 신호일 수 있다.
[0031] 한편 본 발명에서 두 음향 신호의 '합성'은 각각의 음향이 전자적인 형태로 표현된 뒤 전자적으로 합성되는 것을 의미할 뿐만 아니라, 두 음향의 합성 음향을 전자적으로 표현하는 것을 의미할 수도 있다.
[0032] 본 발명에서 사용자 단말(200)은 전술한 음향 신호 등과 같은 전자 신호를 서버(300)와 송수신 할 수 있는 다양한 장치를 의미할 수 있다. 이 때 단말은 퍼스널 컴퓨터(202)일 수도 있고 또는 휴대용 단말(201)일 수도 있다.
도 1에서는 휴대용 단말(201)이 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 않는다.
[0033] 도면에는 도시되지 않았지만, 사용자 단말(200)은 사용자에게 신호의 수신 여부 및/또는 신호의 내용을 표시하기 위한 표시수단 및 사용자의 입력을 획득하기 위한 입력수단을 구비할 수 있다. 또한 사용자 단말(200)은 수신된 음향 신호를 소리로 재생하기 위한 재생수단 및 사용자 단말(200) 주변의 음향을 획득하기 위한 음향 감지수단을 더 포함할 수 있다.
[0034] 본 발명에서 서버(300)는 실시예에 따라 사용자 단말(200)간의 신호 송수신을 중계하거나 또는 사용자 단말로부터 수신된 신호를 처리할 수 있다. 이를 위하여 서버(300)는 통신부(미도시), 제어부(미도시) 및메모리(미도시)를 포함할 수 있다. 물론 서버(300)는 전술한 구성 외에 입력부(미도시), 출력부(미도시) 및 전원부(미도시)등을 더 포함할 수 있다.
[0035] 본 발명에서 통신망(400)은 복수의 사용자 단말(200)을 연결하거나, 사용자 단말(200)과 서버(300)를 연결하는역할을 수행한다. 예를 들어, 통신망(400)은 사용자 단말(200)이 서버(300)에 접속한 후 패킷 데이터를 송수신 수 있도록 접속 경로를 제공한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide AreaNetworks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
[0036] 도 2는 본 발명의 일 실시예에 따른 음향 신호 강조 장치(100)의 구성을 개략적으로 도시한다.
[0037] 도 2를 참조하면, 본 실시예에 따른 음향 신호 강조 장치(100)는 통신부(110), 제어부(120) 및 메모리(130)를포함할 수 있다. 또한 도면에는 도시되지 않았으나, 본 실시예에 따른 음향 신호 강조 장치(100)는 입/출력부,프로그램 저장부 등을 더 포함할 수 있다.
[0038] 통신부(110)는 음향 신호 강조 장치(100)가 서버(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 음향신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수있다.
[0039] 제어부(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(CentralProcessing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본발명의 범위가 이에 한정되는 것은 아니다.
[0040] 메모리(130)는 음향 신호 강조 장치(100)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
[0041] 본 발명의 일 실시예에 따른 음향 신호 장조 장치(100)는 제1 음향 신호(예컨대 음성을 포함하는 신호)와 제2음향 신호(예컨대 잡음을 포함하는 신호)가 합성된 제3 음향 신호에서 제1 음향 신호를 강조할 수 있다. 이 때본 발명의 일 실시예에 따른 음향 신호 장조 장치(100)는 음향 분리기를 이용하여 제3 음향 신호로부터 제2 음향 신호를 추론 및/또는 결정할 수 있다.
본 발명에서 '음향 분리기'는 복수의 제3 음향 신호와 복수의 제3 음향 신호 [0042] 각각의 적어도 하나의 제2 음향 신호와의 상관관계를 표현한 데이터 세트일 수 있다.
[0043] 본 발명의 일 실시예에 따르면 전술한 음향 분리기는 머신 러닝(Machine Learning) 기법으로 생성된, 복수의 제3 음향 신호와 복수의 제3 음향 신호 각각의 적어도 하나의 제2 음향 신호와의 상관관계, 즉 양자의 매핑 정보일 수 있다.
[0044] 이에 따라 음향 분리기는 복수의 제3 음향 신호 및/또는 제2 음향 신호를 분류하기 위해 Logistic regression,Decision tree, Nearest-neighbor classifier, Kernel discriminate analysis, Neural network, SupportVector Machine, Random forest, Boosted tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[0045] 음향 분리기는 어떤 제3 음향 신호에 대한 제2 음향 신호를 예측하기 위해 Linear regression, Regressiontree, Kernel regression, Support vector regression, Deep Learning 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[0046] 음향 분리기는 구체적인 벡터의 연산을 위해 Principal component analysis, Non-negative matrixfactorization, Independent component analysis, Manifold learning, SVD 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[0047] 음향 분리기는 복수의 제3 음향 신호 및/또는 제2 음향 신호의 그룹화를 위해 k-means, Hierarchicalclustering, mean-shift, self-organizing maps(SOMs) 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[0048] 음향 분리기는 데이터 비교를 위해 Bipartite cross-matching, n-point correlation two-sample testing,minimum spanning tree 등의 알고리즘 및/또는 방식(기법)을 사용할 수 있다.
[0049] 다만 전술한 알고리즘 및/또는 방식(기법)은 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[0050] 음향 분리기는 전술한 바와 같이 데이터 세트(Data set)일 수 있다. 가령 음향 분리기는 행렬(Matrix)과 같이복수개의 숫자로 구성된 데이터 세트일 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는것은 아니다.
[0051] 한편 후술하는 '확률 결정기' 또한 복수의 제3 음향 신호 및 복수의 제2 음향 신호 중 적어도 하나와 각 주파수에서 노이즈가 존재할 확률과의 상관관계를 표현한 데이터 세트로, 전술한 음향 분리기와 유사한 방식 및/또는기법으로 생성될 수 있으므로, 이에 대한 상세한 설명은 생략한다.
[0052] 음향 분리기 및 확률 결정기는 복수의 테스트 신호 세트에 의해 학습될 수 있으며, 이하에서는 음향 분리기 및확률 결정기가 충분한 수의 테스트 신호 세트에 의해 학습되어 있음을 전제로 설명한다.
[0053] 본 발명의 일 실시예에 따른 음향 신호 강조 장치(100)는 사용자 단말(200)에 구비될 수도 있고, 역할배분에 따라 서버(300)에 구비될 수 도 있음은 전술하였다. 다만 이하에서는 설명의 편의를 위하여 음향 신호 강조 장치가 사용자 단말(200)에 구비되는 것을 전제로 설명한다.
[0054] 도 3은 본 발명의 일 실시예에 따른 음향 신호 강조 장치(100)가 제3 음향 신호(310)로부터 제1 음향 신호(311)가 강조된 신호(360)를 생성하는 방법을 설명하기 위한 도면이다.
[0055] 본 발명의 일 실시예에 따른 음향 신호 강조 장치(100)의 제어부(120)는 제3 음향 신호(310)를 하나 이상의 시간영역으로 구분할 수 있다. 제어부(120)는 하나 이상의 시간영역 각각에서의 제3 음향 신호(310)를 구성하는하나 이상의 주파수 성분의 집합인 제1 주파수 세트를 확인할 수 있다. 또한 제어부(120)는 제1 주파수 세트에포함되는 하나 이상의 주파수 성분 각각의 크기(Magnitude)인 제1 성분 크기를 확인할 수 있다. 도 3의 320은제1 주파수 세트의 제1 성분 크기를 시간-주파수 좌표에서 도시한 것의 예시이다.
[0056] 이 때 제3 음향 신호(310)는 제1 음향 신호(311)와 제2 음향 신호(312)가 합성된 신호일 수 있다. 한편 제1 음향 신호(311)는 사람의 목소리인 음성(音聲)을 포함하는 신호이고, 제2 음향 신호(312)는 잡음(雜音)을 포함하는 신호일 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.
[0057] 본 발명의 일 실시예에 따른 제어부(120)는 전술한 과정에 의해서 확인된 제1 주파수 세트, 제1 성분 크기 및음향 분리기(330)에 기초하여 제2 주파수 세트 및 제2 성분 크기를 결정할 수 있다. 이 때 제2 주파수 세트는하나 이상의 시간영역 각각에서의 제2 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합일 수 있다. 또한제2 성분 크기는 전술한 제2 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기일 수 있다. 도 3의340은 제2 주파수 세트의 제2 성분 크기를 시간-주파수 좌표에서 도시한 것의 예시이다.
한편 음향 분리기(330)는 전술한 바와 같이 복수의 제3 음향 신호와 복수의 [0058] 제3 음향 신호 각각의 적어도 하나의 제2 음향 신호와의 상관관계를 표현한 데이터 세트로, 머신 러닝(Machine Learning) 기법으로 생성된것일 수있다. 이에 대한 상세한 설명은 전술하였으므로 생략한다.
[0059] 제어부(120)는 제1 음향 신호(311)와 제2 음향 신호(312)가 분리될 수 없도록 합성된 경우에도 제3 음향 신호(310)를 음향 분리기(330)에 입력함으로써 제2 음향 신호(312)를 추정할 수 있다. 바꾸어 말하면 전술한 과정에의해 결정되는 제2 주파수 세트 및 제2 성분 크기는 머린 러닝 기법으로부터 도출된 추정의 결과로, 실제 제2음향 신호(312)의 주파수 세트 및 성분의 크기와 다소 상이할 수 있다.
[0060] 본 발명의 일 실시예에 따른 제어부(120)는 확인된 제1 주파수 세트, 확인된 제1 성분 크기, 결정된 제2 주파수세트 및 결정된 제2 성분 크기 중 적어도 하나에 기초하여 제1 성분 크기에 적용되는 게인(350)을 산출할 수 있다.
[0061] 본 발명에서 제1 성분 크기에 적용되는 게인(Gain)(350)은 제1 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기를 조절하기 위한 계수(係數)일 수 있다. 제어부(120) 이러한 게인(350)을 적절하게 조절하여 제1 성분 크기에 적용시킴으로써, 제3 음향 신호(310)에서 제1 음향 신호(311)를 부각시키거나, 또는 제2 음향 신호(312)를 약화시킬 수 있다.
[0062] 도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 제어부(120)가 게인(도 3의 350)을 산출하는 방법을 설명하기위한 도면이다. 이하에서는 설명의 편의를 위해 도 4a 내지 도 4c를 함께 참조하여 설명한다.
[0063] 먼저 도 4a를 참조하여, 제1 주파수 세트의 제1 성분의 크기를 시간-주파수 좌표에서 도시한 것이 도 4a의 320과 같다고 가정해 보자. 또한 제1 주파수 세트는 제1 신호를 구성하는 주파수 세트(321, 322, 323)와 제2 신호를 구성하는 주파수 세트(324)를 포함한다고 가정해 보자. 바꾸어 말하면 제3 신호는 도시된 바와 같은 제1 신호와 제2 신호가 합성된 것 이라고 가정해 보자.
[0064] 이러한 경우 본 발명의 일 실시예에 따른 제어부(120)는 전술한 과정에 의하여 도 4b의 340과 같이 제2 주파수세트 및 제2 성분 크기를 결정할 수 있다. 바꾸어 말하면 제어부(120)는 도 4b의 340과 같은 제2 신호를 추정할수 있다.
[0065] 이어서 본 발명의 일 실시예에 따른 제어부(120)는 확인된 제1 주파수 세트, 확인된 제1 성분 크기, 결정된 제2주파수 세트 및 결정된 제2 성분 크기 중 적어도 하나에 기초하여 제1 성분 크기에 적용되는 게인(350)을 산출할 수 있다.
[0066] 가령 제어부(120)는 제2 주파수 세트(324)가 제1 주파수 성분(411)과 대응되는 성분을 포함하는 경우, 제1 주파수 성분(411)과 대응되는 게인(G32)의 크기를 감소시킬 수 있다. 이 때 제1 주파수 성분(411)은 제1 주파수 세트(321, 322, 323, 324)가 포함하는 주파수 성분 중 어느 하나에 해당할 수 있다.
[0067] 한편 제어부(120)는 전술한 바와 같이 게인(G32)의 크기를 감소시킴에 있어서, 제2 주파수 세트(324)에서 제1주파수 성분(411)과 대응되는 성분의 크기를 확인할 수 있다. 또한 제어부(120)는 확인된 성분의 크기에 기초하여 제1 주파수 성분(411)과 대응되는 게인(G32)의 크기를 감소시킬 수 있다.
[0068] 바꾸어 말하면 제어부(120)는 제2 음향 신호의 특성(예컨대 특정 시간대의 특정 주파수에서 신호의 강도)를 고려하여 게인(G32)의 크기를 감소시킬 수 있다.
[0069] 이와는 반대로 제어부(120)는 제2 주파수 세트(324)가 제1 주파수 성분(412)과 대응되는 성분을 포함하지 않는경우, 제1 주파수 성분(412)과 대응되는 게인(G12)의 크기를 증가시킬 수 있다.
[0070] 한편 본 발명의 다른 실시예에 따른 제어부(120)는 각 주파수에서 노이즈가 존재할 확률을 더 참조하여 게인(350)을 산출할 수 있다.
[0071] 보다 상세히, 본 발명의 일 실시예에 따른 제어부(120)는 제2 음향 신호, 제3 음향 신호 및 확률 결정기에 기초하여 각 주파수에서 노이즈가 존재할 확률을 산출할 수 있다.
[0072] 이 때 확률 결정기는 전술한 바와 같이 복수의 제3 음향 신호 및 복수의 제2 음향 신호 중 적어도 하나와 각 주파수에서 노이즈가 존재할 확률과의 상관관계를 표현한 데이터 세트로, 전술한 음향 분리기와 유사하게 머신 러닝(Machine Learning) 기법으로 생성된것일 수 있다.
이어서 본 발명의 일 실시예에 따른 제어부(120)는 상술한 과정에 의해 산출된 [0073] 게인(350)에 산출된 확률을 적용하여 확률이 고려된 게인을 산출할 수 있다. 이 때 제어부(120)는 전술한 확률이 높을수록 게인을 낮게 산출할수 있다.
[0074] 다시 도 3으로 돌아가면, 본 발명의 일 실시예에 따른 제어부(120)는 확인된 제1 성분 크기에 산출된 게인(350)을 적용하여 제3 음향 신호(310)로부터 제4 음향 신호(360)를 생성할 수 있다. 이 때 제4 음향 신호(360)는제1 음향 신호(311)와 유사한 신호일 수 있다.
[0075] 상술한 과정에 의해 본 발명은 두 개 이상의 음향이 합성된 신호에서 강조하고자 하는 음향 신호를 보다 정확하고, 보다 최소화된 리소스의 사용으로 강조할 수 있다. 특히 본 발명은 머신러닝 기법으로 학습된 음향 분리기와 확률 결정기를 사용하여 강조하고자 하는 음향 신호를 보다 정확하게 강조할 수 있으며, 이 때 일부의 연산만을 음향 분리기 및 확률 결정기에 기반하여 수행하므로, 리소스의 사용을 최소화 할 수 있다.

[0076] 도 5는 본 발명의 일 실시예에 따른 음향 신호 강조 장치(100)에 의해 수행되는 음향 신호 강조 방법을 설명하기 위한 흐름도이다. 이하에서는 도 1내지 도 4c에서 설명한 내용과 중복하는 설명은 생략한다.
[0077] 본 발명의 일 실시예에 따른 음향 신호 강조 장치(100)의 제어부(120)는 제3 음향 신호를 하나 이상의 시간영역으로 구분할 수 있다. 제어부(120)는 하나 이상의 시간영역 각각에서의 제3 음향 신호를 구성하는 하나 이상의주파수 성분의 집합인 제1 주파수 세트를 확인할 수 있다. 또한 제어부(120)는 제1 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기(Magnitude)인 제1 성분 크기를 확인할 수 있다. (S51) 이 때 제3 음향 신호는 제1 음향 신호와 제2 음향 신호가 합성된 신호일 수 있다. 이 때 제1 음향 신호는 사람의 목소리인 음성(音聲)을 포함하는 신호이고, 제2 음향 신호는 잡음(雜音)을 포함하는 신호일 수 있다. 다만 이는 예시적인 것으로본 발명의 사상이 이에 한정되는 것은 아니다.
[0078] 본 발명의 일 실시예에 따른 제어부(120)는 전술한 과정에 의해서 확인된 제1 주파수 세트, 제1 성분 크기 및음향 분리기에 기초하여 제2 주파수 세트 및 제2 성분 크기를 결정할 수 있다.(S52) 이 때 제2 주파수 세트는하나 이상의 시간영역 각각에서의 제2 음향 신호를 구성하는 하나 이상의 주파수 성분의 집합일 수 있다. 또한제2 성분 크기는 전술한 제2 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기일 수 있다.
[0079] 한편 음향 분리기는 전술한 바와 같이 복수의 제3 음향 신호와 복수의 제3 음향 신호 각각의 적어도 하나의 제2음향 신호와의 상관관계를 표현한 데이터 세트로, 머신 러닝(Machine Learning) 기법으로 생성된것일 수 있다.
이에 대한 상세한 설명은 전술하였으므로 생략한다.
[0080] 제어부(120)는 제1 음향 신호와 제2 음향 신호가 분리될 수 없도록 합성된 경우에도 제3 음향 신호를 음향 분리기에 입력함으로써 제2 음향 신호를 추정할 수 있다. 바꾸어 말하면 전술한 과정에 의해 결정되는 제2 주파수세트 및 제2 성분 크기는 머린 러닝 기법으로부터 도출된 추정의 결과로, 실제 제2 음향 신호의 주파수 세트 및성분의 크기와 다소 상이할 수 있다.
[0081] 본 발명의 일 실시예에 따른 제어부(120)는 확인된 제1 주파수 세트, 확인된 제1 성분 크기, 결정된 제2 주파수세트 및 결정된 제2 성분 크기 중 적어도 하나에 기초하여 제1 성분 크기에 적용되는 게인을 산출할 수 있다.(S53)
[0082] 본 발명에서 제1 성분 크기에 적용되는 게인(Gain)은 제1 주파수 세트에 포함되는 하나 이상의 주파수 성분 각각의 크기를 조절하기 위한 계수(係數)일 수 있다. 제어부(120) 이러한 게인을 적절하게 조절하여 제1 성분 크기에 적용시킴으로써, 제3 음향 신호에서 제1 음향 신호를 부각시키거나, 또는 제2 음향 신호를 약화시킬 수 있다.
[0083] 다시 도 4a 내지 도 4c를 참조하여, 제1 주파수 세트의 제1 성분의 크기를 시간-주파수 좌표에서 도시한 것이도 4a의 320과 같다고 가정해 보자. 또한 제1 주파수 세트는 제1 신호를 구성하는 주파수 세트(321, 322, 323)와 제2 신호를 구성하는 주파수 세트(324)를 포함한다고 가정해 보자. 바꾸어 말하면 제3 신호는 도시된 바와같은 제1 신호와 제2 신호가 합성된 것 이라고 가정해 보자.
[0084] 이러한 경우 본 발명의 일 실시예에 따른 제어부(120)는 단계 S52에서, 도 4b의 340과 같이 제2 주파수 세트 및제2 성분 크기를 결정할 수 있다. 바꾸어 말하면 제어부(120)는 도 4b의 340과 같은 제2 신호를 추정할 수있다.
이어서 본 발명의 일 실시예에 따른 제어부(120)는 단계 S53에서 확인된 제1 [0085] 주파수 세트, 확인된 제1 성분 크기, 결정된 제2 주파수 세트 및 결정된 제2 성분 크기 중 적어도 하나에 기초하여 제1 성분 크기에 적용되는 게인(350)을 산출할 수 있다.
[0086] 가령 제어부(120)는 제2 주파수 세트(324)가 제1 주파수 성분(411)과 대응되는 성분을 포함하는 경우, 제1 주파수 성분(411)과 대응되는 게인(G32)의 크기를 감소시킬 수 있다. 이 때 제1 주파수 성분(411)은 제1 주파수 세트(321, 322, 323, 324)가 포함하는 주파수 성분 중 어느 하나에 해당할 수 있다.
[0087] 한편 제어부(120)는 전술한 바와 같이 게인(G32)의 크기를 감소시킴에 있어서, 제2 주파수 세트(324)에서 제1주파수 성분(411)과 대응되는 성분의 크기를 확인할 수 있다. 또한 제어부(120)는 확인된 성분의 크기에 기초하여 제1 주파수 성분(411)과 대응되는 게인(G32)의 크기를 감소시킬 수 있다.
[0088] 바꾸어 말하면 제어부(120)는 제2 음향 신호의 특성(예컨대 특정 시간대의 특정 주파수에서 신호의 강도)를 고려하여 게인(G32)의 크기를 감소시킬 수 있다.
[0089] 한편 제어부(120)는 제2 주파수 세트(324)가 제1 주파수 성분(412)과 대응되는 성분을 포함하지 않는 경우, 제1주파수 성분(412)과 대응되는 게인(G12)의 크기를 증가시킬 수 있다.
[0090] 한편 본 발명의 다른 실시예에 따른 제어부(120)는 각 주파수에서 노이즈가 존재할 확률을 더 참조하여 게인(350)을 산출할 수 있다.
[0091] 보다 상세히, 본 발명의 일 실시예에 따른 제어부(120)는 제2 음향 신호, 제3 음향 신호 및 확률 결정기에 기초하여 각 주파수에서 노이즈가 존재할 확률을 산출할 수 있다.
[0092] 이 때 확률 결정기는 전술한 바와 같이 복수의 제3 음향 신호 및 복수의 제2 음향 신호 중 적어도 하나와 각 주파수에서 노이즈가 존재할 확률과의 상관관계를 표현한 데이터 세트로, 전술한 음향 분리기와 유사하게 머신 러닝(Machine Learning) 기법으로 생성된것일 수 있다.
[0093] 이어서 본 발명의 일 실시예에 따른 제어부(120)는 상술한 과정에 의해 산출된 게인(350)에 산출된 확률을 적용하여 확률이 고려된 게인을 산출할 수 있다. 이 때 제어부(120)는 전술한 확률이 높을수록 게인을 낮게 산출할수 있다.
[0094] 본 발명의 일 실시예에 따른 제어부(120)는 확인된 제1 성분 크기에 산출된 게인(350)을 적용하여 제3 음향 신호(310)로부터 제4 음향 신호(360)를 생성할 수 있다.(S54) 이 때 제4 음향 신호(360)는 제1 음향 신호(311)와유사한 신호일 수 있다.
[0095] 상술한 과정에 의해 본 발명은 두 개 이상의 음향이 합성된 신호에서 강조하고자 하는 음향 신호를 보다 정확하고, 보다 최소화된 리소스의 사용으로 강조할 수 있다. 특히 본 발명은 머신러닝 기법으로 학습된 음향 분리기와 확률 결정기를 사용하여 강조하고자 하는 음향 신호를 보다 정확하게 강조할 수 있으며, 이 때 일부의 연산만을 음향 분리기 및 확률 결정기에 기반하여 수행하므로, 리소스의 사용을 최소화 할 수 있다.
[0096] 본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가아닐 수 있다.
[0097] 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.