전화 음성을 STT에 실시간으로 넘길 때 지연은 어디서 생기나

상대가 말을 마친 뒤 AI 목소리가 들리기까지의 지연?은 네 곳에서 더해집니다. 전화망 전송, 음성 꾸러미를 모으는 시간, 끝점 검출?이 기다리는 침묵, 그리고 음성인식·대화 엔진·음성합성의 처리 시간입니다. 이 가운데 설계자가 직접 정하는 값은 침묵 길이이고, 나머지는 재서 확인하는 값입니다. 어디서 생기고 무엇을 줄일 수 있는지 순서대로 적었습니다.

지연 1: 전화망 전송

음성이 상대 전화기에서 통신사를 거쳐 시스템까지 오는 시간입니다. 이 구간은 시스템 쪽에서 줄일 수 없습니다. 기준은 있습니다. 국제 권고 ITU-T G.114는 음성의 편도 전송 지연이 150ms까지면 대부분의 용도에 받아들일 만하고, 400ms를 넘으면 일반적인 망 설계에서 받아들이기 어렵다고 봅니다. 시스템을 어디에 두느냐가 이 구간에 영향을 주므로, 통신사 접속점과 가까운 곳에 두는 것이 유리합니다.

지연 2: 음성 꾸러미 모으기

통화 음성은 RTP?로 보통 20ms씩 한 꾸러미가 되어 옵니다. 꾸러미는 조금씩 늦거나 순서가 바뀔 수 있어서, 받는 쪽은 몇 꾸러미를 모아 두었다가 고르게 처리합니다. 이 모아 두는 길이를 길게 잡으면 끊김이 줄고 지연이 늘며, 짧게 잡으면 그 반대입니다. 음성인식에 넘기는 단위도 같은 성격입니다. 너무 잘게 보내면 요청 횟수가 늘고, 너무 크게 모으면 그만큼 늦게 넘어갑니다.

지연 3: 끝점 검출의 침묵 대기

시스템은 상대가 말을 마쳤는지를 말 뒤에 이어지는 침묵의 길이로 판단합니다. 침묵을 짧게 잡으면 상대가 숨을 고르는 사이에 말을 끊고, 길게 잡으면 매번 그만큼 늦게 답합니다. 설계자가 정하는 값 가운데 응답 시간에 가장 크게 걸리는 값이 이것입니다. 구간마다 다르게 둘 수 있습니다. “네, 아니오”를 받는 구간은 짧게, 주소나 사연을 듣는 구간은 길게 둡니다.

지연 4: 음성인식, 대화 엔진, 음성합성의 처리

STT?는 음성을 받는 동안 중간 결과를 내고 끝점에서 최종 결과를 냅니다. 스트리밍 방식이면 끝점이 잡힌 뒤 최종 글자가 나오기까지가 짧습니다. 대화 엔진은 답을 다 만든 뒤 넘기는 방식보다 만들어지는 대로 넘기는 방식이 첫 소리를 앞당깁니다. TTS?도 같은 원리로, 만들어지는 대로 내보내는 엔진이면 첫 문장이 끝나기 전에 재생이 시작됩니다. 세 구간 모두 외부 서비스라면 서비스까지의 왕복 시간이 더해집니다.

줄일 수 있는 것과 없는 것

줄일 수 있는 것은 침묵 길이, 꾸러미를 모으는 길이, 스트리밍 방식의 선택, 시스템의 위치입니다. 줄일 수 없는 것은 전화망의 전송 시간과 각 엔진이 처리에 쓰는 시간입니다. 그래서 응답 시간을 줄이는 일은 네 구간을 따로 재는 데서 시작합니다. 전체 시간 하나만 재면 어디를 손댈지 보이지 않습니다.

시험할 때 잴 네 시각

실제 전화로 걸어서 다음 네 시각을 기록합니다. 상대의 말이 끝난 시각, 끝점이 잡힌 시각, 대화 엔진의 답이 도착한 시각, 첫 소리가 나간 시각. 이 네 시각의 차이가 구간별 지연입니다. 짧은 대답 구간과 긴 사연 구간을 따로 재면 침묵 길이를 구간별로 정할 수 있습니다. 문의에 쓰는 음성인식·음성합성 엔진과 대화 엔진의 응답 방식(한 번에 또는 만들어지는 대로)을 적어 주시면 어느 구간이 줄일 수 있는 쪽인지 상담 때 안내합니다.