공부 기록

https://aiyprojects.withgoogle.com/voice/

• google AIY voice kit 를 사용해서 음성 인식 스피커를 만드는 프로젝트
• python3, raspberry pi Zero

스피커의 버튼을 눌러서 구글 어시스턴트로 시작하여 '내 얘기를 들어봐', '얘기 들어 줘' 등으로 듣기 모드 진입 후,

'들어줄게 얘기해 봐', '무슨일이야?' 등을 랜덤 재생한다.

사용자가 말하는 내용의 긍/부정/중립 또는 사용자의 목소리에서 긍/부정/중립을 판단하여

그에 맞는 반응 (7가지 중 하나)를 해 준다.

듣기 모드에서 '들어줘서 고마워', '내 얘기 들어줘서 고마워', '잘가', '어시스턴트' 등으로 어시스턴트 모드 복귀

이 프로젝트에서 어려웠던 점은 음성 자체의 긍/부정/중립 분석을 처음에는 google cloud speech API만 사용해서 했는데,

결과를 내는 데 시간이 오래 걸려서 사용자와 대화가 원활히 진행되지 못하고 지연 시간이 생기는 문제점이 있었다.

오픈 소스를 구글링 해 보니 텍스트의 감정 분석을 해 주는 것이 있었다.

그래서 상대적으로 지연 시간이 없는 google text to speech API를 사용하여 텍스트의 긍/부정/중립 분석을 하도록 했다.

이후 오픈소스를 사용하려고 했는데,

raspberry pi Zero 환경에 맞지 않아 Vokaturi drive를 활용하여 오픈 소스를 사용할 수 있도록 스피커에 코드를 이식 했다.

google text to speech API가 속도는 더 빨랐으나, 정확도는 google cloud speech API가 더 높았기 때문에

텍스트 감정 분석에 sentiment의 score와 magnitude 값을 보고,

즉 감정 분석 결과 충분히 긍/부정으로 치우쳐져 있으면 google text to speech API로 분석을 끝내고,

판단하기 어렵다면 google cloud speech API를 사용하여 조금 더 정확하게 감정 분석을 할 수 있도록 했다.

https://github.com/timedilation/ZASP/tree/master/emotion_analyze_aiy