Tiflux - Histórico de avisos

Problema de performance em busca de recursos no sistema. Identificado e resolvido.

Relatório de resolução de incidentes:

API - Anexos:
  Fizemos uma alteração referente à segurança dos anexos publicada no dia 12/02.
  Como funcionava: Links de hash para acesso aos anexos, assim era possível compartilhar o mesmo link com várias pessoas e todas elas conseguiam acessar. Através de um erro humano de compartilhar indevidamente o link poderia ocorrer vazamento de informação.
  Como foi alterado: O link recebe uma chave de autenticação válida por alguns segundos, então caso o link vaze ou seja compartilhado, não será possível acessar o anexo. Isso garante a privacidade dos anexos caso possua alguma informação confidencial.
  Comportamento durante o problema: Anexos enviados retornavam o status errado(de salvo), porém com a mensagem "Access Denied", o anexo acabava não sendo enviado para o servidor de armazenamento. (Serviço S3 da AWS).
  A publicação da solução foi realizada dia 14/02 às 21:30.

Base de conhecimento/Comunicação:
  Tivemos o aumento da segurança nos anexos e imagens da base de conhecimento e comunicações (interna e com cliente), estamos rodando uma rotina para ajustar eventuais links que perderam o acesso. Neste caso os anexos não foram perdidos, é somente um ajuste de privacidade. Previsão da rotina terminar de rodar: 19/02/2024 07:00 -3

Agentes:
  Inventário:
    Tivemos uma virada de versão em nosso backend, que fez com que os dados recebidos em formato json acabassem sendo salvos em formato de texto. Isso acabou gerando problema para listagem e acesso a recursos. Fizemos a correção e ajustes manuais durante o dia para que os acessos pudessem ser realizados mas eventualmente alguns equipamentos que atualizaram inventário de hardware ou software acabaram perdendo o acesso até que fosse executada a rotina novamente. A correção foi publicada dia 15/02 às 12:00, porém o script para correção de eventuais inventários com problema terminou a execução no dia 15/02 às 19:00.
  Offline:
    No dia 15/02 às 15:20 nosso serviço de comunicação com os agentes caiu, fazendo com que ficassem offline. O problema foi detectado e solucionado, porém como o tempo de reconexão depende também do agente, pode ser que alguns tenham ficado offline durante até 30 minutos. Esta situação foi normalizada na tarde do dia 15/02 às 16:30.

E-mails lentos para abrir ticket/pré ticket:
  Devido a virada em nosso backend, tivemos alguns problemas de conexão com o banco que geraram lentidão no uso do sistema nos dias 14 e 15. Recebemos cerca de 100 mil emails por hora para processamento em nosso sistema, com essa lentidão a fila dentro de grandes provedores de e-mail (gmail, microsoft) para nosso servidor acabou ficando grande, gerando delays para a entrega destes e-mails para nosso servidor. Em alguns casos de até 1 hora.
  Esta situação foi normalizada na noite do dia 15/02 às 22:00.

Monitoramento:
  Nosso sistema de observabilidade acabou ficando fora do ar no dia 15/02, o que nos prejudicou a identificar ou ter dados para ter respostas exatas sobre os problemas. Porém, nosso time empenhou horas da noite no dia 15/02 para leitura de logs e relatórios para que pudesse trazer todas as informações de forma correta e transparente para os clientes.

This incident has been resolved.

Monitorando possíveis casos restantes.

This incident has been resolved.