장애 공지1 7시간 장애와 수영장 지난주 금요일에 7시간동안 서비스가 안되는 초대형 사고가 났다. [서비스 장애 발생 공지] 2021년 6월 4일 서비스 오류 원인은 이벤트로 인해서 높은 트래픽이였지만, 현 서비스의 인프라 스펙을 봤을때 그정도 트래픽은 무리없이 넘어갔어야 했다. 하지만 결국 장애가 났었고, 이유는 서비스에서 사용중이던 여러 쿼리들과 코드들의 비효율 때문이였다. 슬로우쿼리 데드락을 유발할 수 있는 쿼리 최종 생성되는 쿼리를 예측할 수 없게 추상화된 SQL Builder 코드 이 쿼리를 개선하면, 또 다른 쿼리가 터지고, 그다음 쿼리가 또 터지고 연쇄폭발처럼 터져서 데드락 쿼리들 kill 하면서 인덱스 넣고 DB 업그레이드하고, 서버 늘리고 커넥션풀 늘리고 그랬다. 어떻게 마무리 되긴했지만, 위기감이 정말 많이 들었다. 바.. 2021. 6. 9. 이전 1 다음
