24일 아침에 출근을 하고 여느때와 다름없이 정상적인 업무를 하고 있었다.
그런데 어째 회사내 웹사이트 접속 속도가 시원치 않게 나왔다.
그냥 그려러니 하고 약 10여분간 방심을 했는데 거의 사고 수준에 이를정도로 웹사이트의 속도가 뚝뚝 떨어지는 것이었다.
참고로 회사의 메인페이지는 5개의 웹서버가 로드밸런싱(Load Balancing)에서 필요한 데이터를 긁어온다.
아침에 웹서버 하나당 동시 접속자수를 체크해보니 100여명에 육박하고 있었다.
평소엔 많아도 5, 60여명 정도인데(그렇게 계산하더래도 곱하기 5를 하면 동시 접속자수는 200여명 이상이 된다) 오전 11시쯤을 지나니깐 서버하나당 동시접속자수 200명을 초과 하고 있었다.
db 서버의 트래픽은 더 심했다.
웹사이트에서 Query 한번 날리는게 눈에 띄게 힘들어 보일 정도로 개판이었다.
크리스마스 이브의 위력을 확실히 실감할 수 있었다.
서버 모니터링은 더 이상의 의미가 없는듯 했다.
점심을 먹는둥 마는둥 광고팀의 동료한명이랑 IDC로 급파되었다.
임대한 3대의 서버를 IDC에 설치하고 로드밸런싱 작업을 해야 했다.
그런데 ... 이런 XX... 욕 나왔다.
서버 입대한 업체에서 운영체제및 서버 세팅까지 하기로 했었는데 세팅을 자기네 편하게 작업하기 위해 설치되어 있었다. 우와~~ 짜증 났다.
광고팀의 다른 직원은 급한 일때문에 다시 회사에 복귀했었다.
어쩔수 없이 혼자서 서버를 밀고 다시 설치, 세팅을 했다.
작업하면서 욕을 달고 했다.. @#$%^%^ ...
서버의 정상적인 세팅이 끝났을때는 밤 11시 쯤이었다.
출출해서 뭘 좀 먹기위해 밖으로 나왔다.
그런데 하나로 IDC 주위엔 편의점 같은 곳이 거의 없다.
편의점에 가기위해 교대역까지 가야했다.
툴툴거리며 편의점에 가서 이것저것 사는데 .. 헉... 도... 돈이 없다.
지갑에 딸랑 천원짜리 한장이랑 동전 몇개...
어쩔수없이 다시 IDC에 가서 가방에서 비상금 1만원을 꺼냈다.(나는 지갑외에 항상 가방에 만원짜리 한장을 넣고 다닌다)
출출한 차에 이것저것 먹고 다시 IDC로 들어갔다.
시계를 보니 12시가 넘었다. 뎅장... 크리스마스 이브가 이렇게 지나버렸다.
이미지 서버의 부하를 줄이기위해 이미지서버 분산작업을 했다.
새벽으로 넘어가는 시간이라 그런지 속도는 평상시로 되돌아 오는듯 했다.
서버작업후 이것저것 테스트를 했다.
역시나 이곳 저곳에서 에러메세지를 뿜어 내었다.
하나 하나 수정을 해 나갔다.
새벽 3시를 넘은 시각...
작업은 어느정도 마무리 된듯 했다.
그 시각에 집에 갈 수있는 방법은 택시를 잡아 타고 가는방법말고는 없는데 나에겐 택시비가 없었다.... 헉...
하는 수없이 첫차가 올때까지 IDC의 서버들이랑 밤을 지새웠다.
새벽 6시쯤... 날씨는 왜 그리 추운지...
지하철을 타기위해 터벅터벅 걸어갔다.
IDC에 서서 계속 작업을 했던터라 그 피곤함은 이루 말할 수 없을 정도...
집에 도착하지마자 대충 씻고 잠 들었다.
오후에 화장실가기위해 잠시 눈을 떴다가 다시 잠들었다.
밤 10시경에 눈을 떴다.
크리스마스가 거의 지나가고 있다.
댓글을 달아 주세요