[ AWS ] S3 객체 삭제에 대한 대처 방법

 

현재 회사에서 리소스를 저장하기 위해 AWS S3를 사용하고 있다.

평화로운 수요일 오후 4시 16분. 개발팀의 신입 개발자분이 AWS CLI를 통해 S3에 저장된 객체들을 일괄 삭제 해버렸다.

 

 

aws s3 sync s3://Repo이름 --delete --no-progress --exclude '.*'

위의 명령어를 입력하여 삭제 하려는 폴더가 아닌 전체 영역에 대한 삭제 명령을 날려버렸다고 한다.

 

 

 

본인이 삭제하려는 폴더뿐만 아니라, 다른 폴더들까지 실시간으로 삭제되는 것을 보면서 뭔가 잘못되었다는 것을 깨달은 그는 

급하게 해당 명령을 정지시켰고, 우리가 사용하는 리소스들이 이름 내림차순으로 삭제되었다.

 

 

총 6개의 폴더가 삭제되었고, 당황하여 스스로 해결해 보려고 했지만 해결하지 못하였고, 개발팀 전체가 머리를 맞대고 열심히 찾아보았다.

 

 

우선 우리 회사의 서비스는 실제 유저들의 트래픽이 많은 서비스였고, 많은 양의 콘텐츠를 다루는 서비스여서 더더욱 S3 리소스들이 중요했기 때문에 우리는 최악의 경우를 생각하며 S3의 객체를 복구하는 방법을 찾아보았다.

 

 

 

 

 

S3 버킷에서 버전 관리 사용  

 

AWS S3의 버전 관리를 사용하여 버킷에 저장된 모든 버전의 객체에 대해 보존, 검색 및 복원할 수 있으며 버전 관리가 사용 설정된 버킷의 경우, 실수로 삭제되거나 덮어쓴 객체를 복구할 수 있다. 실수로 객체를 삭제한 경우 S3는 객체를 영구적으로 제거하지 않고 삭제 마커를 삽입하여 이 삭제 마커를 현재 객체 버전으로 만들고, 언제든지 이전 버전으로 복원할 수 있게 한다. 

 

 

버전 관리가 사용 설정된 경우 단순 delete 요청은 객체를 영구적으로 삭제하지 않고, 삭제 마커를 버킷에 삽입하고 해당 마커는 새로운 ID를 가진 객체의 현재 버전이 된다. 현재 버전이 삭제 마커인 객체에 대해 get을 시도하는 경우 S3는 객체가 삭제된 것처럼 동작하여 404 오류를 반환하기 때문에 우리는 삭제 마커를 삭제하여 이전 버전을 복원하는 방법으로 해결하였다.

출처 - https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/DeletingObjectVersions.html

 

 

버전 관리되는 객체를 영구적으로 삭제하려면 delete object versionId를 사용하여 아래의 그림처럼 지정된 객체 버전을 삭제하여 해당 객체가 영구적으로 제거되도록 한다.

출처 - https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/DeletingObjectVersions.html

 

 

 

 

 

천만 다행으로 우리는 S3 버전 관리를 사용하고 있었다. 🥹

그래서 12월 21일 날짜에 삭제된 객체들을 찾아서 삭제 마커를 사용하여 현재 버전(삭제된 버전)을 삭제하여 이전 버전(원본)을 사용할 수 있도록 작업해 주었고, 다음날 우리 서비스의 웹과 앱을 찾아보며 혹시라도 리소스가 날아간 부분이 있을까 열심히 찾았지만 없었고, 해당 사건은 실수한 개발자분의 장애 리뷰로 마무리 되었다.

 

 

 

AWS S3를 이용하면서 현재 운영 중인 서비스라면 꼭! 버전 관리를 사용하는 게 좋을 것 같다.

버전 관리를 사용하지 않는다면 원본이 삭제되는 것이니까...

 

그리고 AWS CLI에 완--------전히 익숙하지 않다면... AWS Console을 통해 눈으로 한번 더 확인하고 삭제를 하는 게 좋을 것 같다.

 

 

 

---

 

🌸 출처 🌸

 

Amazon S3

S3 버킷에서 버전 관리 사용

Amazon S3에 AWS Backup 사용

버전 관리가 사용 설정된 버킷에서 객체 버전 삭제