DevOps96 서로 다른 계정의 RDS에 대량 데이터 복사하기 다른 계정의 RDS 데이터를 대량으로 복사해야할 때가 있습니다. 예를 들어 테스트를 위해 운영 DB의 데이터를 개발 DB로 복사해야하는 등의 일이 될수 있겠죠? 이런 일이 있을때 해결할 수 있는 방법 2가지를 소개합니다. 1. 스냅샷으로 전체 백업하기 RDS간 데이터 복사에 가장 흔한 방법이 스냅샷을 이용하는 것입니다. 여기선 좀 더 현실감 있고, 이해하기 쉽게 운영 RDS의 데이터를 개발 RDS로 복사하는 과정이라고 하겠습니다. 다만 스냅샷은 새로운 DB를 생성할때만 사용할 수 있습니다. 기존 DB에 데이터를 넣을때는 사용할 수 없습니다. 만약 전체 데이터와 스키마를 이미 생성된 DB에 넣고 싶다면 DB Dump를 사용해보세요. 먼저 운영 RDS의 Snapshots 페이지로 가보겠습니다.대부분의 RDS.. 2018. 8. 30. 4. AWS Beanstalk을 이용한 성능 튜닝 시리즈 - 기타 자 이번 시간엔 이 시리즈에서 자세히 다루진 않지만, 꼭 해야할 여러 설정 포인트를 정리하겠습니다. 4-1. Open Files 예를 들어 @Async 혹은 CompletableFuture 와 같은 비동기 쓰레드를 많이 사용해야하거나, 응답시간이 오래 걸리는 외부 API 요청이 대량으로 발생하는 경우 등등 대규모 트래픽 서비스에서 자주 발생하는 것이 Too many open files 에러입니다. 좀 더 자세한 내용은 이전에 작성한 Java, max user processes, open files 를 참고해보세요! EC2, IDC 에서의 설정 방법이 해당 포스트 최하단에 있습니다. 위 이슈 등으로 인해 기본적으로 Linux 서버에 설정해줘야하는 값이 바로 Open Files 입니다. AWS Beansta.. 2018. 7. 26. 3. AWS Beanstalk을 이용한 성능 튜닝 시리즈 - Nginx 튜닝 지난 시간에 보셨던것처럼 AWS Elastic Beanstalk은 기본적으로 Nginx을 갖고 있습니다. 이 내용을 모르시는 분들 입장에선 성능 튜닝시 Nginx 부분은 놓치실 수 있는데요. 그래서 이번 시간에는 Nginx와 Spring Boot 간의 성능 튜닝 과정을 진행해보겠습니다. 모든 코드는 Github에 있습니다. 3-1. 여전히 많은 TIME_WAIT 소켓 지난 시간에 net.ipv4.tcp_tw_reuse 값을 수정하여 로컬 포트 고갈 문제를 해결하였습니다! 그리고 수정된 버전으로 다시 한번 성능 테스트를 진행했는데요. Vuser 50으로 맞추고 테스트를 하니 TPS가 4700까지 올라갔습니다! 중간에 DB Connection이 부족한것이 발견되어 DB Connection Pool Size와.. 2018. 7. 23. 2. AWS Beanstalk을 이용한 성능 튜닝 시리즈 - 커널 파라미터 튜닝 지난 시간에 Nginx에 엄청난 양의 에러로그가 발생하면서 부하 테스트가 강제 종료되었습니다! (Nginx log) 이번 시간엔 해당 문제를 해결하는 과정을 진행하겠습니다. 2-1. TIME_OUT과 소켓 로그를 자세히 보면 아래와 같습니다. 2018/07/19 08:03:23 [crit] 2872#0: *338613 connect() to 127.0.0.1:8080 failed (99: Cannot assign requested address) while connecting to upstream, client: 13.125.61.131, server: , request: "GET /availablePoint/1 HTTP/1.1", upstream: "http://127.0.0.1:8080/availab.. 2018. 7. 20. 1. AWS Beanstalk을 이용한 성능 튜닝 시리즈 - DB Connection Pool 안녕하세요 이번 시간에는 AWS Beanstalk을 이용한 웹 어플리케이션 서버 성능 튜닝 시리즈를 시작합니다. 모든 코드는 Github에 있으니 참고하시면 됩니다. 신규 서비스를 출시할때마다 성능 테스트와 튜닝을 꼭 진행해야합니다. 이번에 신규 프로젝트를 준비하면서 이것 저것 시도해본 내용을 샘플 예제로 정리합니다. 0. 테스트 환경 테스트 환경은 아래와 같습니다. AWS Elastic Beanstalk c5.large 1대 t2.large 보다 저렴합니다. AWS Aurora RDS AWS와 같은 클라우드 환경에 최적화 r4.large AWS Aurora 도입전에 알아야 할 몇가지 사실 참고 Spring Boot 2.0.3 DataSource Hikari CP 설정 X (기본값) 사용한 쿼리 sele.. 2018. 7. 17. Travis CI와 AWS ElasticBeanstalk 연동하기 안녕하세요? 이번 시간에는 Travis CI를 이용하여 Spring Boot를 AWS Beanstalk에 배포하는 과정을 소개드리겠습니다. 모든 내용은 Github에 있기 때문에 코드를 참고하시면 도움이 되실것 같습니다. AWS에서는 heroku와 같은 일체형 서비스를 지원하고 있습니다. 그게 바로 AWS ElasticBeanstalk인데요. EC2처럼 하나하나 설정할 필요없이 웬만한 기능들은 다 자동화 되기도 하고, 추가 설정들은 config 파일로 해결할 수 있어서 빠르게 구축할 수 있는 장점이 있습니다. 만약 개인 프로젝트를 AWS ElasticBeanstalk에 구축한다면 Travis CI와 함께 이용하시면 젠킨스나 Code Pipeline등을 별도로 구축할 필요 없이 편하게 개발 환경이 완성됩니.. 2018. 7. 13. 이전 1 ··· 8 9 10 11 12 13 14 ··· 16 다음
