Data Engineering/Cloud (4) 썸네일형 리스트형 [세션발표] 티끌모아 GPU, GCP에서 GPU 모델 서빙하기(RetroFest 2024 후기) 2024년 말, GDG on Campus 가천대, 경희대, 한국외대 챕터에서 감사하게도 2024 RetroFest 행사를 열어주어 세션 Speaker로 참석하였다. RetroFest 2024: Back to the Future, 미래를 위한 돌아보기 | Festa!Festa에서 당신이 찾는 이벤트를 만나보세요.festa.ioSpeaker 선정기:세션 Speaker를 모집하고 있었을 때, 한 번쯤 기술 세션 발표를 진행하고 싶었기에 바로 어떤 것을 주제로 할 지 생각해봤다. 이 중에서 올해 기술적으로 가장 가치가 있었던 경험을 곰곰히 생각해본 결과, 내게는 이전에 삽질하면서 느꼈던 "클라우드 환경에서의 GPU 사용기"가 가장 힘들었지만 보람이 있었던 경험이었던 것 같아 선정하였다. 아래 포스팅을 참고하.. [GCP] 티끌모아 GPU, 구글 클라우드에서의 GPU 모델 서빙기 (feat. BATCH) 문제점: 대부분의 CSP는 GPU 부족 상태H100 기준으로 2023에 GCP는 약 5만 여대의 GPU를 확보한 것으로 추정된다고 합니다. 리드타임이 거의 1년이므로, 아직 수요에 비하면 GPU 공급이 따라오지 못하는 실정입니다. 저같은 경우는 적어도 제가 사용하는 T4 GPU는 부족한 것을 몸소 느끼는 중입니다(asia-northeast3 한국 기준). 이로 인해 비용 효율적인 SPOT 형태의 Provisioning은 어렵습니다. 그렇지만 제가 GPU로 모델 서빙에 필요한 작업은 near real time이고, 주기적으로 inference를 하면 되기에 Cron 형태의 작업을 실행하면 됩니다.따라서 GCP의 Job as Service 인 Batch를 선택하였습니다. Batch는 결국 GCE 기반이기에.. [GCP] Cloud Functions: 서버리스 함수형 서비스 (1) 안녕하세요. ET입니다. 오늘은 GCP의 서버리스 함수형 서비스, Cloud Functions에 대한 서비스를 알아보겠습니다. https://cloud.google.com/functions?hl=ko cloud.google.com Cloud Functions는 가벼운 환경에서의 작업을 필요한 만큼 필요한 때에 사용할 수 있는 아주 획기적인 서비스입니다. 장점으로는 1. 사용한 만큼만 비용을 지불하고, 가격도 저렴하니 비용 걱정도 덜할 수 있죠. 2. 또한 무료 사용량이 꽤나 넉넉하게 제공되는 만큼, 편안하게 시작할 수 있습니다. 3. 배포도 매우 간단하고 쉽습니다. 사용 사례는 웹훅 트리거(팀즈, 노션, 슬랙 등에 알람 보내기), 실시간 머신러닝 모델 예측 트리거, 간단한 자동화 등 정말 다양한 사례에.. [GCP] GCP 초기 설정: VPC 설정 요즘 클라우드 서비스를 이용하면 누구나 서비스를 배포할 수 있는 시대가 되었습니다.하지만 세부 사항을 잘 알지 못한다면, 특히 네트워크 쪽을 신경쓰지 않는다면 다양한 위협에 노출될 수 있습니다. 특히 퍼블릭 클라우드(AWS, Azure, GCP 등등 공공에게 비용을 받아 제공하는 서비스)는 예상치 못한 Billing이 날라오기도 하고, 보안 위협도 있습니다. 단순히 테스트, 개발용임에도 불구하구요.때문에 안전한 개발과 배포를 위하여 반.드.시. VPC 설정이 필수입니다. 그리고 이건 제가 지금 진행하는 GCP 뿐 아니라 AWS, Azure 등 모든 퍼블릭 클라우드도 비슷한 과정이기에 한 번 익혀놓으시면 비슷한 과정이니 이것을 참고하시면 됩니다. GCP는 참고로 처음 가입하면 현재 300달러의 크레딧을 주.. 이전 1 다음
