들어가며이번 칼럼에서는 AWS의 차세대 SageMaker 플랫폼을 주제로 최신 기술과 업데이트된 기능들을 소개하고자 합니다. SageMaker가 단순한 머신러닝 서비스에서 벗어나 데이터 분석부터 생성형 AI 애플리케이션 개발까지 아우르는 통합 환경으로 어떻게 진화했는지 살펴봅니다. 특히 SageMaker Unified Studio, SageMaker Catalog, Amazon Q, 기능에 주목하며, 이를 통해 실무자들이 협업과 생산성을 크게 향상시킬 수 있는 방법을 공유드릴 예정입니다. 마지막으로, 데이터 엔지니어, 데이터 과학자, 분석가, 앱 개발자 등 다양한 페르소나를 바탕으로 실제 기업에 적용할 수 있는 구체적인 사례를 통해 실무 현장에서 어떻게 활용할 수 있는지도 함께 살펴보겠습니다. 차세대 S..

들어가며이번 칼럼에서는 Amazon SageMaker Lakehouse 기술을 주제로 한 세션을 듣고, 여러분께 신규 기술과 업데이트된 정보를 공유드리고자 합니다. 이번 세션에서 특히 주목할 내용은 1. 데이터 복제 없이 실시간 공유를 가능하게 하는 제로 카피 공유 모델, 2. Redshift와 Amazon S3를 포함한 다양한 소스를 통합 관리하는 통합 카탈로그 구조, 3. Apache Iceberg 기반의 개방형 API 접근 방식인데요. 이와 함께, 레이크하우스 환경에서의 정교한 권한 관리와 쿼리 처리 방식까지 실용적인 내용이 풍부하게 소개되었습니다.생성형 AI와 대규모 데이터 분석이 요구되는 시대에, 기존 시스템을 변경하지 않고도 유연하고 안전하게 데이터를 통합하는 방법에 대해 인사이트를 얻을 수 ..

들어가며이번 칼럼에서는 AWS와 삼성카드가 발표한 "나에게 맞춤 혜택을 큐레이션: 삼성카드의 AI 기반 실시간 추천" 세션을 통해 얻은 인사이트를 공유하고자 합니다. 평소 대규모 데이터 처리와 실시간 추천 시스템 구축에 깊은 관심을 가져왔기에, 삼성카드가 겪었던 기술적 난관들을 AWS의 서버리스 이벤트 기반 아키텍처를 통해 어떻게 혁신적으로 극복하고, 온프레미스 환경과의 연계를 성공적으로 이루어냈는지 자세히 살펴보고자 이 세션을 신청하게 되었습니다.특히, 복잡한 데이터 처리 파이프라인을 효율적으로 개선한 사례와 실시간 추천 시스템의 성능 향상 전략에 주목하여, 실제 서비스에 적용할 수 있는 실질적인 지식과 노하우에 대한 정보를 공유드리도록 하겠습니다. EDA implementation on AWS AWS..

시작하기 앞서.. 본 내용은 CloudNet@ Terraform Study 101 을 진행하며 학습한 내용을 바탕으로 업무에 활용한 내용을 작성했습니다. 따라서 AWS와 terraform에 대한 기본 개념 내용은 생략한 경우가 많습니다. 클라우드 서비스 공급자인 AWS는 고객이 인프라 구성을 간편하게 할 수 있도록 웹 콘솔을 지원하고 있습니다. 이러한 GUI 환경을 좋아하시는 분들도 많이 계시지만, 제 경우, 반복적인 작업 시 휴먼 에러를 방지할 수 있고, 생성하고자 하는 리소스를 한눈에 파악할 수 있기 때문에 콘솔 작업보다 코드 작업을 더 선호하는 편입니다. 처음 AWS를 접하고 VPC, EC2, SG(Security Group), ELB와 같은 기본 서비스를 생성하다보면, 처음엔 어렵지만 손에 익으면..

AWS의 Dive into Amazon OpenSearch Service Workshop을 진행하면서 작성한 글입니다. 이번에는 분석을 위해 모든 웹 로그를 수집하는 데이터 파이프라인을 설정해 봅니다. 1. Kinesis Data Firehose 생성 > OpenSearch 에 도메인 연결 > 세분화된 엑세스 제어를 사용해 Firehose가 도메인에 데이터를 씀 2. Kinesis Data Generator에 로그인 > 웹 로그 시뮬레이션 템플릿 지정 > Firehose로 데이터 전송 3. OpenSearch에 이상 감지를 설정해 Generator로 생성한 이상 동작을 감지 4. OpenSearch의 세분화된 엑세스 제어를 설정해 특정 문서 및 인덱스에 대한 차등 엑세스 제공 Data Pipeline 설..

AWS의 Dive into Amazon OpenSearch Service Workshop을 진행하면서 작성한 글입니다. Amazon OpenSearch Service Domain 시작하기 1. Deployment type 워크숍에서는 프로덕션 수준의 확장성과 안정성이 필요하지 않으므로 Dev/test Template, 단일 AZ로 선택합니다. Engine Version : 1.3 2. Data nodes Number of nodes: 2 복제본 샤드(replica shard)를 사용할 것이기 때문에 기본값인 1 대신 2개의 데이터 노드를 사용합니다. 3. Network VPC: (10.0.0.0/16 CIDR 범위가 있는 VPC를 선택합니다.) Subnets: (리스트에 나온 Private 서브넷 중 하..

AWS에서 진행하는 Amazon OpenSearch BootCamp for Partners 세션에 참여하면서 공부한 내용들을 정리하려 합니다. 버전별 기능 확인하기 OpenSearch의 경우 기능 추가가 빈번하게 진행되기 때문에 다음과 같은 문서를 확인하면서 기능을 확인할 수 있습니다. 1. GitHub Project 대시보드 확인 OpenSearch Project GitHub 2. AWS 공식 문서 확인 Features by engine version in Amazon OpenSearch Service Amazon OpenSearch Service 기능 3. OpenSearch 공식 Document 확인 OpenSearch Documentation OpenSearch DashBoards 확인 OpenS..

AWS에서 진행하는 Amazon OpenSearch BootCamp for Partners 세션에 참여하면서 공부한 내용들을 정리하려 합니다. 주요 기능 성능 및 확장성 쉬운 사용 보안 및 가용성 1. K-NN(K-Nearest Neighbor) 및 LTR(Learning to Rank) 모델로 검색 품질 및 관련성 향상 2. 사용자 정의 사전, 동의어 파일의 핫리로드(hot-reload)로 즉각적인 검색 정확도 업데이트 1. 세분화된 엑세스 제어 및 감사 로깅으로 모든 수준에서 도메인 보호 2. Trace Analytics를 사용하여 분산 애플리케이션의 성능 및 가용성 문제 해결 1. UltraWarm 및 Cold Storage로 스토리지 비용을 낮추고 데이터 보존 기간 연장 2. 노드 자가 치유(Se..