데이터 엔지니어링 기초(2)
·
데이터 분석/05. 데이터 엔지니어링
🔸정형 데이터와 비정형 데이터정형 데이터 : 스키마에 따라 정리될 수 있는 데이터비정형 데이터 : 정해진 형식이 없는 데이터 데이터의 형태에 따라 저장하는 방식도 다릅니다. 정형 데이터 -> 관계형 데이터베이스(RDBMS) 비정형 데이터 -> 비관계형 데이터베이스(NoSQL 데이터베이스)Key - Value 형식으로 저장하고 스키마가 불필요.🔸OLTP와OLAPOLTP (Online Transational Processing): 데이터가 실시간으로 데이터베이스에 반영되는 시스템OLAP (Online Analytical Processing): 대용량 데이터를 다양한 관점에서 분석하는 작OLTP에서 생성된 데이터가 중간 처리 과정을 거쳐 정제되고 통합된 후 OLAP 시스템에서 분석됩니다.🔸배치처리 vs..