BigQuery가 뭐야?

빅쿼리를 알기 전에  데이터의 저장 형태가 무엇인가를 알아야합니다

1. 데이터 저장 형태

: 데이터는 보통 데이터 베이스 테이블 등에 저장

 

Database(DB) : 데이터가 저장된 저장소 > table: 데이터가 저장된 공간

이렇게 저장된  데이터를 제품(앱, 웹)에서 사용합니다.

DB는 MySQL, Oracle, PostgreSQL 같은 데이터 베이스에 주로 저장하는데요.

회사마다 사용하는 DB는 다릅니다.

 

---

2. OLTP(Online Transaction Processing)

위에서 언급된 MySQL,Oracle, Postgre 같은 데이터 베이스의 공통된 특징이 있습니다. 바로

OLTP

OLTP는 거래를 하기위해 사용되는 데이터베이스입니다.

여기서 거래라는 것은 보류나 중간 상태가 아닙니다.

주문을 완료했거나 안했거나를 의미해요 데이터가 무결하다 라는 거죠!

그리고 데이터의 추가(INSERT), 데이터의 변경(UPDATE)이 많이 발생합니다.

 

OLTP에서는 SQL을 사용해서 데이터를 추출할 수 있습니다. 하지만!

OLTP는 TRANSACT을 위해 만든거라 분석을 하기에는 쿼리 속도가 느릴 수 있어요.

 

여기서 말하는 SQL은  데이터 베이스에서 데이터를 추출할 때 사용하는 언어입니다. 

(데이터베이스의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어)

---

OLTP로도 데이터 분석을 할 수는 있습니다.

다만 데이터가 많고, 복잡한 연산을 하게 되면 속도도 느려지고 기능도 부족해집니다.

이런 문제를 개선하기 위해 분석을 위한 기능이 제공되는 OLAP가 나왔습니다.

 

+ 데이터 웨어하우스 : 데이터를 한곳에 모아 저장하는 창고

 

그래서 이러한 장점을 모은게 Google Cloud의 OLAP겸 데이터웨어하우스 즉, BigQuery라고 하는 겁니다.

---

4. BigQuery의 장점

① SQL을 사용해서 쉽게 데이터 추출이 가능합니다.

② OLAP 도구이기 때문에 속도가 빠릅니다. 하지만 그만큼 돈을 지불해야한다 

③ 앱,웹 개발에 사용하는 Firebase, Google Analytics 4의 데이터가 자동으로 저장되기 때문에 데이터를 쉽게 추출할 수 있습니다. 

④ 서버를 구글이 관리해주기 때문에 데이터 웨어하우스를 사용하기 위해서 서버(컴퓨터)를 띄울 필요가 없습니다.

---

5. BigQuery 비용(아시아는 좀더 비싸서 US기준)

비용 종류	세부 요금제
쿼리 비용 : 쿼리를 실행해서 데이터를 탐색할 때 발생	On-demeand 요금제 : 쿼리에서 처리된 용량만큼 부과  1TB $6.25 쿼리문을 잘 작성하는것이 중요 1TB를 다 스캔 않고, 필요한 것만 잘라서 가져올 수 있음.
	Capacity 요금제 : Slot 단위로 요금 부과 1Slot 시간당 $0.04~0..06
저장 비용 : 저장하는 용량마다 발생	Active Logical 저장소 : 1G에 $0.02(월) Long-term Logical 저장소 : 1G에  $0.01(월), 90일간 수정되지 않는 경

 

 

더 자세한 내용을 공부하고싶다면 인프런에 [초보자를 위한 Bigquery(SQL)입문]강의를 들으시면 됩니다!