| 강좌명 |
(산대특)빅데이터&클라우드 기반 데이터 운영관리 개발자 양성과정 |
|
교육목표
|
- 업무 요구사항을 달성하기 위하여 전사 데이터 아키텍처 정책과 원칙을 기반으로 데이터베이스를 설계, 구축하고 성능을 관리할 수 있다.
- 다양한 형태의 대용량 데이터 집합으로부터 유용한 정보를 찾고 예측하기 위해 목적에 적합한 분석 기술과 방법을 적용하여 데이터에 대한 전처리, 탐색, 분석 모델링, 시각화를 수행할 수 있다.
- 비관계형 데이터베이스를 이해하고 활용할 수 있으며 빅데이터 최적화 운영과 관리를 위한 튜닝, 백업 등 다양한 기술을 학습할 있다.
- 애플리케이션 서비스 제공을 위한 각 환경별 서버, 스토리지, 인프라스트럭쳐를 구성하고 서비스를 통합 구현할 수 있다.
- 다양한 형식의 대용량 데이터를 저장, 처리, 분석하기 위한 인프라, 인터페이스 및 솔루션을 개발하고 적용할 수 있다.
- 딥러닝을 위한 기초 함수 및 필요 모듈을 활용할 수 있으며 신경망을 이해하고 주어진 문제에 가설을 설정하여 CNN, RNN 등 딥러닝 기법을 구현할 수 있다.
- 한글 검색에 특화된 엘라스틴 서치를 이해하고 엘라스틴 서치의 다양한 기능을 활용하여 데이터를 운영할 수 있다.
|
|
교육개요
|
다양한 환경에서 가장 효율적인 빅데이터 구현을 위해 관계형 데이터베이스와 비관계형 데이터베이스, 클라우드 환경 등 다양한 데이터 적재 인프라를 학습하며 이를 기반으로 빅데이터 시스템을 개발하는 방법과 빅데이터 분석, 시각화 및 머신러닝, 딥러닝 모델을 학습합니다.
학습한 내용을 토대로 인프라 기획부터 분석, 모델 구현을 할 수 있는 데이터 운영관리 개발자로 양성될 수 있습니다.
|
|
데이터베이스 언어(SQL, PL-SQL) |
* SQL*Plus
- 데이터베이스 개요, RDBMS 개념
* SQL BASIC
- 산술표현식 및 합성연산자, 컬럼 Alias,ALL/Distinct
- 조건질의와 Order By, SQL연산자
- 집합연산자(Set Operator)
- 기본SQL 함수(문자/숫자/날짜관련), 변환함수, 분석함수, 집합함수, 그룹함수, HAVING
- 서브쿼리, 조인(아웃터조인, 셀프 조인, 이너 조인 등)
- 인라인 뷰
* Table 관련 DDL
- DDL을 활용한 기본테이블 Create (생성), Alter(변경), Truncate(초기화) 작업
-SubQuery를 활용한 임시테이블 작성방법
-임시테이블을 활용한 각종 데이터 변경 및 옮김, 데이터의 일부 정리(삭제) 작업
- 주어진 테이블에 적절한 Index 구성 및 생성
* Index 관리
- 효율적인 Index 관리방법
- 자료사전을 통한 관련 정보 조회
- Index를 활용한 관련자료 조회 질의문 작성
* PL/SQL
- PL/SQL 개요 및 소개
- PL/SQL 기본 문법
(IF, BASIC LOOP, WHILE, FOR, NESTED LOOP 등)
- PL/SQL Program(Variable, SQL)
- PL/SQL Operator,DML IN PL/SQL, Transaction Control Cursor (Where Current Of, Ref Cursor, Parameterized Cursor)
- Exception
- Stored Procedure, Stored Function
- Dynamic SQL
- Package(패키지명세, 패키지몸체) 작성방법
- Package내 전역/공용변수, 오버로드, 사전선언 |
|
PYTHON |
- Python 인스톨
- 숫자
- 스트링
- 리스트
- If elif else
- For
- 범위와 While
- 주석과 Break
- Continue
- Function
- Return Value
- 매개변수의 기본값
- 변수의 스코프
- 키워드 매개변수
- 플렉서블한 매개변수의 개수
- 언패킹 매개변수
- 딕셔너리
- 모듈
- 웹에서 이미지 다운로드하기
- 파일 읽고 쓰기
- 웹에서 파일 다운로드 하기
- 웹크롤러 작성하기
- 예외 처리 하기
- 클래스와 객체
- 초기화(init)
- 클래스와 인스턴스 변수의 차이점
- 상속
- 다중 상속
- 스레딩
- 단어 빈도 카운터
- Zip
- 람다
- 딕셔너리 Max, Min, Sorting
- 이미지 자르기
- 이미지 합치기
- Struct
- Map
- 비트 연산자
- 딕셔너리 계산 |
|
PYTHON 데이터 분석 |
* Pandas
- Series
- DataFrame
- 기본함수 익히기
* 텍스트 데이터 수집 및 정리
- 데이터 수집(requests, Ixml)
- 데이터 다듬기(포맷 통일, 빈값 채우기)
* 데이터정제
- Index
- Merge
- Join
- Concatenate
- GroupBy
* 위치정보 데이터 분석
- 위치 정보 데이터 다루기
* Pandas 고급
- Time Series
- 원격 데이터 접근(내장 API들)
- 다양한 I/O 처리 옵션
* 파이썬시각화
- 라이브러리를 활용한 파이썬 데이터 시각화 |
|
ML(MACHINE LEARNING |
- 머신러닝(기계학습)
- 기본 알고리즘 개념 및 소개
- 나이브 베이즈 분류
- 의사결정나무
- 랜던포레스트
- 회귀분석
- 은닉마코브모형
- 서포트 백터 머신
- 주성분 분석
- K평균
- 연관성 분석
- 인공신경망(ANN, Articial Neural Network) |
|
DL(DEEP LEARNING) |
* 딥러닝 기초 실습
- Cost, Activation Function OverFitting 등 기초함수 실습
- 필요 모듈(Pandas 등) 실습
* 인공신경망
- 분류 및 군집화
- 다중신경망
- 회귀분석
* CNN
- 이미지 처리 실습
* RNN
- RNN을 활용한 데이터 처리
- 글자 생성 및 프로그램 구현
* GAN
- 이미지 생성 실습
- 강화 학습 모델링 및 학습 실습 |
|
빅데이터 No-SQL |
* 몽고 DB
- MongoDB 소개
- MongoDB 기초(문서,컬렉션,데이터베이스)
- MongoDB 설치
- MongoDB Shell,데이터 타입
- 문서 삽입,제거,갱신
- find,조건부 쿼리
- 배열 쿼리,
- 정규표현식,$where 쿼리
- 커서,데이터베이스 커맨드
- 인덱스 소개
- 인덱스 타입 인덱스 관리
- 특수한 인덱스 ,컬렉션 타입 ,
- Capped 컬렉션,지리공간 인덱스
- GridFS
- Aggregation
- Aggregation Framework
- $match,$project,Pipeline 표현식
- MapReduce
- count,group
- 복제(Replica Set)
- 샤딩 설정,샤드 key
- Java Driver
- MongoDB 데이터 모델링
* 레디스
- 레디스 시작
- 레디스와 데이터 구조
- 레디스 데이터 구조와 명령어
- 레디스 키 설계
- 레디스 클라이언트
- 클라이언트 종류
- 레디스 프로토콜
- 대량의 데이터 입력
- 레디스 내부구조
- 레디스 객체
- 레디스 문자열
- 레디스 공유객체
- 레디스 활용 사례
- 확장과 분산 기법
- 복제,샤딩
- 레디스 운영 시 고려사항 |
|
AWS 클라우드(Cloud) |
* 클라우드 인프라 개념 및 이해 분석
- 클라우드 컴퓨팅 아키텍처 분석
- 하드웨어 인프라 분석
- 가상화 인프라 분석
- 컨테이너 인프라 분석
* 가상화 솔루션 이해와 구현
- 가상화 소개
- 서버 가상화 기술구현
- ESXi 설치 및 구성
- 가상머신
- VCENTER를 이용한 관리
- 가상네트워크 구성과 관리
- 가상스토리지 구성과 관리
- 가상머신관리
- 접근제어
- 리소스모니터링
- HA&FT
- DRS를 이용한 성능최적화
* 클라우드 통합관리
- 도커와마이크로서비스이해
- 도커환경구성설정과 컨테이너 기본활용
- 쿠버네티스 들어가기
- 쿠버네티스 핵심개념
* 웹 서버 이해와 기본 서비스 구현
- 클라우드컴퓨팅과 AWS 소개
- 글로벌인프라와 관리인터페이스
- 프리티어 계정(무료체험) 생성
- AWS EC2 서비스
- Amazon S3 서비스
- AWS EBS 서비스
- AWS VPC
- IAM(Identity & Access Management)
- RDS(Relational Database Service)
- Dynamo DB
- Elastic Load Balancing
- AWS Auto Scaling
- AWS Trusted Advisor
- AWS 요금계산기(Cost Explorer) |
|
빅데이터 기반 데이터베이스 운용관리 |
* 모델링 기초
- 스키마와 상태
- 데이터베이스 언어
- 사용자
* 데이터 모델링
- 데이터 모델링 개요
- 모델링 종류
- 엔티티-관계(Entity-Relationship) 모델
- 속성(Attribute)
- 관계 & 관계타입
* 데이터베이스 설계
- 데이터베이스 설계 개요 및 필요성
- 개념적, 논리적, 물리적 설계
* 인덱스 아키텍쳐 & 파티션 아키텍처
- 인덱스의 개념
- 인덱스와 RowID
- 인덱스의 종류
- 파티션의 종류
- 파티션 활용 및 인덱스 결합
* 인덱스 선정
- 인덱스 선정
- 엑세스 패스 관리
- 점 조건과 선분조건의 개념 및 처리범위
- 결합인덱스의 컬럼 순서 선정기준
- 인덱스 컬럼 선정
- 파티션 테이블에서의 인덱스 선정
* 옵티마이저
- SQL 수행 아키텍쳐
- 구문분석 (Parsing)
- 쿼리변환 (Query Transformation )
- 옵티마이저
*실행계획 분석
- 실행계획의 해석
- 로우 소스 트리를 통한 실행계획 해석
- 로우 소스 레벨을 통한 해석
- 테이블 관련 실행계획
- 인덱스 관련 실행계획
- 인덱스 조인
- 정렬관련 실행계획
- 파티션 관련 실행계획
- StopKey , Remote 실행계획
* 힌트와 실행계획
- 힌트의 개념
- 인덱스 관련 힌트
- 테이블 관련 힌트 및 조인 힌트
- 기타 힌트
- 힌트 사용시 주의사항
- 실행계획 확인 |
|
엘라스틱 서치 |
* 엘라스틱 개요
- 엘라스틱 스택
- 엘라스틱서치 구성 및 소개
- 엘라스틱 서치 로그스태시(Logstash), 비츠(Beats),키바나
* 엘라스틱서치의 API
- 집계합수(Aggregations)
- 검색 기능(Query DSL)
- 스크립트 코딩(Scripting)
- 매핑 API(Mapping API)
* 데이터 분석 플랫폼 구축(Elasticsearch)
- 엘라스틱서치 환경 구축
- 키바나 환경 구축
- 키바나를 이용한 데이터 시각화 이해
- 엘라스틱서치 분산 환경 구축
- 로그스태시 환경 구축
- 비츠 환경 구축
* 데이터 적재
- 파일 기반 적재 방법
- 비츠, 로그스태시, 스프링 기반 적재
- 키바나의 인덱스 패턴 등록
- 데이터를 확인하는 방법
- 데이터 속성법
- GIS 속성을 사용하는 방법
* 키바나 시각화 기능
- Discover
- Visualization
- Dashboard
- Canvas
- Maps
- Machine Learning
- Metric
- Logs
- APM
- Uptime
- SIEM
- Dev Tools
- Monitoring
- Management
* 키바나의 시각화 결과
- 시각화 기능 임베디드
- 외부로 가져온 대시보드 활용 방법
- Nginx를 이용한 무인증 키바나 환경 구축
* 엘라스틱서치 실무사례 활용 |
|
실무 프로젝트 |
* 프로젝트 기획
- 조별 선정 및 프로젝트 주제 선정
- 환경에 맞는 플랫폼 이해 및 선정
- 프로젝트 관리 기획 및 일정 계획, 실행 계획서 작성
* 프로젝트 데이터 수집 및 정제, 변환
- 정형/비정형 수집 기능 구현 (크롤링, 데이터 저장소 수집 등)
- 빅데이터 플랫폼 연동 기능 구현 실습
- 배치 기반 데이터 적재 및 실시간 데이터 적재 기능 구현
- 데이터 셋 정의 및 데이터 처리, 자동화 구현
- 실시간 변환 및 분석 기능 구현 및 외부 DB 연동
* 기계학습 실습
- 머신러닝 및 딥러닝 기법을 활용한 데이터 예측 실습
- 구현 시스템 데이터 목록 정의 및 관리 시스템 개발 실습
- 웹 구현을 위한 View 및 기능 구현 실습
* 테스트 및 발표
- 통합 테스트 및 제반사항 점검, 디버깅
- 최종 보고서 작성 및 프로젝트 결과 발표 |
.jpg)
