페이지 - 효율적인 독서

책소개

전문 개발자가 아니어도 약간의 소프트웨어 지식만으로 빅데이터의 A~Z까지 기술들을 구현하고 경험해 볼 수 있는 파일럿 프로젝트 형식으로 구성했다. 빅데이터 시스템 구축에 필요한 실무 요건들을 도출하고 이를 해결하기 위한 빅데이터의 수집, 적재, 처리, 분석 아키텍처와 10여 개의 핵심 기술 요소들을 설명한다.

▣ 01장: 빅데이터 이해하기 1.1 빅데이터의 개념 1.2 빅데이터의 목적 1.3 빅데이터 활용 1.4 빅데이터 프로젝트 1.5 빅데이터 기술의 변화 1.6 빅데이터 구현 기술 ____수집 기술 ____적재 기술 ____처리/탐색 기술 ____분석/응용 기술 1.7 빅데이터와 보안 ____데이터 보안 ____접근제어 보안 1.8 마치며 ▣ 02장: 빅데이터 ____파일럿 프로젝트 2.1 파일럿 프로젝트 도메인의 이해 ____요구사항 파악 ____데이터셋 살펴보기 2.2 빅데이터 파일럿 아키텍처 이해 ____소프트웨어 아키텍처 ____하드웨어 아키텍처 ____구축 환경의 이해 2.3 빅데이터 파일럿 프로젝트용 PC 환경 구성 ____자바 설치 ____이클립스 설치 ____오라클 버추얼 박스 설치 ____기타 개발환경 구성 ____리눅스 가상 머신 환경 구성 2.4 빅데이터 파일럿 서버 구성 ____CentOS 설치 ____CentOS 환경 구성 ____가상 머신 복제 2.5 빅데이터 클러스터 구성 ____클라우데라 매니저 설치 ____빅데이터 기본 소프트웨어 설치 - 하둡, 주키퍼 등 기본 구성 ____DataNode 추가 및 환경 설정 ____HDFS 명령을 이용한 설치 확인 ____주키퍼 클라이언트 명령을 이용한 설치 확인 2.6 스마트카 로그 시뮬레이터 ____로그 시뮬레이터 설치 2.7 파일럿 환경 관리 2.8 마치며 ▣ 03장: 빅데이터 수집 3.1 빅데이터 수집 개요 3.2 빅데이터 수집에 활용할 기술 ____플럼 ____카프카 3.3 수집 파일럿 실행 1단계 - 수집 아키텍처 ____수집 아키텍처 3.4 수집 파일럿 실행 2단계 - 수집 환경 구성 ____플럼 설치 ____카프카 설치 3.5 수집 파일럿 실행 3단계 - 플럼 수집 기능 구현 ____SmartCar 에이전트 생성 ____SmartCar 에이전트에 Interceptor 추가 ____DriverCarInfo 에이전트 생성 3.6 수집 파일럿 실행 4단계 - 카프카 기능 구현 ____카프카 Topic 생성 ____카프카 Producer 사용 ____카프카 Consumer 사용 3.7 수집 파일럿 실행 5단계 - 수집 기능 테스트 ____SmartCar 로그 시뮬레이터 작동 ____플럼 에이전트 작동 ____카프카 Consumer 작동 ____수집 기능 점검 3.8 마치며 ▣ 04장: 빅데이터 적재 I - 대용량 로그 파일 적재 4.1 빅데이터 적재 개요 4.2 빅데이터 적재에 활용하는 기술 ____하둡 ____하둡 아키텍처 ____하둡 활용 방안 ____주키퍼 ____주키퍼 아키텍처 ____주키퍼 활용 방안 4.3 적재 파일럿 실행 1단계 - 적재 아키텍처 ____적재 요구사항 ____적재 아키텍처 4.4 적재 파일럿 실행 2단계 - 적재 환경 구성 ____하둡 설치 4.5 적재 파일럿 실행 3단계 - 적재 기능 구현 ____SmartCar 에이전트 수정 4.6 적재 파일럿 실행 4단계 - 적재 기능 테스트 ____플럼의 사용자 정의 Interceptor 추가 ____플럼의 Conf 파일 수정 ____SmartCar 로그 시뮬레이터 작동 ____플럼 이벤트 작동 ____HDFS 명령어 확인 4.7 마치며 ▣ 05장: 빅데이터 적재 II - 실시간 로그/분석 적재 5.1 빅데이터 실시간 적재 개요 5.2 빅데이터 실시간 적재에 활용하는 기술 ____레디스 ____스톰 ____에스퍼 5.3 실시간 적재 파일럿 실행 1단계 - 실시간 적재 아키텍처 ____실시간 적재 요구사항 ____실시간 적재 아키텍처 5.4 실시간 적재 파일럿 실행 2단계 - 실시간 적재 환경 구성 ____HBase 설치 ____레디스 설치 ____스톰 설치 5.5 실시간 적재 파일럿 실행 3단계 - 실시간 적재 기능 구현 ____카프카 Spout 기능 구현 ____Split Bolt 기능 구현 ____HBase Bolt 기능 구현 ____에스퍼 Bolt 기능 구현 ____레디스 Bolt 기능 구현 ____레디스 클라이언트 애플리케이션 구현 ____HBase 테이블 생성 ____스톰 Topology 배포 5.6 실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트 ____로그 시뮬레이터 작동 ____HBase에 적재 데이터 확인 ____레디스에 적재된 데이터 확인 ____레디스 클라이언트 애플리케이션 작동 ____실시간 개발 환경 구성 5.7 마치며 ▣ 06장: 빅데이터 탐색 6.1 빅데이터 탐색 개요 6.2 빅데이터 탐색에 활용되는 기술 ____하이브 ____스파크 ____우지 ____휴 6.3 탐색 파일럿 실행 1단계 - 탐색 아키텍처 ____탐색 요구사항 ____탐색 아키텍처 6.4 탐색 파일럿 실행 2단계 - 탐색 환경 구성 ____하이브 설치 ____우지 설치 ____휴 설치 ____스파크 설치 ____탐색 환경의 구성 및 설치 완료 6.5 탐색 파일럿 실행 3단계 - 휴를 이용한 데이터 탐색 ____HDFS에 적재된 데이터 확인 ____HBase에 적재된 데이터 확인 ____하이브를 이용한 External 데이터 탐색 ____하이브를 이용한 HBase 데이터 탐색 ____데이터셋 추가 ____스파크를 이용한 추가 데이터셋 탐색 6.6 탐색 파일럿 실행 4단계 - 데이터 탐색 기능 구현 및 테스트 ____주제 영역 1. 스마트카 상태 정보 모니터링 - 워크플로 작성 ____주제 영역 2. 스마트카 운전자 운행 기록 정보 - 워크플로 작성 ____주제 영역 3. 이상 운전 패턴 스마트카 정보 - 워크플로 작성 ____주제 영역 4. 긴급 점검이 필요한 스마트카 정보 - 워크플로 작성 ____주제 영역 5. 스마트카 운전자 차량용품 구매 이력 정보 - 워크플로 작성 6.7 마치며 ▣ 07장: 빅데이터 분석 7.1 빅데이터 분석 개요 7.2 빅데이터 분석에 활용 기술 ____임팔라 ____제플린 ____머하웃 ____머하웃 아키텍처 ____스쿱 7.3 분석 파일럿 실행 1단계 - 분석 아키텍처 ____분석 요구사항 ____분석 아키텍처 7.4 분석 파일럿 실행 2단계 - 분석 환경 구성 ____임팔라 설치 ____스쿱 설치 ____제플린 설치 ____머하웃 설치 7.5 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석 ____하이브 QL를 임팔라에서 실행하기 ____임팔라를 이용한 운행 지역 분석 7.6 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석 ____제플린을 이용한 운행 지역 분석 7.7 분석 파일럿 실행 5단계 - 머하웃과 스파크ML을 이용한 머신러닝 ____머하웃 추천 - 스마트카 차량용품 추천 ____스파크ML 분류 - 스마트카 상태 정보 예측/분류 ____머하웃과 스파크ML을 이용한 군집 - 스마트카 고객 정보 분석 7.8 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공 ____스쿱의 내보내기 기능 - 이상 운전 차량 정보 7.9 마치며 ▣ 08장: 분석 환경 확장 8.1 분석환경 확장 개요 8.2 R을 이용한 회귀분석 - 스마트카 배기량에 따른 운전자 연소득 예측 ____R 설치 및 환경 구성 ____R 활용 방안 ____R 파일럿 실행 1단계 - 분석 데이터셋 생성 ____R 파일럿 실행 2단계 - 하이브 클라이언트 라이브러리 구성 ____R 파일럿 실행 3단계 - R에서 하이브 데이터 로드 ____R 파일럿 실행 4단계 - 데이터 탐색 및 회귀모델 생성 8.3 텐서플로를 이용한 신경망 분석 - 주행 중 스마트카의 위험 징후 판별 ____설치 및 환경 구성 ____텐서플로 활용 방안 ____텐서플로 파일럿 실행 1단계 - 텐서플로 개발 환경 실행 ____텐서플로 파일럿 실행 2단계 - 텐서플로를 이용한 딥러닝 학습 및 평가 ____텐서플로 파일럿 실행 3단계 - 텐서보드를 이용한 학습 결과 시각화 ____텐서플로 파일럿 실행 4단계 - 플라스크를 이용한 웹 애플리케이션 구축