빅데이터

4. Docker를 활용한 하둡 설치(4) - hadoop 설치 및 ssh및 설정

1. ssh 다운로드 # ssh 설치 apt-get install -y openssh-server openssh-client # ssh 설치완료여부 확인 service ssh status ssh 를 설치하고 status 명령어를 통해 설치가 완료되었는지 확인한다. 2. ssh key 생성 컨테이너들 간의 ssh 접속을 할때 매번 id와 password를 입력하는 것은 매우 비효율적이다. 그래서 key을 만들어 해당 키와 동일한 key를 가진 ssh 접속은 허용해주는 편이 편하다. cf) 서버의 authorized_keys와 클라이언트의 id_dsa가 같다면 접속을 허용하게 만들어주는 과정이다. # 컨테이너간 접속에 사용할 ssh 키 생성 ssh-keygen -t rsa -P '' -f ~/.ssh/id_..

2022. 8. 17. 19:22

빅데이터

3. Docker를 활용한 하둡 설치(3) - zookeeper 설치

이 포스팅은 현업에서 가장 많이(사실상 대부분) 사용되는 - Hadoop 완전분산모드(Fully-Distributed)을 기준으로 만들어졌습니다. 1. 주키퍼 다운로드 https://zookeeper.apache.org/releases.html 현재 주키퍼가 3.8.0 버전까지 나왔지만 안정화 버전인 3.7.1 버전을 기준으로 설치를 진행하도록 하겠습니다. 아래의 링크를 복사하여 우분투에서 다운 받아줍니다. 다운받고 싶은 폴더는 개인의 취향에 맞게 선택하시면 되지만 저는 root 폴더안에 설치를 진행하도록 하겠습니다. # 도커 터미널 실행 # root계정접속 su # root 폴더 진입 cd ~ # 다운로드를 위한 wget 설치 apt-get install wget # 주키퍼 다운로드 wget https..

2022. 7. 26. 00:29

빅데이터

2. Docker를 활용한 하둡 설치(2) - 우분투18.04, 자바1.8, 파이썬3.8 설치

도커 설치 방법은 아래의 글을 참고 바란다. 2022.07.22 - [빅데이터] - 1. Docker를 활용한 하둡 설치(1) - 도커 설치 우분투18.04 설치 1. 도커를 실행하고 아래의 표시된 Docker Hub를 실행한다. 2. 도커 허브에 접속이 되었다면 로그인 할 필요없이 ubutu를 검색한다. 3. 그러면 아래와 같이 나올 것이고 맨위의 docker official image인 우분투를 클릭하여 계속 진행한다. 4. 그러면 도커를 설치 할 수 있는 링크와 태그가 나온다. 5. 나는 우분투 18.04 버전을 설치할 것이기 때문에 cmd 창을 실행 후 아래와 같이 입력해 준다. docker pull ubuntu:18.04 그러면 아래와 같이 우분투 18.04의 설치가 이루어진다. 설치가 완료되었..

2022. 7. 22. 22:13

빅데이터

1. Docker를 활용한 하둡 설치(1) - 도커 설치

하둡을 로컬 컴퓨터 한대에서 실습을 진행하기 위해서는 virtualbox나 도커와 같이 컴퓨터 한대에서 여러대의 서버를 실행하기 위한 보조 프로그램이 실행되어야한다. 도커 vs virtualbox 도커를 선택한 이유 1. 내가 접한 실무적인 환경에서 virtualbox를 사용하는 경우는 없었다.(사용하는 곳도 있을 수 있지만 일단 필자의 경험상은 존재 x) 2. virtualbox는 로컬에서 사용하기에 매우 무겁다. 가상서버를 설치시 메모리와 cpu, hdd 용량까지 설정하여야하여 사용 중 로컬 컴의 리소스가 제한되는 문제도 발생한다. 반면 docker는 자원의 공유가 가능하여 따로 설정을 하지 않으면 로컬 환경과 자원을 공유하는 장점이 있고 사용하지 않는 hdd나 메모리 등의 자원을 잡아먹지 않는다. ..

2022. 7. 22. 20:32