everyday-spring

문자열 자르기

everyday-spring — Fri, 17 Jan 2025 14:02:07 +0900

Split and Format SIZE:

TXT 파일 업로드:

DATA:

EC2 ubuntu Jenkins CI/CD 트러블슈팅 | 무한로딩, 먹통 | Docker not found | not in a git directory

everyday-spring — Mon, 4 Nov 2024 12:12:00 +0900

Window PC에 Docker, jenkins 설치, GitHub 연동하기 (1) | 난 대학시절 삽질을 전공했단 사실

시작에 앞서....Docker를... AWS EC2에 설치 했어야 하는데별 의심없이 개인 pc에 설치했다...잘못된 방향으로 핸들이 고장난 에잇톤트럭마냥 달려서 하루를 낭비했다이것은.. 그 기록.... Docker 설치h

everyday-spring.com

https://everyday-spring.com/629

Window PC에 Docker, jenkins 설치, GitHub 연동하기 (2) | 난 삽질로 유학까지 다녀왔단 사실

https://everyday-spring.com/628 Window PC에 Docker, jenkins 설치, GitHub 연동하기 (1) | 난 대학시절 삽질을 전공했단 사실시작에 앞서....Docker를... AWS EC2에 설치 했어야 하는데별 의심없이 개인 pc에 설치했다..

everyday-spring.com

https://everyday-spring.com/630

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (1) | 최종_최최종_찐막_찐찐막

everyday-spring.com

https://everyday-spring.com/631

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (2) | 윈도우 PuTTY EC2 연동하기 | EC2 메모리 스왑

https://everyday-spring.com/630 AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (1) | 최종_최최종_찐막_찐찐막https://everyday-spring.com/628 Window PC에 Docker, jenkins 설치, GitHub 연동하기 (1) | 난 대학시절 삽질을 전

everyday-spring.com

https://everyday-spring.com/632

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (3) | Docker in Docker

everyday-spring.com

https://everyday-spring.com/633

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (4) | CI/CD 최종 | Jenkins Pipeline Docker 배포까지 총정리

everyday-spring.com

지난 글에서는 윈도우, ubuntu 환경에서 Jenkins CI/CD 튜토리얼을 작성해봤다

이번 글에서는 3일간 환경을 구성하며 겪었던 다양한.. 문제들과... 해결방법을 작성해보겠다

~~젠킨스 미친 거 또 안되네~~

로컬 환경에 Jenkins 설치

이것은.. 개인 PC를 서버로 사용할 수 없기 때문에

EC2에 설치했다 큰 트러블은 아니었음

Jenkins Spring Boot build 무한로딩

젠킨스에서 빌드를 하게되면 중간에 로딩이 길어지면서 서버자체가 먹통되는 문제가 발생했다

Console Output을 살펴보면 GitHub에서 대상 branch를 clone해오는 것 까지는 작동 했으나

application을 build해서 jar 파일을 만들때 무한로딩에 걸리는 현상

로딩에 걸려버리면 Jenkins 페이지도 접속이 안되고

터미널로 서버에 연결조차 되지 않았다

30분이상 기다려도 무한 로딩상태여서 결국 EC2 Instance 자체를 중지하고 재시작 해야했다

계속해서 시도를 해봤지만 build 과정에서 계속 먹통이 됐고

Instance를 중지하는 것도 길게는 10분정도 시간이 걸렸다

로컬에서 환경구성을 해봤기 때문에 검색을 잘안해보고 설치했던게 패착..

문제는 리소스 부족으로 인한 빌드실패

기본 프리티어 설정인 t2.micro의 스펙은 1v CPU, 1 GiB Memory 인데

찾아보니 최소 2v CPU, 2~4 GiB Memory가 필요하다고 한다...

될리가 있나...

결국 Instance를 t3.small로 새로 만들었다

Spring Boot Spotless Plugin build resource

EC2 사양을 올렸는데도 build 과정에서 먹통이 되는 문제가 발생했다

build 과정에서 리소스를 많이 잡아먹는 Spotless 플러그인이 문제 원인

Spotless는 자동 정렬 플러그인으로

사용하지 않는 import 정리나 자동 정렬

파일 끝 개행등의 기능을 제공한다

하지만 컴파일 시마다 동작하면서 전체 파일을 점검하기 때문에

많은 리소스를 잡아먹을 수밖에 없다

팀원들과 협업을 하면서 어느정도 일관된 코드 스타일을 유지하기 위해 사용했는데

배포 branch에는 필요 없는 기능이어서

리소스를 많이 잡아먹는 Spotless Plugin을 삭제해 해결했다

Docker not found

Stage 'Build Docker' 단계에서

Docker 명령어를 찾지 못해 발생하는 문제

Docker위에 Jenkins가 설치된 구조이지만

Jenkins 컨테이너는 독립되어 있기 때문에

Docker in Docker 구조로 Jenkins 내에 Docker를 또 설치해줘야한다

추가적으로 Jenkins 컨테이너를 실행할 때

소켓 옵션을 줘서 정상 동작할 수 있었다

자세한 방법은 아래 글 참조

https://everyday-spring.com/632

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (3) | Docker in Docker

everyday-spring.com

그런데 또 무한로딩이 걸림 미쳐버리겠네

이때쯤 부터 그냥 영혼이 반 나가서

차라리 개발하고 싶어졌다

저 환경세팅 말고 코드 작성하고 싶어요...

무한로딩은 결국 리소스가 부족해서 발생함이 학습되어서

추가적으로 메모리 스왑을 해서 해결했다

자세한 방법은 아래 글 참조

https://everyday-spring.com/631

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (2) | 윈도우 PuTTY EC2 연동하기 | EC2 메모리 스왑

everyday-spring.com

ERROR: Error fetching remote repo 'origin' hudson.plugins.git.GitException: Failed to fetch from

갑자기 되던것도 안됨 이슈 발생 ...

설정을 이것 저것 바꿔서 그런가

Git directory가 아니라면서 Jenkins가 나를 억까함...

챗지피티의 설명은

이 오류는 Jenkins가 GitHub 저장소에서 코드를 가져오지 못할 때 발생하는 오류입니다. 특히 git config remote.origin.url 명령이 "not in a git directory" 오류로 인해 실패했습니다.

그렇다고 합니다...

뭔가 파일이 꼬인 상황이라서

jenkis workspace의 파일을 삭제해서 해결했다

Jenkins CI/CD 환경변수

코드에는 보안을 위해 민감한 정보는 직접 적지 않고 모두 환경변수로 처리한다

배포 서버에서 Jar파일을 실행할 때도 이런 환경변수들이 필요하다

필요한 환경변수가 주입되지 않으면 application이 실행되지 않는다

docker 컨테이너를 실행할 때 옵션으로 환경변수를 입력해 해결했다

자세한 방법은 아래 글 참조

http://everyday-spring.com/633

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (4) | CI/CD 최종 | Jenkins Pipeline Docker 배포까지 총정리

everyday-spring.com

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (4) | CI/CD 최종 | Jenkins Pipeline Docker 배포까지 총정리

everyday-spring — Sun, 3 Nov 2024 16:00:51 +0900

https://everyday-spring.com/630

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (1) | 최종_최최종_찐막_찐찐막

everyday-spring.com

https://everyday-spring.com/631

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (2) | 윈도우 PuTTY EC2 연동하기 | EC2 메모리 스왑

everyday-spring.com

https://subin0522.tistory.com/632

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (3) | Docker in Docker

everyday-spring.com

찐찐 마지막... 이제 진짜 배포 해볼게요

Jenkins Setting

이제 웹에서 EC2 ubuntu에 설치한 Jenkins에 접근할 수 있습니다

주소창에 hostname:port를 입력하면 되는데

- hostname -> Instance의 public IP

- port -> Jenkins 컨테이너 실행할 때 지정한 포트번호 (기본 8080)

이 페이지가 나오면! 잘 들어간것

https://everyday-spring.com/628

위 글을 참고해서 초기 Jenkins 초기 설정을 한다

저 Administrator password를 모르겠다면
sudo cat /var/jenkins_home/secrets/initialAdminPassword

를 입력해 확인할 수 있다

Jenkins Plugin 설치

사람에게는 망각이라는 기능이 있다

3일동안 CI/CD 세팅만하느라 플러그인을 이것 저것 깔았는데

결론적으로 내가 새로 설치한거 다 까먹었다는 뜻

Docker Pipeline
Docker plugin
GitHub Branch Source Plugin
Gradle Plugin
Pipeline
Pipeline Graph View Plugin
Pipeline: GitHub Groovy Libraries
Publish Over SSH
SSH Agent Plugin
SSH server
Workspace Cleanup Plugin

우선 여기 스킵하시고..

안된다면 이 중 설치되어 있지 않은... 플러그인을 설치해보시기 바랍니다...

플러그인은 Jenkins 관리 - Plugins - Available plugins 에서 설치가 가능하다

Jenkins Credentials 등록

CI/CD를 위해 세가지 Credentials을 등록한다

등록을 위해 필요한 정보들

Github
- Github 계정 이름, token
dockerhub
- dockerhub에 가입된 계정 ID, Password
aws
- instance .pem 파일

Jenkins 관리 - credentials 화면에서 (global) 클릭

우측 상단에 파란색 + Add Credentials 버튼을 클릭해서 추가할 수 있다

Username - GitHub 계정명

Password - GitHub에서 발급받은 token

ID - Jenkins 내부에서 사용할 이름

세가지 항목을 입력하고 생성해준다

나는 ID를 github로 지정했다

Username - dockerhub 로그인 ID

Password - dockerhub 로그인 Password

ID - Jenkins 내부에서 사용할 이름

세가지 항목을 입력하고 생성

Kind를 SSH Username with private key로 변경

ID - Jenkins 내부에서 사용할 이름

Username - 서버에 로그인 할 수 있는 계정명 (EC2 ubuntu 기본세팅이면 ubuntu입력하면 된다)

Private Key - EC2 .pem 파일을 메모장으로 열어 전체 복사 붙여넣기

세가지 항목을 입력하고 생성

이렇게 세개의 Credentials을 생성했다

Jenkins Pipeline CI/CD

새로운 아이템을 등록한다

이름을 설정하고 pipeline을 선택

GitHub project (대상 repository 주소 입력)

GitHub hook trigger for GITScm polling

두 항목 체크

Pipeline을 작성한다!

pipeline {
    agent any

    environment {
        DOCKER_IMAGE = 'user05/application' // 배포할 이미지 이름 지정
	    GIT = 'github' // credentialsId
	    CREDENTIALS_ID = 'aws' // credentialsId
        SERVER_IP = '12.34.567.890' // ec2 public IP

    }
    
    stages {
        stage('Clone Repository') {
            steps {
                git branch: 'main', // 배포할 branch명
                credentialsId: GIT,
                url: 'https://github.com/github_id/github_repository.git' // github repository 링크
            }
        }
        
        stage('Build') {
            steps {
                sh 'chmod +x gradlew'
                sh './gradlew clean build'
            }
        }
        
        stage('Bulid Docker') {
            steps {
                echo 'Bulid Docker'
                script {
                    dockerImage = docker.build("user05/application:latest")
                }
            }
            post {
                success {
                    echo 'Successfully Docker Build'
                }
                failure {
                    error 'This pipeline stops here...'
                }
            }
        }
        
        stage('Push Docker') {
            steps {
                echo 'Push Docker'
                script {
                    docker.withRegistry('', 'dockerhub-credentials') { // credentialsId
                        dockerImage.push('latest')
                    }
                }
            }
        }
        stage('Deploy to EC2') {
            steps {
                sshagent([CREDENTIALS_ID]) {
                    sh """
                        ssh -o StrictHostKeyChecking=no ubuntu@${SERVER_IP} '
                        docker pull ${DOCKER_IMAGE}:latest &&
                        docker stop applicationName || true && // 기존 컨테이너 중지
                        docker rm applicationName || true && // 기존 컨테이너 삭제
                        docker run -d --name applicationName -p 9090:9090 \ // 새로운 컨테이너 배포
                        -e PROD_MASTER_JDBC_URL=환경변수를 입력해줌 \
                        -e PROD_MASTER_USERNAME=환경변수를 입력해줌 \
                        ${DOCKER_IMAGE}:latest '
                    """
                }
            }
        }
	}
}

주석 및 한글로 작성한 부분을 필요에 맞게 수정한다

EC2 public IP와 지정한 port에서 애플리케이션 서버가 정상 동작함을 확인했다!

해당 예시로 보면 12.34.567.890:9090

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (3) | Docker in Docker

everyday-spring — Sat, 2 Nov 2024 19:31:54 +0900

https://everyday-spring.com/630

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (1) | 최종_최최종_찐막_찐찐막

everyday-spring.com

https://everyday-spring.com/631

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (2) | 윈도우 PuTTY EC2 연동하기 | EC2 메모리 스왑

everyday-spring.com

지난 글에서 EC2 ubuntu Instance에 Docker, Jenkins를 설치할 준비를 모두 마쳤다

Docker 설치 가보자고!

EC2 ubuntu Instance Docker 설치

앞서 접속을 완료한 PuTTY에서 진행하면 된다

sudo apt-get update

Ubuntu의 패키지 리스트를 최신 상태로 업데이트

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

Ubuntu의 패키지 리스트를 최신 상태로 업데이트한다.

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

Docker 저장소의 공식 GPG 키를 시스템에 추가

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

Docker의 공식 저장소를 시스템의 apt 소스 리스트에 추가

sudo apt-get update

새로운 저장소를 추가한 후 패키지 인덱스를 다시 업데이트

sudo apt-get install docker-ce docker-ce-cli containerd.io

Docker CE(커뮤니티 에디션)와 CLI 도구를 설치

sudo systemctl start docker

Docker 서비스 실

sudo systemctl enable docker

시스템 부팅 시 Docker가 자동으로 시작되도록 설정

sudo usermod -aG docker ${USER}

sudo 없이 Docker 명령을 실행할 수 있도록 현재 사용자를 docker 그룹에 추가

docker --version

설치된 Docker의 버전 출력

Docker not found가 아닌 버전에 대한 정보가 뜬다면 Docker 설치 완료!!

Docker Jenkins 설치, Jenkins Container 실행

https://hub.docker.com/r/jenkins/jenkins

hub.docker.com

dockerhub에서 젠킨스 이미지를 받아오는 명령어를 확인할 수 있다

세팅이 되어있는 이미지 정보를 가져와서 컨테이너로 실행시킨다! 의 개념

docker pull jenkins/jenkins

젠킨스 컨테이너 실행을 위한 이미지를 받아온다

잠깐 구조를 살펴보자면

EC2에 Docker(1)를 설치했고

Docker(1)에서 Jenkins 컨테이너를 실행시키고

실행된 Jenkins에서 Docker(1)에 애플리케이션을 배포함

-> 이 배포 과정에서 Docker 명령어를 사용하기 위해서 Jenkins에도 Docker(2)를 설치해준다!

+ Jenkins에서 Docker(1)에 접근하기 위해 Jenkins 컨테이너를 실행 시킬 때 소켓을 열어준다!

Docker(1) - Jenkins - Docker(2) 이런 구조고

이를 Docker in Docker 라고 함!

어쨌든 받아온 젠킨스 이미지를 실행시켜 보자 하하

https://github.com/jenkinsci/docker/blob/master/README.md

공식사이트에 나와있는 명령어에 필요한 옵션을 몇개 추가한다

docker run \
--name jenkins \
-p 8080:8080 \
-p 50000:50000 \
--restart=on-failure \
-v jenkins_home:/var/jenkins_home \
-v /var/run/docker.sock:/var/run/docker.sock \
-u root \
jenkins/jenkins:lts-jdk17

젠킨스 컨테이너 실행 명령어

--name
- 컨테이너 이름 지정
-p
- 포트설정
- 애플리케이션이 동일하게 8080을 사용한다면 수정해줘야함
--restart=on-failure
- 컨테이너가 비정상 종료된 경우 자동으로 다시 시작하도록 설정
-v jenkins_home:/var/jenkins_home
- /var/jenkins_home 경로에 Jenkins의 모든 데이터를 볼륨으로 저장, 이 볼륨으로 컨테이너 재실행 가능
-v /var/run/docker.sock:/var/run/docker.sock
- Docker-in-Docker 방식으로 컨테이너 내부에서 다른 Docker 작업을 실행하기 위해 소켓 설정

docker ps -a

명령어를 입력해 docker에서 실행중인 컨테이너를 확인할 수 있다

정상 실행 되었다!

Jenkins에 Docker 설치, Docker in Docker

우선 jenkins bash에 접속한다

docker exec -it jenkins /bin/bash

jenkins 자리에는 지정한 컨테이너 이름이나

위 사진에 CONTANER_ID에 있는 값을 넣어주면 된다

jenkins 컨테이너의 root 계정 bash로 잘 접속되었다

apt-get remove docker docker-engine docker.io containerd runc

기존에 설치된 Docker 및 관련 패키지들을 제거

설치된게 없다면 그냥 에러가 납니다 상관없으니 패스

apt-get update

패키지 목록을 업데이트

apt-get install ca-certificates curl gnupg lsb-release

Docker 저장소 추가를 위해 필요한 필수 패키지 설치

mkdir -p /etc/apt/keyrings

Docker의 GPG 키를 저장할 디렉토리를 생성

curl -fsSL https://download.docker.com/linux/debian/gpg -o /tmp/docker.gpg

Docker의 공식 GPG 키를 /tmp/docker.gpg에 다운로드

sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg /tmp/docker.gpg/etc/apt/keyrings/docker.gpg

/tmp/docker.gpg 파일을 /etc/apt/keyrings/docker.gpg로 변환하여 저장

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/debian $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null

Docker의 공식 저장소를 apt 소스 목록에 추가

apt-get update

새로 추가한 Docker 저장소의 패키지 정보를 업데이트

apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

Docker 엔진과 관련된 필수 패키지들 설치

이렇게하면 !! Docker in Docker 설치까지 완료!

이제 Jenkins에 접근하여 프로젝트를 배포해봅시다!!

참고 자료

https://moon1z10.github.io/development/AWS-Ubuntu-Docker-Installation/

https://programmingiraffe.tistory.com/116

감사합니다

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (2) | 윈도우 PuTTY EC2 연동하기 | EC2 메모리 스왑

everyday-spring — Sat, 2 Nov 2024 18:01:02 +0900

https://everyday-spring.com/630

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (1) | 최종_최최종_찐막_찐찐막

everyday-spring.com

지난글에서 CI/CD를 위한 AWS EC2 Intance 생성 및 설정을 완료했다

이제 Docker와 Jenkins를 설치해보자

Window Putty 설치

윈도우 터미널을 이용하는 방법도 있다

https://wookim789.tistory.com/34

윈도우 터미널을 이용해 EC2 접속하기 (5)

자 지난 글에서 EC2 인스턴스를 띄워 보았다. 이제 내 로컬환경(내 pc)에서 aws의 ec2에 접속해보겠다. 방법은 여러가지이다. 이전에 설명한 SSH 방식으로 접근할 것인데, mac이라면 터미널에서 ssh 명

wookim789.tistory.com

근데 블로그를 보면 알다시피..

김상중 아저씨가 울고있다..

나는 Putty를 사용했다 (편하게할래.. 쉽게할래.. 꼼수부릴래..)

먼저 Putty를 설치하자

https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html

Download PuTTY: latest release (0.81)

This page contains download links for the latest released version of PuTTY. Currently this is 0.81, released on 2024-04-15. When new releases come out, this page will update to contain the latest, so this is a good page to bookmark or link to. Alternativel

www.chiark.greenend.org.uk

제일 상단의 링크를 클릭해 파일을 다운로드하고 기본설치 해준다

PuTTYgen 설정

window 검색에 puttygen을 검색하면 설치된 앱이 보인다

클릭해서 실행

Load를 클릭해 EC2 Instance를 생성할 때 발급받은 .pem을 불러온다

.pem 파일이 뭔지 모르면 제일 상단의 링크를 확인

정확한 경로에 들어가도 파일이 안보인다면

당황하지말고 오른쪽 아래 파일 필터를 All Files로 변경해주자

이제 보이게된 .pem 파일을 클릭하여 열기

확인을 누르면

.pem 파일이 잘 Load 됐다

이제 Save private key 버튼을 눌러 원하는 곳에 저장하자

여기서 저장되는 ppk 파일을 사용해서 Putty로 EC2에 접근할 수 있다

예

이제 PuTTYgen에서 필요한 설정은 끝!

EC2 PuTTY 연결

PuTTY를 검색해서 설치된 앱을 열어준다

연결을 위해서는 세가지 설정을 해준다

- ppk 파일 등록

- 터미널 글씨 크기 설정 (선택)

- IP 정보 입력

PuTTY에서 생성한 .ppk파일을 등록해준다

Connection - SSH - Auth - Credentials

Private key file for authentication:

PuTTY 글씨 크기 설정 (선택)

Window - Appearance 에서 글씨 크기를 변경할 수 있다

(나중에 연결된 터미널에서 우클릭 Change Sttings 에서도 변경할 수 있다)

Session 탭으로 돌아가

Host Name 에 EC2 Instance의 IP를 입력

Saved Sessions에 원하는 이름을 입력하고 Save를 눌러 저장해주면

하단 Default Settings 아래에 세션 연결 정보가 저장된다

아래에 추가된 session을 더블클릭하면 연결이 된다

(고정 IP가 아니라면 저장된 세션 연결 정보를 클릭해 Load 한 후

새로 생성된 public IP를 입력하고 다시 저장해준다)

연결이 정상적으로 되었다면 사진처럼 login as 라고 뜬다

EC2 ubuntu 로 생성했다면 기본계정인 ubuntu를 입력한다

정상적으로 연결되었다

윈도우에서 PuTTY를 이용하여 EC2 접속성공!!

EC2 ubuntu 메모리 스왑

EC2 인스턴스1 - Jenkins Server

EC2 인스턴스2 - Application Server

사실은 이렇게 따로 구성하는게 더 좋은 방법일 것 같은데

1. Docker, Jenkins를 아예 처음 접해봐서 EC2에 바로 Jenkins를 설치 해도 된다는걸 몰랐음

2. EC2가 늘어날 경우 비용 부담이 증가함

등의 이유로 이 글 시리즈에서는 하나의 인스턴스에서 모두 해결하게 되었다

그래서 추가적으로 메모리 스왑을 진행했다

위에서 접속한 EC2 ubuntu server에서 순서대로 입력하면 된다

sudo dd if=/dev/zero of=/swapfile bs=1M count=2048

0으로 채워진 2GB 크기의 스왑 파일을 생성

(sudo는 관리자 권한으로 강제 실행의 느낌)

sudo chmod 600 /swapfile

스왑 파일의 읽기 및 쓰기 권한을 소유자만 가지도록 설정

sudo mkswap /swapfile

파일을 스왑 영역으로 초기화

sudo mkswap /swapfile

생성한 스왑 파일을 활성화하여 즉시 사용 가능한 스왑 공간으로 추가

sudo swapon -s

현재 활성화된 스왑 영역의 상태를 확인

sudo vi /etc/fstab

스왑 파일을 영구적으로 등록하기 위해 fstab 파일을 편집한다

(vi가 편집기 명령어)

/swapfile swap swap defaults 0 0

파일 하단에 입력해준다

vi를 처음접한 사람을 위한 간략한 설명...

화살표를 이용해 입력을 원하는 곳까지 이동

키보드에서 i를 누름 -> Insert모드로 변경됩니다 (하단에 insert라고 뜸)

위쪽의 넣어야 하는 문구를 복사했다면 터미널 화면상에서 우클릭을 합니다 (붙여넣기가 자동으로 됨)

키보드의 ESC 버튼을 누름 -> Insert모드 종료

:wq 입력하고 엔터 -> 화면 가장 하단에 입력됨, 수정된 내용을 write 하고 quit 종료하겠다는 의미

잘못수정했다면 :q!를 입력하고 엔터 -> 수정내용을 저장하지 않고 강제로 종료 하겠다는 의미

여기까지 Docker, Jenkins를 위한 사전 준비가 찐찐 끝입니다

다음글에서 Docker와 Jenkins 설치까지 진행해보도록 합시다!

참고블로그

https://velog.io/@rkdalstn7221/EC2-메모리-부족-현상을-스왑-파일을-사용해서-해결해보기

https://velog.io/@heejung/AWS-EC2에-PuTTY로-접속하기

감사합니다

AWS EC2에 Docker Jenkins 설치, Github Webhook 연동 (1) | 최종_최최종_찐막_찐찐막

everyday-spring — Sat, 2 Nov 2024 16:53:30 +0900

https://everyday-spring.com/628

Window PC에 Docker, jenkins 설치, GitHub 연동하기 (1) | 난 대학시절 삽질을 전공했단 사실

everyday-spring.com

https://everyday-spring.com/629

Window PC에 Docker, jenkins 설치, GitHub 연동하기 (2) | 난 삽질로 유학까지 다녀왔단 사실

everyday-spring.com

지난 글에서 로컬 윈도우 pc에 Docker와 Jenkins를 설치하여 테스트를 해보았다

이제 EC2에서 다시 시작해보자

AWS EC2 Instance 생성

EC2 권한이 있는 IAM 계정으로 로그인한다

EC2 서비스를 검색해서 들어간다

EC2 메인보드

지역을 서울로 설정하고 왼쪽 네비게이션의 Instances로 이동한다

서울 리전을 사용해야 더 빠른 연결과 비용절감을 할 수 있다

Launch instances를 클릭해 새로운 인스턴스를 생성할 수 있다

원하는 인스턴스 이름을 입력하고 OS를 선택해준다

정답은 없지만 나는 사용해본 ubuntu를 사용했다

(ubuntu가 많이 사용되어서 검색 레퍼런스도 많다)

중요합니다

프리티어 계정의 기본설정은 t2.micro 타입으로 지정되어있다

도커 젠킨스 설치에는 문제가 없으나

GitHub 프로젝트 빌드시에 리소스 부족으로 먹통이 될 수 있다!!!!

가격을 고려해 스팩업을 꼭 해주자

프로젝트에 따라 필요한 리소스가 다르기때문에 정답은 없지만

최소 2 vCPU 2 ~ 4 GiB Memory가 필요하다

ubuntu - t3.small type을 24시간 가동하였을때 천원정도 비용이 발생하는 수준

로컬에서 젠킨스를 테스트 해보고 별 생각없이 t2.micro로 진행했다가

처음부터 다시 설치했다

키페어를 생성해준다 (pem키를 잘 가지고 있다면 있던거 써도 된다)

여기서 생성한 키페어는 window환경에서 Putty로 연결할때 사용하고,

Jenkins에서 credential로 등록해서 배포시에 사용한다

원하는 이름 지정 후 key pair 생성

자동 저장되는 .pem 파일은 곧 사용하니 경로를 잘 확인해두자

보안그룹은 원래 사용하던게 있다면 사용해도 된다

나는 깔끔하게 필요한 것만 사용하는게 편해서 새로 생성하는 편이다

스토리지 설정은 Free tier에서 사용가능한 30으로 변경한다

여기까지 하면 필요한 설정 완료

새로운 인스턴스를 생성해준다!

생성된 인스턴스는 자동으로 Runnig 상태로 실행된다

EC2 Instance 고정 IP 설정 (선택)

고정 IP가 선택인 이유는 돈이 나가니까!

근데 해두면 편하다...

네비게이션 메뉴에서 Elastic IPs를 클릭해 이동한다

별도의 설정없이 한화 이글스색 버튼을 순서대로 클릭만하면 IP가 생성된다

생성된 IP를 클릭하면 상세정보를 확인할 수 있다

생성된 IP 상세 페이지에서 Associate Elastic IP address 클릭

위에서 생성한 인스턴스를 선택하고

Associate를 클릭하면 선택한 인스턴스의 public IP가 변경된 것을 확인 할 수 있다

EC2 Instance port 설정

외부에서 접속할 수 있도록 필요한 포트들을 열어줘야한다

인스턴스 상세페이지로 이동해 하단의 Security메뉴를 클릭한다

빨간 밑줄부분에 있는 Security Groups을 클릭

Edit inbound rules 클릭

외부에서 EC2 내부로 들어오는 port에 대한 설정이다

ssh로 접속하는 22 포트가 기본으로 설정되어있고

두가지를 추가해줬다

하나는 SpringBoot 프로젝트가 배포될 9090,

하나는 Jenkins 접속을 위한 8080,

(Spring Boot의 기본 포트와 Jenkins의 기본 포트 모두 8080로 동일하니 적절히 변경해서 사용해야 한다)

필요한 포트를 등록하고 저장해준다

여기까지 하면 외부에서 접속하기 위한 포트 설정까지 완료!!!

Window PC에 Docker, jenkins 설치, GitHub 연동하기 (2) | 난 삽질로 유학까지 다녀왔단 사실

everyday-spring — Wed, 30 Oct 2024 02:40:25 +0900

https://everyday-spring.com/628

Window PC에 Docker, jenkins 설치, GitHub 연동하기 (1) | 난 대학시절 삽질을 전공했단 사실

everyday-spring.com

지난 글에서는

Docker, Jenkins 설치, Github 토큰을 발급받았다

발급받은 토큰을 사용해 Git repository의 정보를 가져오고 빌드까지 해보자!!

Jenkins에 Github token 등록하기

웹에서 젠킨스에 접속한다

현재 로컬에 설치했기 때문에

localhost:8080에 접속한다

눈을 감고 있는 대머리 아저씨

Jenkins 초기 설정시 입력한 계정 정보를 입력한다

Jenkins 관리 > Credentials

(global) 클릭

+ Add Credentials 클릭

세칸을 필수로 채워준다

Password에 GitHub에서 발급받은 token을 입력한다

ID는 github로 만들었다 (아무거나 상관없음)

github Credential은 Git repository에 접근해서 checkout할 때 사용한다

Jenkins Pipeline GitHub Repository pull, build 하기

새로운 아이템을 등록한다

이름을 설정하고 pipeline을 선택

GitHub project (대상 repository 주소 입력)

GitHub hook trigger for GITScm polling

두 항목 체크

pipeline {
    agent any
    stages {
        stage('checkout') {
            steps {
                git branch: 'main',
                    credentialsId: 'github',
                    url: 'https://github.com/[GitHub Repository url].git'
            }
        }
        stage('build') {
            steps {
               sh ''' 
                echo 'start build' 
                chmod +x gradlew
                ./gradlew clean build -x test
                '''
            }
        }
    }
}

pipeline {
    agent any
    stages {
        stage('checkout') { // 작업 이름, 자유롭게 입력
            steps {
                git branch: 'main', // 가져올 대상 Branch명
                    credentialsId: 'github', // Jenkins에 등록한 Github Credential ID
                    url: 'https://github.com/[GitHub Repository url].git' // repository 주소
            }
        }
        stage('build') {
            steps {
               sh '''
                echo 'start build' // 단순 출력문
                chmod +x gradlew // 폴더에 대한 접근권한을 설정
                ./gradlew clean build -x test // 빌드!!
                '''
            }
        }
    }
}

build 명령을 사용하면 테스트까지 진행되고

bootJar 명령을 하용하면 test를 제외하고 실행에 필요한 부분만 빌드된다

(프로젝트 문제로 test에서 오류가나서.. 임시로 제외했다...

파이프라인까지 작성했다면

빌드 Build History에 넘버링된 번호를 클릭하면 상세정보를 확인할 수 있다

(날씨로 실행상태가 나타난다 잘돌아가면 해가 쨍쨍하다... 흐린건.. 무수히 많이 쌓인 도전의 흔적..)

실행된 Stages에 대한 상세정보

Console Output에서 log를 확인할 수 있다

log를 확인해보면 pipeline에 설정된

checkout과 build가 정상실행되었다!

야호!

ngrok 주소 발급하기

GitHub에서 Webhook을 날려주려면 jenkins 서버 주소를 입력해야하는데

localhost:8080은 입력할 수 없다

https://download.ngrok.com/windows?tab=download

Download ngrok

download.ngrok.com

ngrok을 설치하고 localhost에 연결되는 주소를 발급받아보자

회원가입하고 Authtoken 을 복사한다

다운받은 ngrok을 실행해서 계정을 설정해준다 (window 설치파일 기준 실행하면 shell이 열림)

ngrok config add-authtoken $YOUR_AUTHTOKEN

ngrok http 8080

계정 설정 후 포트정보와 함께 명령어를 입력하면 외부접근 가능한 주소를 발급해준다

But, 무료계정의 경우 저 발급받은 링크가 얼마안간다..

(나는 그냥 귀찮아서 로컬 pc를 포트포워딩 했다...)

GitHub Jenkins Webhook settings

GitHub Repository Settings

Webhooks에 ngrok에서 발급받은 주소 (포트를 포함해서 발급받았기 때문에 포트 생략)

또는 젠킨스 서버의 public 주소를 넣어준다! (포트까지 적어줘야한다)

그리고 뒤에 /github-webhook/ 을 입력!

여기까지 설정해주면 Jenkins에 지정해둔 브랜치에 변화가 있을때 마다 자동으로 pipeline이 실행된다!!

이렇게 했는데 생각해보니 로컬에서 할일이 아니었다

응 다시해~ 서버에 docker 설치부터~

Window PC에 Docker, jenkins 설치, GitHub 연동하기 (1) | 난 대학시절 삽질을 전공했단 사실

everyday-spring — Mon, 28 Oct 2024 16:49:44 +0900

시작에 앞서....

Docker를... AWS EC2에 설치 했어야 하는데

별 의심없이 개인 pc에 설치했다...

잘못된 방향으로 핸들이 고장난 에잇톤트럭마냥 달려서 하루를 낭비했다

이것은.. 그 기록....

Docker 설치

https://www.docker.com/products/docker-desktop/

Docker Desktop: The #1 Containerization Tool for Developers | Docker

Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux.

www.docker.com

링크에 접속해 설치파일을 받아줍니다

Docker가 항만 노동자들을 칭하는 말이라고 합니다

컨테이너가 배타고 옮겨다니니까 그걸 컨테이너를 얹고다니는 고래... 뭐 그런걸로 만든걸까요?

귀엽습니다

설치과정중 별도의 설정은 하지않고

Use WSL 2 instead of Hyper-V 를 체크합니다

-> 도커 기본은 WSL2를 사용한다고함..

참고블로그

윈도우 Docker 설치 완벽 가이드(Home 포함)

Docker는 경량 가상화 기술인 리눅스 컨테이너 도구입니다. 윈도우 Home과 Pro에서도 몇 가지 설정을 통해 Docker Desktop을 사용할 수 있습니다. 이 글에서는 윈도우에서 Docker Desktop을 설치하는 방법을

www.lainyzine.com

설치가 완료되면 귀여운 바다생물들이 노동착취를 당하고 있습니다

Accept를 눌러줍니다

웹에서 회원가입까지 진행해주면 Docker 설치 완료!

이런 항목은 다 skip 해버립니다

Docker 동작 테스트

docker pull httpd

터미널을 열고 입력하면 테스트용 이미지가 다운받아진다

docker의 images에 httpd가 생성된걸 확인할 수 있다

docker run -d -p 8080:80 --name http-test httpd

images에서 run 버튼을 클릭하거나

터미널에서 명령어로 이미지를 실행시킨다

이때 8080포트를 사용하고 있으면 실행이 안되니 사용중이지 않은 포트를 설정한다

정상실행이 됐다면! 웹에서 localhost:8080 에 접속해보자

동작됐다고 친절히 알려준다

기본으로 되어있긴 하지만 WSL 설정도 한번 확인해주자

Settings > General > Use the WSL 2 based engine

Settings > Resources > WSL integration > Enable integration with my default WSL distro

두가지 설정이 체크되어있어야 한다

Docker에 Jenkins 설치하기

https://hub.docker.com/r/jenkins/jenkins

hub.docker.com

도커허브에서 Jenkins 설치 명령어를 확인할 수 있다

docker pull jenkins/jenkins

터미널에서 실행하면 쭉 설치가 되고

https://github.com/jenkinsci/docker/blob/master/README.md

docker/README.md at master · jenkinsci/docker

Docker official jenkins repo. Contribute to jenkinsci/docker development by creating an account on GitHub.

github.com

jenkins에서 실행 명령어를 제공한다

docker run -p 8080:8080 -p 50000:50000 --restart=on-failure jenkins/jenkins:lts-jdk17

java는 필요한 버전으로 설정하자

Jenkins 컨테이너가 실행되면

하단에 비밀번호가 나온다

******************************************************************

이 라인아래 누가봐도 비밀번호처럼 보이게 잘 강조해놨다

웹에서 localhost:8080 에 접속하고 Unlock Jnkins 화면이 보이면 해당 비밀번호를 입력한다

이때 httpd 테스트 캐시가 남아있어서 "It works!"라고 적힌 페이지가 나온다면

웹 설정에서 캐시를 정리해주자

귀찮으면 그냥 시크릿탭 열어서 접속하면 된다

나는 귀찮았다

왼쪽 버튼을 눌러서 설치해준다

설치가 끝나면 사용할 계정을 설정한다

계정설정까지 끝나면

이마 넓은 집사가 반겨준다

안녕하세요

여기까지 하면 Docker에 Jenkins 설치 완료

GitHub 토큰 발급하기

jenkins에서 github에 접근하기위해 토큰이 필요하다

GitHub 프로필 아이콘을 누르고

Settings > Developer settings 에 들어가서

classic 토큰을 생성해주면 된다

토큰 만료기간은 없이설정하고

repo 관련 기능들을 체크한다

생성이 완료 됐다면 발급되는 키값을 복사해서 저장해두자

다시 보여주지 않는다 꼭 복사해두자..

복사한 값이 없으면 새로 발급해야한다

이렇게 하면 토큰 발급도 완료

왜 시스템 이미지라고 할까? Docker 를 학습하며 궁금했다

everyday-spring — Sun, 27 Oct 2024 15:31:57 +0900

개발 공부를 하다보면 심심치않게 '이미지' 라는 단어를 사용한다

무화과.. 어쩌고 샌드위치였다

이런 밥먹고 인증샷 찍는 찰칵 이미지가 아닌!!!

시스템 이미지

Docker 이미지

AWS 인스턴스 이미지

등등

주로 환경에 대한 버전, 설정들을 저장하는 파일이다

근데 왜... 이미지라고 해요?

모든 PC가 C드라이브를 사용하는 것처럼!!

뭔가 아하! 하는 재밌는 이유가 있지 않을까? 하는 생각이 들었다

알파벳 순으로 A,B,C .. 순으로 드라이브의 이름이 붙었지만

A, B 드라이브는 현재 사용하지 않는 플로피 디스크였기 때문에

현대의 pc는 다 C드라이브로 시작한다!

USB-C 타입도 비슷한 맥락!

그래서 시스템 이미지에 대해 검색하다가 딱 꽂힌 단어

! 스냅샷 !

마치 스크린샷 처럼 특정 순간의 시스템의 정보를 스크린샷처럼 찰칵! 찍어 움직이지 않는 이미지 처럼 저장한 것이다

오호..

스냅샷이라는 단어와 같이 생각하니까 명확하게 이해가 됐다!

여기보세요 ~ 찍겠습니다! 하면!

️

이미지에는 자바, 스프링, MySQL, OS 등의 다양한 시스템 설정, 버전이 저장된다!

개념공부하다가 재미있는 깨달음을 간단하게 적어봤다

아 재밌어!

지랄 아니고요 지라입니다 Jira로 프로젝트 관리하기 Github 연동

everyday-spring — Sun, 27 Oct 2024 00:23:56 +0900

좀더 효율적인 프로젝트 관리를 위해서!

Jira를 도입했습니다...

Jira는 프로젝트 관리 툴로

프로젝트를 진행하면서 해결해야할 작업들을 등록하고 공유할 수 있다

각 작업별 목표 작업기간 설정이 가능하고

담당자, 작업상태, 보고자 등을 지정할 수 있다

협업을 하는 팀원들이 서로 지금 어느상황인지 파악을 빠르게 할 수있어서 굉장히 좋다

팀원 10명까지 무료

Github을 연결해 까리쌈뽕하게 작업에 대한 버전 확인도 가능하다

Jira Github 연동을 하면 이슈에 대해 브랜치와 커밋을 만들 수있다!

폼에 맞게 브랜치명과 커밋명을 맞춰서 작성하면

자동으로 연동되어 jira에서 조회가 가능하다

아름다워...

사실 사용했던게... 2년.. 이상 전이라

기억을 더듬어가며 구성을 맞춰봤다...

Jira 사용이 처음인 팀원들을 위해 나름의 가이드도 적어봤다