본문 바로가기

hadoop/hadoop,spark,zookeeper,yarn

git 대용량 파일 올리기 -

! 해당 내용은 하둡 에코 시스템에 필요한 설치파일이 없어지는 것을 방지하기 위해 내 깃허브에 관리하여 !

! 쉽게 사용하기 위함이다.!

 

1.깃허브에서 새로운 레파지토리를 생성한다.

 

2. git bash에서 아래 명령어로 내 깃허브에 접속한다.

*먼저 혹시 모르니 깃허브와 연결되어있는지 확인하자

연결 확인

 - git remote -v

연결 끊기

 - git remote remove {name}

 

 

 

$ git config --global user.name "githubname"

$ git config --global user.email "githubname@email"

 

3. 내 레파지토리를 클론(clone)한다.

(나의 목적은 기 생성한 레파지토리를 로컬에 클론해서 파일을 add -> commit -> push 할것이다. )

 

4. 혹시 git bash에서 브랜치가 master라면  아래 명령어로 브랜치를 main으로 변경한다.

git branch -m master main

5. 클론한 디렉토리에 들어간다.

 cd hadoop/

 

6. 깃허브에 올릴 대용량 파일을 hadoop폴더에 추가한다.

   (이건 mv로 해도되고 마우스로 직접 해도 된다.)

7. 깃허브는 업로드 용량이 100MB까지이므로 이것을 확장하기 위해서 git-lfs 사용한다.

  - * git-lfs를 사용하여, Commint과정에 지정한 파일을 작게 조각내어 해결할 수 있다.

  설치 방법

      1. https://git-lfs.github.com/ 다운로드 후 설치  

      2. git bash에서 git lfs install 명령어 ㄱㄱ

      3. git lfs track "파일명" 명령어 ㄱㄱ  

         ex) git lfs track "*.tgz"

     4. 그럼 해당 디렉토리에 .gitattributes 파일에 생성된다. 

       문서 안을 보면 7-3에서 입력한 내용이 들어있다.

     5 .gitattributes 파일에 아래 내용을 추가해야 오류가 안난다고 한다....

더보기

# Macro for Unity YAML-based asset files.
[attr]unityyaml -text merge=unityyamlmerge diff

# Macro for all binary files that should use Git LFS.
[attr]lfs -text filter=lfs diff=lfs merge=lfs

# Default to auto-normalized line endings.
* text=auto

# Code
*.cs text diff=csharp

# Unity Text Assets
*.meta unityyaml
*.unity unityyaml
*.asset unityyaml
*.prefab unityyaml
*.mat unityyaml
*.anim unityyaml
*.controller unityyaml
*.overrideController unityyaml
*.physicMaterial unityyaml
*.physicsMaterial2D unityyaml
*.playable unityyaml
*.mask unityyaml
*.brush unityyaml
*.flare unityyaml
*.fontsettings unityyaml
*.guiskin unityyaml
*.giparams unityyaml
*.renderTexture unityyaml
*.spriteatlas unityyaml
*.terrainlayer unityyaml
*.mixer unityyaml
*.shadervariants unityyaml
*.preset unityyaml
*.asmdef -text diff

# Unity Binary Assets
*.cubemap lfs
*.unitypackage lfs
# Note: Unity terrain assets must have "-Terrain" suffix.
*-[Tt]errain.asset -unityyaml lfs
# Note: Unity navmesh assets must have "-NavMesh" suffix.
*-[Nn]av[Mm]esh.asset -unityyaml lfs

# Image
*.jpg lfs
*.jpeg lfs
*.png lfs
*.apng lfs
*.atsc lfs
*.gif lfs
*.bmp lfs
*.exr lfs
*.tga lfs
*.tiff lfs
*.tif lfs
*.iff lfs
*.pict lfs
*.dds lfs
*.xcf lfs
*.leo lfs
*.kra lfs
*.kpp lfs
*.clip lfs
*.webm lfs
*.webp lfs
*.svg lfs
*.svgz lfs
*.psd lfs
*.afphoto lfs
*.afdesign lfs

# Audio
*.mp3 lfs
*.ogg lfs
*.wav lfs
*.aiff lfs
*.aif lfs
*.mod lfs
*.it lfs
*.s3m lfs
*.xm lfs

# Video
*.mov lfs
*.avi lfs
*.asf lfs
*.mpg lfs
*.mpeg lfs
*.mp4 lfs
*.flv lfs
*.ogv lfs
*.wmv lfs

# 3D
*.fbx lfs
*.obj lfs
*.max lfs
*.blend lfs
*.blender lfs
*.dae lfs
*.mb lfs
*.ma lfs
*.3ds lfs
*.dfx lfs
*.c4d lfs
*.lwo lfs
*.lwo2 lfs
*.abc lfs
*.3dm lfs
*.bin lfs
*.glb lfs

# Executables
*.exe lfs
*.dll lfs
*.so lfs
*.pdb lfs
*.mdb lfs

# Packaging
*.zip lfs
*.7z lfs
*.gz lfs
*.rar lfs
*.tar lfs

 

8. 이제 git 레파지토리에 add를 해보자

    -  git add . 명령을 치면 . gitattributes와 넣을려는 파일이 add된다

    - 어떤게 지금 새로운 파일인지 알고 싶으면 git status 명령어 입력해보자

9.  commit 하기

    - git commit -m "spark"

 

10. push 하기 

     - git push  (다른 사람들은 push뒤에 네임 등을 붙이던데 이렇게 해도 push 된다.)

 

11. 깃허브에 push된 성공!!