[Git] 버퍼 용량 초과 에러

💬 상황 설명

옵시디언에서 글을 정리하다가 이미지와 파일이 너무 난잡하게 있어서 싹 정리를 한 뒤에, push를 하려고 했는데, 다음과 같은 에러가 발생했다.

> git push origin master
오브젝트 나열하는 중: 205, 완료.
오브젝트 개수 세는 중: 100% (205/205), 완료.
Delta compression using up to 8 threads
오브젝트 압축하는 중: 100% (197/197), 완료.
error: RPC failed; HTTP 400 curl 22 The requested URL returned error: 400
send-pack: unexpected disconnect while reading sideband packet
오브젝트 쓰는 중: 100% (204/204), 2.36 MiB | 3.27 MiB/s, 완료.
Total 204 (delta 5), reused 1 (delta 0), pack-reused 0
fatal: the remote end hung up unexpectedly
Everything up-to-date

✅ 해결 과정

우선 에러 로그를 살펴보니, HTTP 요청을 보냈는데, 응답이 400 에러가 발생한 것으로 보인다. 혹시나 싶어서, 깃 공식 문서에서 확인해보니, 다음과 같은 글이 있었다.

http.postBuffer
Maximum size in bytes of the buffer used by smart HTTP transports when POSTing data to the remote system. For requests larger than this buffer size, HTTP/1.1 and Transfer-Encoding: chunked is used to avoid creating a massive pack file locally. Default is 1 MiB, which is sufficient for most requests.
Note that raising this limit is only effective for disabling chunked transfer encoding and therefore should be used only where the remote server or a proxy only supports HTTP/1.0 or is noncompliant with the HTTP standard. Raising this is not, in general, an effective solution for most push problems, but can increase memory consumption significantly since the entire buffer is allocated even for small pushes.

push 요청할 때, HTTP POST 요청을 하게 되는데, 이 때, HTTP/1.1 방식을 이용하여, 큰 데이터를 작은 조각(청크) 단위로 나누어 서버에 전송한다고 한다. 더 살펴보면, Default is 1 MiB라는 말을 볼 수 있는데, 기본값이 1MB라는 것이다.

 

내가 보낸 요청의 크기는 2.36MiB인 것을 보니 용량을 초과하게 된 것이다. 그렇다면 '이 버퍼 제한을 1MB가 아닌 최대로 늘려서 올리면 되지 않을까?'라는 생각을 하게 되었고, 다음 명령어를 실행해 postBuffer의 제한 크기를 늘려주었다.

 

# 524288000Bytes == 500MB
git config --global http.postBuffer 524288000

524288000bytes ÷ 1024(KB) ÷ 1024(MB) = 500MB

 

수정 후, push를 다시 시도하니 성공적으로 올라간 것을 볼 수 있었다. 이후, 남은 글이 궁금해서 읽어보니까 다음과 같은 문장이 눈에 띄었다.

Note that raising this limit is only effective for disabling chunked transfer encoding and therefore should be used only where the remote server or a proxy only supports HTTP/1.0 or is noncompliant with the HTTP standard.

 

이 제한을 높이는 것은, HTTP/1.0만 지원하거나 HTTP 표준을 준수하지 않는 경우에만 사용해야 한다고 한다. 나는 단순히 깃허브에 올리는 것이기 때문에 문제는 되지 않았지만, 왜 HTTP 표준을 준수하지 않는 경우에만 사용해야하는지 궁금해져서 찾아보았다.

 

앞서 말했던 것과 같이 HTTP/1.1은 큰 데이터를 작은 조각인 청크 단위로 나누어 서버에 전송하지만, 버퍼 크기를 늘리게 되면, HTTP/1.1 방식을 사용하긴 하지만, 깃 내부에서 청크 전송 인코딩 방식을 비활성화 한다고 한다. 즉, HTTP/1.1 표준에 맞는 전송 방식을 사용하지 않고 HTTP/1.0 방식의 단일 POST 요청으로 보내 표준을 지키지 못하게 되는 것이다.

🤔 회고

이 해결 방식은 깃허브를 사용하는 유저 입장에서는 크게 문제되지는 않을 것이라 생각하지만, 회사에서 깃랩 서버를 직접 두고 사용하는 경우, 위험이 있을 수도 있겠다라는 생각이 들었다. 또한, postBuffer를 늘리는 것은 말 그대로 버퍼 크기를 늘리는 것이기 때문에, 메모리에 부담을 줄 수도 있다고 한다. 대부분 1MiB 미만의 데이터만 오가기 때문에, 이 방식으로 해결했다면, 최대 크기를 다시 1MiB로 수정하는 것이 좋을 것 같다!

git config --global http.postBuffer 1048576