[AI] LM Studio와 n8n으로 Gitlab 코드 리뷰 봇 만들기

🛠️ 개발 환경

• LM Studio
• n8n
• GitLab

⚙️ 설정 방법

이 구성은 GitLab에서 MR(Merge Request)이 생성될 때, n8n과 LLM 기반 코드 리뷰 시스템이 자동으로 코드를 분석하고 GitLab에 리뷰를 등록하는 프로세스다. 이 과정을 통해 리뷰 속도와 품질을 높일 수 있다.

LM Studio 설정

LM Studio를 설치한 후, gpt-oss-20b 모델을 설치하고, 환경 설정에서 다음 항목을 반드시 체크한다.

• When applicable, separate reasoning_content and content in API responses

[출처] https://github.com/lmstudio-ai/lmstudio-bug-tracker/issues/851

이 항목을 체크하지 않으면 LLM이 응답할 때 reasoning 결과가 content에 함께 포함되어 전달되기 때문에, API 응답 파싱 시 불필요한 데이터를 다루게 된다.

포트포워딩 설정을 통해 외부에서 LM Studio API를 호출할 수 있도록 환경을 구성해야 한다. 이 과정은 타 블로그에서 다루는 포트포워딩 방법을 참고하면 된다.

n8n 설정

1. Webhook 노드 생성

n8n에서 Webhook 노드를 생성하고 설정 화면으로 들어가 기본적인 값을 세팅한다.

GitLab의 Webhook에서 Secret token을 요구할 때는 임의의 UUID 값을 입력해도 무방하다. 이 값은 나중에 GitLab Webhook 설정 시 그대로 사용된다.

또한, 설정을 저장할 때는 Production URL을 선택하는 것을 권장한다. Test 환경과 Production 환경이 동일하기 때문에, Production 환경으로 테스트해도 큰 차이가 없다.

2. GitLab Webhook 생성

코드 리뷰를 받을 Repository의 Webhook 설정에 접속해 다음을 설정한다.

• URL: n8n Webhook 노드에 표시된 URL
• Secret token: n8n에 입력했던 UUID 값
• 이벤트: Merge request events 체크

3. 동작 테스트

설정이 완료되면 n8n에서 Execute workflow를 클릭하고, GitLab의 Webhook 설정 화면에서 Test → Merge request event를 실행한다. 정상적으로 연결되어 있다면 n8n에서 요청을 수신하고, 워크플로우가 동작하는 것을 확인할 수 있다.

4. 전체적인 워크 플로우

모든 과정을 설명하기엔 내용이 방대하기에, 내가 만든 파이프라인에 대해서 공유만 하도록 하겠다.

1. MR 이벤트가 발생하면 Webhook 노드가 실행된다.
2. 해당 MR이 open 상태인지 판별한다.

const state = $input.first().json.body.object_attributes.state;
const action = $input.first().json.body.object_attributes.action;

if (state !== "opened" || action !== "open") {
  return [];
}

return $input.all();

3. 해당 MR에 포함된 변경된 코드 정보들을 가져온다.
   • GET /api/v4/projects/{{ $id }}/merge_requests/{{ $iid }}/changes
4. 각 변경 사항을 LLM 리뷰 및 Comment를 남길 때 필요한 객체로 매핑한다.

n8n에서 코드 리뷰를 등록할 때 가장 애를 먹은 부분은 각각의 hunk를 구분하는 것이다. GPT에게 부탁하여 얻은 결과물이지만, 100% 마음에 들지는 않는 것 같다.

onst mr = $json;
const diffRefs = mr.diff_refs;

/** @@ 헤더 기준으로 diff를 hunk 배열로 분리 */
function splitDiffByHunks(diff) {
  // CRLF 방어
  const lines = diff.split('\n').map(l => l.replace(/\r$/, ''));
  const hunks = [];
  let current = [];

  for (const line of lines) {
    if (line.startsWith('@@')) {
      if (current.length) hunks.push(current.join('\n'));
      current = [];
    }
    current.push(line);
  }
  if (current.length) hunks.push(current.join('\n'));
  return hunks;
}

/** @@ -a,b +c,d @@ (b,d 생략 가능) */
function parseHunkHeader(headerLine) {
  const m = /^@@ -(\d+)(?:,(\d+))? \+(\d+)(?:,(\d+))? @@/.exec(headerLine);
  if (!m) return null;
  const oldStart = parseInt(m[1], 10);
  const oldLen = m[2] ? parseInt(m[2], 10) : 1;
  const newStart = parseInt(m[3], 10);
  const newLen = m[4] ? parseInt(m[4], 10) : 1;
  return { oldStart, oldLen, newStart, newLen };
}

/** 단일 hunk에서 position과 changes(hunk 텍스트) 추출 */
function extractFromHunk(hunk, new_path, old_path) {
  const lines = hunk.split('\n');
  if (lines.length === 0 || !lines[0].startsWith('@@')) return null;

  const header = parseHunkHeader(lines[0]);
  if (!header) return null;

  const { newStart, newLen } = header;

  // 신규 파일 측 줄이 하나도 없는 hunk(삭제만 있는 경우) → 스킵
  if (newLen === 0) return null;

  let oldLine = header.oldStart;
  let newLine = newStart;

  const changes = [lines[0]];
  const addedNewLines = []; // 비-import 추가 라인의 new 라인 번호들

  for (let i = 1; i < lines.length; i++) {
    const line = lines[i];
    changes.push(line);

    // Git diff 특수 라인: 라인 카운트 증가 X
    if (line.startsWith('\\')) {
      continue;
    }

    const isAdd = line.startsWith('+') && !line.startsWith('+++');
    const isDel = line.startsWith('-') && !line.startsWith('---');

    if (isAdd) {
      const content = line.slice(1);
      // import 라인은 제외(정책 유지). 포함하려면 아래 if 제거
      if (!/^\s*import\b/.test(content)) {
        addedNewLines.push(newLine);
      }
      newLine++; // 추가 라인은 new 파일만 증가
    } else if (isDel) {
      oldLine++; // 삭제 라인은 old 파일만 증가
    } else {
      // context 라인
      oldLine++;
      newLine++;
    }
  }

  // 비-import 추가 라인이 없다면 코멘트 위치를 만들지 않음
  if (addedNewLines.length === 0) return null;

  // GitLab이 유효한 line_code를 계산할 수 있게, 실제 추가된 라인 중 마지막 줄로 지정
  const anchorNewLine = Math.max(...addedNewLines);

  const position = {
    position_type: "text",
    old_path: old_path,        // GitLab diff와 정확히 일치해야 함
    new_path: new_path,        // (rename 등 대비, 두 값 모두 전달)
    base_sha: diffRefs.base_sha,
    start_sha: diffRefs.start_sha,
    head_sha: diffRefs.head_sha,
    new_line: anchorNewLine
  };

  return {
    json: {
      position,
      changes: hunk
    }
  };
}

const results = mr.changes
  .flatMap(change =>
    splitDiffByHunks(change.diff)
      .map(h => extractFromHunk(h, change.new_path, change.old_path))
      .filter(Boolean)
  );

return results;

5. LLM에게 요청을 보내기 위해 changes와 system prompt를 매핑해준다.

const systemPrompt = "..."

return $input.all().map(data => {
  return {
    json: {
      model: "openai/gpt-oss-20b",
      messages: [
        {
          role: "system",
          content: systemPrompt
        },
        {
          role: "user",
          content: data.json.changes
        }
      ]
    }
  };
});

6. 모든 응답이 완료되면, 이전 데이터 형태와 Merge 한다.
7. Gitlab에 Comment 등록 요청을 보낸다.
   • POST /api/v4/projects/{{ $project_id }}/merge_requests/{{ $iid }}/discussions

이 과정을 거치면, LM Studio에 요청한 리뷰를 받아와 Gitlab에 등록할 수 있게 된다.

🤔 회고

코드 리뷰 서버를 띄우는 방법도 있지만, 간편하게 n8n을 사용해도 좋은 것 같다. n8n을 사용하면서 불편했던 점은, 이전 결과를 계속 유지하기 어렵다는 것이다. 예를 들어, Comment를 남길 때 필요한 데이터를 계속 유지하다가, HTTP 요청을 다녀오면 데이터를 이전 데이터를 가져오기 어렵다는 것이다. 때문에 Merge 노드를 사용하긴 했지만, 더 효율적인 방법이 있는지 찾아보면 좋을 것 같다.

효과적으로 System prompt를 만드려면 여러 번의 과정을 거쳐야한다. 필자는 다음과 같은 과정을 통해 프롬프트를 생성했다.

1. 간단한 초기 프롬프트를 GPT에게 만들어달라고 한다.
2. 린트 에러, 오타, 비효율적인 코드를 GPT에게 만들어달라고 한다.
3. LM Studio에서 gpt-oss-20b 모델에게 1번에서 만든 System prompt를 넣고, 2번 코드를 질의한다.
4. 1, 2, 3번의 내용을 Google AI Studio의 Gemini에게 제공하고, 시스템 프롬프트를 수정해달라고 한다.
5. 만족하는 결과가 나올 때까지 3, 4번 과정을 반복한다.

나는 System prompt를 만들 때, 한 100번 정도 과정을 거쳤는데, 아직도 완벽하지는 않은 것 같다. Google AI Studio를 사용한 이유는, 무료이기도 하지만, 단순히 프롬프트를 만드는 것만 하면 되기 때문에, 굳이 GPT를 사용할 필요가 없었다.