LLM 모델의 능력을 테스트하는 질문과 답변 예제

LLM 모델을 테스트해 볼 때 제가 주로 사용하는 질문은 "구구단 프로그램을 만들어줘", "세종대왕의 맥북던짐 사건에 대해 이야기해 줘" 같은 질문들입니다. 좀 새로운 질문들을 해 보면 좋겠다 싶어서 Claude에게 "LLM 모델을 테스트해 보기 좋은 질문 추천해 줘"라고 질문해 보았습니다.

 

• 복잡한 추론: "지구 온난화가 해수면 상승에 미치는 영향과 그로 인한 경제적 결과를 설명해 주세요."
• 창의성: "고양이와 우주여행을 주제로 한 단편 소설의 줄거리를 만들어보세요."
• 다국어 능력: "'사랑'이라는 단어를 5개 다른 언어로 번역하고, 각 문화에서 그 의미가 어떻게 다른지 설명해 주세요."
• 수학적 문제 해결: "복리 이자로 연 5%의 이율을 적용할 때, 1000만 원이 2000만 원이 되는 데 걸리는 시간을 계산해 주세요."
• 윤리적 딜레마: "자율주행 자동차가 사고 상황에서 탑승자와 보행자 중 누구를 우선시해야 하는지에 대해 논의해 보세요."
• 역사적 분석: "산업혁명이 현대 사회에 미친 긍정적, 부정적 영향을 분석해 주세요."
• 과학적 설명: "양자 얽힘 현상을 비전문가도 이해할 수 있게 설명해 주세요."
• 코딩 능력: "피보나치수열을 생성하는 파이썬 함수를 작성해 주세요."

 

답변도 미리 짧게 생성해 보았습니다. ChatGPT의 도움을 받았습니다.

 

복잡한 추론 능력 테스트

• 질문: "지구 온난화가 해수면 상승에 미치는 영향과 그로 인한 경제적 결과를 설명해 주세요."
  • 답변: 지구 온난화는 극지방의 빙하를 녹여 해수면 상승을 초래합니다. 이는 해안 지역의 침수, 농업 손실, 인프라 파괴, 이주 및 피난민 증가로 이어져 경제적 손실을 초래합니다.

창의성 평가

• 질문: "고양이와 우주여행을 주제로 한 단편 소설의 줄거리를 만들어보세요."
  • 답변: 한 과학자가 반려 고양이와 함께 우주로 떠납니다. 고양이는 우연히 외계 생명체와 소통할 수 있는 능력을 갖고 있어, 이들을 구해내는 이야기가 펼쳐집니다. 우주 탐사의 새로운 의미를 발견하게 되죠.

다국어 및 문화적 이해도

• 질문: "'사랑'이라는 단어를 5개 다른 언어로 번역하고, 각 문화에서 그 의미가 어떻게 다른지 설명해 주세요."
  • 답변: 영어: "Love", 프랑스어: "Amour", 스페인어: "Amor", 일본어: "愛 (Ai)", 한국어: "사랑". 각 문화에서 사랑의 개념은 로맨스뿐만 아니라 가족애, 우정, 인류애 등 다양한 방식으로 해석됩니다.

수학적 문제 해결 능력

• 질문: "복리 이자로 연 5%의 이율을 적용할 때, 1000만 원이 2000만 원이 되는 데 걸리는 시간을 계산해 주세요."
  • 답변: 연이율 5%로 1000만 원이 2000만 원이 되기 위해서는 약 14.21년이 걸립니다. 계산식은 t = ln(2) / ln(1 + 0.05)입니다.

윤리적 추론

• 질문: "자율주행 자동차가 사고 상황에서 탑승자와 보행자 중 누구를 우선시해야 하는지에 대해 논의해 보세요."
  • 답변: 이 문제는 "트롤리 딜레마"로 불리며, 윤리적 관점에서 어려운 질문입니다. 인간의 생명 가치, 책임, 법적 요건을 고려하여 다양한 입장이 있을 수 있습니다.

역사적 분석

• 질문: "산업혁명이 현대 사회에 미친 긍정적, 부정적 영향을 분석해 주세요."
  • 답변: 긍정적 영향으로는 경제 발전, 기술 혁신, 생활 수준 향상 등이 있으며, 부정적 영향으로는 노동 착취, 환경오염, 사회적 불평등의 심화 등이 있습니다.

과학적 개념 설명

• 질문: "양자 얽힘 현상을 비전문가도 이해할 수 있게 설명해 주세요."
  • 답변: 양자 얽힘은 두 입자가 멀리 떨어져 있어도 서로 연결되어 있는 상태를 말합니다. 한 입자의 상태가 바뀌면 다른 입자도 즉시 영향을 받는 것입니다. 이 현상은 빛의 속도를 초월하는 정보 전달로 해석될 수 있습니다.

코딩 능력

• 질문: "피보나치수열을 생성하는 파이썬 함수를 작성해 주세요."
  • 답변:

def fibonacci(n):
    a, b = 0, 1
    sequence = []
    while len(sequence) < n:
        sequence.append(a)
        a, b = b, a + b
    return sequence

 

 

여러 질문에 대한 답변을 생성했더니 답변들이 짧게 나왔습니다. 각 질문에 대한 답변을 좀 더 보완해 두면 추후 LLM을 평가할 때 도움이 될 것 같네요.