AI에 한국의 추석 명절 기간은 언제냐고 물었다. 결과는 참으로...
최근 생성형AI의 발전으로 까다로운 정보나 궁금한 정보는 바로 확인할 수 있다. 완전한 단계는 아니라고 하지만 그래도
그동안의 데이터 축적으로 날짜나 수 계산은 틀리지 않겠다고 생각했다. 그런 부분에 대한 신뢰가 높았다.
추석 연휴가 궁금했다.
그래서 달력을 찾아서 음력 8월15일을 찾으면 되지만 가장 쉽고 빠르게 정보를 얻을 수 있는게 AI아니겠나 싶어서 질문을 해봤다
아 그런데 결과는 정말 황당했다. 국내 굴지의 기업이 개발한 솔루션은 다 맞추지 못했다. 추석날짜를
오히려 마이크로소프트사의 chatGPT만이 정확하게 맞췄다. 유료버전도 아니다. 따라서 수집된 데이터는 최신에 맞춰진 것은 아닌데도 정확하게 맞췄다.
순간, 아 이게 뭐지? 라는 생각이 들었다. 왜? 이런 결과가 나온거지?
①네이버 Cue에게 다시 물어봤다.
이는 여러 요인에 의해 발생할 수 있다고 했다.
첫째, 마이크로소프트사와 한국 기업의 기술 및 데이터 보유량의 차이가 있을 수 있습니다. 마이크로소프트사는 오랜 역사동안 축적된 기술과 데이터를 바탕으로 인공지능 알고리즘을 발전시켜 왔을 것입니다. 반면 한국 기업들은 아직 이러한 축적된 기술과 데이터가 부족할 수 있습니다.
둘째, 학습 데이터의 차이가 있을 수 있습니다. 인공지능 알고리즘은 학습 데이터를 기반으로 동작하므로, 학습 데이터의 양과 품질이 매우 중요합니다. 마이크로소프트사는 전세계적으로 다양한 분야에서 수집한 대량의 고품질 데이터를 보유하고 있을 것입니다. 반면 한국 기업들은 자국 내에서의 데이터 수집에 한계가 있을 수 있습니다.
셋째, 인공지능 알고리즘의 설계와 구현 방식의 차이가 있을 수 있습니다. 마이크로소프트사는 자사의 기술력과 노하우를 바탕으로 독자적인 인공지능 알고리즘을 개발했을 것입니다. 반면 한국 기업들은 자체적으로 개발한 알고리즘보다는 이미 공개된 알고리즘을 이용하는 경우가 많을 수 있습니다.
이러한 요인들이 복합적으로 작용하여 마이크로소프트사의 챗GPT가 한국 기업의 솔루션보다 더 나은 성능을 보일 수 있습니다. 하지만 한국 기업들도 지속적인 연구개발과 투자를 통해 기술력을 발전시키며 경쟁력을 확보해 나갈 것입니다.
이번에는 클로바(CLOVA) X에게 물었다.
답변>
사용자님께서 말씀하신 내용은 특정 기업의 AI 모델에 대한 주관적인 평가로, 개인의 의견일 수 있으며, AI 모델의 성능은 학습 데이터, 알고리즘, 모델 구조 등 다양한 요인에 따라 달라질 수 있습니다.
- AI 모델의 성능은 학습 데이터의 양과 질, 학습 알고리즘의 성능 등에 따라 달라질 수 있으며 학습 데이터가 충분하지 않거나, 부적절한 데이터가 포함되어 있을 경우에는 정확도가 떨어질 수 있습니다.
- AI 모델의 성능은 항상 완벽하지 않으며, 사용자의 요구에 맞게 적절한 검증과 보완을 거쳐 활용하는 것이 중요합니다.
- AI 모델의 한계를 인식하고, 사용자의 요구에 맞게 적절한 검증과 보완을 거쳐 활용하는 것이 중요하며 AI 모델의 발전과 함께 지속적인 개선과 발전이 필요합니다.
- AI 모델의 발전을 위해서는 다양한 분야의 전문가들이 함께 참여하여, 학습 데이터를 수집하고, 알고리즘을 개발하는 것이 필요하며 사용자의 피드백을 적극적으로 수용하여, AI 모델의 성능을 개선하는 것이 중요합니다.
- 클로바 엑스는 내게 저렇게 답했다.
챗지피티에게도 같은 질문을 해봤다.
chatGPT에게 다시 물었다.
한국의 네이버클로바엑스와 네이버 Cue는 전혀 다른 추석연휴기간을 애기했고 유일하게 chatGPT만이 정확하게 한국의 추석 명절을 알고 있었다. 이런 결과가 나온 이유는 무엇인가
▶답변
네이버의 클로바X와 Cue, 그리고 ChatGPT와 같은 생성형 AI는 모두 많은 양의 데이터를 기반으로 학습되지만, 답변의 정확성과 일관성은 여러 요인에 의해 영향을 받을 수 있습니다. 이와 같은 차이가 발생하는 이유는 다음과 같습니다.
데이터 소스와 업데이트 주기: 각 AI는 서로 다른 데이터 소스를 사용하고 있으며, 데이터의 최신성도 다를 수 있습니다. 한국의 공휴일 및 명절 정보는 매년 변동될 수 있기 때문에, 최신 데이터를 얼마나 자주 반영하느냐에 따라 정확성이 달라질 수 있습니다.
알고리즘과 모델의 차이: 생성형 AI는 학습된 데이터를 바탕으로 답변을 생성하는데, 학습 방법, 알고리즘, 모델 구조 등이 다를 수 있습니다. 이는 동일한 질문에 대해서도 서로 다른 답변을 제공하게 만드는 요인 중 하나입니다.
정보 처리 방식: AI 모델은 질문을 처리하고 답변을 생성하는 방식이 다를 수 있습니다. 일부 모델은 더 복잡한 문맥을 잘 이해하는 반면, 다른 모델은 특정 키워드에 더 의존할 수 있습니다.
특정 도메인에 대한 전문성: ChatGPT는 광범위한 영어 데이터와 다양한 주제에 대해 학습된 반면, 네이버의 AI는 한국어 데이터와 한국의 특정 도메인에 대해 학습되었지만, 각 서비스의 목적과 활용도에 따라 특정 정보에 대한 정확성에 차이가 있을 수 있습니다.
휴일 정책과 규정의 복잡성: 한국의 추석 연휴는 음력과 양력을 기준으로 변동되며, 대체 공휴일 제도 등으로 인해 매년 정확한 연휴 기간이 달라질 수 있습니다. 이러한 복잡성을 모두 반영하지 못할 경우 잘못된 정보를 제공할 수 있습니다.
네이버의 AI가 추석 명절 연휴 기간에 대해 서로 다른 답변을 제공한 것은 데이터 소스의 차이, 업데이트 주기, 정보 처리 방식의 차이 등으로 인한 결과일 가능성이 큽니다. 따라서 사용자는 여러 출처를 참고하여 정보를 확인하는 것이 좋습니다.
몇 가지 추가적인 이유와 고려사항을 설명드리겠습니다.
1. 데이터 정확성 및 업데이트
네이버의 클로바X와 Cue는 데이터를 바탕으로 정보를 제공하지만, 데이터의 정확성과 최신성이 중요합니다. AI가 업데이트되지 않은 데이터나 잘못된 정보를 바탕으로 학습된 경우, 정확한 답변을 제공하기 어려울 수 있습니다.
2. 모델 학습 및 평가
각 AI 모델은 개발 과정에서 학습 데이터와 평가 기준에 따라 성능이 달라질 수 있습니다. 만약 명절 연휴와 같은 특정 주제에 대한 학습 데이터가 충분하지 않거나 평가가 충분히 이루어지지 않았다면, 답변의 정확성이 떨어질 수 있습니다.
3. 복잡한 휴일 규정
한국의 추석 연휴는 음력 8월 15일을 기준으로 하지만, 대체 공휴일 제도 등으로 인해 매년 다를 수 있습니다. 이러한 복잡한 규정을 정확히 반영하지 못하면 오류가 발생할 수 있습니다. 특히, 특정 연도의 연휴 기간을 정확히 예측하려면 최신의 공식 발표 자료를 참고해야 합니다.
4. 테스트 및 검증
AI 모델은 실제 사용자 질문에 대한 테스트와 검증을 통해 성능을 평가받습니다. 만약 특정 분야에 대한 테스트가 충분하지 않았다면, 예상치 못한 오류가 발생할 수 있습니다.
5. 피드백 루프
사용자 피드백은 AI 모델 개선에 중요한 역할을 합니다. 사용자들이 오류를 보고하고 이에 대한 수정이 이루어지면 점점 더 정확한 정보를 제공할 수 있습니다. 네이버의 AI가 잘못된 정보를 제공했다면, 이를 보고하고 개선하는 과정이 필요합니다.
해결 방안
데이터 소스 및 업데이트 강화: 최신의 정확한 데이터를 지속적으로 업데이트하여 AI 모델이 항상 최신 정보를 바탕으로 답변을 제공할 수 있도록 해야 합니다.
모델 평가 및 개선: 다양한 사용자 질문에 대해 AI 모델을 지속적으로 테스트하고 평가하여 성능을 개선해야 합니다.
사용자 피드백 활용: 사용자들이 제공하는 피드백을 적극 반영하여 AI 모델의 정확성을 높이는 것이 중요합니다.
이러한 문제는 네이버뿐만 아니라 다른 AI 서비스에서도 발생할 수 있습니다. 따라서 여러 출처를 통해 정보를 확인하고, 중요한 정보는 공신력 있는 공식 자료를 참조하는 것이 좋습니다.
늘 궁금하면 네이버클로바엑스에게 질문을 해서 궁금증을 해소해왔다. 그렇게 길들여져 왔는데
이번 결과에는 적잖이 충격을받았다.
"항상 완벽한 답변을 제공할 수는 없다"라고 하지만, 우리나라 최대 명절에 대한 데이터를 학습하지 않았다니....
오늘은 혼자서 그냥 넘어가지만, 이렇게 우리 기업 솔루션이 두발짝 더 후퇴한 느낌을 떨구진 못했다.
각 솔루션별로 잘하는 부분이 분명히 다르겠지만. 왠지 씁쓸하다.
마지막으로마이크로소프트의 인공지능 기반 챗봇인 COPILOT으로 물어봤다.
맞췄다.
너무 안일했던 AI,에 대한 생각, 실업자가 많이 양산될 것이라는 생각
ㄴ잠시 접어두련다. 아직 요원하다.