어쩌면 일지

전처리 과정 수집한 데이터를 학습에 적합한 형태로 가공하기 위해서는 전처리 과정이 필요하다. 전처리 과정은 텍스트 데이터에서 필요한 정보를 추출하고, 불필요한 정보를 제거하는 등의 과정을 포함한다. 1. 텍스트 데이터 정제 텍스트 데이터 정제는 텍스트에서 불필요한 부분을 제거하는 과정이다. 예를 들어, 대화형 광고를 만들기 위한 대화 데이터라면, 대화의 시작 부분이나 끝 부분에 있는 인사말이나 종료말 등은 제거할 필요가 있다. 또한, 특수 문자나 이모지, 태그 등은 학습에 방해가 되므로 제거하는 것이 좋다. 2. 언어 모델의 입력 형태로 변환 전처리된 데이터를 언어 모델의 입력 형태로 변환해야 한다. 대부분의 언어 모델은 일정한 형식의 입력을 필요로 한다. 예를 들어, GPT 모델의 입력 형식은 다음과 ..

*바쁘시다면 아래로 쭉 내려가서 요약을 읽어주세요.챗봇 도입 전 꼭 알아야 할 현실적인 한계완벽한 답변은 불가능ChatGPT는 때때로 잘못된 정보를 제공할 수 있음민감한 정보나 법적 조언은 위험할 수 있음맥락 이해의 한계대화 기록은 제한적으로만 유지 가능너무 복잡한 맥락은 이해하지 못할 수 있음비용 관리의 어려움사용량이 늘수록 비용도 증가불필요한 대화로 인한 비용 낭비 가능성ChatGPT 기반 챗봇의 구현 방식현재 ChatGPT를 활용한 챗봇 구현은 크게 두 가지 접근 방식이 있습니다. 하나는 OpenAI에서 제공하는 API를 직접 활용하는 방법이고, 다른 하나는 다양한 챗봇 플랫폼을 통해 간접적으로 활용하는 방법입니다.OpenAI API 직접 활용OpenAI의 API를 직접 활용하는 방법은 가장 유연하..

*바쁘시다면 아래로 쭉 내려가서 요약을 읽어주세요. Chat GPT를 이용한 챗봇은 최근 자연어 처리 분야에서 많은 관심을 받고 있다. 하지만, 이러한 챗봇이 가지는 한계점들이 있다. 첫째, Chat GPT는 대화의 의도 파악과 같은 다양한 자연어 처리 기술을 제공할 수 있지만, 사용자의 니즈에 대한 이해와 같은 상황 판단 역량은 부족할 수 있다. 따라서, 사용자의 요구사항이나 문제 상황 등을 정확하게 파악하고 대응하기 위해서는 추가적인 기술과 개발이 필요하다. 둘째, Chat GPT는 대화를 생성하기 위해 대량의 텍스트 데이터를 필요로 한다. 따라서, 특정 분야에 대한 전문적인 지식을 갖추고 있는 챗봇을 구축하려면 해당 분야의 대화 데이터가 필요하다. 이러한 데이터를 구하기가 어려울 수 있으며, 적절한..

Chat GPT와 같은 인공지능 기술에 사용자의 개인 정보 보호와 관련된 이슈가 제기되고 있다. 이는 모델이 학습하는 대규모의 데이터가 개인 정보를 포함할 수 있기 때문이다. 특히, Chat GPT와 같은 대화형 모델은 사용자와의 대화를 기반으로 학습하기 때문에, 사용자의 개인정보(예: 이름, 전화번호, 주소 등)가 모델에 저장될 수 있다. 이는 개인 정보 노출이 발생할 가능성을 높이며, 사용자의 개인 정보 보호에 대한 우려를 초래할 수 있다. 따라서, Chat GPT와 같은 인공지능 기술의 개인 정보 보호 문제를 해결하기 위해서는 몇 가지 개선 방안이 필요하다. 첫째, 데이터 수집 단계에서 개인 정보를 제거하거나 익명화하는 것이 중요하다. 데이터 수집 시, 개인 정보가 포함되어 있을 가능성이 높으므로,..

Chat GPT는 다양한 분야에서 활용이 가능하다. 앞으로 누가 더 창의적이고 효율적으로 이를 활용하느냐가 경쟁력이 될 것이다. 다음은 현재까지 사용되고 있는 Chat GPT의 몇가지 활용 방안이다. 1. 자동 답변 시스템: Chat GPT를 이용하여 자동으로 답변하는 챗봇을 구현할 수 있다. 이를 활용하여 고객 센터나 온라인 상점 등에서 사용자의 질문에 빠르고 정확하게 대응할 수 있다. 2. 콘텐츠 생성: Chat GPT를 사용하여 글, 시, 소설 등 다양한 콘텐츠를 자동 생성할 수 있다. 이를 활용하여 블로그, SNS, 웹사이트 등에서 콘텐츠를 자동으로 업데이트하거나, 새로운 콘텐츠를 생성할 수 있다. 3. 번역 시스템: Chat GPT를 이용하여 다국어 번역 시스템을 구현할 수 있다. 이를 활용하여..

*바쁘시다면 아래로 쭉 내려가서 요약을 읽어주세요. Chat GPT는 언어 모델(Language Model)의 일종이다. 언어 모델이란, 자연어 처리 분야에서 사용되는 모델로, 주어진 문장의 다음 단어나 문장을 예측하는데 활용된다. 이를 통해, 자연어 처리 분야에서 다양한 문제를 해결할 수 있다. 언어 모델은 대개 통계 모델(Statistical Model)이며, 통계적으로 문장의 확률 분포를 학습한다. 이를 통해, 모델은 언어의 특징과 문법 규칙을 학습하고, 문장 내에서 단어들의 연관성을 파악한다. 예를 들어, "나는 밥을 먹었다"라는 문장에서 "먹었다" 다음에 나올 단어로 "밥"이 올 확률이 높을 것이다. 언어 모델은 다양한 분야에서 활용이 가능하다. 예를 들어, 자동 번역, 문장 생성, 음성 인식 ..

*바쁘시다면 아래로 쭉 내려가서 요약을 읽어주세요. 1. 인공지능의 현재 현재 인공지능 기술은 매우 빠르게 발전하고 있다. 특히, 딥러닝 기술의 발전으로 인공지능이 다양한 분야에서 활용되고 있다. 예를 들어, 이미 인공지능은 음성 인식, 이미지 분류, 자연어 처리, 추천 시스템, 자율주행 등 다양한 분야에서 사용되고 있다. 또한, 딥러닝 알고리즘의 발전으로 인해 인공지능의 정확도와 성능이 크게 향상되고 있다. 하지만, 아직 인공지능 기술에도 한계가 있다. 인공지능은 사람의 지능을 완벽히 대체하는 것은 아니며, 여전히 인간이 수행하는 일부 작업보다 느리거나 정확도가 떨어지는 경우가 있다. 또한, 인공지능에 대한 불신이나 걱정도 여전히 존재한다. 따라서, 인공지능 기술은 아직까지도 계속해서 발전해 나가야 하..

*바쁘시다면 아래로 쭉 내려가서 요약을 읽어주세요. 1. Chat GPT가 뭐길래 이슈가 될까? Chat GPT는 기존의 챗봇과는 달리 보다 자연스러운 대화를 제공할 수 있다. Chat GPT는 딥러닝 알고리즘과 대규모 텍스트 데이터를 활용하여 자연어 처리 능력을 강화했기에 기존 AI보다 자연스러운 대화가 가능하다. 따라서, Chat GPT를 활용한 챗봇은 높은 만족도를 보이고 있다. 그러나 Chat GPT는 학습된 데이터를 기반으로 생성된 모델이기 때문에, 입력된 문장에 대한 대답이 정확하지 않은 경우도 있다. 특히, Chat GPT 모델이 학습된 데이터에 편향이 존재할 경우, 이를 반영하여 대답을 제공할 가능성이 있다. Chat GPT를 활용한 챗봇의 문제점과 개선 방안 2. Chat GPT의 개념 ..

https://github.com/Ahrah/TIL.git GitHub - Ahrah/TIL Contribute to Ahrah/TIL development by creating an account on GitHub. github.com --- GIT?----------------------------------------------- --- 1. 버전관리를 한다는 건 어떤 의미일까? - 수정한 파일의 수정내용과 수정된 사항을 표시하여 남겨두는 것.(프로젝트 상태가 변경되는 정보를 알고 있다는 것) - Git을 이용해서 할 수 있음. 2. 작업내역 단위인 commit 에는 어떤 정보가 포함되어 있어야 잘 버전관리를 할 수 있을까? - 수정사항이 어떤 내용인지 적어두어야 한다. 그래야 나중에 에러를 바로잡..

import requests import pandas as pd from bs4 import BeautifulSoup headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'} code1 = 'D' #D실시간,일간, #W주간 #M월간 code2 = 'Y' #Y실시간, N일간,주간, 월간 url = 'https://www.genie.co.kr/chart/top200?ditc='+code1+'&rtm='+code2 music = requests.get(url, headers=headers) soup=Beautif..