[텍스트 분석을 위한 정규식부터 NLTK, KoNLPy 패키지 사용까지]텍스트마이닝은 큰 범주에서 텍스트분석을 통해 여러 의미있는 정보를 도출해내는 과정이라고 말할 수 있습니다. 해당 과정에서 정규식의 사용, 자연 발생한 데이터의 수집, 영어와 한국어 각각을 다루는 패키지 사용에 대한 노하우가 필요합니다.본 과정은 텍스트마이닝을 위한 기초 이론부터, 실제 영어와 한국어의 텍스트마이닝을 위한 패키지 활용까지 다뤄보고 있습니다. 자세한 강의 내용은 아래와 같습니다.[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.1 텍스트분석을 위한 정규식 re 1과정개요 및 미니 테스트선수학습과 과정목표소스코드 전문 편집기 설치하기소스코드 전문 편집기 옵션 설정하기노트패드 플러그인 설치 및 테마 디자인과 여러 환경설정 바꿔주기re 모듈을 이용한 패턴 검색re 모듈을 이용한 검색시 원하는 값만 추출하기re 모듈의 match 함수 3번째 인자 - re.Ire 모듈의 함수 3번째 인자 - re.SGroup 메서드와 인덱스를 사용하여 각 그룹별 문자열 반환하기re 모듈의 다양한 함수 - match, findall, search정규식 특수문자와 메타문자의 사용법 및 의미 파악re 모듈을 이용한 정규식의 기초 [HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.1 텍스트분석을 위한 정규식 re 2r 선언 유무에 따른 패턴 생성 차이와 group 메서드 출력의 차이점 비교하기문자열내에서의 역슬래시d와 차이점문자열내에서 숫자만 검색하기 및 패턴명 자체 검색하기메타 문자(Meta Character) 사용법정규식 사용시 많이 헤갈리는 특수문자 역슬래시 b와 B다양한 메타 문자와 역슬래시b 문자열 패턴문자열내에서 특정 단어가 들어간 문자열 모두를 찾는 패턴주어진 텍스트내에서 영문자가 3개 또는 5개로 구성된거 다 찾기주어진 텍스트내에서 영어만 검색하기 및 처음과 끝을 표시하기주어진 텍스트내에서 영문 세글자 이상만 검색하기영문 소문자 세글자 이상짜리 단어만 검색하려면caaaat 에서 aaaa만 매칭시키고 싶다면[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.1 텍스트분석을 위한 정규식 re 3특정 단어가 들어간(포함된) 문자열을 모두 매치하려면특정 단어가 들어간 문자열 찾기 - 문자열 함수로 처리하기이름과 전화번호가 들어있는 텍스트에서 전화번호가 맞는지 검증하여 출력하시오공백, 점, 밑줄 등 다양한 구분자 매치하기 및 출력시 문자열로 출력하기매치 결과물에 대한 그루핑조인(join) 함수를 사용한 문자열 합치기시 주의사항그루핑된 문자열을 sub 메서드 사용해서 다른 문자열로 바꾸기re.sub 메서드로 문자열 치환시 카운트 사용하기연습문제강좌를 마무리하며[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.4_데이터수집 1강의개요 및 권장 학습순서와 requests 라이브러리 설치requests 라이브러리란requests GET 방식 POST 방식 및 응답 상태 코드란requests 실습(1) - GET 방식으로 서버에 요청넣고 응답받기requests 실습(2) - POST 방식으로 서버에 요청넣고 응답받기종합실습응답 상태 코드에 따른 조건 처리requests 테스트사이트 실습브라우저를 통한 헤더 정보 보기헤더정보에서 특정한 것만 보기httpbin 테스트사이트를 통한 요청과 응답종합실습클라이언트에서 서버로 데이터를 전송할 때, 서로 다른 Content-Type 설정값으로 보내기파일로 저장하기바이트 타입으로 리턴받아 파일로 저장하기Beautiful soup이란 무엇이고 사용해야 하는 이유와 설치하기크롤링을 하기 위한 Beautiful soup의 다양한 검색 방법 익히기(1)크롤링을 하기 위한 Beautiful soup의 다양한 검색 방법 익히기(2)[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.4_데이터수집 2크롤링을 하기 위한 Beautiful soup의 다양한 검색 방법 익히기(3)크롤링을 하기 위한 Beautiful soup의 다양한 검색 방법 익히기(4)웹사이트 HTML 내용 wb 모드로 파일 저장한 후 불러들여서 분석하기포털 사이트에서 뉴스 기사 크롤링 실습실시간 포털 사이트 뉴스 기사 가져오기(크롤링 실습)실시간 포털 사이트 뉴스 기사 수집한 내용들 파일로 저장하기수집된 텍스트데이터 파일 저장시 필요한 시간 모듈 time, datetime 알아보기[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.2 영어를 위한 NLTK 1강의개요 및 권장 학습순서와 NLTK 설치하기corpus(말뭉치)란 무엇인가nltk gutenberg corpus 다운로드 및 텍스트 내용 출력하기nltk gutenberg corpus 여러가지 값 출력nltk tokenization - sent_tokenizeword_tokeniz() 함수를 사용한 토큰화 vs gutenberg.words() 함수를 사용한 토큰화 비교각 토큰당 평균 문자 수브라운 코퍼스를 활용한 여러가지 메서드FreqDist() 함수로 단어 빈도 수 체크시 대소문자 문제특정 단어의 빈도 수 체크특정 단어의 빈도 수 체크 - list comprehension 사용세익스피어는 비극 햄릿을 쓸 때 한 문장당 평균 몇개의 단어를 사용해서 썼을까 - 기초학습전부 소문자로 바꾼 후 중복되는 것 없이 단어 수 체크세익스피어는 비극 햄릿을 쓸 때 한 문장당 평균 몇개의 단어를 사용해서 썼을까 - 최종 통계 구하기브라운 코퍼스 장르별 원하는 단어 수 세기 - ConditionalFreqDist() 사용법cfd 출력시 pair로 구성해서 출력하기브라운 코퍼스 카테고리별 단어 수 체크시 배열 변수 만들어서 이중 for문으로 구성하기n-gram이란 무엇이고 bigram, trigram 등이 검색 예측에 어떻게 활용되어지는가nltk 패키지내 ngrams를 활용하여 bigram, trigram 구하기 실습[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.2 영어를 위한 NLTK 2파이썬 코드로 n-gram 구현하기nltk stopwords를 활용한 불용어 제거하기한국어 불용어 제거하기Stemming(스테밍)이란 무엇이고 왜 필요한가Stemmer를 사용한 어간 추출PorterStemmer vs LancasterStemmer 어간 추출 비교주어진 텍스트로 부터 Stemming 처리하기lemmatization이란 무엇이고 단어의 기본형 또는 원형복원을 하는 방법WordNetLemmatizer를 사용하여 단어의 기본형(표제어, 원형복원) 추출하기WordNetLemmatizer에서 제대로 처리하지 못하는 단어들품사 정보를 제공하여 기본형(표제어) 추출정규식 토크나이저(RegexpTokenizer)를 활용한 토큰화 처리구두점 제거 및 텍스트에서 비문자 빼고 문자만 출력하기[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.3 한국어를 위한 KoNLPy 1강의개요 및 권장 학습순서와 한국어 분석 KoNLPY품사 분석을 통한 텍스트분석의 의미와 다양한 KoNLPY 형태소 분석기들NLTK 패키지내 품사 분류표 - 암기하자KoNLPY 설치시 필요한 것과 내pc에 설치하기konlpy 형태소 분석기를 활용한 한국어 형태소 분석하기한국어 형태소 분석의 어려움 및 자립형태소와 의존형태소 구분하기KoNLPy에서 기본적으로 제공하는 말뭉치들 - kolaw, kobillKoNLPy 말뭉치(corpus) 순회하면서 단어 수 및 중복제거한 명사 개수 구하기KoNLPy내 kobill 말뭉치 10개 텍스트파일별 품사 부착하기 - pos 태깅한국어 동사 원형을 복원시켜서 출력하기 - stem[하늘을 나는 종이비행기] 를 각 한국어 형태소 분석기는 어떻게 분석할까문재인 대통령 취임사 연설문 분석하기Counter() 함수를 이용하여 단어 빈도 수 계산하기단어구름(wordcloud)으로 출력 및 저장하기KoNLPy corpus(말뭉치)를 NLTK 패키지로 분석해보기(1)[HD]쉽게 배우는 텍스트 마이닝(Text Mining) Part.3 한국어를 위한 KoNLPy 2KoNLPy corpus(말뭉치)를 NLTK 패키지로 분석해보기(2)KoNLPy corpus(말뭉치)를 NLTK 패키지로 분석해보기(3)KoNLPy 형태소 분석기별 품사 분류표 데이터프레임으로 변환 출력단어주머니란 무엇인가 - Bag of words빈도 수 기반의 핵심어 추출TF-IDF 어휘 빈도 문서 역빈도자연어 처리를 위한 텍스트 수치화 작업 - BoW 구현하기사이킷런 BoW 구현CountVectorizer 파라미터 옵션TfidfVectorizer 기반의 자연어 텍스트 수치화 작업