ecsimsw

Cross validation https://ecsimsw.tistory.com/entry/Cross-validation Cross validation Cross validation - 교차 검증. 머신러닝 모델의 타당성을 검증한다. - 학습용 데이터는 복잡하나, 테스트용 데이터는 간단한 경우, 그 모델의 스코어는 사실보다 높게 평가되고, 반대 상황의 경우 사실보다 낮게.. ecsimsw.tistory.com Iris classification / 붓꽃 분류기 / cross validation : Iris는 꽃받침 길이, 꽃받침 폭, 꽃잎의 길이, 꽃입의 너비에 따라 3가지 종류로 구분할 수 있다. 150개의 Iris 데이터를 받아 이를 학습하고, 그 학습 결과를 검증한다. - https://archiv..

Cross validation - 교차 검증. 머신러닝 모델의 타당성을 검증한다. - 학습용 데이터는 복잡하나, 테스트용 데이터는 간단한 경우, 그 모델의 스코어는 사실보다 높게 평가되고, 반대 상황의 경우 사실보다 낮게 평가되는 문제가 발생한다. 이런 경우를 피하기 위해, 데이터를 k개로 분할하여 각각의 분류 정밀도를 구하고 이를 평균하는 것으로 모델을 평가할 수 있다. - 예를들어 k=3일 경우, 전체 data set을 3등분하여 setA, setB, setC로 나누고, score1 = predict(testSet : setA, trainSet : setB, setC) score2 = predict(testSet : setB, trainSet : setC, setA) score3 = predict(t..

SVM from sklearn import svm, metrics clf = svm.SVC() clf.fit(valData,labelData) pre = clf.predict(valTEST) actualScore = metrics.accuracy_score(LabelTEST,pre) Random Forest from sklearn.ensemble import RandomForestClassifier clf = RandomForestClassifier() clf.fit(valData,labelData) pre = clf.predict(valTEST) actualScore = metrics.accuracy_score(LabelTEST,pre) Example :: 언어 구분 학습 https://ecsimsw...

Scikit-learn library - svm의 SVC 알고리즘으로 학습시키고, 테스트 데이터를 입력하여 정확도 확인 - ex1) XOR 규칙을 알려주지 않은 상황에서 데이터 변수와 정답 레이블을 입력하는 것으로 XOR을 학습한 것이다. find rule of result (xor) from sklearn import svm data=[ [0,0,0], [0,1,1], [1,0,1], [1,1,0] ] learning_data = [] learning_result = [] for row in data: x=row[0] y=row[1] r=row[2] learning_data.append([x,y]) learning_result.append(r) clf = svm.SVC() clf.fit(learning..

SVM https://ecsimsw.tistory.com/entry/Support-Vector-Machine-Random-Forest Support Vector Machine / Random Forest from sklearn import svm, metrics clf = svm.SVC() clf.fit(valData,labelData) pre = clf.predict(valTEST) actualScore = metrics.accuracy_score(LabelTEST,pre) from sklearn.ensemble import RandomForestCl.. ecsimsw.tistory.com 언어 구분 학습 - 파이썬을 이용한 머신러닝, 딥러닝 실전 개발 입문에 소개된 언어 구분 학습 예제이다. - 기본..

1) urllib / BeautifulSoup - Beautiful Soup is a Python library for pulling data out of HTML and XML files. #example1 from bs4 import BeautifulSoup html =""" jinhwan web page main point is... """ soup = BeautifulSoup(html, 'html.parser') print(soup.body.h1) # jinhwan print(soup.body.p) # webpage pointSentence = soup.find(id="point") print(pointSentence) # main point is... pList = soup.find_all("p..

Google image crawler    -  파이썬으로 크롤링을 공부하고 이를 연습해보기 위한 간단한 프로젝트로 구글 이미지 다운로더를 만들었다.    - 구글에서 검색하고자 하는 이미지를, 미리 정의해둔 개수만큼 저장한다. 언어는 python, 라이브러리는 Urllib, BeautifulSoup4, Selenium을 주로 사용하였다. Crawling / Scraping https://ecsimsw.tistory.com/entry/Crawling-Scraping?category=869268 jinhwan web.." data-og-host="ecsimsw.tistory.com" data-og-source-url="https://ecsimsw.tistory.com/entry/Crawling-Sc..

Introduction구글 검색 시, 엄청난 수의 정보 속에서 어떤 알고리즘으로 자료의 우선 순위를 매겨 사용자에게 보여주는지 궁금하여 알아보다가 좋은 포스트를 발견하여 나름대로 정리해보았다. PageRank구글이 검색 엔진에서 정보의 우선 순위를 할당하는 방식이다. 결과부터 말하면, 페이지의 우선도는 해당 페이지를 링크하고 있는 페이지들의 우선도 값으로 결정된다. 사람을 평가하기 위해, 잘 어울려다니는 친구들을 평가하는 느낌이다. 세르게이 브린과 래리 페이지는 웹 안에서 인덱싱을 통한 기존의 검색 방식이 문제가 있고, 텍스트 그 자체를 통한 검색이 아닌, 하이퍼텍스트를 이용하여 링크 구조와 링크 텍스트를 이용하면 보다 유용한 정보를 제공할 수 있다고 생각하였다. 이 구조를 이용하면 페이지 마다의 영향력..