네이버

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [scikit-learn] 사이킷런 라벨 인코딩을 이용한 전처리 (python LabelEncoder) 사이킷런 라벨 인코딩을 이용한 전처리 알아보기 (python scikit-learn LabelEncoder) 파이썬(Python)으로 기계학습(Machine Learning)을 하다보면 데이터를 숫자로 표기해야 할 때가 많습니다. 이 세상의 모든 데이터가 숫자로 잴 수 있다면 이야기가 편해지겠지만, 아쉽게도 문자로 분류된 카테고리형 데이터(Categorical Data)가 있기 때문에 이런 데이터는 전처리(Pre-Processing)를 해 줘야 합니다. 그래서, 이번에 알아볼 전처리 방법은 사이킷런(sklearn)에서 제공하는 전처 boringariel.tistory.com 사이킷런 라벨 인코딩을 이용한 전처리 알아보기 (python scikit-learn LabelEncoder) 파이썬(Python)으로 기계학습(Machine Learning)을 하다보면 데이터를 숫자로 표기해야 할 때가 많습니다. 이 세상의 모든 데이터가 숫자로 잴 수 있다면 이야기가 편해지겠지만, 아쉽게도 문자로 분류된 카테고리형 데이터(Categorical Data)가 있기 때문에 이런 데이터는 전처리(Pre-Processing)를 해 줘야 합니다.     그래서, 이번에 알아볼 전처리 방...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [Transformers] 트랜스포머로 파이썬 이미지 분류기 미세조정하기 (Fine-Tune ViT for Image Classification with Transformers) 트랜스포머를 사용해 나만의 이미지 분류기 만들기 (ViT) 이 글은 Fine-Tune ViT for Image Classification with Transformers 글을 번역 및 재구성했습니다. 이 코드는 Google Colab에서 동작하도록 만들었으며, 다른 개발환경에서는 코드를 일부 수정해야 할 수 있습니다. 최근 자연어 처리(NLP) 모델이 딥러닝 분야에서 호황을 보여주고 있습니다. 그리고 이제는 다른 다양한 분야에서도 놀라운 성능의 이미지 처리 모델이 선보여지고 있는데요, 대표적으로 Google Brain에서 boringariel.tistory.com 트랜스포머를 사용해 나만의 이미지 분류기 만들기 (ViT) 이 글은 Fine-Tune ViT for Image Classification with Transformers 글을 번역 및 재구성했습니다. 이 코드는 Google Colab에서 동작하도록 만들었으며, 다른 개발환경에서는 코드를 일부 수정해야 할 수 있습니다.     최근 자연어 처리(NLP) 모델이 딥러닝 분야에서 호황을 보여주고 있습니다. 그리고 이제는 다른 다양한 ...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Transformers] 이미지 분류 모델로 파이썬 프로그램 만들어보기 이미지 분류 모델을 이용한 파이썬 프로그램 만들어보기 파이썬(Python) 프로그래밍, 그중에서도 딥러닝을 배워본다면 이미지 분류 모델을 구현해볼 때가 있습니다. 간단하게는 강아지와 팬더를 구분하는 모델부터, 조금 복잡하게는 동물의 종류를 대여섯가지로 늘리는 등의 확장을 하는 방법으로 말이죠. 그런데, 딥러닝 모델을 만들거나 편집하는 능력 없이도 간편하게 이미지 분류 모델을 구현할 수 있습니다. 바로 허깅페이스(Hugging Face) 트랜스포머(Transformers) 패키지를 사용하는 방법이지요. 이번에는 이미지 분류(Image boringariel.tistory.com 이미지 분류 모델을 이용한 파이썬 프로그램 만들어보기 파이썬(Python) 프로그래밍, 그중에서도 딥러닝을 배워본다면 이미지 분류 모델을 구현해볼 때가 있습니다. 간단하게는 강아지와 팬더를 구분하는 모델부터, 조금 복잡하게는 동물의 종류를 대여섯가지로 늘리는 등의 확장을 하는 방법으로 말이죠.     그런데, 딥러닝 모델을 만들거나 편집하는 능력 없이도 간편하게 이미지 분류 모델을 구현할 수 있습니다. 바로 허깅페이스(Hugging Face) 트랜스포머(Transformers) 패키지를 사용하는 방법이지요.     이번에는 이미...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [scikit-learn] GMM 클러스터링을 이용한 파이썬 군집분류 모델 GMM 클러스터링 기법을 이용한 분류 작업 해보기 데이터를 분석하는 방법 중에서 클러스터링(clustering, 군집화)이라는 방법이 있습니다. 클러스터링은 임의의 집단이 있을 때, 이 집단의 구성원을 부분집단으로 나누어주는 알고리즘이죠. 이중에서 간단하게 구현할 수 있는 GMM 클러스터링에 대해 알아보고, 이를 파이썬(Python) 코드로 구현해 보겠습니다. GMM은 Gausian Mixture Model의 약자입니다. 특정한 집단이 있을 때, 각각의 부분집단의 데이터가 가우시안 분포(정규분포라고도 하지요)를 따른다는 가정 하에 boringariel.tistory.com GMM 클러스터링 기법을 이용한 분류 작업 해보기 데이터를 분석하는 방법 중에서 클러스터링(clustering, 군집화)이라는 방법이 있습니다. 클러스터링은 임의의 집단이 있을 때, 이 집단의 구성원을 부분집단으로 나누어주는 알고리즘이죠. 이중에서 간단하게 구현할 수 있는 GMM 클러스터링에 대해 알아보고, 이를 파이썬(Python) 코드로 구현해 보겠습니다.     GMM은 Gausian Mixture Model의 약자입니다. 특정한 집단이 있을 때, 각각의 부분집단의 데이터가 가우시안 분포(정규분포라고도 하지요)를 따른...

Ariel POST 복사 가능한 코드는 아래 블로그 글을 참고해 주세요! [scikit-learn] 파이썬 선형회귀(Linear regression)로 게 나이 예측하기 파이썬에서 선형회귀(Linear regression)를 이용한 게 나이 예측하기 통계 또는 기계학습을 배우다 보면, 선형 회귀(Linear regression)라는 말을 흔히 들어볼 수 있습니다. 선형 회귀는 통계학 분야에서 예측을 할 때 쉽게 떠올릴 수 있는 모델인데요, 빠른 이해를 위해서 사용 예시를 설명해 드리자면 다음과 같은 사례를 생각해볼 수 있습니다. 도시의 인구수와 집값의 관계를 이용해서, 향후 인구가 X명 늘어났을 때 집값이 얼마나 오르거나 내릴지 예측을 해 보자! 특정 기간의 영화 평점은 실제로 해당 기간 영화의 매 boringariel.tistory.com 파이썬에서 선형회귀(Linear regression)를 이용한 게 나이 예측하기 통계 또는 기계학습을 배우다 보면, 선형 회귀(Linear regression)라는 말을 흔히 들어볼 수 있습니다. 선형 회귀는 통계학 분야에서 예측을 할 때 쉽게 떠올릴 수 있는 모델인데요, 빠른 이해를 위해서 사용 예시를 설명해 드리자면 다음과 같은 사례를 생각해볼 수 있습니다.     1. 도시의 인구수와 집값의 관계를 이용해서, 향후 인구가 X명 늘어났을 때 집값이 얼마나 오르거나 내릴지 예측을 해 보자!2....

Ariel IT POST 웹개발을 하기 위해서는 여러가지 알아야 할 것들이 많은데, 그중에는 게시판이 있습니다. 게시판을 만드는건 많은 웹사이트에서 이용하고 있는 요소이기 때문에 게시판용 CMS(Contents Management System)을 고르는건 개발 일정을 단축시키는데 도움이 많이 되지요. 이번에는 그중에서 그누보드를 하나 소개해 드리려고 합니다. 그누보드(GnuBoard)는 PHP 언어로 만들어진 오픈소스 CMS이며, 홈페이지나 쇼핑몰 등에서 흔히 볼 수 있는 게시판을 제작할 수 있는 솔루션으로 이용되고 있답니다. 이를 이용하면 회원가입, 로그인, 글쓰기, 댓글, 비밀글, 검색, 통계 등의 기능을 이용할 수 있습니다. 보안패치가 꾸준히 이루어지고 있어서 유지관리의 어려움이 적어진다는 점도 플러스 요소가 되겠네요. 그리고, 최근에는 웹사이트에서 단순히 글을 올리는 작업 이외에도 머신러닝 서비스를 제공하는 케이스도 많아지고 있지요. 머신러닝(Machine Learning, ML)이란 데이터 분석 기술 중 하나로, 컴퓨터가 학습을 통해 패턴을 파악하고 결과를 예측하는 방법입니다. 인공지능의 한 분야로, 사람이 직접 데이터를 분석하고 판단하는 것이 아닌, 컴퓨터가 자동으로 학습하고 분석하여 결과를 도출하는 방식입니다. 머신러닝을 이용하면, 빅데이터를 분석하여 사람이 도출하기 어려운 결과를 이끌어낼 수 있어서 최근 관심이 많아지고...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Python] 파이썬 랜덤 추첨 프로그램 만들어보기 파이썬에서 랜덤 추첨 프로그램 만들어보기 어떤 데이터가 무더기가 있고, 이중에서 무작위로 데이터를 추출하는 방식의 작업은 아주 낮은 난이도의 자동화 작업입니다. 파이썬(Python)에서는 흔히 로또 번호 추첨 프로그램 만들기 실습 등으로 구현하는데요, 이번에는 파이썬을 이용해서 몇 가지 랜덤 추첨 프로그램을 만들어보는 작업을 해 보도록 하겠습니다. 이번에 만들 프로그램은 아래와 같습니다. 특정한 범위 안에서 무작위 당첨 번호를 하나 추첨하는 프로그램. 1의 프로그램에서 중복은 제외하고 여러 숫자를 뽑는 프로그램. 로또 번호 추첨 프 boringariel.tistory.com 파이썬에서 랜덤 추첨 프로그램 만들어보기 어떤 데이터가 무더기가 있고, 이중에서 무작위로 데이터를 추출하는 방식의 작업은 아주 낮은 난이도의 자동화 작업입니다. 파이썬(Python)에서는 흔히 로또 번호 추첨 프로그램 만들기 실습 등으로 구현하는데요, 이번에는 파이썬을 이용해서 몇 가지 랜덤 추첨 프로그램을 만들어보는 작업을 해 보도록 하겠습니다. 이번에 만들 프로그램은 아래와 같습니다.  1. 특정한 범위 안에서 무작위 당첨 번호를 하나 추첨하는 프로그램.2. 1의 프로그램에서 중복은 제외하고 여러 숫자를 뽑는 프로그램. 로또 번호 추첨 프로그...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [SentenceTransformers] 파이썬으로 자연어 문장 코사인 유사성 분석하기 SentenceTransformers를 이용한 문장 유사도 분석 최근 자연어 처리(NLP, Natural Language Processing) 모델을 사용하면서 다양한 활용 예시를 살펴보고 있습니다. 이번에는 그중에서 파이썬(Python)의 SentenceTransformers 프레임워크를 사용해 보았는데요, 이 프레임워크는 문장 단위로 입력을 할 수 있어서 이번에 작업할 문장 유사도 분석을 수행하는데 있어서 편리한 요소를 보여줍니다. 그리고, 다른 자연어 모델 프레임워크인 Huggingface Transformers를 기반으로 해 boringariel.tistory.com SentenceTransformers를 이용한 문장 유사도 분석 최근 자연어 처리(NLP, Natural Language Processing) 모델을 사용하면서 다양한 활용 예시를 살펴보고 있습니다. 이번에는 그중에서 파이썬(Python)의 SentenceTransformers 프레임워크를 사용해 보았는데요, 이 프레임워크는 문장 단위로 입력을 할 수 있어서 이번에 작업할 문장 유사도 분석을 수행하는데 있어서 편리한 요소를 보여줍니다. 그리고, 다른 자연어 모델 프레임워크인 Huggingface Transform...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Transformers] Document Question Answering 자연어 모델로 파이썬 영수증 인식 프로그램 만들기 Document Question Answering 모델을 이용한 영수증 인식 프로그램 만들어보기 컴퓨터는 디지털 데이터는 제대로 읽을 수 있지만, 사람이 손으로 적거나 인쇄한 아날로그 데이터는 읽지 못합니다. 그래서, 아날로그 데이터는 카메라로 찍거나 스캔을 한 뒤 OCR(Optical Character Recognition, 광학 문자 인식) 기술을 이용해 문자를 디지털화한 다음 데이터 분석 또는 정리에 이용합니다. 하지만, OCR은 글자를 인식한다뿐이지 이미지 안에 있는 위치에 따른 데이터의 관계를 파악할 수 없기 때문에 별도의 boringariel.tistory.com Document Question Answering 모델을 이용한 영수증 인식 프로그램 만들어보기 컴퓨터는 디지털 데이터는 제대로 읽을 수 있지만, 사람이 손으로 적거나 인쇄한 아날로그 데이터는 읽지 못합니다. 그래서, 아날로그 데이터는 카메라로 찍거나 스캔을 한 뒤 OCR(Optical Character Recognition, 광학 문자 인식) 기술을 이용해 문자를 디지털화한 다음 데이터 분석 또는 정리에 이용합니다. 하지만, OCR은 글자를 인식한다뿐이지 이미지 안에 있는 ...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [scikit-learn] 파이썬 Gradient Boosting 모델로 유방암 진단 기계학습 모델 만들기 Gradient Boosting 모델로 유방암 진단 기계학습 시스템 만들기 기계학습(Machine Learning, ML)이 활용되는 분야 중 대표적인 것을 꼽자면 의료 분야를 빼놓을 수 없습니다. 실제로 많은 기계학습 알고리즘이 진단 보조, 환자 응급도 분류 등에 이용되고 있는데요, 이번에는 그런 활용 중 기초적인 기술을 한번 살펴보도록 하겠습니다. 파이썬(Python)을 이용한다면, 유방암 조직 사진을 분석해서 암이 있는지 진단할 수 있는 모델을 만들 수 있습니다. 이런 작업은 원래 의사가 하지만, 의사도 사람인지라 사람이 일으 boringariel.tistory.com Gradient Boosting 모델로 유방암 진단 기계학습 시스템 만들기 기계학습(Machine Learning, ML)이 활용되는 분야 중 대표적인 것을 꼽자면 의료 분야를 빼놓을 수 없습니다. 실제로 많은 기계학습 알고리즘이 진단 보조, 환자 응급도 분류 등에 이용되고 있는데요, 이번에는 그런 활용 중 기초적인 기술을 한번 살펴보도록 하겠습니다.  파이썬(Python)을 이용한다면, 유방암 조직 사진을 분석해서 암이 있는지 진단할 수 있는 모델을 만들 수 있습니다. 이런 작업은 원래 ...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [scikit-learn] RandomForest Classifier 기계학습 모델로 유전자 발현 분류하기 RandomForest Classifier 기계학습 모델로 유전자 발현 분류하기 파이썬(Python)을 이용한 기계학습(Machine Learning, ML)은 다양한 분야에서 사용되고 있는데, 특히 생물정보학(Bioinformatics, BI)에서는 유전자를 이용한 연구에 많이 사용되고 있습니다. 그래서, 이번에는 BI 분야에서 흔히 사용하는 유전자(여기서는 RNA) 발현 분류를 테마로 잡아 기계학습 실습을 해 보겠습니다. 여기에서 사용할 모델은 랜덤포레스트 분류기(RandomForest Classifier, RFC) 라는 모델인 boringariel.tistory.com RandomForest Classifier 기계학습 모델로 유전자 발현 분류하기 파이썬(Python)을 이용한 기계학습(Machine Learning, ML)은 다양한 분야에서 사용되고 있는데, 특히 생물정보학(Bioinformatics, BI)에서는 유전자를 이용한 연구에 많이 사용되고 있습니다.  그래서, 이번에는 BI 분야에서 흔히 사용하는 유전자(여기서는 RNA) 발현 분류를 테마로 잡아 기계학습 실습을 해 보겠습니다. 여기에서 사용할 모델은 랜덤포레스트 분류기(RandomForest ...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [Transformers] Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto 에러가 생기는 경우 해결하는 방법 Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto 에러가 생기는 경우 해결하는 방법 자연어 처리(NLP) 작업을 하다 보면 이름이 긴 에러가 많이 나옵니다. 간단한 연산 에러는 읽기라도 편하지, 이거는 어느 패키지의 어느 모듈의 어느 py 파일의 몇천번째 줄로 찾아가서 에러 원인을 파악해야 하니 정말 까다롭더라고요. 아무튼, 이번에는 파이썬(Python) 트랜스포머(Transformers)에서 Couldn&# boringariel.tistory.com Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto 에러가 생기는 경우 해결하는 방법 자연어 처리(NLP) 작업을 하다 보면 이름이 긴 에러가 많이 나옵니다. 간단한 연산 에러는 읽기라도 편하지, 이거는 어느 패키지의 어느 모듈의 어느...

Ariel POST 복사 가능한 코드는 아래 블로그에서 이용해 주세요! [Transformers] Table Question-Answering 모델을 이용해서 파이썬 에러 질의응답 서비스 만들어보기 Table Question-Answering 모델을 이용해서 파이썬 에러 질의응답 서비스 만들어보기 허깅페이스(Huggingface)의 트랜스포머(Transformers) 패키지는 파이썬(Python)을 이용한 자연어 처리(Natural Language Processing, NLP) 작업을 아주 간단하게 만들어 주었습니다. 특히, 여러가지 모델을 이용하고 싶을 때 똑같은 파이프라인에 모델 이름만 바꿔넣으면서 사용할 수 있어서 파이썬 기초만 뗀 사람이 바로 NLP 모델을 이용한 서비스를 만들 수도 있게 되었지요. 그래서, 이번에는 N boringariel.tistory.com Table Question-Answering 모델을 이용해서 파이썬 에러 질의응답 서비스 만들어보기 허깅페이스(Huggingface)의 트랜스포머(Transformers) 패키지는 파이썬(Python)을 이용한 자연어 처리(Natural Language Processing, NLP) 작업을 아주 간단하게 만들어 주었습니다. 특히, 여러가지 모델을 이용하고 싶을 때 똑같은 파이프라인에 모델 이름만 바꿔넣으면서 사용할 수 있어서 파이썬 기초만 뗀 사람이 바로 NLP 모델을...

Ariel POST 복사 가능한 코드가 있는 블로그로 가보기 [Transformers] 파이썬 트랜스포머 사용 중 no module named 'keras.saving.hdf5_format' 발생시 해결하는 방법 Transformers 사용 중 no module named 'keras.saving.hdf5_format' 발생시 해결하는 방법 최근 자연어 처리(Natural Language Processing, NLP) 모델을 배우고 있습니다. 제가 원래 기계학습(Machine Learning, ML) 모델을 잘 다루던 사람이긴 하지만, 언제나 남이 짜 놓은 모델을 쓰는건 어렵다는걸 느끼게 됩니다. 그래서, 어디 쉬운 패키지가 업나 해서 찾아보니, 허깅페이스(HuggingFace)에서 제공하는 트랜스포머(Transformer boringariel.tistory.com Transformers 사용 중 no module named 'keras.saving.hdf5_format' 발생시 해결하는 방법 최근 자연어 처리(Natural Language Processing, NLP) 모델을 배우고 있습니다. 제가 원래 기계학습(Machine Learning, ML) 모델을 잘 다루던 사람이긴 하지만, 언제나 남이 짜 놓은 모델을 쓰는건 어렵다는걸 느끼게 됩니다. 그래서, 어디 쉬운 패키지가 업나 해서 찾...