네이버

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [scikit-learn] 사이킷런 라벨 인코딩을 이용한 전처리 (python LabelEncoder) 사이킷런 라벨 인코딩을 이용한 전처리 알아보기 (python scikit-learn LabelEncoder) 파이썬(Python)으로 기계학습(Machine Learning)을 하다보면 데이터를 숫자로 표기해야 할 때가 많습니다. 이 세상의 모든 데이터가 숫자로 잴 수 있다면 이야기가 편해지겠지만, 아쉽게도 문자로 분류된 카테고리형 데이터(Categorical Data)가 있기 때문에 이런 데이터는 전처리(Pre-Processing)를 해 줘야 합니다. 그래서, 이번에 알아볼 전처리 방법은 사이킷런(sklearn)에서 제공하는 전처 boringariel.tistory.com 사이킷런 라벨 인코딩을 이용한 전처리 알아보기 (python scikit-learn LabelEncoder) 파이썬(Python)으로 기계학습(Machine Learning)을 하다보면 데이터를 숫자로 표기해야 할 때가 많습니다. 이 세상의 모든 데이터가 숫자로 잴 수 있다면 이야기가 편해지겠지만, 아쉽게도 문자로 분류된 카테고리형 데이터(Categorical Data)가 있기 때문에 이런 데이터는 전처리(Pre-Processing)를 해 줘야 합니다.     그래서, 이번에 알아볼 전처리 방...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [Transformers] 트랜스포머로 파이썬 이미지 분류기 미세조정하기 (Fine-Tune ViT for Image Classification with Transformers) 트랜스포머를 사용해 나만의 이미지 분류기 만들기 (ViT) 이 글은 Fine-Tune ViT for Image Classification with Transformers 글을 번역 및 재구성했습니다. 이 코드는 Google Colab에서 동작하도록 만들었으며, 다른 개발환경에서는 코드를 일부 수정해야 할 수 있습니다. 최근 자연어 처리(NLP) 모델이 딥러닝 분야에서 호황을 보여주고 있습니다. 그리고 이제는 다른 다양한 분야에서도 놀라운 성능의 이미지 처리 모델이 선보여지고 있는데요, 대표적으로 Google Brain에서 boringariel.tistory.com 트랜스포머를 사용해 나만의 이미지 분류기 만들기 (ViT) 이 글은 Fine-Tune ViT for Image Classification with Transformers 글을 번역 및 재구성했습니다. 이 코드는 Google Colab에서 동작하도록 만들었으며, 다른 개발환경에서는 코드를 일부 수정해야 할 수 있습니다.     최근 자연어 처리(NLP) 모델이 딥러닝 분야에서 호황을 보여주고 있습니다. 그리고 이제는 다른 다양한 ...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Transformers] 이미지 분류 모델로 파이썬 프로그램 만들어보기 이미지 분류 모델을 이용한 파이썬 프로그램 만들어보기 파이썬(Python) 프로그래밍, 그중에서도 딥러닝을 배워본다면 이미지 분류 모델을 구현해볼 때가 있습니다. 간단하게는 강아지와 팬더를 구분하는 모델부터, 조금 복잡하게는 동물의 종류를 대여섯가지로 늘리는 등의 확장을 하는 방법으로 말이죠. 그런데, 딥러닝 모델을 만들거나 편집하는 능력 없이도 간편하게 이미지 분류 모델을 구현할 수 있습니다. 바로 허깅페이스(Hugging Face) 트랜스포머(Transformers) 패키지를 사용하는 방법이지요. 이번에는 이미지 분류(Image boringariel.tistory.com 이미지 분류 모델을 이용한 파이썬 프로그램 만들어보기 파이썬(Python) 프로그래밍, 그중에서도 딥러닝을 배워본다면 이미지 분류 모델을 구현해볼 때가 있습니다. 간단하게는 강아지와 팬더를 구분하는 모델부터, 조금 복잡하게는 동물의 종류를 대여섯가지로 늘리는 등의 확장을 하는 방법으로 말이죠.     그런데, 딥러닝 모델을 만들거나 편집하는 능력 없이도 간편하게 이미지 분류 모델을 구현할 수 있습니다. 바로 허깅페이스(Hugging Face) 트랜스포머(Transformers) 패키지를 사용하는 방법이지요.     이번에는 이미...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [scikit-learn] GMM 클러스터링을 이용한 파이썬 군집분류 모델 GMM 클러스터링 기법을 이용한 분류 작업 해보기 데이터를 분석하는 방법 중에서 클러스터링(clustering, 군집화)이라는 방법이 있습니다. 클러스터링은 임의의 집단이 있을 때, 이 집단의 구성원을 부분집단으로 나누어주는 알고리즘이죠. 이중에서 간단하게 구현할 수 있는 GMM 클러스터링에 대해 알아보고, 이를 파이썬(Python) 코드로 구현해 보겠습니다. GMM은 Gausian Mixture Model의 약자입니다. 특정한 집단이 있을 때, 각각의 부분집단의 데이터가 가우시안 분포(정규분포라고도 하지요)를 따른다는 가정 하에 boringariel.tistory.com GMM 클러스터링 기법을 이용한 분류 작업 해보기 데이터를 분석하는 방법 중에서 클러스터링(clustering, 군집화)이라는 방법이 있습니다. 클러스터링은 임의의 집단이 있을 때, 이 집단의 구성원을 부분집단으로 나누어주는 알고리즘이죠. 이중에서 간단하게 구현할 수 있는 GMM 클러스터링에 대해 알아보고, 이를 파이썬(Python) 코드로 구현해 보겠습니다.     GMM은 Gausian Mixture Model의 약자입니다. 특정한 집단이 있을 때, 각각의 부분집단의 데이터가 가우시안 분포(정규분포라고도 하지요)를 따른...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [scipy] 파이썬에서 t-test 하는 방법 알아보기 파이썬에서 t-test 하는 방법 알아보기 파이썬(Python)을 이용해서 통계 검정을 하는 경우가 많아지고 있습니다. 예전에는 통계에 특화된 R과 같은 프로그래밍 언어를 사용하거나, SPSS 등의 통계 프로그램을 사용하는 경우가 많았지만 파이썬에서 쓸만한 통계 패키지가 많아져서 사용자를 흡수한 덕분일겁니다. 그래서, 이번에는 파이썬을 이용한 t-검정(t-test)을 하는 방법을 알아보도록 하겠습니다. t-test t-test는 사람에 따라 Student's t-test 등으로 말하기도 같은 말이니 적절한 표현을 사용해 주시 boringariel.tistory.com 파이썬에서 t-test 하는 방법 알아보기 파이썬(Python)을 이용해서 통계 검정을 하는 경우가 많아지고 있습니다. 예전에는 통계에 특화된 R과 같은 프로그래밍 언어를 사용하거나, SPSS 등의 통계 프로그램을 사용하는 경우가 많았지만 파이썬에서 쓸만한 통계 패키지가 많아져서 사용자를 흡수한 덕분일겁니다. 그래서, 이번에는 파이썬을 이용한 t-검정(t-test)을 하는 방법을 알아보도록 하겠습니다.     t-test t-test는 사람에 따라 Student's t-test 등으로 말하기도 같은 말이니 적절한 표현을 사용해 주시면 되...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [ydata-profiling] 판다스 프로파일링 사용시 파이썬 한글 깨짐 문제 해결하기 ydata-profiling (판다스 프로파일링) 사용시 한글 깨짐 문제 해결하기 파이썬 (Python) 으로 EDA (Exploratory Data Analysis, 탐색적 데이터 분석) 을 하기 위해서는 주로 표 형식의 데이터를 조회할 수 있는 판다스 (Pandas) 와 시각화 패키지를 사용해 이것저것 시각화를 해 보는 것부터 시작합니다. 그런데, ydata-profiling (구 판다스 프로파일링) 이라는 패키지를 사용하면, 최대한 다양한 시각화 자료를 한번에 도출할 수 있어서 데이터 분석가들에게 추천드리고 있어요. 한글 깨짐 boringariel.tistory.com ydata-profiling (판다스 프로파일링) 사용시 한글 깨짐 문제 해결하기 파이썬 (Python) 으로 EDA (Exploratory Data Analysis, 탐색적 데이터 분석) 을 하기 위해서는 주로 표 형식의 데이터를 조회할 수 있는 판다스 (Pandas) 와 시각화 패키지를 사용해 이것저것 시각화를 해 보는 것부터 시작합니다. 그런데, ydata-profiling (구 판다스 프로파일링) 이라는 패키지를 사용하면, 최대한 다양한 시각화 자료를 한번에 도출할 수 있어서 데이터 분석가들에게 추천드리고...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [time] 파이썬 코드의 실행시간 측정해보기 파이썬 코드의 실행시간 측정해보기 간단한 프로그램을 만들면 모르겠지만, 파이썬(Python)으로 복잡하거나 큰 용량의 파일을 다루는 프로그램을 만든다면 코드 최적화가 필수입니다. 그런데, 최적화 기법보다 중요한게 코드 실행시간을 확인하는 것이죠. 코드의 실행시간은 단순하게 스톱워치를 대고 측정하는 것부터 시작해서 코드로 시작 시간과 종료 시간을 구하는 세련된 방법까지 있습니다. 이번에는 파이썬에서 time 패키지를 이용해 코드의 실행 시간을 측정하는 프로그램을 한번 만들어봅시다. 우선 아래 코드를 입력해 보죠. # 패키지 불러오기 boringariel.tistory.com 파이썬 코드의 실행시간 측정해보기 간단한 프로그램을 만들면 모르겠지만, 파이썬(Python)으로 복잡하거나 큰 용량의 파일을 다루는 프로그램을 만든다면 코드 최적화가 필수입니다. 그런데, 최적화 기법보다 중요한게 코드 실행시간을 확인하는 것이죠. 코드의 실행시간은 단순하게 스톱워치를 대고 측정하는 것부터 시작해서 코드로 시작 시간과 종료 시간을 구하는 세련된 방법까지 있습니다.     이번에는 파이썬에서 time 패키지를 이용해 코드의 실행 시간을 측정하는 프로그램을 한번 만들어봅시다. 우선 아래 코드를 입력해 보죠.      이대로 코드를 실행하면...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [OpenCV] 파이썬 스테레오 비전으로 이미지의 심도 알아보기 (Stereo Vision) 파이썬 스테레오 비전으로 이미지의 심도 알아보기 자율주행자동차는 물론, 요즘에는 대부분의 스마트폰에도 카메라를 여러대 탑재하는게 당연한 시대입니다. 카메라를 여러대 장착하는 것은 다양한 이유가 있지만, 대표적으로 이미지의 심도(깊이, depth) 정보를 손쉽게 구하기 위함이지요. 이건 간단히 표현해서, 우리가 한쪽 눈으로 봤을때보다 양쪽 눈으로 봤을때 거리감이 더욱 잘 살아나는 것을 생각하면 됩니다. 이렇게 여러개의 카메라 (Stereo camera) 를 이용해 심도 정보를 알아내는 기술을 스테레오 비전 (Stereo Vision) boringariel.tistory.com 파이썬 스테레오 비전으로 이미지의 심도 알아보기 자율주행자동차는 물론, 요즘에는 대부분의 스마트폰에도 카메라를 여러대 탑재하는게 당연한 시대입니다. 카메라를 여러대 장착하는 것은 다양한 이유가 있지만, 대표적으로 이미지의 심도(깊이, depth) 정보를 손쉽게 구하기 위함이지요. 이건 간단히 표현해서, 우리가 한쪽 눈으로 봤을때보다 양쪽 눈으로 봤을때 거리감이 더욱 잘 살아나는 것을 생각하면 됩니다.     이렇게 여러개의 카메라 (Stereo camera) 를 이용해 심도 정보를 알아내는 기술을 스테레...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [Python] 함수 가변인자 *args, **kwargs 사용법 알아보기 파이썬 함수에서 가변인자 *args, **kwargs 사용법 알아보기 우리가 프로그래밍을 하다보면 함수를 사용하기 마련입니다. 그리고, 파이썬(Python)에서 함수를 쓰다보면 간혹 이상한 표현이 눈에 띄기도 하지요. 바로 *args, 또는 **kwargs라는 표현입니다. 이 두 가지 표현은 가변인자 (Variadic Arguments) 라고 표현하는데요, 굳이 사용하지 않더라도 대부분의 프로그래밍 과정에는 문제가 없지만 알고 있다면 코드 작성의 편의성이 크게 늘어나기 때문에 알아두시는 것을 추천드립니다. *args의 용도 알아보기 boringariel.tistory.com 파이썬 함수에서 가변인자 *args, **kwargs 사용법 알아보기 우리가 프로그래밍을 하다보면 함수를 사용하기 마련입니다. 그리고, 파이썬(Python)에서 함수를 쓰다보면 간혹 이상한 표현이 눈에 띄기도 하지요. 바로 *args, 또는 **kwargs라는 표현입니다. 이 두 가지 표현은 가변인자 (Variadic Arguments) 라고 표현하는데요, 굳이 사용하지 않더라도 대부분의 프로그래밍 과정에는 문제가 없지만 알고 있다면 코드 작성의 편의성이 크게 늘어나기 때문에 알아두시는 것을 추천드립니다.     *arg...

Ariel IT POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [ipykernel] 주피터 노트북에 conda 가상환경을 연결하는 방법 주피터 노트북에 가상환경을 연결하는 방법 알아보기 파이썬(Python) 개발에 흔히 사용되는 통합개발환경(IDE)으로 주피터 노트북(Jupyter Notebook)을 빼놓을 수 없습니다. 웹앱 기반이라 어디서나 주소만 입력하면 접속이 가능하고, 각 셀 단위로 코드를 실행할 수 있기 때문이지요. 그런데, 주피터 노트북은 다른 IDE에 비해서 현재 컴퓨터에 설치된 가상환경을 마음대로 오갈 수 있는 기능을 찾아보기 어려운 편입니다. 그래서, 이번에는 파이썬 개발 프로젝트 때문에 conda 가상환경을 만들었을 때 주피터 노트북 (또는 주피 boringariel.tistory.com 주피터 노트북에 가상환경을 연결하는 방법 알아보기 파이썬(Python) 개발에 흔히 사용되는 통합개발환경(IDE)으로 주피터 노트북(Jupyter Notebook)을 빼놓을 수 없습니다. 웹앱 기반이라 어디서나 주소만 입력하면 접속이 가능하고, 각 셀 단위로 코드를 실행할 수 있기 때문이지요. 그런데, 주피터 노트북은 다른 IDE에 비해서 현재 컴퓨터에 설치된 가상환경을 마음대로 오갈 수 있는 기능을 찾아보기 어려운 편입니다. 그래서, 이번에는 파이썬 개발 프로젝트 때문에 conda 가상환경을 만들었을 때 주피터 노...

Ariel POST 복사 가능한 코드는 아래 블로그 글을 참고해 주세요! [scikit-learn] 파이썬 선형회귀(Linear regression)로 게 나이 예측하기 파이썬에서 선형회귀(Linear regression)를 이용한 게 나이 예측하기 통계 또는 기계학습을 배우다 보면, 선형 회귀(Linear regression)라는 말을 흔히 들어볼 수 있습니다. 선형 회귀는 통계학 분야에서 예측을 할 때 쉽게 떠올릴 수 있는 모델인데요, 빠른 이해를 위해서 사용 예시를 설명해 드리자면 다음과 같은 사례를 생각해볼 수 있습니다. 도시의 인구수와 집값의 관계를 이용해서, 향후 인구가 X명 늘어났을 때 집값이 얼마나 오르거나 내릴지 예측을 해 보자! 특정 기간의 영화 평점은 실제로 해당 기간 영화의 매 boringariel.tistory.com 파이썬에서 선형회귀(Linear regression)를 이용한 게 나이 예측하기 통계 또는 기계학습을 배우다 보면, 선형 회귀(Linear regression)라는 말을 흔히 들어볼 수 있습니다. 선형 회귀는 통계학 분야에서 예측을 할 때 쉽게 떠올릴 수 있는 모델인데요, 빠른 이해를 위해서 사용 예시를 설명해 드리자면 다음과 같은 사례를 생각해볼 수 있습니다.     1. 도시의 인구수와 집값의 관계를 이용해서, 향후 인구가 X명 늘어났을 때 집값이 얼마나 오르거나 내릴지 예측을 해 보자!2....

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [plotly, Matplotlib] 파이썬으로 3차원 산점도 (3D Scatter Plot) 그려보기 파이썬으로 3차원 산점도 (3D Scatter Plot) 그려보기 다변량 분석 (Multivariate analysis)를 하다보면 고차원 데이터를 표현해야 할 경우가 생깁니다. 고차원이라고 해 봤자, 우리가 볼 수 있는 차원은 3차원이 한계이므로 시각화를 할 때는 필연적으로 3차원 이하의 세계에서 표현할 수 있어야 한다는 제약이 생깁니다. 게다가, 컴퓨터 모니터나 인쇄물은 2차원이므로 실질적으로 표현 가능한 차원의 한계는 2차원이라고 해도 좋습니다. 시각화 분야에서는 2차원 이상의 고차원 데이터를 보여주는 방법으로는 아래 기술을 boringariel.tistory.com 파이썬으로 3차원 산점도 (3D Scatter Plot) 그려보기 다변량 분석 (Multivariate analysis)를 하다보면 고차원 데이터를 표현해야 할 경우가 생깁니다. 고차원이라고 해 봤자, 우리가 볼 수 있는 차원은 3차원이 한계이므로 시각화를 할 때는 필연적으로 3차원 이하의 세계에서 표현할 수 있어야 한다는 제약이 생깁니다. 게다가, 컴퓨터 모니터나 인쇄물은 2차원이므로 실질적으로 표현 가능한 차원의 한계는 2차원이라고 해도 좋습니다. 시각화 분야에서는 2차원 이상의 고차원 데...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Python] 파이썬 랜덤 추첨 프로그램 만들어보기 파이썬에서 랜덤 추첨 프로그램 만들어보기 어떤 데이터가 무더기가 있고, 이중에서 무작위로 데이터를 추출하는 방식의 작업은 아주 낮은 난이도의 자동화 작업입니다. 파이썬(Python)에서는 흔히 로또 번호 추첨 프로그램 만들기 실습 등으로 구현하는데요, 이번에는 파이썬을 이용해서 몇 가지 랜덤 추첨 프로그램을 만들어보는 작업을 해 보도록 하겠습니다. 이번에 만들 프로그램은 아래와 같습니다. 특정한 범위 안에서 무작위 당첨 번호를 하나 추첨하는 프로그램. 1의 프로그램에서 중복은 제외하고 여러 숫자를 뽑는 프로그램. 로또 번호 추첨 프 boringariel.tistory.com 파이썬에서 랜덤 추첨 프로그램 만들어보기 어떤 데이터가 무더기가 있고, 이중에서 무작위로 데이터를 추출하는 방식의 작업은 아주 낮은 난이도의 자동화 작업입니다. 파이썬(Python)에서는 흔히 로또 번호 추첨 프로그램 만들기 실습 등으로 구현하는데요, 이번에는 파이썬을 이용해서 몇 가지 랜덤 추첨 프로그램을 만들어보는 작업을 해 보도록 하겠습니다. 이번에 만들 프로그램은 아래와 같습니다.  1. 특정한 범위 안에서 무작위 당첨 번호를 하나 추첨하는 프로그램.2. 1의 프로그램에서 중복은 제외하고 여러 숫자를 뽑는 프로그램. 로또 번호 추첨 프로그...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [Matplotlib] 파이썬으로 방사형 차트(Radar chart) 그리는 방법 파이썬으로 방사형 차트(Radar chart) 그리는 방법 알아보기 방사형 차트(Radar chart)라는 이름은 생소한 분들이 많겠지만, 의외로 차트의 생김새를 본다면 익숙하게 느껴질 수 있습니다. 방사형 차트는 셋 이상의 항목을 둥글게 배치한 다음, 각 항목별로 어느 정도 수준인지 보여주는 다변량 데이터 시각화 방법입니다. 이 때, 방향이나 각도는 별다른 정보를 포함하지 않지만, 방사형 차트가 보여주는 면적의 경우 특정 항목과 다른 항목간의 상관관계 등을 표현할 수 있다는 장점이 있답니다. 백문이 불여일견이라고 방사형 차트를 한 boringariel.tistory.com 파이썬으로 방사형 차트(Radar chart) 그리는 방법 알아보기 방사형 차트(Radar chart)라는 이름은 생소한 분들이 많겠지만, 의외로 차트의 생김새를 본다면 익숙하게 느껴질 수 있습니다. 방사형 차트는 셋 이상의 항목을 둥글게 배치한 다음, 각 항목별로 어느 정도 수준인지 보여주는 다변량 데이터 시각화 방법입니다. 이 때, 방향이나 각도는 별다른 정보를 포함하지 않지만, 방사형 차트가 보여주는 면적의 경우 특정 항목과 다른 항목간의 상관관계 등을 표현할 수 있다는 장점이 있답니다.  백문이 불여일견이...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Pandas] 데이터프레임에서 값 검색 후 항목 위치 찾아보는법 판다스 데이터프레임에서 특정 값과 일치하는 항목의 위치 찾아보는법 파이썬(Python)의 대표적인 표 형태의 데이터를 편집할 수 있는 패키지 판다스(Pandas)에서는 엑셀에서 가능한 거의 모든 작업을 할 수 있습니다. 그중에서는 강력한 색인 기능도 빼놓을 수 없는데요, 특정한 조건을 만족하는 값들을 찾는것부터 시작해, 어떤 표의 정보를 이용해서 다른 표를 색인할 수 있는 정도의 인덱싱과 데이터베이스(Database) 뺨치는 병햡 기능까지도 있습니다. 그런데, 판다스에서는 유독 특정 값을 기준으로 위치를 검색하는 기능은 찾아보기 어 boringariel.tistory.com 판다스 데이터프레임에서 특정 값과 일치하는 항목의 위치 찾아보는법 파이썬(Python)의 대표적인 표 형태의 데이터를 편집할 수 있는 패키지 판다스(Pandas)에서는 엑셀에서 가능한 거의 모든 작업을 할 수 있습니다. 그중에서는 강력한 색인 기능도 빼놓을 수 없는데요, 특정한 조건을 만족하는 값들을 찾는것부터 시작해, 어떤 표의 정보를 이용해서 다른 표를 색인할 수 있는 정도의 인덱싱과 데이터베이스(Database) 뺨치는 병햡 기능까지도 있습니다.  그런데, 판다스에서는 유독 특정 값을 기준으로 위치를 검색하는 기능은 찾아보기 어려...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Pandas] 파이썬 판다스에서 apply 함수 써보기 판다스 데이터프레임에서 apply 함수 써보기 파이썬(Python)을 이용한 데이터 분석, 그중에서도 특히 판다스(Pandas)를 이용한 데이터프레임(DataFrame) 자료 처리에서는 데이터의 일괄 변환을 할 일이 많습니다. 붓꽃 데이터(Iris dataset)을 예로 들어보자면, 이파리 길이가 평균보다 클 경우 '크다', 아니면 '작다' 로 입력하는 간단한 작업부터 시작해서, 몇 가지 조건을 복합적으로 고려하는 분류 등이 있습니다. 이 때, 파이썬에서 제공하는 람다(lambda) 함수와 판다스에서 지 boringariel.tistory.com 판다스 데이터프레임에서 apply 함수 써보기 파이썬(Python)을 이용한 데이터 분석, 그중에서도 특히 판다스(Pandas)를 이용한 데이터프레임(DataFrame) 자료 처리에서는 데이터의 일괄 변환을 할 일이 많습니다. 붓꽃 데이터(Iris dataset)을 예로 들어보자면, 이파리 길이가 평균보다 클 경우 '크다', 아니면 '작다' 로 입력하는 간단한 작업부터 시작해서, 몇 가지 조건을 복합적으로 고려하는 분류 등이 있습니다. 이 때, 파이썬에서 제공하는 람다(lambda) 함수와 판다스에서 지원하는 ap...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [SentenceTransformers] 파이썬으로 자연어 문장 코사인 유사성 분석하기 SentenceTransformers를 이용한 문장 유사도 분석 최근 자연어 처리(NLP, Natural Language Processing) 모델을 사용하면서 다양한 활용 예시를 살펴보고 있습니다. 이번에는 그중에서 파이썬(Python)의 SentenceTransformers 프레임워크를 사용해 보았는데요, 이 프레임워크는 문장 단위로 입력을 할 수 있어서 이번에 작업할 문장 유사도 분석을 수행하는데 있어서 편리한 요소를 보여줍니다. 그리고, 다른 자연어 모델 프레임워크인 Huggingface Transformers를 기반으로 해 boringariel.tistory.com SentenceTransformers를 이용한 문장 유사도 분석 최근 자연어 처리(NLP, Natural Language Processing) 모델을 사용하면서 다양한 활용 예시를 살펴보고 있습니다. 이번에는 그중에서 파이썬(Python)의 SentenceTransformers 프레임워크를 사용해 보았는데요, 이 프레임워크는 문장 단위로 입력을 할 수 있어서 이번에 작업할 문장 유사도 분석을 수행하는데 있어서 편리한 요소를 보여줍니다. 그리고, 다른 자연어 모델 프레임워크인 Huggingface Transform...

Ariel POST 코드 복사가 가능한 블로그에 방문해 보세요! [Transformers] Document Question Answering 자연어 모델로 파이썬 영수증 인식 프로그램 만들기 Document Question Answering 모델을 이용한 영수증 인식 프로그램 만들어보기 컴퓨터는 디지털 데이터는 제대로 읽을 수 있지만, 사람이 손으로 적거나 인쇄한 아날로그 데이터는 읽지 못합니다. 그래서, 아날로그 데이터는 카메라로 찍거나 스캔을 한 뒤 OCR(Optical Character Recognition, 광학 문자 인식) 기술을 이용해 문자를 디지털화한 다음 데이터 분석 또는 정리에 이용합니다. 하지만, OCR은 글자를 인식한다뿐이지 이미지 안에 있는 위치에 따른 데이터의 관계를 파악할 수 없기 때문에 별도의 boringariel.tistory.com Document Question Answering 모델을 이용한 영수증 인식 프로그램 만들어보기 컴퓨터는 디지털 데이터는 제대로 읽을 수 있지만, 사람이 손으로 적거나 인쇄한 아날로그 데이터는 읽지 못합니다. 그래서, 아날로그 데이터는 카메라로 찍거나 스캔을 한 뒤 OCR(Optical Character Recognition, 광학 문자 인식) 기술을 이용해 문자를 디지털화한 다음 데이터 분석 또는 정리에 이용합니다. 하지만, OCR은 글자를 인식한다뿐이지 이미지 안에 있는 ...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [Jupyter] 주피터 노트북에서 파이썬 셀 실행 결과를 지우는 방법 (clear output) 주피터 노트북에서 셀 실행 결과를 지우는 방법 파이썬(Python)의 대표적인 통합 개발 환경(IDE)으로는 주피터 노트북(Jupyter Notebook)을 꼽을 수 있습니다. 다른 IDE와 달리, 셀(cell) 단위로 코드를 실행할 수 있다는 장점이 있어서 완성된 프로그램을 만들지 않고도 중간 산물을 확인하고자 하는 분들에게 크게 어필하고 있답니다. 그런데, 주피터 노트북을 사용하다보면 코드와 실행 결과가 이리저리 섞여 있어서 간혹 복잡해 보일 수 있습니다. 이 때는 코드와 출력을 정리하는게 우선이지만, 급한대로 중간중간 셀 실행 boringariel.tistory.com 주피터 노트북에서 셀 실행 결과를 지우는 방법 파이썬(Python)의 대표적인 통합 개발 환경(IDE)으로는 주피터 노트북(Jupyter Notebook)을 꼽을 수 있습니다. 다른 IDE와 달리, 셀(cell) 단위로 코드를 실행할 수 있다는 장점이 있어서 완성된 프로그램을 만들지 않고도 중간 산물을 확인하고자 하는 분들에게 크게 어필하고 있답니다. 그런데, 주피터 노트북을 사용하다보면 코드와 실행 결과가 이리저리 섞여 있어서 간혹 복잡해 보일 수 있습니다. 이 때는 코드와 출력을 정리하는게 우선...

Ariel POST 복사 가능한 코드가 있는 블로그에 방문해 보세요! [scikit-learn] 파이썬 Gradient Boosting 모델로 유방암 진단 기계학습 모델 만들기 Gradient Boosting 모델로 유방암 진단 기계학습 시스템 만들기 기계학습(Machine Learning, ML)이 활용되는 분야 중 대표적인 것을 꼽자면 의료 분야를 빼놓을 수 없습니다. 실제로 많은 기계학습 알고리즘이 진단 보조, 환자 응급도 분류 등에 이용되고 있는데요, 이번에는 그런 활용 중 기초적인 기술을 한번 살펴보도록 하겠습니다. 파이썬(Python)을 이용한다면, 유방암 조직 사진을 분석해서 암이 있는지 진단할 수 있는 모델을 만들 수 있습니다. 이런 작업은 원래 의사가 하지만, 의사도 사람인지라 사람이 일으 boringariel.tistory.com Gradient Boosting 모델로 유방암 진단 기계학습 시스템 만들기 기계학습(Machine Learning, ML)이 활용되는 분야 중 대표적인 것을 꼽자면 의료 분야를 빼놓을 수 없습니다. 실제로 많은 기계학습 알고리즘이 진단 보조, 환자 응급도 분류 등에 이용되고 있는데요, 이번에는 그런 활용 중 기초적인 기술을 한번 살펴보도록 하겠습니다.  파이썬(Python)을 이용한다면, 유방암 조직 사진을 분석해서 암이 있는지 진단할 수 있는 모델을 만들 수 있습니다. 이런 작업은 원래 ...