요새 무슨 생각으로 사는지 모르겠어서글써야할 시기 인것 같다 벌써 가을이다여름이 지나고가을이 왓다 항상 가을이라는 계절은나를 새롭게 해준다내가 도전하는 계절이다 편입이라는 것도 가을에 시작해서원하는 대학에 합격했고대학원이라는 것도 가을에 시작해서졸업을 무사히 했다 가을이라는 날씨는나를 성장하게 해준다 가을이 된 요즘요새 살아가는데 있어서앞으로의 목표가 무엇인지 뭘하면서 살아야되는지고민이 들었다. 악착같이 사느라앞만 보고 살고 잇고 아끼면서 사느라내 자신과의 약속을 어겼다 이제 다시 돌아가서이쁘게 살아야겠다는 생각을 한다 근데 나는 너무 욕심이 많은 것같다아끼는 건 좋은데정직하게 아끼고 벌자돈을 더 많이 벌고이젠 너무 아끼지만 말고쓸뗀 쓰자, 나에게도 주변에게도그래야 돈이 순환이 되고 더 들어온다 오늘이쁜..

1. what big data? - 3 value of Big data => Variety, Volume, Velocity (다양성, 양, 속도) -Big data ecosystem : 빅데이터는 수집, 정제, 적재, 분석, 시각화의 여러 단계를 거칩니다. 이 단계를 거치는 동안 여러가지 기술을 이용하여 처리되고, 이 기술들을 통틀어 빅데이터 에코 시스템(Bigdata Eco System)이라고 함 2. Database Application Design and Development - User Interfaces and Tools 대부분 데이터 베이스는 SQL형태로 보여지지 않고 GUI, forms, data analysis tools에서 보여지게 된다 많은 interfaces들은 web-based이다 ..

더보기 1. SQL injection 1.1 개요 SQL injection이란 악의적인 사용자가 보안상 취약점을 이용하여 임의의 SQL문을 주입하고 실행되게 하여 데이터베이스가 비정상적인 동작을하도록 조작하는 행동 SQL injection examples There are a wide variety of SQL injection vulnerabilities, attacks, and techniques, which arise in different situations. Some common SQL injection examples include: Retrieving hidden data, where you can modify an SQL query to return additional results. Su..

정형데이터 대회는 AutoML에 때려박고(?) 시작하자! 이번 코드에서는 AutoML 패키지인 PyCaret을 활용하여 정형데이터 대회에 참여하는 과정을 알아보겠습니다. Feature engineering, model tuning 없이 주어진 데이터를 그대로 활용하여 default 모델을 훈련하고 예측 했으므로, 추가 작업을 통해 높은 성능을 보여줄 수 있을 것 같습니다. 개인적으로 PyCaret은 아직까지 single output인 문제에는 적합한데 multi output 문제에는 부적합한것 같습니다. 혹시 multi output 문제에도 잘 적용된다면 알려주세요! In this kernel we will use an AutoML package called PyCaret to enter data sci..

1. train, test data describe 2. Data preprocessing - Nan value 처리 : 1) 결측치 15% 이상인 열 제거 2) train data의 경우 Y_Class group >> Line, Product ID group >> 그룹별 중간값 적용 3) test data 경우 LIne group > Product ID group 후 그룹 중간값 적용 - 정규화 방안 3. Model development 3-1 . Line 별로 Y_Quality 예측 train data features : "x_000" train data target : "Y_Quality" train data로 학습 후 test data 의 "x_000"(train data features)를 이용..

a. 결측치 데이터 종류 - 완전 무작위 결측(MCAR) MCAR은 전체에 걸쳐 무작위하게 누락된 경우로 변수의 종류, 변수의 값과 상관없이 비슷한 분포 로 누락된 데이터를 의미 통계적으 로 누락 패턴을 파악해 볼 수 있음 - 무작위 결측(MAR) 어떤 특 정 변수에 대하여 데이터가 누락되는 경우를 의미 결측값의 경우가 자료 내의 다른 변수와 관련이 있다 설문 대상자가 뒷면이 있는지 모르고 설문을 진행하여 특정 변수들에 국한되어 누락된 경우가 해당 - 비무작위 결측(MNAR) 누락되는 부분들이 무작위로 누락되는 것 이 아닌 누락된 변수의 값이 누락된 이유와 관련이 있는 경우 대부분 결측 데이터는 MNAR인 경우가 많음 예를 들어, 시계열 데이터 경우 측정 센서의 고장이나 네트워크 통신 문제 등으로 누락되..