1. what big data? - 3 value of Big data => Variety, Volume, Velocity (다양성, 양, 속도) -Big data ecosystem : 빅데이터는 수집, 정제, 적재, 분석, 시각화의 여러 단계를 거칩니다. 이 단계를 거치는 동안 여러가지 기술을 이용하여 처리되고, 이 기술들을 통틀어 빅데이터 에코 시스템(Bigdata Eco System)이라고 함 2. Database Application Design and Development - User Interfaces and Tools 대부분 데이터 베이스는 SQL형태로 보여지지 않고 GUI, forms, data analysis tools에서 보여지게 된다 많은 interfaces들은 web-based이다 ..

더보기 1. SQL injection 1.1 개요 SQL injection이란 악의적인 사용자가 보안상 취약점을 이용하여 임의의 SQL문을 주입하고 실행되게 하여 데이터베이스가 비정상적인 동작을하도록 조작하는 행동 SQL injection examples There are a wide variety of SQL injection vulnerabilities, attacks, and techniques, which arise in different situations. Some common SQL injection examples include: Retrieving hidden data, where you can modify an SQL query to return additional results. Su..

정형데이터 대회는 AutoML에 때려박고(?) 시작하자! 이번 코드에서는 AutoML 패키지인 PyCaret을 활용하여 정형데이터 대회에 참여하는 과정을 알아보겠습니다. Feature engineering, model tuning 없이 주어진 데이터를 그대로 활용하여 default 모델을 훈련하고 예측 했으므로, 추가 작업을 통해 높은 성능을 보여줄 수 있을 것 같습니다. 개인적으로 PyCaret은 아직까지 single output인 문제에는 적합한데 multi output 문제에는 부적합한것 같습니다. 혹시 multi output 문제에도 잘 적용된다면 알려주세요! In this kernel we will use an AutoML package called PyCaret to enter data sci..

1. train, test data describe 2. Data preprocessing - Nan value 처리 : 1) 결측치 15% 이상인 열 제거 2) train data의 경우 Y_Class group >> Line, Product ID group >> 그룹별 중간값 적용 3) test data 경우 LIne group > Product ID group 후 그룹 중간값 적용 - 정규화 방안 3. Model development 3-1 . Line 별로 Y_Quality 예측 train data features : "x_000" train data target : "Y_Quality" train data로 학습 후 test data 의 "x_000"(train data features)를 이용..

a. 결측치 데이터 종류 - 완전 무작위 결측(MCAR) MCAR은 전체에 걸쳐 무작위하게 누락된 경우로 변수의 종류, 변수의 값과 상관없이 비슷한 분포 로 누락된 데이터를 의미 통계적으 로 누락 패턴을 파악해 볼 수 있음 - 무작위 결측(MAR) 어떤 특 정 변수에 대하여 데이터가 누락되는 경우를 의미 결측값의 경우가 자료 내의 다른 변수와 관련이 있다 설문 대상자가 뒷면이 있는지 모르고 설문을 진행하여 특정 변수들에 국한되어 누락된 경우가 해당 - 비무작위 결측(MNAR) 누락되는 부분들이 무작위로 누락되는 것 이 아닌 누락된 변수의 값이 누락된 이유와 관련이 있는 경우 대부분 결측 데이터는 MNAR인 경우가 많음 예를 들어, 시계열 데이터 경우 측정 센서의 고장이나 네트워크 통신 문제 등으로 누락되..

https://www.dmitory.com/specup/107183140 스펙업 - 나의 토익 990 만점 후기... 익명 정보 커뮤니티 사이트. 이슈, 유머, 연예, 드라마, 미용, 패션, 만화, 애니, 게임, 재테크, 직장인, 스펙업, 노벨정원, 헐리우드, 스포츠 등 www.dmitory.com