빅데이터 분석을 위한 데이터셋 다운로드, K-ICT 빅데이터센터 활용법

출처-K-ICT 빅데이터센터 홈페이지

요즘 각종 산업군에서는 비즈니스 인사이트 도출부터 공공정책 수립 그리고 AI인공지능 활용 등에 빅데이터라는 용어가 빠지지 않고 등장하고 있습니다. 데이터가 돈, 그리고 무기가 되고 있는 세상입니다. 그렇기에 데이터를 잘 활용하는 것이 매우 중요해졌는데요, 문제는 데이터에 처음 접근하는 사람들은 대체 어디서 이러한 데이터셋을 볼수 있는지를 잘 모르기 마련입니다. 그런 분들을 위해 이번 포스팅에서는 우리나라의 공공기관, 민간기업 그리고 학계 등에서 배포하고 있는 각종 데이터셋을 확인하고, 빅데이터 분석 교육 등을 받을 수 있는 K-ICT 빅데이터센터에 대해서 알아보도록 하겠습니다.

 

1. K-ICT 빅데이터 센터란?

 

K-ICT 빅데이터 센터는 국내의 각종 정부기관과 공공기관이 생산하는 공공데이터와  국내의 기업, 대학, 연구소 등 민간이 생산하는 민간데이터의 각종 소스를 취합한 곳으로, 데이터를 할용하여 국내 중소기업 지원, 선도사업 추진, 창업 인프라 지원 등을 제공하며 궁극적으로 빅데이터를 기반으로 사회현안을 해결하고자 과기통신부와 NIA의 지원으로 설립되었습니다. 

출처-K-ICT빅데이터센터 홈페이지

K-ICT 빅데이터 센터

벤처 스타트업의 빅데이터 솔루션 개발, 데이터를 이용한 시장 활성화 그리고 빅데이터 분석환경을 제공하여 빅데이터에 처음 접하는 사람들이 무료로 빅데이터 분석 소프트웨어에 접근할 수 있도록 지원하고 있습니다. 

 

 

2. K-ICT 빅데이터 센터 활용방법

 

그럼 K-ICT 빅데이터 센터를 어떻게 활용할 수 있을까요? 크게 2가지로 구분되는 것 같습니다. 바로 우리나라의 각종 공공데이터와 민간데이터에 대한 접근지원과 빅데이터 분석 교육입니다.

 

 

데이터셋 접근 지원

처음 데이터 분석을 접하시는 분들이라면 어디서 데이터셋에 접근 할 수 있을지가 가장 막막한 요소일 것입니다. 그런분들에게 빅데이터 센터는 좋은 데이터 소스들이 어디에 포진해 있는지 정보를 취합하여 제공하고 있습니다. 아래 그림을 보시면 K-ICT 빅데이터 센터를 통해 접근할 수 있는 데이터베이스들의 목록이 표시됩니다. 우리나라 공공데이터 위주라 조금 아쉽긴 하지만 처음 데이터를 접하시는 분들이라면 한번 보셔도 좋을만한 좋은 자료들이 많이 있습니다.

출처-K-ICT 빅데이터센터 홈페이지

 

또한 접근 가능한 빅데이터를 한곳에서 검색해 볼수 있는 기능도 제공합니다. 바로 데이터 소재정보 통합 DB 및 검색서비스인데요, 빅데이터를 찾기 쉽고 활용이 용이하도록 하기 위해 공공과 민간이 제공중인 개방 데이터 및 빅데이터 정보를 수집한 후 이를 통합 DB에 구축하여 검색이 가능하도록 시스템을 구축해두었습니다. 

출처-K-ICT 빅데이터센터 홈페이지

 

아쉬운 점은 데이터는 마치 생물과도 같아서 매순간순간 변하고 있는데, 여기에 올라와있는 데이터들은 공공기관들이 과거에 수집한 데이터들을 나열한 것들이 많아, 실시간 데이터 정보를 확인하기에는 어려움이 있는 것 같습니다. 정부가 제공하는 데이터의 한계가 아닌가 하는 생각이 듭니다. 만약 최신 민간 데이터에 접근하고 싶으신 분들이라면 텐서플로 데이터셋(tensorflow.org) 등 민간데이터 포털을 활용하시는 게 좋을것 같습니다.

 

빅데이터 분석 관련 각종 교육 지원

제가 K-ICT 빅데이터 센터를 둘러보면서 가장 좋다고 느낀 부분이 바로 이 교육입니다. 빅데이터 분석 관련된 교육은 시중에 정말 다양하게 있는데요, 빅데이터 기초 이론부터, R이나 파이썬을 활용한 통계분석 기초, 분야별 데이터 분석실습 과정 등이 초급,중급,고급으로 구분되어 제공되는데 전부 무료입니다. 유튜브를 통한 영상교육부터 PDF 등 학습자료 제공 등을 활용하실 수 있습니다. 만약 기초 수준의 데이터 교육이 필요하신 분들이라면 좋은 선택지가 될 수 있을 것 같습니다.

출처-K-ICT 빅데이터센터 홈페이지

 

 

빅데이터 분석 실습데이터 제공

또한 파이썬 등을 이용해서 실제로 데이터 분석을 시도해볼 수 있도록 실습데이터와 데이터 분석 환경을 제공하기도 합니다. 데이터 분석을 독학으로 하고 계시거나 이제 막 시작해보신 분들에게는 좋은 학습교재가 될 것 같습니다. 

출처-K-ICT 빅데이터센터 홈페이지

또한 데이터를 분석, 가공, 전처리 등을 할수 있도록 분석실습인프라를 제공해주기도 하는데요, 서버를 할당해주고, 인프라에 접속할 수 있도록 지원해줍니다. 이곳에서 실제로 현장에서 활용되는 데이터 전처리, 데이터 분석 및 시각화 등을 실습해볼 수 있습니다.

 

이 외에도 빅데이터 관련 오프라인 교육, 데이터 분석기술 기획지원 사업, 크리에이터 캠프나 매직 컨퍼런스 등 다양한 사업 등을 진행하고 있는 것 같습니다.

저도 더 차근차근 보면서 공부해보려고 합니다. 여러분들께도 도움이 되는 정보였기를 희망합니다. 만약 빅데이터의 정의와 특성이 궁금하신 분들이라면 아래 포스팅도 참고해주세요.

빅데이터란? 빅데이터의 정의, 특성 및 딜레마를 알아봅시다