빅데이터 분석기획
빅데이터와 인공지능과의 연관성
정보돌
2023. 6. 9. 11:55
빅데이터는 매우 크고 복잡한 데이터 집합을 가리키며, 이러한 데이터는 기존의 데이터 처리 방법으로는 다루기 어렵거나 불가능할 정도로 방대하고 다양한 형태와 속성을 갖고 있다. 인공지능은 컴퓨터 시스템이 인간의 학습과 의사 결정 능력을 모방하고 실행하는 능력을 가지는 기술로 빅데이터는 인공지능의 학습과 성능을 향상시키는데 사용된다.
인공지능 (AI : Artificial Intelligence)
(1) 인공지능의 정의
- 인공지능은 인지, 추론 등을 통한 학습과 문제해결 등 인간의 사고능력을 기계적으로 구현해 자동화한 시스템을 의미한다.
- 인공지능이라는 용어는 1950년대 다트머스 회의에서 처음 사용되었으며, 이후 인공지능은 활발히 연구됐고 논리적인 분야에서 많은 성과를 냈다.
- 1908년대에 전문가의 지식을 논리적인 규칙으로 생성해 특정영역에서 사람의 질문에 답할 수 있는 전문가 시스템의 인공지능이 부상한다.
- 2012년에 제프리 힌튼(Geoffrey Hinton) 캐나다 토론토대학 교수 연구실이 IMAGENET(이미지인식 경진대회)에서 딥러닝 알고리즘을 활용해 우승하면서 인공지능이 각광을 받게된다.
(2) 강한 인공지능 (Strong AI)
- 사람과 같은 지능
- 마음을 가지고 사람처럼 느끼면서 지능적으로 행동하는 기계
- 주론, 문제해결, 판단, 계획, 의사소통, 자아의식 (Self-Awareness), 감정 (Sentiment), 지혜 (Sapience), 양심 (Conscience)
(3) 약한 인공지능 (Weak AI, Narrow AI)
- 특정문제를 해결하는 지능적 행동
- 사람의 지능적행동을 흉내낼 수 있는 수준
- 현재 대부분의 인공지능 발전 방향은 약한 인공지능
(4) 인공지능의 역사
| 연도 | 주요 특징 |
| 1960년대 이전 | 1964년 펜실바니아 대학, ENIAC 개발 LISP 언어 개발 (McCathy, 1958) Advice Taker - 공리(Axiom) 기반 지식 표현 및 추론 (McCarthy) Perceptron - 신경망 모델 (Rosenblatt, 1958) |
| 1970 ~ 1980 | 일반적인 방법보다는 특정문제영역에 효과적인 방법을 찾는 연구 전문가 시스템 (Expert System) - 특정영역의 문제에 대해서는 전문가수준의 해답을 제공 - 1970년대 초반부터 1980년대 중반 상업적 성공사례 - MYCIN(혈액진단), PROSPECTOR(광물탐사), DENDRAL(분자구조) |
| 1980 ~ 1990 | 신경망 모델 발전 - 다층 퍼셉트론(Multi-Layer Perceptron, MLP) - 오차 역전파(Erro Backpropagation) 알고리즘 퍼지이론(Fuzzy Theory) 진화연산 : 유전자 알고리즘, 진화 프로그래밍 확률적 그래프 모델 - 베이지안 네트워크 (Bayesian Network) - 마르코프 랜덤 필드 (Markov Random Field) 서포트 벡터 머신 (Support Vector Machine, SVM) |
| 2000년대 이후 | 에이전트 (Agent) 시맨틱 웹 (Sementic Web) 기계학습 (Machine Learning) 데이터 마이닝 (Data Mining) 심층 학습 (Deep Learing) |
(5) 인공지능의 기술
① 탐색
- 문제의 답이 될 수 있는 것들의 집합을 공간 (Space)으로 간주하고, 문제에 대한 최적의 답을 찾기 위해 공간을 체계적으로 찾아보는 것
- 무보정탐색, 휴리스틱 탐색, 게임트리탐색
② 지식표현 (Knowledge Represenatation)
- 문제해결에 이용하거나 심증척추론을 할 수 있도록 지식을 효과적으로 표현하는 방법
- IF-THEN 규칙, 의미망(Semantic Net), 확률 그래프 모델, 함수기반 지식표현
③ 추론 (Inference)
- 가정이나 전제로부터 결론을 이끌어내는 것
- 관심대상의 확률 또는 확률분포를 결정하는 것
- 베이지안 정리 (Bayesian Theroem)
④ 기계학습 (Machine Learning)
- 경험을 통해서 나중에 유사하거나 같은 일을 더 효율적으로 처리 할 수 있도록 시스템의 구조나 파라미터를 바꾸는 것
- 알고있는 것으로부터 모르는 것을 추론하기 위한 알고리즘을 만드는 것
| 지도학습 (Supervised Learning) 문제(입력)과 답(출력)의 쌍으로 구성된 데이터들이 주어질 때, 새로운 문제를 풀 수 있는 함수 또는 패턴을 찾는 것 |
| 비지도 학습 (Unsupervised Learning) 답이 없는(목표변수) 문제들만 있는 데이터들로부터 패턴을 추출하는 것 |
| 강화학습 (Reinforcement Learning) 문제에 대한 직접적인 답을 주지는 않지만 경헙을 통해 기대보상( (Expected Reward)이 최대가 되는 정책(Policy)를 찾는 학습 |
인공지능과 머신러닝(Machine Learning), 딥러닝(Deep Learning)과의 관계
① 머신러닝 (Machine Learning)
- 컴퓨터 시스템이 데이터로부터 학습하고 패턴을 발견하여 의사 결정을 내리는 인공지능 분야이다
- 알고리즘응 이용해 데이터를 분석 및 학습하고, 학습한 내용을 기반으로 어떠한 결정을 판단하거나 예측한다.
- 머신 러닝은 데이터의 양과 다양성이 많을수록 성능을 향상시킬 수 있으며, 이러한 과정을 통해 학습하여 향후 작업을 더 정확히 수행할 수 있다.
② 딥러닝 (DeepLearning)
- 딥 러닝은 인공신경망(Artificial Neural Network)을 기반으로 한 머신 러닝 기법 중 하나이다.
- 인공신경망(Artificial Neural Network)은 뇌의 뉴런과 유사한 정보입출력 계층을 활용한 것으로, 블랙박스 형태의 데이터를 입력하면, 자동으로 복잡한 수학식 형태로 모델링되는 기법이다.
- 딥러닝은 이러한 복잡한 인공신경망을 사용한 알고리즘을 통해 데이터를 학습한다.
- 머신러닝은 알고리즘이 부정확한 예측을 반환한 경우, 분석자가 개입하여 조정해하지만, 딥러닝은 알고리즘의 자체 신경망을 통해 예즉 정확성 여부를 스스로 판단한다.
마치며
빅데이터와 인공지능은 서로 긴밀히 연결되어 있으며, 빅데이터는 인공지능의 학습과 성능 향상을 위한 중요한 데이터 원천이 되고, 인공지능은 빅데이터의 가치를 끌어내고 의미 있는 인사이트를 제공하는 역할을 한다.
이러한 빅데이터와 인공지능의 상호 작용은 기업, 산업, 사회 전반에 걸쳐 혁신과 경쟁력을 도모하는 데 중요한 역할을 한다.