클라우드 컴퓨팅(3) : 서비스

youtu.be/V53aNek6wSU

<가상 공간 처리>

하둡 시스템

학자들이 인터넷에서 가장 중요한 기술로 인식하는 것은 가상화 기술이다. 이 기술은 SaaS, PaaS의 기반이 되는데 대표적인 예는 아마존의 AWS 서비스이다. 클라우드를 가능하게 해주는 핵심 기술은 가상화(virtualization)와 분산처리(distributed processing)다.

가상화란 실질적으로는 정보를 처리하는 서버(server)가 한 대이지만 여러 개의 작은 서버로 분할해 동시에 여러 작업을 가능하게 만드는 것으로 서버의 효용률을 높일 수 있다. 분산처리는 여러 대의 컴퓨터에 작업을 나누어 처리하고 그 결과를 통신망을 통해 다시 모으는 방식으로 다수의 컴퓨터로 구성되어 있는 시스템을 마치 한 대의 컴퓨터 시스템인 것처럼 작동시켜 규모가 큰 작업도 빠르게 처리할 수 있다.

이 기술은 2000년대 이후에 인터넷을 통해 많은 양의 데이터를 처리하기 위해 몇 천 노드 이상의 서버 환경에서 대용량 데이터를 분산처리하기 위해 개발된 것이다.

하둡(Hadoop: High-Availability Distributed Object-Oriented Platform)이 이런 시스템을 차용하였다. 하둡은 대형 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크다. 복수의 컴퓨터를 논리적인 하나의 컴퓨팅 자원으로 이용할 수 있는 것으로 볼 수 있다. 현재는 하둡의 단점을 보완하고 메모리를 활용한 아주 빠른 데이터 처리가 특징인 스파크(Spark)가 그 뒤를 잇고 있다.

클라우드 컴퓨팅을 또 다른 특징은 하드웨어나 소프트웨어와 같은 컴퓨터 자산을 구매하는 대신 빌려 쓰는 개념으로도 설명된다. 어떠한 요소를 빌리느냐에 따라 소프트웨어 서비스, 플랫폼 서비스(PaaS, platform as a service), 인프라 서비스로 구분한다.

소프트웨어 서비스는 네트워크를 통해 소프트웨어를 온라인으로 이용하는 방식이다. 이용자가 필요로 하는 기능만을 골라 이용하고 사용한 만큼 요금을 지불한다. 플랫폼 서비스란 운영체제를 빌려 쓰는 방식을 말한다. 구글의 앱엔진(App Engine), 아마존의 EC2, 마이크로소프트의 윈도 어주어(Window Azure) 등이 대표적인 플랫폼 서비스 상품이다. 인프라 서비스는 서버나 스토리지, 데이터베이스, 네트워크를 필요에 따라 이용할 수 있게 서비스를 제공하는 형태다. 아마존의 S3가 대표적인 서비스다.

 

현재 클라우드 서비스를 제공하는 대표적인 기업은 아마존, 구글, 마이크로소프트(MS)다. 그 중에서 아마존과 구글은 빅데이터 원천 기술을 선도적으로 개발한 후 그 과정에서 자연스럽게 클라우드 서비스를 외부에 제공하기 시작했다.

구글은 세계 최대의 클라우드 인프라를 보유한 거대공룡이라 볼 수 있다.

검색 서비스를 비롯해 지메일, 구글플레이 등 구굴의 모든 서비스를 클라우드 기반으로 구축했다. 구글은 자사의 데이터센터에 수백만 대에 달하는 서버를 갖고 있어 단일 이업으로는 가장 많은 서버를 운용하고 있다고 알려진다.

이 말은 역으로 구글이 자사의 서비스 개발 및 운영에 클라우드를 이용한다는 측면에서 ‘최대의 클라우드 소비자이면서 동시에 기업 고객들에게 클라우드를 제공할 수 있다'는 것을 뜻한다.

그런데 구글의 작전은 상상을 초월한다.

구글의 데이터센터는 대기업인 IBM, HP 등의 서버를 사용하는 대신 표준 PC부품을 이용해 구글이 자체적으로 제작한 서버를 이용한다. 간단하게 말하여 조립식 PC를 이용하는 것이다. 일반적으로 데이터센터의 서버는 안정성이 중요하므로 신뢰성이 있는 대기업의 서버를 사용하는데 문제는 대기업의 서버는 가격이 높고 유지비용 역시 만만치 않다.

구글은 이런 상식을 탈피해 저렴하고 신뢰성 높은 표준 PC부품을 이용해 직접 서버를 제작했다. 한마디로 수백만 대가 동시에 작동토록 만든 것이다. 이런 환경에서는 각종 부품들이 계속 고장 나는 상황이 발생하기 마련이다.

구글은 그런 고장을 원천적으로 방지하는 것이 불가능하다고 판단하여 그런 고장을 막는데 전력을 투입하는 대신에 고장이 발생하더라도 계속 구동될 수 있는 방안에 주력했다. 즉 하드웨어를 완벽하게 만드는 대신에 클라우드의 서버 컴퓨터들을 관리하는 독자적인 소프트웨어를 만들어 가동시키는 것이다.

한마디로 하드웨어 고장을 소프트웨어로 보완하는 방식이다. 즉 구글의 클라우드에서는 애플리케이션과 데이터가 분산되어 저장되므로 일부 서버가 고장 나거나 디스크가 망가지더라도 서비스는 문제없이 운영된다.

구글이 제공하는 구글앱스는 SaaS 형태의 클라우드 서비스로 구글앱스는 SaaS의 가장 성공적인 사례로 꼽힌다. 구글앱스를 이용하면 독자적인 도메인으로 지메일, 캘린더, 행아웃, 드라이브, 문서, 스프레드시트, 프레젠테이션 등 구굴이 제공하는 각종 서비스들을 무료로 제공한다. 하지만 구글앱스에 유료로 가입하면 향상된 보안기능과 전체 사용자 계정의 통합관리도 가능하다.

아마존은 인터넷 서점으로 출발한 기업으로 서적 검색과 추천 기능을 통해 성장했지만 서점으로 성공하자 서적뿐 아니라 방대한 상품 정보를 저장하기 위해 대량의 서버와 데이터베이스를 구축했다. 이러한 설비는 최대치를 기준으로 설계되므로 평소에는 다른 기업에게 서비스로 제공한다.

아마존의 클라우드 서비스는 AWS라는 브렌드로 저장 장치를 빌려주는 S3(Simple Storage Service), 데이터베이스를 빌려주는 심플DB, 다이나모DB, 서버를 빌려주는 EC2(Elastic Computing Cloud), 빅데이터 분석용 프로그램으로 EMR(Elastic Map Reduce)을 제공한다. S3와 EC2를 간략하게 설명한다.

EC2는 규모를 자유자재로 변경할 수 있는 컴퓨팅 파워를 제공하는 서비스다. 신용카드로 결제만 하면 불과 몇 분 만에 새로운 서버를 받아 부팅할 수 있으며 요구사항의 변화에 따라 신속하게 서버 용량을 확장하거나 축소할 수 있다. AWS 마켓플레이스에는 EC2에서 실행가능 하도록 설계된 소프트웨어 업체들의 무료 및 유료 소프트웨어들이 다양하게 갖춰져 있어 편하게 선택해 이용할 수 있다. EC2는 사용한 만큼만 비용을 지불하는 종량제 과금 방식을 택하는데 사용자들로부터 많은 호응을 받는 것은 의무 요금이 없다는 점이다. 한마디로 사용하지 않으면 사용료를 지불하지 않는다.

S3는 인터넷 스토리지 서비스로 개발자가 언제든지 용량에 관련없이 데이터를 저장하고 검색할 수 있게 해 준다. S3를 이용하면 개발자는 확장성이 높고 신뢰할 수 있으며 고속이면서 저렴하게 스토리지를 활용할 수 있다.

실제로 많은 인터넷 서비스 업체들이 이미지, 자료 등 대용량 파일을 S3에 저장하는데 S3의 장점은 암호화를 통해 데이터 전송을 보호할 뿐만 아니라 사용자 작업, 애플리케이션 오류, 인프라 장애 시 데이터가 손실되지 않는 장치들을 구비하고 있다.

특히 아마존을 통할 경우 손쉽고 신속하게 초기 투자비용 없이 컴퓨팅 지원을 곧바로 받을 수 있기 때문에 두각을 나타낸다.

그런데 아마존이라 완벽할 수는 없는 일이다. 100% 가용성을 보장하는 IT서비스란 사실상 불가능에 가깝기 때문이다. 실제로 AWS에 장애가 발생하여 넷플러스, 핀터레스트 인스타그램 등이 중단되는 일이 발생했으며 소프트웨어 버그가 발생하기도 했다.

문제는 고객이 자체적으로 서버를 구축한다고 해서 장애가 발생하지 않는 보장이 있는 것도 아니다. 그러므로 일부 기업들은 천재지변이나 예측하기 어려운 위험 요소로 인한 클라우드 서비스 장애를 피하기 위해 ‘멀티 클라우드’ 즉 여러 클라우드 서비스를 동시에 사용하기도 한다.

인터넷 강국으로 불리는 한국도 클라우드 컴퓨팅 부분에 손 놓고 있는 것은 아니다.

한국통신(KT)의 클라우드 서비스인 ‘유클라우드 비즈’는 국내에 3개 클라우드 데이터 센터를 운용하면서 SK C&C는 IBM과 알리바바 클라우드 등과 제휴하고 있다.

또한 한국정부는 민간부분 클라우드 이용을 확산시키기 위해 클라우드 신뢰성 확보 및 이용자 보호, 중소기업 및 산업 혁신 지원, 클라우드 친화적 여건 조성등의 정책을 추진하고 있다. 특히 서비스 기준안에 대한 협약을 준비하여 보안서비스 증명과 이용자의 신뢰성 화보를 통하여 클라우드 보안의 문제점 해소를 꾀하고 있다.

 

<클라우드 컴퓨팅 서비스>

아마존, 구글, MS와 같은 글로벌 플레이어들이 클라우드 플랫폼과 서비스 개발에 열을 올리고 있는 것은 모바일 시대에 클라우드가 서비스의 중심으로 등장하기 때문이다. 특히 클라우드 기반 개발에서 IT 자원, 개발, 테스트, 운영 환경이 제공되기 때문에 개발자에게 매우 유리하다. 소스관리와 빌드, 배치를 직접 할 수 있으며 오픈소스도구들을 통하여 대규모 부하 테스트도 수행해볼 수 있다. 한마디로 소규모로 스타트하는 기업들로 보아서 IT 인프라와 개발도구에 대한 투자없이 이러한 개발환경을 갖는다는 것은 매력적일 수밖에 없다. 현재 SW 플랫폼 기반 클라우드가 제공하는 서비스들은 대체로 다음 6가지로 요약된다.

 

① 가상 저장공간

② 컴퓨팅 클라우드

③ 데이터 스트리밍과 메시징 통합관리 서비스

④ 다중, 이종단말간 자동 동기화 및 오프라인 데이터 캐싱 지원

⑤ 오픈 API 및 Mashup 플랫폼

⑥ 모바일앱 및 백엔드 개발을 위한 PAAS 환경 제공

  

물론 이렇게 편리한 서비스임에도 단점도 있다. 어느 시스템이든 완벽할 수 없다는 뜻인데 서버가 해킹당할 경우 개인정보가 유출될 수 있고, 인터넷 접속이 곤란하거나 서버에 장애가 생기면 자료 이용이 불가능하다는 단점도 있는 것은 사실이다. 이 문제를 원천적으로 해결하기 위해 ‘컴퓨터 바이러스’ 퇴치 프로그램을 각 유저들에게 무료로 배포하는 이유다.

클라우드 컴퓨팅이 4차 산업혁명의 핵심 축 중 하나이므로 부연하여 설명한다.

클라우드 컴퓨팅은 다시 말해 자신이 필요한 정보 처리를 자신의 컴퓨터가 아닌 인터넷으로 연결된 다른 컴퓨터로 처리하는 기술을 말한다. 그러므로 그동안 컴퓨터 활용이라는 개념이 바뀐다. 과거 IT 업종은 컴퓨터와 소프트웨어를 판매했지만 현재는 이들을 활용하기는 하되 개념이 다른 ‘컴퓨팅’이라는 서비스를 제공하는 방식으로 사업 모델이 전환되고 있다.

최종 유저가 클라우드 서버에 접속하면 서버는 필요에 따라 복수의 CPU에서 프로세싱 사이클을 가져오거나 나눠주고 메모리 사용량을 조절하는 능력을 발휘한다. 사용자에게 할당된 클라우드 장치는 필요에 따라 늘어나지만 피크 프로세싱이 끝나면 줄어든다. 한 순간은 데이터센터의 이쪽을 사용했다가 다음 순간은 저쪽을 사용하는 식이다. 그렇다고 최종 유저의 작업속도가 저하되는 것은 아니다. 서버 내부의 전환은 사용자가 알아차리지 못하게 일어나며 클라우드 서버는 그 역량과 크기에 제한되지 않도록 신축성 있게 바뀐다. 신축성이야말로 클라우드 컴퓨팅의 핵심이라 볼 수 있다.

이를 내비게이션을 예로 들면 쉽게 이해된다. 과거엔 전용 하드웨어와 수 기가바이트에 달하는 전국 지도 데이터를 통째로 구매한 후 적어도 1〜2년마다 업그레이드해야 했다. 그러나 지금은 스마트폰에서 수십 메가바이트 크기의 앱만 내려 받으면 클라우드 컴퓨팅에 접속해 필요한 교통 정보를 실시간으로 받아볼 수 있다. 스마트폰에서 음성 인식, 번역 등 고성능 컴퓨터를 요구하는 작업이 가능한 이유도 클라우드 컴퓨팅에 접속해 처리하기 때문이며, 데이터가 개별 단말기를 넘어 클라우드 서버에 축적되므로 기술 발전도 빨라진다. 과거의 내비게이션 칩은 저장된 것만 제공하지만 현재의 스마트폰은 실시간으로 교통 정보 즉 어느 구간이 체증인지도 알려주는 것도 이 때문이다.

다시 말하면 과거에 보급된 PC와 인터넷은 모니터의 2차원 화면 속 가상 공간에서만 활용이 가능했고, 논리적으로 명확히 정의되는 지식만 구현해낼 수 있었다. 그런데 무선통신을 통해 각종 사물을 연결하게되자 디지털 기술이 가상공간을 뛰쳐나와 현실공간으로 확장되었다. 더불어 발전된 인공지능 기술을 통해, 반복 경험에서 체득하는 지식도 결합되었다.

이것이 그동안 제조업체들이 접근할 수 없는 새로운 공간을 제공했다. 과거 대형 회사란 '제품의 대량 생산과 판매'라는 공급자 영역에 한정됐다. 제품을 판 뒤 소비자가 이를 어떻게 사용하는지 직접 관찰하고 개입할 방법이 없었기 때문이다. 그런데 클라우드 컴퓨팅은 제품을 판 뒤에도 소비자가 실제 사용하는 시점에 적절한 서비스를 제공할 수 있게 되었다. 즉, 산업화 시대에 대량 생산과 원가 절감이 수익 창출의 핵심이었다면, 4차 산업혁명 시대에는 사용자와 상호작용하며 고객 만족을 높이는 역량이 중요해진 것이다.

클라우드 컴퓨팅 확산으로 인한 가장 큰 변화는 PC를 최신형으로 교체할 필요성이 줄어들었다는 점이다. 이로 인해 자동적으로 PC 시장이 퇴조하고 있는데 그동안 컴퓨터 시장의 성장을 볼 때 상상할 수 없는 일이다. 실제로 PC 시장은 2008년 금융 위기에도 지속적으로 성장했는데 세계 PC 출하량은 클라우드 컴퓨팅과 모바일 기기의 보급이 본격화된 2011년을 정점으로 하향세가 계속되고 있다. 그동안 하드웨어 제조업에서 민첩하게 변모하지 못한 굴지의 컴퓨터 업체인 HP, 선마이크로시스템스, 델 등이 쇠락의 길로 접어든 것은 이 때문이다.

반면 인터넷 서적 판매로 등장한 아마존은 클라우드 컴퓨팅의 선두 주자로 수익의 상당 부분을 여기서 얻고 있다. 마이크로소프트, 구글, IBM도 현재 클라우드 컴퓨팅을 중심으로 모든 개별 제품을 통합하고 있는데 이것이야말로 '제조업의 서비스화'를 단적으로 보여준다.

이제 클라우드 컴퓨팅이란 신 개념이 어디로 발전되느냐가 관심사인데 학자들은 한마디로 과거에 생산하던 생각은 기본적으로 잊어야 한다고 말한다. 한마디로 클라우드 컴퓨팅이 기계·설비 등 자본재 산업 전반으로 확대되고 있기 때문이다.

GE, 롤스로이스 같은 기업들이 발 빠르게 움직이는 것은 그동안 제조하여 판매한 제트엔진, 발전터빈, 의료기기에 연료, 온도, 진동 등을 측정하는 센서를 장착하고 방대한 데이터를 실시간으로 수집, 분석해 고객의 생산성을 높이는 서비스를 제공하는 것이다. 즉 그동안 운행한 항공기 엔진에서 수집된 데이터를 분석해 엔진 장애를 예방하고 연비를 높여 운항 효율을 개선한다. 이에 따라 수익 모델 또한 '일회성 판매 수입 중심'에서 실제 고객의 사용량에 비례해 지속적으로 늘어나는 '서비스 수입 중심'으로 전환되고 있다.

이는 궁극적으로는 소비재 산업에서도 제품의 서비스화가 확대될 수 있다는 것을 의미한다. 학자들이 주목하는 것은 자율주행차 시스템이 본격적으로 도입되면 자동차 산업이 '무인 택시'라는 서비스 모델 중심으로 재편될 것으로 추정한다. 구글의 공동 창업자인 세르게이 브린은 매우 충격적인 아이디어를 제시했다.

 

‘무인차가 상용화되면 모든 사람이 굳이 자기 차를 소유할 필요가 없어질 것이다. 차는 당신이 필요로 할 때 와서 데려다 줄 수 있기 때문이다.’

 

한마디로 제품의 제조와 생산도 중요하지만 소프트웨어·서비스화가 절대적으로 중요해진다는 뜻이다. 이는 대기업은 물론 소기업도 새로운 변화에 발을 맞추지 않으면 도태될 수 있다는 것을 의미한다.