2021
WINTER

VOL. 260

Contents VOL. 260

COVER STORY

코로나19 사태가 장기화되며 사회적 거리두기, 비대면 활동이 이어지고 있습니다. 자유롭지 못한 상황 속에서, 현실의 한계를 뛰어넘는 3차원 가상세계 ‘메타버스’가 새로운 트렌드로 떠오르고 있습니다. 2022년에 더욱 주목하게 될메타버스에 대해 알아봅니다.

Theme
Story

초월 세계 메타버스 세상을 무한대로 확장하다

The Transcendent World of the Metaverse Expands the World Infinitely

  • 글 박영임
  • 사진 이현구
  • Writing Park Young-im
  • Photograph Lee Hyun-gu
우리가 몸담고 있는 이 유니버스(우주)는 인간의 상상력을 담아내는 데 한계가 있다. 그래서 한계를 지운 초월 세계, 메타버스를 탄생시켰다. 1990년대 초반부터 가상과 현실을 정합시키는 트래킹 기술을 연구해온 박종일 교수를 만나 메타버스의 개념과 역사, 기술의 변천사를 들어보았다.

The universe where we are has its limits in expressing human imagination. And such limitations contributed to the birth of the metaverse, a transcendent world that knows no limits. I had an interview with Professor Park Jong-il, who has conducted research on tracking technology needed for a seamless combination of reality and virtual reality since the early 1990s, about the concept and history of the metaverse, and the advancement in relevant technologies.

컴퓨터소프트웨어학부 박종일 교수

Professor Park Jong-il, School of Computer Science

백문이 불여일견? 이제 백견이 불여일행

“메타버스는 우리가 사는 우주인 유니버스와 컴퓨터가 만들어낸 다양한 우주, 즉 우리의 생각이나 상상을 컴퓨터로 현실화한 가상세계가 공존하는 세상을 의미합니다. 현실세계와 다양한 가상세계가 연결되고 소통하는 포괄적인 개념이라고 생각하시면 됩니다.”

컴퓨터소프트웨어학부 박종일 교수가 메타버스를 한 마디로 설명했다. 그렇지 않아도 빅뱅 이후 확장일로인 우주의 범위는 이제 가상세계로까지 확장되고 있다. 현실세계와 가상세계의 연결고리는 VR(Virtual Reality)이나 AR(Augmented Reality) 같은 기술들이다.

“가상현실, VR은 우리가 상상할 수 있는 모든 것을 영상과 소리로 합성해서 오감으로 진짜처럼 느끼게 해줍니다. 그런데 그 가상세계가 현실세계에 그럴듯하게 녹아들어 구별할 수 없을 정도로 융합이 된다면 어떨까요. 그게 바로 증강현실, AR입니다. 그리고 이 모든 것을 합하면 확장현실, XR(eXtended Reality)이 되죠. XR은 수학에서 미지수를 의미할 때 사용하는 X를 차용한 것으로도 생각할 수 있습니다.”

그리하여 박종일 교수는 요즘 메타버스를 설명할 때면 ‘백문불여일견(百聞不如一見)’이라는 고사성어를 ‘백견불여일행(百見不如一行)’이라는 말로 바꿔야 할 때라고 말하곤 한다. 백 번 보는 것보다 한 번 체험해보는 것이 훨씬 기억에 남는다는 의미다. 이제 단순히 보고 듣는 것을 넘어 메타버스를 통해 무엇이든 체험해볼 수 있는 시대가 열렸다. 기술은 우리의 상상을 오감으로 감각화할 수 있는 체험의 반열로 끌어 올렸다.

“기술적으로 VR기기들이 발전하면서 체험 미디어가 현실이 됐습니다. 상상하는 것을 현실로 이루고 싶다는 인간의 욕망을 충족시켜주기 때문에 메타버스가 신드롬을 일으키고 있다고 생각해요.”

“One seeing is worth a hundred hearings?” Now, “One doing is worth a hundred seeings.”

“The metaverse refers to a world where the universe we live and diverse virtual universes created by computer based on our thoughts and imagination coexist. You can regard it as a comprehensive concept encompassing the connection and communication between the real world and diverse virtual worlds.”

Professor Park Jong-il from the School of Computer Science at Hanyang University defines the metaverse in a sentence. The range of universe, which has been expanding since the Big Bang, is now expanding to a virtual space. Reality is connected to the virtual world through technologies such as virtual reality (VR) and augmented reality (AR).

“VR implements anything we can imagine as video and sound so that we can find it realistic through our five senses. What if is the virtual world mixed with reality as seamlessly as to be unable to distinguish each other? That is augmented reality, or AR. And when all these things are combined, it can be called extended reality, or XR. Here ‘X’ might be thought as the same ‘X’ used to represent an unknown in mathematics.”

Professor Park often says that we should change the old saying, “One seeing is worth a hundred hearings,” into, “One doing is worth a hundred seeings,” when he explains the concept of the metaverse. That means it’s much more memorable to experience something once than to see it hundred times. Now, the time comes to experience anything beyond just seeing and hearing in a digital space. The technology has made our imagination something that we can experience through our five senses.

“A huge leap in the technology of VR devices has enabled the idea of experiencing digital media to come true. I think the metaverse is becoming a hot topic since it can satisfy the desire to turn our imagination into reality.”

알고 보면 오래된 메타버스의 기원

메타버스라는 신조어가 일반인들의 입에 오르내리게 된 것은 최근 2~3년간의 일이지만, 알고 보면 나름 지난한 시간을 겪으며 참담한 실패를 딛고 오늘날에까지 이른 개념이다. 즉, 갑자기 툭 튀어나온 신기술, 신개념이 아니라는 것이다.

“AR, VR이라는 개념은 이미 1990년 전후에 등장해 학계에서는 오래 전부터 관심을 가져온 연구 주제였습니다. 다만 엄청난 연산 능력을 지닌 고가의 컴퓨터가 필요했기 때문에 기술적으로 구현하기까지 시간이 걸린 것이죠. 그리고 정확하게 연원을 따지자면 1960년대까지 거슬러 올라가야 합니다. 그 당시에 컴퓨터그래픽 기술이 등장하면서 컴퓨터로 가상세계를 만들어낼 수 있다는 개념이 정립되기 시작했으니까요. HMD(Head mounted Display)도 그때 처음 만들어졌습니다.”

그래서 이미 1990년대부터 과학 다큐멘터리에는 증강현실 기법이 사용됐다. 그러다 2000년대 일종의 메타버스 초기 버전이라 할 수 있는 싸이월드, 세컨라이프 같은 서비스가 등장하고, 2010년대 스마트폰이 보급되면서 AR 기술을 적용한 앱 서비스 및 구글글래스가 출시됐다. 그러나 아직 기술이 무르익지 않은 탓에 시장에서는 외면받고 말았다. 그 후 일반인들에게 증강현실의 신세계를 확실하게 각인시켜 준 것은 2016년 선풍적인 인기를 끌었던 ‘포켓몬고’라는 게임이었다.

“드디어 누구나 쉽게 접근할 수 있는 응용이 등장한 것이죠. 그 전에는 강연을 할 때 증강현실 개념을 일반인들에게 이해시키는 것이 참 어려웠습니다. 하지만 포켓몬고가 등장한 후에는 아주 쉽게 이해시킬 수 있게 됐어요.”

A relatively long history of the metaverse

The new word “metaverse” has been on everyone’s lips over a recent couple of years, but the concept has gone through difficult times, overcoming failures. That means it is not a new technology or new concept that appears out of nowhere.

“The concepts of AR and VR have long been the subject of research in the academic world since they first appeared in around 1990. As they required an extremely expensive machine with massive computing power, it took some time to implement the technology. And its precise origin dates back to the 1960s, when the advent of computer graphics technology began to lead to the concept of a computer creating a virtual world. Head-mounted displays (HMD) were invented around that time as well.”

For these reasons, AR technology has been used in science documentaries since the 1990s. And then, services like Cyworld and Second Life, a sort of early versions of metaverse platforms, appeared in the 2000s, and smartphones began to be widely used in the 2010s, which led to the launch of applications and Google Glass using AR technology. But the technology was not mature yet, those services and devices were shunned by the market. What gave a strong impression of the new world with AR to the public was Pokémon Go, a game that was a huge hit around the world in 2016.

“Finally, an application appeared that allowed anyone to easily access AR. In the past, it was difficult to explain the concept of AR to ordinary people in lectures. But it’s become much easier since Pokémon Go was launched.”

K-메타버스의 포텐셜 기대해봄직

박종일 교수가 처음 증강현실 기술을 접한 때는 1992년이다. 당시 영상 관련 연구를 선도했던 일본의 NHK방송기술연구소에서 연구원으로 근무하며 버츄얼 스튜디오 등 AR을 실시간으로 방송에 합성하는 기술에 눈을 뜨게 됐다. 그렇게 메타버스라는 개념이 아직 알려지기 전부터, 박종일 교수는 관련 기술에 매료됐고 특히 ‘트래킹’ 기술 개발에 매진했다.

“제 옆에 가상의 개체가 있다고 칩시다. 제가 움직일 때도 그 개체와 같이 있는 것처럼 보이려면 제가 어떻게 움직이는지 미리 계산해서 보여줘야 합니다. 안 그러면 가상의 개체는 따로 둥둥 떠다니는 것처럼 보일 겁니다. 이처럼 트래킹 기술은 가상과 현실을 정합시키는 기술을 의미합니다. 동영상이 1초당 30장의 컷으로 구성되니 1/30초 내에 계산해서 처리해야 하죠. 계산량이 상당하기 때문에 제일 어려운 핵심 기술이었습니다. 그러다 2000년대 이후 장족의 발전을 이뤄냈지요.”

2010년 이후부터는 AR, VR, AI도 발전해 메타버스를 구현하는 데 필요한 기술들이 성숙단계에 올라섰다. 현재 ‘가상현실연구실(Mixed Reality Laboratory)’을 이끄는 박종일 교수도 현실세계를 디지털로 가상화하는 기술과 가상화된 현실세계를 더 현실감 있게 보여주는 기술을 연구하고 있다. 2015년에는 한국문화콘텐츠진흥원의 연구과제로, AR·VR 기술을 응용해 미술품의 색과 해상도를 정확하게 추출하고 미술품의 원색을 기록, 보존하는 연구를 진행한 바 있다. 해당 연구 결과는 2018년 ‘미술품의 디지털 기록과 복원’이라는 제목으로 한양대학교 박물관에 전시됐다.

이 밖에도 고품질 3차원 모델링·렌더링 기술, 실시간 3차원 트래킹 엔진, 의료용 증강현실, 국방용 3차원 컴퓨터 비전, 고속 홀로그램 렌더링 등 다양한 연구를 진행하고 있다. 이 중 실시간 3차원 트래킹 엔진 기술을 실생활에 접목하기 위해 박종일 교수는 2018년 ‘아리아엣지(구 아톰앤비트)’라는 AR 전문기업을 창업하기도 했다.

“산업용 증강현실 솔루션인 ‘아리아팩토리(ARIA_Factory)’를 개발해 국내 유수의 식품업체, 제약업체에 공급하고 있습니다. B2C 사업으로 실감 아바타 기반의 원격회의 솔루션도 개발하는 중입니다.”

전 세계적으로 메타버스는 아직 초기 단계다. 따라서 메타버스 시대를 선도하기 위해서는 XR과 DNA(데이터, 네트워크, AI)가 결합된 가상융합 콘텐츠, 플랫폼, 디바이스 분야에서 사실상의 표준(de facto standard)을 확보해 주도권을 장악해야 한다. 박종일 교수는 메타버스 세상에서 보여줄 한국인들의 활약이 기대된다고 강조했다.

“새로움을 추구하는 한국인들의 기질이 메타버스가 요구하는 상상력과 연결된다면 메타버스에서 큰 두각을 나타낼 수 있으리라 생각합니다. 저 역시 파급력 있는 원천기술을 개발하고 경쟁력 있는 제품, 서비스를 제공하기 위해 미력이나마 최선을 다할 겁니다.”

Expectations for the potential of K-Metaverse

Professor Park first encountered AR technology in 1992, when he worked as a researcher in NHK Science & Technology Research Laboratories in Japan, which led research on video technologies at that time. And there, he learned the technology enabling realtime combination of AR in broadcasts using tools like Virtual Studio. Even before the metaverse was widely known, he was attracted by the relevant technologies and began to work on the development of “tracking” technology.

“Suppose a virtual object is beside me. If you want to make the object seem to be with me even when I’m moving, you need to calculate my movements in advance. The object would otherwise look to be floating separately with me. Tracking technology is used to seamlessly combine virtual objects with reality. When a video consists of 30 frames per second, the calculation must be made within 1/30 seconds. Since it required a vast amount of calculation, tracking was the most difficult core technology for AR. And the technology has achieved great advancement since the 2000s.”

Since the 2010s, when AI, as well as VR and AR, began to advance significantly, the technologies have become mature enough to realize the metaverse. Professor Park, who are currently leading the Mixed Reality Laboratory, is working on technology that can virtualize reality in a digital space and make the virtualized reality seem more realistic. In 2015, he studied the methods of archiving and preserving the original colors of artworks by applying AR and VR technology to extract the accurate colors and resolution of them, as a research task given by the Korea Creative Content Agency. The study results were exhibited at Hanyang University Museum under the theme of “Digital Archiving and Restoration of Artworks” in 2018.

Aside from that, he is studying various subjects such as the high-quality 3D modeling and rendering technology, real-time 3D tracking engine, AR for medical application, 3D computer vision in the defense industry, and high-speed hologram generation. Among them, to apply real-time 3D tracking engine technology into our real life, Professor Park founded an AR specialized company, Aria Edge (formerly known as Atom & Bit), in 2018.

“We developed ‘ARIA_Factory,’ an industrial AR solution, and are providing it for many Korean food companies and pharmaceutical firms. We are also developing remote meeting solutions with immersive avatars as a B2C business.”

The metaverse is in its early stage around the world. And therefore, to lead the era of the metaverse, it is important to take the lead by securing de facto standard in the fields of virtual convergence content, platforms, and devices that combine XR and DNA (Data, Network, and AI). Professor Park stresses that he expects Koreans to play important roles in the world of the metaverse.

“I believe that Koreans will stand out in the digital world if their nature of pursuing new things is well connected to imagination needed for the metaverse. I’ll also make efforts to develop source technologies and provide competitive products and services.”

‘가상현실연구실(Mixed Reality Laboratory)’을 이끄는 박종일 교수는 현실세계를 디지털로 가상화하는 기술과 가상화된 현실세계를 더 현실감 있게 보여주는 기술을 연구하고 있다. Professor Park Jong-il, who leads the Mixed Reality Laboratory, is working on technologies to virtualize reality in a digital space and to make the virtualized reality seem more realistic.