IA do MIT cria mundos virtuais para treinar robôs - H Tech

부엌에서 일하고, 호텔을 돌아다니고, 방에 있는 물건을 정리하도록 로봇을 훈련시키는 것은 첫 번째 장애물이 발생하기 전까지는 간단해 보입니다. 현실 세계는 변형으로 가득 차 있습니다. 유리는 위치를 바꾸고, 문은 예상치 못한 방향으로 열리고, 가구는 사용 가능한 경로를 완전히 바꿉니다. 각 상황을 수동으로 교육하는 데는 시간과 돈, 그리고 많은 시간의 테스트가 소요됩니다.

ADS

매사추세츠 공과대학(MIT)과 도요타 연구소의 연구원들은 이러한 병목 현상에 대한 대안을 제시했습니다. 시스템 장면스미스 인공 지능 에이전트를 사용하여 로봇이 현실 세계에서 작동하기 전에 작업을 연습할 수 있는 3차원의 완전하고 물리적으로 기능적인 가상 환경을 만듭니다.

이 제안은 집의 아름다운 이미지를 생성하는 것 이상입니다. 환경에는 일관된 방식으로 배치된 벽, 가구 및 물체가 포함되어야 할 뿐만 아니라 캐비닛을 열고, 기구를 이동하고, 다양한 경로를 테스트할 수 있는 물리적 특성이 포함되어야 합니다. 생성 AI를 일종의 로봇용 세트 디자인 팀으로 바꾸려는 시도입니다.

ADS

SceneSmith 란 무엇입니까?

SceneSmith는 로봇 시뮬레이터를 위해 미리 만들어진 내부 장면 생성 프레임워크입니다. 텍스트 설명을 기반으로 시스템은 주방, 침실, 레스토랑, 사무실, 차고 및 상점과 같은 공간을 만들 수 있습니다. 이러한 가상 위치는 로봇 컨트롤러가 실제 기계, 사람 또는 장비를 위험에 빠뜨리지 않고 작업을 시도하는 훈련 캠프 역할을 합니다.

에 따르면 MIT CSAIL에서 발표한 프레젠테이션, 이 프로젝트는 1,300개 이상의 장면을 제작했습니다. 환경은 다양하고 상세하게 설계되어 많은 시뮬레이터를 제한하는 작고 반복적인 라이브러리에 대한 의존도를 줄입니다.

이 연구 결과는 ICML(International Conference on Machine Learning)에서도 발표되었습니다. 이는 제안을 과학계에 제시하고 시각적 시연을 넘어 방법, 결과 및 한계를 검토할 수 있도록 하기 때문에 중요합니다.

3명의 AI 에이전트가 한 팀으로 일함

연구자들은 모든 생성을 단일 모델에 넘기는 대신 프로세스를 세 가지 에이전트로 나누었습니다. 각각은 특정 기능을 수행합니다.

디자이너: 계획을 제안하고 요소를 선택하며 환경의 개체를 구성합니다.
비판적인: 시나리오가 타당한지 확인하고 방 중앙에 욕조를 배치하는 등 불일치 사항을 지적합니다.
오케스트레이터: 다른 에이전트 간의 대화를 모니터링하고, 단계를 다시 수행해야 하는 시기를 결정하고, 결과가 예상 수준에 도달하면 생성을 종료합니다.

세 가지 모두 텍스트와 시각적 정보를 해석할 수 있는 다중 모드 모델을 사용합니다. 이 과정은 공간의 일반적인 구조부터 시작하여 벽, 가구, 장식물, 그리고 마지막으로 로봇이 조작할 수 있는 항목 등 여러 층으로 진행됩니다. 그런 다음 시뮬레이션 엔진이 물리적 규칙을 추가합니다.

이러한 기능 분할은 인간 프로젝트 팀을 연상시킵니다. 한 사람이 작성하고, 다른 사람이 검토하고, 세 번째 사람이 결정을 조정합니다. 차이점은 에이전트가 자동으로 주기를 반복하고 동일한 유형의 장소에 대해 다양한 변형을 생성할 수 있다는 것입니다.

로봇에 가상 세계가 필요한 이유

언어 모델은 대량의 텍스트로부터 학습합니다. 비전 시스템은 이미지 및 비디오 뱅크를 사용합니다. 그러나 로봇의 경우 관찰만으로는 충분하지 않습니다. 로봇은 공간, 움직임, 접촉 및 결과를 이해해야 합니다.

과일을 도마로 가져가는 임무를 맡은 기계는 물체를 잡을 위치, 따라야 할 궤적, 적용할 힘의 양을 계산해야 합니다. 또한 충돌을 피하고 환경이 변할 때 계획을 조정해야 합니다. 물리적 로봇만으로 이런 종류의 경험을 수집하는 것은 느리고 비용이 많이 듭니다.

시뮬레이션을 사용하면 작업을 수천 번 반복하고, 방의 모양을 변경하고, 장비를 파손하지 않고도 결함을 발견할 수 있습니다. 문제는 열악한 가상 설정이 좁은 행동을 가르친다는 것입니다. 시뮬레이션된 주방이 모두 동일하다면 로봇이 다른 구성을 찾지 못할 수도 있습니다.

SceneSmith가 앞으로 나아가려고 하는 곳이 바로 여기입니다. 연구원들에 따르면, 그 장면에는 이전 방법보다 최대 6배 더 많은 개체가 포함되어 있었습니다. 항목이 많을수록 훈련에 대한 장애물, 가능성 및 조합이 많아집니다.

테스트 결과 시각적 사실성 그 이상을 보여주었습니다.

3D 장면은 설득력 있게 보일 수 있지만 여전히 로봇 공학에는 쓸모가 없습니다. 예를 들어, 경첩이 없는 문은 장식용으로 사용할 수 있지만 기계에 캐비닛을 여는 방법을 가르치는 데는 유용하지 않습니다. 따라서 팀은 환경의 외관과 물리적 동작을 모두 평가했습니다.

한 실험에서는 주로 실제 데이터로 훈련된 컨트롤러를 이전에 본 적이 없는 장면에 배치했습니다. 그에게는 그릇에서 사과를 꺼내 도마 위에 올려놓는 임무가 주어졌습니다. 가상 로봇이 작업을 완료했는데, 이는 기술이 전달될 만큼 환경이 실제 상황과 충분히 유사함을 유지했음을 나타냅니다.

연구원들은 또한 로봇을 원격으로 시나리오에 투입하여 캐비닛을 열고, 병을 보관하고, 방 사이를 이동했습니다. 또 다른 테스트에서는 에이전트가 100개의 서로 다른 공간에 대해 생성된 실행 계획을 평가했습니다. 잘못된 전략을 식별할 때 AI 평가자와 인간 참가자 간의 합의가 99%를 초과했습니다.

이전 접근 방식과 비교할 때 200명 이상의 참가자가 사실성 평가의 90% 이상에서 SceneSmith 장면을 선호했습니다. 이 숫자는 로봇 훈련 문제가 해결되었다는 의미는 아니지만 시스템이 단순한 디지털 모델보다 더 유용한 것을 생성한다는 것을 보여줍니다.

가상 객체에는 물리적 속성도 부여됩니다.

SceneSmith는 이전에 고정 라이브러리에서 사용할 수 없었던 항목을 생성할 수 있습니다. 예를 들어 서비스 카트를 주문할 때 시스템은 먼저 시각적 표현을 생성하고 결과를 3D 모델로 변환한 다음 질량, 마찰 및 관성과 같은 기능을 추가합니다.

이 단계를 통해 AI 생성이 엔지니어링 요구 사항에 더 가까워집니다. 로봇의 경우 카트라는 것을 인식하는 것만으로는 충분하지 않습니다. 밀어내는 데 필요한 힘, 바퀴가 어떻게 반응하는지, 다른 물체와 접촉할 때 어떤 일이 일어나는지 예측해야 합니다.

생성 모델과 물리 엔진의 결합은 중요한 변화를 나타냅니다. AI는 단순히 사람들을 위한 콘텐츠 생성을 중단하고 다른 기계를 위한 훈련 데이터를 생성하기 시작합니다. 이러한 움직임은 알고리즘이 화면상의 반응뿐만 아니라 구체적인 결과를 처리해야 하는 소위 물리적 AI의 확장을 수반합니다.

한계는 무엇입니까

시스템은 아직 환경을 즉시 생성하는 것과는 거리가 멀습니다. 에이전트가 수많은 개체를 조립하고 검토해야 하므로 단일 장면을 세부적으로 생성하는 데 몇 시간이 걸릴 수 있습니다. 환경이 더욱 복잡해짐에 따라 계산 비용이 증가하는 경향이 있습니다.

또 다른 제한 사항은 변형 가능한 재료와 관련이 있습니다. 스폰지, 직물, 케이블 및 식품은 조작하는 동안 모양이 바뀌므로 더 어려운 물리적 모델이 필요합니다. 팀은 테스트를 지원하는 데 적합한 3D 라이브러리가 있을 때 이 범주를 탐색할 계획입니다.

시뮬레이션과 현실 사이에는 잘 알려진 거리도 있습니다. 조명, 마모, 작은 센서 오류, 예측할 수 없는 움직임은 가상 세계가 완벽하게 복제할 수 없는 방식으로 실제 로봇에 영향을 미칠 수 있습니다. 따라서 시뮬레이션은 실제 테스트의 양을 줄이지만 컴퓨터 외부의 검증을 제거하지는 않습니다.

이 연구가 실제로 무엇을 바꿀 수 있는지

자동으로 생성된 환경은 물류, 숙박업, 공장, 병원 및 가정을 위한 로봇 개발을 가속화할 수 있습니다. 회사는 동일한 컨트롤러를 직원과 상품 근처에 배치하기 전에 수백 개의 가상 창고에서 테스트할 수 있습니다.

가정용 로봇의 경우 다양성이 더욱 중요합니다. 두 집이 정확히 똑같지는 않습니다. 작은 부엌, 좁은 복도, 다양한 방식으로 배치된 가구에서 훈련하면 기계가 새 집을 찾을 때 더 잘 반응하는 데 도움이 될 수 있습니다.

이 연구는 또한 이미 관찰된 경향을 강화합니다. AI는 사용자와 장치에 더 가까이 다가갑니다.: 모델은 더 이상 응답을 생성하는 데 그치지 않고 계획, 평가 및 조정 작업을 담당합니다. SceneSmith에서는 다양한 에이전트가 협력하여 시뮬레이터에서 직접 사용할 수 있는 결과를 제공합니다.

가장 흥미로운 발전은 특정 로봇이 아니라 경험 공장의 탄생일지도 모릅니다. 가상 세계가 다양하고 물리적으로 일관성이 있을수록 현실 세계의 예측 불가능성에 로봇을 대비할 가능성이 커집니다.

FAQ

SceneSmith는 실제 로봇을 제어합니다.

직접적으로는 아닙니다. 로봇 컨트롤러를 교육하고 평가하기 위한 3D 환경을 만듭니다. 시뮬레이션 후에도 시스템을 실제 기계로 테스트해야 합니다.

장면은 단지 3D 이미지일 뿐입니다.

아니요. 여기에는 물리적 특성과 연결된 요소가 있는 개체가 포함되어 있어 가상 로봇이 항목을 이동하고, 캐비닛을 열고, 공간을 탐색할 수 있습니다.

이 기술은 이제 상업적으로 이용 가능합니다.

SceneSmith는 연구 프로젝트입니다. 그만큼 공식 프로젝트 웹사이트 예제와 기술 정보를 함께 제공하는 동시에 과학 기사 방법과 실험을 설명합니다.

참조한 출처: MIT 컴퓨터 과학 및 인공 지능 연구소, 공식 SceneSmith 페이지 및 연구원의 과학 기사.

MIT AI는 로봇을 훈련시키기 위해 가상 세계를 만듭니다.