13. 인터랙션을 통한 감성미디어



<인터랙션 디자인>

1. 인터랙션

가. 인터랙션이란

- Inter(상호) + Action(동작) : 상호 동작을 위한 디자인
- 커뮤니케이션, 행위까지도 전달하기 위한 디자인

1) 인터랙션 디자인의 정의

- 사람과 인식기능을 갖춘 제품 간에 벌어지는 인터랙션 기술

- 목적 : 사람-사람, 사람-사물 사이에 커뮤니케이션이 발생
- 컴퓨터에 의해 작동되는 전자 제품
- 시스템의 행동과 사용자의 행동 간의 상호작용이 용이하게 하는 기술 및 응용예술
- GUI 등장 이후 급속 발전

- 인터랙션 아트, 미디어아트와는 구분됨

2) HCI
- 인간사용을 위한 인터랙티브 컴퓨터 시스템
디자인, 평가, 구현과 이에 관련된 주요 현상에 대한 연구

- 다학제적 접근 인간을 둘러싼 모든 관계를 통한 경험의 디자인
- UX 디자인 방법 모두 인터랙션 디자인 방법의 일부로 포함

3) 인터랙션 디자인 바탕학문
- 인지심리학, 커뮤니케이션, 컴퓨터학
- 기본구성 : 멘털모델(Mental model), 매핑(Mapping), 메타포(Metaphor), 어포던스(Affordance)
- 주요목표 : 인간 중심의 디자인, 사용성과 접근성
- 사람들 간 상호작용을 풍부하고 깊게, 더 나은 방법으로 가능하게 함


나. 인터랙션의 발전

1) 초기 인터랙션
- 컴퓨터공학과 환경에 기반을 두고 발전

2) 현재 인터랙션
- 관계와 경험에 중심을 둔 새로운 디자인
- 인터랙션 디자인 - 사용자의 경험 창출에 주목

다. 인터랙션 디자인 유형

1) 사물-사람 인터랙션
- 물질환경의 개념작용
- 자연법칙과 그 안에 내재된 작용이 지배하는 인터랙션
- 대표 : 인터페이스

2) 사람-사람 인터랙션
- 가장 잘 표현할 수 있는 '처리'로 통일 사용
- 행위, 말, 기호학의 의미가 인터랙션의 구성과 해석의 중요 요소

3) 사람-환경 인터랙션
- 휴먼 인터랙션(Human interaction)이라고도 함
- 인간의 특성과 자연환경 및 문화 환경이 휴먼 인터랙션을 결정
- 환경 속에서 인간이 무엇이 될 수 있는지가 중요 주제

4) 사람-우주 인터랙션
- 우주는 문화, 사상, 종교 등을 포괄하는 광의의 개념
- 사물에서 시작해서 인간의 정신세계와 만나는 접점에 도달한다고 주장
- '참여'라는 표현으로 정의 

다. 인터랙션 디자인 예시

1) 컴퓨터 마우스
- 마우스 클릭의 사건의 시작을 통해
- 마우스를 통해 유저는 인터랙션을 제어함

2) GUI
- 메타포(Desktop metaphor)를 이용하여
WMIP(Windows, Icons, Menus, Pointing devices)의 인터페이스를 구현

우리가 일상에서 사용하는 컴퓨터가 GUI로 구성됨

3) 모로토비의 이상한 모험
- 재미있는 인터랙션 효과를 이용해서 만든 아이팟용 애플리케이션

4) 닌텐도 Wii motion plus, 플레이스테이션 move controller

- 사용자의 움직임을 포착하기 위해 인식, 동작감지 기술 등
- 3차원적인 중력인식이 가능

5) Xbox kinect
- 사용자의 신체를 인식해 별도의 컨트롤러가 없이 사용자 신체가 컨트롤러가 됨
- 의학, 스포츠, 교육 분야게 활발히 적용됨


<NUI, Natural User Interface>

1. GUI

가. GUI이란?

Graphical User Interface(그래픽 유저 인터페이스)로 이미지를 통해 컴퓨터를 조작하는 방식

1) 키보드에서 마우스 중심으로
키보드는 명령어를 전부 타이핑을 해야 작동을 했지만,
마우스는 클릭 한 번을 통해서 작동이 가능

2) 마우스 중심 운영 체제의 대중화
- 마이크로소트프 : Windows 95
- 애플 : 매킨토시

3) GUI 운영체제의 특징
- 긴 생명력
- 다양한 진화

2. NUI, Natural User Interface

가. Natural User Interface이란?

- 자연스러운 상호작용이 가능한 사용자 인터페이스

1) 기존 인터페이스와 차이점
- 마우스로 화면을 만저야 하는 것이 아니라, 더욱 직관적인 인터페이스
- 사용자의 의사에 맞춰가면서 컴퓨터를 사용할 수 있도록 함
- 유저가 관심이 가는 것을 알리지 않아도 컴퓨터가 알아서 판단하고 준비
- 마우스를 시댄하여 터치스크린, 음성명령 등을 통해 더욱 직관적으로 화면을 제어할 수 있음

2) NUI가 주목받는 이유

- 단계의 단순화

CUI, CLI에서 GUI로 변한 이유는 복잡한 명령어를 그래픽을 통해 단순화 시켰다는 점이다.
현대사회도 GUI의 명령의 단계를 더욱 단순화 시키는 것이 NUI이다.

ex) 쇼핑
* GUI쇼핑 단계 *

1) 인터넷클릭
2) 검색사이트
3) 쇼핑몰검색
4) 쇼핑몰클릭
5) 찾을 물건 검색
6) 원하는 물건 클릭
7) 물건 주문
8) 결재클릭

여기에 최저가로 쇼핑하려면 많은 단계가 필요함

* NUI쇼핑 단계 *
1) "최저가로 물건 구입해서 집으로 배송해줘"

1단계에서 끝남

2) NUI의 대중화

- 1979년 <Put that there 프로젝트로> 프로토타입 개발

- 2002년 : <영화 : 마이너리티 리포트>를 통해 주목

- 2007년 : 아이폰을 통해 멀티터치기술 대중화

- 2010년 : 키넥트 공개를 통해 인터페이스 방식 확산

3) NUI 특징

* 배우기 쉬움 *
: 자연스러운 행동기반으로 학습 비용이 낮음

* 보이지 않음 *
: GUI, CLI 등은 마우스, 키보드가 있어야되지만, NUI는 신체를 입력장치로 사용

4) NUI 분류

* 햅틱(Haptic) *
- 피부의 촉각을 통한 인지

* 제스처인식 *
- 몸, 신체의 동작을 통한 인식

* 터치(Touch) 및 Tangible *
- 실제 사물 조작 또는 직접적으로 디지털 기기 조작

* 음성인식 *
- 사람에게 말하듯 컴퓨터에게 실시간 명령

* 시선추적 및 인식 *
- 사용자의 눈을 통해 어디를 보고있는지 추적

* 뇌-컴퓨터 인터페이스 *
- 뇌파를 이용한 컴퓨터의 인터랙션

* 근접센서 및 통신 *
- 근거리에서 디지털 기기를 조작, 데이터 전송

* OLED 및 e-Ink *
- 종이의 특성에 가까운 새로운 디스플레이
- 접어쓸수 있는 화면

* Head-up 디스플레이 *
- 개인화된 증강현실 디스플레이

5) NUI 형태

* 장착형 *
 : 신체에 직접 부착하거나 닿게하여 사용
- 직접적인 정보 체크 가능

* 접촉형 *
- 멀티터치 포함한 형태의 NUI
- 손목시계, 안경형, 신체매립형 등이 있음
- 웨어러블 디바이스

* 비장착형 *
- 신체 접촉이 없는 장치
- 센서를 통해 인식
- 안면인식, 뇌파인식, 눈동자인식, 음성인식 등을 이용해 사용

<NUI를 활용한 감성미디어>

1. NUI의 사례

가. 디지털 사이니지
- 안내시스템의 동작인식
- 고난도의 작업 수행 가능

나. 의학분야
- 원격의료
- 데이터가 객관적으로 집계되어 원격의료에 더욱더 효과적

다. 체험형 학습
- 움직임에 따른 다른 결과
- 놀이와 학습을 결합하여 디지털 교육의 질이 향항

라. 광고
- 동작인식 기술을 사용하면 재미와 참여도 높아짐

마. NUI 활용 사례

1) 모션/제스처

* 아마존고 *
- 카메라, 센서로 고객 동선과 행동 파악
- 직관적인 사용자 경험을 체험할 수 있음

2) 시선/표정

*애플 애니모지 *
- 얼굴 인식을 통해 생동감 있는 애니메이션 제작
- 직관적 조작 가능

3) 뇌파

* 이모티브 Epoc + & Insight *
- 생각만으로 제품과 서비스 제어 가능

4) 촉각 팔레트

* 디즈니(Disney) & 내셔널 브레이 프레스(National Braille Press) *
- 6가지 특정 색에 해당하는 촉가 팔레트를 사용하여 2차원 그래픽에서 색상을 인식함

2. 사용자 인터페이스의 변화

가. 대화형 사용자 인터페이스

- 사용자와 기기간 대화를 통한 인터페이스

1) 음성인식 인터페이스

- 음성인식 및 명령 가능
- 특정 앱과 연동하여 터치없이 실행 가능
- 메일도 쓸 수 있을 정도로 발전

ex) 애플 시리, 구글 어시스턴스, 사성 빅스비 등

나. NUI를 초월하는 NUI

- 인간 신체가 물리적인 상황에 갇히는 한계 개선
- 증강현실, 가상현실의 센서
- NUI를 보완하는 인터페이스

ex) 구글 "Project Tango"

1) 마이크로소프트 홀로렌즈
적외선, GPS, 블루투스, 와이파이, 포인팅 클라우드, 딥러닝, 개인화까지 적용

2)  구글글래스
- 탱고를 활용하여 홀로렌즈 급 성능 구현

3) VR
- 가상현실에서 리모컨과 같은 도구 필요
- 기존에 없는 작업물을 만들어내는 것에 수월

다. NUI 고려사항

* 마이크로소프트 장애인용 컨트롤러 *
- 컨트롤러의 각 버튼의 대응하는 특수 모듈 장비를 연결해 사용자의 조건에 꼭 맞는 컨트롤러 개발

라. NUI의 가능성

- 콘텐츠의 유용성과 필요성이 높음
- 저비용, 교효율의 콘텐츠 구성 가능
- 게임, 교육, 의료, 광고, 안내, 물류, 보안 등 굉장히 다양한 분야에 응용하고 적용할 수 있음



댓글